Question

Comment faire lorsque le dataset est petit ?

Notamment lorsqu'il est dur d'obtenir des données d'entrainement

Exist-il des stratégies ?

Answer 1

Avec un dataset petit, il n'y a pas beaucoup de solution. Soit on agrandi celui-ci en rajoutant de nouveaux éléments, soit on fait de la data-augmentation.

On peut aussi réutiliser un modèle entrainé avec un autre dataset et venir le fine-tune avec notre plus petit dataset

Answer 2

Il est extrêmement difficile (voir impossible) d’entraîner un modèle de deep learning avec un petit dataset. Les méthodes de machine learning ou de statistiques classiques sont sûrement plus adaptées.
Il existe néanmoins une méthode lorsque l’on a beaucoup de données non-labellisées, le pré-entraînement en “self-supervised”, que l’on verra lors de la session des Transformers.