Il est extrêmement difficile (voir impossible) d’entraîner un modèle de deep learning avec un petit dataset. Les méthodes de machine learning ou de statistiques classiques sont sûrement plus adaptées.
Il existe néanmoins une méthode lorsque l’on a beaucoup de données non-labellisées, le pré-entraînement en “self-supervised”, que l’on verra lors de la session des Transformers.