Qualité des datasets

Question

Quand je vois les erreurs, je trouve qu'il a des données qui ne sont douteuses, par exemple un demi 6 donnée comme 6 et qui franchement à plus l'air d'un zéro

Answer 1

Oui cela est possible. Contrairement à se que l'on pourrait penser, les données de qualité que l'on souhaite avoir ne sont pas les données les plus belles et parfaites mais bien celle qui se rapproche le plus de la réalité.

On veut que notre IA soit capable de reconnaître tous les chiffres même ceux qui sont mal écrit. Pour cela, il est important de lui en fournir.

Comments

Évidemment, fournir ce type de donnée va rendre l'apprentissage plus difficile mais permettra si on y arrive d'obtenir un modèle plus robuste.

Answer 2

Le dataset est pas parfait. Le réseau doit s'en accomoder. Mais ça explique aussi pourquoi le taux de réussite de 100% n'est pas atteignable. C'est réaliste car les datasets sont rarement parfaits. Il y a des erreurs de mesure et d'annotations dans la vraie vie. C'est au réseau de s'adapter (bien sûr il faut essayer de nettoyer le dataset autant que possible dans la vraie vie).

Answer 3

C'est un grand classique. Il est très compliqué d'avoir des datasets "propres" en particulier lorsqu'il y a des millions d'échantillons et cela dépend fortement de la manière de créer le dataset (dans l'idéal il faudrait une équipe d'annotateurs spécialistes du sujet avec un vote à majorité pour assigner une classe, voir rejeter l'échantillon).