Dataset from scratch, annotation storage

Question

Bonjour,

J'ai du mal à conceptualiser comment un jeu de donnée est créé et comment les informations sont stockées. Pour un tableau tabulé je vois bien mais pour les jeux de données d'images, j'ai plus de mal. Par exemple, le dataset bien connu MNIST, où/comment sont stockées les labels ? Dans un tableau ? Metadata des images ?

Merci :)

Answer 1

Il n'y a pas de limite à la façon de ranger nos data.

Pour les datasets les plus anciens en image, on mettait toutes les images d'une même classe dans le même dossier.

Par la suite on fait maintenant des listes metadata de nos données et celle-ci ne sont pas rangées spécifiquement sur le filesystem.

De nos jours, les données et metadata sont compressées dans des formats particuliers (on en vera quelques uns en fin de saison)

Answer 2

Dans le cas de MNIST, vous pouvez avoir un fichier qui stocke les images et un autre qui stocke l'information des labels.