0 votes
par dans Séquence 17
Est-il possible de donner un exemple chiffré de cette technique de découpage en fichiers TAR ?

C'est à dire taille du modèle et des données conduisent à combien de fichiers tar de quelle taille ?

1 Réponse

0 votes
par Vétéran du GPU 🐋 (68.8k points)
sélectionné par
 
Meilleure réponse
A ma connaissance, il n'y a pas de technique/méthode parfaite pour le découpage en fichiers compressés.

C'est une problématique que l'on rencontre uniquement sur l'utilisation d'un supercomputer avec l'usage de dataset de très grande taille.

La contrainte vient du réseau d'interconnection et du système de fichier du calculateur qui ne peut supporter une trop grande charge (surtout quand il y a d'autres utilisateurs).

Généralement, on fait des regroupement qui permettent d'avoir un ratio taille de fichier / nombre de fichier utilisable et de bonne proportion suivant la machine que l'on utilise.

Des fichiers tar trop petit ne sert à rien (toujours trop de fichier), et des fichiers trop gros sont compliqués à lire.
par Vétéran du GPU 🐋 (68.8k points)
De plus il n'y a pas que le tar. D'autres type de compression peuvent faire varier le ratio nombre de fichier / taille fichier
...