Question

Est-ce possible de rappeler à quoi correspond le batch_size ?

Answer 1

le nombre d'exemples que tu utilises pour faire une modification du réseau

imaginons qu'on a 1 M d'exemples, c'est beaucoup d'exemples et la machine ne va pas forcément bien apprendre tout en même temps, du coup on préfère décomposer les exemples en paquets d'exemples

on va demander ensuite à la machine de s'améliorer exercice par exercice, et chaque exercice est composé de batch_size exemples

Answer 2

C'est le nombre d'exemples utilisés pour chaque itération d'apprentissage. La loss et les gradients sont moyennés sur la dimension du batch_size.