Qu'est-ce que la différentiation automatique en une phrase ? Merci.

Question

Bonjour,

Je ne comprends pas ce qu'est la différentiation automatique.

C'est l'équivalent de la rétropropagation ?

Answer 1

La différentiation automatique est le calcul de la dérivée automatique, et la rétropropagation du gradient est l'algo utilisé pour la réaliser.

Comments

Merci!

---

Il a été mentionné que c'est un gros avantage de PyTorch. Je ne comprends pas en quoi c'est une particularité de PyTorch puisque depuis le début de la formation, on n'a jamais calculé les dérivées à la main et on n'utilisait pas PyTorch. Est-ce que je loupe un aspect important?

---

Effectivement, tous les frameworks de deep learning font de la différentiation automatique. C'est l'un de leurs principaux apports d'ailleurs avec les calculs optimisés sur CPU ou GPU.

Tensorflow le fait aussi du coup (https://www.tensorflow.org/guide/autodiff)

Answer 2

Non, la rétropropagation du gradient est une méthode pour entraîner un réseau. Cela consiste à mettre à jour les poids de chaque neurone de la dernière couche vers la première.

La différentiation automatique est une solution d'implémentation qui permet de nous affranchir de faire les calculs de dérivé "à la main"