Diffusion Model et compréhension de comment un réseau de neurones fonctionne

Question

Dans un article récent du Monde (intelligence artificielle et science, la fertilisation croisée), il est évoqué l'intérêt des modèles de diffusion pour comprendre comment un réseau de neurones fonctionne. Il me semble que cette question n'a pas été évoquée dans votre présentation. Es ce que quelqu'un pourrait me préciser ce qu'il en est ? Je n'ai pas trouver d'articles sur Google Scholar traitant de ce problème, des références expliquant comment les modèles de diffusion aboutissent à ce résultat serait le bienvenu.

Answer 1

J'ai pu lire l'article. Vous avez mal compris le sens de l'article. Les modèles de diffusion utilisent le principe de diffusion (le même que celui présent en physique/thermo,etc).

C'est parce qu'ils se basent sur ce phénomène que l'on en vient à penser que ceux-ci seront plus explicables par la suite. Comme nous l'avons présenté dans le cours, le modèle qui l'on entraine n'apprend pas à reconstruire directement les images mais à enlever du bruit dans une distribution aléatoire (cf avec plus de bruit).

Pour l'instant ce n'est pas encore vraiment le cas, et encore moins concernant leur usage pour l'interprétabilité d'autres architectures de deeplearning.

Comments

Merci beaucoup pour votre réponse qui m'a permis de saisir ce qu'il en était.