Optimisation

Question

Y a-t-il des fonctions d'optimisation particulières pour les multimodaux?

Answer 1

Non la fonction de perte est potentiellement spécifique sur les deux modalités (comme avec CLIP), mais l'optimisation est tout à fait traditionnelle

Comments

Et encore, on fait bien une CrossEntropy comme d'habitude avec les LLMs, c'est juste la target et la dimension sur laquelle on fait notre softmax qui sont inhabituelles.

---

Ok, thanks