À l’ère des données massives et diversifiées, la capacité d’un modèle d’intelligence artificielle à interpréter et intégrer des informations provenant de différentes sources est cruciale.
La multi-modalité en deep learning traite de l’intégration de données variées telles que le texte, l’image, l’audio et la vidéo, afin de créer des systèmes d’IA plus complets et plus robustes.
Cette séquence couvrira les concepts fondamentaux et les techniques avancées nécessaires pour traiter ces différentes sources d’information.
Multimodal embedding
TP CLIP playground
Multimodal LLM
TP Entraînement d’un modèle de type LLAVA sur des données audio
Massively Multimodal Model