À l’ère des données massives et diversifiées, la capacité d’un modèle d’intelligence artificielle à interpréter et intégrer des informations provenant de différentes sources est cruciale.
La multi-modalité en deep learning traite de l’intégration de données variées telles que le texte, l’image, l’audio et la vidéo, afin de créer des systèmes d’IA plus complets et plus robustes.
Cette séquence couvrira les concepts fondamentaux et les techniques avancées nécessaires pour traiter ces différentes sources d’information.
Définition de la multimodalité
Aujourd’hui, quel chemin a-t-on parcouru ?
Les différents types de fusion : tardive, intermédiaire, précoce
Multimodal LLM
Massively Multimodal Model
Evaluation des Multimodal Models