Les LLM peuvent être entraînés pour un certain nombre de tâches. L’une des utilisations les plus connues est leur application en IA générative : ils sont capables de produire un texte de réponse à une invite ou une question. ChatGPT, un LLM accessible au public, peut par exemple générer des essais, des poèmes et d’autres formes de texte en réponse aux entrées de l’utilisateur.
N’importe quel ensemble de données complexes et de grande taille peut être utilisé pour entraîner des LLM, y compris les langages de programmation. Certains LLM peuvent d’ailleurs aider les programmeurs à rédiger du code. Ils peuvent ainsi écrire des fonctions à la demande ou terminer l’écriture d’un programme à partir d’un code qui leur a été donné comme point de départ. Les LLM peuvent également être utilisés pour les besoins suivants :
Parmi les exemples de LLM réels, citons ChatGPT (OpenAI), Bard (Google), Llama (Meta) et Bing Chat (Microsoft). Le Copilot de GitHub est un autre exemple, mais pour il s’applique au codage et non au langage humain naturel.
Context Learning
Pré-entraînement (BERT et GPT)
Fine tuning