Après avoir entraîné un modèle, fine-tuné un modèle, ou sélectionné un modèle pré-entraîné, comment déployer ce modèle et le rendre facilement utilisable ? …tout en essayant d’en minimiser l’empreinte ?

La réponse à cette question correspond à une ingénieurie particulière : il faudra choisir un système adapté puis transformer, compresser le modèle en prenant en compte le coût énergétique, le coût en stockage, le niveau de performance exigée, la latence.

Ensuite il faudra se transformer en DevOps, pour mettre en production le modèle, en maîtrisant la containeurisation, les orchestrateurs Kubernetes, les serveurs d’inférences, le deploiement en Edge App.

Nous verrons précisement les solutions simplifiées et dédiées que sont : Gradio, BentoML