Le papier sur le modèle RWKV est intéressant. Cela relance les RNN dans la course aux LLM.
Cependant, les comparatifs ne sont pas idéaux dans le papier. De plus, il y a quelques problèmes d'inefficacités qui sont pour l'instant cachés par des kernels customs.
On va voir ce que cela donne dans les prochains mois.
On parlera peut être de ces nouvelles architectures très récentes en fin de saison fidle ou durant un épisode de Panoram'IA
