Word embedding custom pour un corpus donné via AE

Question

Est-il envisageable d'entraîner un AE à représenter un corpus de textes donné dans un espace plus réduit ?
On passerait d'une représentation de la taille du dictionnaire à une représentation de dimension arbitrairement petite..
Serait-ce un équivalent de word embedding ?

Answer 1

Oui ce serait possible mais ce n’est pas ce qui est utilisé. Le Word Embedding généralement utilisé est beaucoup plus simple surtout lorsqu’il est “attaché” à un Transformer. Je vous renvoie à la séquence Transformer pour cette question.

Comments

Une question en lien avec la votre : https://fidle.cnrs.fr/q2a/1213/comment-lembedding-est-il-r%C3%A9alis%C3%A9