Comment gérer les langues qui n'ont pas de marqueur de séparation (espaces, ponctuation)

Question

Comme par exemple le Thai où tous les mots sont à la suite des autres sans segmentation.

Answer 1

C'est l'apprentissage que va comprendre de lui même

Comments

la tokenization est évidemment différente comme répondu durant le cours.