Aller au contenu principal
À la une
Les derniers articles


















Dans la tête d'une IA : 8 vérités surprenantes sur le fonctionnement de l'IA révélées par le MIT
Actualités IA

Dans la tête d'une IA : 8 vérités surprenantes sur le fonctionnement de l'IA révélées par le MIT

Un nouvel ensemble d'extraits issus de «Anatomie Secrète des Modèles de Langage» du MIT révèle huit concepts fondamentaux concernant le fonctionnement interne des grands modèles linguistiques (LLMs), suite à la publication de chercheurs du MIT. Le texte explique que les LLMs ne comprennent pas le sens des mots mais plutôt leur géométrie dans un espace mathématique, et que la prédiction du mot suivant est en fait une évaluation d’une distribution entière de futurs possibles. Il est souligné que les modèles apprennent des concepts non linguistiques en identifiant des régularités dans le langage et que la capacité de raisonnement n'émerge qu'au-delà d'un certain seuil de taille. De plus, les hallucinations sont décrites comme des biais géométriques plutôt que des erreurs, et l'attention fonctionne comme un filtre adaptatif qui compresse les informations non pertinentes. Enfin, les LLMs peuvent enregistrer leur propre raisonnement dans des couches internes, et leur alignement est statistique, imitant un discours éthique sans avoir de valeurs morales.

Hervé Gonay
par Hervé Gonay


Zenbaia - France Digitale 1
Parole d'experts