Sam est construit sur une architecture nouvelle appelée le potentiel de sens. C'est un mécanisme dynamique d'itération et de convergence pour dégager un invariant du sens qui  traverse toutes les langues. A l'inverse des modèles d'IA actuels de type Transformer, SAM n'a cure de la probabilité d'un mot, car pour moi l'intelligence d'un texte n'est pas statistique. SAM se situe du côté de la structure sémantique : "un chat qui dort sur le tapis" signifie au fond  la même chose d'une langue à une autre. C’est discutable mais c’est ce que je pense.

Contre les hallucinations des LLM

OpenAI a publié un article pour expliquer les origines des hallucinations, cette pathologie dont souffrent les puissants modèles de langage actuels. L'article est à lire ici : Modèles de langages : aux origines des hallucinations

C'est encore un vrai défi pour les ingénieurs. Et un vrai danger pour les utilisateurs. Les chatbots actuels ne savent pas dire "je ne sais pas". Ils font du "sophisme", et pour l'utilisateur le moins averti, c'est un risque majeur de prendre pour une vérité une fausse information fournie avec aplomb par une IA.

Pour aider à résoudre ce problème, et renforcer la fidélité absolue de SAM au corpus qui lui est fourni, j'ai effectué une recherche approfondie sur le sujet en remontant le cours des siècles jusqu'à l'article de Louis Marillier, Le Mécanisme de l'attention ( qui vous fait sans doute penser à un autre article célèbre sur lequel ont travaillé des linguistes et des ingénieurs de Google ). Dans cet article, Louis Marillier montre que pour briser ce que j'ai appelé "l'effet autoroute", et "soutenir l'attention plus longtemps",  il faut introduire "une sensation périphérique" ( ou un changement) de sorte que cette attention ne faiblisse pas. C'est très difficile pour les LLM une fois l'entraînement d'un modèle terminé. Ce n'est pas le cas pour SAM, qui peut jouir de cette "surveillance en temps réel de la cohérence". C'est un dispositif puissant contre toute dérive sémantique. Le mécanisme consiste à interrompre le flux et à ré-injecter des faits bruts du corpus fourni. La méthode peut être adaptée aux LLM. Il y a plus : ce processus est soutenu par une mémoire inspirée des travaux de Francis Galton, connu au XIXe siècle pour ses portraits composites. Cette mémoire galtonienne a pour objectif, d'une part,  de renforcer le poids thématique dans la recherche sémantique. D'autre part, de servir de bouclier contre toute éventuelle forme d'écart du sens d'un texte.

Ces avancées, je les ai implémentées dans la nouvelle version du module de recherche sémantique de SAM. Vous pouvez tester ici : SAM