PI logo

Un modèle peut-il raisonner dans une langue qui lui est propre ?

La question derrière nos notes sur le raisonnement natif machine : pourquoi nous l'avons posée, les designs que nous avons essayés, ce qui a survécu à un test causal strict, et ce qui reste ouvert.

PI Project · Notes R&D/ Raisonnement natif machine · vue d'ensemble· Note 1 · méthode & résultat· Note 2 · les échecs

§01 La question

Le sens n'a pas besoin de mots pour exister

Vous avez peut-être entendu dire qu'interroger un modèle génératif en mandarin coûte parfois moins de tokens. La raison est instructive : un idéogramme n'est pas une lettre. C'est une unité graphique de sens, parfois élémentaire, parfois composée ; une même idée peut donc emprunter une structure plus compacte sans perdre sa capacité descriptive.

Le propos n'est pas de comparer les langues humaines. C'est que l'observation soulève une question plus générale : à quel niveau d'abstraction une pensée doit-elle être représentée ? Quand un modèle raisonne « étape par étape », il écrit ces étapes en phrases humaines, comme s'il énonçait ses pensées à voix haute. Cette narration est pour nous. Rien ne dit qu'une machine doive raisonner en anglais, ou en français, pour bien raisonner.

Langage naturel Le roi combattit le dragon et l'emporta. 8 tokens
Idéogrammes 王斗龙胜 4 glyphes
Codes discrets appris 0412008709110733 4 codes

Une intuition, pas un résultat : le sens peut emprunter des unités plus denses que les mots, et ces unités n'ont pas à être conçues par quiconque. Savoir si un modèle peut réellement raisonner dans de telles unités, et comment on pourrait jamais le vérifier, est ce que cette série met à l'épreuve.

§02 La distinction

Raisonner et expliquer le raisonnement sont deux fonctions différentes

Deux extrêmes encadrent la façon dont un modèle peut raisonner aujourd'hui. Une chaîne de pensée en langage naturel est lisible, mais verbeuse : elle consomme du contexte, du temps d'inférence et du coût, et elle n'est pas toujours un compte rendu fidèle de ce que le modèle a réellement calculé. Les activations internes brutes du modèle sont efficaces, mais totalement opaques. Entre les deux existe peut-être un espace plus utile : un langage interne discret, compressé et appris, dont les unités représentent des concepts, des relations ou des états intermédiaires plutôt que des mots.

Une tentation mérite d'être écartée d'emblée : concevoir ce langage nous-mêmes. Rien ne garantit qu'un code conçu par un humain soit optimal pour un modèle, pas plus que ne l'est la grammaire humaine. L'objectif est de créer les conditions pour qu'un langage interne émerge à l'entraînement, puis d'inspecter ce qui a émergé.

Et c'est là que vit la vraie difficulté. Un code natif machine est, par construction, plus difficile à auditer qu'une phrase. Tout système de ce type vous doit donc une preuve : perturbez le code interne, et les réponses doivent se dégrader. Sinon, le modèle ne raisonne pas à travers le code ; il le contourne, et les symboles sont de la décoration. Cette exigence de vérification, plus que la performance brute, est ce autour de quoi cette ligne de recherche a fini par se construire.

§03 L'espace de conception

Sept façons de câbler un canal de raisonnement discret

Entre octobre 2025 et janvier 2026, nous avons exploré l'espace de conception ci-dessous. La colonne de statut en est la partie honnête : certaines familles ont été menées jusqu'à un verdict, d'autres explorées puis archivées, une n'a jamais quitté le papier. Seules les entrées portant un statut de run s'appuient sur des preuves ; les notes en tiennent les journaux.

Goulot VQ greffé dans un modèle pré-entraînéOct. 2025 · Pythia 410M / 1,4 Md Des hooks forward quantifient les états cachés sur GSM8K. Le codebook était utilisé ; la précision fut nulle aux deux échelles. Note 2, run 01 → run · négatif
Architecture à deux passes avec tampon IR structuréNov. 2025 · Pythia-70M + LoRA Le modèle doit émettre, puis consommer, un tampon discret. Tous les seuils du tableau de bord franchis ; le contenu ne changeait rien. Note 2, run 02 → run · négatif
Encodeur et décodeur à air-gap, entraînés de zéroDéc. 2025 · janv. 2026 · 26,5 M de paramètres Le code discret est la seule entrée du décodeur : la nécessité devient mesurable. Sous intervention, le canal s'est révélé être l'unique chemin causal. Note 1, la méthode et le run → run · preuve de mécanisme
Le même air gap, multiplié par environ septDéc. 2025 · ~190 M de paramètres · H100 Recette identique, modèle plus grand. L'entraînement s'est effondré en phase 2 et n'a jamais été relancé. Note 2, run 03 → run · effondré
Pivot linguistique modulaire : traduire, raisonner, retraduiremodules traducteur et raisonneur séparés Un journal d'expériences discipliné, mais les traducteurs étaient des parseurs déterministes sur de l'arithmétique synthétique : de l'ingénierie instructive, pas une preuve sur la thèse. Archivé. exploré · archivé
Pistes parallèles : chaîne de pensée lisible plus code densecouplées par attention croisée Deux pistes de raisonnement coexistantes, une pour les humains et une pour la machine. Conçue en détail ; jamais construite. conçue · jamais exécutée
Raisonnement continu à points de contrôle discretsl'unique direction d'avenir Garder le raisonnement continu, là où va l'élan du domaine, mais le forcer à travers des points de contrôle discrets et auditables entre segments, pour que le même test causal s'applique toujours. Énoncée comme une direction, pas un résultat. direction en attente

§04 Où cela en est

Une preuve nette, trois échecs instructifs, une question ouverte

Le résumé honnête tient en trois phrases. À petite échelle, sous un test assez strict pour échouer, un modèle a démontrablement fait passer son calcul par un code discret appris : corrompez le code et les réponses s'effondrent. Chaque tentative de mise à l'échelle de ce mécanisme, ou de greffe sur un modèle pré-entraîné, a échoué, et les échecs nous ont plus appris que le succès. Pendant ce temps, des équipes plus grandes, chez Meta et IBM entre autres, ont porté le même mécanisme à une échelle et une utilité réelles ; leurs travaux sont la référence, et ce que nous gardons est le standard de vérification que le domaine ne rapporte généralement pas.

Les deux notes ci-dessous tiennent les journaux complets : l'architecture et le protocole de nécessité causale avec le run qui l'a passé, et les trois impasses avec les chiffres exacts qui les ont exposées.

§05 La question ouverte

La question du titre reste ouverte

Cette ligne est née, disons-le franchement, d'une volonté de prendre de l'avance : être tôt sur un mécanisme original et construire quelque chose à nous autour. Sur cette ambition, elle a échoué. Le mécanisme s'est révélé être un territoire public, des laboratoires mieux dotés l'ont porté à l'échelle, et notre propre passage à l'échelle s'est effondré. L'arc est publié malgré tout, parce que ce qui a survécu est plus transférable que ce qui était visé : un moyen de savoir, pour tout système de ce type, si son code interne porte réellement le raisonnement.

La question du titre reste donc ouverte, pour tout le monde. Un tel canal peut exister et être rendu démontrablement porteur ; il échoue de manières que les tableaux de bord ne voient pas ; et un test sépare les deux. Si la direction en attente ressort un jour du tiroir, elle sera exécutée sous ce même test, et publiée dans un sens comme dans l'autre.

Chaque affirmation factuelle de cette page est documentée dans les deux notes et leurs journaux d'expérience ; cette vue d'ensemble n'en ajoute aucune.