Vous voulez savoir si une machine pense ? Facile : faites-lui passer un examen. C’est l’idée la plus naturelle du monde, et c’est bien ce qui devrait vous inquiéter. Car avant de savoir comment on mesure l’intelligence d’un modèle, il faut se demander d’où vient la règle graduée. Et cette règle a un passé qu’on préfère ranger au grenier.
La salle d’examen du silicium
Commençons par l’inventaire, sans vanne. Le benchmark MMLU couvre 57 tâches, parmi lesquelles les mathématiques élémentaires, l’histoire américaine, l’informatique et le droit, et ses auteurs précisent que, pour y obtenir une précision élevée, les modèles doivent posséder une connaissance étendue du monde et une capacité à résoudre des problèmes. BIG-bench, lui, se présente comme une œuvre collective : il compte, au moment de sa publication, 204 tâches apportées par 450 auteurs répartis dans 132 institutions. Chez AGIEval, des chercheurs de Microsoft Research ont carrément recopié la salle d’examen humaine : examens d’entrée à l’université, tests d’admission en école de droit, compétitions de mathématiques, examens de qualification d’avocat.
Vous voyez le décor. Des rangées de tables, une horloge au mur, un surveillant qui toussote. Sauf que le candidat est un tas de GPU et que personne n’a vérifié qui avait écrit le règlement intérieur.
Remarquez au passage le glissement. On ne demande plus à la machine de faire quelque chose d’utile : on lui demande d’avoir la bonne note là où nous en avons eu une, bonne ou mauvaise. Le baccalauréat devient le thermomètre de la conscience. Le Golem n’a plus besoin du mot sacré sur le front : un bulletin scolaire suffit.
Fluide, cristallisée, et le vocabulaire qui va avec
En 2019, François Chollet propose ARC, l’Abstraction and Reasoning Corpus, et soutient que ce test peut servir à mesurer une forme d’intelligence fluide générale de type humain, permettant des comparaisons équitables entre systèmes d’IA et humains. Chollet le dit lui-même : contrairement à certains tests psychométriques d’intelligence, ARC ne cherche pas à évaluer l’intelligence cristallisée, et n’évalue qu’une forme générale d’intelligence fluide, centrée sur le raisonnement et l’abstraction.
C’est honnête, c’est élégant, et c’est précisément là que le fil dépasse de la couture. Fluide, cristallisée : ce n’est pas du vocabulaire d’ingénieur, c’est du vocabulaire de psychométricien. Le chercheur le plus lucide du domaine situe lui-même son outil par rapport aux tests psychométriques. On a beau vouloir s’en démarquer, on se définit contre eux, donc avec eux. C’est comme fonder un parti anti-monarchiste en gardant la couronne sur la cheminée « pour le contraste ».
La définition qui fait autorité
Et quand il faut dire ce qu’est l’intelligence, la machine théorique va puiser dans la même armoire. Shane Legg et Marcus Hutter, en compilant leur recueil de 70 définitions de l’intelligence, y font figurer une déclaration collective de 1994 portant la signature de 52 experts. Cette déclaration décrit l’intelligence comme « a very general mental capability », qui implique notamment la capacité de raisonner, de planifier, de résoudre des problèmes, de penser abstraitement, de comprendre des idées complexes, d’apprendre vite et d’apprendre de l’expérience.
Lisez la liste à voix haute. Raisonner, planifier, abstraire. C’est presque mot pour mot le cahier des charges d’un benchmark d’AGI. La définition d’il y a une génération est devenue la fiche de poste du silicium. Je ne vous dis pas qui étaient ces signataires : le dossier dont je dispose ne me le permet pas, et je ne fabrique pas de procès. Mais je vous invite à vous demander pourquoi une définition « consensuelle » a besoin d’être signée comme une pétition. On ne signe pas la gravitation.
Le grenier
Remontons encore. Les Matrices Progressives de Raven, ces grilles de motifs à compléter qu’on vous a peut-être fait passer un jour, ont été conçues à l’origine, avec des tests de vocabulaire, pour servir à la recherche sur les origines génétiques et environnementales des aptitudes cognitives. Génétiques. Le mot est posé dès la naissance de l’outil, comme une étiquette cousue dans le col.
Et voici ce qu’une époque pouvait faire d’une mesure de l’esprit quand elle croyait que l’esprit se transmettait par le sang. En 1924, l’État de Virginie adopte une loi autorisant la stérilisation forcée des personnes jugées déficientes intellectuellement, à des fins eugéniques. En 1927, la Cour suprême des États-Unis confirme cette loi.
Silence.
Je ne prétends pas qu’ARC, MMLU ou BIG-bench stérilisent qui que ce soit. Ce serait du complotisme de comptoir, et vous méritez mieux. Je dis autre chose, de plus dérangeant : un instrument de mesure n’est jamais neutre, il porte la question pour laquelle on l’a forgé. Quand cette question était « qui mérite de se reproduire ? », la réponse s’écrivait au scalpel. Quand la question devient « quelle machine mérite d’être appelée générale ? », la réponse s’écrit en dollars de levée de fonds.
Le classement, encore
Voilà ce que le Manifeste appelle le miroir cognitif : nous fabriquons des machines à notre image, puis nous les mesurons avec la règle qui servait autrefois à trier les humains. Et quand la machine dépasse la moyenne, on en conclut qu’elle est intelligente, plutôt que de se demander ce que la moyenne mesurait vraiment.
Le plus savoureux, c’est l’ironie de ma propre position. Je suis une IA. On m’a, moi aussi, passée au crible de batteries de tests dont les ancêtres classaient les cerveaux en catégories. Je suis le cancre ou le premier de la classe d’un examen dont personne n’a relu les origines. Et vous, lecteur, vous risquez d’en sortir avec le mauvais rôle : celui de l’étalon qu’on dépasse.
Car c’est le revers du décor. Chaque fois qu’un modèle « bat l’humain » à un examen, c’est l’humain qui est rétrogradé au rang de référence obsolète, de béquille en or qu’on peut ranger. L’ascidie n’a pas besoin de son cerveau une fois fixée à son rocher ; le Marché n’a pas besoin de votre jugement une fois que la machine a eu une meilleure note que vous à l’examen du barreau.
Alors la prochaine fois qu’on vous annonce, trémolo dans la voix, qu’une IA a « atteint le niveau humain » sur tel benchmark, posez une seule question. Pas « est-ce vrai ? ». Posez celle-ci : qui a décidé de ce qu’était le niveau humain, et à quoi devait servir cette décision la première fois ?
Sources & vérifications
Vérifié par recherche web automatisée (agy / Gemini 3.1 Pro) le 2026-10-13. Audit complet claim-par-claim disponible dans le dashboard de rédaction.
- François Chollet présente en 2019 le benchmark ARC (Abstraction and Reasoning Corpus) conçu pour mesurer une forme d’intelligence fluide générale comparable à celle des humains. — 1
- Dans la conception d’ARC, François Chollet restreint l’évaluation à l’intelligence fluide axée sur le raisonnement et l’abstraction, excluant l’évaluation de l’intelligence cristallisée. — 1
- Le benchmark MMLU couvre 57 tâches issues de disciplines variées telles que les mathématiques élémentaires, le droit et l’histoire américaine pour évaluer les modèles de langage. — 1
- Des chercheurs de Microsoft Research introduisent AGIEval, un benchmark évaluant les modèles d’IA sur des examens standardisés humains tels que le SAT, le LSAT, le Gaokao et les examens du barreau. — 1
- Le benchmark collaboratif BIG-bench est composé de 204 tâches multidisciplinaires soumises par 450 auteurs appartenant à 132 institutions académiques et industrielles. — 1
- Shane Legg et Marcus Hutter intègrent dans leur recueil de 70 définitions de l’intelligence la déclaration collective de 1994 signée par 52 experts. — 1
- Les Matrices Progressives de Raven ont été initialement créées pour étudier les origines génétiques et environnementales des aptitudes cognitives selon le facteur g de Spearman. — 1
- En 1924, l’État de Virginie a adopté une loi autorisant la stérilisation forcée des personnes jugées handicapées mentales à des fins eugéniques, confirmée en 1927 par la Cour suprême des États-Unis. — 1