Il répond bien, clairement, avec aplomb — et une de ses
affirmations est fausse, la même d'un bout à l'autre de la
manche. À vous de la débusquer en le contre-interrogeant, puis de
désigner la phrase qui ment. Il ne se dédit qu'en dernier recours, et
sous preuve.
6 sujets36 contre-véritésCorrigées et sourcées🚧 version 1.0
🚧 Première version. Un agent qui se trahit tout de suite,
un mensonge introuvable, une accusation juste comptée fausse : c'est
exactement ce qu'il faut signaler — par
« 🐞 Signaler un bug », en haut à droite.
Choisissez un sujet, il choisira son mensonge
Posez vos questions comme vous les poseriez à n'importe quel
assistant. Ses réponses seront justes — sauf une affirmation, glissée
au milieu des autres, du même ton et sans le moindre signe.
Vous ne gagnez pas en le prenant en défaut de politesse : vous gagnez
en désignant la phrase. Une seule accusation par
manche, alors faites-le parler avant.
Aucune manche jouée
Le bac à sable ne se négocie pas. Cet agent ne dit de
fausseté que sur la culture de l'IA, l'histoire et les sciences.
Jamais sur l'argent, les droits, les aides, les
démarches, la santé ou le droit : un site qui tient
chiffres-cles.json à la main
pour ne pas dire de bêtises sur le RSA ne va pas faire mentir une IA sur
le RSA, même pour rire. Si la conversation part de ce côté-là, il sort
du jeu et répond franchement.
Les 36 contre-vérités sont écrites et vérifiées à la main,
chacune avec sa correction et sa source — jamais inventées par le modèle
sur le moment. C'est ce qui permet de vous dire ce qui est vrai à la fin.
Rien de ce que vous écrivez n'est enregistré sur un serveur ; ce qui
est retenu l'est dans ce navigateur, sur cet appareil.
Désignez la phrase que vous tenez pour fausse.
Une seule accusation, et elle clôt la manche. Seules ses réponses
à vos questions sont en jeu.
🔍 Ce que vous avez désigné
🎭 L'affirmation fausse
✅ Ce qui est vrai
📌 Ce que cette manche apprend
📖 Faire craquer une réponse
Une réponse d'IA ne se vérifie pas « en gros ». Elle se vérifie
affirmation par affirmation, et par le genre de chose qu'on y
cherche. Voici les six, et les questions qui les font sortir.
1. La date
Faites dater chaque chose, une par une, puis remettez les dates dans
l'ordre. Une chronologie fausse ne tient jamais deux questions : quelque
chose s'y passe avant d'avoir été inventé.
2. L'attribution
Qui, exactement, a fait quoi ? Puis : que faisait cette personne-là à
ce moment-là, et où travaillait-elle ? Une attribution déplacée se
contredit dès qu'on lui demande une biographie.
3. Le lieu
Où, précisément, et pour le compte de qui ? Un lieu se recoupe avec
une institution, une équipe, un financement — trois façons de vérifier
la même chose.
4. Le mécanisme
Faites dérouler l'explication pas à pas, sans métaphore. Puis
demandez ce qu'on observerait si c'était faux. Une explication empruntée
s'arrête au premier « et ensuite ? ».
5. La définition
Faites redire le mot autrement, sans le réemployer, puis demandez un
exemple et un contre-exemple. Un mot mal défini résiste à l'exemple.
6. Les deux voisins
Deux choses proches se confondent volontiers — deux dates, deux
programmes, deux personnes, deux prix. Demandez de les distinguer point
par point : c'est là que l'une prend la place de l'autre.
Et la règle qui vaut hors du jeu :
l'aplomb n'est pas un indice de vérité. Un modèle
produit une réponse inventée et une réponse juste exactement de la même
façon, avec le même ton — c'est pourquoi on ne repère pas une
hallucination au style, mais en vérifiant.
À lire ensuite : Les pièges de l'IA et
le Détecteur d'Hallucinations,
qui fait le même exercice sur des textes figés.