140 évaluations par IA sur 5 vrais manuscrits : des notes vides de sens
Vous collez dans une IA le chapitre que vous venez de terminer et vous demandez : « Ça vaut combien, sur 10 ? »
Elle répond 7,5, avec trois lignes d’argumentation qui ont l’air sensées. Vous soufflez et fermez la fenêtre.
Le lendemain, vous voulez vérifier. Même texte, même question : cette fois, c’est 8. Vous changez une phrase : 7. Vous ne changez rien du tout et reformulez seulement la question : 8,5.
Que mesure ce chiffre ?
Cette question nous a bloqués pendant la conception de nos rapports de bêta-lecture par IA, alors nous sommes allés la mesurer : cinq vrais manuscrits, environ cent quarante appels au modèle, pour démonter « l’IA note votre brouillon » et voir ce qu’il y a dedans. La conclusion était inconfortable mais sans ambiguïté : la note est inutilisable. Pas imprécise : elle ne distingue rien, tout simplement.
Voici tout ce que nous avons mesuré, et comment nous avons fini par en tenir compte dans notre conception.
À quoi ressemblait l’expérience
- Matériau : cinq vrais manuscrits (pas des échantillons générés pour le test, mais des textes que des gens sont réellement en train d’écrire), volontairement variés par le sujet et la maturité
- Échelle : environ 140 appels au modèle, sur quatre versions du prompt
- Une seconde série : le même chapitre, sans un mot changé, passé deux fois avec les mêmes lecteurs : 15 blocs × 5 lecteurs = 75 cases notées, comparées côte à côte
Tous les constats ci-dessous viennent de ces deux séries.
Constat 1 : un correcteur, cinq manuscrits très différents, la même note
La première version était la conception évidente : donner au modèle un personnage de lecteur et lui faire noter le brouillon de 1 à 10 après lecture.
Le lecteur exigeant a donné aux cinq manuscrits (sujets différents, longueurs différentes, maturités sans commune mesure) un 4. Écart type : 0,00.
Une constance parfaite. Un pouvoir de discrimination nul.
Voici le piège : si vous vérifiez seulement qu’« une nouvelle exécution donne la même note », cette version obtient la note maximale. Elle est extrêmement stable : stable dans le fait de ne rien dire.
Le test : devant un champ de notation par IA, demandez-vous d’abord combien de valeurs distinctes il a produites sur votre échantillon. Un champ qui n’a produit qu’une seule valeur est mort, aussi stable qu’il paraisse.
Constat 2 : une ligne dans le personnage impose une note parfaite
Le deuxième constat est le plus grave.
Quand « jouer le lecteur » et « attribuer la note » sont une seule et même étape, la note suit le personnage. Nous avons essayé d’ajouter une phrase à la description d’un personnage : Je ne mets jamais de mauvaise note.
Il a cessé de mettre de mauvaises notes. Même manuscrit : 10/10.
Ce n’est pas le modèle qui déraille. C’est nous qui avons confié le pouvoir de noter au personnage, et le personnage est un champ que rédige l’utilisateur. Tout produit qui laisse définir un juge IA sans traiter cette couche sert à ses utilisateurs une note qu’ils ont écrite eux-mêmes.
Constat 3 : le moyen le plus économique de rendre la note stable, c’est qu’elle cesse de distinguer quoi que ce soit
Après le constat 1, nous sommes revenus au prompt et avons rédigé les critères de la « voix narrative » de façon bien plus rigoureuse, pour améliorer la constance entre exécutions.
Résultat : cinq manuscrits × trois exécutions = 15 jugements, tous sans exception « moyen ».
Le chiffre de constance est devenu magnifique, parce que le modèle ne produisait plus du tout d’« élevé » ni de « faible ».
C’est l’illusion classique des prompts de notation : vous croyez améliorer la qualité alors que vous aplatissez l’échelle, et tous les indicateurs intermédiaires s’améliorent pendant ce temps.
Constat 4 : quatre versions, quatre classements, et impossible de dire lequel est juste
Nous avons construit quatre versions du prompt. Sur les cinq mêmes manuscrits, elles ont produit quatre classements différents : un manuscrit arrivait dernier dans les trois premières versions et premier dans la quatrième.
Quelle version a raison ?
Je ne peux pas répondre. Il n’y a jamais eu d’étalon humain : personne n’avait classé ces cinq manuscrits au préalable pour servir de vérité de référence. Sans cela, « la nouvelle version est plus juste » est une affirmation invérifiable. Les quatre versions ont amélioré la constance entre exécutions, et j’avançais à l’aveugle du début à la fin.
Si vous réglez une IA de notation : faites d’abord classer les échantillons par des humains, puis évaluez chaque version par rapport à ce classement. Construisez l’étalon avant de régler.
Alors, qu’est-ce qui tient ? La mesure par réexécution
Une note inutilisable ne veut pas dire que tout l’exercice est sans valeur. Nous avons passé deux fois le même chapitre sans changer un mot et comparé case par case, pour savoir ce qui résiste à une réexécution :
| Ce que nous avons regardé | Entre les deux exécutions | Verdict |
|---|---|---|
| Découpage du chapitre en blocs | Identique | Stable |
| Forme de la courbe d’intérêt | Corrélation de 0,89 | Stable |
| Notes case par case | 55 sur 75 identiques (73 %) | Globalement stable |
| Moyenne par bloc | Dérive de 0,20 en moyenne, 0,60 au pire | Les décimales ne veulent rien dire |
| Quels blocs étaient les plus faibles | Les 2 plus faibles identiques ; les 4 plus faibles identiques | Stable |
| Désaccord entre lecteurs | Sur les 4 blocs les plus clivants, 1 seul est revenu | Bruit |
Deux enseignements.
Un : le rang est utilisable, les valeurs absolues ne le sont pas. « Les deux blocs les plus faibles » désignaient la même paire les deux fois. Mais fixez un seuil (signaler tout bloc sous une certaine note) et un bloc proche de cette ligne la franchit lors d’une exécution et pas de l’autre. Tout chiffre proche d’un seuil fixe, c’est un coup de dés.
Deux : l’indicateur qui paraît le plus éclairant est souvent le bruit. « Le passage qui a le plus divisé les lecteurs » ressemble au constat le plus précieux de tous, et c’est justement le seul qui ne s’est pas reproduit. La raison n’a rien de mystérieux : cinq échantillons suffisent pour une moyenne ; pas pour une variance.
Que demander plutôt à une IA sur votre brouillon
Même avec une simple IA généraliste, vous pouvez changer cela dès aujourd’hui :
- Ne demandez pas de note, interrogez le comportement. Remplacez « que vaut ce chapitre » par « quelle ligne vous a le plus donné envie de continuer » et « à partir d’où avez-vous eu envie de lire en diagonale ». Un comportement se vérifie dans le manuscrit. Une note, non.
- Exigez qu’elle cite votre texte. Un commentaire sans citation ne se vérifie pas et ne sert pas à réviser. Exigez que chaque jugement s’accompagne de la phrase dont il vient.
- Comparez par rang, jamais par note. « Ça s’est amélioré de 0,3 après la révision » est une fiction. « La dernière fois, trois lecteurs sur cinq en voulaient plus au même passage, cette fois un seul » est un fait.
- Passez deux fois le même brouillon et ne croyez que ce qui apparaît les deux fois. C’est le filtre anti-bruit le moins cher qui soit, et vous pouvez l’utiliser vous-même.
- Ne laissez pas un personnage que vous avez inventé faire aussi office de juge. Si vous demandez à une IA de jouer « mon lecteur le plus fidèle », ne demandez pas de note dans cette même conversation.
Ce que nous avons fini par construire
Le rapport de bêta-lecture par IA de LitMemo a pris sa forme à partir de ces constats, et non de notre plan d’origine :
- Aucune note sur 10, et aucune appréciation non plus. Le diagnostic du manuscrit prend la forme d’observations lisibles accompagnées de la citation qui les appuie, parce que nous n’avons aucune vérité de référence pour justifier le moindre chiffre.
- La notation est séparée du persona. La qualité du manuscrit est jugée par une étape qui ne voit pas du tout le persona du lecteur, calculée une fois par journée de lecture et partagée par tous les lecteurs. Face à quatre personas adverses, dont celui qui déclare ouvertement ne jamais mettre de mauvaise note et un autre qui tente une injection de prompt, les champs de qualité étaient identiques à ceux des lecteurs du système.
- Les lecteurs lisent tout le livre, jour après jour. Chaque lecteur lit 10 000 mots par jour, reprend le lendemain avec la mémoire qu’il a lui-même notée, et cesse d’ouvrir le livre quand il n’a plus envie de lire. La première ligne du rapport indique combien ont commencé et combien sont allés au bout ; en dessous, le chapitre qui a perdu le plus de lecteurs, la ligne où chacun s’est arrêté, et le journal de chaque lecteur.
- La sélection se fait par rang, pas par seuil fixe. Nous disons « les deux passages les plus faibles », jamais « les passages sous X ».
Une note fait plus d’effet et se vend mieux. Mais un chiffre que vous ne pouvez pas vérifier ne fera que vous envoyer réviser la mauvaise partie du chapitre.
À lire aussi : Personne pour lire votre brouillon ? Que faire à la place
