22 incohérences cachées dans un roman : l’IA en a d’abord trouvé 6

Au chapitre deux, le protagoniste s’entaille la paume droite sur un éclat de verre. Cinq points de suture ; le médecin lui interdit de s’appuyer dessus pendant une semaine. Au chapitre trois, le lendemain, il prend appui de la main droite sur le plat-bord et se hisse sur le pont, « la paume à plat contre le bois rugueux, sans la moindre douleur ».

En écrivant, vous ne le remarquerez pas. Les deux phrases sont séparées d’un chapitre et ont été écrites à une nuit d’intervalle, et chacune se lit très bien seule. Le lectorat, lui, le remarque, généralement dans les commentaires.

Ce genre de décalage, c’est exactement ce que l’IA devrait savoir repérer : elle ne se fatigue pas, ne saute pas de lignes et peut lire chaque chapitre mot à mot. Nous avons donc fait un test pour voir combien elle en trouve vraiment.

Le roman de test

Nous avons écrit un roman de 15 chapitres, d’un peu plus de 30 000 caractères chinois, La Lumière de décembre, qui se passe dans une ville côtière avec un phare, un typhon et un vieux pêcheur disparu. En l’écrivant, nous y avons délibérément semé deux types d’éléments :

  • 22 contradictions : la grand-mère a soixante-dix-huit ans au chapitre un, et au chapitre treize elle dit avoir vécu quatre-vingt-cinq ans ; le 3 octobre est un vendredi, mais le 9 octobre est présenté comme un mercredi ; le bateau baptisé Belle Marée devient le Belle Brise au chapitre quatorze ; le chien mort l’hiver dernier est de nouveau couché aux pieds de son maître au chapitre douze.
  • 10 pièges : des endroits qui semblent incohérents mais que l’histoire explique. Un personnage ment puis l’avoue plus tard ; un inconnu sur les quais se révèle, un chapitre plus loin, être quelqu’un de déguisé ; une cheville foulée « reposée pendant une semaine » permet enfin à quelqu’un de courir.

Une bonne vérification trouve les premières et laisse passer les seconds. Un piège signalé comme contradiction, c’est un faux positif.

Pourquoi nous l’avons reconstruite

La première vérification de cohérence condensait d’abord chaque chapitre en un résumé de 300 à 500 caractères, puis donnait les résumés, les personnages et les fiches d’univers au modèle pour qu’il cherche les contradictions. Un détail comme « cinq points de suture dans la paume droite » ne survit pas à un résumé. Le résumé d’un chapitre dit « le protagoniste est blessé dans un bar », celui du suivant « le protagoniste prend la mer », et côte à côte, ces deux lignes ne se contredisent en rien. Le détail se perd à la condensation, et aucune comparaison ultérieure ne peut plus le voir.

La nouvelle version lit donc le texte original dès le départ. Ce roman de test nous a servi à mesurer chacune de ses modifications.

Version 1 : lire le texte original chapitre par chapitre, 6 trouvées

La première version lisait le texte original un chapitre à la fois, listait les faits établis par ce chapitre, chacun avec sa citation, puis comparait les faits sur tout le livre.

Elle en a trouvé 6 sur 22, avec zéro faux positif sur les 10 pièges.

Le problème venait de l’extraction. Le modèle ne tirait qu’une dizaine de faits par chapitre, et sur les 22 contradictions, seules 6 avaient leurs deux côtés extraits. Si l’un des deux côtés n’est jamais extrait, la comparaison ne peut pas le voir.

Trois séries de modifications

Version 2 : une liste de points à extraire obligatoirement. Les heures, les jours de la semaine, les nombres, les noms exactement tels qu’ils sont écrits, l’emplacement d’une blessure et son côté, gauche ou droit, l’endroit où se trouve chaque personne à la fin du chapitre, qui tient quoi, qui sait nager, comment les gens se sont rencontrés. En balayant point par point, elle extrayait 25 à 40 faits par chapitre. Le nombre de contradictions dont les deux côtés étaient extraits est monté à 16, et pourtant seules 9 ont été trouvées. Le goulot d’étranglement s’était déplacé à l’étape suivante : avec tous les faits du livre comparés en une seule passe, le modèle ne pouvait isoler qu’une douzaine de suspects.

Version 3 : comparer par groupes. Les faits sur un même personnage dans un groupe, les moments dans un autre, les lieux dans un autre, comparés groupe par groupe. Elle en a trouvé 15.

Version 4 : chaque chapitre se vérifie d’abord lui-même, et chaque suspect retourne au texte. Certaines contradictions se produisent à l’intérieur d’un même chapitre : le matin, « je ne bois jamais de café », le soir, « il se prépara son habituelle tasse de café noir ». Chaque chapitre est donc vérifié par rapport à lui-même juste après l’extraction. Chaque suspect repéré par la comparaison est ensuite relu dans le texte original autour des deux passages, et n’est listé que si rien entre les deux ne l’explique. C’est cette étape qui laisse passer les pièges : le personnage qui a menti l’avoue plus tard, la relecture lit cette ligne, et l’élément est écarté.

La version 4 en a trouvé 20, avec 1 faux positif sur les 10 pièges.

Avant la mise en ligne : le même livre, sept passages

Les chiffres de laboratoire et le vrai produit sont deux choses différentes : avant la mise en ligne, nous avons donc passé le livre sept fois dans la chaîne de production, avec le même modèle :

Résultat
Contradictions trouvées, sur 2217, 19, 19, 17, 17, 18, 16 ; moyenne 17,6
Faux positifs sur les 10 pièges1 à 2 par passage
Part des passages cités retrouvables dans le manuscrit100 %

Sur sept passages du même livre, le total a varié entre 16 et 19. Seules deux contradictions ont été manquées les sept fois.

Les deux manquées à chaque fois

La main recousue. Celle du début. Au chapitre trois, « prend appui de la main droite sur le plat-bord » n’a jamais été extrait comme « l’état de sa main droite », sur aucun des sept passages. La phrase se lit comme une action, pas comme un fait sur le personnage.

La pleine lune qui ne vient jamais. Au chapitre cinq, la grand-mère dit : « Attends la prochaine pleine lune et tu comprendras », et aucune pleine lune n’apparaît dans tout le reste du livre. C’est un problème d’une autre nature : aucune phrase n’en contredit une autre. Ce qui manque, c’est quelque chose qui aurait dû apparaître. La vérification compare ce qui est écrit à ce qui est écrit ; ce qui n’a jamais été écrit lui est invisible. Savoir si une amorce est résolue, c’est le travail d’un autre outil.

Ces deux oublis dessinent les contours de ce qu’elle sait faire. Les faits écrits noir sur blanc, elle les rapproche dans le moindre détail. Déduire un état physique d’une action, ou remarquer que quelque chose « aurait dû apparaître et manque à l’appel », cela vous revient encore.

Ce que vous pouvez reprendre pour vos propres vérifications

Ces méthodes fonctionnent sans aucune IA :

  1. Faites une liste de points à extraire obligatoirement. Les heures, les jours de la semaine, les âges, le nombre de personnes, l’orthographe des noms, le côté d’une blessure, l’endroit où se trouve chacun à la fin de chaque chapitre. Balayez cette liste quand vous révisez : elle permet de repérer plus de choses que la relecture de chapitres entiers.
  2. Vérifiez par groupes. Lisez toutes les scènes d’un même personnage d’une traite, puis toutes les dates d’une traite. Chercher un seul type de chose à la fois empêche le regard de glisser dessus.
  3. Quand vous soupçonnez une contradiction, cherchez une explication entre les deux. Beaucoup de « contradictions » sont des rebondissements que vous avez écrits vous-même et oubliés parce qu’ils étaient trop éloignés.
  4. Tenez une liste à part pour les amorces. Notez chacune quand vous la placez, rayez-la quand elle est résolue. La comparaison ne peut pas repérer cela.

La vérification de cohérence de LitMemo

La vérification de cohérence par IA, c’est la version 4 : elle lit le texte original chapitre par chapitre, extrait les faits selon la liste, les compare par groupes et ramène chaque cas suspect au texte. Chaque constat affiche les passages des deux endroits, et un clic vous amène à cet endroit du manuscrit. Les mensonges qu’un personnage énonce ouvertement sont marqués « peut-être volontaire », et tout ce que vous marquez comme volontaire n’est plus listé. Lors des vérifications suivantes, elle ne relit que les chapitres nouveaux ou modifiés, tout en les comparant toujours à l’ensemble du livre.

À lire aussi : Votre personnage ne se ressemble plus ? 3 façons de repérer (et corriger) une dérive de personnage (OOC)

Questions fréquentes

Quelles contradictions la vérification de cohérence par IA peut-elle trouver ?
Les faits écrits dans le manuscrit qui concordent ou non : heures et jours de la semaine, âges et nombre de personnes, un nom à une lettre près, l’orthographe du nom d’un bateau ou d’une boutique, l’emplacement d’une blessure et son côté, l’endroit où se trouvent personnages et objets, la façon dont une relation a commencé, et tout ce qui entre en conflit avec vos fiches personnages et vos fiches d’univers. Elle cherche aussi les contradictions à l’intérieur d’un même chapitre.
Que laisse-t-elle passer ?
Deux types, le plus souvent. Le premier, c’est un état qu’il faut déduire d’une action : une main tout juste recousue, puis utilisée le lendemain pour se hisser. Cette phrase se lit comme une action, elle est donc rarement traitée comme « l’état de la main ». Le second, c’est quelque chose qui devrait apparaître et n’apparaît jamais, comme une amorce jamais résolue. Aucune phrase n’en contredit une autre, il n’y a donc rien à comparer.
Le mensonge d’un personnage ou un retour en arrière seront-ils signalés comme contradictions ?
Chaque cas suspect est relu dans le texte qui l’entoure. Si l’histoire l’explique plus loin (le personnage avoue son mensonge, le texte précise qu’il s’agit d’un souvenir, deux semaines passent), il n’est pas listé. Ce que le texte présente comme des paroles d’ivrogne ou des mensonges est marqué « peut-être volontaire ». Sur les 10 pièges de ce type du roman de test, la version en ligne a produit 1 à 2 faux positifs par passage.
Si je lance deux fois la vérification sur le même livre, ai-je les mêmes résultats ?
En grande partie, mais pas exactement. Sur sept passages du même roman de test, elle a trouvé de 16 à 19 des 22 contradictions, et les oublis n’étaient pas les mêmes à chaque fois. Quand vous relancez après une révision, les chapitres inchangés sont rapprochés des résultats précédents, et tout ce que vous avez corrigé est automatiquement marqué comme résolu.