Escondí 22 contradicciones en una novela y le pedí a una IA que las encontrara. La primera versión encontró 6.

En el capítulo dos, el protagonista se corta la palma derecha con un vidrio roto. Cinco puntos; el médico le dice que no apoye peso en esa mano durante una semana. En el capítulo tres, al día siguiente, apoya la mano derecha en la borda y se impulsa hasta la cubierta, “con la palma bien apoyada en la madera áspera, y no le dolió para nada”.

Mientras escribes no lo notas. Las dos frases están a un capítulo de distancia y se escribieron con una noche de diferencia, y cada una se lee bien por separado. Quienes leen sí lo notan, casi siempre en los comentarios.

Este tipo de desajuste es justo lo que la IA debería hacer bien: no se cansa, no se salta líneas y puede leer cada capítulo palabra por palabra. Así que hicimos una prueba para ver cuántos encuentra de verdad.

La novela de prueba

Escribimos una novela de 15 capítulos y poco más de 30,000 caracteres chinos, La luz de diciembre, ambientada en un pueblo costero con un faro, un tifón y un viejo pescador desaparecido. Mientras la escribíamos sembramos a propósito dos tipos de cosas:

  • 22 contradicciones: la abuela tiene setenta y ocho años en el capítulo uno y en el capítulo trece dice que ha vivido ochenta y cinco; el 3 de octubre es viernes, pero el 9 de octubre aparece como miércoles; el barco llamado Buena Marea se convierte en el Buen Viento en el capítulo catorce; el perro que murió el invierno pasado vuelve a estar echado a los pies de su dueño en el capítulo doce.
  • 10 trampas: pasajes que parecen incoherentes pero que la historia explica. Un personaje dice una mentira y después la admite; un desconocido en el muelle resulta ser, un capítulo después, alguien disfrazado; un tobillo torcido que “descansó una semana” por fin le permite a alguien correr.

Una buena revisión encuentra lo primero y deja pasar lo segundo. Una trampa reportada como contradicción es un falso positivo.

Por qué la reconstruimos

La revisión de coherencia original primero condensaba cada capítulo en un resumen de 300 a 500 caracteres y después le daba al modelo los resúmenes, los personajes y los elementos del mundo para que buscara contradicciones. Un detalle como “cinco puntos en la palma derecha” no sobrevive a un resumen. El resumen de un capítulo dice “el protagonista se lastima en un bar”, el del siguiente dice “el protagonista sale al mar”, y puestas lado a lado esas dos líneas no se contradicen en nada. El detalle se pierde al condensar, y ninguna comparación posterior puede verlo.

Así que la versión nueva lee el texto original desde el principio. Esta novela de prueba es la forma en que medimos cada cambio.

Versión 1: leer el texto original capítulo por capítulo, 6 encontradas

La primera versión leía el texto original un capítulo a la vez, enumeraba los hechos que establecía ese capítulo, cada uno con su cita, y después comparaba los hechos de todo el libro.

Encontró 6 de las 22, con cero falsos positivos en las 10 trampas.

El problema estaba en el paso de extracción. El modelo sacaba solo unos 10 hechos por capítulo, y de las 22 contradicciones, solo en 6 se habían extraído los dos lados. Si un lado nunca se extrae, la comparación no puede verlo.

Tres rondas de cambios

Versión 2: una lista de extracción obligatoria. Horas, días de la semana, números, nombres escritos exactamente como aparecen en el texto, dónde está una herida y si es izquierda o derecha, dónde está cada persona al final del capítulo, quién tiene qué en la mano, quién sabe nadar, cómo se conocieron. Barriendo punto por punto, extraía de 25 a 40 hechos por capítulo. Las contradicciones con los dos lados extraídos subieron a 16, pero solo se encontraron 9. El cuello de botella se había movido al paso siguiente: con todos los hechos del libro comparados en una sola pasada, el modelo solo lograba señalar una docena de sospechosos.

Versión 3: comparar por grupos. Los hechos sobre un mismo personaje en un grupo, las horas en otro, los lugares en otro, comparados grupo por grupo. Encontró 15.

Versión 4: cada capítulo se revisa primero a sí mismo, y cada sospechoso vuelve al texto. Algunas contradicciones ocurren dentro de un solo capítulo: en la mañana “nunca tomo café”, en la noche “se preparó su taza de café negro de siempre”. Así que cada capítulo se revisa contra sí mismo justo después de la extracción. Después, cada sospechoso que señala la comparación se vuelve a leer contra el texto original alrededor de los dos fragmentos, y solo se incluye si nada entre ellos lo explica. Este paso es el que deja pasar las trampas: el personaje que mintió lo admite más adelante, la segunda lectura encuentra esa línea y el punto se descarta.

La versión 4 encontró 20, con 1 falso positivo en las 10 trampas.

Antes del lanzamiento: el mismo libro, siete pasadas

Los números de laboratorio y el producto real son dos cosas distintas, así que antes del lanzamiento pasamos el libro siete veces por el flujo de producción, con el mismo modelo:

Resultado
Contradicciones encontradas, de 2217, 19, 19, 17, 17, 18, 16; promedio 17.6
Falsos positivos en las 10 trampasDe 1 a 2 por pasada
Proporción de fragmentos citados que se encuentran en el manuscrito100%

En siete pasadas sobre el mismo libro, la cifra se movió entre 16 y 19. Solo dos contradicciones se escaparon en las siete.

Las dos que se escaparon siempre

La mano con puntos. La del principio. En el capítulo tres, “apoya la mano derecha en la borda” nunca se extrajo como “el estado de su mano derecha” en ninguna de las siete pasadas. Se lee como una acción, no como un hecho sobre el personaje.

La luna llena que nunca llega. En el capítulo cinco la abuela dice: “Espera a la próxima luna llena y vas a entender”, y en todo el resto del libro no aparece ninguna luna llena. Este es otro tipo de problema: no hay dos frases que choquen. Lo que falta es algo que debería haber aparecido. La revisión compara lo escrito con lo escrito; lo que nunca se escribió le resulta invisible. Si los indicios se resuelven o no es trabajo de otra herramienta.

Estas dos ausencias marcan el límite de lo que puede hacer. Los hechos escritos en la página los cruza con mucho detalle. Deducir un estado físico a partir de una acción, o notar que algo “debería haber aparecido y no apareció”, sigue quedando en tus manos.

Lo que puedes aprovechar para tus propias revisiones

Esto funciona sin ninguna IA:

  1. Arma una lista de extracción obligatoria. Horas, días de la semana, edades, cantidad de personas, cómo se escriben los nombres, de qué lado está una herida, dónde está cada quien al final de cada capítulo. Revisa contra la lista cuando corrijas; detecta más que releer capítulos enteros.
  2. Revisa por grupos. Lee de una sola pasada todas las escenas de un personaje y después, de una sola pasada, todas las fechas. Buscar un solo tipo de cosa a la vez evita que la vista se te resbale.
  3. Cuando sospeches una contradicción, busca una explicación en medio. Muchas “contradicciones” son giros que escribiste tú y olvidaste porque estaban demasiado lejos.
  4. Lleva una lista aparte de indicios. Anota cada uno cuando lo siembras y táchalo cuando se resuelve. La comparación no puede detectar esto.

La revisión de coherencia de LitMemo

La revisión de coherencia con IA es la versión 4: lee el texto original capítulo por capítulo, extrae hechos según la lista, los compara por grupos y lleva cada sospechoso de vuelta al texto. Cada hallazgo muestra los fragmentos de los dos lugares, y con un clic saltas a ese punto del manuscrito. Las mentiras que un personaje dice abiertamente se marcan como “posiblemente intencional”, y lo que marques como intencional no se vuelve a listar. En las revisiones siguientes vuelve a leer solo los capítulos nuevos o editados, comparándolos igual con todo el libro.

Relacionado: ¿Tu personaje ya no parece él mismo? 3 formas de detectar y corregir el OOC

Preguntas frecuentes

¿Qué contradicciones puede encontrar la revisión de coherencia con IA?
Hechos escritos en el manuscrito que cuadran o no cuadran entre sí: horas y días de la semana, edades y cantidad de personas, un nombre con una letra cambiada, cómo se escribe el nombre de un barco o de una tienda, dónde está una herida y de qué lado, dónde están los personajes y los objetos, cómo empezó una relación y cualquier cosa que choque con tus fichas de personaje y los elementos de tu mundo. También busca contradicciones dentro de un mismo capítulo.
¿Qué se le escapa?
Dos tipos, sobre todo. Uno es un estado que hay que deducir a partir de una acción: una mano recién cosida que al día siguiente se usa para impulsar el cuerpo hacia arriba. Esa frase se lee como una acción, así que pocas veces se trata como el estado de la mano. El otro es algo que debería aparecer y nunca aparece, como un indicio que nunca se resuelve. No hay dos frases que choquen, así que no tiene nada que comparar.
¿La mentira de un personaje o un recuerdo se marcan como contradicción?
Cada posible contradicción se coteja de nuevo con el texto que la rodea. Si la historia lo explica más adelante (el personaje admite la mentira, el texto dice que es un recuerdo, pasan dos semanas), no se incluye. Lo que el texto presenta como palabras de borracho o mentiras se marca como posiblemente intencional. Con las 10 trampas de este tipo que tenía la novela de prueba, la versión lanzada tuvo de 1 a 2 falsos positivos por pasada.
Si paso el mismo libro dos veces, ¿obtengo los mismos resultados?
Casi, pero no exactamente. En siete pasadas sobre la misma novela de prueba encontró de 16 a 19 de las 22 contradicciones, y las que se le escaparon no fueron las mismas cada vez. Cuando vuelves a revisar después de corregir, los capítulos sin cambios se cotejan con los resultados anteriores, y lo que ya corregiste se marca como resuelto automáticamente.