Hice 140 evaluaciones con IA sobre 5 manuscritos reales. Las calificaciones no eran reales

Pegas en una IA el capítulo que acabas de terminar y le preguntas: “Del 1 al 10, ¿qué tan bueno es?”.

Te dice 7.5, con tres líneas de razonamiento que suenan convincentes. Respiras con alivio y cierras la ventana.

Al día siguiente quieres volver a comprobarlo. Mismo texto, misma pregunta: esta vez dice 8. Cambias una frase: 7. No cambias nada y solo reformulas la pregunta: 8.5.

¿Qué está midiendo ese número?

Nos quedamos atascados en esta pregunta mientras construíamos nuestros informes de lectura beta con IA, así que fuimos a medirlo: cinco manuscritos reales, unas ciento cuarenta llamadas al modelo, desarmando “la IA califica tu borrador” para ver qué había adentro. La conclusión fue incómoda pero inequívoca: la calificación no sirve. No es que sea imprecisa: es que, de entrada, no distingue nada.

Aquí está todo lo que medimos y cómo terminamos diseñando para sortear ese problema.

Cómo fue el experimento

  • Material: cinco manuscritos reales (no muestras generadas para la prueba: textos que alguien está escribiendo de verdad), elegidos a propósito con temas y grados de madurez distintos
  • Escala: unas 140 llamadas al modelo, repartidas en cuatro versiones del prompt
  • Un segundo conjunto: el mismo capítulo, sin cambiar una palabra, pasado dos veces con los mismos lectores: 15 bloques × 5 lectores = 75 celdas calificadas, comparadas lado a lado

Todos los hallazgos que siguen salen de esos dos conjuntos.

Hallazgo 1: un mismo evaluador, cinco manuscritos muy distintos, la misma calificación

La primera versión era el diseño obvio: darle al modelo una personalidad de lector y pedirle que calificara el borrador del 1 al 10 después de leerlo.

El lector crítico les puso a los cinco manuscritos (temas distintos, extensiones distintas, madurez completamente distinta) un 4. Desviación estándar: 0.00.

Coherencia perfecta. Capacidad de distinguir: cero.

Aquí está la trampa: si solo compruebas “¿al volver a pasarlo da la misma calificación?”, esta versión saca nota perfecta. Es extremadamente estable: estable en no decir nada.

La prueba: cuando veas un campo de calificación de una IA, pregunta primero cuántos valores distintos produjo en tu muestra. Un campo que produjo un solo valor está muerto, por estable que parezca.

Hallazgo 2: una línea en la personalidad fuerza una calificación perfecta

El segundo hallazgo es el más grave.

Cuando “interpretar al lector” y “asignar la calificación” son el mismo paso, la calificación sigue a la personalidad. Probamos agregar una sola frase a la descripción de una personalidad: No pongo notas bajas.

Dejó de poner notas bajas. Mismo manuscrito: 10/10.

No es que el modelo se rompa. Es que le entregamos la autoridad de calificar a la personalidad, y la personalidad es un campo que escribe quien usa el producto. Cualquier producto que deje definir un juez de IA sin resolver esta capa le está sirviendo a cada persona una calificación que escribió ella misma.

Hallazgo 3: la forma más barata de volverlo estable es que deje de distinguir

Después del hallazgo 1 volvimos al prompt y escribimos los criterios de “voz narrativa” con mucho más rigor, buscando mejorar la coherencia al volver a pasarlo.

Resultado: cinco manuscritos × tres repeticiones = 15 juicios, todos y cada uno “medio”.

El número de coherencia quedó precioso, porque había dejado de producir “alto” o “bajo”.

Es el autoengaño clásico de los prompts de calificación: crees que estás mejorando la calidad cuando en realidad estás aplanando la escala, y cada métrica intermedia mejora mientras lo haces.

Hallazgo 4: cuatro versiones, cuatro rankings, y no sé cuál es el correcto

Construimos cuatro versiones del prompt. Con los mismos cinco manuscritos, produjeron cuatro rankings distintos: un manuscrito quedó último en las tres primeras versiones y primero en la cuarta.

¿Cuál versión es la correcta?

No lo sé. Nunca hubo una vara de medir humana: nadie había ordenado antes esos cinco manuscritos para que sirvieran de referencia. Sin ella, “la nueva versión es más precisa” es una afirmación que no se puede verificar. Las cuatro versiones mejoraron en coherencia al repetirse, y todo ese tiempo estuve caminando a oscuras.

Si estás ajustando una IA que califica: haz que personas ordenen primero las muestras y después evalúa cada versión contra ese orden. Construye la vara de medir antes de ajustar.

Entonces, ¿qué sobrevive? La medición al volver a pasarlo

Que la calificación no sirva no significa que todo el ejercicio sea inútil. Pasamos el mismo capítulo dos veces sin cambiar una palabra y comparamos celda por celda, para averiguar qué sobrevive a una repetición:

Qué miramosEntre las dos pasadasVeredicto
Cómo dividió el capítulo en bloquesIdénticoEstable
Forma de la curva de interésCorrelación 0.89Estable
Calificaciones celda por celda55 de 75 idénticas (73%)Estable en general
Promedio por bloqueSe mueve 0.20 en promedio, 0.60 en el peor casoLos decimales no son reales
Qué bloques eran los más flojosLos 2 más bajos coincidieron por completo; los 4 más bajos coincidieron por completoEstable
Desacuerdo entre lectoresDe los 4 bloques que más dividieron, solo 1 se repitióRuido

Dos conclusiones.

Una: el orden sirve, los valores absolutos no. “Los dos bloques más flojos” señaló el mismo par las dos veces. Pero ponle un umbral fijo (marcar cualquier bloque por debajo de cierta calificación) y un bloque que está cerca de esa línea la cruza en una pasada y en la otra no. Cualquier número cerca de un corte fijo es una tirada de dados.

Dos: la métrica que suena más reveladora suele ser el ruido. “Qué fragmento dividió más a los lectores” suena como el hallazgo más valioso de todos, y es justo lo único que no se reprodujo. La razón no tiene misterio: cinco muestras alcanzan para un promedio; no alcanzan para una varianza.

Qué preguntarle a una IA sobre tu borrador en su lugar

Aunque solo tengas una IA de uso general, esto lo puedes cambiar hoy:

  1. No pidas una calificación: pregunta por la conducta. Cambia “¿qué tan bueno es este capítulo?” por “¿qué línea te dio más ganas de seguir leyendo?” y “¿dónde empezaste a querer leer en diagonal?”. La conducta se puede contrastar con el manuscrito. Una calificación, no.
  2. Haz que cite tu texto. Un comentario sin cita no se puede verificar ni sirve para revisar. Exige que cada juicio venga con la frase de la que salió.
  3. Compara por orden, nunca por calificación. “Mejoró 0.3 después de la revisión” es ficción. “La vez pasada tres de cinco quisieron más en el mismo fragmento; esta vez, uno” es real.
  4. Pasa el mismo borrador dos veces y confía solo en lo que aparece las dos veces. Es el filtro de ruido más barato que existe, y lo puedes hacer por tu cuenta.
  5. No dejes que un personaje que inventaste haga también de juez. Si le pides a una IA que interprete a “mi lector más fiel”, no le pidas una calificación en esa misma conversación.

Lo que terminamos construyendo

El informe de lectura beta con IA de LitMemo tomó su forma de estos hallazgos y no de nuestro plan original:

  • Sin calificación del 1 al 10, y sin nota tampoco. El diagnóstico del manuscrito se presenta como observaciones legibles con la cita que las respalda, porque no tenemos ninguna referencia que sostenga un número.
  • La calificación está separada de la personalidad. La calidad del manuscrito la juzga una etapa que no ve en absoluto la personalidad del lector; se calcula una vez por día de lectura y la comparten todos los lectores. Frente a cuatro personalidades adversarias (incluida la que dice abiertamente que nunca pone notas bajas y una que intenta una inyección de prompt), los campos de calidad salieron idénticos a los de los lectores del sistema.
  • Los lectores leen el libro entero, un día a la vez. Cada lector lee 10,000 palabras al día, lo retoma al día siguiente con la memoria que él mismo anotó y deja de abrir el libro cuando ya no quiere leer. La primera línea del informe dice cuántos empezaron y cuántos terminaron; debajo, el capítulo que más lectores perdió, la línea donde se detuvo cada uno y el diario de lectura de cada lector.
  • La selección es por orden, no por umbral fijo. Decimos “los dos fragmentos más flojos”, nunca “los fragmentos por debajo de X”.

Una calificación se ve mejor y vende mejor. Pero un número que no puedes comprobar solo te va a mandar a revisar la parte equivocada del capítulo.

Relacionado: Dónde encontrar lectores beta (y qué hacer mientras esperas)

Preguntas frecuentes

Entonces, ¿la IA no sirve para evaluar un manuscrito?
Sirve, pero cambia la pregunta. Todo lo que comprime la calidad en un solo número es poco confiable. Las preguntas de conducta son mucho más confiables: dónde te detuviste, qué fragmento te dio más ganas de seguir, de qué nombre te acuerdas. Esas respuestas se pueden contrastar con el manuscrito. Exige una cita de tu propio texto para cada juicio y trata cualquier comentario sin cita como si no hubiera dicho nada.
¿Por qué cambia la calificación cuando vuelvo a pasar el mismo borrador?
Por dos razones. Primero, los modelos generativos muestrean, así que la misma entrada no garantiza la misma salida. Segundo, y más de fondo: no hay una referencia verdadera. En nuestras pruebas, cuatro versiones del prompt produjeron cuatro rankings distintos de los mismos cinco manuscritos y no pudimos decir cuál era el correcto, porque nadie los había ordenado antes a mano. También medimos que los promedios por bloque se movían entre 0.20 y 0.60 entre dos pasadas, y eso es lo que vuelve inútiles los decimales.
Una IA me dijo que mi borrador “tiene mucho potencial”. ¿Le puedo creer?
Sin una cita, el elogio y la crítica son igual de imposibles de verificar. Y medimos lo fácil que es fabricar un elogio: agregar una línea a una personalidad, diciendo que nunca pone notas bajas, bastó para producir un 10/10 en el mismo manuscrito. Para saber si un comentario trae información, pregunta en qué fragmento se basa. Si no puede señalar ninguno, descártalo.
¿Puedo hacer este experimento por mi cuenta?
Sí, y la versión más barata lleva cinco minutos: haz la misma pregunta sobre el mismo borrador en dos conversaciones nuevas, compara las conclusiones y quédate solo con lo que aparece en las dos. Para ir un paso más allá, haz la misma pregunta sobre dos borradores cuya calidad relativa ya conoces. Si la calificación de la IA no logra distinguir una diferencia de la que ya tienes certeza, esa calificación no te sirve.