Hice 140 evaluaciones con IA sobre 5 manuscritos reales. Las calificaciones no eran reales
Pegas en una IA el capítulo que acabas de terminar y le preguntas: “Del 1 al 10, ¿qué tan bueno es?”.
Te dice 7.5, con tres líneas de razonamiento que suenan convincentes. Respiras con alivio y cierras la ventana.
Al día siguiente quieres volver a comprobarlo. Mismo texto, misma pregunta: esta vez dice 8. Cambias una frase: 7. No cambias nada y solo reformulas la pregunta: 8.5.
¿Qué está midiendo ese número?
Nos quedamos atascados en esta pregunta mientras construíamos nuestros informes de lectura beta con IA, así que fuimos a medirlo: cinco manuscritos reales, unas ciento cuarenta llamadas al modelo, desarmando “la IA califica tu borrador” para ver qué había adentro. La conclusión fue incómoda pero inequívoca: la calificación no sirve. No es que sea imprecisa: es que, de entrada, no distingue nada.
Aquí está todo lo que medimos y cómo terminamos diseñando para sortear ese problema.
Cómo fue el experimento
- Material: cinco manuscritos reales (no muestras generadas para la prueba: textos que alguien está escribiendo de verdad), elegidos a propósito con temas y grados de madurez distintos
- Escala: unas 140 llamadas al modelo, repartidas en cuatro versiones del prompt
- Un segundo conjunto: el mismo capítulo, sin cambiar una palabra, pasado dos veces con los mismos lectores: 15 bloques × 5 lectores = 75 celdas calificadas, comparadas lado a lado
Todos los hallazgos que siguen salen de esos dos conjuntos.
Hallazgo 1: un mismo evaluador, cinco manuscritos muy distintos, la misma calificación
La primera versión era el diseño obvio: darle al modelo una personalidad de lector y pedirle que calificara el borrador del 1 al 10 después de leerlo.
El lector crítico les puso a los cinco manuscritos (temas distintos, extensiones distintas, madurez completamente distinta) un 4. Desviación estándar: 0.00.
Coherencia perfecta. Capacidad de distinguir: cero.
Aquí está la trampa: si solo compruebas “¿al volver a pasarlo da la misma calificación?”, esta versión saca nota perfecta. Es extremadamente estable: estable en no decir nada.
La prueba: cuando veas un campo de calificación de una IA, pregunta primero cuántos valores distintos produjo en tu muestra. Un campo que produjo un solo valor está muerto, por estable que parezca.
Hallazgo 2: una línea en la personalidad fuerza una calificación perfecta
El segundo hallazgo es el más grave.
Cuando “interpretar al lector” y “asignar la calificación” son el mismo paso, la calificación sigue a la personalidad. Probamos agregar una sola frase a la descripción de una personalidad: No pongo notas bajas.
Dejó de poner notas bajas. Mismo manuscrito: 10/10.
No es que el modelo se rompa. Es que le entregamos la autoridad de calificar a la personalidad, y la personalidad es un campo que escribe quien usa el producto. Cualquier producto que deje definir un juez de IA sin resolver esta capa le está sirviendo a cada persona una calificación que escribió ella misma.
Hallazgo 3: la forma más barata de volverlo estable es que deje de distinguir
Después del hallazgo 1 volvimos al prompt y escribimos los criterios de “voz narrativa” con mucho más rigor, buscando mejorar la coherencia al volver a pasarlo.
Resultado: cinco manuscritos × tres repeticiones = 15 juicios, todos y cada uno “medio”.
El número de coherencia quedó precioso, porque había dejado de producir “alto” o “bajo”.
Es el autoengaño clásico de los prompts de calificación: crees que estás mejorando la calidad cuando en realidad estás aplanando la escala, y cada métrica intermedia mejora mientras lo haces.
Hallazgo 4: cuatro versiones, cuatro rankings, y no sé cuál es el correcto
Construimos cuatro versiones del prompt. Con los mismos cinco manuscritos, produjeron cuatro rankings distintos: un manuscrito quedó último en las tres primeras versiones y primero en la cuarta.
¿Cuál versión es la correcta?
No lo sé. Nunca hubo una vara de medir humana: nadie había ordenado antes esos cinco manuscritos para que sirvieran de referencia. Sin ella, “la nueva versión es más precisa” es una afirmación que no se puede verificar. Las cuatro versiones mejoraron en coherencia al repetirse, y todo ese tiempo estuve caminando a oscuras.
Si estás ajustando una IA que califica: haz que personas ordenen primero las muestras y después evalúa cada versión contra ese orden. Construye la vara de medir antes de ajustar.
Entonces, ¿qué sobrevive? La medición al volver a pasarlo
Que la calificación no sirva no significa que todo el ejercicio sea inútil. Pasamos el mismo capítulo dos veces sin cambiar una palabra y comparamos celda por celda, para averiguar qué sobrevive a una repetición:
| Qué miramos | Entre las dos pasadas | Veredicto |
|---|---|---|
| Cómo dividió el capítulo en bloques | Idéntico | Estable |
| Forma de la curva de interés | Correlación 0.89 | Estable |
| Calificaciones celda por celda | 55 de 75 idénticas (73%) | Estable en general |
| Promedio por bloque | Se mueve 0.20 en promedio, 0.60 en el peor caso | Los decimales no son reales |
| Qué bloques eran los más flojos | Los 2 más bajos coincidieron por completo; los 4 más bajos coincidieron por completo | Estable |
| Desacuerdo entre lectores | De los 4 bloques que más dividieron, solo 1 se repitió | Ruido |
Dos conclusiones.
Una: el orden sirve, los valores absolutos no. “Los dos bloques más flojos” señaló el mismo par las dos veces. Pero ponle un umbral fijo (marcar cualquier bloque por debajo de cierta calificación) y un bloque que está cerca de esa línea la cruza en una pasada y en la otra no. Cualquier número cerca de un corte fijo es una tirada de dados.
Dos: la métrica que suena más reveladora suele ser el ruido. “Qué fragmento dividió más a los lectores” suena como el hallazgo más valioso de todos, y es justo lo único que no se reprodujo. La razón no tiene misterio: cinco muestras alcanzan para un promedio; no alcanzan para una varianza.
Qué preguntarle a una IA sobre tu borrador en su lugar
Aunque solo tengas una IA de uso general, esto lo puedes cambiar hoy:
- No pidas una calificación: pregunta por la conducta. Cambia “¿qué tan bueno es este capítulo?” por “¿qué línea te dio más ganas de seguir leyendo?” y “¿dónde empezaste a querer leer en diagonal?”. La conducta se puede contrastar con el manuscrito. Una calificación, no.
- Haz que cite tu texto. Un comentario sin cita no se puede verificar ni sirve para revisar. Exige que cada juicio venga con la frase de la que salió.
- Compara por orden, nunca por calificación. “Mejoró 0.3 después de la revisión” es ficción. “La vez pasada tres de cinco quisieron más en el mismo fragmento; esta vez, uno” es real.
- Pasa el mismo borrador dos veces y confía solo en lo que aparece las dos veces. Es el filtro de ruido más barato que existe, y lo puedes hacer por tu cuenta.
- No dejes que un personaje que inventaste haga también de juez. Si le pides a una IA que interprete a “mi lector más fiel”, no le pidas una calificación en esa misma conversación.
Lo que terminamos construyendo
El informe de lectura beta con IA de LitMemo tomó su forma de estos hallazgos y no de nuestro plan original:
- Sin calificación del 1 al 10, y sin nota tampoco. El diagnóstico del manuscrito se presenta como observaciones legibles con la cita que las respalda, porque no tenemos ninguna referencia que sostenga un número.
- La calificación está separada de la personalidad. La calidad del manuscrito la juzga una etapa que no ve en absoluto la personalidad del lector; se calcula una vez por día de lectura y la comparten todos los lectores. Frente a cuatro personalidades adversarias (incluida la que dice abiertamente que nunca pone notas bajas y una que intenta una inyección de prompt), los campos de calidad salieron idénticos a los de los lectores del sistema.
- Los lectores leen el libro entero, un día a la vez. Cada lector lee 10,000 palabras al día, lo retoma al día siguiente con la memoria que él mismo anotó y deja de abrir el libro cuando ya no quiere leer. La primera línea del informe dice cuántos empezaron y cuántos terminaron; debajo, el capítulo que más lectores perdió, la línea donde se detuvo cada uno y el diario de lectura de cada lector.
- La selección es por orden, no por umbral fijo. Decimos “los dos fragmentos más flojos”, nunca “los fragmentos por debajo de X”.
Una calificación se ve mejor y vende mejor. Pero un número que no puedes comprobar solo te va a mandar a revisar la parte equivocada del capítulo.
Relacionado: Dónde encontrar lectores beta (y qué hacer mientras esperas)
