140 оценок ИИ на 5 рукописях: оценки оказались фикцией
Вы вставляете в ИИ только что дописанную главу и спрашиваете: «Насколько это хорошо по десятибалльной шкале?»
Он отвечает: 7,5 — и три строчки убедительно звучащих доводов. Вы выдыхаете и закрываете окно.
На следующий день хочется проверить ещё раз. Тот же текст, тот же вопрос — на этот раз 8. Меняете одно предложение — 7. Не меняете ничего, просто переформулируете вопрос — 8,5.
Что измеряет это число?
Мы застряли на этом вопросе, когда делали отчёты бета-читателя ИИ, и пошли измерять: пять реальных рукописей, примерно сто сорок вызовов модели — разобрали «ИИ оценивает ваш черновик» на части, чтобы посмотреть, что внутри. Вывод оказался неудобным, но однозначным: оценкой пользоваться нельзя. Дело даже не в неточности — она изначально ничего не различает.
Ниже всё, что мы измерили, и то, как в итоге выстроили продукт вокруг этого.
Как выглядел эксперимент
- Материал: пять реальных рукописей (не образцы, сгенерированные для теста, — то, что люди действительно пишут), намеренно разных по теме и зрелости
- Масштаб: около 140 вызовов модели, четыре версии промпта
- Второй набор: одна и та же глава, без единого изменённого слова, дважды прогнанная теми же читателями — 15 фрагментов × 5 читателей = 75 оценённых ячеек, сравнённых друг с другом
Все выводы ниже — из этих двух наборов.
Вывод 1. Один оценщик, пять очень разных рукописей, одна и та же оценка
Первая версия была очевидной: дать модели персону читателя и попросить после чтения оценить черновик от 1 до 10.
Критичный читатель поставил всем пяти рукописям — разные темы, разный объём, совершенно разная зрелость — 4. Стандартное отклонение 0,00.
Идеальная согласованность. Нулевая различительная способность.
Ловушка вот в чём: если проверять только «даёт ли повторный прогон ту же оценку», эта версия получает высший балл. Она предельно стабильна — стабильно ничего не говорит.
Проверка: увидев поле с оценкой ИИ, сначала спросите, сколько разных значений оно выдало на вашей выборке. Поле, выдавшее ровно одно значение, мертво, как бы стабильно оно ни выглядело.
Вывод 2. Одна строчка в персоне выбивает идеальную оценку
Второй вывод серьёзнее.
Когда «сыграть читателя» и «поставить оценку» — один и тот же шаг, оценка идёт за персоной. Мы попробовали добавить в описание персоны одно предложение: Я не ставлю низких оценок.
Она перестала ставить низкие оценки. Та же рукопись — 10/10.
Модель при этом не сломалась. Это мы отдали право оценивать персоне, а персона — это поле, которое заполняет пользователь. Любой продукт, который позволяет пользователю задать ИИ-судью и не решает эту проблему, выдаёт пользователю оценку, которую тот сам себе и написал.
Вывод 3. Самый дешёвый способ сделать оценку стабильной — заставить её перестать что-либо различать
После первого вывода мы вернулись к промпту и гораздо строже прописали критерии «авторского голоса», чтобы повысить согласованность при повторных прогонах.
Результат: пять рукописей × три прогона = 15 суждений, и все до единого — «средне».
Цифра согласованности стала прекрасной, потому что модель вообще перестала выдавать «высоко» или «низко».
Это классический самообман промптов для оценки: вы уверены, что повышаете качество, а на деле сплющиваете шкалу — и все промежуточные метрики при этом улучшаются.
Вывод 4. Четыре версии, четыре рейтинга, и я не могу сказать, какой верный
Мы сделали четыре версии промпта. На одних и тех же пяти рукописях они выдали четыре разных рейтинга: одна рукопись была последней в первых трёх версиях и первой в четвёртой.
Какая версия правильная?
Ответить я не могу. Человеческой линейки не было с самого начала: никто заранее не расставил эти пять рукописей по местам, чтобы это служило эталоном. Без него «новая версия точнее» — утверждение, которое нельзя проверить. Все четыре версии улучшили согласованность повторных прогонов, а я всё это время шёл вслепую.
Если вы настраиваете ИИ для оценки: сначала пусть люди расставят образцы по местам, а потом сверяйте с этим рейтингом каждую версию. Сначала линейка, потом настройка.
Что же выдерживает проверку? Измерение повторного прогона
То, что оценкой пользоваться нельзя, не значит, что вся затея бесполезна. Мы дважды прогнали одну и ту же главу, не меняя ни слова, и сравнили ячейку за ячейкой, чтобы понять, что выдерживает повторный прогон:
| Что смотрели | Между двумя прогонами | Вердикт |
|---|---|---|
| Как глава делится на фрагменты | Идентично | Стабильно |
| Форма кривой вовлечённости | Корреляция 0,89 | Стабильно |
| Оценки по ячейкам | 55 из 75 совпали (73 %) | В целом стабильно |
| Среднее по фрагменту | Сдвиг в среднем 0,20, в худшем случае 0,60 | Десятые доли — фикция |
| Какие фрагменты самые слабые | 2 самых слабых совпали полностью; 4 самых слабых совпали полностью | Стабильно |
| Расхождения между читателями | Из 4 самых спорных фрагментов повторился только 1 | Шум |
Два вывода.
Первый: порядок использовать можно, абсолютные значения — нет. «Два самых слабых фрагмента» оба раза указали на одну и ту же пару. Но поставьте фиксированный порог (отмечать любой фрагмент ниже какой-то оценки) — и фрагмент возле этой черты в одном прогоне её пересечёт, а в другом нет. Любое число рядом с фиксированной отсечкой — бросок кубика.
Второй: метрика, которая звучит проницательнее всего, обычно и есть шум. «Какой фрагмент сильнее всего разделил читателей» звучит как самая ценная находка — и именно она не воспроизвелась. Причина не загадочна: по пяти образцам можно оценить среднее, но не дисперсию.
О чём спрашивать ИИ про черновик вместо оценки
Даже если у вас под рукой только ИИ общего назначения, вот что можно поменять уже сегодня:
- Не просите оценку — спрашивайте о поведении. Замените «насколько хороша эта глава» на «какая строка сильнее всего тянула читать дальше» и «где захотелось пробежать глазами». Поведение можно сверить с рукописью. Оценку — нет.
- Требуйте цитат из текста. Комментарий без цитаты нельзя проверить и нельзя по нему править. Пусть каждое суждение сопровождается предложением, на котором оно основано.
- Сравнивайте по порядку, а не по оценке. «После правки стало лучше на 0,3» — вымысел. «В прошлый раз трое из пяти хотели продолжения на одном и том же месте, в этот раз один» — реальность.
- Прогоните один и тот же черновик дважды и верьте только тому, что появилось оба раза. Это самый дешёвый фильтр шума, и запустить его можно самим.
- Не позволяйте придуманному вами персонажу быть ещё и судьёй. Если вы просите ИИ сыграть «моего преданного читателя», не просите в том же разговоре оценку.
Что мы в итоге построили
Отчёт ИИ-бета-читателя в LitMemo сформировался на основе этих выводов, а не нашего первоначального плана:
- Никакой оценки от 1 до 10 и никаких буквенных оценок тоже. Разбор рукописи выводится как читаемые наблюдения с подтверждающей цитатой, потому что эталона, на который могло бы опереться хоть какое-то число, у нас нет.
- Оценка отделена от персоны. Качество рукописи оценивает этап, который вообще не видит персону читателя; он рассчитывается один раз за день чтения и остаётся общим для всех читателей. На четырёх враждебных персонах — включая ту, что прямо заявляет, что никогда не ставит низких оценок, и ту, что пытается внедрить промпт, — поля качества совпали с результатами системных читателей.
- Читатели читают всю книгу, понемногу каждый день. Каждый читатель читает 10 000 слов в день, на следующий день продолжает с памятью, которую сам записал, и перестаёт открывать книгу, когда читать больше не хочется. Первая строка отчёта — сколько начали и сколько дочитали; ниже — глава, на которой ушло больше всего читателей, строка, на которой остановился каждый, и дневник каждого читателя.
- Отбор по порядку, а не по фиксированному порогу. Мы говорим «два самых слабых фрагмента» и никогда «фрагменты ниже X».
Оценка выглядит солиднее и продаётся лучше. Но число, которое нельзя проверить, только отправит вас править не ту часть главы.
