140 оценок ИИ на 5 рукописях: оценки оказались фикцией

Вы вставляете в ИИ только что дописанную главу и спрашиваете: «Насколько это хорошо по десятибалльной шкале?»

Он отвечает: 7,5 — и три строчки убедительно звучащих доводов. Вы выдыхаете и закрываете окно.

На следующий день хочется проверить ещё раз. Тот же текст, тот же вопрос — на этот раз 8. Меняете одно предложение — 7. Не меняете ничего, просто переформулируете вопрос — 8,5.

Что измеряет это число?

Мы застряли на этом вопросе, когда делали отчёты бета-читателя ИИ, и пошли измерять: пять реальных рукописей, примерно сто сорок вызовов модели — разобрали «ИИ оценивает ваш черновик» на части, чтобы посмотреть, что внутри. Вывод оказался неудобным, но однозначным: оценкой пользоваться нельзя. Дело даже не в неточности — она изначально ничего не различает.

Ниже всё, что мы измерили, и то, как в итоге выстроили продукт вокруг этого.

Как выглядел эксперимент

  • Материал: пять реальных рукописей (не образцы, сгенерированные для теста, — то, что люди действительно пишут), намеренно разных по теме и зрелости
  • Масштаб: около 140 вызовов модели, четыре версии промпта
  • Второй набор: одна и та же глава, без единого изменённого слова, дважды прогнанная теми же читателями — 15 фрагментов × 5 читателей = 75 оценённых ячеек, сравнённых друг с другом

Все выводы ниже — из этих двух наборов.

Вывод 1. Один оценщик, пять очень разных рукописей, одна и та же оценка

Первая версия была очевидной: дать модели персону читателя и попросить после чтения оценить черновик от 1 до 10.

Критичный читатель поставил всем пяти рукописям — разные темы, разный объём, совершенно разная зрелость — 4. Стандартное отклонение 0,00.

Идеальная согласованность. Нулевая различительная способность.

Ловушка вот в чём: если проверять только «даёт ли повторный прогон ту же оценку», эта версия получает высший балл. Она предельно стабильна — стабильно ничего не говорит.

Проверка: увидев поле с оценкой ИИ, сначала спросите, сколько разных значений оно выдало на вашей выборке. Поле, выдавшее ровно одно значение, мертво, как бы стабильно оно ни выглядело.

Вывод 2. Одна строчка в персоне выбивает идеальную оценку

Второй вывод серьёзнее.

Когда «сыграть читателя» и «поставить оценку» — один и тот же шаг, оценка идёт за персоной. Мы попробовали добавить в описание персоны одно предложение: Я не ставлю низких оценок.

Она перестала ставить низкие оценки. Та же рукопись — 10/10.

Модель при этом не сломалась. Это мы отдали право оценивать персоне, а персона — это поле, которое заполняет пользователь. Любой продукт, который позволяет пользователю задать ИИ-судью и не решает эту проблему, выдаёт пользователю оценку, которую тот сам себе и написал.

Вывод 3. Самый дешёвый способ сделать оценку стабильной — заставить её перестать что-либо различать

После первого вывода мы вернулись к промпту и гораздо строже прописали критерии «авторского голоса», чтобы повысить согласованность при повторных прогонах.

Результат: пять рукописей × три прогона = 15 суждений, и все до единого — «средне».

Цифра согласованности стала прекрасной, потому что модель вообще перестала выдавать «высоко» или «низко».

Это классический самообман промптов для оценки: вы уверены, что повышаете качество, а на деле сплющиваете шкалу — и все промежуточные метрики при этом улучшаются.

Вывод 4. Четыре версии, четыре рейтинга, и я не могу сказать, какой верный

Мы сделали четыре версии промпта. На одних и тех же пяти рукописях они выдали четыре разных рейтинга: одна рукопись была последней в первых трёх версиях и первой в четвёртой.

Какая версия правильная?

Ответить я не могу. Человеческой линейки не было с самого начала: никто заранее не расставил эти пять рукописей по местам, чтобы это служило эталоном. Без него «новая версия точнее» — утверждение, которое нельзя проверить. Все четыре версии улучшили согласованность повторных прогонов, а я всё это время шёл вслепую.

Если вы настраиваете ИИ для оценки: сначала пусть люди расставят образцы по местам, а потом сверяйте с этим рейтингом каждую версию. Сначала линейка, потом настройка.

Что же выдерживает проверку? Измерение повторного прогона

То, что оценкой пользоваться нельзя, не значит, что вся затея бесполезна. Мы дважды прогнали одну и ту же главу, не меняя ни слова, и сравнили ячейку за ячейкой, чтобы понять, что выдерживает повторный прогон:

Что смотрелиМежду двумя прогонамиВердикт
Как глава делится на фрагментыИдентичноСтабильно
Форма кривой вовлечённостиКорреляция 0,89Стабильно
Оценки по ячейкам55 из 75 совпали (73 %)В целом стабильно
Среднее по фрагментуСдвиг в среднем 0,20, в худшем случае 0,60Десятые доли — фикция
Какие фрагменты самые слабые2 самых слабых совпали полностью; 4 самых слабых совпали полностьюСтабильно
Расхождения между читателямиИз 4 самых спорных фрагментов повторился только 1Шум

Два вывода.

Первый: порядок использовать можно, абсолютные значения — нет. «Два самых слабых фрагмента» оба раза указали на одну и ту же пару. Но поставьте фиксированный порог (отмечать любой фрагмент ниже какой-то оценки) — и фрагмент возле этой черты в одном прогоне её пересечёт, а в другом нет. Любое число рядом с фиксированной отсечкой — бросок кубика.

Второй: метрика, которая звучит проницательнее всего, обычно и есть шум. «Какой фрагмент сильнее всего разделил читателей» звучит как самая ценная находка — и именно она не воспроизвелась. Причина не загадочна: по пяти образцам можно оценить среднее, но не дисперсию.

О чём спрашивать ИИ про черновик вместо оценки

Даже если у вас под рукой только ИИ общего назначения, вот что можно поменять уже сегодня:

  1. Не просите оценку — спрашивайте о поведении. Замените «насколько хороша эта глава» на «какая строка сильнее всего тянула читать дальше» и «где захотелось пробежать глазами». Поведение можно сверить с рукописью. Оценку — нет.
  2. Требуйте цитат из текста. Комментарий без цитаты нельзя проверить и нельзя по нему править. Пусть каждое суждение сопровождается предложением, на котором оно основано.
  3. Сравнивайте по порядку, а не по оценке. «После правки стало лучше на 0,3» — вымысел. «В прошлый раз трое из пяти хотели продолжения на одном и том же месте, в этот раз один» — реальность.
  4. Прогоните один и тот же черновик дважды и верьте только тому, что появилось оба раза. Это самый дешёвый фильтр шума, и запустить его можно самим.
  5. Не позволяйте придуманному вами персонажу быть ещё и судьёй. Если вы просите ИИ сыграть «моего преданного читателя», не просите в том же разговоре оценку.

Что мы в итоге построили

Отчёт ИИ-бета-читателя в LitMemo сформировался на основе этих выводов, а не нашего первоначального плана:

  • Никакой оценки от 1 до 10 и никаких буквенных оценок тоже. Разбор рукописи выводится как читаемые наблюдения с подтверждающей цитатой, потому что эталона, на который могло бы опереться хоть какое-то число, у нас нет.
  • Оценка отделена от персоны. Качество рукописи оценивает этап, который вообще не видит персону читателя; он рассчитывается один раз за день чтения и остаётся общим для всех читателей. На четырёх враждебных персонах — включая ту, что прямо заявляет, что никогда не ставит низких оценок, и ту, что пытается внедрить промпт, — поля качества совпали с результатами системных читателей.
  • Читатели читают всю книгу, понемногу каждый день. Каждый читатель читает 10 000 слов в день, на следующий день продолжает с памятью, которую сам записал, и перестаёт открывать книгу, когда читать больше не хочется. Первая строка отчёта — сколько начали и сколько дочитали; ниже — глава, на которой ушло больше всего читателей, строка, на которой остановился каждый, и дневник каждого читателя.
  • Отбор по порядку, а не по фиксированному порогу. Мы говорим «два самых слабых фрагмента» и никогда «фрагменты ниже X».

Оценка выглядит солиднее и продаётся лучше. Но число, которое нельзя проверить, только отправит вас править не ту часть главы.

По теме: Некому прочитать черновик? Что делать вместо этого

Частые вопросы

Значит, ИИ бесполезен для оценки рукописи?
Полезен — но поменяйте вопрос. Всё, что сжимает качество в одно число, ненадёжно. Вопросы о поведении куда надёжнее: где вы остановились, какой фрагмент сильнее всего тянул читать дальше, чьё имя запомнилось. Такие ответы можно сверить с рукописью. Требуйте к каждому суждению цитату из вашего текста, а замечание без цитаты считайте, что оно ничего не значит.
Почему оценка меняется, если прогнать тот же черновик ещё раз?
Два слоя. Во-первых, генеративные модели сэмплируют ответ, поэтому одинаковый вход не гарантирует одинаковый выход. Во-вторых, и это важнее, эталона нет. В наших тестах четыре версии промпта дали четыре разных рейтинга одних и тех же пяти рукописей, и мы не могли сказать, какой верный, потому что никто заранее не расставил их по местам вручную. Мы также измерили, что средние по фрагментам между двумя прогонами сдвигаются на 0,20–0,60, — поэтому десятые доли ничего не значат.
ИИ сказал, что у моего черновика «есть настоящий потенциал». Верить?
Без цитаты похвалу проверить так же нельзя, как и критику. И мы измерили, как легко похвала фабрикуется: одной строчки в персоне о том, что она никогда не ставит низких оценок, хватило, чтобы получить 10/10 на той же рукописи. Чтобы проверить, несёт ли замечание информацию, спросите, на каком фрагменте оно основано. Если фрагмент назвать не получается — отбросьте замечание.
Можно ли повторить этот эксперимент самостоятельно?
Да, и самая дешёвая версия занимает пять минут: задайте один и тот же вопрос об одном и том же черновике в двух новых разговорах и сравните выводы, оставив только то, что есть в обоих. Шаг дальше — задать один и тот же вопрос о двух черновиках, если вы заранее знаете, какой из них лучше. Если оценка ИИ не улавливает разницу, в которой вы уверены, пользы от такой оценки нет.