Спрятали 22 противоречия в романе: ИИ сначала нашёл 6

Во второй главе главный персонаж распарывает правую ладонь о битое стекло. Пять швов; врач велит неделю не нагружать руку. В третьей главе, на следующий день, он упирается правой рукой в планширь и подтягивается на палубу — «он прижал ладонь к шершавому дереву, и ему было ничуть не больно».

Пока пишешь, такого не замечаешь. Два предложения разделяет глава, написаны они в разные вечера, и каждое по отдельности читается нормально. Замечают читатели — обычно в комментариях.

Такие нестыковки — именно то, в чём ИИ должен быть силён: он не устаёт, не пропускает строки и может прочитать каждую главу слово за словом. Поэтому мы провели тест, чтобы проверить, сколько он на самом деле находит.

Тестовый роман

Мы написали роман из 15 глав объёмом чуть больше 30 000 китайских иероглифов — «Декабрьский свет»: приморский городок, маяк, тайфун и пропавший старый рыбак. Пока писали, намеренно заложили в текст детали двух видов:

  • 22 противоречия: в первой главе бабушке семьдесят восемь, а в тринадцатой она говорит, что прожила восемьдесят пять лет; 3 октября — пятница, но 9 октября записано как среда; лодка «Попутный прилив» в четырнадцатой главе становится «Попутным ветром»; собака, умершая прошлой зимой, в двенадцатой главе снова лежит у ног хозяина.
  • 10 ловушек: места, которые выглядят нестыковкой, но объясняются самой историей. Персонаж лжёт, а потом признаётся; незнакомец на причале главой позже оказывается кем-то переодетым; вывихнутая лодыжка, которой «дали покой на неделю», наконец позволяет бежать.

Хорошая проверка находит первое и пропускает второе. Ловушка, отмеченная как противоречие, — это ложное срабатывание.

Почему мы всё перестроили

Прежняя проверка на противоречия сначала сжимала каждую главу в краткое содержание на 300–500 знаков, а потом отдавала эти краткие содержания, персонажей и элементы мира модели искать противоречия. Деталь вроде «пять швов на правой ладони» краткое содержание не переживает. В одной главе — «главный персонаж ранен в баре», в следующей — «главный персонаж выходит в море», и рядом эти две строчки ничему не противоречат. Деталь теряется при сжатии, и никакое сравнение потом её уже не увидит.

Поэтому новая версия с самого начала читает исходный текст. На этом тестовом романе мы и измеряли каждое изменение.

Версия 1: читать исходный текст глава за главой — найдено 6

Первая версия читала исходный текст по одной главе, выписывала факты, которые глава устанавливает, каждый с цитатой, а затем сравнивала факты по всей книге.

Нашла 6 из 22, ноль ложных срабатываний на 10 ловушках.

Проблема была в шаге извлечения. Модель вытаскивала лишь около 10 фактов на главу, и из 22 противоречий только у 6 были извлечены обе стороны. Если одна сторона так и не извлечена, сравнение её не увидит.

Три раунда изменений

Версия 2: обязательный список для извлечения. Время, дни недели, числа, имена ровно в том написании, что в тексте, где травма и левая она или правая, где каждый находится в конце главы, кто что держит, кто умеет плавать, как люди познакомились. Прочёсывая пункт за пунктом, модель извлекала 25–40 фактов на главу. Противоречий, у которых извлечены обе стороны, стало 16, но найдено было только 9. Узкое место переехало на следующий шаг: когда все факты книги сравниваются за один проход, модель может выудить лишь десяток с небольшим подозрительных мест.

Версия 3: сравнивать группами. Факты об одном персонаже — в одной группе, время — в другой, локации — в третьей, сравнение по группам. Найдено 15.

Версия 4: каждая глава сначала проверяет сама себя, и каждое подозрение возвращается к тексту. Некоторые противоречия случаются внутри одной главы: утром «я никогда не пью кофе», вечером «сварил себе привычную чашку чёрного кофе». Поэтому каждая глава сверяется сама с собой сразу после извлечения. Каждое подозрение, выуженное сравнением, затем перечитывается по исходному тексту вокруг обоих мест и попадает в список, только если между ними ничего его не объясняет. Именно этот шаг отсеивает ловушки: солгавший персонаж позже признаётся, перепроверка читает эту строку, и пункт снимается.

Версия 4 нашла 20, с 1 ложным срабатыванием на 10 ловушках.

Перед запуском: одна книга, семь прогонов

Лабораторные цифры и настоящий продукт — разные вещи, поэтому перед запуском мы семь раз прогнали книгу через рабочий конвейер, на той же модели:

Результат
Найдено противоречий из 2217, 19, 19, 17, 17, 18, 16; в среднем 17,6
Ложные срабатывания на 10 ловушках1–2 за прогон
Доля цитат, которые находятся в рукописи100 %

За семь прогонов одной книги число колебалось от 16 до 19. Только два противоречия были пропущены во всех семи.

Два противоречия, которые пропускались каждый раз

Зашитая рука. Та, что из начала статьи. В третьей главе «упирается правой рукой в планширь» ни в одном из семи прогонов не было извлечено как «состояние его правой руки». Это читается как действие, а не как факт о персонаже.

Полнолуние, которое так и не наступает. В пятой главе бабушка говорит: «Дождись следующего полнолуния — и поймёшь», а до конца книги полнолуние не появляется ни разу. Это другой тип проблемы: здесь ни одно предложение не противоречит другому. Не хватает того, что должно было появиться. Проверка сравнивает написанное с написанным; то, что так и не было написано, для неё невидимо. Раскрываются ли намёки — работа для другого инструмента.

Эти два пропуска очерчивают её возможности. Факты, записанные на странице, она сопоставляет до мелочей. Вывести физическое состояние из действия или заметить, что что-то «должно было появиться и не появилось», — по-прежнему ваша задача.

Что можно позаимствовать для собственных проверок

Это работает и без всякого ИИ:

  1. Составьте список деталей, которые обязательно нужно выписать. Время, дни недели, возраст, число людей, написание имён, на какой стороне травма, где все находятся в конце каждой главы. Прочёсывайте текст по списку при правке — это ловит больше, чем перечитывание глав целиком.
  2. Проверяйте группами. Прочитайте за один проход все сцены с одним персонажем, потом за один проход все даты. Когда вы ищете детали одного типа, взгляд не скользит мимо.
  3. Заподозрив противоречие, поищите объяснение между двумя спорными местами. Многие «противоречия» — повороты, которые вы сами написали и забыли, потому что они слишком далеко друг от друга.
  4. Ведите отдельный список намёков. Записывайте каждый, когда закладываете, и вычёркивайте, когда он раскрыт. Сравнение такое не поймает.

Проверка на противоречия в LitMemo

Проверка на противоречия с ИИ — это версия 4: она читает исходный текст глава за главой, извлекает факты по списку, сравнивает их группами и каждое подозрение возвращает к тексту. Каждая находка показывает фрагменты из обоих мест, а одно нажатие переносит в нужное место рукописи. Ложь, которую персонаж произносит прямо, помечается «возможно, так задумано», а то, что вы сами отметили как задуманное, больше в список не попадает. При следующих проверках перечитываются только новые или изменённые главы, но сравнение по-прежнему идёт со всей книгой.

По теме: Персонаж больше не похож на себя? 3 способа заметить (и исправить) ООС и дрейф характера

Частые вопросы

Какие противоречия находит проверка с ИИ?
Проверка сверяет факты, записанные в рукописи: время и дни недели, возраст и число людей, имя, отличающееся на одну букву, написание названия лодки или лавки, где травма и на какой стороне, где находятся персонажи и предметы, как началась связь между персонажами, — и находит всё, что расходится между собой или противоречит анкетам персонажей и элементам мира. Она проверяет и противоречия внутри одной главы.
Что она пропускает?
Чаще всего два вида. Первый — состояние, которое нужно вывести из действия: рука только что зашита, а на следующий день на неё опираются, чтобы подтянуться. Такое предложение читается как действие, поэтому его редко принимают за «состояние руки». Второй — то, что должно появиться и не появляется, например намёк, который так и не раскрыт. Никакие два предложения не сталкиваются, сравнивать нечего.
Не отметит ли она ложь персонажа или флешбэк как противоречие?
Каждый сомнительный фрагмент перепроверяется по окружающему тексту. Если история позже это объясняет (персонаж признаётся во лжи, текст говорит, что это воспоминание, проходит две недели), пункт в список не попадает. То, что текст называет пьяной болтовнёй или ложью, помечается «возможно, так задумано». На 10 таких ловушках в тестовом романе нынешняя версия давала 1–2 ложных срабатывания за прогон.
Если прогнать одну и ту же книгу дважды, результаты совпадут?
В основном, но не полностью. За семь прогонов одного тестового романа она нашла от 16 до 19 из 22 противоречий, и пропуски каждый раз были разными. Когда вы запускаете проверку снова после правки, неизменённые главы сопоставляются с прошлыми результатами, а всё, что вы исправили, автоматически помечается как решённое.