我在一本书里埋了 22 个矛盾,让 AI 去找 —— 第一版只找到 6 个
主角第二章右手掌被碎玻璃划开,缝了五针,医生说一个星期不能用力。第三章,隔天,他用右手撑着船舷翻上甲板,「掌心贴着粗糙的木头也不觉得痛」。
写的时候不会发现。这两句隔了一章,也隔了一夜的写作,各自读起来都很顺。读者会发现,而且通常是在留言区。
这种前后对不上的地方,正是 AI 应该擅长的事:它不累、不跳行,每一章都能一字一字读。所以我们做了一个测试,看它实际能找到多少。
测试书长什么样
我们自己写了一本 15 章、三万多字的小说《十二月的灯》,故事发生在一个海边小镇,有灯塔、台风和失踪的老渔夫。写的时候刻意埋了两种东西:
- 22 个矛盾:外婆第一章七十八岁,第十三章说自己活了八十五年;十月三日是星期五,十月九日却写成星期三;船名「顺利号」到第十四章变成「顺风号」;去年冬天就死了的狗,第十二章又趴在主人脚边。
- 10 个陷阱:看起来对不上、但故事里交代过的地方。角色说了谎,后来自己承认;陌生渔夫下一章揭晓是乔装的;扭伤的脚踝「养了一个星期」之后终于能跑。
好的检查要把前者找出来,同时放过后者。陷阱被当成矛盾报出来,就是误报。
为什么要重做
原本的一致性检查先把每一章浓缩成三五百字的摘要,再把摘要、角色和设定一起交给模型找矛盾。「右手掌缝了五针」这种细节在摘要里留不下来 —— 摘要会写「主角在酒吧受伤」,下一章的摘要写「主角上船出海」,两句放在一起没有任何矛盾。细节在浓缩的时候就丢了,后面怎么比都看不到。
所以新版从一开始就改成读原文。这本测试书是用来衡量新版每一步改法的。
第一版:逐章读原文,找到 6 个
第一版一章一章读原文,把这一章确立的事实列出来,每条附上原文,再拿整本书的事实去比对。
22 个找到 6 个,10 个陷阱一个都没有误报。
问题出在抽取事实这一步:模型每章只抽了大约 10 件事,22 个矛盾里,两边都被抽到的只有 6 个。另一边没被抽到,比对就看不到。
三轮改法
第二版:给它一份必抽清单。 时间、星期、数字、名字在原文里的写法、伤在哪里、左边还是右边、每个人在这一章结束时在哪里、东西在谁手上、会不会游泳、怎么认识的。照清单逐项扫,一章抽到 25 到 40 件。两边都抽到的升到 16 个,找到的却只有 9 个 —— 卡在下一步:整本书的事实一次丢进去比,模型只挑得出十来处可疑的地方。
第三版:分组比。 同一个角色的事实放一组,时间放一组,地点放一组,一组一组比。找到 15 个。
第四版:每章先自查一次,每个疑点回原文确认。 有些矛盾在同一章里就发生了:早上说「我从来不喝咖啡」,晚上「照例给自己冲了一杯黑咖啡」。所以每章抽完先自己对一次。比对挑出来的疑点,再回到两边附近的原文重读,确认中间没有交代过才列出来。这一步是放过陷阱的关键:说谎的那位,后面亲口承认了;复查读到那一句,就不列。
第四版找到 20 个,10 个陷阱误报 1 个。
上线前,同一本书跑七次
实验室的数字跟实际的产品是两回事,所以上线前我们用正式版同一套流程、同一个模型,把这本书跑了七次:
| 结果 | |
|---|---|
| 22 个矛盾找到的数量 | 17、19、19、17、17、18、16,平均 17.6 |
| 10 个陷阱的误报 | 每次 1 到 2 个 |
| 发现所附的原文引文,在稿子里找得到的比例 | 100% |
同一本书跑七次,找到的数量在 16 到 19 之间浮动。只有两个是七次都没找到的。
七次都没找到的两个
缝了五针的手。 就是开头那一个。第三章「用右手撑着船舷」这个动作,抽取事实时七次都没被当成「右手的状态」抽出来 —— 它读起来是一个动作,不像一条设定。
没有回收的满月。 第五章外婆说「等到下一次满月,你就懂了」,之后全书再也没出现满月。这是另一种问题:前后没有任何两句互相冲突,缺的是一个该出现的东西。检查比的是「写了的」有没有对上,「没写的」它看不到。伏笔有没有回收,要靠另一种工具去追踪。
这两处遗漏,正好说明了它能做什么:写在稿子上的事实,它对得很细;要从一个动作推出身体状态,或者发现某件事「应该出现却没出现」,还是要靠你。
你自己检查时可以借用的做法
不用 AI 也能用上这几件事:
- 列一份必抽清单。 时间、星期、年龄、人数、名字写法、伤势在左还是右、每章结束时每个人在哪里。改稿时照清单扫,比整章重读抓得到更多。
- 分组对照。 把同一个角色出现的地方集中看一次,再把所有日期集中看一次。一次只看一种东西,眼睛才不会滑过去。
- 怀疑有矛盾时,先回去找中间有没有交代。 很多「矛盾」其实是你写过的转折,只是隔得太远,你自己忘了。
- 伏笔另外列一张表。 埋的时候记下来,收的时候划掉。这件事靠比对抓不到。
LitMemo 的一致性检查
AI 一致性检查就是第四版的做法:逐章读原文、照清单抽取事实、分组比对、每个疑点回原文确认。每条发现都列出两边的原文,点一下就跳到稿子上那一段;角色明说的谎话会标成「可能是刻意的」,你标过刻意的,下次就不再列出。之后再检查,只重读新写或改过的章节,对照的仍是整本书。
