1冊の小説に22個の矛盾を仕込んでAIに探させた —— 最初の版が見つけたのは6個だけ

第2話で、主人公は割れたガラスで右の手のひらを切り、五針縫う。医者からは一週間は力を入れるなと言われる。第3話、その翌日、彼は右手で船べりをつかんで甲板によじ登る。「ざらついた木に手のひらを押し当てても、痛みは感じなかった」。

書いている最中には気づきません。2つの文は1話離れていて、書いた日も一晩ずれています。それぞれ単独で読めば自然です。気づくのは読者で、たいていは感想欄で指摘されます。

こうした前後の食い違いは、本来AIが得意なはずのことです。疲れず、行を飛ばさず、どの話も一字ずつ読めます。そこで、実際にどれだけ見つけられるかを試しました。

テスト用の小説

私たちは全15話、3万文字あまりの小説『十二月の灯』を自分たちで書きました。舞台は海辺の小さな町で、灯台と台風と、行方不明になった老漁師が出てきます。書くときに、2種類のものを意図的に仕込みました。

  • 22個の矛盾:祖母は第1話で78歳なのに、第13話では「85年生きてきた」と言う。10月3日が金曜日なのに、10月9日が水曜日になっている。船の名前「順利丸」が第14話で「順風丸」に変わる。去年の冬に死んだはずの犬が、第12話でまた飼い主の足もとに寝そべっている。
  • 10個の罠:食い違って見えるものの、物語の中で説明がついている箇所。登場人物が嘘をつき、あとで自分から認める。見知らぬ漁師が、次の話で変装だったと明かされる。くじいた足首が「一週間休ませて」ようやく走れるようになる。

良いチェックは、前者を見つけ、後者は見逃します。罠を矛盾として挙げたら、それは誤検出です。

作り直した理由

もとの整合性チェックは、まず各話を300〜500文字の要約に縮め、その要約とキャラクター情報、設定資料をまとめてモデルに渡して矛盾を探させていました。「右の手のひらを五針縫った」という細部は、要約では生き残りません。要約には「主人公が酒場でけがをする」と書かれ、次の話の要約には「主人公が船で海に出る」と書かれる。2つを並べても、どこにも矛盾はありません。細部は縮めた時点で消えていて、あとでどう比べても見えないのです。

そこで新しい版は、最初から原文を読む作りにしました。このテスト用の小説は、新しい版の改良を一歩ずつ測るために使いました。

第1版:1話ずつ原文を読み、見つかったのは6個

第1版は1話ずつ原文を読み、その話で確定した事実を、原文の引用つきで書き出しました。そのうえで、1冊ぶんの事実を突き合わせます。

22個のうち見つかったのは6個。10個の罠は、ひとつも誤検出しませんでした。

問題は事実を書き出す段階にありました。モデルが1話から拾った事実は10件ほどで、22個の矛盾のうち、両側とも拾われていたのは6個だけでした。片方が拾われていなければ、突き合わせても見えません。

3回の改良

第2版:必ず拾う項目のリストを渡す。 日時、曜日、数字、名前の原文どおりの表記、けがの部位と左右、話の終わりに各人物がどこにいるか、物を誰が持っているか、泳げるかどうか、どうやって知り合ったか。リストを1項目ずつ確認させると、1話あたり25〜40件を拾うようになりました。両側とも拾われた矛盾は16個に増えたのに、見つかったのは9個。次の段階で詰まっていました。1冊ぶんの事実を一度に突き合わせると、モデルが怪しいと挙げられるのは十数か所までだったのです。

第3版:グループに分けて比べる。 同じキャラクターの事実で1グループ、日時で1グループ、場所で1グループにまとめ、グループごとに比べます。見つかったのは15個。

第4版:各話でまず自己チェックし、疑わしい点はすべて原文に戻って確かめる。 同じ話の中で起きる矛盾もあります。朝には「コーヒーは一度も飲んだことがない」と言い、夜には「いつものようにブラックコーヒーを一杯いれた」。そこで、各話は事実を書き出したらまずその話の中で突き合わせます。突き合わせで挙がった疑わしい点は、両側の前後の原文を読み直し、間に説明がないと確かめてから挙げます。罠を見逃せるかどうかは、この段階にかかっていました。嘘をついた人物は、あとで本人が認めています。読み直しでその一文を読めば、挙げません。

第4版で見つかったのは20個。10個の罠のうち、誤検出は1個でした。

公開前に、同じ本を7回走らせる

実験の数字と実際の製品は別物です。そこで公開前に、本番と同じ処理の流れ、同じモデルで、この本を7回チェックしました。

結果
22個の矛盾のうち見つかった数17、19、19、17、17、18、16、平均17.6
10個の罠の誤検出毎回1〜2個
指摘に添えた原文の引用が、原稿の中に実在した割合100%

同じ本を7回チェックして、見つかった数は16〜19の間で揺れました。7回とも見つからなかったのは2個だけです。

7回とも見つからなかった2個

五針縫った手。 冒頭のあれです。第3話の「右手で船べりをつかむ」という動作は、事実を書き出す段階で7回とも「右手の状態」として拾われませんでした。動作として読めてしまい、設定には見えないのです。

回収されない満月。 第5話で祖母が「次の満月が来たら、わかるよ」と言いますが、その後、満月は最後まで一度も出てきません。これは別の種類の問題です。前後で食い違う2つの文はどこにもなく、足りないのは、出てくるはずのものです。チェックが比べるのは「書かれたこと」どうしで、「書かれていないこと」は見えません。伏線回収ができているかどうかは、別のツールで追う必要があります。

この2つの見落としが、チェックにできることの範囲をそのまま示しています。原稿に書かれた事実なら、細かく突き合わせられます。動作から体の状態を推し量ること、何かが「出てくるはずなのに出てこない」と気づくことは、いまも書き手の仕事です。

自分で見直すときに使えること

AIを使わなくても、次のことは取り入れられます。

  1. 必ず拾う項目のリストを作る。 日時、曜日、年齢、人数、名前の表記、けがの左右、各話の終わりに誰がどこにいるか。推敲のときにリストに沿って確認すると、1話まるごと読み返すより多く拾えます。
  2. グループに分けて見比べる。 同じキャラクターが出てくる箇所をまとめて一度に読み、次に日付だけをまとめて読む。一度に1種類だけを見れば、目が滑りません。
  3. 矛盾を疑ったら、まず間に説明がないか探す。 「矛盾」の多くは、自分で書いた展開の転換で、離れすぎていて忘れているだけです。
  4. 伏線は別の表にまとめる。 仕込んだときに書き留め、回収したら線を引いて消す。これは突き合わせでは拾えません。

LitMemoの整合性チェック

AIの整合性チェックは、第4版のやり方そのものです。1話ずつ原文を読み、リストに沿って事実を拾い、グループごとに比べ、疑わしい点はすべて原文に戻って確かめます。指摘にはそれぞれ両側の原文が添えられ、クリックすると原稿のその箇所に移動します。登場人物がはっきり口にした嘘は「意図的かもしれない」と表示され、意図的だと印をつけたものは次回から挙がりません。2回目以降のチェックでは、新しく書いた話と直した話だけを読み直し、突き合わせる相手は引き続き1冊全体です。

関連記事:OOC・キャラ崩壊とは?意味と例文、AIチャットでの使い方

よくある質問

AIの整合性チェックは、どんな矛盾を見つけられますか?
原稿に書かれていて、前後で合っているか食い違っているかを確かめられる事実です。日時と曜日、年齢と人数、1文字違いの名前、船や店の名前の表記、けがの部位と左右、キャラクターの居場所や物のありか、関係がどう始まったか、そしてキャラクターカードや設定資料とぶつかる箇所。同じ話の中での食い違いも確かめます。
何を見落としますか?
よく見落とすのは2種類です。1つは、動作から状態を推し量る必要があるもの。たとえば縫ったばかりの手で翌日に体を支える場面は、動作として読めるため「手の状態」として拾われにくくなります。もう1つは、出てくるはずなのに出てこないもの。たとえば仕込んだ伏線が回収されていない場合、前後で食い違う2つの文がないので、突き合わせでは見つかりません。
登場人物の嘘や回想も、矛盾として挙がりますか?
疑わしい点はすべて前後の原文を読み直し、あとで説明がついているもの(本人が嘘を認める、回想だと明記されている、2週間が経過している)は挙げません。酔った勢いの言葉や嘘だと明記されているものは「意図的かもしれない」と表示します。テスト用の小説に仕込んだこの種の罠10個に対して、公開版の誤検出は毎回1〜2個でした。
同じ本を2回チェックすると、結果は同じになりますか?
おおむね同じですが、完全には一致しません。同じテスト用の小説を7回チェックしたところ、22個の矛盾のうち見つかったのは16〜19個で、見落とした箇所は毎回少しずつ違いました。推敲してからもう一度チェックすると、直していない話は前回の結果と照らし合わされ、修正済みのものには自動で修正済みの印がつきます。