1冊の小説に22個の矛盾を仕込んでAIに探させた —— 最初の版が見つけたのは6個だけ
第2話で、主人公は割れたガラスで右の手のひらを切り、五針縫う。医者からは一週間は力を入れるなと言われる。第3話、その翌日、彼は右手で船べりをつかんで甲板によじ登る。「ざらついた木に手のひらを押し当てても、痛みは感じなかった」。
書いている最中には気づきません。2つの文は1話離れていて、書いた日も一晩ずれています。それぞれ単独で読めば自然です。気づくのは読者で、たいていは感想欄で指摘されます。
こうした前後の食い違いは、本来AIが得意なはずのことです。疲れず、行を飛ばさず、どの話も一字ずつ読めます。そこで、実際にどれだけ見つけられるかを試しました。
テスト用の小説
私たちは全15話、3万文字あまりの小説『十二月の灯』を自分たちで書きました。舞台は海辺の小さな町で、灯台と台風と、行方不明になった老漁師が出てきます。書くときに、2種類のものを意図的に仕込みました。
- 22個の矛盾:祖母は第1話で78歳なのに、第13話では「85年生きてきた」と言う。10月3日が金曜日なのに、10月9日が水曜日になっている。船の名前「順利丸」が第14話で「順風丸」に変わる。去年の冬に死んだはずの犬が、第12話でまた飼い主の足もとに寝そべっている。
- 10個の罠:食い違って見えるものの、物語の中で説明がついている箇所。登場人物が嘘をつき、あとで自分から認める。見知らぬ漁師が、次の話で変装だったと明かされる。くじいた足首が「一週間休ませて」ようやく走れるようになる。
良いチェックは、前者を見つけ、後者は見逃します。罠を矛盾として挙げたら、それは誤検出です。
作り直した理由
もとの整合性チェックは、まず各話を300〜500文字の要約に縮め、その要約とキャラクター情報、設定資料をまとめてモデルに渡して矛盾を探させていました。「右の手のひらを五針縫った」という細部は、要約では生き残りません。要約には「主人公が酒場でけがをする」と書かれ、次の話の要約には「主人公が船で海に出る」と書かれる。2つを並べても、どこにも矛盾はありません。細部は縮めた時点で消えていて、あとでどう比べても見えないのです。
そこで新しい版は、最初から原文を読む作りにしました。このテスト用の小説は、新しい版の改良を一歩ずつ測るために使いました。
第1版:1話ずつ原文を読み、見つかったのは6個
第1版は1話ずつ原文を読み、その話で確定した事実を、原文の引用つきで書き出しました。そのうえで、1冊ぶんの事実を突き合わせます。
22個のうち見つかったのは6個。10個の罠は、ひとつも誤検出しませんでした。
問題は事実を書き出す段階にありました。モデルが1話から拾った事実は10件ほどで、22個の矛盾のうち、両側とも拾われていたのは6個だけでした。片方が拾われていなければ、突き合わせても見えません。
3回の改良
第2版:必ず拾う項目のリストを渡す。 日時、曜日、数字、名前の原文どおりの表記、けがの部位と左右、話の終わりに各人物がどこにいるか、物を誰が持っているか、泳げるかどうか、どうやって知り合ったか。リストを1項目ずつ確認させると、1話あたり25〜40件を拾うようになりました。両側とも拾われた矛盾は16個に増えたのに、見つかったのは9個。次の段階で詰まっていました。1冊ぶんの事実を一度に突き合わせると、モデルが怪しいと挙げられるのは十数か所までだったのです。
第3版:グループに分けて比べる。 同じキャラクターの事実で1グループ、日時で1グループ、場所で1グループにまとめ、グループごとに比べます。見つかったのは15個。
第4版:各話でまず自己チェックし、疑わしい点はすべて原文に戻って確かめる。 同じ話の中で起きる矛盾もあります。朝には「コーヒーは一度も飲んだことがない」と言い、夜には「いつものようにブラックコーヒーを一杯いれた」。そこで、各話は事実を書き出したらまずその話の中で突き合わせます。突き合わせで挙がった疑わしい点は、両側の前後の原文を読み直し、間に説明がないと確かめてから挙げます。罠を見逃せるかどうかは、この段階にかかっていました。嘘をついた人物は、あとで本人が認めています。読み直しでその一文を読めば、挙げません。
第4版で見つかったのは20個。10個の罠のうち、誤検出は1個でした。
公開前に、同じ本を7回走らせる
実験の数字と実際の製品は別物です。そこで公開前に、本番と同じ処理の流れ、同じモデルで、この本を7回チェックしました。
| 結果 | |
|---|---|
| 22個の矛盾のうち見つかった数 | 17、19、19、17、17、18、16、平均17.6 |
| 10個の罠の誤検出 | 毎回1〜2個 |
| 指摘に添えた原文の引用が、原稿の中に実在した割合 | 100% |
同じ本を7回チェックして、見つかった数は16〜19の間で揺れました。7回とも見つからなかったのは2個だけです。
7回とも見つからなかった2個
五針縫った手。 冒頭のあれです。第3話の「右手で船べりをつかむ」という動作は、事実を書き出す段階で7回とも「右手の状態」として拾われませんでした。動作として読めてしまい、設定には見えないのです。
回収されない満月。 第5話で祖母が「次の満月が来たら、わかるよ」と言いますが、その後、満月は最後まで一度も出てきません。これは別の種類の問題です。前後で食い違う2つの文はどこにもなく、足りないのは、出てくるはずのものです。チェックが比べるのは「書かれたこと」どうしで、「書かれていないこと」は見えません。伏線回収ができているかどうかは、別のツールで追う必要があります。
この2つの見落としが、チェックにできることの範囲をそのまま示しています。原稿に書かれた事実なら、細かく突き合わせられます。動作から体の状態を推し量ること、何かが「出てくるはずなのに出てこない」と気づくことは、いまも書き手の仕事です。
自分で見直すときに使えること
AIを使わなくても、次のことは取り入れられます。
- 必ず拾う項目のリストを作る。 日時、曜日、年齢、人数、名前の表記、けがの左右、各話の終わりに誰がどこにいるか。推敲のときにリストに沿って確認すると、1話まるごと読み返すより多く拾えます。
- グループに分けて見比べる。 同じキャラクターが出てくる箇所をまとめて一度に読み、次に日付だけをまとめて読む。一度に1種類だけを見れば、目が滑りません。
- 矛盾を疑ったら、まず間に説明がないか探す。 「矛盾」の多くは、自分で書いた展開の転換で、離れすぎていて忘れているだけです。
- 伏線は別の表にまとめる。 仕込んだときに書き留め、回収したら線を引いて消す。これは突き合わせでは拾えません。
LitMemoの整合性チェック
AIの整合性チェックは、第4版のやり方そのものです。1話ずつ原文を読み、リストに沿って事実を拾い、グループごとに比べ、疑わしい点はすべて原文に戻って確かめます。指摘にはそれぞれ両側の原文が添えられ、クリックすると原稿のその箇所に移動します。登場人物がはっきり口にした嘘は「意図的かもしれない」と表示され、意図的だと印をつけたものは次回から挙がりません。2回目以降のチェックでは、新しく書いた話と直した話だけを読み直し、突き合わせる相手は引き続き1冊全体です。
