AIがつける原稿の点数は当てにならない — 実際の原稿5本で140回試した話

書き上げたばかりの1話をAIに貼り付けて、「この話は何点？」と聞く。

7.5点、という答えと、それらしい理由が3行返ってくる。ひと安心してウィンドウを閉じる。

翌日もう一度確かめたくなって、同じ文章に同じ質問をすると、今度は8点。一文だけ直したら7点。何も変えず聞き方だけ変えたら8.5点。

あの点数は、いったい何を測っているのでしょうか。

AI試し読みレポートを作るとき、私たちはこの問いで長く止まりました。そこで測ることにしました——実際の原稿5本、約140回のモデル呼び出しで、「AIが原稿を採点する」という行為を分解したのです。結論は居心地の悪いものでしたが、はっきりしていました。あの点数は使えません。 精度が足りないのではなく、そもそも何も区別していないのです。

この記事では測った内容をそのまま公開します。最後に、私たちがどう回避したかも書きます。

実験の中身

• 素材：実際の原稿5本（テスト用に生成したサンプルではなく、本当に誰かが書いているもの）。題材も成熟度も意図的にばらけさせました
• 規模：約140回のモデル呼び出し、4つのプロンプト版にまたがる
• もう1組：同じ1話を一字も変えず、同じ読者で2回実行し、15ブロック × 5人 = 75マスの評価を突き合わせ

以下の発見はすべてこの2組から出ています。

発見1：同じ採点者が、まったく違う5本に同じ点数をつける

最初の版はごく素直な作りでした。モデルに読者ペルソナを与え、読み終えたら10点満点で採点させる。

結果、批評家タイプの読者は、題材も長さも成熟度も大きく違う5本にすべて4点をつけました。標準偏差0.00。

一貫性は満点、区別する力はゼロです。

ここに引っかかりやすい罠があります。「再実行しても同じ点数が出るか」だけを見ると、この版は満点評価になります。とても安定している——安定して何も言っていないだけで。

判断基準：AIの採点欄を見るときは、まず「このサンプル群で何種類の値が出たか」を問うこと。1種類しか出ていない欄は、どれだけ安定していても死んでいます。

発見2：ペルソナに一行書くだけで満点が出る

もっと厄介なのが2つ目です。

「読者を演じる」ことと「点数をつける」ことが同じ工程にあると、点数はペルソナに引きずられます。試しにペルソナの記述に「低い点はつけない」と足してみると——

本当に低い点をつけなくなりました。同じ原稿で10/10。

モデルが壊れたのではありません。採点する権限をペルソナの手に渡してしまったのです。そしてペルソナは利用者が書けるものです。利用者にAI審査員を作らせる製品が、この層を処理していなければ、その点数は利用者が自分に向けて書いたものにすぎません。

発見3：安定させる一番簡単な方法は、何も区別させないこと

発見1のあと、私たちは「語りの声」の判定基準をより厳密に書き直し、再実行の一貫性を上げようとしました。

結果：原稿5本 × 3回 = 15回、すべて「中」判定。

一貫性の数値はきれいになりました。「高」も「低」も出さなくなったからです。

これは採点系プロンプトで最もよくある自己欺瞞です。品質を上げているつもりで、目盛りを平らに削っている。しかも途中の指標はどれも改善していきます。

発見4：4つの版が4通りの順位を出し、どれが正しいか言えない

私たちはプロンプトを4版作りました。同じ5本の原稿に対して、4版は4通りの異なる順位を出しました——ある1本は最初の3版で最下位、4版目で1位になりました。

どれが正しいのか。

答えられません。最初から最後まで、人間の物差しがなかったからです——誰も先にこの5本を順位づけして基準を作っていなかった。その基準がなければ、「新しい版のほうが正確」は検証不可能な主張です。4版とも再実行の一貫性は改善していましたが、私はフィードバックのないまま歩き回っていただけでした。

採点系のAIを調整するなら：先に人間にサンプルを順位づけしてもらい、その順位を基準に各版を評価すること。物差しを立ててから調整する。

では何が信じられるのか：再実行の実測

点数が使えないことは、この営み全体に価値がないことを意味しません。同じ1話を一字も変えずに2回走らせ、マスごとに突き合わせて、再実行を生き延びるのは何かを調べました。

要点は2つです。

1. 使えるのは順位であって絶対値ではない。 「最も低い2ブロック」は2回とも同じ組を指しました。しかし固定のしきい値（この点数を下回ったら問題ブロック、など）を置くと、あるブロックはしきい値の両側を行き来し、入ったり入らなかったりします。固定のカットオフ付近にある数字はすべてサイコロです。

2. 最も洞察がありそうな指標ほどノイズである。 「どのブロックで読者の反応が最も割れたか」は最も価値のある発見に聞こえます——そしてそれが唯一、再実行で再現しなかったものでした。理由は神秘的ではありません。サンプル5つは平均は支えられても、分散は支えられないのです。

だから、AIにはこう聞く

手元に汎用AIしかない場合でも、今日から変えられることがあります。

1. 「何点」ではなく行動を聞く。 「この話は何点」を「どの一文で最も続きが読みたくなったか」「どこで飛ばしたくなったか」に置き換える。行動は原稿に戻って確かめられますが、点数は確かめられません。
2. 原文を引用させる。 引用のない批評は検証も改稿もできません。判断ごとにあなた自身の文を貼らせること。
3. 比較には順位を使い、点数を使わない。 「直したら0.3点上がった」は偽物です。「前回は5人中3人が同じ箇所でもっと読みたがったが、今回は1人」は本物です。
4. 同じ原稿を2回走らせ、2回とも出た結論だけ採用する。 最も安価なノイズ除去で、自分だけで実行できます。
5. 自分が作ったキャラに審査員を兼任させない。 AIに「私の熱心な読者」を演じさせるなら、同じ会話で点数を聞かないこと。

私たちが最終的に選んだ設計

LitMemoのAI試し読みレポートは、当初の計画ではなく、これらの結論から形が決まりました。

• 10点満点を出さない。 品質は帯（高・中・低）だけ。小数点を支える黄金基準がないからです。
• 評価とペルソナを切り離す。 原稿の品質はペルソナが一切見えない工程が判定し、1レポートにつき一度だけ算出して全読者で共有します。敵対的なペルソナ4種（「低い点はつけない」と明記したものや、指示注入を試みるものを含む）で実測しても、品質欄はシステム読者と同一でした。
• レポートの1行目は「何人が読み進めたいか」。点数ではありません。その下に、各自がどの一文で止まったか、原文はどこかが並びます。
• 抽出は順位で行い、固定しきい値を使わない。 「最も低い2ブロック」と言い、「何点未満のブロック」とは言いません。

点数は見栄えがよく、売りやすい。しかし確かめられない数字は、あなたを間違った場所の改稿に送り込むだけです。

関連記事：原稿を読んでくれる人がいないとき、どうするか