140 تقييمًا بالذكاء الاصطناعي على 5 مخطوطات حقيقية: الدرجات لم تكن حقيقية

المشهد مألوف: لصق الفصل المكتمل للتو في محادثة مع ذكاء اصطناعي، ثم السؤال: "ما تقييم هذا النص من 10؟"

الجواب: 7.5، مع ثلاثة أسطر من التعليل المقنع. نفس عميق من الارتياح، ثم إغلاق النافذة.

في اليوم التالي، رغبة في التحقق مرة أخرى. النص نفسه، والسؤال نفسه، وهذه المرة الجواب 8. تعديل جملة واحدة: 7. لا تعديل إطلاقًا، مجرد إعادة صياغة السؤال: 8.5.

ماذا يقيس هذا الرقم أصلًا؟

علقنا عند هذا السؤال أثناء بناء تقارير القارئ الأولي بالذكاء الاصطناعي، فقررنا قياسه: خمس مخطوطات حقيقية، ونحو مئة وأربعين استدعاء للنموذج، وتفكيك فكرة "الذكاء الاصطناعي يقيم مسودتك" لرؤية ما بداخلها. وكانت النتيجة مزعجة لكنها لا تحتمل اللبس: الدرجة غير صالحة للاستعمال. ليست غير دقيقة فحسب، بل إنها لا تميز بين شيء وآخر من الأساس.

إليك كل ما قسناه، وكيف صممنا المنتج حول هذه النتائج في النهاية.

شكل التجربة

• المادة: خمس مخطوطات حقيقية يعمل عليها أصحابها، اخترناها عمدًا متباعدة في الموضوع ومستوى النضج
• الحجم: نحو 140 استدعاء للنموذج، عبر أربع نسخ من الأوامر
• مجموعة ثانية: الفصل نفسه، دون تغيير كلمة واحدة، شغل مرتين مع القراء أنفسهم: 15 مقطعًا × 5 قراء = 75 خانة تقييم، قورنت خانة بخانة

كل نتيجة أدناه مصدرها هاتان المجموعتان.

النتيجة 1: مقيم واحد، خمس مخطوطات مختلفة جدًا، والدرجة نفسها

كانت النسخة الأولى هي التصميم البديهي: منح النموذج شخصية قارئ، وطلب درجة من 1 إلى 10 بعد القراءة.

أعطى القارئ الناقد المخطوطات الخمس كلها، على اختلاف موضوعاتها وأطوالها ومستويات نضجها، الدرجة 4. الانحراف المعياري 0.00.

اتساق تام. وقدرة على التمييز تساوي صفرًا.

وهنا الفخ: إذا اقتصر الفحص على سؤال "هل تعطي إعادة التشغيل الدرجة نفسها؟"، فهذه النسخة تحصل على العلامة الكاملة. إنها مستقرة جدًا: مستقرة في قول لا شيء.

الاختبار: عند النظر إلى أي حقل تقييم بالذكاء الاصطناعي، السؤال الأول هو: كم قيمة مختلفة أنتج عبر العينة؟ الحقل الذي لم ينتج إلا قيمة واحدة حقل ميت، مهما بدا مستقرًا.

النتيجة 2: سطر واحد في وصف الشخصية يفرض الدرجة الكاملة

النتيجة الثانية هي الأخطر.

حين يكون "تقمص دور القارئ" و"منح الدرجة" خطوة واحدة، تتبع الدرجة الشخصية. جربنا إضافة جملة واحدة إلى وصف إحدى الشخصيات: أنا لا أعطي درجات منخفضة.

فتوقفت عن إعطاء الدرجات المنخفضة. المخطوطة نفسها: 10 من 10.

هذا ليس عطلًا في النموذج. بل نحن من يسلم سلطة التقييم إلى الشخصية، والشخصية حقل يكتبه المستخدم. أي منتج يتيح للمستخدمين تعريف حكم بالذكاء الاصطناعي دون معالجة هذه الطبقة، يقدم لهم في الحقيقة درجة كتبوها لأنفسهم.

النتيجة 3: أرخص طريقة لجعله مستقرًا هي جعله يكف عن التمييز

بعد النتيجة 1 عدنا إلى الأوامر، وكتبنا معايير "صوت السرد" بصرامة أكبر بكثير، بهدف تحسين الاتساق عند إعادة التشغيل.

النتيجة: خمس مخطوطات × ثلاث إعادات تشغيل = 15 حكمًا، كلها بلا استثناء "متوسط".

أصبح رقم الاتساق جميلًا، لأن النموذج توقف تمامًا عن إصدار "مرتفع" أو "منخفض".

هذا خداع الذات الكلاسيكي في أوامر التقييم: نعتقد أننا نحسن الجودة، بينما نحن في الواقع نسطح المقياس، وكل المؤشرات الوسيطة تتحسن أثناء ذلك.

النتيجة 4: أربع نسخ، أربعة ترتيبات، ولا أستطيع الجزم بأيها الصحيح

بنينا أربع نسخ من الأوامر. أمام المخطوطات الخمس نفسها، أنتجت أربعة ترتيبات مختلفة: إحدى المخطوطات جاءت في المرتبة الأخيرة في النسخ الثلاث الأولى، وفي المرتبة الأولى في الرابعة.

أي النسخ هي الصحيحة؟

لا أملك إجابة. لم يكن هناك قط مقياس بشري: لم يرتب أحد تلك المخطوطات الخمس مسبقًا ليكون ترتيبه حقيقة مرجعية. ومن دونه، تصبح عبارة "النسخة الجديدة أدق" ادعاء غير قابل للتحقق. تحسنت النسخ الأربع كلها في الاتساق عند إعادة التشغيل، وكنت طوال الوقت أمشي في الظلام.

عند ضبط ذكاء اصطناعي للتقييم: المطلوب أن يرتب البشر العينات أولًا، ثم تقيم كل نسخة مقارنة بذلك الترتيب. بناء المقياس يأتي قبل الضبط.

فما الذي يصمد إذن؟ قياس إعادة التشغيل

عدم صلاحية الدرجة لا يعني أن التمرين كله بلا قيمة. شغلنا الفصل نفسه مرتين دون تغيير كلمة، وقارنا خانة بخانة، لنعرف ما الذي يصمد أمام إعادة التشغيل:

خلاصتان.

الأولى: الترتيب صالح للاستعمال، والقيم المطلقة لا. "أضعف مقطعين" أشار إلى الزوج نفسه في المرتين. لكن عند وضع عتبة ثابتة (تنبيه على كل مقطع دون درجة معينة)، فإن المقطع القريب من الخط يتجاوزه في تشغيل ولا يتجاوزه في الآخر. أي رقم قريب من حد فاصل ثابت هو رمية نرد.

الثانية: المؤشر الذي يبدو الأعمق غالبًا ما يكون هو الضجيج. "أي مقطع قسم القراء أكثر من غيره" يبدو أثمن نتيجة على الإطلاق، وهو الشيء الوحيد الذي لم يتكرر. والسبب واضح: خمس عينات تكفي لحساب متوسط؛ ولا تكفي لحساب تباين.

ما الأفضل سؤال الذكاء الاصطناعي عنه بشأن مسودتك؟

حتى مع ذكاء اصطناعي عام فقط، يمكنك تغيير هذه الأمور اليوم:

1. السؤال عن السلوك بدل طلب الدرجة. استبدال سؤال "ما جودة هذا الفصل؟" بسؤالين: "أي سطر أثار أكبر رغبة في مواصلة القراءة؟" و"أين بدأت الرغبة في القفز على السطور؟". السلوك يمكن مطابقته بالمخطوطة. الدرجة لا يمكن.
2. طلب الاقتباس من نصك. التعليق بلا اقتباس لا يمكن التحقق منه ولا المراجعة على أساسه. المطلوب أن يحمل كل حكم الجملة التي صدر عنها.
3. المقارنة بالترتيب، لا بالدرجة أبدًا. "تحسن بمقدار 0.3 بعد التعديل" محض خيال. "في المرة الماضية أراد ثلاثة من خمسة المزيد عند المقطع نفسه، وهذه المرة واحد" حقيقة.
4. تشغيل المسودة نفسها مرتين، والثقة فقط بما يظهر في المرتين. إنه أرخص مرشح للضجيج على الإطلاق، ويمكنك تطبيقه بنفسك.
5. عدم تحويل شخصية من ابتكارك إلى حكم في الوقت نفسه. عند طلب أن يتقمص الذكاء الاصطناعي دور "قارئي المخلص"، من الأفضل عدم طلب درجة في المحادثة نفسها.

ما بنيناه في النهاية

تقرير القارئ الأولي بالذكاء الاصطناعي في LitMemo أخذ شكله من هذه النتائج، التي دفعتنا إلى تغيير خطتنا الأصلية:

• لا درجة من 1 إلى 10. تظهر الجودة على شكل نطاق (مرتفع، متوسط، منخفض)، لأنه لا توجد لدينا حقيقة مرجعية تسند الكسور العشرية.
• التقييم منفصل عن الشخصية. جودة المخطوطة تحكم عليها مرحلة لا ترى شخصية القارئ إطلاقًا، وتحسب مرة واحدة لكل تقرير ويتشاركها كل القراء. وأمام أربع شخصيات عدائية، منها الشخصية التي تصرح بأنها لا تعطي درجات منخفضة أبدًا، وأخرى تحاول حقن الأوامر، جاءت حقول الجودة مطابقة تمامًا لقراء النظام.
• السطر الأول في التقرير هو "كم قارئًا يرغب في المواصلة"، لا رقمًا. وتحته: أين توقف كل منهم، وعند أي سطر.
• الاعتماد على الترتيب النسبي. نقول "أضعف مقطعين"، ولا نقول أبدًا "المقاطع دون X".

الدرجة تبدو أجمل وتبيع أكثر. لكن الرقم الذي لا يمكن التحقق منه لن يقود إلا إلى تعديل الجزء الخطأ من الفصل.

ذو صلة: لا أحد يقرأ مسودتك؟ البدائل المتاحة