المحتوى
تطرح تدوينة Meta بعنوان تخليص الذكاء الاصطناعي من الرداءة أسلوبًا جديدًا للتعلّم المعزّز (RL) يقلّل مقدار «المحتوى الرديء» الذي ينتجه النموذج اللغوي الكبير (LLM) في كتابته.
(1) جمع أمثلة لنصوص كتبها بشر وتتّسم بأعلى مستويات الجودة أولًا، ثم
(2) تعلّم أحكام النماذج اللغوية الكبيرة عبر سلالم تقييم تمنح تلك النصوص التي كتبها خبراء درجات أعلى من النصوص التي تولّدها النماذج؛ و
(3) إجراء التعلّم المعزّز باستخدام سلالم التقييم المتعلَّمة.
...
أسلوبنا لتعلّم سلالم التقييم، الذي نسمّيه «سلالم التقييم المتوافقة مع الخبراء» (XAR)، بسيط:
حدّد أمثلة لكتابة بشرية تفوق المتوسط بكثير / بمستوى الخبراء، وقسّمها إلى سياق وتكملة. ولّد باستخدام النماذج تكملات منافسة انطلاقًا من السياق نفسه، ونتوقّع أن تكون كتابتها أسوأ (أي محتوى رديئًا). تشكّل البيانات السابقة أزواجًا للتعلّم، ينبغي أن تحصل فيها النصوص البشرية على درجات أعلى. ثم تُستخدم بيانات التدريب هذه لتعلّم توليد سلالم تقييم تزيد الفارق في الدرجات بين البشر والنماذج إلى أقصى حد. ثم، لتدريب نموذج على تحسين كتابته من خلال التعلّم المعزّز (RL-XAR) باستخدام هذه السلالم، نكرّر الخطوات التالية:
تعلَّم سلالم تقييم XAR التي تزيد الفارق بين البشر والنموذج الحالي إلى أقصى حد، كما هو موضّح أعلاه. أجرِ التعلّم المعزّز على مجموعة تدريب باستخدام سلالم التقييم المتعلَّمة. كرّر الإجراء بدءًا من الخطوة 1 إلى أن يصبح تعلّم سلالم التقييم عاجزًا عن تحديد فارق (أي عندما نعجز عن رصد محتوى رديء في مخرجات النموذج).
أمضيت نحو أسبوع أحاول إعادة إنتاج نتائج ذلك «الاستقصاء التجريبي الأولي»، ولم أستطع. الكود والموجّهات والسجل الكامل متاحة في meta-rlxar-reproduction.
ما جرّبته
اتبعت الخطوط العامة التي عرضتها التدوينة بأكبر قدر استطعت من الدقّة. تسير الدورة على النحو التالي:
- خذ نصًا بشريًا جيّدًا وأخفِ جزءًا منه: قسمًا من ورقة بحثية أو المقطع التالي من رواية.
- يطّلع نموذج كاتب على بقيّة النص ويكتب نسخته الخاصة من الجزء المخفي.
- يكتب مولّد سلالم التقييم سلّم تقييم لذلك الجزء، مسترشدًا بموجّه فوقي.
- يمنح حَكَم درجات لنسخة الكاتب البشري ونسخة النموذج وفقًا لسلّم التقييم، من دون أن يعرف أيّهما كتبه الإنسان وأيّهما كتبه النموذج.
- يفحص مُحسِّن الحالات التي فاز فيها النموذج، ويعيد صياغة الموجّه الفوقي بحيث ترجّح سلالم التقييم كفّة الكاتب البشري في المرّة التالية.
- كرّر ذلك بضع مرّات، واختر الموجّه الفوقي الذي ينتج سلالم تقييم تُظهر أكبر تفضيل للكتابة البشرية، واختبره على نصوص احتُفظ بها للاختبار.
للنصوص البشرية، استخدمت أوراقًا بحثية مُحكَّمة (بدأت بأوراق حديثة في معالجة اللغة الطبيعية على arXiv، ثم استخدمت أوراقًا من الفترة 2016-2021 في 9 مجالات)، وروايات من مشروع غوتنبرغ لكتّاب فازوا بنوبل أو بوليتزر.
النماذج التي جرّبتها، بحسب الدور:
- الكاتب: Muse Spark 1.1، Muse Spark 1.3، MiMo-V2.6-Pro
- مولّد سلالم التقييم: Muse Spark 1.1، Muse Spark 1.3، MiMo-V2.6-Pro
- الحَكَم: Muse Spark 1.1، Muse Spark 1.3، Qwen3.8 Flash، مع استخدام MiMo-V2.6-Pro حَكَمًا ثانيًا في إحدى مرّات التشغيل
- المُحسِّن: Kimi K2.6، MiMo-V2.6-Flash
أجريت أيضًا بضع جولات من تعديل الموجّهات، وأعدت تشغيل التحسين 3 مرّات انطلاقًا من أفضل موجّه توصّلت إليه حتى ذلك الحين لأرى مدى تفاوت النتائج.
لم ينجح أيّ من ذلك في إعادة إنتاج النتيجة. بعد عدّة جولات من التحسين، لم تُظهر سلالم التقييم قط تفضيلًا موثوقًا للكتّاب البشر. في أوراق arXiv، قلّصت سلالم التقييم المحسَّنة الفجوة إلى حدّ ما، لكنها لم تعكس اتجاه التفضيل قط. أما في الأدب القصصي، فكانت سلالم التقييم تُظهر أصلًا تفضيلًا طفيفًا للكاتب البشري قبل التحسين، ثم دفعها التحسين باتجاه النموذج بدلًا من ذلك.
ما استخلصته
- نجحت سلالم التقييم المحسَّنة بصورة موثوقة في تضييق الفجوة في الأوراق البحثية، لكنها لم تنتج قط تفضيلًا مستقرًا للكاتب البشري.
- كان موجّهي الأولي الساذج (الذي صاغه Opus 5.5) يفضّل الكتابة القصصية البشرية منذ البداية. لا أظن أن بالإمكان تعميم ذلك للخروج بأي استنتاج عن نماذج Anthropic، لكنه شاهد فردي آخر يدعم الانطباع بأن Opus يتمتّع «بذوق أرفع».
- يصعب تحديد موضع الاختلاف في إعدادي الذي يمنع إعادة إنتاج النتيجة. ربما كان السبب جودة مزوّد النموذج (استخدمت مزوّدًا يقدّم نسخة من Kimi K2.6 مُكمَّمة بصيغة fp8)، ولم أولِ اهتمامًا كبيرًا لجودة مزوّدي النماذج الأخرى.
🤷