सामग्री
Meta के AI से स्लॉप हटाना ब्लॉग में RL की एक नई विधि प्रस्तावित की गई है, जो LLM के लेखन में "स्लॉप" की मात्रा कम करती है।
(1) पहले इंसानों के लिखे सबसे उच्च गुणवत्ता वाले पाठों के उदाहरण इकट्ठा करना, और फिर
(2) ऐसे रूब्रिक के ज़रिए LLM के निर्णय सीखना, जो विशेषज्ञों के लिखे उन पाठों को मॉडल के तैयार किए पाठों से अधिक अंक दें; और
(3) सीखे गए रूब्रिक पर RL करना।
...
रूब्रिक सीखने की हमारी विधि, जिसे eXpert Aligned Rubrics (XAR) कहते हैं, सरल है:
इंसानों के ऐसे लेखन के उदाहरण पहचानें जो औसत से काफ़ी बेहतर हों / विशेषज्ञ स्तर के हों, और उन्हें संदर्भ तथा उसके आगे के पाठ में बाँटें। उसी संदर्भ के आधार पर मॉडल से आगे के प्रतिस्पर्धी पाठ तैयार करवाएँ, जिनके लेखन की गुणवत्ता कम होने की हमें अपेक्षा है (यानी स्लॉप)। ऊपर का डेटा सीखने के लिए ऐसे जोड़े बनाता है, जिनमें इंसानों के लेखन को अधिक अंक मिलने चाहिए। इस प्रशिक्षण डेटा का उपयोग फिर ऐसे रूब्रिक बनाना सीखने के लिए किया जाता है, जो इंसानों और मॉडलों के अंकों के बीच का अंतर अधिकतम करें। फिर इन रूब्रिक का उपयोग करके reinforcement learning (RL-XAR) के ज़रिए मॉडल को बेहतर लेखन का प्रशिक्षण देने के लिए, हम निम्नलिखित चरण दोहराते हैं:
ऊपर बताए अनुसार ऐसे XAR रूब्रिक सीखें, जो इंसानों और मौजूदा मॉडल के बीच का अंतर अधिकतम करें। सीखे गए रूब्रिक का उपयोग करके प्रशिक्षण सेट पर reinforcement learning करें। चरण 1 से यह प्रक्रिया तब तक दोहराएँ, जब तक रूब्रिक सीखने की प्रक्रिया किसी अंतर की पहचान करने में असमर्थ न हो जाए (यानी हम मॉडल में स्लॉप की पहचान न कर पाएँ)।
मैंने उस "प्रारंभिक अनुभवजन्य अध्ययन" के परिणाम दोहराने की कोशिश में लगभग एक हफ़्ता बिताया, लेकिन सफलता नहीं मिली। कोड, प्रॉम्प्ट और पूरा लॉग meta-rlxar-reproduction में हैं।
मैंने क्या आज़माया
मैंने ब्लॉग की रूपरेखा का जितना हो सका, उतना सटीक पालन किया। यह चक्र इस तरह चलता है:
- इंसान के लिखे किसी अच्छे पाठ को लें और उसका कुछ हिस्सा छिपा दें: किसी शोधपत्र का एक खंड या किसी उपन्यास का अगला अंश।
- एक लेखक मॉडल बाकी पाठ देखता है और छिपाए गए हिस्से का अपना संस्करण लिखता है।
- एक रूब्रिक जनरेटर मेटा प्रॉम्प्ट के मार्गदर्शन में उस हिस्से के लिए एक रूब्रिक लिखता है।
- एक निर्णायक रूब्रिक के आधार पर इंसान और मॉडल के संस्करणों को अंक देता है, बिना यह जाने कि कौन-सा किसने लिखा है।
- एक ऑप्टिमाइज़र देखता है कि मॉडल कहाँ जीता, और मेटा प्रॉम्प्ट को दोबारा लिखता है, ताकि अगली बार रूब्रिक इंसान के लेखन को तरजीह दें।
- कुछ बार दोहराएँ, वह मेटा प्रॉम्प्ट चुनें जिससे इंसानी लेखन को सबसे अधिक तरजीह देने वाले रूब्रिक बनते हैं, और उसे जाँच के लिए अलग रखे गए लेखन पर परखें।
इंसानी लेखन के लिए मैंने सहकर्मी-समीक्षित शोधपत्रों (पहले arXiv के हाल के NLP शोधपत्र, फिर 9 क्षेत्रों के 2016-2021 के शोधपत्र) और Project Gutenberg से नोबेल तथा पुलित्ज़र पुरस्कार विजेताओं के उपन्यासों का इस्तेमाल किया।
भूमिका के अनुसार, मैंने ये मॉडल आज़माए:
- लेखक: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- रूब्रिक जनरेटर: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- निर्णायक: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, और एक रन में दूसरे निर्णायक के तौर पर MiMo-V2.6-Pro
- ऑप्टिमाइज़र: Kimi K2.6, MiMo-V2.6-Flash
मैंने प्रॉम्प्ट में बदलाव के भी कुछ दौर किए, और अब तक के सबसे अच्छे प्रॉम्प्ट से ऑप्टिमाइज़ेशन 3 बार फिर चलाया, ताकि देख सकूँ कि नतीजों में कितना फ़र्क आता है।
इनमें से किसी भी प्रयास से वह परिणाम दोहराया नहीं जा सका। ऑप्टिमाइज़ेशन के कई दौरों के बाद भी रूब्रिक ने कभी भरोसेमंद ढंग से इंसानी लेखकों को तरजीह नहीं दी। arXiv के शोधपत्रों पर ऑप्टिमाइज़ किए गए रूब्रिक से अंतर कुछ कम हुआ, लेकिन तरजीह का रुख कभी नहीं पलटा। कथा-साहित्य में रूब्रिक ऑप्टिमाइज़ेशन से पहले ही इंसान के लेखन को थोड़ी तरजीह देते थे, और ऑप्टिमाइज़ेशन ने उन्हें उलटे मॉडल की ओर धकेल दिया।
इससे मैंने क्या सीखा
- ऑप्टिमाइज़ किए गए रूब्रिक ने शोधपत्रों पर अंतर को भरोसेमंद ढंग से कम किया, लेकिन इंसान के लेखन के पक्ष में कभी स्थिर तरजीह पैदा नहीं की।
- मेरा सीधा-सादा शुरुआती प्रॉम्प्ट (जिसका मसौदा Opus 5.5 ने तैयार किया था) शुरू से ही इंसानों के लिखे कथा-साहित्य को तरजीह देता था। मुझे नहीं लगता कि इससे Anthropic के मॉडलों के बारे में कोई सामान्य निष्कर्ष निकाला जा सकता है, लेकिन यह Opus के अधिक "सुरुचिपूर्ण" होने की ओर इशारा करने वाला एक और व्यक्तिगत अनुभव है।
- यह कहना मुश्किल है कि मेरे सेटअप में कहाँ अंतर है, जिसकी वजह से परिणाम दोहराया नहीं जा रहा। शायद मॉडल प्रोवाइडर की गुणवत्ता (मैंने क्वांटाइज़्ड fp8 Kimi K2.6 देने वाला एक प्रोवाइडर इस्तेमाल किया था), और मैंने दूसरे मॉडलों के प्रोवाइडर की गुणवत्ता पर ज़्यादा ध्यान नहीं दिया।
🤷