เนื้อหา
บทความ ลดงานคุณภาพต่ำจาก AI ของ Meta เสนอวิธี RL แบบใหม่ที่ลดปริมาณ "งานเขียนคุณภาพต่ำ" ที่ LLM สร้างขึ้น
(1) เริ่มจากรวบรวมตัวอย่างงานเขียนของมนุษย์ที่มีคุณภาพสูงที่สุด จากนั้น
(2) เรียนรู้การตัดสินของ LLM ผ่านเกณฑ์การประเมินที่ให้คะแนนงานเขียนของผู้เชี่ยวชาญเหล่านั้นสูงกว่าข้อความที่โมเดลสร้างขึ้น และ
(3) ทำ RL โดยใช้เกณฑ์การประเมินที่เรียนรู้มา
...
แนวทางการเรียนรู้เกณฑ์การประเมินของเรา ซึ่งเรียกว่า eXpert Aligned Rubrics (XAR) นั้นเรียบง่าย:
หาตัวอย่างงานเขียนของมนุษย์ที่มีคุณภาพสูงกว่าค่าเฉลี่ยมาก / งานเขียนของผู้เชี่ยวชาญ แล้วแบ่งออกเป็นบริบทและข้อความส่วนต่อ ให้โมเดลสร้างข้อความส่วนต่อมาแข่งโดยใช้บริบทเดียวกัน ซึ่งเราคาดว่าจะเป็นงานเขียนที่ด้อยกว่า (กล่าวคือ งานเขียนคุณภาพต่ำ) ข้อมูลข้างต้นประกอบกันเป็นคู่ตัวอย่างสำหรับการเรียนรู้ โดยงานของมนุษย์ควรได้คะแนนสูงกว่า จากนั้นใช้ข้อมูลฝึกนี้เพื่อเรียนรู้วิธีสร้างเกณฑ์การประเมินที่ทำให้ช่องว่างระหว่างคะแนนของมนุษย์กับโมเดลกว้างที่สุด จากนั้น เพื่อฝึกให้โมเดลเขียนได้ดีขึ้นด้วยการเรียนรู้แบบเสริมกำลัง (RL-XAR) โดยใช้เกณฑ์การประเมินเหล่านี้ เราจะทำขั้นตอนต่อไปนี้ซ้ำ:
เรียนรู้เกณฑ์การประเมิน XAR ที่ทำให้ช่องว่างระหว่างมนุษย์กับโมเดลปัจจุบันกว้างที่สุด ตามที่อธิบายไว้ข้างต้น ทำการเรียนรู้แบบเสริมกำลังกับชุดข้อมูลฝึกโดยใช้เกณฑ์การประเมินที่เรียนรู้มา ทำกระบวนการซ้ำตั้งแต่ขั้นตอนที่ 1 จนกว่าการเรียนรู้เกณฑ์การประเมินจะไม่สามารถระบุช่องว่างได้อีก (กล่าวคือ เราไม่สามารถระบุงานเขียนคุณภาพต่ำที่โมเดลสร้างขึ้นได้อีก)
ฉันใช้เวลาประมาณหนึ่งสัปดาห์พยายามทำซ้ำ "การศึกษาเชิงประจักษ์เบื้องต้น" นั้น แต่ทำไม่ได้ โค้ด พรอมป์ต์ และบันทึกทั้งหมดอยู่ใน meta-rlxar-reproduction
สิ่งที่ฉันลองทำ
ฉันทำตามแนวทางในบทความให้ใกล้เคียงที่สุดเท่าที่ทำได้ โดยมีขั้นตอนวนซ้ำดังนี้:
- นำงานเขียนที่ดีของมนุษย์มาชิ้นหนึ่ง แล้วซ่อนบางส่วนไว้ เช่น ส่วนหนึ่งของบทความวิชาการ หรือข้อความช่วงถัดไปของนวนิยาย
- โมเดล ผู้เขียน เห็นส่วนที่เหลือและเขียนส่วนที่ซ่อนไว้ขึ้นมาในแบบของตัวเอง
- ตัวสร้างเกณฑ์การประเมิน เขียนเกณฑ์การประเมินสำหรับส่วนนั้น โดยมีเมตาพรอมป์ต์เป็นตัวชี้นำ
- ผู้ประเมิน ให้คะแนนฉบับของมนุษย์และฉบับของโมเดลตามเกณฑ์การประเมิน โดยไม่รู้ว่าฉบับไหนมาจากใคร
- ตัวปรับให้เหมาะสม ดูกรณีที่โมเดลชนะ แล้วเขียนเมตาพรอมป์ต์ใหม่ เพื่อให้เกณฑ์การประเมินให้คะแนนงานของมนุษย์สูงกว่าในครั้งถัดไป
- ทำซ้ำไม่กี่ครั้ง เลือกเมตาพรอมป์ต์ที่สร้างเกณฑ์การประเมินซึ่งให้คะแนนงานเขียนของมนุษย์เหนือกว่ามากที่สุด แล้วตรวจสอบกับงานเขียนที่กันไว้สำหรับการทดสอบ
สำหรับงานเขียนของมนุษย์ ฉันใช้บทความวิชาการที่ผ่านการประเมินโดยผู้ทรงคุณวุฒิ (เริ่มจากบทความด้าน NLP บน arXiv ที่เผยแพร่ไม่นาน จากนั้นเป็นบทความช่วงปี 2016-2021 จาก 9 สาขา) และนวนิยายจาก Project Gutenberg ที่เขียนโดยผู้ได้รับรางวัลโนเบลและพูลิตเซอร์
โมเดลที่ฉันลองใช้ แยกตามบทบาท:
- ผู้เขียน: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- ตัวสร้างเกณฑ์การประเมิน: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- ผู้ประเมิน: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash โดยมี MiMo-V2.6-Pro เป็นผู้ประเมินคนที่สองในการทดลองครั้งหนึ่ง
- ตัวปรับให้เหมาะสม: Kimi K2.6, MiMo-V2.6-Flash
ฉันยังปรับพรอมป์ต์อีกหลายรอบ และรันกระบวนการปรับให้เหมาะสมซ้ำ 3 ครั้ง โดยเริ่มจากพรอมป์ต์ที่ดีที่สุดเท่าที่มีในตอนนั้น เพื่อดูว่าผลแปรผันมากแค่ไหน
ทั้งหมดนี้ไม่สามารถทำซ้ำผลลัพธ์ที่รายงานไว้ได้ หลังจากปรับให้เหมาะสมหลายรอบ เกณฑ์การประเมินก็ยังไม่เคยให้คะแนนผู้เขียนที่เป็นมนุษย์เหนือกว่าได้อย่างสม่ำเสมอ สำหรับบทความบน arXiv เกณฑ์การประเมินที่ผ่านการปรับให้เหมาะสมช่วยลดช่องว่างได้บ้าง แต่ไม่เคยทำให้ผลพลิกกลับ สำหรับเรื่องแต่ง เกณฑ์การประเมินให้คะแนนงานของมนุษย์เหนือกว่าเล็กน้อยอยู่แล้วก่อนปรับให้เหมาะสม แต่การปรับกลับผลักให้เกณฑ์เอนเอียงไปทางโมเดลแทน
สิ่งที่ฉันได้เรียนรู้
- เกณฑ์การประเมินที่ผ่านการปรับให้เหมาะสมช่วย ลด ช่องว่างของคะแนนบทความวิชาการได้อย่างสม่ำเสมอ แต่ไม่เคยให้คะแนนงานของมนุษย์เหนือกว่าได้อย่างคงเส้นคงวา
- พรอมป์ต์เริ่มต้นแบบง่าย ๆ ของฉัน (ร่างโดย Opus 5.5) ให้คะแนนงานเขียนประเภทเรื่องแต่งของมนุษย์เหนือกว่าตั้งแต่แรก ฉันไม่คิดว่าจะนำข้อสังเกตนี้ไปสรุปอะไรเกี่ยวกับโมเดลของ Anthropic โดยรวมได้ แต่ก็เป็นข้อสังเกตเฉพาะกรณีอีกชิ้นที่ชี้ว่า Opus มี "รสนิยม" ดีกว่า
- บอกได้ยากว่าการจัดชุดทดลองของฉันต่างตรงไหนจนทำให้ทำซ้ำผลลัพธ์ไม่ได้ อาจเป็นเรื่องคุณภาพของผู้ให้บริการโมเดล (ฉันใช้บริการ Kimi K2.6 แบบควอนไทซ์ fp8) และฉันก็ไม่ได้ใส่ใจคุณภาพของผู้ให้บริการโมเดลอื่น ๆ มากนัก
🤷