內容
Meta 的 消除 AI 的劣質內容 部落格文章提出了一種新的強化學習（RL）方法，可減少大型語言模型（LLM）在寫作時產生的「劣質內容」（slop）。
(1) 先蒐集品質最高的人類寫作範例，然後
(2) 透過評分規準學習 LLM 的評判方式，讓專家文本的得分高於模型生成的文本；以及
(3) 依據學到的評分規準進行 RL。
...
我們學習評分規準的方法稱為 eXpert Aligned Rubrics（XAR，專家對齊評分規準），做法很簡單：
找出遠高於平均水準或出自專家之手的人類寫作範例，將其分成上下文與續文。 根據相同的上下文，產生模型撰寫的續文作為比較對象；我們預期其寫作品質會比較差（也就是劣質內容）。 上述資料會組成學習配對，其中人類文本應獲得較高分數。接著，利用這些訓練資料學習產生評分規準，使人類與模型的評分差距最大化。 然後，為了利用這些評分規準，透過強化學習（RL-XAR）訓練模型改善寫作能力，我們反覆執行以下步驟：
如上所述，學習能使人類與目前模型之間的評分差距最大化的 XAR 評分規準。 在訓練集上，依據學到的評分規準進行強化學習。 從步驟 1 開始重複此程序，直到評分規準學習再也無法找出差距為止（也就是我們再也無法辨識出模型的劣質內容）。
我花了大約一週嘗試重現那項「初步實證研究」，但沒能成功。 程式碼、提示詞與完整紀錄都在 meta-rlxar-reproduction。
我做了哪些嘗試
我盡可能遵循那篇部落格文章的做法。整個循環如下：
- 取一篇優秀的人類作品，隱藏其中一部分：例如論文的一個章節，或小說的下一段。
- 一個寫作者模型讀取其餘內容，並為被隱藏的部分寫出自己的版本。
- 一個評分規準產生器在元提示詞的引導下，為該部分撰寫評分規準。
- 一個評審在不知道哪個版本出自誰的情況下，依照評分規準為人類版本與模型版本評分。
- 一個最佳化器檢視模型勝出的地方，並改寫元提示詞，讓下次產生的評分規準更偏好人類。
- 重複幾次，選出能產生最偏好人類寫作之評分規準的元提示詞，再用保留作驗證的文本進行檢驗。
人類寫作方面，我使用了經同儕審查的論文（先是近期的 arXiv 自然語言處理論文，接著是 2016-2021 年間涵蓋 9 個領域的論文），以及古騰堡計畫中諾貝爾獎與普立茲獎得主的小說。
我依角色嘗試了以下模型：
- 寫作者： Muse Spark 1.1、Muse Spark 1.3、MiMo-V2.6-Pro
- 評分規準產生器： Muse Spark 1.1、Muse Spark 1.3、MiMo-V2.6-Pro
- 評審： Muse Spark 1.1、Muse Spark 1.3、Qwen3.8 Flash，其中一次執行還使用 MiMo-V2.6-Pro 作為第二位評審
- 最佳化器： Kimi K2.6、MiMo-V2.6-Flash
我也修改了幾輪提示詞，並用當時最好的提示詞重新執行了 3 次最佳化，看看結果的變動有多大。
這些嘗試全都沒能重現結果。 經過數輪最佳化後，評分規準始終無法穩定地偏好人類作者。 在 arXiv 論文上，最佳化後的評分規準縮小了部分差距，但始終未能扭轉偏好。 在小說上，評分規準原本在最佳化前就略微偏好人類，最佳化反而讓它們轉向偏好模型。
我的心得
- 最佳化後的評分規準確實穩定地縮小了論文上的差距，但始終無法產生對人類的穩定偏好。
- 我最初那個簡單的提示詞（由 Opus 5.5 起草），一開始就偏好人類寫的小說。 我不認為這能推廣成對 Anthropic 模型的任何結論，但這又多了一個支持 Opus 比較「有品味」的個別例子。
- 很難說我的實驗設定有哪些差異，導致無法重現結果。 可能與模型供應商的品質有關（我使用的供應商提供的是 fp8 量化版 Kimi K2.6），而且我也沒有特別留意其他模型供應商的品質。
🤷