内容
Meta 的《消除 AI 的劣质内容》博客文章提出了一种新的强化学习（RL）方法，可以减少大语言模型（LLM）在写作中产生的“劣质内容”。
(1) 首先收集质量最高的人类写作文本示例，然后
(2) 通过评分细则学习 LLM 的评判，使这些细则给上述专家文本的评分高于模型生成的内容；以及
(3) 基于学到的评分细则进行强化学习。
...
我们学习评分细则的方法称为专家对齐评分细则（eXpert Aligned Rubrics，XAR），做法很简单：
找出水平远高于平均水平 / 达到专家水平的人类写作示例，将其拆分为上下文和续文。 给定相同的上下文，让模型生成续文作为对照，我们预计这些续文的写作质量会更差（即劣质内容）。 上述数据构成用于学习的样本对，其中人类文本应获得更高评分。随后用这些训练数据学习生成评分细则，使人类文本与模型文本之间的评分差距最大化。 然后，为了利用这些评分细则，通过强化学习（RL-XAR）训练模型，使其更擅长写作，我们反复执行以下步骤：
如上所述，学习 XAR 评分细则，使人类文本与当前模型文本之间的评分差距最大化。 使用学到的评分细则，在训练集上进行强化学习。 从第 1 步开始重复这一流程，直到评分细则学习再也找不出差距（即我们再也无法识别出模型中的劣质内容）。
我花了大约一周时间，尝试复现其中的“初步实证研究”，但没能成功。 代码、提示词和完整日志都在 meta-rlxar-reproduction 中。
我做了哪些尝试
我尽可能按照博客文章的思路来做。循环流程如下：
- 取一篇优质的人类写作文本，隐藏其中一部分：论文中的一节，或小说接下来的一段。
- 写作模型读取其余部分，写出自己版本的隐藏部分。
- 评分细则生成器在元提示词的引导下，为这部分文本编写评分细则。
- 评审模型按照评分细则，为人类版本和模型版本打分，且不知道哪个版本来自哪一方。
- 优化器查看模型在哪些地方胜出，并改写元提示词，让评分细则下次更偏向人类。
- 重复几次，选出能生成最偏好人类写作的评分细则的元提示词，再用留出的文本进行检验。
人类文本方面，我使用了经过同行评审的论文（先是 arXiv 上近期的 NLP 论文，之后是涵盖 9 个领域、发表于 2016-2021 年的论文），以及古腾堡计划中由诺贝尔奖和普利策奖得主创作的小说。
我按角色尝试了以下模型：
- 写作模型： Muse Spark 1.1、Muse Spark 1.3、MiMo-V2.6-Pro
- 评分细则生成器： Muse Spark 1.1、Muse Spark 1.3、MiMo-V2.6-Pro
- 评审模型： Muse Spark 1.1、Muse Spark 1.3、Qwen3.8 Flash，其中一次运行还使用了 MiMo-V2.6-Pro 作为第二个评审模型
- 优化器： Kimi K2.6、MiMo-V2.6-Flash
我还对提示词做了几轮修改，并以当时最好的提示词为起点，将优化过程重新运行了 3 次，看看结果会有多大波动。
这些尝试都没能复现结果。 经过几轮优化后，评分细则始终没能可靠地偏好人类作者。 在 arXiv 论文上，优化后的评分细则缩小了一部分差距，但始终没能扭转偏好。 在小说上，评分细则在优化前就已经略微偏好人类文本，而优化反倒使它们的偏好向模型一侧偏移。
我的体会
- 优化后的评分细则在论文上能可靠地缩小差距，但始终没能形成对人类文本的稳定偏好。
- 我最初那版朴素的提示词（由 Opus 5.5 起草）从一开始就偏好人类创作的小说。 我不认为这能推导出关于 Anthropic 模型的任何普遍结论，但这又多了一个支持 Opus 更有“品味”这一看法的个例。
- 很难说我的设置在哪些地方有所不同，进而导致无法复现。 可能与模型服务提供商的质量有关（我用的是服务商提供的 fp8 量化版 Kimi K2.6），而且我也没有特别留意其他模型服务提供商的质量。
🤷