Meta의 Unslop 루브릭 재현 시도: 재현 실패

내용

Meta의 AI의 슬롭 줄이기 블로그 글에서는 LLM이 글을 쓸 때 생성하는 "슬롭"의 양을 줄이는 새로운 RL 방법을 제안한다.

(1) 먼저 사람이 쓴 최고 수준의 글 사례를 수집하고, 이어서

(2) 전문가가 쓴 글에 모델이 생성한 글보다 더 높은 점수를 주는 루브릭을 통해 LLM의 판단을 학습한 뒤,

(3) 학습한 루브릭을 바탕으로 RL을 수행한다.

...

eXpert Aligned Rubrics(XAR)라고 부르는 우리의 루브릭 학습 방식은 간단하다:

사람이 쓴 글 중 평균을 훨씬 웃돌거나 전문가 수준인 사례를 찾아, 문맥과 그 뒤에 이어지는 부분으로 나눈다. 같은 문맥을 바탕으로 모델이 작성한 경쟁 후보를 생성한다. 이 글은 사람이 쓴 글보다 수준이 낮을 것(즉, 슬롭일 것)으로 예상한다. 이 데이터는 사람이 쓴 글에 더 높은 점수를 줘야 하는 학습 쌍을 이룬다. 그런 다음 이 학습 데이터를 사용해 사람과 모델 사이의 점수 차이를 최대화하는 루브릭을 생성하도록 학습한다. 이후 이 루브릭을 활용한 강화 학습(RL-XAR)으로 모델의 글쓰기 능력을 높이기 위해 다음 단계를 반복한다:

앞서 설명한 대로 사람과 현재 모델 사이의 격차를 최대화하는 XAR 루브릭을 학습한다. 학습한 루브릭을 사용해 훈련 세트에서 강화 학습을 수행한다. 루브릭 학습으로 더 이상 격차를 찾아낼 수 없을 때까지(즉, 모델에서 더 이상 슬롭을 찾아낼 수 없을 때까지) 1단계부터 이 절차를 반복한다.

나는 그 "초기 실증 연구"를 재현하려고 일주일 정도 시도했지만, 재현하지 못했다. 코드와 프롬프트, 전체 로그는 meta-rlxar-reproduction에 있다.

내가 시도한 것

블로그 글에서 설명한 방식을 최대한 충실히 따랐다. 반복 과정은 다음과 같다:

사람이 쓴 좋은 글을 가져와 논문의 한 절이나 소설의 다음 대목 같은 일부를 가린다.
작성자 모델은 나머지 부분을 보고, 가려진 부분을 자기 나름대로 작성한다.
루브릭 생성기는 메타 프롬프트의 지침에 따라 그 부분을 평가할 루브릭을 작성한다.
평가자는 어느 쪽이 어느 쪽인지 모르는 상태에서 사람이 쓴 버전과 모델이 쓴 버전에 루브릭을 기준으로 점수를 매긴다.
최적화기는 모델이 이긴 지점을 살펴보고, 다음번에는 루브릭이 사람이 쓴 글을 더 선호하도록 메타 프롬프트를 다시 쓴다.
몇 차례 반복한 뒤, 사람이 쓴 글을 가장 선호하는 루브릭을 만들어 내는 메타 프롬프트를 골라 따로 남겨 둔 글로 검증한다.

사람이 쓴 글로는 동료 심사를 거친 논문(처음에는 최근 arXiv NLP 논문, 그다음에는 9개 분야의 2016~2021년 논문)과 프로젝트 구텐베르크에 있는 노벨상·퓰리처상 수상 작가들의 소설을 사용했다.

역할별로 사용해 본 모델은 다음과 같다:

작성자: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
루브릭 생성기: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
평가자: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, 한 번의 실행에서는 MiMo-V2.6-Pro를 두 번째 평가자로 사용
최적화기: Kimi K2.6, MiMo-V2.6-Flash

프롬프트도 몇 차례 수정했고, 결과가 얼마나 달라지는지 보려고 그때까지 가장 좋았던 프롬프트에서 출발해 최적화를 3번 다시 실행했다.

어느 시도에서도 결과를 재현하지 못했다. 여러 차례 최적화한 뒤에도 루브릭은 사람이 쓴 글을 일관되게 선호하지 않았다. arXiv 논문에서는 최적화한 루브릭이 격차를 어느 정도 좁혔지만, 선호를 뒤집지는 못했다. 소설에서는 최적화하기 전부터 루브릭이 사람이 쓴 글을 약간 더 선호했는데, 최적화를 하자 오히려 모델 쪽으로 기울었다.

내가 얻은 것

최적화한 루브릭은 논문에서 격차를 일관되게 좁혔지만, 사람이 쓴 글을 안정적으로 선호하지는 않았다.
내 단순한 초기 프롬프트(Opus 5.5가 초안을 작성했다)는 처음부터 사람이 쓴 소설을 선호했다. 이 결과를 Anthropic 모델 전반에 관한 결론으로 일반화할 수 있다고는 생각하지 않지만, Opus의 "안목"이 더 좋다는 쪽에 힘을 보태는 또 하나의 일화이기는 하다.
내 실험 구성이 어디에서 달라져 재현을 가로막는지 짚어 내기는 어렵다. 모델 제공업체의 품질 문제일 수도 있다(나는 fp8로 양자화한 Kimi K2.6을 제공하는 업체를 이용했다). 다른 모델의 제공업체 품질도 주의 깊게 살펴보지 않았다.

🤷