Versuch, Metas Unslop-Bewertungsraster zu reproduzieren: ein Nullergebnis

Metas Blogbeitrag Unslopping AI schlägt eine neue RL-Methode vor, mit der ein LLM beim Schreiben weniger „Slop“ produziert.

(1) zunächst Beispiele für von Menschen verfasste Texte höchster Qualität sammeln und dann

(2) LLM-Bewertungen mithilfe von Bewertungsrastern erlernen, die diese Expertentexte höher bewerten als modellgenerierte Texte; und

(3) RL mit den erlernten Bewertungsrastern durchführen.

...

Unser Ansatz zum Erlernen von Bewertungsrastern heißt eXpert Aligned Rubrics (XAR) und ist einfach:

Beispiele für weit überdurchschnittliche / von menschlichen Experten verfasste Texte identifizieren und diese in Kontext und Fortsetzung aufteilen. Auf Basis desselben Kontexts konkurrierende Fortsetzungen von Modellen generieren, von denen wir erwarten, dass sie schlechter geschrieben sind (d. h. Slop). Die obigen Daten bilden Lernpaare, bei denen die menschlichen Texte höher bewertet werden sollen. Diese Trainingsdaten werden dann verwendet, um zu lernen, Bewertungsraster zu generieren, die den Bewertungsabstand zwischen Menschen und Modellen maximieren. Um ein Modell mithilfe dieser Bewertungsraster durch Reinforcement Learning (RL-XAR) im Schreiben zu verbessern, wiederholen wir dann die folgenden Schritte:

Wie oben beschrieben XAR-Bewertungsraster erlernen, die den Abstand zwischen Menschen und dem aktuellen Modell maximieren. Reinforcement Learning auf einem Trainingsdatensatz mit den erlernten Bewertungsrastern durchführen. Das Verfahren ab Schritt 1 wiederholen, bis sich durch das Erlernen von Bewertungsrastern kein Abstand mehr feststellen lässt (d. h., wir können keinen Slop mehr im Modell erkennen).

Ich habe etwa eine Woche lang versucht, diese „erste empirische Untersuchung“ zu reproduzieren, allerdings ohne Erfolg. Der Code, die Prompts und das vollständige Protokoll sind in meta-rlxar-reproduction zu finden.

Was ich ausprobiert habe

Ich habe mich so eng wie möglich an den im Blogbeitrag beschriebenen Ablauf gehalten. Die Schleife läuft so ab:

• Einen guten, von einem Menschen verfassten Text nehmen und einen Teil davon verbergen: einen Abschnitt einer wissenschaftlichen Arbeit oder die nächste Passage eines Romans.
• Ein Autor-Modell sieht den Rest und schreibt seine eigene Version des verborgenen Teils.
• Ein Generator für Bewertungsraster erstellt, angeleitet durch einen Meta-Prompt, ein Bewertungsraster für diesen Teil.
• Ein Bewerter vergibt anhand des Bewertungsrasters Punkte für die menschliche Version und die Modellversion, ohne zu wissen, welche welche ist.
• Ein Optimierer sieht sich an, wo das Modell gewonnen hat, und überarbeitet den Meta-Prompt so, dass die Bewertungsraster beim nächsten Mal den menschlichen Text bevorzugen.
• Ein paarmal wiederholen, den Meta-Prompt auswählen, der Bewertungsraster mit der stärksten Präferenz für menschliche Texte erzeugt, und ihn an zurückgehaltenen Texten überprüfen.

Als menschliche Texte habe ich wissenschaftliche Arbeiten mit Peer-Review verwendet (zunächst aktuelle NLP-Arbeiten von arXiv, dann Arbeiten aus den Jahren 2016–2021 aus 9 Fachgebieten) sowie Romane von Nobel- und Pulitzerpreisträgern aus Project Gutenberg.

Die Modelle, die ich ausprobiert habe, nach Rolle:

• Autor: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
• Generator für Bewertungsraster: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
• Bewerter: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, mit MiMo-V2.6-Pro als zweitem Bewerter in einem Durchlauf
• Optimierer: Kimi K2.6, MiMo-V2.6-Flash

Außerdem habe ich die Prompts in mehreren Runden angepasst und die Optimierung ausgehend vom bis dahin besten Prompt 3-mal erneut durchgeführt, um zu sehen, wie groß die Schwankungen sind.

Mit keinem dieser Versuche konnte ich das Ergebnis reproduzieren. Auch nach mehreren Optimierungsrunden bevorzugten die Bewertungsraster die menschlichen Autoren nie zuverlässig. Bei arXiv-Arbeiten verkleinerten die optimierten Bewertungsraster den Abstand etwas, kehrten die Präferenz aber nie um. Bei Belletristik bevorzugten die Bewertungsraster schon vor der Optimierung leicht den menschlichen Text, und die Optimierung verschob sie stattdessen in Richtung des Modells.

Was ich daraus mitgenommen habe

• Die optimierten Bewertungsraster verkleinerten den Abstand bei wissenschaftlichen Arbeiten zuverlässig, führten aber nie zu einer stabilen Präferenz für den menschlichen Text.
• Mein naiver erster Prompt (von Opus 5.5 entworfen) bevorzugte von Anfang an von Menschen verfasste Belletristik. Ich glaube nicht, dass sich daraus etwas über Anthropics Modelle im Allgemeinen ableiten lässt, aber es ist eine weitere Anekdote, die dafür spricht, dass Opus „geschmackssicherer“ ist.
• Es ist schwer zu sagen, worin sich mein Versuchsaufbau unterscheidet und was eine Reproduktion verhindert. Möglicherweise liegt es an der Qualität des Modellanbieters (ich habe einen Anbieter mit einer auf fp8 quantisierten Version von Kimi K2.6 verwendet), und auf die Qualität der Anbieter der anderen Modelle habe ich nicht besonders geachtet.

🤷