treść
We wpisie Unslopping AI Meta proponuje nową metodę RL, która zmniejsza ilość „slopu” w tekstach generowanych przez LLM.
(1) najpierw zebranie przykładów tekstów najwyższej jakości napisanych przez ludzi, a następnie
(2) uczenie modeli LLM oceniania za pomocą schematów oceny, które przyznają tym eksperckim tekstom wyższe oceny niż tekstom wygenerowanym przez modele; oraz
(3) przeprowadzenie RL z wykorzystaniem wyuczonych schematów oceny.
...
Nasze podejście do uczenia schematów oceny, nazwane eXpert Aligned Rubrics (XAR), jest proste:
Znajdź przykłady tekstów napisanych przez ludzi o jakości znacznie powyżej średniej / tekstów eksperckich i podziel je na kontekst i dalszy ciąg. Wygeneruj za pomocą modelu konkurencyjne dalsze ciągi dla tego samego kontekstu, które według naszych oczekiwań będą gorszymi tekstami (tj. slopem). Powyższe dane tworzą pary treningowe, w których teksty napisane przez ludzi powinny otrzymywać wyższe oceny. Te dane treningowe służą następnie do uczenia generowania schematów oceny, które maksymalizują różnicę w ocenach między ludźmi a modelami. Następnie, aby przy użyciu tych schematów nauczyć model lepszego pisania za pomocą uczenia ze wzmocnieniem (RL-XAR), powtarzamy następujące kroki:
Przeprowadź uczenie schematów oceny XAR maksymalizujących różnicę między ludźmi a obecnym modelem, jak opisano powyżej. Przeprowadź uczenie ze wzmocnieniem na zbiorze treningowym przy użyciu wyuczonych schematów oceny. Powtarzaj procedurę od kroku 1, aż uczenie schematów oceny nie będzie już pozwalało wykryć różnicy (tj. nie będziemy już w stanie wykryć slopu w modelu).
Przez mniej więcej tydzień próbowałem odtworzyć tę „Wstępną analizę empiryczną”, ale mi się nie udało. Kod, prompty i pełny dziennik można znaleźć w meta-rlxar-reproduction.
Czego próbowałem
Trzymałem się opisu z wpisu tak ściśle, jak potrafiłem. Pętla wygląda tak:
- Weź fragment dobrego tekstu napisanego przez człowieka i ukryj jego część: sekcję artykułu naukowego albo kolejny fragment powieści.
- Model pełniący rolę autora widzi pozostałą część i pisze własną wersję ukrytego fragmentu.
- Generator schematów oceny tworzy schemat oceny tego fragmentu, kierując się metapromptem.
- Sędzia ocenia wersję człowieka i wersję modelu według tego schematu, nie wiedząc, która jest która.
- Optymalizator sprawdza, w jakich przypadkach wygrał model, i przeredagowuje metaprompt tak, aby następnym razem schematy oceny faworyzowały człowieka.
- Powtórz to kilka razy, wybierz metaprompt dający schematy oceny, które najsilniej preferują teksty napisane przez ludzi, i sprawdź go na tekstach niewykorzystanych w optymalizacji.
Jako teksty napisane przez ludzi wykorzystałem recenzowane artykuły naukowe (najpierw niedawne artykuły z dziedziny NLP z arXiv, a następnie artykuły z lat 2016-2021 z 9 dziedzin) oraz powieści z Project Gutenberg autorstwa laureatów Nagrody Nobla i Nagrody Pulitzera.
Modele, które wypróbowałem, według ról:
- Autor: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Generator schematów oceny: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Sędzia: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, z MiMo-V2.6-Pro jako drugim sędzią w jednym z przebiegów
- Optymalizator: Kimi K2.6, MiMo-V2.6-Flash
Przeprowadziłem też kilka rund zmian w promptach i 3 razy powtórzyłem optymalizację, zaczynając od najlepszego dotąd promptu, żeby sprawdzić, jak duża jest zmienność wyników.
W żadnej z tych prób nie udało mi się odtworzyć wyniku. Po kilku rundach optymalizacji schematy oceny nadal nie preferowały konsekwentnie tekstów pisanych przez ludzi. W przypadku artykułów z arXiv zoptymalizowane schematy oceny zmniejszały różnicę, ale nigdy nie odwróciły jej kierunku. W przypadku beletrystyki schematy oceny już przed optymalizacją nieznacznie preferowały człowieka, a optymalizacja przesunęła je w stronę modelu.
Jakie wnioski wyciągnąłem
- Zoptymalizowane schematy oceny konsekwentnie zmniejszały różnicę w przypadku artykułów naukowych, ale nigdy nie wykazywały trwałej preferencji dla tekstów napisanych przez ludzi.
- Mój naiwny, początkowy prompt (przygotowany przez Opus 5.5) od początku preferował beletrystykę pisaną przez ludzi. Nie sądzę, żeby dało się na tej podstawie wyciągać ogólne wnioski o modelach Anthropic, ale to kolejna anegdota przemawiająca za tym, że Opus ma lepszy „gust”.
- Trudno powiedzieć, czym moja konfiguracja różni się od oryginalnej i co uniemożliwia odtworzenie wyniku. Być może chodzi o jakość dostawcy modelu (korzystałem z dostawcy oferującego Kimi K2.6 w wersji skwantyzowanej do fp8); nie przyglądałem się też uważnie jakości dostawców pozostałych modeli.
🤷