contenuto
Il post Eliminare lo slop dall'IA sul blog di Meta propone un nuovo metodo di RL che riduce la quantità di "slop" prodotta da un LLM nei suoi testi.
(1) prima raccogliere esempi di testi della massima qualità scritti da esseri umani, e poi
(2) apprendere i giudizi degli LLM tramite griglie di valutazione che assegnino a quei testi di esperti punteggi più alti rispetto ai testi generati dai modelli; e
(3) eseguire RL usando le griglie apprese.
...
Il nostro approccio all'apprendimento delle griglie di valutazione, chiamato eXpert Aligned Rubrics (XAR), è semplice:
Individuare esempi di scrittura umana di livello nettamente superiore alla media / da esperti, suddividendoli in contesto e continuazione. Generare continuazioni concorrenti con i modelli a partire dallo stesso contesto, che ci aspettiamo siano di qualità inferiore (cioè, slop). Questi dati formano coppie per l'apprendimento, in cui gli esseri umani dovrebbero ottenere punteggi più alti. Questi dati di addestramento vengono poi usati per imparare a generare griglie di valutazione che massimizzino il divario di punteggio tra esseri umani e modelli. Poi, per addestrare un modello a scrivere meglio tramite l'apprendimento per rinforzo (RL-XAR) usando queste griglie, ripetiamo i seguenti passaggi:
Apprendere griglie XAR che massimizzino il divario tra gli esseri umani e il modello corrente, come descritto sopra. Eseguire l'apprendimento per rinforzo su un set di addestramento usando le griglie apprese. Ripetere la procedura dal passaggio 1 finché l'apprendimento delle griglie non permette più di individuare un divario (cioè, finché non riusciamo più a individuare slop nel modello).
Ho passato circa una settimana a cercare di riprodurre quell'"Indagine empirica iniziale", senza riuscirci. Il codice, i prompt e il log completo sono in meta-rlxar-reproduction.
Cosa ho provato
Ho seguito lo schema del post il più fedelmente possibile. Il ciclo funziona così:
- Prendere un buon testo scritto da una persona e nasconderne una parte: una sezione di un articolo scientifico o il passaggio successivo di un romanzo.
- Un modello scrittore vede il resto e scrive la propria versione della parte nascosta.
- Un generatore di griglie di valutazione scrive una griglia per quella parte, guidato da un meta-prompt.
- Un giudice assegna un punteggio alla versione umana e a quella del modello in base alla griglia, senza sapere quale sia l'una e quale l'altra.
- Un ottimizzatore esamina i casi in cui il modello ha vinto e riscrive il meta-prompt in modo che, la volta successiva, le griglie favoriscano la versione umana.
- Ripetere alcune volte, scegliere il meta-prompt che produce le griglie con la maggiore preferenza per la scrittura umana e verificarlo su testi riservati alla valutazione.
Per i testi umani ho usato articoli sottoposti a revisione paritaria (prima articoli recenti di NLP su arXiv, poi articoli del periodo 2016-2021 in 9 discipline) e romanzi di Project Gutenberg scritti da vincitori dei premi Nobel e Pulitzer.
I modelli che ho provato, suddivisi per ruolo:
- Scrittore: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Generatore di griglie di valutazione: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Giudice: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, con MiMo-V2.6-Pro come secondo giudice in una delle esecuzioni
- Ottimizzatore: Kimi K2.6, MiMo-V2.6-Flash
Ho anche modificato i prompt in più tornate e ho rieseguito l'ottimizzazione 3 volte a partire dal miglior prompt trovato fino a quel momento, per vedere quanto variassero i risultati.
Nessuno di questi tentativi ha riprodotto il risultato. Dopo diversi cicli di ottimizzazione, le griglie non hanno mai mostrato una preferenza affidabile per gli autori umani. Sugli articoli di arXiv, le griglie ottimizzate hanno ridotto in parte il divario, senza mai invertire la preferenza. Sulla narrativa, le griglie preferivano già leggermente la versione umana prima dell'ottimizzazione, che invece le ha spinte verso il modello.
Cosa ne ho ricavato
- Le griglie ottimizzate hanno ridotto in modo affidabile il divario sugli articoli scientifici, ma non hanno mai prodotto una preferenza stabile per la versione umana.
- Il mio ingenuo prompt iniziale (redatto da Opus 5.5) preferiva fin dall'inizio la narrativa scritta da esseri umani. Non penso che da questo si possa trarre alcuna conclusione generale sui modelli di Anthropic, ma è un altro aneddoto a sostegno dell'idea che Opus abbia più "gusto".
- È difficile dire in cosa la mia configurazione differisca e cosa impedisca di riprodurre il risultato. Potrebbe dipendere dalla qualità del provider del modello (ho usato un provider di Kimi K2.6 con quantizzazione fp8), e non ho prestato particolare attenzione alla qualità dei provider degli altri modelli.
🤷