contenido
El artículo Eliminar el «slop» de la IA de Meta propone un nuevo método de RL que reduce la cantidad de «slop» que produce un LLM al escribir.
(1) primero, recopilar ejemplos de textos de la máxima calidad escritos por personas, y después
(2) aprender a evaluar con LLM mediante rúbricas que puntúen esos textos de expertos por encima de los generados por modelos; y
(3) aplicar RL con las rúbricas aprendidas.
...
Nuestro enfoque para aprender rúbricas, llamado eXpert Aligned Rubrics (XAR), es sencillo:
Identificar ejemplos de escritura humana muy por encima de la media o de nivel experto, y dividirlos en contexto y continuación. Generar continuaciones alternativas con modelos a partir del mismo contexto, que esperamos que tengan una calidad de escritura inferior (es decir, slop). Estos datos forman pares de aprendizaje en los que los textos humanos deberían recibir puntuaciones más altas. Estos datos de entrenamiento se utilizan después para aprender a generar rúbricas que maximicen la diferencia de puntuación entre humanos y modelos. Después, para entrenar un modelo a escribir mejor mediante aprendizaje por refuerzo (RL-XAR) con estas rúbricas, repetimos los siguientes pasos:
Aprender rúbricas XAR que maximicen la diferencia entre los humanos y el modelo actual, como se ha descrito anteriormente. Aplicar aprendizaje por refuerzo a un conjunto de entrenamiento usando las rúbricas aprendidas. Repetir el procedimiento desde el paso 1 hasta que el aprendizaje de rúbricas ya no pueda identificar una diferencia (es decir, hasta que ya no podamos identificar slop en el modelo).
Dediqué aproximadamente una semana a intentar reproducir esa «investigación empírica inicial», y no lo conseguí. El código, los prompts y el registro completo están en meta-rlxar-reproduction.
Lo que probé
Seguí el esquema del artículo tan de cerca como pude. El ciclo es así:
- Tomar un buen texto escrito por una persona y ocultar una parte: una sección de un artículo científico o el siguiente pasaje de una novela.
- Un modelo escritor ve el resto y escribe su propia versión de la parte oculta.
- Un generador de rúbricas escribe una rúbrica para esa parte, guiado por un metaprompt.
- Un juez puntúa la versión humana y la del modelo según la rúbrica, sin saber cuál es cuál.
- Un optimizador examina los casos en los que ganó el modelo y reescribe el metaprompt para que las rúbricas favorezcan al humano la próxima vez.
- Repetir unas cuantas veces, elegir el metaprompt que genere las rúbricas con mayor preferencia por la escritura humana y comprobarlo con textos reservados para la evaluación.
Para los textos humanos, utilicé artículos científicos revisados por pares (primero, artículos recientes de NLP de arXiv; después, artículos de 2016 a 2021 de 9 campos) y novelas de Project Gutenberg escritas por ganadores de los premios Nobel y Pulitzer.
Los modelos que probé, por función:
- Escritor: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Generador de rúbricas: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Juez: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, con MiMo-V2.6-Pro como segundo juez en una de las ejecuciones
- Optimizador: Kimi K2.6, MiMo-V2.6-Flash
También hice varias rondas de cambios en los prompts y volví a ejecutar la optimización 3 veces a partir del mejor prompt hasta ese momento para ver cuánto variaba.
Nada de esto permitió reproducir el resultado. Tras varias rondas de optimización, las rúbricas nunca mostraron una preferencia fiable por los autores humanos. En los artículos de arXiv, las rúbricas optimizadas redujeron parte de la diferencia, pero nunca invirtieron la preferencia. En la ficción, las rúbricas ya mostraban una ligera preferencia por los humanos antes de la optimización, y esta las inclinó hacia el modelo.
Lo que saqué en claro
- Las rúbricas optimizadas redujeron de forma sistemática la diferencia en los artículos científicos, pero nunca generaron una preferencia estable por los humanos.
- Mi ingenuo prompt inicial (redactado por Opus 5.5) mostraba preferencia por la ficción escrita por humanos desde el principio. No creo que esto permita sacar conclusiones generales sobre los modelos de Anthropic, pero es otra anécdota que apunta a que Opus tiene «mejor gusto».
- Es difícil saber en qué difiere mi configuración y qué está impidiendo reproducir el resultado. Tal vez se deba a la calidad del proveedor del modelo (utilicé un proveedor que ofrecía Kimi K2.6 cuantizado en fp8), y no presté mucha atención a la calidad de los proveedores de otros modelos.
🤷