contenu
Le billet Débarrasser l’IA du slop de Meta propose une nouvelle méthode d’apprentissage par renforcement qui réduit la quantité de « slop » produite par un LLM dans ses textes.
(1) commencer par recueillir des exemples de textes de la plus haute qualité rédigés par des humains, puis
(2) apprendre aux LLM à porter des jugements au moyen de grilles d’évaluation qui attribuent à ces textes d’experts des notes plus élevées qu’aux textes générés par les modèles ; et
(3) effectuer un apprentissage par renforcement à partir des grilles apprises.
...
Notre approche d’apprentissage des grilles d’évaluation, appelée eXpert Aligned Rubrics (XAR), est simple :
Repérer des exemples de textes humains d’un niveau largement supérieur à la moyenne ou rédigés par des experts, et les scinder en un contexte et une suite. Générer, à partir du même contexte, des suites concurrentes produites par des modèles, dont nous nous attendons à ce qu’elles soient de moindre qualité rédactionnelle (c’est-à-dire du slop). Les données ci-dessus forment des paires d’apprentissage, dans lesquelles les humains doivent obtenir des notes plus élevées. Ces données d’entraînement sont ensuite utilisées pour apprendre à générer des grilles d’évaluation qui maximisent l’écart de notation entre les humains et les modèles. Ensuite, pour entraîner un modèle à mieux écrire par apprentissage par renforcement (RL-XAR) à l’aide de ces grilles, nous répétons les étapes suivantes :
Apprendre des grilles XAR qui maximisent l’écart entre les humains et le modèle actuel, comme décrit ci-dessus. Effectuer un apprentissage par renforcement sur un jeu d’entraînement à l’aide des grilles apprises. Répéter la procédure à partir de l’étape 1 jusqu’à ce que l’apprentissage des grilles ne permette plus de mettre en évidence un écart (c’est-à-dire que nous ne puissions plus repérer de slop dans les productions du modèle).
J’ai passé environ une semaine à essayer de reproduire cette « étude empirique initiale », sans y parvenir. Le code, les prompts et le journal complet se trouvent dans meta-rlxar-reproduction.
Ce que j’ai essayé
J’ai suivi la démarche décrite dans le billet aussi fidèlement que possible. La boucle se déroule ainsi :
- Prendre un texte de qualité rédigé par un humain et en masquer une partie : une section d’article scientifique ou le passage suivant d’un roman.
- Un modèle rédacteur voit le reste et rédige sa propre version de la partie masquée.
- Un générateur de grilles d’évaluation rédige une grille pour cette partie, guidé par un méta-prompt.
- Un juge note la version humaine et celle du modèle selon la grille, sans savoir laquelle est laquelle.
- Un optimiseur examine les cas où le modèle l’a emporté et réécrit le méta-prompt pour que les grilles favorisent l’humain la fois suivante.
- Répéter quelques fois, choisir le méta-prompt qui produit les grilles privilégiant le plus les textes humains, puis le tester sur des textes réservés à l’évaluation.
Pour les textes humains, j’ai utilisé des articles scientifiques évalués par les pairs (d’abord des articles récents d’arXiv en traitement automatique des langues, puis des articles de 2016 à 2021 couvrant 9 disciplines), ainsi que des romans de Project Gutenberg écrits par des lauréats des prix Nobel et Pulitzer.
Les modèles que j’ai essayés, par rôle :
- Rédacteur : Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Générateur de grilles d’évaluation : Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Juge : Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, avec MiMo-V2.6-Pro comme second juge lors d’un essai
- Optimiseur : Kimi K2.6, MiMo-V2.6-Flash
J’ai aussi modifié les prompts à plusieurs reprises et relancé l’optimisation 3 fois à partir du meilleur prompt obtenu jusque-là pour voir à quel point les résultats variaient.
Rien de tout cela n’a permis de reproduire le résultat. Après plusieurs cycles d’optimisation, les grilles n’ont jamais préféré les auteurs humains de façon fiable. Pour les articles arXiv, les grilles optimisées ont réduit en partie l’écart, sans jamais l’inverser. Pour la fiction, les grilles préféraient déjà légèrement l’humain avant l’optimisation, et celle-ci les a au contraire poussées vers le modèle.
Ce que j’en retiens
- Les grilles optimisées ont réduit l’écart de façon fiable sur les articles scientifiques, sans jamais produire de préférence stable pour l’humain.
- Mon prompt initial, naïf (rédigé par Opus 5.5), privilégiait dès le départ la fiction écrite par des humains. Je ne pense pas qu’on puisse en tirer une conclusion générale sur les modèles d’Anthropic, mais c’est une anecdote de plus qui suggère qu’Opus a davantage de « goût ».
- Il est difficile de déterminer quelles différences dans ma configuration empêchent de reproduire le résultat. Peut-être la qualité du fournisseur de modèles (j’ai utilisé un fournisseur proposant Kimi K2.6 quantifié en fp8), et je n’ai pas prêté beaucoup d’attention à la qualité des fournisseurs des autres modèles.
🤷