isi
Artikel blog Unslopping AI dari Meta mengusulkan metode RL baru yang mengurangi jumlah "slop" dalam tulisan yang dihasilkan LLM.
(1) pertama-tama mengumpulkan contoh teks tulisan manusia dengan kualitas tertinggi, lalu
(2) mempelajari penilaian LLM melalui rubrik yang memberi teks para ahli tersebut skor lebih tinggi daripada teks yang dihasilkan model; dan
(3) menjalankan RL dengan rubrik yang telah dipelajari.
...
Pendekatan kami untuk mempelajari rubrik, yang disebut eXpert Aligned Rubrics (XAR), sederhana:
Identifikasi contoh tulisan manusia yang kualitasnya jauh di atas rata-rata / ditulis oleh ahli, lalu bagi menjadi konteks dan kelanjutannya. Hasilkan kelanjutan tandingan menggunakan model dengan konteks yang sama, yang kami perkirakan kualitas tulisannya lebih buruk (yaitu, slop). Data di atas membentuk pasangan untuk pembelajaran, dengan tulisan manusia yang seharusnya mendapat skor lebih tinggi. Data pelatihan ini kemudian digunakan untuk belajar menghasilkan rubrik yang memaksimalkan selisih skor antara tulisan manusia dan tulisan model. Lalu, untuk melatih model agar lebih baik dalam menulis melalui reinforcement learning (RL-XAR) menggunakan rubrik ini, kami mengulangi langkah-langkah berikut:
Pelajari rubrik XAR yang memaksimalkan selisih antara tulisan manusia dan model saat ini, seperti yang dijelaskan di atas. Jalankan reinforcement learning pada kumpulan data pelatihan menggunakan rubrik yang telah dipelajari. Ulangi prosedur dari langkah 1 sampai pembelajaran rubrik tidak lagi dapat mengidentifikasi selisih (yaitu, kami tidak lagi dapat mengidentifikasi slop dalam tulisan model).
Saya menghabiskan sekitar seminggu untuk mencoba mereplikasi "Investigasi Empiris Awal" itu, tetapi tidak berhasil. Kode, prompt, dan log lengkapnya ada di meta-rlxar-reproduction.
Yang saya coba
Saya mengikuti garis besar dalam artikel blog itu sedekat mungkin. Siklusnya seperti ini:
- Ambil tulisan manusia yang bagus dan sembunyikan sebagian isinya: satu bagian makalah atau bagian berikutnya dari sebuah novel.
- Model penulis melihat bagian yang tersisa dan menulis versinya sendiri untuk bagian yang disembunyikan.
- Pembuat rubrik menulis rubrik untuk bagian itu, dengan panduan sebuah meta prompt.
- Penilai memberi skor pada versi manusia dan versi model berdasarkan rubrik tersebut, tanpa mengetahui mana yang ditulis manusia dan mana yang ditulis model.
- Pengoptimal memeriksa kasus ketika model menang, lalu menulis ulang meta prompt agar rubrik lebih mengunggulkan tulisan manusia pada percobaan berikutnya.
- Ulangi beberapa kali, pilih meta prompt yang menghasilkan rubrik dengan preferensi terkuat terhadap tulisan manusia, lalu uji pada tulisan yang disisihkan untuk pengujian.
Untuk tulisan manusia, saya menggunakan makalah yang telah ditinjau sejawat (mula-mula makalah NLP terbaru di arXiv, lalu makalah dari tahun 2016-2021 di 9 bidang) serta novel dari Project Gutenberg karya para pemenang Nobel dan Pulitzer.
Model yang saya coba, berdasarkan perannya:
- Penulis: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Pembuat rubrik: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Penilai: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, dengan MiMo-V2.6-Pro sebagai penilai kedua dalam salah satu percobaan
- Pengoptimal: Kimi K2.6, MiMo-V2.6-Flash
Saya juga melakukan beberapa putaran perubahan prompt, lalu menjalankan ulang optimasi 3 kali dengan prompt terbaik sejauh itu sebagai titik awal untuk melihat seberapa besar variasi hasilnya.
Tak satu pun berhasil mereplikasi hasil tersebut. Setelah beberapa putaran optimasi, rubrik tidak pernah secara konsisten lebih mengunggulkan penulis manusia. Pada makalah arXiv, rubrik yang dioptimalkan mengurangi selisih itu sampai batas tertentu, tetapi tidak pernah membalikkan preferensinya. Pada fiksi, rubrik sudah sedikit lebih mengunggulkan tulisan manusia sebelum dioptimalkan, dan optimasi justru menggeser preferensinya ke arah model.
Pelajaran yang saya petik
- Rubrik yang dioptimalkan secara konsisten mempersempit selisih pada makalah, tetapi tidak pernah menghasilkan preferensi yang stabil terhadap tulisan manusia.
- Prompt awal saya yang naif (disusun oleh Opus 5.5) sudah lebih mengunggulkan fiksi yang ditulis manusia sejak awal. Saya rasa ini tidak bisa digeneralisasi menjadi kesimpulan apa pun tentang model-model Anthropic, tetapi ini menambah satu anekdot yang mendukung anggapan bahwa Opus memiliki "selera yang lebih baik".
- Sulit memastikan bagian mana dari konfigurasi saya yang berbeda dan menghalangi replikasi. Mungkin karena kualitas penyedia model (saya menggunakan penyedia yang menyajikan Kimi K2.6 dengan kuantisasi fp8), dan saya tidak terlalu memperhatikan kualitas penyedia model-model lain.
🤷