içerik
Meta'nın Unslopping AI blog yazısı, bir LLM'nin yazılarında ürettiği "niteliksiz içerik" miktarını azaltan yeni bir RL yöntemi öneriyor.
(1) önce insanlar tarafından yazılmış en kaliteli metinlerden örnekler toplamak, ardından
(2) uzmanların yazdığı bu metinlere model üretimlerinden daha yüksek puan veren rubrikler aracılığıyla LLM değerlendirmelerini öğrenmek; ve
(3) öğrenilen rubriklerle RL uygulamak.
...
eXpert Aligned Rubrics (XAR) adını verdiğimiz rubrik öğrenme yaklaşımımız basittir:
İnsanların yazdığı, ortalamanın çok üzerinde / uzman düzeyindeki metinlerden örnekler belirleyip bunları bağlam ve devam bölümlerine ayırın. Aynı bağlamdan hareketle, daha kötü yazılmış olmasını beklediğimiz (yani niteliksiz içerik sayılabilecek) rakip model devamları üretin. Yukarıdaki veriler, insanların daha yüksek puan alması gereken öğrenme çiftleri oluşturur. Bu eğitim verileri daha sonra, insanlarla modeller arasındaki puan farkını en üst düzeye çıkaran rubrikler üretmeyi öğrenmek için kullanılır. Ardından, bu rubrikleri kullanarak bir modeli pekiştirmeli öğrenmeyle (RL-XAR) daha iyi yazması için eğitmek üzere şu adımları tekrarlarız:
Yukarıda açıklandığı gibi, insanlarla mevcut model arasındaki farkı en üst düzeye çıkaran XAR rubriklerini öğrenin. Öğrenilen rubrikleri kullanarak bir eğitim kümesi üzerinde pekiştirmeli öğrenme uygulayın. Rubrik öğrenimi artık bir fark tespit edemeyene kadar (yani modeldeki niteliksiz içeriği artık tespit edemeyene kadar) işlemi 1. adımdan itibaren tekrarlayın.
Söz konusu "İlk Ampirik İnceleme"yi yeniden üretmeye yaklaşık bir hafta ayırdım ve başaramadım. Kod, istemler ve tam günlük meta-rlxar-reproduction deposunda.
Neler denedim
Blog yazısında ana hatlarıyla anlatılan yöntemi elimden geldiğince yakından izledim. Döngü şöyle işliyor:
- İnsanların yazdığı iyi bir metinden bir parça alın ve bir kısmını gizleyin: bir makalenin bir bölümünü veya bir romanın bir sonraki pasajını.
- Bir yazar model, metnin geri kalanını görür ve gizlenen bölümün kendi sürümünü yazar.
- Bir rubrik üreticisi, bir meta istemin yönlendirmesiyle o bölüm için bir rubrik yazar.
- Bir hakem, hangisinin hangisi olduğunu bilmeden insanın ve modelin yazdığı sürümleri rubriğe göre puanlar.
- Bir optimizasyon modeli, modelin nerelerde kazandığına bakar ve bir dahaki sefere rubriklerin insanı tercih etmesini sağlayacak şekilde meta istemi yeniden yazar.
- Bunu birkaç kez tekrarlayın, insan yazısını en çok tercih eden rubrikleri üreten meta istemi seçin ve test için ayrılmış metinlerde sınayın.
İnsan yazısı örnekleri olarak hakem değerlendirmesinden geçmiş makaleleri (önce arXiv'deki yakın tarihli NLP makalelerini, ardından 9 farklı alandan 2016-2021 yıllarına ait makaleleri) ve Nobel ile Pulitzer ödüllü yazarların Project Gutenberg'deki romanlarını kullandım.
Rollerine göre denediğim modeller:
- Yazar: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Rubrik üreticisi: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Hakem: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash; bir çalıştırmada ikinci hakem olarak MiMo-V2.6-Pro
- Optimizasyon modeli: Kimi K2.6, MiMo-V2.6-Flash
Ayrıca birkaç tur istem değişikliği yaptım ve sonuçların ne kadar değiştiğini görmek için o ana kadarki en iyi istemden başlayarak optimizasyonu 3 kez yeniden çalıştırdım.
Bunların hiçbiri sonucu yeniden üretmedi. Birkaç optimizasyon turundan sonra bile rubrikler insan yazarları tutarlı biçimde tercih etmedi. arXiv makalelerinde optimize edilmiş rubrikler farkı bir miktar kapattı, ancak tercihi hiçbir zaman tersine çevirmedi. Kurmacada rubrikler optimizasyondan önce zaten insanı az farkla tercih ediyordu; optimizasyon ise onları modele yöneltti.
Çıkardığım sonuçlar
- Optimize edilmiş rubrikler makalelerdeki farkı tutarlı biçimde daralttı, ancak hiçbir zaman insan lehine istikrarlı bir tercih ortaya çıkarmadı.
- Başlangıçtaki basit istemim (taslağını Opus 5.5 hazırlamıştı), insanların yazdığı kurmaca metinleri en başından beri tercih ediyordu. Bundan Anthropic'in modelleri hakkında herhangi bir genelleme yapılabileceğini düşünmüyorum, ama Opus'un daha "zevk sahibi" olduğuna dair bir anekdot daha.
- Kurulumumun nerede farklılaştığını ve bunun sonucu yeniden üretmemi nasıl engellediğini söylemek zor. Model sağlayıcısının kalitesi etkili olabilir (Kimi K2.6'yı fp8'e nicemlenmiş biçimde sunan bir sağlayıcı kullandım); ayrıca diğer modellerin sağlayıcı kalitesine de pek dikkat etmedim.
🤷