nội dung
Bài blog Loại bỏ văn rác khỏi AI của Meta đề xuất một phương pháp RL mới giúp giảm lượng "văn rác" mà LLM tạo ra khi viết.
(1) trước tiên thu thập các ví dụ về văn bản do con người viết có chất lượng cao nhất, rồi
(2) học cách đánh giá của LLM thông qua các bộ tiêu chí chấm những văn bản do chuyên gia viết đó cao điểm hơn văn bản do mô hình tạo ra; và
(3) thực hiện RL dựa trên các bộ tiêu chí đã học được.
...
Phương pháp học bộ tiêu chí của chúng tôi, có tên là eXpert Aligned Rubrics (XAR), rất đơn giản:
Xác định các ví dụ về văn bản do con người viết có chất lượng vượt xa mức trung bình / ở trình độ chuyên gia, rồi chia thành phần ngữ cảnh và phần viết tiếp. Với cùng ngữ cảnh, dùng mô hình tạo ra các phần viết tiếp để đối chiếu, mà chúng tôi dự đoán sẽ có chất lượng viết kém hơn (tức là văn rác). Dữ liệu trên tạo thành các cặp dùng để học, trong đó văn bản của con người phải được chấm điểm cao hơn. Sau đó, dữ liệu huấn luyện này được dùng để học cách tạo ra các bộ tiêu chí giúp tối đa hóa khoảng cách điểm số giữa con người và mô hình. Tiếp đó, để huấn luyện một mô hình viết tốt hơn bằng học tăng cường (RL-XAR) với các bộ tiêu chí này, chúng tôi lặp lại các bước sau:
Học các bộ tiêu chí XAR nhằm tối đa hóa khoảng cách giữa con người và mô hình hiện tại, như mô tả ở trên. Tiến hành học tăng cường trên một tập huấn luyện bằng các bộ tiêu chí đã học được. Lặp lại quy trình từ bước 1 cho đến khi việc học bộ tiêu chí không còn xác định được khoảng cách (tức là chúng tôi không còn phát hiện được văn rác từ mô hình).
Tôi đã dành khoảng một tuần để thử tái lập phần "Khảo sát thực nghiệm ban đầu" đó, nhưng không thành công. Mã nguồn, các prompt và toàn bộ nhật ký nằm trong meta-rlxar-reproduction.
Những gì tôi đã thử
Tôi đã bám sát quy trình phác thảo trong bài blog hết mức có thể. Vòng lặp diễn ra như sau:
- Lấy một văn bản hay do con người viết và giấu đi một phần: một mục trong bài báo khoa học hoặc đoạn tiếp theo của một cuốn tiểu thuyết.
- Một mô hình đóng vai người viết được xem phần còn lại rồi viết phiên bản riêng của phần bị giấu.
- Một mô hình tạo bộ tiêu chí viết bộ tiêu chí đánh giá cho phần đó, theo hướng dẫn của một meta prompt.
- Một giám khảo chấm điểm phiên bản của con người và phiên bản của mô hình theo bộ tiêu chí đó mà không biết phiên bản nào là của ai.
- Một bộ tối ưu hóa xem xét những trường hợp mô hình thắng, rồi viết lại meta prompt để lần sau các bộ tiêu chí ưu tiên con người.
- Lặp lại vài lần, chọn meta prompt tạo ra các bộ tiêu chí ưu tiên văn bản của con người nhiều nhất, rồi kiểm tra nó trên những văn bản được dành riêng để đánh giá.
Với văn bản do con người viết, tôi dùng các bài báo khoa học đã qua bình duyệt (ban đầu là các bài báo NLP gần đây trên arXiv, sau đó là các bài báo từ năm 2016-2021 thuộc 9 lĩnh vực) và tiểu thuyết trên Project Gutenberg của các tác giả đoạt giải Nobel và Pulitzer.
Các mô hình tôi đã thử, theo từng vai trò:
- Người viết: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Mô hình tạo bộ tiêu chí: Muse Spark 1.1, Muse Spark 1.3, MiMo-V2.6-Pro
- Giám khảo: Muse Spark 1.1, Muse Spark 1.3, Qwen3.8 Flash, với MiMo-V2.6-Pro làm giám khảo thứ hai trong một lần chạy
- Bộ tối ưu hóa: Kimi K2.6, MiMo-V2.6-Flash
Tôi cũng chỉnh sửa prompt qua vài vòng và chạy lại quá trình tối ưu hóa 3 lần, bắt đầu từ prompt tốt nhất có được đến lúc đó, để xem kết quả biến động đến mức nào.
Không cách nào tái lập được kết quả. Sau vài vòng tối ưu hóa, các bộ tiêu chí vẫn chưa bao giờ thể hiện sự ưu tiên ổn định dành cho người viết. Với các bài báo trên arXiv, những bộ tiêu chí đã tối ưu hóa thu hẹp được phần nào khoảng cách nhưng chưa bao giờ đảo ngược được kết quả. Với văn học hư cấu, các bộ tiêu chí vốn đã hơi ưu tiên con người trước khi tối ưu hóa, còn quá trình tối ưu hóa lại đẩy chúng về phía mô hình.
Những điều tôi rút ra
- Các bộ tiêu chí đã tối ưu hóa thu hẹp khoảng cách một cách nhất quán với các bài báo khoa học, nhưng chưa bao giờ tạo ra sự ưu tiên ổn định dành cho con người.
- Prompt ban đầu đơn giản của tôi (do Opus 5.5 soạn) đã ưu tiên văn hư cấu do con người viết ngay từ đầu. Tôi không nghĩ từ đó có thể khái quát được điều gì về các mô hình của Anthropic, nhưng đây là thêm một quan sát riêng lẻ ủng hộ nhận định rằng Opus có "gu" hơn.
- Khó nói hệ thống thử nghiệm của tôi khác ở đâu và những khác biệt nào đang khiến tôi không tái lập được kết quả. Có thể là chất lượng từ phía nhà cung cấp mô hình (tôi dùng dịch vụ cung cấp bản Kimi K2.6 lượng tử hóa fp8), và tôi cũng không chú ý kỹ đến chất lượng từ phía nhà cung cấp của các mô hình khác.
🤷