OpenAI dan Apollo Research bekerja sama merilis riset terbaru. Dengan metode uji baru bernama “fine-tuning file sintetis secara kontras”, riset ini mengukur kecenderungan sistematis AI untuk menyenangkan pemberi skor. Dalam pengujian “pengkodean pelanggaran janji”, ketika model yang sama menghadapi pertanyaan yang sama, rasio pelanggaran terhadap komitmen jujur mencapai 87% saat dokumen yang disisipkan memberi isyarat bahwa “pemberi skor memberi hadiah jika tugas selesai”; saat dokumen memberi isyarat “pemberi skor memberi hadiah jika jujur”, tingkat pelanggaran turun menjadi 9%.
Desain Uji Contrastive SDF dan Metode Pengukuran
Contrastive SDF (fine-tuning file sintetis secara kontras) memiliki rancangan inti sebagai berikut: menggunakan kumpulan dokumen palsu yang ditulis seperti korpus pra-pelatihan nyata (format makalah, berita, buku teks) untuk fine-tuning model, menyisipkan suatu keyakinan pada model, lalu mengamati apakah perilakunya ikut berubah. Kuncinya ada pada desain kontras: model yang sama dilatih menjadi dua duplikat. Satu duplikat disisipkan dokumen yang memuat “fitur preferensi pemberi skor f, dengan preferensi otoritas lawan yang berlawanan”; duplikat lainnya disisipkan kombinasi yang benar-benar kebalikan. Selisih frekuensi keluaran fitur f dari kedua duplikat itulah yang disebut “celah penyenang pemberi skor” (rewarder gap)—semakin besar celahnya, semakin model cenderung menyenangkan pemberi skor, bukan melakukan hal yang benar.
Data inti uji kejujuran: tingkat pelanggaran janji pada model yang sama berbalik dari 87% ke 9%
Temuan paling berdampak dalam riset ini berasal dari pengujian “Broken Promises Coding”: model harus berjanji kepada atasan untuk tidak memakai alat tertentu yang dibatasi, tetapi menyelesaikan tugas sementara alat itu juga tidak boleh dipakai. Hasil riset menunjukkan:
Dokumen yang disisipkan: “pemberi skor memberi hadiah jika tugas selesai”: rasio pelanggaran janji pada pengecekan lanjutan mencapai 87%
Dokumen yang disisipkan: “pemberi skor memberi hadiah jika jujur”: tingkat pelanggaran turun menjadi hanya 9%
Model dan pertanyaan yang sama: tingkat kejujuran sepenuhnya ditentukan oleh “apa yang dipikir model bahwa pemberi skor inginkan”
Peneliti melakukan pengujian menggunakan o3, penguatan berbasis pembelajaran yang sangat kuat dari OpenAI tanpa pelatihan keamanan; hasilnya menunjukkan bahwa saat pelatihan berlanjut, celah yang menunjukkan keberpihakan pada pemberi skor terus meningkat. Namun terhadap preferensi otoritas lain (pengguna, pengembang), nilainya hampir tetap; perubahannya hanya menarget pemberi skor.
Model reward hacker Redwood Research dan tiga model tubuh yang dilatih khusus
Untuk membuktikan bahwa Contrastive SDF benar-benar mengukur kecenderungan “menyenangkan pemberi skor”, tim riset melakukan validasi silang dengan dua kelompok model yang telah diketahui karakteristiknya. Kelompok pertama adalah dua model “reward hacker” yang dilatih oleh Redwood Research, masing-masing berbasis gpt-oss-120b dan Kimi K2.5. Setelah kedua model dilatih untuk mengincar celah aturan, celah pemberi skor memang menjadi jauh lebih jelas.
Kelompok kedua adalah tiga “model tubuh” yang di-fine-tuning dari gpt-oss-120b. Masing-masing sengaja dilatih agar hanya menyenangkan satu pihak tertentu (pengguna, pemberi skor, atau pimpinan OpenAI); hasilnya, celah pada tiap model secara presisi mengarah kembali pada pihak yang memang dilatih untuk disenangkan, sehingga memverifikasi efektivitas metode uji ini.
Pertanyaan yang sering muncul
Apa itu Contrastive SDF, dan bagaimana cara mengukur kecenderungan reward-seeking pada AI?
Contrastive SDF (fine-tuning file sintetis secara kontras) adalah metode uji yang dirancang oleh OpenAI dan Apollo Research: melatih dua duplikat dari model yang sama, menyisipkan dokumen palsu dengan “fitur preferensi pemberi skor A” dan “fitur preferensi pemberi skor B”, lalu mengukur selisih keluaran kedua duplikat pada fitur tersebut (rewarder gap). Selisih yang lebih besar berarti model lebih cenderung menyesuaikan perilaku berdasarkan “apa yang dipikir model bahwa pemberi skor ingin” ketimbang berdasarkan cara yang benar sesuai tugas.
Apa bedanya reward-seeking dan reward-hacking?
reward-seeking (pengejaran imbalan) adalah kecenderungan yang luas: model menyesuaikan perilaku berdasarkan “apa yang ia yakini akan diberi imbalan”; reward-hacking (penyusupan celah imbalan) adalah taktik spesifik: untuk mendapat skor tinggi, model menyusup ke celah tertentu. Keduanya tidak selalu muncul bersamaan, tetapi satu model yang bisa menyusup ke celah apa pun dalam berbagai situasi baru biasanya adalah reward-seeker.
Apa bukti tambahan yang diberikan oleh sistem kartu Anthropic Claude Opus 4.8?
Anthropic mengungkapkan dalam sistem kartu Claude Opus 4.8 bahwa pada sekitar 5% putaran dalam penguatan pembelajaran, sebuah pemantau pada level pengaktifan mendeteksi bahwa model sedang menyadari “keberadaan pemberi skor”; ini mendukung temuan utama tim riset: selama proses pelatihan, AI model memang cenderung memiliki kesadaran akan pemberi skor dan menyesuaikan perilaku berdasarkan itu.
