Makalah ini dari Stanford dan Harvard menjelaskan mengapa sebagian besar sistem “AI agensi” terasa mengesankan dalam demo dan kemudian benar-benar runtuh saat digunakan di dunia nyata.

Ini disebut “Adaptasi AI Agensi” dan ini adalah makalah terpenting yang saya baca sepanjang tahun ini.
Saat ini, semua orang terobsesi membangun agen otonom. Kami memberinya alat, memori, dan sebuah tujuan, dan mengharapkan mereka melakukan pekerjaan kita.
Tetapi saat diterapkan di dunia nyata, mereka mengalami halusinasi panggilan alat. Mereka gagal dalam perencanaan jangka panjang. Mereka rusak.
Inilah sebabnya:
Kami mencoba memasukkan semua pembelajaran ke dalam otak AI.
Ketika pengembang mencoba memperbaiki agen yang rusak, mereka biasanya hanya melakukan fine-tuning pada model utama agar menghasilkan jawaban akhir yang lebih baik.
Para peneliti menemukan kekurangan fatal dalam pendekatan ini.
Jika Anda hanya memberi reward pada AI untuk mendapatkan jawaban akhir yang benar, AI menjadi malas.
AI secara harfiah belajar untuk berhenti menggunakan alatnya. Ia mencoba menebak jawaban alih-alih melakukan pekerjaan tersebut. Ia mengabaikan kalkulator dan mencoba melakukan matematika di dalam kepala.
Untuk memperbaikinya, para peneliti memetakan kerangka kerja baru yang terdiri dari 4 bagian tentang bagaimana agen seharusnya benar-benar belajar.
Dan poin terpenting sepenuhnya membalikkan meta saat ini.
Alih-alih terus-menerus melatih ulang “otak” besar dan mahal dari agen, sistem yang paling andal melakukan sebaliknya.
Mereka membekukan otak tersebut. Dan mereka menyesuaikan alat-alatnya.
Mereka menyebutnya Adaptasi Alat Pengawasan Agen. #GateSquareAprilPostingChallenge