这篇由斯坦福和哈佛共同发表的论文解释了为什么大多数“自主智能AI”系统在演示中令人印象深刻,但在实际使用中却完全崩溃。


它被称为“自主智能AI的适应”,也是我今年读过的最重要的论文。
目前,大家都沉迷于构建自主代理。我们为它们提供工具、记忆和目标,期望它们能完成我们的工作。
但在实际部署到现实世界时,它们会出现工具调用幻觉,无法进行长远规划,甚至崩溃。
原因如下:
我们试图将所有学习都塞进AI的大脑中。
当开发者试图修复一个出错的代理时,通常只是微调主模型以产生更好的最终答案。
研究人员在这种方法中发现了一个致命缺陷。
如果只奖励AI得到正确的最终答案,它就会变得懒惰。
它实际上学会了停止使用工具。它试图猜答案,而不是做实际的工作。它忽略了计算器,试图在脑海中算数学。
为了解决这个问题,研究人员提出了一套新的四部分框架,指导代理应如何真正学习。
而最大的启示彻底颠覆了当前的认知。
不是不断重新训练庞大而昂贵的“脑袋”,而是最可靠的系统采取相反的策略。
它们冻结“脑袋”,而调整工具。
他们称之为“代理监督工具适应”。
查看原文
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论