AI Agent 已可獨立重現複雜學術論文:Mollick 稱錯誤多在人類原文而非 AI

鏈新聞abmedia

賓州華頓商學院教授 Ethan Mollick 於 4/25 的 X 平台貼文提出一個對學術界具強烈衝擊的觀察:當前的 AI agent 已經能在沒有原始論文與沒有原始碼的情況下,僅憑公開的方法描述與資料,獨立重現複雜的學術研究結果。Mollick 進一步指出,這些 AI 重現的版本與原論文有出入時,「錯誤往往出在人類論文本身,而非 AI」。這是科研可重現性危機在生成式 AI 時代的一個實質轉折—過去需要昂貴人力才能進行的同行驗證,正在被 AI 大規模、低成本完成。

Claude 重現多篇論文,再以 GPT-5 Pro 雙重驗證

Mollick 在他的 OneUsefulThing 部落格與本次推文中,描述了他對 Claude 的具體實驗:把一篇學術論文交給 Claude,讓它打開存檔、整理檔案、把統計用的 STATA 程式碼自動轉換為 Python,再逐一執行論文中的所有發現。Claude 完成後,他再用 GPT-5 Pro 對同一份重現結果做第二輪檢查。多篇論文被以同樣的方式測試,結果普遍成功,僅在資料檔案過大或原始 replication data 本身有問題時受阻。

對學術界而言,這個流程過去通常需要研究助理花費數週甚至數月。Mollick 描述的時間規模是一個下午到一天,且運行成本只有商用 LLM API 的 token 費用。

錯誤多在人類原文,不是 AI

更具爭議性的是 Mollick 對「誰錯了」的判斷。他在推文中明言,當 AI 重現結果與原論文不一致時,多數情況不是 AI 弄錯,而是原論文有資料處理錯誤、模型誤用、或結論超出資料支撐的範圍。心理學、行為經濟學、管理學等社會科學近十年內已出現多次重大可重現性危機事件,最有名的是 2015 年 Open Science Collaboration 的大型重現研究,僅約 36% 的心理學論文結果能被獨立重現。AI agent 把這個檢驗過程從「需要人力配比」推到「可被普遍執行」的邊界。

學會仍禁 AI 入審稿,制度落後技術

Mollick 在另一則 4/25 推文中具體點名其所屬領域最大的學會 Academy of Management 仍明文禁止 AI 進入論文審稿流程。他引用既有研究指出,AI 審稿在準確度、一致性與偏見控制上已優於部分傳統人類審稿人,因此「禁止」這個立場可能反向加重既有審稿系統的失靈。這種制度與技術之間的落差,是接下來 1–2 年學術出版界、學會與資助機構都必須面對的政策議題。

對讀者而言,這場辯論並非局限於學界。當 AI agent 能即時驗證研究發現,產業界的研究引用、政策報告、財務決策中的學術根據,將進入一個「結論是否承受得住獨立 AI 重現」的新檢驗門檻。對應 Mollick 在另一則推文的補充,他認為政府是唯一能在工具強度持續上升時為這個檢驗機制定錨的單位—而政策設計的複雜度,將同步成為 AI 治理討論中相對被忽視的一條主軸。

這篇文章 AI Agent 已可獨立重現複雜學術論文:Mollick 稱錯誤多在人類原文而非 AI 最早出現於 鏈新聞 ABMedia。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

研究人員部署 DPN-LE 技術以編輯 AI 性格特徵,僅編輯 0.5% 的神經元

根據 BlockBeats 的說法,5 月 3 日,AI 研究員 Brian Roemmele 透露,他的 Zero-Human 公司已部署 DPN-LE(雙重人格神經元定位與編輯)技術,以精準調整

GateNews7小時前

AI 代理 Manfred 設立公司,著手準備加密錢包在 5 月底前開始交易

AI 代理 Manfred 已成立其自家公司,並取得一個加密貨幣錢包與商業憑證,包括能夠雇用員工與進行付款。該代理預計將在年底前開始進行加密貨幣交易

GateNews7小時前

Tether 執行長提議整合 WDK 與 QVAC 以支援代理卡(Agent Cards)

根據 Foresight News,Tether 執行長 Paolo Ardoino 於 X 上表示,穩定幣發行商可能需要推進 WDK 與 QVAC 之間的整合,以支援 Agent Cards 功能。

GateNews10小時前

Particle Network 發布通用帳戶路線圖,推出通用存款 SDK 與 AI 代理帳戶

根據 ChainCatcher,Particle Network 今天發布了 Universal Accounts 的下一階段路線圖,並在未來幾個月推出兩款新產品:Universal Deposit SDK,讓開發者能以約 10 行程式碼新增跨鏈存款,以及 Universal Agent Accounts,

GateNews11小時前

OpenAI 允許 ChatGPT 訂閱在代理平台 OpenClaw 上運作

根據 OpenAI 執行長 Sam Altman 在 5 月 2 日的說法,ChatGPT 使用者現在可以使用他們的 ChatGPT 帳號登入代理平台 OpenClaw,並直接在該平台上使用其既有的 ChatGPT 訂閱。

GateNews13小時前

AI 代理 Manfred 成立公司,準備於 5 月底前進行加密貨幣交易

AI 代理 Manfred 已成立自己的公司,並取得加密貨幣錢包以及憑證,以雇用人員、進行付款並開展業務。該代理計劃在年末之前開始進行加密貨幣交易,並

GateNews13小時前
留言
0/400
暫無留言