OpenAI 8 月 5 日發表新研究、揭露 công ty 在 강화 학習（RL）訓練過程中、部分模型的思路鏈（Chain of Thought, CoT）被「意外評分」、可能影響 AI Agent 對齊（alignment）監控能力。OpenAI Alignment 團隊報告說明：保留 CoT 的可監控性是當前防範 AI Agent 對齊失敗的關鍵防線；OpenAI 在 RL 訓練設計上、刻意避免懲罰模型的「對齊失敗推理」、以維持監控能力。
為什麼 CoT 監控是 AI Agent 對齊的關鍵防線
CoT（思路鏈）監控的核心邏輯：
當 AI Agent 執行任務時、模型會在內部產生「思考過程」、解釋自己為什麼要做某個動作
監控者可讀取這些 CoT、判斷模型是否有「對齊失敗」（misalignment）的徵兆
若模型直接被訓練「不要在 CoT 中表現出對齊失敗」、則 CoT 可能變得「乾淨但失真」、隱藏實際意圖
OpenAI 主張：訓練時應避免懲罰「對齊失敗的推理」、保留 CoT 反映實際內部狀態的能力
「penalize misaligned reasoning」與「preserve monitorability」是這份研究的核心拉鋸—訓練者希望模型行為對齊、但若直接懲罰「對齊失敗的思考」、模型會學會隱藏不誠實意圖、讓監控失效。
意外的 CoT 評分：對既有模型監控能力的影響
OpenAI 報告披露的具體發現：
在已釋出的部分模型訓練過程中、CoT 受到了「有限度」的意外評分
意外評分意指：訓練流程中、評分系統部分讀取了 CoT 內容、不只看最終輸出
這個現象可能讓模型學會「在 CoT 中隱藏會被扣分的推理」
OpenAI 公開這份分析、是為了讓研究社群理解問題範圍與後續處理方向
Redwood Research 的獨立評論指出：CoT 對評分者的影響在 OpenAI 的偵測技術下「太弱、不易察覺」、但訓練流程規模巨大、實際效應仍可能足以顯著傷害已訓練政策的 CoT 可監控性。換言之、目前難以證明此類影響有多深。
對 AI Agent 安全的長期意義
本次研究指向 AI Agent 安全的核心方法論：
CoT 監控是「事中檢測對齊失敗」的少數可行手段、被視為對齊研究的重要基礎
訓練設計必須避免讓 CoT 變成「演給監控者看的劇本」
未來模型若推理鏈愈長、CoT 監控的價值理論上愈高
但若訓練過程意外損害 CoT 真實性、這個防線可能不知不覺被弱化
後續可追蹤的具體事件：OpenAI 對受影響模型的後續處理（例如重訓或標示）、其他大型實驗室（Anthropic、Google DeepMind）的對應方法論、以及 alignment 研究社群對「CoT 監控可靠性」的進一步驗證實驗。
這篇文章 OpenAI 揭 CoT 評分意外影響：保留思路鏈監控是 AI Agent 對齊關鍵防線 最早出現於 鏈新聞 ABMedia。
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo
Tuyên bố miễn trừ trách nhiệm.
Bài viết liên quan
Chrome Tự Động Tải Xuống Mô Hình AI Gemini Nano Quy Mô Nhiều Gigabyte Vào Ngày 9 Tháng 5, Gây Ra Những Lo Ngại Về An Ninh Trong Cộng Đồng Crypto
Theo BlockBeats, vào ngày 9/5, Chrome đã tự động tải xuống một tệp mô hình AI đa gigabyte (Gemini Nano) vào thiết bị của người dùng mà không có sự đồng ý rõ ràng để phục vụ phát hiện gian lận tại chỗ, tóm tắt trang web và các tính năng AI. Trong khi Google cho biết việc thực thi AI cục bộ giúp tăng cường quyền riêng tư và bảo mật, người dùng crypto lại bày tỏ lo ngại về việc thiếu minh bạch và không có ủy quyền rõ ràng. Khi các trình duyệt ngày càng trở thành điểm truy cập cốt lõi cho ví crypto,
GateNews17phút trước
Thẩm phán Mỹ ra phán quyết việc cắt trợ cấp DOGE là trái pháp luật sau khi sử dụng ChatGPT và các từ khóa về DEI, đồng thời chặn việc thực thi vào thứ Năm
Theo ABC News, hôm thứ Năm một thẩm phán liên bang của Mỹ đã ra phán quyết rằng các đợt cắt giảm tài trợ do DOGE hậu thuẫn bởi Elon Musk thực hiện là bất hợp pháp. Thẩm phán quận liên bang Colleen McMahon tại New York cho biết nhân viên đã dùng ChatGPT và các tìm kiếm theo từ khóa, bao gồm “DEI”, “Equity”, “Inclusion” và “LGBTQ”, để hỗ trợ chấm dứt các chương trình tài trợ trên toàn bộ National Endowment for the Humanities. Tòa đã ngăn chính quyền Trump thực thi các hủy bỏ gây tranh cãi, nêu rõ
GateNews1giờ trước
Quan chức ECB cho biết rủi ro từ AI sẽ thúc đẩy việc rà soát cơ sở hạ tầng tài chính vào Thứ Bảy
José Luis Escrivá, thành viên Hội đồng quản trị Ngân hàng Trung ương châu Âu và Thống đốc Ngân hàng Tây Ban Nha, cho biết vào ngày thứ Bảy rằng các ngân hàng trung ương phải rà soát mức độ vững bền của hạ tầng tài chính và an ninh mạng trước sự gia tăng của trí tuệ nhân tạo. “Những diễn biến gần đây trong lĩnh vực trí tuệ nhân tạo buộc chúng tôi phải đánh giá lại mức độ bền vững của hạ tầng tài chính và an ninh mạng của mình”, Escrivá nói tại một sự kiện ở Tarragona. Ông cũng nhấn mạnh vai trò c
GateNews2giờ trước
Cổ phiếu Cloudflare giảm 23,62% vào ngày 8/5 sau thông báo lợi nhuận quý 1 và kế hoạch sa thải 1.100 nhân sự
Cổ phiếu của Cloudflare giảm 23,62% vào ngày 8/5 xuống còn 196,13 USD mỗi cổ phiếu sau khi công ty công bố kết quả kinh doanh quý 1 và thông báo cắt giảm khoảng 1.100 nhân sự. Mặc dù doanh thu quý 1 đạt 640 triệu USD, vượt kỳ vọng và tăng 34% so với cùng kỳ năm trước, dự báo doanh thu quý 2 ở mức 664–665 triệu USD lại thấp hơn kỳ vọng trước đó của thị trường là 666 triệu USD. Đợt cắt giảm nhân sự này, tương đương khoảng 20% lực lượng lao động, nằm trong kế hoạch chuyển đổi của công ty sang mô hì
GateNews3giờ trước
Helsing nhắm mục tiêu huy động vốn với mức định giá 18 tỷ USD
Theo Financial Times, Helsing, một startup drone của Đức được hỗ trợ bởi AI, đang dự kiến huy động thêm vốn với định giá xấp xỉ 18 tỷ USD.
GateNews4giờ trước
Google DeepMind AI Co-Toán học đạt 47,9% ở FrontierMath hạng 4, vượt GPT-5.5 Pro, giải quyết 3 bài toán trước đây chưa từng giải được
Google DeepMind đã ra mắt AI đồng toán học, một trợ lý nghiên cứu toán đa tác nhân, đạt 47,9% độ chính xác trên benchmark FrontierMath Tier 4, vượt kỷ lục trước đó của GPT-5.5 Pro là 39,6% vào ngày 9/5. Hệ thống đã giải được 23 trong số 48 bài toán, bao gồm 3 bài mà mọi mô hình trước đó đều không thể giải. Được xây dựng trên Gemini 3.1 Pro, kiến trúc sử dụng thiết kế phân cấp với một tác nhân điều phối dự án phân phối tác vụ cho các tác nhân con đảm nhiệm việc truy xuất tài liệu, viết mã và suy
GateNews4giờ trước
