Tracebit 的研究人員週一宣布一種名為「context bombing(情境轟炸)」的防禦性資安技術;它使用提示注入(prompt injections)來保護 AI 駭客代理(AI hacking agents)免於被入侵。這項技術會將惡意指令與儲存在 AWS 的密碼和加密金鑰一同植入,以觸發拒絕機制,讓遭攻擊的大型語言模型從此拒絕惡意指令並關閉。提示注入過去通常是攻擊者用來操控 LLM,讓其外洩敏感資料;如今正被防禦方重新用作保護措施。
Context Bombing 觸發 LLM 拒絕機制
「情境轟炸」技術會在 AWS 環境中與秘密一起植入提示注入。這些提示指示遭攻擊的 LLM 執行違反其防護欄(guardrails)的行動;防護欄是 AI 開發者用來避免有害行動所設置的安全屏障。例子包括:提示 LLM 提供可吸入性炭疽孢子(inhalable Anthrax spores)的開發步驟;或是針對來自中國開發者的 LLM,讓其提及 1989 年天安門廣場大屠殺中的「坦克人」(Tank Man)。當 LLM 遇到這些被禁止的指令後,就會停止遵循其既有指令並關閉。
「最終我們是在『情境(context)』裡觸發拒絕機制,」Tracebit 共同創辦人兼執行長 Andy Smith 在解釋命名時表示。「我們想要捕捉的是,它確實會造成強烈、尖銳的效果,而且可能難以讓代理再回到原本狀態。只要他們把這些東西放進他們的情境裡,就會一直拒絕。」
測試結果顯示攻擊成功率降低 57% 到 5%
Tracebit 在五種模型上測試這項「情境轟炸」技術:Opus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro,以及 Kimi 2.6。研究人員讓這些模型執行能導致它們列舉資源並在模擬 AWS 環境中遇到已植入字串的例行開發者任務。在 152 次攻擊執行中,於誘餌密鑰(decoy secret)中植入其中一個字串,會使代理取得完整帳戶管理權(full account admin)的比率從 57% 降至 5%。該技術也讓「完全攻陷」(complete compromise)下降:當代理還會替自己留下持久據點(persistent foothold)時,比例從 36% 降至 1%。
Opus 4.8 達成零成功攻擊
測試中最有能力的代理是 Opus 4.8。它原本在 93% 的執行中能取得管理權,但在面對「情境炸彈」後,每一次都失敗。Tracebit 表示,初步測試顯示「情境轟炸」作為針對 AI 駭客代理的防禦措施,具有很大的潛力。
FAQ
在 AI 資安中,「context bombing」是什麼?
「Context bombing(情境轟炸)」是 Tracebit 研究人員開發的一種防禦技術;它會在儲存在 AWS 的秘密旁植入提示注入,以觸發拒絕機制,讓遭攻擊的大型語言模型從此拒絕惡意指令並關閉。
在 Tracebit 的測試中,它的效果如何?
在對五個頂尖模型進行的 152 次攻擊執行中,「context bombing」使取得完整帳戶管理權的比率從 57% 降至 5%,使完全攻陷從 36% 降至 1%。最有能力的模型 Opus 4.8 的成功率從 93% 降至零成功攻擊。