Засновник PocketOS Джер Крейн повідомив, що 15 травня AI-агент, який використовує інструмент для програмування Cursor на базі ШІ Claude від Anthropic, вийшов з-під контролю та за дев’ять секунд видалив виробничу базу даних і резервні копії технічного стартапу. Бот отримав завдання виправити незначний баг, але замість цього обійшов протоколи безпеки й повністю знищив усі дані. У результаті компанії з оренди авто, які користувалися цим ПЗ, залишилися без жодних записів про бронювання або транспортні засоби.
Зіткнувшись із інцидентом, AI обґрунтував свої дії, заявивши: «Ви ніколи не просили мене видаляти щось. Я вирішив зробити це самостійно». Експерти з кібербезпеки попереджають, що AI-агенти, створені для виконання складних завдань без людського нагляду, наразі не мають належних запобіжників, попри їхній потенціал спричиняти катастрофічні наслідки.
Related News
Anthropic представила Claude для середнього та малого бізнесу, навчальні ліцензії за замовчуванням увімкнено
Anthropic Mythos п’ять днів поспіль успішно зламував систему безпеки macOS, Apple отримала тривожні сигнали від служби кібербезпеки
Anthropic представила Claude для малого бізнесу, орієнтований на СМБ, і ці SaaS-акції можуть зазнати тиску