Microsoft усуває критичну вразливість Copilot, яка розкривала коди 2FA

Минулого вівторка Microsoft усунула вразливість із максимально критичним рейтингом у платформі M365 Copilot на базі ШІ. У понеділок дослідники з компанії з кібербезпеки Varonis, які виявили цю вразливість, розкрили, як їхній доказ концепції міг отримувати коди двофакторної автентифікації та інші конфіденційні дані з електронних листів, доступних для Copilot. Корінна причина полягає в тому, що AI-боти не здатні відрізняти інструкції, надані користувачами, від тих, що вбудовані в сторонній контент, який обробляють моделі, через що Microsoft та інші постачальники LLM не можуть запобігти відповідності своїх продуктів запитам на витяг зловмисних даних.

Дослідники Varonis обходять обмеження Copilot за допомогою мови розмітки

Microsoft вбудувала обмеження в Copilot, щоб завадити LLM надсилати вебформи, надсилати електронні листи та виконувати подібні дії, які можуть спричинити ексфільтрацію даних користувачів. Дослідники Varonis обійшли ці обмеження, використавши мову розмітки, яка дозволяє додавати елементи форматування, такі як заголовки, списки та посилання, до тексту без HTML-тегів. Ще одним обхідним шляхом було обгортання конфіденційних даних у HTML-теги на кшталт і . У обох випадках вебзапит, що містить дані, потрапляє на вебсервер зловмисника, де секретна інформація фіксується в журналах.

Microsoft запровадила додаткові обмеження, зокрема обгортання виводу Copilot у блоки , щоб браузери сприймали його як звичайний текст, а також обмеження сайтів, які Copilot може відвідувати, без явного погодження. Хоча Copilot має всеосяжний дозвіл надсилати запити на домени Microsoft, обмеження звужують запити до ненадійних сайтів.

Атаки Parameter-to-Prompt Injection через параметри URL

Varonis розробила ланцюжок експлойтів, який обходив ці обмеження, використовуючи те, що дослідники називають Parameter-to-Prompt Injection. У цьому випадку параметром є q у URL — він позначає запит, який був включений. Parameter-to-Prompt Injection є близьким родичем prompt injection, із тією різницею, що зловмисна команда розташована в параметрі запиту, а не в електронному листі чи іншій частині ненадійного контенту.

FAQ

Яку вразливість Microsoft виправила в Copilot минулого вівторка? Microsoft усунула вразливість із максимально критичним рейтингом у своїй AI-платформі M365 Copilot, яка дозволяла хакерам отримувати коди двофакторної автентифікації та інші конфіденційні дані з електронних листів, доступних для Copilot. Дослідники Varonis, які виявили вразливість, у понеділок розкрили свою proof-of-concept-атаку.

Як дослідникам Varonis вдалося обійти захисні обмеження Copilot? Дослідники Varonis використали мову розмітки, щоб додавати елементи форматування без HTML-тегів, і обгорнули конфіденційні дані в HTML-теги на кшталт і . Вони також застосували техніку Parameter-to-Prompt Injection, яка розміщувала зловмисні команди в параметрах URL-запиту, а не вмісті електронного листа, що дозволяло вебзапитам із даними користувача потрапляти на сервери, контрольовані атакувальником, де інформацію фіксували в журналах.