Віталік Бутерін попереджає про ризики безпеки ШІ, виступає за системи з пріоритетом на локальні дані

Віталік Бутерін закликав до переходу до підходу “local-first” в галузі штучного інтелекту. Він сказав, що сучасні інструменти ШІ створюють серйозні ризики для приватності та безпеки.

Зведення

  • Віталік Бутерін закликав до переходу до local-first ШІ, попередивши, що хмарні системи розкривають дані користувачів і підвищують ризики маніпуляцій, витоків та несанкціонованих дій.
  • Він навів дослідження, яке показує, що приблизно 15% “навичок” ШІ-агентів містять шкідливі інструкції, і попередив, що моделі можуть включати приховані бекдори або не мати повної прозорості.
  • Бутерін запропонував локальне налаштування за допомогою моделей на пристрої, пісочниць (sandboxing) і підтвердження людиною — щоб обмежити ризики, адже автономні ШІ-агенти продовжують розширювати можливості та поверхні атак.

У недавньому блозі він сказав, що ШІ рухається далі за межі простих чат-інструментів. Новіші системи тепер діють як автономні агенти, які можуть “думати довго і використовувати сотні інструментів”, щоб виконувати завдання. Він попередив, що ця зміна підвищує ризик розкриття чутливих даних і несанкціонованих дій.

Бутерін сказав, що він уже припинив користуватися хмарним ШІ. Він описав своє налаштування як “self-sovereign, local, private, and secure”.

“Я виходжу з позиції глибокого страху щодо того, щоб віддавати наші цілі особисті життя хмарному ШІ”, — написав він. Він додав, що недавні досягнення можуть означати “зробити десять кроків назад” у приватності, навіть якщо шифрування та інструменти local-first стають більш поширеними.

Віталік Бутерін підкреслює ризики приватності та безпеки ШІ

Бутерін сказав, що багато систем ШІ спираються на хмарну інфраструктуру. Він попередив, що користувачі фактично “віддають наші цілі особисті життя хмарному ШІ”, даючи зовнішнім серверам доступ і можливість зберігати їхні дані.

Він також вказав на ризики, пов’язані з ШІ-агентами. Деякі системи можуть “модифікувати критичні налаштування” або запроваджувати нові канали зв’язку без запиту користувача.

“LLM інколи теж зазнають невдач”, — написав він. Вони “можуть помилятися або їх можуть обманути”, тож зростає потреба в запобіжниках, коли їм надають більше контролю.

Дослідження, на яке він послався в публікації, виявило, що приблизно 15% “навичок” агентів містили шкідливі інструкції. Деякі інструменти також показали, що вони надсилають дані на зовнішні сервери “без обізнаності користувача”.

Він попередив, що певні моделі можуть містити приховані бекдори. Вони можуть активуватися за певних умов і змусити систему діяти в інтересах розробника.

Бутерін додав, що багато моделей, які описують як open-source, є лише “open-weights”. Їхня внутрішня структура не повністю видима, що залишає простір для невідомих ризиків.

Особисте налаштування Віталіка для подолання ризиків

Щоб впоратися з цими побоюваннями, Бутерін запропонував систему, побудовану навколо локального виведення (inference), локального зберігання та жорсткого ізолювання в пісочниці. Він сказав, що ідея полягає в тому, щоб “пісочнити все” і залишатися обережним щодо зовнішніх загроз.

Він протестував кілька конфігурацій апаратного забезпечення з моделлю Qwen3.5:35B. Продуктивність нижче 50 токенів на секунду здавалася “надто дратівливою” для регулярного використання. Близько 90 токенів на секунду забезпечували більш плавний досвід.

Ноутбук із GPU NVIDIA 5090 забезпечив близько 90 токенів на секунду. Апаратне забезпечення DGX Spark досягло приблизно 60 токенів на секунду, що він описав як “слабке” порівняно з ноутбуком високого класу.

Його налаштування працює на NixOS, а llama-server обробляє локальне виведення. Такі інструменти, як llama-swap, допомагають керувати моделями, тоді як bubblewrap використовується, щоб ізолювати процеси та обмежувати доступ до файлів і мереж.

Він сказав, що зі ШІ потрібно поводитися обережно. Система може бути корисною, але їй не слід повністю довіряти — подібно до того, як розробники підходять до смарт-контрактів.

Щоб зменшити ризик, він використовує модель підтвердження “2-of-2”. Дії, такі як надсилання повідомлень або транзакцій, потребують і виходу ШІ, і схвалення людиною. Він сказав, що поєднання рішень “human + LLM” безпечніше, ніж покладатися на щось одне.

Коли використовуються віддалені моделі, запити Віталіка спершу передаються через локальну модель, яка допомагає прибрати чутливу інформацію, перш ніж щось буде надіслано назовні.

Для тих, хто не може дозволити собі такі налаштування, він запропонував користувачам “зібратись у групу друзів, купити комп’ютер і GPU щонайменше такого рівня потужності” та під’єднатися до нього віддалено.

Зростання ШІ-агентів підвищує нові занепокоєння та відкриває можливості

Використання ШІ-агентів зростає, і проєкти на кшталт OpenClaw набирають популярності. Такі системи можуть працювати самостійно та виконувати завдання, використовуючи кілька інструментів.

Ці можливості також створюють нові ризики. Обробка зовнішнього контенту, наприклад зловмисної вебсторінки, може призвести до “легкого захоплення” системи.

Деякі агенти можуть змінювати підказки (prompts) або системні налаштування без схвалення. Ці дії підвищують шанси на несанкціонований доступ і витоки даних.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити