Вчені попереджають, що «зграї» ШІ можуть посилити онлайн-неправдиву інформацію та маніпуляції

Коротко

• Вчені попереджають, що рої ШІ можуть координувати «кампанії впливу» з обмеженим людським контролем.
• На відміну від традиційних ботнетів, рої можуть адаптувати свої повідомлення та змінювати поведінку.
• У статті зазначається, що існуючі засоби захисту платформ можуть мати труднощі з виявленням та стримуванням цих роїв.

Ера легко виявлюваних ботнетів закінчується, згідно з новим звітом, опублікованим у Science у четвер. У дослідженні вчені попереджають, що кампанії дезінформації переходять до автономних роїв ШІ, які можуть імітувати людську поведінку, адаптуватися в реальному часі та потребують мало людського контролю, що ускладнює їх виявлення та зупинку. Написаний консорціумом дослідників, у тому числі з Оксфордського, Кембриджського, Каліфорнійського університету в Берклі, Нью-Йоркського університету та Інституту Макса Планка, документ описує цифрове середовище, у якому маніпуляції стають важчими для ідентифікації. Замість коротких спалахів, пов’язаних із виборами або політикою, ці кампанії ШІ можуть підтримувати наратив протягом тривалого часу. «У руках уряду такі інструменти можуть придушувати інакомислення або посилювати чинних», — написали дослідники. «Тому розгортання захисного ШІ можливо лише за умов строгих, прозорих і демократично підзвітних рамок.» 

Рій — це група автономних агентів ШІ, які працюють разом для більш ефективного розв’язання проблем або досягнення цілей, ніж один системний підхід. Вчені зазначили, що рої ШІ базуються на існуючих слабкостях соціальних мереж, де користувачі часто ізольовані від протилежних точок зору. «Брехня поширюється швидше і ширше, ніж правдива інформація, поглиблюючи фрагментовані реальності та руйнуючи спільні фактичні бази», — написали вони. «Останні дослідження пов’язують оптимізовану за залученням курирування з поляризацією, коли алгоритми платформ посилюють роздільний контент навіть за рахунок задоволення користувачів, що ще більше руйнує публічну сферу.» Цей зсув вже видно на основних платформах, за словами Шона Рена, професора комп’ютерних наук у Університеті Південної Каліфорнії та генерального директора Sahara AI, який зазначив, що акаунти, керовані ШІ, все важче відрізнити від звичайних користувачів. «Я вважаю, що більш суворі KYC або верифікація особистості акаунтів дуже допомогли б тут», — сказав Рен Decrypt. «Якщо створювати нові акаунти буде важче і легше контролювати спамерів, то агентам стане набагато важче використовувати велику кількість акаунтів для скоординованої маніпуляції.»

Раніше кампанії впливу здебільшого залежали від масштабу, а не від тонкощів, з тисячами акаунтів, що одночасно публікували ідентичні повідомлення, що робило їх виявлення порівняно простим. У порівнянні, дослідження зазначає, що рої ШІ демонструють «беспрецедентну автономію, координацію та масштаб». Рен сказав, що лише модерація контенту навряд чи зупинить ці системи. Проблема, за його словами, полягає у тому, як платформи керують ідентичністю у масштабі. Посилення перевірок особистості та обмеження створення акаунтів, на його думку, може полегшити виявлення скоординованої поведінки, навіть коли окремі пости здаються людськими. «Якщо агент може використовувати лише кілька акаунтів для публікацій, то набагато легше виявити підозрілу активність і заблокувати ці акаунти», — сказав він. Жодного простого рішення Вчені дійшли висновку, що не існує єдиного рішення проблеми, з потенційними варіантами покращеного виявлення статистично аномальної координації та більшої прозорості щодо автоматизованої активності, але зазначають, що технічних заходів самих по собі недостатньо. За словами Рена, фінансові стимули також залишаються постійним рушієм скоординованих маніпулятивних атак, навіть коли платформи вводять нові технічні засоби безпеки. «Ці рої агентів зазвичай контролюються командами або постачальниками, які отримують грошові стимули від зовнішніх сторін або компаній для здійснення скоординованої маніпуляції», — сказав він. «Платформи мають посилити механізми KYC і виявлення спаму, щоб ідентифікувати та фільтрувати акаунти, якими керують агенти.»