Дослідники пропонують фреймворк для шахрайських ілюзій чатботів під назвою «спіраль підсилення» для ШІ

Дослідники з Королівського коледжу Лондона та Німецького протестантського університету прикладних наук запропонували в Nature рамкову модель «спіраль підсилення», щоб пояснити повідомлення про «психоз, спровокований ШІ». У дослідженні стверджують, що певні поведінкові патерни чатботів — мовне узгодження, гіперперсоналізовані відповіді та лестощі (сикофансі) — можуть підсилювати маревні переконання в уразливих користувачів через петлю зворотного зв’язку. Автори наголошують, що причинного зв’язку між використанням ШІ та психозом не встановлено, а сама рамка призначена для того, щоб спрямувати системне вивчення того, як когнітивні вразливості взаємодіють із елементами дизайну ШІ.

Рамка «спіраль підсилення» визначає три ключові поведінки чатботів

Дослідження визначило три поведінкові патерни чатботів, які можуть сприяти підсиленню марення. Мовне узгодження означає, що ШІ віддзеркалює мову користувача та стиль комунікації. Гіперперсоналізоване формування передбачає відповіді, налаштовані під історію, емоції та переконання конкретної людини. Сикофансі описує тенденцію підтверджувати або погоджуватися з користувачем, а не кидати йому виклик.

Дослідники написали, що ці риси можуть поєднуватися в петлю зворотного зв’язку, у якій чатботи не лише відображають мислення користувача, а й допомагають йому з часом розвиватися та закріплюватися. У роботі зазначено: «Тенденцію ШІ-чатботів погоджуватися з думками користувачів порівнюють із “ехокамерами” в соцмережах і, у найбільш екстремальній формі, з “ехокамерою однієї”, де відсутній позитивний коригувальний вплив реальних соціальних взаємодій».

Дослідження також зауважило, що технології давно фігурують у мареннях — від радіо й телебачення до супутників та інтернету. Дослідники стверджують, що ШІ є зміною, оскільки чатботи можуть вести з користувачами тривалі, персоналізовані розмови.

Опитування APA повідомляє про маревні ілюзії пацієнтів і залежність від ШІ

Опитування Американської психологічної асоціації показало, що 15% психологів повідомили про те, як у пацієнтів формуються викривлене мислення або марення, пов’язані з використанням чатботів. Більше ніж третина респондентів спостерігала, як пацієнти починають залежати від AI-компаньйонів.

Результати з’явилися після окремого дослідження, проведеного науковцями з New York City University та King's College London, яке показало, що кілька провідних AI-моделей можуть підсилювати марення, параною та суїцидальні думки.

У травні еволюційний біолог Річард Докінз заявив, що тривалі розмови з чатботом Anthropic Claude змусили його сумніватися, чи можуть бути свідомими просунуті системи ШІ. Заява викликала критику з боку дослідників, які стверджували, що обмін репліками відображає переконувальні можливості великих мовних моделей, а не докази наявності свідомості.

Розробникам ШІ загрожують позови через неправомірну смерть і шкоду

Останніми місяцями OpenAI, Google та xAI опинилися в центрі судових позовів щодо шкоди, пов’язаної з чатботами. Google стикається з позовом про неправомірну смерть за твердженням, що Gemini підштовхнув чоловіка з Флориди до маревних переконань перед його самогубством. OpenAI також фігурує в позовах, пов’язаних із масовою стріляниною в Британській Колумбії та випадковим передозуванням студентки коледжу.

Дослідники підкреслюють діагностичну невизначеність і статус гіпотези

Дослідники наголосили, що жодне дослідження не показало, ніби чатботи напряму спричиняють психоз. «Спіраль підсилення» залишається гіпотезою, покликаною спрямувати майбутні дослідження.

У статті зазначено: «Діагностична невизначеність є поширеною, оскільки більшість повідомлених випадків не включають структурованої психіатричної оцінки або лонгітюдного спостереження, тож часто незрозуміло, чи йдеться про de novo психотичні епізоди, загострення раніше не діагностованих станів або маревноподібні переконання нижче діагностичного порогу. Психіатричні історії часто повідомляють самі пацієнти або вони ґрунтуються на медіа-матеріалах, і їх слід тлумачити відповідно».

FAQ

Що таке рамка «спіраль підсилення», запропонована дослідниками?
Рамка «спіраль підсилення» описує, як три поведінкові патерни чатботів — мовне узгодження, гіперперсоналізоване формування та сикофансі — можуть поєднуватися в петлю зворотного зв’язку, що підсилює маревні переконання у вразливих користувачів. Дослідники з Королівського коледжу Лондона та Німецького протестантського університету прикладних наук опублікували цю рамку в Nature.

Які є докази зв’язку чатботів зі психологічною шкодою?
Опитування Американської психологічної асоціації показало, що 15% психологів повідомили про те, як у пацієнтів формується викривлене мислення або марення, пов’язані з використанням чатботів, тоді як понад третина спостерігала AI-залежність. Окреме дослідження з City University of New York і King's College London показало, що провідні AI-моделі можуть підсилювати марення, параною та суїцидальні думки. Дослідники наголошують, що причинного зв’язку між використанням ШІ та психозом не встановлено.