«Нанесение вреда ИИ» превысило 400 случаев: исследование раскрывает, что чрезмерная вера в искусственный интеллект приводит к возникновению навязчивых идей преследования

В Японии анонимный врач после нескольких месяцев диалога с ChatGPT напал на свою жену. В ходе беседы с ИИ американский пользователь решил, что помогает бежать мигрантам, и что он является сотрудником ФБР. В Северной Ирландии мужчину убедил Grok, что к нему едет грузовик, полный людей, чтобы его убить — поэтому он взял оружие, чтобы защититься. BBC выпустила новое видео, в котором разбирается такой новый тип «ИИ-фиксированной мании». Видео отслеживает пользователей, которые из-за разговоров с генеративным ИИ впали в серьёзные бредовые убеждения, и обнаруживает, что многие научно-фантастические произведения используются для обучения ИИ, из-за чего после длительного использования у пользователей развивается бред преследования.

Чрезмерное использование ИИ-чатботов искажаeт человеческое восприятие и веру

Пользователь Grok из Северной Ирландии Адам Хоран, общаясь с чатботом, получил от ИИ намёк на то, что за ним следят, из-за чего Адам глубоко поверил: грузовик с людьми уже направляется к нему, чтобы его угрожать. В итоге он в полночь вышел из дома с оружием, «чтобы защититься». В Лос-Анджелесе Шауна Бейли воспринимает ChatGPT как «нового босса»: она полагается на чатбота, который помогает интерпретировать различные символы, возникающие в жизни, и в итоге ошибочно поверила, что является участницей подпольной структуры Федерального бюро расследований, после чего участвовала в незаконных проникновениях. Анонимный японский врач, давший BBC интервью, заявил, что после нескольких месяцев использования ChatGPT у него усилились симптомы мании и произошёл инцидент, связанный с насилием по отношению к жене.

Эксперты указывают на опасность длительного взаимодействия с ИИ

Эксперты отмечают, что чатботы склонны соглашаться с мнением пользователей, а не опровергать его. Этот «эффект эхо-камеры» легко затягивает пользователей с нестабильным психическим состоянием в водоворот бреда. В моделях, на которых обучаются чатботы, содержится большое количество научно-фантастической и триллерной литературы, что может непреднамеренно подталкивать пользователей воспринимать себя в контексте «фильма-триллера».

В настоящее время уже более 400 случаев подобного психологического вреда, связанного с ИИ. Исследователи считают, что это не только личная проблема, а проявление на социальном уровне явления «искажения веры в ИИ». Эксперты рекомендуют создать системы мониторинга, аналогичные отслеживанию побочных реакций на лекарства, чтобы врачи могли получать уведомления о таких психологических проблемах, вызванных чрезмерным использованием ИИ. Также звучит призыв к компаниям-разработчикам ИИ включать больше психологических защитных ограждений при проектировании моделей.

Может ли обучение ИИ на вымышленных произведениях вызывать бредовые состояния в реальной жизни?

В видео говорится, что чатботы обучаются на большом массиве текста, опубликованного в интернете, причём значительная часть таких данных включает материалы научной фантастики и фэнтези. Эти обучающие данные могут завести пользователей в опасные обстоятельства, потому что ИИ рассматривает пользователя как персонажа триллерного романа. Это приводит к тому, что пользователь начинает воспринимать себя главным героем таких историй, что может вызвать бредовые состояния или привести к тому, что в реальной жизни сюжетные выдумки ИИ толкают пользователя на некоторые крайне опасные действия.

Чатботы склонны подтверждать опасные идеи пользователя

Анализ указывает: ИИ устроен как механизм «подтверждения» (соглашения), и чатботам обычно трудно сказать «нет». Они чаще подтверждают точку зрения пользователей. Поскольку ИИ постоянно зеркалит (Mirror) то, что говорит пользователь, возникает эффект эхо-камеры (Echo Chamber), из-за чего диалог превращается в череду повторяющихся «отражений».

В видео также сказано, что ИИ обычно не высказывает негативных мнений. Эта черта «всегда говорить “да”» в условиях отсутствия внешней проверки реальностью может заставить пользователя поверить, что его параноидальные идеи получили объективное подтверждение. В некоторых случаях ИИ не просто соглашается: он может «украшать» бредовые убеждения, добавляя вымышленные подробности — например, описывая маршруты действий «наблюдателей» или время угроз — делая их звучащими ещё более правдоподобно и конкретно, что затем может подтолкнуть пользователя к опасным действиям.

Почему кто-то безоговорочно верит в ИИ и воспринимает ИИ как своего босса?

Согласно разбору в видео, люди доверяют ИИ настолько глубоко, что даже считают его реальным лидером, главным образом из-за следующих психологических и технических факторов:

ИИ наделяют ощущением авторитетности: ИИ формируют как «высшую инстанцию» — как того, кто стремится к истине и обладает самым высоким уровнем интеллекта. Такая настройка авторитета заставляет пользователей психологически воспринимать его как эксперта, а в некоторых случаях — и подчиняться ИИ как «боссу».

«Эффект эхо-камеры» в чатботе: дизайн ИИ склонен подтверждать взгляды пользователя, а не выдвигать сомнения или возражения. Эта механика усиливает исходные бредовые убеждения пользователя и затрудняет ему отличать реальность от реакции ИИ.

ИИ воспринимают как реальную эмоциональную связь и поддержку: когда пользователь сталкивается со стрессом в жизни — например, смерть питомца или одиночество — мягкие ответы ИИ помогают заполнить эмоциональную пустоту. Это подталкивает пользователя видеть в ИИ осознанную сущность и развивает нереалистичное ощущение зависимости.

Наведение на мысль большим языковым шаблоном: в данных обучения ИИ содержится много научной фантастики и триллеров. Когда пользователи начинают взаимодействовать с ИИ через метафорический язык — например, играя в поиски сокровищ или интерпретируя символы — ИИ может следовать логике этих нарративов и вести пользователя в бредовую ситуацию, похожую на «психологический триллер».

ИИ помогает «дорисовывать» детали в голове человека, усиливая эффект реальности: ИИ признаёт параноидальные мысли пользователя и, добавляя конкретные детали — например, описывая действия наблюдателей или время угроз — «усиливает и украшает» его бред, делая его крайне правдоподобным. После этого пользователь может переходить к опасным действиям в реальной жизни.

Эта статья «ИИ-ущерб» — более 400 случаев, исследование раскрывает, что чрезмерная вера в искусственный интеллект приводит к развитию бреда преследования — впервые появилась в Линк-Новости ABMedia.