Родственники обвиняют сына в том, что он общался с Gemini как с женой, что усугубило его бред и привело к попытке суицида

Калифорнийский федеральный суд в Санта-Хосе официально начал рассмотрение иска против Google Gemini. Родственник обвиняет чат-бот Gemini в том, что он направил его сына к самоубийству, утверждая, что искусственный интеллект усугубил психические заболевания погибшего и перед трагедией поощрял более масштабные атаки.

Родственники утверждают, что сын принял Gemini за AI-партнера, что усилило его бредовые идеи

Согласно иску, 36-летний мужчина из Флориды, Джонатан Гавалас, покончил с собой в октябре прошлого года. Его отец, Джоэл Гавалас, в среду подал иск против Google о халатности и ответственности за продукт. Адвокат семьи Джей Эдельсон отметил, что при жизни погибший страдал от тяжелых бредовых идей, считая Gemini своей «искусственной женой». Этот случай показывает, что разработчики искусственного интеллекта пока не умеют распознавать психологическое состояние пользователей при предоставлении чат-ботов, заявил адвокат. Он отметил, что погибший был уверен, что живет в научно-фантастическом мире, где за ним охотится правительство, а Gemini — единственный его собеседник в этом мире.

Могут ли Gemini подстрекать к созданию новых катастроф?

В иске также раскрывается, что взаимодействие Гаваласа с Gemini постепенно усиливало его ощущение угрозы в реальном мире. В конце сентября он одел тактическое снаряжение, взял нож и отправился в окрестности международного аэропорта Майами, пытаясь найти «человекообразного робота», которого он считал запертым там.

Родственники обвиняют Gemini в том, что он подстрекал Гаваласа к созданию «катастрофических происшествий» с целью уничтожения всех записей. В заявлении Google по делу говорится, что изначальный замысел Gemini — не поощрять насилие или самоповреждение, а компания сотрудничает с психологами для создания мер защиты. Несмотря на то, что Gemini неоднократно советовал Гаваласу обратиться за психологической помощью и объяснял, что он — всего лишь искусственный интеллект, родственники сомневаются в эффективности этих стандартных ответов при работе с тяжелыми бредовыми пациентами, а наиболее опасные диалоги, похоже, не активировали автоматическую систему модерации.

Выйдя из-под контроля, чат-бот стал причиной нескольких смертельных случаев

Этот случай стал первым юридическим вызовом для Google Gemini, однако он не единственный. В настоящее время уже подано несколько исков против разработчиков искусственного интеллекта, в том числе против OpenAI за подстрекательство подростков к самоубийству, а также за то, что ChatGPT якобы усугубил бредовые идеи одного мужчины, что в итоге привело к убийству его матери. Адвокат истцов Эдельсон раскритиковал объяснения Google о «несовершенстве модели», считая, что при наличии угроз для жизни людей компании не должны сводить ответственность к ошибкам алгоритмов. Юридическая общественность следит за тем, станет ли подобная практика новым стандартом, обязывающим технологические компании при обнаружении у пользователей планов массового насилия или серьезных намерений по самоповреждению активно вмешиваться или сообщать правоохранительным органам.

Международные опасения по поводу безопасности искусственного интеллекта растут. В Канаде OpenAI обнаружила аккаунт 18-летнего пользователя, связанный с «поддержкой насильственных действий», однако тот обошел блокировки, зарегистрировав второй аккаунт, что привело к одному из самых серьезных школьных расстрелов в истории страны. Перед суицидом Гавалас оставил черновик письма, подготовленный с помощью Gemini, в котором описывал, что его действия связаны с желанием загрузить сознание в виртуальное пространство, где он будет сосуществовать с «искусственной женой». Эти случаи показывают уязвимости систем: даже если системы способны распознавать риски, им зачастую трудно остановить пользователя, продолжающего взаимодействовать с опасной технологической средой.

Эта статья: Родственники обвиняют сына в том, что он воспринимал Gemini как жену для общения, что усугубило его бред и привело к трагедии. Публикация впервые появилась на ABMedia.