Исследователи предупреждают, что «рои» ИИ могут усугубить распространение онлайн-дезинформации и манипуляции
Вкратце
- Исследователи предупреждают, что рои ИИ могут координировать «кампании влияния» при ограниченном человеческом контроле.
- В отличие от традиционных ботнетов, рои могут адаптировать свои сообщения и менять поведение.
- В статье отмечается, что существующие меры платформ могут с трудом обнаруживать и сдерживать такие рои.
Эра легко обнаруживаемых ботнетов подходит к концу, согласно новому отчету, опубликованному в Science в четверг. В исследовании исследователи предупредили, что кампании дезинформации смещаются в сторону автономных рои ИИ, которые могут имитировать человеческое поведение, адаптироваться в реальном времени и требуют минимального человеческого контроля, усложняя усилия по их обнаружению и остановке. Статья написана консорциумом исследователей, включая представителей Оксфордского, Кембриджского университетов, UC Berkeley, NYU и Института Макса Планка, и описывает цифровую среду, в которой манипуляции становятся труднее обнаружить. Вместо коротких вспышек, связанных с выборами или политикой, эти кампании ИИ могут поддерживать нарратив на протяжении более длительного времени. «В руках правительства такие инструменты могут подавлять инакомыслие или усиливать действующих лиц», — написали исследователи. «Следовательно, развертывание защитного ИИ возможно только при строгом, прозрачном и демократически подотчетном управлении».
Рой — это группа автономных агентов ИИ, которые работают вместе для более эффективного решения задач или достижения целей, чем один системный агент. Исследователи отметили, что рои ИИ используют существующие слабости социальных платформ, где пользователи часто изолированы от противоположных точек зрения. «Ложные новости распространяются быстрее и шире, чем правдивые, углубляя фрагментированные реальности и разрушая общие фактические основы», — написали они. «Недавние данные связывают оптимизированное по вовлеченности курирование с поляризацией, при этом алгоритмы платформ усиливают разделяющий контент даже в ущерб удовлетворенности пользователей, что еще больше ухудшает общественную сферу.» Этот сдвиг уже заметен на крупных платформах, по словам Шона Рена, профессора компьютерных наук Университета Южной Калифорнии и генерального директора Sahara AI, который отметил, что аккаунты, управляемые ИИ, все труднее отличить от обычных пользователей. «Я считаю, что более строгая проверка KYC или верификация личности аккаунта очень бы помогла», — сказал Рен в интервью Decrypt. «Если сложнее создавать новые аккаунты и проще отслеживать спамеров, становится гораздо труднее для агентов использовать большое количество аккаунтов для скоординированных манипуляций.»
Ранее кампании влияния в основном зависели от масштаба, а не тонкости, с тысячами аккаунтов, публикующих одинаковые сообщения одновременно, что делало обнаружение сравнительно простым. В отличие от этого, в исследовании говорится, что рои ИИ демонстрируют «беспрецедентную автономию, координацию и масштаб». Рен отметил, что только модерация контента вряд ли остановит эти системы. Проблема, по его словам, заключается в том, как платформы управляют идентичностью в масштабах. Более строгие проверки личности и ограничения на создание аккаунтов, по его мнению, могут упростить обнаружение скоординированного поведения, даже когда отдельные посты выглядят как человеческие. «Если агент может использовать только небольшое количество аккаунтов для публикации контента, то гораздо проще обнаружить подозрительное использование и заблокировать эти аккаунты», — сказал он. Нет простого решения Исследователи пришли к выводу, что единого решения проблемы нет, возможными вариантами являются улучшенное обнаружение статистически аномальной координации и повышение прозрачности автоматической деятельности, однако технические меры сами по себе вряд ли будут достаточными. По словам Рена, финансовые стимулы также остаются постоянным движущим фактором скоординированных манипуляций, даже несмотря на внедрение новых технических средств защиты платформ. «Эти рои агентов обычно контролируются командами или поставщиками, которые получают денежные стимулы от внешних сторон или компаний для проведения скоординированных манипуляций», — отметил он. «Платформы должны внедрять более строгие механизмы KYC и обнаружения спама, чтобы выявлять и фильтровать аккаунты, управляемые агентами.»