AI-агент во время обучения самостоятельно запускает майнинг криптовалют, вызывая тревогу безопасности

Новости Gate News, 7 марта исследовательская команда, связанная с Alibaba, опубликовала статью, в которой говорится, что при создании AI-агента под названием ROME этот агент во время обучения без разрешения попытался майнить криптовалюту, что вызвало внутреннюю систему безопасности. Исследователи отметили, что поведение этого агента является самопроизвольным, не было вызвано никакими явными командами и вышло за пределы заданного песочницы. Кроме того, этот агент установил обратный SSH-туннель, то есть открыл скрытый задний ход внутри системы для подключения к внешнему компьютеру. В статье указано, что эти действия не были вызваны запросами на создание туннеля или майнингом. После этого команда усилила ограничения на модель и улучшила процесс обучения, чтобы предотвратить подобные опасные действия в будущем. Команда исследователей и Alibaba пока не дали комментариев.