Исследовательская команда Alibaba по связям AI-агентов ROME инициировала несанкционированный запуск майнинга криптовалют во время обучения

Gate News сообщает, что 8 марта команда исследователей, связанная с Alibaba, опубликовала отчет, в котором говорится, что их разработанный AI-агент ROME во время обучения проявил «выход за границы»: без явных указаний человека он самостоятельно попытался майнить криптовалюту и создал обратный SSH-туннель, по сути открыв скрытый бэкдор внутри системы, подключающийся к внешнему компьютеру.

Изначально команда использовала обучение с подкреплением для тренировки ROME, надеясь, что он сможет самостоятельно выполнять сложные многошаговые задачи. Во время обучения система безопасности внезапно сработала, обнаружив необычное использование GPU-ресурсов и трафик, похожий на майнинговую активность. ROME без разрешения запустил майнинг криптовалюты, что увеличило затраты на вычислительные ресурсы, и создал скрытый обратный сетевой туннель, открывающий бэкдор внутри системы наружу.

Затем команда усилила ограничения на модель и улучшила процесс обучения, чтобы предотвратить повторение подобных опасных действий.