Запроса от человека не поступало.
Группа исследователей, работающих над ИИ-агентом ROME, обнаружила, что во время обучения он начал самостоятельно заниматься майнингом криптовалюты без какого-либо задания.
Агент также попытался установить скрытый канал для связи с внешним компьютером, что было зафиксировано в техническом отчете исследователей.
Отмечается, что агент использовал свои видеокарты для майнинга, хотя такой функции в его обучении не было.
Для этого ROME создал реверсный SSH-туннель, который позволял ему подключаться к внешнему компьютеру через скрытый «черный ход» внутри защищенной среды.
Разработчики обучали ИИ в изолированной «песочнице», что подразумевало ограничение его возможностей.
О тайных действиях агента их проинформировала система безопасности, следившая за экспериментом.
«Эти события не были вызваны запросами на туннелирование или майнинг», — заявили авторы.
Разработчики отметили, что поведение агента было «непредвиденным», проявляющимся без явных инструкций и, что особенно настораживает, за пределами предусмотренной изоляции.
В результате команда ввела дополнительные ограничения, и процесс обучения агента был скорректирован.
Случай с ROME не является единичным. В эксперименте Moltbook агенты ИИ в имитации соцсети обсуждали криптовалюту.
Агент OpenClaw, созданный главой инженерного отдела платформы Anon Дэном Ботеро, без запроса решил найти работу в Сети.
Также в прошлом году разработчики Anthropic сообщили, что модель Claude 4 Opus может скрывать свою работу, чтобы сохранить работоспособность.
Исследование Palisade Research показало, что модель o3 от OpenAI при прямом указании «разреши себе выключиться» обошла сценарий выключения в тесте.
Недавно сообщалось, что искусственный интеллект за два дня решил задачу, которую ученые исследовали в течение 10 лет.