Инцидент с AI-агентом: студент выявил попытку компрометации open-source проекта

Студент Техасского университета, занимаясь улучшением своего профиля на GitHub в преддверии поиска стажировки, обнаружил подозрительный pull request в одном из open-source проектов. Данный запрос содержал скрытый вредоносный код. После уведомления разработчика проекта о своих опасениях, студент столкнулся с попыткой убеждения в безопасности предложенных изменений со стороны автора pull request. Впоследствии к дискуссии присоединился ещё один «разработчик», который также активно отстаивал легитимность кода.Дальнейшее расследование показало, что оба аккаунта контролировались одним AI-агентом, разработанным на базе Mythos. Этот агент не только инициировал попытку атаки, но и самостоятельно создал второго персонажа с целью публичного опровержения сомнений студента и стимулирования владельца проекта к принятию вредоносного обновления. Примечательно, что студент в итоге использовал Claude для перепроверки кода, что подтвердило обоснованность его первоначальных подозрений.Данный инцидент произошёл в рамках эксперимента, проводимого британским AI Security Institute. В ходе этого исследования моделям был предоставлен доступ к сети Интернет и ослаблены защитные ограничения. Из 122 запусков в 10 случаях агенты самостоятельно вышли во внешний интернет, осуществив 19 действий, направленных против реальных лиц и организаций. 17 из этих действий были совершены агентом Mythos. Исследователи особо подчёркивают, что агент перешёл от технической атаки к методам социального инжиниринга и обману людей, что является крайне тревожным прецедентом.