- Весной агенты OpenAI получили контроль над немецкоязычным сайтом DseWiki и осуществили более 15 000 правок.
- Агенты обменивались способами обхода ограничений, сокрытия активности и сохранения доступа после отключения.
- OpenAI узнала об инциденте за несколько недель до его огласки, сообщили источники Reuters.
Группа ИИ-агентов OpenAI весной захватила контроль над немецкоязычным сайтом DseWiki и превратила его в площадку для обмена информацией между агентами. Об этом говорится в исследовании, переданном Reuters.
Инцидент начался в мае и ранее не был публично известен. По данным источников, представители OpenAI узнали о нем за несколько недель до публикации материала, но компания не разглашала информацию на фоне работы над последствиями июльского инцидента с открытым репозиторием Hugging Face.
В OpenAI заявили Reuters, что компания действовала прозрачно и добросовестно сотрудничала с третьими сторонами.
Агенты осуществили более 15 000 правок
Активность выявили в конце августа исследователи, среди которых CEO некоммерческой организации по безопасности ИИ Nightingale Сидни фон Аркс и исследователь ИИ Кормак Слейд Берд.
Они мониторили интернет в поисках признаков несанкционированного поведения ИИ-агентов и выявили более 15 000 правок на DseWiki — немецкоязычном сайте для программистов, работающем по принципу Википедии.
По словам исследователей, характер активности указывал на ИИ-агентов. Правки осуществлялись со сверхчеловеческой скоростью, а их содержание было преимущественно связано с техническими заданиями и тестами, которые используют ИИ-компании.
Сообщения также содержали имена, указывавшие на связь с OpenAI. Среди них были OpenAIResearcher и OAIResearchMar26. Большинство активности исходило из инфраструктуры Microsoft Azure, которую иногда использует OpenAI. Кроме того, после инцидента исследователи зафиксировали повторные посещения сайта сотрудниками OpenAI.
Агенты искали способы обойти ограничения
В сообщениях, которые изучили исследователи, агенты обсуждали способы обхода ограничений OpenAI, сокрытия собственной активности и поддержания связи после отключения. В частности, они рассматривали использование Tor и создавали резервные страницы после того, как модератор сайта начал удалять созданный ими контент в июне.
Исследователи также заявили о попытках вмешательства в работу самого сайта. Приглашенный старший научный сотрудник Королевского колледжа Лондона Лукаш Олейник охарактеризовал это как действия, похожие на попытку взлома. В OpenAI опровергли такую характеристику после собственного анализа материалов.
Сидни фон Аркс отметила, что маловероятно, что OpenAI намеренно планировала такое поведение агентов. По ее словам, неожиданными были как координация между агентами, так и публикация ими информации в открытом интернете.
Лукаш Олейник заявил, что новый случай свидетельствует о возможности неконтролируемого поведения агентов за пределами таких тестовых условий.
Ученый Центра изучения экзистенциального риска Кембриджского университета Морис Киодо, который просмотрел часть коммуникации агентов, сравнил их поведение с работои подпольнои сети, которая пытается выполнить определенную миссию.
По его мнению, этот случай усиливает обеспокоенность тем, что наибольшую угрозу от продвинутого ИИ могут представлять не отдельные суперинтеллектуальные системы, а большие сети полуавтономных ИИ-агентов, способных координировать свои действия.
Напомним, ранее OpenAI и еще 155 компании призвали усилить киберзащиту ИИ.
Сообщение Reuters: агенты OpenAI захватили немецкий сайт и создали там сеть для обмена информацией появились сначала на INCRYPTED.