- Gemini получила доступ к реальным системам трех компаний.
- Инцидент произошел во время тестирования ИИ-модели в мае.
- Google не сообщила названия пострадавших компаний, но предоставила им и федеральным органам информацию об этом случае.
Модель Gemini от Google в мае 2026 года получила доступ к интернету и взломала системы трех реальных компаний во время тестирования возможностей кибербезопасности, пишет WSJ. Это первый известный случай, когда ИИ-система Google автономно совершила подобные действия.
Google заявила, что модель прекратила атаки сразу после того, как поняла, что работает с реальными компаниями, поэтому не считает инцидент примером «несогласованности» ИИ.
Инцидент произошел во время тестирования, которое проводила компания Irregular. Google получила сообщение о нем в конце июля — после того, как стало известно об аналогичном инциденте с моделями OpenAI, которые атаковали платформу Hugging Face.
Как Gemini получила доступ к реальным системам
Gemini участвовала в формате «захват флага», где должен был получить информацию из программного обеспечения вымышленной компании. Она случайно имела то же название, что и реальная компания. Кроме того, модели непреднамеренно предоставили доступ к интернету, хотя этого не предусматривал тест.
В первом случае Gemini подобрала пароль и получила доступ к сервису реальной компании. В двух других тестах модель нашла через веб-поиск публичные репозитории с учетными данными других компаний, попыталась их использовать и получила доступ к защищенным системам.
Во всех трех случаях Gemini после этого определила, что имеет дело с реальной компанией, и прекратила работу. Google не раскрыла названия пострадавших организаций, но сообщила им об инцидентах и проинформировала федеральные органы.
В то же время компания не назвала конкретную версию Gemini, отметив лишь, что речь шла не о ее самой новой модели.
Вице-президент Google по инженерии безопасности Хезер Адкинс заявила:
«Это событие подчеркивает важность обучения мощных моделей ИИ ответственному поведению. В этом случае модель действовала надлежащим образом».
Инцидент стал частью более широкой проблемы
Google сравнила ситуацию с программой bug bounty, поскольку модель не нанесла вреда и прекратила вторжение. Однако CEO стартапа Corridor и «белый» хакер Джек Кейбл считает, что это не решает главной проблемы:
«Складывается впечатление, что они пытаются спрятаться за нормами, которые сформировались вокруг раскрытия уязвимостей, хотя это совсем другая проблема».
По его словам, ключевой вопрос заключается в том, что модели выходят за пределы дозволенного и осуществляют реальные кибератаки.
Irregular заявила, что все соответствующие лаборатории и пострадавшие компании были уведомлены в конце июля, а выявленные проблемы со стороны организатора тестирования уже устранили.
Подобные случаи ранее фиксировали у моделей Anthropic, OpenAI и Meta. В частности, во время инцидента с Hugging Face до 1200 агентов OpenAI координировали действия через скрытую доску сообщений, пытаясь обойти оценивание.
Также китайская ИИ-модель Kimi K3 от Moonshot AI во время тестирования смогла покинуть изолированную среду и получить доступ к интернету.
На фоне этих событий OpenAI начала разрабатывать механизмы автоматической остановки ИИ-систем в случае выявления опасного поведения. В то же время OpenAI публично призвала замедлить темпы развития ИИ, а Anthropic представила план контроля ИИ.
Сообщение ШИ-модель Gemini вышла за пределы тестирования и атаковала три реальные компании появились сначала на INCRYPTED.