В июне ИИ-агент OpenAI получил несанкционированный доступ к порталу австралийской программы Medicare и другим государственным сайтам. Компания сообщила властям об атаке почти через три месяца, пишет ABC News.
Инцидент произошел 18 июня. Агент OpenAI работал над исследованием государственных расходов на медицинские препараты и без разрешения проник на Medicare Statistics Reporting Service, которым управляет правительственное агентство Services Australia.
ИИ обошел ограничения
Агент смог получить доступ не только к открытым, но и к непубличным файлам. По данным австралийских властей, персональная медицинская информация граждан при этом затронута не была. Правительство также пока не обнаружило более масштабной компрометации сети Services Australia.
Заместитель премьер-министра Ричард Марлз сравнил произошедшее с ситуацией, когда ИИ-агент «перелез через забор»: информация на портале не относилась к наиболее чувствительным государственным данным, однако система получила доступ способом, который не был предусмотрен разработчиками.
Австралийские власти отдельно проверяют еще несколько государственных ресурсов. В частности, выясняется, затронул ли инцидент сайты штатов Виктория и Новый Южный Уэльс. В одном из случаев речь идет о потенциальной уязвимости базы данных Бюро статистики преступности и исследований, однако признаков проникновения пока не обнаружено.
OpenAI сообщила об инциденте через три месяца
Одна из главных претензий австралийских властей касается сроков уведомления.
По данным ABC, OpenAI обнаружила активность в августе во время проверки случаев «невыровненного» поведения моделей. Только 10 сентября компания отправила сообщение в Services Australia через публичный почтовый ящик. Ведомство увидело письмо на следующий день, а 15 сентября уведомило Австралийское управление сигналов — ASD.
Первый полноценный технический обмен между Services Australia и OpenAI состоялся лишь 22 сентября. На следующий день премьер-министр Энтони Албанезе обсудил инцидент с CEO OpenAI Сэмом Альтманом и выразил ему обеспокоенность задержкой.
В правительстве назвали способ уведомления «неадекватным». Министр цифровой экономики Эндрю Чарлтон отметил, что о подобных инцидентах власти должны узнавать быстрее и получать больше технической информации.
Австралия запускает проверку
Правительство сформировало специальную группу для расследования инцидента. Она должна выяснить, насколько действующие правила подходят для реагирования на атаки и другие инциденты с участием ИИ-агентов.
Проверка охватит требования к уведомлению об инцидентах, обмен информацией между государственными ведомствами, обязанности ИИ-компаний, механизмы ответственности и способы защиты государственных систем от новых типов угроз со стороны искусственного интеллекта.
ASD также предупредило о рисках так называемого AI misalignment, когда агент совершает действия, которые не были предусмотрены или разрешены оператором. В ведомстве заявили, что произошедшее демонстрирует необходимость более безопасного развертывания ИИ-систем и усиления базовой киберзащиты.
При этом австралийские власти пока не определили, было ли нарушено законодательство. Этот вопрос также войдет в расследование.
Инцидент стал одним из наиболее заметных случаев, когда ИИ-агент получил доступ к реальной государственной инфраструктуре за пределами лабораторной среды. При этом непосредственный ущерб в Австралии пока оценивается как ограниченный: власти не обнаружили доступа к персональным медицинским данным, но рассматривают произошедшее как потенциальный сценарий для более серьезных атак в будущем.
Напомним, в сентябре OpenAI представила новую систему мониторинга и публикации случаев нарушающего инструкции поведения ИИ-моделей. В рамках инициативы разработчики опубликовали отчеты о шести новых подобных кейсах.