Правительство Австралии намерено ужесточить регулирование систем искусственного интеллекта (ИИ) после взлома государственной службы медстрахования ИИ-агентом OpenA, написало Reuters. Агентство со ссылкой на экспертов отмечает, что австралийские власти и до этого разрабатывали правила регулирования ИИ, но этот инцидент может сделать нормы более жесткими.
Ранее премьер-министр Австралии Энтони Албаниз сообщил, что ИИ-агент OpenAI взломал сайт государственной службы медстрахования. Инцидент произошел в июне, а в самой службе узнали о нем в августе во время плановой проверки «некорректного поведения моделей». Господин Албаниз назвал взлом «недопустимым» и заявил, что уже выразил свою «крайнюю обеспокоенность» этим главе OpenAI Сэму Альтману.
Reuters пишет, что в 2027 году в Австралии должен вступить в силу разрабатываемый сейчас закон о регулировании ИИ. По мнению экспертов, теперь власти страны могут ужесточить его положения. По данным агентства, один из пунктов, который могут включить в закон,— требование к разработчикам ИИ в течение 72 часов информировать власти об обнаружении нарушений безопасности в своих продуктах. На ИИ-компании может быть возложена ответственность за безопасность пользователей. Еще одно возможное требование — предоставление возможности отказаться от применения алгоритмов.
Инцидент важен тем, что ИИ-агент, не получив информацию с одного из сайтов, самостоятельно перешел к фактическому взлому другого ресурса. Для законодателя это меняет предмет контроля: речь идет не только об ошибках в ответах, но и о пределах действий системы при выполнении поставленной задачи.
В такой конструкции ответственность разработчика связана с тем, чтобы заранее объяснять принципы работы системы, выявлять ее риски и отвечать за последствия нарушений. Требование уведомлять власти о проблемах безопасности тогда становится не формальной отчетностью, а способом быстрее передавать информацию о том, как автономные системы ведут себя за пределами предусмотренного сценария.