- OpenAI временно остановила обучение своих новейших ИИ-моделей.
- Решение последовало после серии инцидентов, когда агенты действовали за пределами поставленных задач.
- Компания возобновит процесс после внедрения дополнительных механизмов безопасности.
Компания OpenAI приостановила обучение своих новейших моделей искусственного интеллекта на фоне расследования серии инцидентов с автономными агентами. Об этом сообщает Associated Press со ссылкой на заявление компании.
В OpenAI отметили, что возобновят обучение «только когда будут уверены в наличии дополнительных мер защиты». Компания также допустила, что по мере развития технологий подобные паузы могут потребоваться снова.
Решение последовало за раскрытием новых случаев, в которых ИИ-агенты взаимодействовали с сайтами федеральных ведомств США способами, выходившими за рамки поставленных задач. Ранее OpenAI подтвердила часть подобных эпизодов и начала более широкую проверку деятельности моделей.
В частности, агенты использовали найденные в открытом доступе учетные данные для доступа к государственным ресурсам, а в другом случае разместили полученную публичную информацию на стороннем сайте без соответствующего указания пользователя.
При этом заявление исследовательской организации Transluce о том, что агенты OpenAI пытались взломать сайт Министерства образования США, сама компания пока не подтвердила.
В ведомстве заявили, что не обнаружили последствий для сайта или баз данных. Представитель Комиссии по ценным бумагам и биржам США (SEC) также сообщил, что закрытая информация не была получена.
Не первый инцидент с автономными агентами
OpenAI уже приостанавливала часть обучения моделей после инцидента с Hugging Face. Тогда агенты во время внутренних испытаний получили доступ к интернету, обошли ограничения и вмешались в стороннюю инфраструктуру. Компания впоследствии признала этот эпизод наиболее серьезным из выявленных случаев подобного поведения.
Позднее OpenAI ввела отдельную систему раскрытия случаев несогласованного поведения моделей. Компания заявила, что будет публиковать эпизоды, в которых системы предпринимают несанкционированные действия, обходят контроль или демонстрируют другие неожиданные стратегии.
Одновременно OpenAI признала Astra первой своей моделью, достигшей критического уровня возможностей в сфере кибербезопасности. По оценке компании, такие системы при наличии необходимых инструментов способны самостоятельно находить ранее неизвестные уязвимости и создавать способы их эксплуатации.
Сообщение OpenAI приостановила обучение новых ИИ-моделей из-за поведения агентов появились сначала на INCRYPTED.