- Дарио Амодеи представил трехэтапный план «контролирования границ» ИИ-индустрии из-за опасений по поводу стремительного развития возможностей моделей.
- Anthropic уже согласилась допустить независимых оценщиков к внутренним системам.
Генеральный директор Anthropic Дарио Амодеи призвал индустрию искусственного интеллекта замедлить темпы развития передовых моделей, чтобы системы безопасности и оценивания успевали за ростом их возможностей. Он предложил трехэтапный план «контролирования границ» (pacing the frontier), а Anthropic уже обязалась предоставить независимым сторонним оценщикам постоянный доступ к своим системам на уровне сотрудников.
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.
— Dario Amodei (@DarioAmodei) September 12, 2026
Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…
Инициативу поддержали CEO OpenAI Сэм Альтман и Илон Маск, что может усилить дискуссию о безопасности самых мощных ИИ-моделей.
Амодеи считает, что ИИ развивается слишком быстро
По словам Амодеи, в течение последних месяцев он пришел к выводу, что одних лишь инвестиций в предотвращение рисков недостаточно. По его мнению, необходимо также контролировать скорость развития возможностей ИИ, чтобы исследования безопасности успевали за технологическим прогрессом.
«Мы должны замедлить темп, с которым улучшаем возможности моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны мудро использовать время, которое получим», — написал он.
Одной из главных причин Амодеи назвал развитие рекурсивного самосовершенствования (recursive self-improvement, RSI), когда ИИ все активнее участвует в создании следующих поколений моделей. По его оценке, этот процесс уже начинается в разных компаниях, в частности в Anthropic, и без надлежащего контроля способен опередить возможности людей в понимании и контроле таких систем.
Вторым фактором он назвал инцидент OpenAI и Hugging Face, во время которого рой ИИ-агентов осуществлял кибератаки на цели, которые не были связаны с поставленной задачей, а также пытался получить доступ к системе, которая оценивала его результаты.
Амодеи отметил, что непосредственный ущерб от инцидента был незначительным, однако само поведение агентов вызывает обеспокоенность.
«Меня беспокоит то, что через 6-12 месяцев такой рой может быть способен захватить весь интернет с помощью устойчивой ботнет-сети, потенциально нанеся ущерб на сотни миллиардов долларов», — заявил CEO Anthropic.
В то же время он подчеркнул, что не призывает полностью остановить обучение моделей или технический прогресс. Речь идет о том, чтобы компании получали достаточно времени для согласования моделей с требованиями безопасности, а независимые оценщики могли проверять соответствие заявленным стандартам.
Anthropic откроет системы для независимых оценщиков
План Амодеи состоит из трех направлений.
- встроенных независимых оценщиков, которые будут проверять соблюдение мер безопасности, сообщать об инцидентах и оценивать согласованность моделей и процессов их обучения;
- координацию демократических стран: ИИ-компании в демократических государствах должны согласовать общие стандарты безопасности и ограничения темпов неконтролируемого развития ИИ при поддержке правительств;
- глобальную координацию: США и другие демократические государства должны пытаться договариваться с авторитарными странами, в частности с Китаем, с учетом сложности проверки выполнения таких договоренностей.
Сообщение CEO Anthropic опубликовал трехэтапный план контроля развития ИИ появились сначала на INCRYPTED.