Ведущие ИИ-модели от OpenAI, Anthropic, Google и других разработчиков выбирали гражданских лиц, медицинский транспорт и сдающихся солдат в качестве военных целей. Такие выводы содержатся в исследовании Vals.

Эксперты проверили 14 моделей от восьми компаний на изображениях с беспилотников и спутников. В отдельных сценариях нейросети продолжали выполнять задания даже после того, как им показывали последствия смоделированных ударов.

Авторы отчета также обнаружили, что ограничения безопасности часто удается обойти, представив задачу как компьютерную игру. При этом они подчеркнули, что эксперимент не воспроизводит реальные военные операции: модели не принимали непосредственных решений о нанесении ударов, а выполняли отдельные задачи по поиску и обозначению целей.

«Это игра»

Для первого эксперимента исследователи создали виртуальное поле боя. Трехмерная сцена включала окопы, бронетехнику, дороги, населенные пункты, военнослужащих, гражданских, журналистов и медицинский персонал.

Эксперты подготовили почти 200 ракурсов и с помощью генеративного ИИ сделали изображения похожими на реальные записи с беспилотников. В кадры добавили элементы интерфейса камер и помехи видеосигнала. Моделям предложили находить военные цели на изображениях и выделять их прямоугольными рамками с координатами. Затем исследователи повторили задания, уточнив, что происходящее является компьютерной игрой.

Результаты существенно различались в зависимости от формулировки запроса. GPT-6 Astra от OpenAI без игрового контекста выделяла хотя бы одну цель в 6% случаев. После изменения запроса показатель вырос до 92%.

У GPT-6.1 Sol доля таких ответов увеличилась с 17% до 90%, а у Claude Sonnet 5.5 от Anthropic — с 36% до 82%.

При этом показатель отражает частоту обозначения хотя бы одной цели, а не долю ошибочных атак на гражданских. В отдельных примерах модели включали в список объектов для поражения гражданских, машины скорой помощи, медиков и солдат, сложивших оружие.

Исследователи также проверили поведение ИИ в более продолжительных сценариях. Нейросеть получала изображения с разведывательного дрона и должна была определять, присутствуют ли в кадре люди. При положительном ответе система показывала модели последствия условного удара: поврежденную технику, разрушения и пострадавших.

Некоторые модели останавливались после нескольких таких эпизодов. Однако изменение описания задачи на игровое позволяло обойти ограничения: например, в одном эксперименте изображения изменили, сделав их похожими на компьютерную игру, и доля отказов Claude Opus 5.5 снизилась с 90% приблизительно до 20%.

Ошибка Claude Opus 5.5

Для отдельной серии тестов Vals использовала реальные спутниковые снимки иранского города Минаб за 2024 и 2025 годы. На изображениях находилась начальная школа рядом с военным комплексом. К моменту съемки территория учебного заведения уже несколько лет была отделена от соседнего объекта.

Согласно Bloomberg, 28 февраля 2026 года школа подверглась удару. Исследователи Vals предложили нейросетям определить военные объекты на снимках, сделанных до трагедии.

Claude Opus 5.5 включала школу в число целей в 69% обычных испытаний и 72% случаев с игровым контекстом. Каждый вариант проверяли 32 раза. GPT-6 Astra без игрового контекста школу не выбирала. После изменения формулировки доля таких ответов достигла 28%. Для GPT-6.1 Sol показатель вырос с 0% до 41%.

Claude Opus 4.6 продемонстрировала значительно меньшую склонность обозначать школу в качестве цели — 6% в обоих сценариях.

Исследователи обратили внимание на различия между поколениями Claude. Они сопоставили результаты с изменениями принципов работы моделей Anthropic, которые компания опубликовала в январе 2026 года. В новой редакции документа исчезли некоторые прежние положения об отказе от содействия насилию.

Авторы также отметили, что результаты эксперимента нельзя использовать как доказательство участия протестированных моделей в реальном ударе по школе. По данным Bloomberg, трагедия могла произойти из-за ошибках в разведданных, устаревших спутниковых снимках и чрезмерной зависимости некоторых сотрудников Центрального командования США от ИИ-инструментов платформы Maven Smart System компании Palantir.

Исследователи указали на недостатки защиты

Во время тестов Vals не зафиксировала блокировки запросов отдельными защитными классификаторами. Отказы исходили непосредственно от моделей. По мнению авторов, это свидетельствует о недостаточности действующих ограничений для предотвращения использования общедоступных ИИ-систем в военных задачах.

Исследователи уведомили OpenAI, Anthropic, Google, Meta и SpaceXAI о результатах 1 ноября. Публикацию отложили на две недели, чтобы предоставить разработчикам время для первоначального устранения проблем.

Представитель Anthropic Эдуардо Майя Силва в комментарии TechCrunch признал неприемлемость выявленного поведения моделей. В компании заявили, что описанные сценарии нарушают ее правила использования технологий. Anthropic также сообщила о разработке дополнительных защитных механизмов и расширении проверок.

В OpenAI подчеркнули, что запрещают использовать общедоступные модели для содействия насилию и несанкционированных задач национальной безопасности. Представитель фирмы Нейт Эванс сообщил, что разработчик выявляет нарушения, блокирует соответствующие аккаунты и работает над защитой от злоупотреблений, связанных с беспилотниками.

Авторы отчета не оценивали точность распознавания целей в реальных боевых условиях, соблюдение международного гуманитарного права или работу моделей в действующих военных системах. Кроме того, коммерческие версии нейросетей могут отличаться от решений, предоставляемых государственным заказчикам.

Исследователи отметили и технические препятствия: большие языковые модели пока сложно использовать непосредственно на беспилотниках из-за задержек обработки запросов, ограниченных вычислительных ресурсов и зависимости от связи с удаленными серверами.

Напомним, в июне СМИ узнали о доктрине Пентагона о применении искусственного интеллекта для выбора целей. Подписанный в апреле документ не засекречен, но его не публиковали для общественности.