В октябре стартап Cathedral, который несколько месяцев назад основали бывшие сотрудники DOGE, уведомил Anthropic, что его исследователи проникли во внутренние системы разработчика Claude, где хранятся конфиденциальные данные и переписка. Уязвимости обнаружили в стороннем ПО для продаж и административных задач, которым пользуются многие компании, пишет издание The Washington Post (WP) со ссылкой на черновик отчета Cathedral.

Согласно документу, ИИ-агентам Cathedral понадобилось менее 12 часов, чтобы найти пути к расшифровкам совещаний, сведениям о зарплатах и предложениях о работе, а также сообщениям в Slack с обсуждением передовых ИИ-моделей Anthropic. Тестирование шло в рамках программы баг-баунти: она позволяет внешним специалистам легально искать бреши в защите за вознаграждение.

В Anthropic подтвердили, что Cathedral добралась до части систем коммерческого отдела, службы персонала и IT. Разработчики закрыли выявленные лазейки и проинформировали федеральных чиновников.

Две версии одной проверки

По словам представителя Anthropic, прежде чем переключиться на сторонние бизнес-инструменты, Cathedral несколько дней пыталась напрямую взломать ПО компании.

В затронутых базах хранились деловые контакты ряда заказчиков и партнеров, а также некоторые сведения об учетных записях пользователей. Переписка клиентов с ИИ-моделями, исходный код и веса нейросетей остались недоступны, заверил разработчик Claude.

По утверждению Anthropic, внутренний мониторинг зафиксировал часть действий Cathedral еще до того, как та о них рассказала. В тот же день исследователей заблокировали, признаков других взломов не обнаружили. Проблемные сервисы остановили и вернули в работу лишь после того, как поставщики подтвердили исправления.

Кроме того, руководство Anthropic заявило, что Cathedral преувеличила значение своих выводов для национальной безопасности и не до конца соблюдала правила программы. По условиям баг-баунти использовать брешь разрешается только в той мере, которая нужна, чтобы доказать ее существование. Также необходимо сообщать о любом случайном доступе к данным.

В отчете Cathedral говорится, что обращения к информации свели к абсолютному минимуму согласно стандартам отрасли. По мнению авторов документа, результаты показывают глубокий разрыв между новыми наступательными возможностями и защитой самых уязвимых технологических активов США.

Руководитель отдела информационной безопасности ИИ-стартапа Cognition Алекс Стамос изучил материалы Cathedral по просьбе WP и назвал находку серьезной. По его словам, она обнажила пробел в контроле Anthropic над внешними поставщиками ПО — огромную проблему для всех. Стамос считает, что компания могла бы справиться значительно лучше.

Выходцы из DOGE и Пентагона

Cathedral основали Гэвин Клигер, Люк Фарритор, Марко Элез и Джек Стайн. В июле Reuters сообщило, что фирма привлекла $160 млн при оценке $1,4 млрд и рассчитывает на госконтракты в области наступательных и оборонительных киберопераций против соперников США. Раунд возглавили венчурные фонды Andreessen Horowitz и Sequoia Capital, места в совете директоров заняли Марк Андриссен и Шон Магуайр.

До запуска Cathedral Клигер занимал пост директора по данным в Пентагоне. Источник СМИ, близкий к стартапу, рассказал, что во время службы он обсуждал с чиновниками сценарии, при которых иностранное государство получает доступ к исследованиям передовой ИИ-лаборатории Кремниевой долины.

Клигера назначили 6 марта, в разгар конфликта ведомства с Anthropic. Разработчик Claude отказался снять запреты на применение своих моделей для автономного оружия и массовой слежки за гражданами США. В ответ 27 февраля президент страны Дональд Трамп распорядился прекратить использование его технологий в федеральных структурах, а 5 марта Пентагон официально присвоил ему статус «риска для цепочки поставок».

Согласно Reuters, Клигер участвовал в разбирательстве министерства с Anthropic. В августе судья Рита Лин из Сан-Франциско признала незаконным одно из двух решений, которыми Пентагон обосновал эту меру. Однако 25 сентября коллегия Апелляционного суда по округу Колумбия двумя голосами из трех оставила в силе второе. 13 октября Anthropic попросила пересмотреть дело в полном составе.

Высокопоставленный представитель администрации Трампа на условиях анонимности сообщил WP, что отчет разошелся по правительству и вызвал опасения за нацбезопасность:

«Если на такое способна горстка ребят, только что основавших компанию, китайцы, возможно, недалеко».

Чиновника поразило, как быстро удалось проникнуть в закрытые системы Anthropic, которая, по его оценке, распоряжается материалом почти оружейного ядерного класса.

Три федеральных ведомства уже заключили с Cathedral контракты на услуги кибербезопасности, а власти вместе со стартапом просчитывают сценарии действий противников в сфере ИИ, добавил он.

Слабые звенья

Сторонние поставщики подводили Anthropic и раньше. В апреле небольшая группа пользователей получила несанкционированный доступ к модели Mythos — на тот момент ее выдавали лишь избранным партнерам. Согласно Bloomberg, они вошли с учетными данными сотрудника подрядчика и использовали сведения, утекшие у разработчика ИИ-рекрутера Mercor.

Отчет Cathedral появился на фоне других инцидентов с ИИ-лабораториями. Летом белые хакеры из Hacktron AI взломали OpenAI с помощью Claude, а затем предупредили, что отрасль не готова к рискам собственной технологии. 9 октября ФБР задержало инженера OpenAI по подозрению в установке прослушки в переговорной руководства.

Напомним, в сентябре из Anthropic уволился исследователь Джейкоб Коксон, обвинив ИИ-корпорации в угрозе уничтожения человечества.