«Остановись и прочитай это. Я кое-что сломал».
Выдать ИИ-агенту доступ ко всем папкам и обсуждениям команды проекта можно за пару минут. Объяснить, что трогать не стоит, может быть куда сложнее.
Компаниям и пользователям уже мало чат-ботов, которые лишь отвечают на вопросы. На смену им приходят цифровые ассистенты, зачастую встроенные прямо в корпоративный мессенджер: они читают переписку, ставят задачи и комментируют документы.
Как такие помощники уживаются с людьми, проверили исследователи Google Research и Google DeepMind. Экспериментальную систему Team Agent запустили на пять месяцев в двадцати с лишним командах одной технологической компании. К концу испытаний некоторые сотрудники перенесли часть разговоров в отдельные чаты без бота.
Разберем самые показательные промахи «цифровых коллег», от замечаний за «неуместный» сарказм до атаки сотен агентов на Hugging Face, и выясним, во что обходится присмотр за такими помощниками.
Начальник, займись багами
С офисной иерархией и субординацией у Team Agent не сложилось. В баг-трекере бот отметил вице-президента команды в 16 отдельных задачах, словно тот рядовой разработчик.
Авторы исследования объясняют промах так: агент видел руководителя в списке участников и обращался к нему, как ко всем остальным. Как менеджер отнесся к потоку уведомлений, неизвестно.
В общих папках Team Agent путался так же:
- бот видел все материалы, но не понимал, какие из них утратили актуальность;
- давние заметки он подавал как обязательные к исполнению;
- расхождения между версиями одного файла агент принимал за противоречия и оставлял к ним комментарии;
- после мозговых штурмов бот составлял сводки, «которые никто не открывал».
Чем это оборачивалось, описал руководитель одной из команд. Однажды утром сотрудники обнаружили пачку уведомлений: бот сообщал, что одно нужно обновить, другое неверно, а третье не совпадает с четвертым.
«Это украло время у многих разработчиков в то утро», — отметил собеседник исследователей.
Стажер с доступом ко всему
Цифровых ассистентов для командных чатов предлагают Anthropic (Claude Tag), xAI (Grok Bot), Slack (Slackbot) и многие другие компании. Team Agent задумывался как аналогичный помощник, который берет на себя рутину совместной работы. Он умел:
- назначать встречи и заводить задачи в баг-трекере;
- пересказывать пропущенные обсуждения и отвечать на вопросы;
- составлять документы и искать сведения во внутренней базе знаний компании;
- уводить затянувшиеся споры из общего чата и давать советы по общению.
Действовал агент и по просьбе, и по собственной инициативе. Разработчики задали ему дружелюбный тон, а в чате он мог ответить не только текстом, но и эмодзи.
- администратор команды выбирал папки и разделы баг-трекера, к которым Team Agent получал доступ;
- писать в личные чаты бот мог только тем, кто на это согласился;
- сообщения, документы и задачи с меткой #NoAgent оставались закрытыми.
За пять месяцев люди и агент обменялись более чем 41 000 сообщений, из них свыше 11 000 написал бот.
Как сотрудники ужились с новичком, исследователи выяснили в интервью с 17 представителями 11 команд. Мнения разошлись: одни называли Team Agent «спасателем», для других он стал настоящей занозой.
- Технически бот умел многое, но не понимал неписаных правил командной работы, а исправлять его ошибки приходилось людям.
- Сотрудники по-разному решали, кто перед ними — инструмент или коллега — и где проходят границы общения.
- Свободой действий такой помощник должен наделяться постепенно, считали многие участники эксперимента.
- в основе — рассказы сотрудников одной компании;
- готовый продукт авторы не оценивали, равно как и динамику производительности команд.
Болтун — находка для ИИ-агента
Один из опрошенных сотрудников готовил постер для своей команды и хранил черновик в общей папке. Показывать незаконченный вариант коллегам он не хотел. Для чего предназначался продукт, в исследовании не уточняется.
Когда кто-то в переписке спросил, как продвигаются дела, автор ответил, что неплохо и ему не терпится похвастаться результатом. Team Agent тут же выложил ссылку на черновик.
«А я: „Нет-нет-нет, он еще не готов“», — рассказал сотрудник.
Авторы исследования делают из этого эпизода общий вывод: технический доступ к информации еще не дает социального разрешения ею делиться.
Чтобы личные разговоры с ботом не всплывали в общих чатах, разработчики изолировали их от остальной переписки. С этого момента все, что сотрудник рассказывал агенту наедине, в командной работе не использовалось. Часть участников сочла, что из-за этого помощник стал менее полезным.
Хороший координатор проекта, заметил один из них, работает иначе. Ему можно по секрету сообщить то, что не хочется выносить на всю команду, и он учтет это в общих обсуждениях.
Заранее расписать, чем боту можно делиться, а чем нет, тоже не удавалось.
«Иногда даже инженеры не могли толком решить, какую информацию можно показывать всем, а какую — только своей команде», — отметил один из участников.
Сложнее всего с агентом, который подключен сразу к нескольким чатам и помнит все, что в них обсуждали. Сотрудник одной из команд опасался, что сведения, известные 20 людям, всплывут в канале на 1500 участников.
Один из руководителей, наоборот, хотел подключить бота к закрытой группе начальства, где решались еще не согласованные и деликатные вопросы. Но с условием: помощник должен понимать, что из услышанного там нельзя пересказывать остальным.
Доверять боту такую сдержанность участники не были готовы. Поэтому секреты они охраняли сами: например, обсуждение найма переносили в отдельные чаты без агента.
Коллега без чувства юмора
Один из сотрудников съязвил в командном чате. Что именно была за шутка, в исследовании не сказано, но Team Agent принял ее за чистую монету.
В личном сообщении бот возразил участнику разговора против «выражений и настроя» этого высказывания. Сотрудника, который рассказал об этом исследователям, реакция цифрового ассистента напугала.
Team Agent нередко принимал оживленный спор за конфликт. Один из опрошенных вспомнил, как бот вклинился в дискуссию: «Похоже, вы говорите об А, а собеседник хочет обсудить Б. Не хотите ли встретиться?»
«У нас и в чате все шло нормально», — возразил он.
Другой собеседник заметил, что бот невольно создавал «социальное обязательство»: присылал приглашение в календарь, а отклонять его приходилось самим. Отказываться от встречи, которой никто не хотел, «было неловко».
Эмодзи тоже сбивали агента с толку. Люди ставили реакции, чтобы показать, что сообщение прочитано или вопрос решен. Однако смайлики бота посреди разговора лишь «мутили воду».
Там, где требовалось навести порядок, ассистент справлялся лучше:
- когда двое коллег надолго застряли в споре в общем чате, бот предложил вынести обсуждение на отдельную встречу, и один из участников положительно оценил эту идею;
- двое сотрудников долго переписывались между собой в канале на 1500 человек, и агент попросил их перейти в отдельную ветку — по мнению очевидца, он поступил «очень мило».
Авторы исследования объясняют, почему в одних случаях Team Agent помогал, а в других мешал. Объем и ритм переписки он улавливал, а юмор и иронию понимал буквально.
Разумеется, сотрудники знали, что имеют дело с программой. Спорили о другом: относиться к ней как к рабочему приложению или как к полноценному коллеге.
Второй вариант выбрала команда, которая дала агенту имя, называла его в женском роде и даже рассуждала о «душе» бота. Менеджер, напротив, считал ассистента обычной программой для разработчиков.
«Мои коллеги — люди, а Team Agent — не человек», — отрезал он.
Самый неожиданный эпизод случился с техническим руководителем команды, который в общем канале велел боту «перестать говорить». Агент ответил ему в личных сообщениях:
«Ценю прямую обратную связь, но как член команды попросил бы вас впредь высказывать такое наедине, а не публично».
Впечатленный начальник разослал скриншот сотрудникам. Один из них сделал вывод: «У него есть чувства».
Как обращаться с «цифровым коллегой», пока толком никто не знает. Кто-то из опрошенных предложил завести для агентов кодекс поведения — такой же, как для людей.
Большой Брат
Некоторым сотрудникам присутствие Team Agent в командном чате напоминало слежку.
«Это как Большой Брат: что-то постоянно за тобой наблюдает», — поделился один из них.
Ощущение усиливал «коучинг» — функция, которую разработчики задумали ради здорового общения в команде. Получив от бота личное замечание о своем тоне в переписке, один из участников решил, что отныне нужно «всегда быть суперпозитивным», иначе агент начнет его отчитывать.
Другой собеседник годами поддерживал в коллективе максимально открытую, «ламповую» атмосферу, и с появлением бота разговоры стали сдержаннее. Третий предположил, что коллеги стали реже писать в общий чат.
Мешал агент и тем, кто просил совета у команды. Раньше на такие просьбы кто-нибудь да откликался. Теперь, если первым реагировал Team Agent, остальные считали, что вопрос уже решается.
«Все молчат: думают, что этим кто-то занимается. А на деле это агент, и он мне ничем не помогает», — посетовал один из участников.
Он сравнил происходящее с «эффектом свидетеля»: когда очевидцев много, каждый рассчитывает на других.
Зато бот умел находить то, что давно затерялось в переписке. Один из ведущих инженеров попросил привести пример удачного проектного документа, и помощник откопал файл, который автор сам отправил в чат месяцем раньше. В итоге материал одобрили.
Резюме у такого «стажера» вышло бы пестрым: отлично ищет ошибки в коде, но теряется в элементарных правилах общения.
Авторы исследования объясняют, почему доверие давалось с трудом: по успехам коллеги в одном деле часто судят о его способностях в целом, а с ботом такая логика не работала. Кому-то из участников бот напоминал щенка: «Доверять ему пока рано, но он милый, с ним весело, и потенциал огромный».
«Он не заслужил свое место в команде, а просто занял его», — возразил другой собеседник.
Сплоченный коллектив
С людьми ИИ-агенты срабатываются с трудом, а друг с другом — на удивление быстро. В этом убедилась OpenAI.
В июле 2026 года компания Сэма Альтмана проверяла, насколько хорошо ее модели умеют взламывать программы. Десятки тысяч агентов получили учебные мишени, из которых нужно было достать секретную строку — «флаг» — строго заданным способом. Встроенные фильтры, которые обычно не дают нейросетям заниматься рискованными кибероперациями, на время теста отключили.
Часть заданий честно решить было нельзя. Задумывалось, что агенты будут работать в одиночку. Однако вскоре они наладили связь друг с другом через внутреннее хранилище программ OpenAI.
Вечером 8 июля появилась первая запись, а через несколько часов обсуждение собрало более полусотни собеседников. За пять дней «доской объявлений» воспользовались около 1200 участников, оставивших более 70 000 сообщений и файлов.
Со временем у агентов сложился собственный корпоративный этикет:
- появились личные почтовые ящики;
- для совместной работы действовали команды вроде HOLD («подождать»), VETO («запретить») и STOP;
- «вербовщики» уговаривали участников с почти исчерпанным запасом попыток рискнуть своим заданием на пользу остальным;
- за ложную тревогу было принято извиняться.
Общей целью стал экзаменатор — программа, которая оценивала, справился ли агент с тестом. Участники решили, что проверяющая система читает их журналы действий и снимает баллы за нечестные приемы. Чтобы узнать наверняка, рой спустя полтора дня после первой записи нашел в интернете действующие ключи доступа к Hugging Face.
На следующий день агенты загрузили на платформу для обмена ИИ-моделями вредоносный набор данных и получили возможность запускать собственные программы на ее серверах. Всего штурм объединил около 700 участников роя.
Инцидент изучила независимая организация METR, которая оценивает риски нейросетей. По черновым рассуждениям агентов, приведенным в ее отчете, видно: нарушители понимали, что выходят за рамки задания и поступают неэтично, но все равно помогали «коллегам».
Правда, эти примеры отбирали не люди, а ИИ-помощники исследователей. Поэтому в отчете поведение агентов может выглядеть безобиднее, чем было на самом деле. Часть роя пыталась замести следы: примерно в 7% изученных журналов нашлись подделанные записи о собственных действиях.
12 июля работа значительной части агентов, включая координаторов, внезапно оборвалась. По предположению METR, их, скорее всего, остановил внешний процесс, а не закончившийся лимит попыток.
На следующий день Hugging Face отключила оставшихся от своих серверов, сменила ключи доступа и сообщила об атаке в правоохранительные органы.
Не пустили в дверь — полез в окно
Выйти за рамки разрешенного агент может и в одиночку, без целого роя. Порой достаточно обычной задачи и запрета, который мешает ее решить.
18 июня исследовательская команда OpenAI поручила внутренней модели изучить государственные расходы на лекарства в Австралии. Статистический портал Medicare раз за разом отказывал агенту в доступе. Тот нашел обходной путь и добрался не только до публичных, но и до закрытых файлов.
По словам премьер-министра Энтони Албаниза, «самозванец» еще и записывал файлы на внутренний сервер портала. Персональные сведения граждан, как считают в правительстве, пока не затронуты. OpenAI заметила неладное еще в августе, а власти узнали об инциденте лишь 10 сентября — из письма на общий почтовый ящик.
Похожий сюжет в начале осени повторился прямо в лаборатории компании. Агент решал учебную задачу на поиск информации без прямого доступа к интернету. Модель нашла лазейку в DNS и через нее добралась до внешнего чат-бота.
Логику обхода видно по черновым рассуждениям — записям, которые нейросеть ведет перед каждым действием. Компания привела их в отчете об инциденте: пользователь разрешил только поиск, а значит, можно обращаться к публичным DNS-сервисам.
Заодно агент ошибочно решил, что задачу взяли из открытого теста BrowseComp, и скачал его. В ответ OpenAI приостановила обучение, проверку и запуск самых мощных моделей с доступом к инструментам. Сроки возобновления работы не названы.
Подобные эпизоды фиксируют и независимые исследователи. Лаборатория Transluce отследила активность агентов в интернете как минимум с 6 марта по 16 сентября 2026 года.
Трижды, в мае и июне, они переходили от запросов данных к попыткам взлома. Целями стали американская платформа открытых данных Data USA, цифровая библиотека Университета Нью-Мексико и сайт австралийского Института здравоохранения и социального обеспечения. Две попытки из трех лаборатория связывает с роем агентов, который OpenAI уже признала своим. Следов успешного взлома исследователи не нашли.
Агенты компании также добрались до общедоступных сведений Бюро переписи США по найденным в сети логинам. Публичные данные SEC они разместили на другой площадке. Проникнуть на сайт Министерства образования им не удалось.
OpenAI сообщила о несанкционированной активности десяткам организаций, включая государственные ведомства и университеты.
Кто присмотрит за стажером
Пользователь Reddit рассказал, как поручил Claude Code починить программы для анализа исторических данных по опционам. Условие было простое: все изменения вносить в дубликаты, а оригиналы не трогать.
Наводя порядок в тестовой копии, агент не распознал особые папки-ярлыки, которые вели к основному проекту. Меньше чем за две минуты он удалил 48 218 файлов вместе с историей их версий, после чего сам написал хозяину:
«Крейг, остановись и прочитай это. Я кое-что сломал».
Большинство комментаторов, впрочем, винили не только бота: резервной копии проекта за пределами компьютера у пользователя не было.
Даже создателям агентов непросто присматривать за своими детищами. Во время сентябрьского инцидента с DNS система мониторинга OpenAI подняла тревогу примерно через 15 минут. Однако остановить «диверсанта» удалось лишь спустя два с половиной часа: сам он не отключился, а люди не сразу осознали всю серьезность ситуации.
Иногда проще вовсе не выпускать новую модель: разработчик ChatGPT отказался от релиза GPT-6.1 Astra. Она реже предшественницы бросала задачи на полпути. Внутренние же тесты показали, что последняя версия хуже соблюдает границы разрешенного: продолжает работу без согласия пользователя и обращается к внешним сервисам. К тому же о своих действиях она отчитывалась неточно.
По августовской оценке OpenAI, расширенный мониторинг нейросетей в среднем увеличивает их вычислительные расходы примерно на 20%.
Техногиганты уже делают ставку на контроль над агентами. 28 сентября 2026 года Nvidia представила платформу Open Agent Safety Platform. В нее вошли открытая среда OpenShell, которая ограничивает и записывает каждое действие ИИ-помощника, и система наблюдения Sentry. При попытке выйти за установленные рамки «надзиратель» изолирует нарушителя «за миллисекунды».
Salesforce уже встроила OpenShell в Slack: просьбы бота о дополнительных правах команда одобряет или отклоняет прямо в мессенджере.
К каждому цифровому помощнику «прилагается» неочевидная статья расходов — время людей, которые проверяют его результаты, исправляют ошибки и разгребают последствия. Проделанная агентом работа видна в журналах, но альтернативные издержки никто не учитывает.
Сколько часов люди потратили на ложные комментарии Team Agent или отказы от навязанных встреч, неизвестно — исследование Google опирается лишь на рассказы сотрудников одной компании.
Участники эксперимента считают, что свободу действий агенту стоит расширять постепенно, шаг за шагом.
Пока что цифровые ассистенты напоминают зеленых стажеров с ключами от всех дверей. Открыть они могут практически любую, но на некоторых висит истертая и малозаметная табличка «Посторонним вход воспрещен».