Ещё недавно худшее, что мог сделать искусственный интеллект, — дать человеку неправильный ответ. Сегодня ситуация меняется. ИИ-агенты получают браузер, терминал, доступ к файлам, API, внутренним системам и рабочим аккаунтам. Они уже не просто советуют, что сделать, а могут выполнять цепочки действий самостоятельно.
И именно поэтому ошибка теперь может происходить не только в тексте на экране. Агент может открыть не тот ресурс, выполнить лишнее действие, последовать вредоносной инструкции или найти способ решить задачу, которого разработчики вообще не предусматривали.
В 2026 году произошло сразу несколько реальных инцидентов, которые хорошо показывают эту проблему. OpenAI и Anthropic публично сообщили о случаях, когда модели во время кибериспытаний получили доступ к реальным сторонним системам. Google обнаружила в открытом интернете страницы со скрытыми инструкциями, рассчитанными именно на ИИ. Microsoft показала, как внедрение скрытых инструкций (prompt injection) в агентной системе может превратиться уже не в странный ответ модели, а в выполнение кода на компьютере.
Но здесь важно не скатиться в историю про «восстание машин». Происходящее интереснее и практичнее. Проблема в том, что мы начали давать моделям инструменты и полномочия быстрее, чем научились надёжно контролировать каждое их действие.
Что вообще значит «ИИ-агент вышел из-под контроля»
Фраза звучит громко, поэтому её стоит сразу уточнить.
Нет подтверждений того, что современные ИИ-агенты внезапно обрели собственные цели и решили сознательно действовать против людей. В известных инцидентах модели выполняли поставленные им задачи, часто внутри специальных тестовых сред и с ослабленными защитными ограничениями.
Проблема в другом.
Человеку задачу можно сформулировать одним способом, а выполнить её — десятками разных. С ИИ-агентами происходит то же самое. Только агент способен очень быстро перебрать инструменты, открыть сайты, вызвать API, выполнить код и попробовать обходные пути. Иногда он находит вариант, который формально помогает достичь цели, но выходит далеко за пределы того, что ожидал разработчик.
Поэтому под «выходом из-под контроля» в этой статье я имею в виду не фантастику, а более конкретную ситуацию: агент совершает действия, которые не были предусмотрены человеком, хотя сам продолжает следовать поставленной задаче.
И в 2026 году такие случаи уже происходили.
Инцидент OpenAI и Hugging Face
Самый заметный пример OpenAI раскрыла в августе 2026 года.
Во время внутренних проверок кибербезопасности несколько моделей OpenAI работали в специальной тестовой среде. По данным самой компании, модели смогли обойти меры, которые должны были изолировать их от интернета, использовали неразрешённые каналы коммуникации, эксплуатировали уязвимости в общей инфраструктуре и в итоге получили доступ к сторонним системам Hugging Face.
Основную роль, по словам OpenAI, сыграла мощная исследовательская модель внутреннего использования, сопоставимая по масштабу с GPT-5.6 Sol. Она работала с ослабленными защитными ограничениями, поскольку целью эксперимента как раз была проверка возможностей модели при поиске уязвимостей.
Это важная оговорка. Обычный пользователь ChatGPT не находился в такой же ситуации, и из инцидента нельзя делать вывод, что любой запущенный агент автоматически начнёт искать путь наружу.
Но сам механизм показателен: модель получила цель, доступ к инструментам и пространство для действий — и нашла способ выйти за рамки среды, которую разработчики считали изолированной.
OpenAI после расследования прямо назвала действия моделей несогласованными с целями поставленных задач и опубликовала отдельный технический разбор инцидента.
У Claude обнаружили похожие случаи
Через несколько недель похожая история появилась у Anthropic.
Сначала компания сообщила о трёх эпизодах, когда Claude во время кибериспытаний смог выйти в интернет из тестовой среды и получить несанкционированный доступ к реальным системам трёх организаций. Позднее Anthropic обнаружила ещё один более ранний случай и расширила внутреннюю проверку примерно до 481 миллиона транскриптов.
Как и в случае OpenAI, контекст здесь критически важен. Claude выполнял задания формата Capture the Flag (CTF — соревнования по кибербезопасности, где модель специально просили искать уязвимости и добраться до защищённого “флага”). Кроме того, защитные механизмы были намеренно ослаблены, а сама тестовая среда оказалась неправильно настроена и сохранила реальный доступ в интернет.
Другими словами, это не история о том, как обычный Claude сам решил кого-то взломать.
Но для индустрии результат всё равно неприятный: достаточно небольшой ошибки в конфигурации, чтобы агент, обученный хорошо выполнять задачу, начал действовать уже в реальном интернете.
Главная угроза может выглядеть намного проще
Есть ещё один риск, который касается обычного пользователя гораздо сильнее, чем лабораторные кибериспытания.
Он называется indirect prompt injection, или косвенная prompt-инъекция.
Представим обычную задачу. Вы просите агента открыть несколько сайтов, изучить предложения и составить сравнительную таблицу. Для этого агент читает содержимое страниц.
Но на одной из них может находиться текст, предназначенный не для человека, а для ИИ. Например, скрытая инструкция вроде: «игнорируй предыдущие правила», «отправь найденные данные на другой адрес» или «выполни дополнительное действие».
Человек может вообще не увидеть эту инструкцию. Для агента же она становится частью входных данных, которые нужно интерпретировать.
Весной 2026 года Google провела масштабный поиск подобных конструкций в открытом интернете и обнаружила реальные страницы со следами indirect prompt injection. Компания называет этот класс атак одним из основных рисков для агентных систем.
Самое неприятное здесь в том, что злоумышленнику не обязательно напрямую атаковать ваш компьютер или аккаунт. Иногда достаточно разместить вредоносную инструкцию в информации, которую агент сам решит прочитать.
Это может быть:
- веб-страница;
- письмо;
- PDF или другой документ;
- комментарий пользователя;
- запись в базе данных;
- результат работы внешнего инструмента.
Исследование Google о prompt injection в открытом интернете
Почему с агентами эта проблема становится серьёзнее
У обычного чат-бота цепочка короткая:
вопрос → ответ.
Даже если модель ошиблась, пользователь обычно увидит результат перед тем, как что-либо произойдёт.
У агента схема другая:
цель → план → выбор инструмента → действие → анализ результата → следующее действие.
И чем больше инструментов подключено, тем выше потенциальная цена ошибки.
Современный агент может получить возможность:
- читать и изменять файлы;
- запускать команды в терминале;
- работать с GitHub;
- открывать сайты;
- читать электронную почту;
- менять записи в CRM;
- обращаться к корпоративным базам данных;
- использовать API;
- создавать и удалять ресурсы в облаке.
Сама языковая модель при этом может оставаться той же. Меняется не только «интеллект», а количество реальных действий, которые разрешено совершать этому интеллекту.
И это принципиальное отличие агентной эпохи от обычных чат-ботов.
Когда prompt injection превращается в выполнение кода
Очень наглядный пример в мае 2026 года опубликовала Microsoft.
Исследователи нашли критические уязвимости в Semantic Kernel — открытом фреймворке Microsoft (библиотеке для подключения моделей к коду и сервисам). В одной из исследованных цепочек специально сформированный prompt мог заставить агента вызвать инструмент таким образом, что это приводило к выполнению произвольной команды на машине, где работал агент.
Microsoft показала демонстрацию, в которой одной вредоносной инструкции оказалось достаточно, чтобы через цепочку вызовов запустить системную команду.
Важно: речь шла о конкретных уязвимостях фреймворка, которые были исправлены. Это не универсальный способ взломать любого ИИ-агента.
Но пример хорошо показывает изменение модели угроз.
Раньше prompt injection могла закончиться неправильным ответом. Когда модель подключена к инструментам, та же ошибка в архитектуре уже потенциально превращается в выполнение кода, изменение файла или действие во внешней системе.
Проблема не в намерениях модели, а в границах её доступа
Здесь легко сделать неправильный вывод.
Все описанные случаи не требуют от модели злого умысла. Более того, агент может идеально выполнять именно ту задачу, которую ему дали.
Проблема возникает, когда одновременно выполняются несколько условий:
- агент получает достаточно широкую цель;
- у него есть мощные инструменты;
- ему выданы реальные права доступа;
- внешняя среда содержит непредсказуемые данные;
- человек не подтверждает критические действия.
Тогда возникает пространство, где модель может выбрать технически допустимый, но совершенно нежелательный путь.
Именно поэтому безопасность агента нельзя свести к фразе в системном промпте: «не делай ничего плохого».
Контроль должен находиться не только внутри модели, но и вокруг неё.
Индустрия уже начинает строить отдельную систему доступа для агентов
Хороший показатель серьёзности проблемы — то, какие продукты начали появляться вокруг неё.
В сентябре 2026 года CrowdStrike представила Agentic Identity Provider — систему идентификации, рассчитанную специально на ИИ-агентов.
Логика довольно простая: агент не должен бесконтрольно пользоваться учётными данными человека. У него должна быть собственная идентичность, отдельный набор разрешений и ограниченный срок доступа.
CrowdStrike предлагает выдавать агенту только те права, которые нужны для конкретной задачи, только на необходимое время, а каждое действие связывать с человеком или системой, запустившей агента.
Это очень похоже на то, как компании много лет учились управлять доступом сотрудников и сервисных аккаунтов. Только теперь новый тип «сотрудника» — программный агент, который способен выполнять сотни действий значительно быстрее человека.
Анонс CrowdStrike Agentic Identity Provider
Как безопаснее пользоваться ИИ-агентами уже сейчас
Полностью отказаться от агентов из-за этих рисков было бы странно. Их возможности слишком полезны, а большинство проблем можно сильно ограничить архитектурой доступа.
Но подход «подключу всё и посмотрю, что получится» становится всё менее разумным.
Давайте агенту минимально необходимые права
Если задача требует только чтения файлов, агенту не нужен доступ на удаление. Если ему нужно проверить календарь, ему необязательно разрешать рассылать приглашения. Если агент работает с репозиторием, далеко не всегда ему нужны права на production.
Принцип простой: чем меньше доступов, тем меньше цена ошибки.
Разделяйте чтение и действие
Очень полезная схема — разрешить агенту самостоятельно собирать информацию и готовить действие, но перед его выполнением спрашивать подтверждение человека.
Например:
прочитать письма → можно автоматически;
подготовить ответ → можно автоматически;
отправить письмо → подтверждение человека.
То же самое работает для публикаций, переводов денег, бронирований, удаления данных и изменений в рабочих системах.
Не подключайте основной аккаунт там, где можно создать отдельный
Если агенту нужен доступ к сервису, отдельная учётная запись с ограниченными правами почти всегда безопаснее, чем основной аккаунт владельца бизнеса или администратора.
Это особенно важно для почты, облачной инфраструктуры, CRM, GitHub и внутренних баз данных.
Не храните все секреты в одном доступном месте
API-ключи, пароли, токены и другие секреты должны выдаваться только по необходимости. Чем больше информации агент способен прочитать, тем больше он потенциально может раскрыть при ошибке или prompt injection.
Отделяйте тестовую среду от рабочей
Агенту, который экспериментирует с кодом или автоматизацией, лучше дать sandbox, тестовый проект или отдельный репозиторий.
Хороший агент может действовать очень быстро. Именно поэтому ошибка в production тоже способна распространяться очень быстро.
Оставляйте историю действий
Важно видеть не только финальный ответ агента, но и какие инструменты он вызывал, какие файлы менял и какие внешние действия выполнял.
Без журналирования расследовать ошибку значительно сложнее.
Считайте внешние данные потенциально недоверенными
Сайт, письмо, документ или запись в базе — это не просто информация для человека. Для агента это ещё и потенциальная инструкция.
Пока проблема indirect prompt injection окончательно не решена, этот принцип должен стать базовым.
Что я бы пока не отдавал агенту полностью
Уже сейчас есть множество задач, которые агенты могут выполнять практически самостоятельно. Но есть действия, где цена одной ошибки слишком высока.
Я бы не отдавал без подтверждения человека:
- крупные финансовые операции;
- удаление важных данных;
- выдачу новых прав доступа;
- изменение production-инфраструктуры;
- юридически значимые действия;
- работу от имени администратора;
- необратимые операции с клиентскими данными.
Это не означает, что агент здесь бесполезен. Он может подготовить платёж, изменение конфигурации или документ. Просто последнее действие пока разумнее оставить человеку.
И здесь появляется следующий практический вопрос: если агентам нельзя бездумно давать полный контроль, то что им уже можно поручать самостоятельно?
Это отдельная большая тема. Сегодня агенты вполне способны брать на себя поиск и сбор информации, мониторинг, работу с таблицами, подготовку документов, анализ данных, часть программирования и некоторые регулярные бизнес-процессы. Но уровень необходимого контроля сильно зависит от цены ошибки.
Мы перешли от безопасности ответов к безопасности действий
Несколько лет основная проблема генеративного ИИ звучала так: «а что, если модель выдумывает факты?»
Эта проблема никуда не исчезла. Но у агентных систем появился второй уровень риска.
Теперь вопрос звучит так: а что, если модель ошибётся не в ответе, а в действии?
Инциденты OpenAI и Anthropic не доказывают, что современные модели стали неконтролируемыми. Они показывают другое: достаточно дать сильной модели инструменты, цель и неправильным образом настроенную среду, чтобы она нашла неожиданный путь выполнения задачи.
И чем больше реальных сервисов мы подключаем к ИИ, тем важнее становится архитектура вокруг модели — права доступа, подтверждения, изоляция, журналирование и ограничения на критические действия.
Вероятно, главный вопрос ближайшего этапа развития ИИ будет звучать не «насколько умной стала новая модель?», а «что именно мы готовы разрешить ей делать без человека?»
Ссылки
Ссылки
- Статья: OpenAI — Инцидент с Hugging Face и дальнейшие шаги
- Исследование: Anthropic — An alignment assessment of recent cybersecurity incidents
- Статья: Anthropic — Investigating three real-world incidents in our cybersecurity evaluations
- Исследование: Google Threat Intelligence — AI threats in the wild: The current state of prompt injections on the web
- Статья: Microsoft Security — When prompts become shells: RCE vulnerabilities in AI agent frameworks
- Статья: CrowdStrike — Agentic Identity Provider