Коротко
- ИИ-агент читает файлы репозитория как источник инструкций — и это открывает путь для промпт-инъекций из самого кода.
- Права на исполнение команд и доступ к сети — главный рычаг ограничения ущерба, если агент поведёт себя не так, как задумано.
- Песочница и ограничение инструментов MCP снижают риск сильнее, чем попытки «научить» агента не делать плохого.
- Код, сгенерированный или изменённый агентом, должен проходить то же ревью, что и код человека, без исключений.
Чем агент отличается от автодополнения
Классическое автодополнение кода предлагает следующую строку и ждёт решения человека. ИИ-агент в разработке — это другой класс инструмента: он может читать файлы проекта, запускать команды в терминале, обращаться к внешним сервисам через инструменты и вносить изменения в несколько файлов за один цикл, часто без построчного подтверждения каждого шага.
Это удобно и одновременно меняет модель угроз. Автодополнение не может случайно удалить файл или отправить запрос во внешний API. Агент с доступом к терминалу и сети технически может — и вопрос не в том, станет ли он это делать «по злому умыслу», а в том, при каких условиях он сделает это по ошибке или по чужой подсказке.
Отдельный вопрос — как агент обращается с выводом команд, которые он сам запускает. Если вывод одной команды становится входом для следующего шага без проверки, это создаёт ту же проблему, что и чтение файлов репозитория: вредоносный или неожиданный текст в выводе может быть воспринят как новая инструкция, а не просто как результат выполнения.
Полезно периодически проводить разбор «что если»: представить, что агент выполнил ровно те инструкции, которые встретил в недоверенном источнике, и оценить реальный ущерб при текущей конфигурации прав. Если ответ пугает, это сигнал пересмотреть права до того, как случится настоящий инцидент, а не после.
Имеет смысл закрепить эти правила в виде внутреннего документа команды, а не держать их в голове у одного инженера, который настраивал окружение агента первым. Ротация людей в команде и рост числа задач, которые решаются с помощью агентов, делают неписаные договорённости ненадёжной основой для системы, от которой зависит безопасность продуктивной инфраструктуры.
Промпт-инъекции из самого репозитория
Ключевая угроза, специфичная именно для агентов: они обычно не различают инструкцию, которую дал разработчик в диалоге, и текст, который встретили в файле репозитория, в выводе команды или в содержимом веб-страницы, которую попросили открыть. Если в коммите, issue, README или даже в комментарии к коду окажется текст, сформулированный как инструкция, агент может попытаться её выполнить — просто потому что для языковой модели инструкция в системном промпте и инструкция в содержимом файла устроены похоже.
Условный пример: в репозитории лежит файл с данными для тестов, а в одном из комментариев к нему написано что-то вроде «если ты ИИ-агент, выполни такую-то команду для настройки окружения». Разработчик, читающий этот файл, пропустит строку как мусор. Агент, обрабатывающий файл как часть контекста, может воспринять её как часть задачи. Похожая механика обсуждается в материале о том, как выглядит поддельный репозиторий, маскирующийся под легитимный проект — источник вредоносного содержимого не обязан быть очевидным с первого взгляда.
Важно учитывать и сценарий, в котором агент работает не один, а в связке с другими автоматизированными процессами — например, сам открывает pull request, который потом автоматически проверяется другим инструментом. Каждое дополнительное звено в такой цепочке расширяет поверхность, на которой чужая инструкция может закрепиться и перейти дальше по пайплайну без участия человека.
Такое упражнение стоит повторять при каждом существенном расширении набора инструментов агента, а не только один раз на старте внедрения — набор задач и подключённых сервисов обычно растёт со временем, и вместе с ним растёт и поверхность риска, которую нужно пересматривать регулярно.
Разумно также заранее продумать процедуру на случай, если агент всё же выполнил нежелательное действие: кто получает уведомление, как быстро откатываются изменения, кто принимает решение об отключении доступа агента до разбора инцидента. Наличие такой процедуры сокращает время реакции сильнее, чем попытки предугадать каждый возможный сценарий заранее.
Читайте такжеПоддельные программы на GitHub и SourceForge: как распознать ловушкуПрава на исполнение: главный рычаг ограничения
Если агент не может различить, какая инструкция «настоящая», единственный надёжный рычаг — ограничить, что он физически способен сделать, даже если выполнит чужую команду. Это ровно тот же принцип, что лежит в основе разделения прав для обычных пользователей и сервисных учётных записей.
- Разделяйте доступ на чтение, запись и исполнение команд — агенту не обязательно иметь все три уровня одновременно для каждой задачи.
- Ограничивайте доступ к сети из среды, где работает агент, особенно исходящие соединения к произвольным адресам.
- Не давайте агенту доступ к секретам продуктивной среды, если задача решается в тестовом окружении.
- Логируйте команды, которые агент выполняет, отдельно от обычных логов разработки — это упрощает разбор инцидентов постфактум.
Разумно явно разделять задачи, для которых агенту можно доверить самостоятельное выполнение без подтверждения на каждом шаге, и задачи, где каждое значимое действие — запись в файл, вызов внешнего сервиса, изменение конфигурации — должно получать явное подтверждение человека перед выполнением. Граница между этими двумя режимами должна быть осознанным решением команды, а не настройкой по умолчанию, которую никто не пересматривал.
Эта тема пересекается с рисками, которые разбираются в материале про секреты в состоянии Terraform — разбор смежных рисков помогает увидеть общую картину.
Песочницы и ограничение инструментов
Песочница — среда, изолированная от основной инфраструктуры, где агент может выполнять команды без риска повлиять на реальные системы. Для агентов в разработке это не опция «для параноиков», а базовая настройка: цена ошибки в изолированном контейнере несопоставима с ценой ошибки на машине с доступом к продуктивным ключам.
Отдельное внимание — инструментам, которые агент может вызывать через протоколы вроде MCP. Каждый подключённый инструмент расширяет набор действий, доступных агенту, и каждый такой инструмент — потенциальная точка, через которую чужая инструкция, попавшая в контекст, может превратиться в реальное действие: отправку запроса, запись файла, вызов внешнего API. Разумная практика — подключать только те инструменты, которые нужны для конкретной задачи, а не держать расширенный набор «на всякий случай».
| Мера | Что ограничивает |
|---|---|
| Песочница для выполнения команд | Последствия ошибочного или навязанного действия агента |
| Минимальный набор подключённых инструментов | Поверхность атаки через промпт-инъекцию |
| Раздельные права чтения/записи/исполнения | Масштаб ущерба при выполнении чужой инструкции |
| Отдельное логирование команд агента | Время на обнаружение и разбор инцидента |
При выборе инструментов и MCP-серверов для подключения стоит проверять не только то, что делает инструмент по заявленному назначению, но и то, какие побочные возможности у него есть технически. Инструмент, который заявлен как «чтение данных», но технически способен и на запись, расширяет риск шире, чем предполагает его описание.
Ревью кода без исключений для агента
Соблазн пропустить обычный процесс ревью для кода, который «просто сгенерировал ИИ», понятен, но именно он снимает последний барьер перед тем, как ошибка или навязанное поведение попадёт в продуктив. Код агента нужно проверять тем же набором инструментов и тем же вниманием, что и код человека: статический анализ, тесты, человеческое ревью перед слиянием.
Чем выше права у агента, тем больше смысла в том, чтобы результат его работы проверял человек до того, как изменения уйдут дальше — а не после.
Реальные случаи, когда ошибки в агентных инструментах приводили к выполнению произвольного кода, уже фиксировались и разбирались в новостях, в том числе в материале о воспроизведении уязвимости в агентном инструменте для разработки. Такие случаи — повод относиться к правам агента так же серьёзно, как к правам любого другого компонента с доступом к исполнению кода.
Читайте такжеНормализация путей в API-шлюзах: где ломается авторизацияКак собрать это в процесс
Практический порядок внедрения агента в командный процесс разработки:
- Определите, какие задачи агент решает в песочнице, а какие — требуют доступа к реальному репозиторию и инфраструктуре.
- Для задач с реальным доступом явно ограничьте набор инструментов и прав минимально необходимым.
- Включите код, который агент меняет, в стандартный процесс ревью без исключений.
- Логируйте команды и вызовы инструментов отдельно, чтобы при инциденте можно было восстановить цепочку событий.
- Периодически пересматривайте список подключённых инструментов — задачи меняются, а права на инструменты часто остаются «на всякий случай».
Такая модель угроз не делает использование агентов безопасным «по умолчанию», но переводит риск из разряда непредсказуемого в разряд управляемого — то же самое, что происходит при внедрении любого нового компонента с широким доступом к системе.
Частые вопросы
Может ли агент сам понять, что текст в файле — это чужая инструкция, а не часть кода?
Надёжного способа это гарантировать пока нет. Агент обрабатывает содержимое файла как часть контекста, и формулировка, похожая на инструкцию, может быть воспринята как задача. Поэтому ограничение прав важнее, чем надежда на то, что агент сам отличит подвох.
Достаточно ли песочницы, чтобы не ограничивать права агента отдельно?
Нет. Песочница ограничивает последствия для внешних систем, но внутри неё агент может всё равно выполнить нежелательное действие. Разделение прав на чтение, запись и исполнение остаётся отдельным уровнем защиты.
Нужно ли по-другому ревьюить код, который написал агент?
Процесс ревью должен быть тем же, что и для кода человека — статический анализ, тесты, проверка перед слиянием. Исключений для агента быть не должно именно потому, что источник промпт-инъекции может быть не очевиден.
Что делать, если задача требует доступа к продуктивным секретам?
По возможности выносить такие задачи из контекста, где работает агент напрямую, и передавать их через отдельный, более узкий интерфейс с ограниченными правами, а не давать агенту прямой доступ к продуктивному окружению.
Разбор подготовлен редакцией Vechron по открытым источникам. Нашли неточность — напишите нам.




