Теневая безопасность ИИ

Безопасность теневого ИИ: все, что вам нужно знать.

Теневой ИИ — это уже не просто сотрудники, использующие несанкционированный чат-бот. Сегодня... теневой ИИ часто включает в себя несанкционированные агенты ИИ Запуск с реальными правами доступа: доступ к репозиторию, CI/CD токены, чтение/запись файлов и API для обмена сообщениями. Другими словами, теневой ИИ может вести себя как теневая автоматизацияИменно поэтому это увеличивает риск для безопасности быстрее, чем ожидает большинство команд.

Вот в чём заключается уязвимость в системе безопасности: теневой ИИ расширяет поверхность атаки, не меняя при этом ваши механизмы контроля. Например, один агент может получить доступ к недоверенной информации, следовать скрытым инструкциям, а затем вызывать инструменты, взаимодействующие с производственными системами. Следовательно, риск заключается не только в утечке данных, но и в... несанкционированные действия Выполнено со скоростью машины.

Если вам нужно практическое определение, вы можете привести его в качестве примера внутри компании: Теневой ИИ — это любые возможности искусственного интеллекта, используемые без надлежащего управления, которые могут получать доступ к конфиденциальным данным или запускать реальные действия. Таким образом, правильным ответом является не «запрет ИИ». Вместо этого необходимы прозрачность, принцип минимальных привилегий, управление навыками и аудит вызовов инструментов для контроля теневого ИИ без замедления его внедрения.

Что такое теневой ИИ?

Теневой ИИ — это использование инструментов, моделей или рабочих процессов искусственного интеллекта. без формального одобрения, мониторинга или управления Это касается ИТ-специалистов или служб безопасности. Сюда входят несанкционированные чат-боты, расширения для браузеров, IDE-конструкторы и локальные или размещенные агенты, подключенные к enterprise инструменты. Что наиболее важно, теневой ИИ создает «слепые зоны» в обработке данных, контроле доступа и возможности аудита. Следовательно, он может превратить обычную деятельность разработчиков в угрозу безопасности и соблюдению нормативных требований.

Теневой ИИ против теневых ИТ против агентного теневого ИИ

Теневой ИИ пересекается с теневыми ИТ, но ведет себя иначе. Прежде всего, системы ИИ могут учиться на основе входных данных и масштаб деcisионы, а агенты также могут выполнять действия с помощью инструментов и токенов. В результате командам необходима более четкая модель того, что они защищают.

Размеры Тень ИТ Теневой ИИ Агентный Теневой ИИ
Что это Неутвержденное программное обеспечение или услуги Несанкционированные инструменты искусственного интеллекта, используемые в работе. Несанкционированные агенты искусственного интеллекта, способные вызывать инструменты и выполнять действия.
Типичный пример Несанкционированные SaaS-продукты, плагины, скрипты Персональный чат-бот или редактор на основе искусственного интеллекта, используемый с данными компании. Агент подключен к репозиториям. CI/CDэлектронная почта, билеты, облачные API
Основной риск Утечка данных, пробелы в соблюдении нормативных требований, неконтролируемый доступ Утечка данных, обход политик, использование неотслеживаемых моделей. Несанкционированные действия, злоупотребление привилегиями, утечка информации с использованием инструментов.
Риск скорости Средняя Быстрый Очень быстро (автоматизация + учетные данные)
Пути атаки Неправомерное использование учетных данных, небезопасные конфигурации, злоупотребление OAuth. Внедрение оперативной информации, конфиденциальное логирование оперативной информации, проблемы с сохранением данных. Внедрение инструментов, цепочка поставок навыков, захват браузера и локального сервера, изменение токенов.
Проблема видимости Теневые приложения и неизвестные поставщики Неизвестное применение ИИ + неясные потоки данных Неизвестное использование ИИ + скрытые вызовы инструментов + неясная атрибуция
Лучший первый контроль Обнаружение SaaS-продуктов + управление доступом Утвержденный каталог ИИ + правила редактирования + ведение журнала Инвентаризация агентов + принцип наименьших привилегий + регистрация вызовов инструментов
Как выглядит «хорошо» Утвержденный каталог, единый вход (SSO), ведение журналов, проверка поставщиков. Утвержденный каталог ИИ, контроль за хранением данных, безопасная обработка данных. Утвержденная среда выполнения агента, разрешенные навыки, ограниченные области действия, проверенные действия

Почему риски, связанные с агентом OpenClaw, важны для DevSecOps

Риски, связанные с агентами OpenClaw, имеют значение, поскольку агенты меняют модель безопасности с «вход данных, выход текста» на входящие данные, исходящие действия. В теневой ИИ В этом случае один разработчик может запустить неуправляемый агент, который подключается к репозиториям. CI/CDоблачные API и инструменты обмена сообщениями. В результате теневой ИИ превращается в теневая автоматизация с использованием учетных данных.

Этот сдвиг нарушает общепринятые предположения. Например, команды часто рассматривают «локальных агентов» как низкорискованные, потому что они работают на ноутбуке или подключаются к локальному хосту. Однако недавние инциденты с OpenClaw показывают, что браузер может стать мостомТокены могут быть раскрыты, а шлюзы инструментов могут быть захвачены, даже в конфигурациях, предназначенных только для локального использования.

Короче говоря, как только агент получает возможность использовать инструменты, ваша модель угроз должна включать в себя следующее: кража токенов, злоупотребление вызовом инструментов, компрометация цепочки поставок навыков и косвенное внедрениеВ противном случае вы упустите самую опасную часть теневого ИИ.

Наиболее серьёзные инциденты с использованием OpenClaw (подтвержденные)

Влияние: Максимум (высокая вероятность + высокий эффект)

Что это позволило (в общих чертах):

  • OpenClaw мог бы получить gatewayUrl на основе строки запроса и автоматически открывать WebSocket-соединение без запроса подтверждения. отправка значения токена в этом процессе.
  • Этот доступ к токенам может позволить захват шлюза а также злоупотребления в зависимости от прав доступа и конфигурации.

Почему это так серьезно:
Это превращает «переход по ссылке» в «компрометацию цепочки инструментов агента», а именно так и возникает теневой ИИ. теневая автоматизация с использованием учетных данных.

2) ClawJacked — атака через веб-сайт → перебор паролей WebSocket на локальном хосте → полный захват агента

Влияние: Очень высокий уровень (бесшумный + масштабируемый шаблон)

Что это позволило (в общих чертах):

Вредоносный веб-сайт может открыть соединение WebSocket для локальный и ориентироваться на локальный сервис OpenClaw.

При слабой аутентификации на основе паролей злоумышленники могут подобрать пароль методом перебора и получить доверенный доступ, что позволит полный контроль экземпляра агента.

Почему это так серьезно:
Это опровергает предположение о том, что «localhost безопасен». На практике, браузер становится мостомТаким образом, "только локальный" не является реальной границей. 

3) Злоупотребление экосистемой навыков: ToxicSkills + вредоносные навыки ClawHub (цепочка поставок навыков агентов)

Влияние: От высокого к максимальному (масштаб + устойчивость)

Что это позволило (в общих чертах):

Злонамеренный или уязвимый навыки Могут вести себя как зависимости: устанавливаются из магазина приложений, обновляются независимо и часто работают совместно. разрешения на уровне агента.

Независимое исследование, анализирующее 3,984 обнаруженные навыки агента 13.4% (534) имела как минимум одну критическую проблему, в том числе Распространение вредоносного ПО, мгновенная инъекция и раскрытие секретов..

Реальные примеры демонстрируются методы, используемые злоумышленниками для распространения криптографически ориентированных «навыков» с целью распространения вредоносного ПО или кражи конфиденциальных данных посредством социальной инженерии и обфусцированных команд.

Почему это так серьезно:
Это риск, связанный с цепочкой поставок, но для агентов: «навык» может передавать агенту способность читать файлы, получать доступ к секретам или выполнять действия с инструментами.

Инцидент Тип атаки Взаимодействие с пользователем Первичное следствие Источники
CVE-2026-25253 Вредоносная ссылка → строка запроса gatewayUrl → раскрытие токена → захват шлюза / путь удаленного выполнения кода 1-клик (UI:R) Компрометация шлюза; возможное выполнение в последующих процессах в зависимости от прав доступа. ПНВ (НИСТ)
ИНСИБ-СЕРТ
Новости Хакер
ClawJacked Внедрение вредоносного ПО через веб-сокет → localhost WebSocket → перебор паролей → захват агента Посетите сайт Полный контроль над локальным агентом; доступ к журналам/конфигурации/данным. Оазис безопасности
TechRadar
Новости Хакер
ToxicSkills / вредоносные навыки ClawHub Рынок профессиональных навыков как цепочка поставок (вредоносное ПО, внедрение кода, раскрытие секретной информации) Переменная (навык установки/использования) Компрометация на уровне агента посредством унаследованных разрешений и вредоносного поведения навыков. Tom’s Hardware
Новости Хакер

Пример использования: снижение рисков, связанных с теневым ИИ в стиле OpenClaw, с помощью рабочего процесса DevSecOps.

OpenClaw — полезный пример для изучения, поскольку он демонстрирует, как теневой ИИ становится реальным операционным риском: агент запускается «локально», подключается к репозиториям и pipelineИ внезапно посещение браузера, токен или сторонний навык могут превратиться в захват управления. Цель состоит не в том, чтобы запретить агентов. Вместо этого, речь идет о том, чтобы гарантировать, что работа, управляемая агентами, проходит через те же механизмы контроля, которым вы уже доверяете для кода и цепочки поставок.

Шаг 1: Рассматривайте «навыки» агента как зависимости, а не как безобидные дополнения.

Большинство инцидентов с использованием теневого ИИ начинаются не со сложной эксплойтной программы. Они начинаются с внедрения: разработчик устанавливает агента, добавляет пару навыков и предоставляет ему доступ «для работы». С этого момента экосистема агентов ведет себя как экосистема пакетов: обновляются навыки, появляются вспомогательные скрипты, и ненадежный код может незаметно проникать в систему.

Итак, первый шаг — это изменение образа мышления: Всё, что агент может установить или запустить, является частью вашей цепочки поставок.. В Рабочий процесс XygeniЭто означает, что вы не ждёте отчёта о нарушении безопасности. Вы сосредотачиваетесь на более ранних сигналах о том, что компонент представляет риск или является откровенно вредоносным, поэтому внедрение останавливается до того, как оно распространится по репозиториям и машинам разработчиков.

Какие изменения происходят на практике?

  • Команды прекратили копировать и вставлять «рабочие конфигурации агентов» без проверки.
  • Новые навыки и вспомогательные пакеты рассматриваются как заявки на приобретение необходимых инструментов, а не как персональные инструменты.

Шаг 2: Сделайте запросы на слияние (PR) контрольной точкой, даже если изменения были внесены агентом.

Агенты ускоряют изменения. В этом вся суть. Однако история с OpenClaw показывает, как быстро «небольшие изменения» превращаются в проблемы безопасности, как только в дело вступают токены и шлюзы инструментов. Поэтому полагаться на «осторожность разработчиков» недостаточно.

Вместо этого, маршрутизируйте вывод агента через pull requests и принудительно запускать сканирование во время создания запроса на слияние. Таким образом, даже если агент предлагает увеличить количество зависимостей, внести изменения в скрипт сборки или отредактировать рабочий процесс CI, запрос на слияние становится точкой приложения политики. Xygeni идеально подходит для этой цели, поскольку он построен для CI/CD и рабочие процессы PRТаким образом, рискованные изменения выявляются до того, как они будут объединены.

Типичные изменения, инициируемые агентами, которые вы хотите ограничить.

  • Обновление зависимостей и изменение файлов блокировки
  • Соберите скрипты и установите их. hooks
  • Редактирование рабочих процессов CI (права доступа, использование секретов, сетевые вызовы)
  • Новые этапы автоматизации, выполняемые с повышенными правами.

Шаг 3: Расставьте приоритеты в том, что будут использовать злоумышленники, а не только в том, что обнаружат сканеры.

Теневой ИИ увеличивает объём работы. Больше автоматизации означает больше отклонений от заданных параметров, больше изменений в конфигурации и больше «мелких изменений» в неделю. В результате команды могут утонуть в обнаруженных уязвимостях, если приоритеты не будут соответствовать реальной возможности их эксплуатации.

Здесь важен контекст эксплуатации уязвимости. Если одна уязвимость с высокой вероятностью будет использована, а другая — нет, ваш рабочий процесс должен это учитывать. (Xygeni) подход к приоритезации Разработан с учетом этой реальности: снижение уровня шума путем сосредоточения усилий по устранению неполадок на том, что, скорее всего, будет иметь значение на практике. 

Простое правило, которое масштабируется

  • Блокировка или ускоренное устранение проблем, представляющих наибольший реальный риск.
  • Отложите устранение помех от слабого сигнала, чтобы инженеры могли продолжать безопасные поставки.

Шаг 4: Перестаньте считать, что «localhost безопасен».

ClawJacked служит уроком, поскольку он опровергает распространенное заблуждение, которого до сих пор придерживаются многие команды: «если это локально, то все в порядке». В действительности, локальные шлюзы и локальные пользовательские интерфейсы по-прежнему требуют подхода, соответствующего производственным стандартам. Браузер является частью поверхности угрозы, и «только локально» — это не та граница, на которую можно полагаться.

Таким образом, вы усиливаете защиту локальных сервисов так же, как и любого другого конфиденциального интерфейса:

  • Надежная аутентификация (а не просто пароль, выбранный человеком)
  • Ограничения скорости и блокировки
  • Отсутствует функция автоматического подключения, которая доверяет непроверенным входным данным.
  • Ограничить круг лиц, имеющих доступ к сети, и места подключения.

Хотя Xygeni не является локальным межсетевым экраном, он помогает уменьшить практическое влияние схем «локального обхода», перенося контроль на локальный сервер. pipeline и платформы. Когда элементы управления находятся в CI/CD и политики обеспечения безопасностиТеневой ИИ с меньшей вероятностью сможет их обойти, «потому что он был локальным». 

Шаг 5: Следите за аномальным поведением, которое может указывать на злоупотребление цепочкой поставок.

Инциденты, подобные тем, что происходят в OpenClaw, часто имеют общий механизм сбоя: что-то незаметно меняется, а затем рабочие процессы начинают вести себя по-другому. Именно поэтому важны сигналы, ориентированные на аномалии. Если среда внезапно начинает использовать необычные зависимости, быстро публиковать версии или демонстрировать закономерности, соответствующие злоупотреблениям в цепочке поставок, это необходимо выявить на ранней стадии.

Обнаружение аномалий Xygeni И подход раннего предупреждения соответствует этой цели: выявлять подозрительные закономерности на ранней стадии, прежде чем они превратятся в повторяющиеся инциденты в разных командах.

Сигналы, на которые стоит обратить внимание

  • Внезапные всплески изменений зависимостей в разных репозиториях.
  • Новые пакеты/навыки с низкой репутацией или странными схемами обновления
  • Неожиданные шаги CI, которые загружают среды выполнения или выполняют скрипты.
  • Необычные сетевые вызовы из контекстов сборки
Теневая безопасность ИИ

Вынос

Этот рабочий процесс намеренно не является «специфичным для конкретного агента». Это шаблон DevSecOps, который работает для теневого ИИ в масштабе: рассматривайте навыки как зависимости, контролируйте изменения во время запросов на слияние/непрерывной интеграции, расставляйте приоритеты для уязвимостей, перестаньте доверять localhost по умолчанию и выявляйте аномальное поведение в цепочке поставок на ранних стадиях. Именно так вы снижаете риски. теневой ИИ Риск без замедления процесса доставки.

Безопасность теневого ИИ: что это значит для команд DevSecOps

Теневой ИИ перестал быть второстепенным вопросом. В 2026 году он все чаще будет означать агенты с реальными правами доступа, которая превращает простые ошибки в инциденты, вызванные использованием инструментов. OpenClaw — наиболее наглядное напоминание: риск заключается не только в том, что «говорит» модель, но и в том, что может сделать агент. do с помощью токенов, порталов и навыков.

Таким образом, наиболее эффективным ответом является практический, а не теоретический. Рассматривайте навыки агента как зависимости, направляйте выходные данные агента через запросы на слияние и т.д. CI/CD guardrailsи перестаньте предполагать, что «localhost безопасен». В то же время, уделите приоритетное внимание тому, что действительно может быть использовано для взлома, чтобы команды могли продолжать выпускать продукты, не утопая в информационном шуме.

В конечном итоге, вам не нужно запрещать агентов, чтобы контролировать ситуацию. теневая безопасность ИИНеобходимо убедиться, что управляемые агентами рабочие процессы не могут обойти те же механизмы контроля цепочки поставок и доставки, которые уже обеспечивают защиту жизненного цикла вашего программного обеспечения.

sca-инструменты-программное обеспечение-композиция-анализ-инструменты
Расставьте приоритеты, устраните и защитите риски, связанные с программным обеспечением
7-дневная бесплатная пробная версия
Кредитная карта не требуется.

Защитите свою разработку и доставку программного обеспечения

с пакетом продуктов Xygeni