Как обнаружить и устранить риски, связанные с теневым ИИ

Как обнаружить и устранить риски, связанные с теневым искусственным интеллектом?

Спросите руководителя службы безопасности, сколько инструментов ИИ прямо сейчас взаимодействуют с данными компании, и вы получите уверенную цифру. Она будет неверной, и не потому, что кто-то что-то скрывает. Большинство теневых ИИ не оставляют следов: ни установки, ни лицензии, ни позиций в документации. Только вкладка браузера и личный адрес. login Этого достаточно. Разрыв между ИИ, который охватывает ваша политика, и ИИ, который фактически используется в вашей организации, является причиной риска, связанного с теневым ИИ, и он превратился из незначительной темы в одной из самых быстро развивающихся категорий в области безопасности приложений. В этом руководстве рассматривается, как обнаруживать и устранять теневой ИИ на практике, а также сигналы обнаружения и шаги управления, которые остаются в силе после завершения аудита.

Риск, связанный с теневым ИИ, в одном абзаце.

Теневой ИИ — это любой инструмент искусственного интеллекта, модель, агент или вызов API, работающие внутри вашей организации без проверки безопасности или ИТ-контроля. Теневой ИИ — прямой преемник теневых ИТ, но его сложнее обнаружить: теневые ИТ обычно оставляют записи о закупках или сетевые сигнатуры, с которыми может сопоставить их CASB (система контроля качества кода). Теневой ИИ часто не оставляет ни того, ни другого. Сотрудник вставляет контракт в чат-бот, вошедший в систему с помощью личной учетной записи, или разработчик напрямую подключает ключ API от поставщика моделей к скрипту, и ничто из этого не затрагивает реестр поставщиков. Два независимо опубликованных отчета показывают, какой объем рисков, связанных с теневым ИИ, уже накоплен: согласно отчету Unseen Security «Состояние теневого ИИ в 2026 году», 80% сотрудников используют инструменты ИИ, не одобренные их организацией, а 86% организаций заявляют, что им не хватает информации о том, как данные фактически поступают в уже используемые инструменты ИИ и выводятся из них.

Почему риски, связанные с теневым ИИ, переросли риски, связанные с теневыми ИТ

Три фактора объясняют, почему риски, связанные с теневым ИИ, развивались быстрее, чем система управления, созданная для выявления теневых ИТ-систем, и ни один из них не является обратимым.

  • Искусственный интеллект перестал нуждаться в установке. Инструменты, определявшие теневые ИТ (несанкционированное SaaS-приложение, вредоносные расширения для браузеров), оставляли следы в инвентаризации активов. Искусственный интеллект, открытый во вкладке браузера, или модель API, вызываемая с помощью персональной карты, не оставляют ничего, что могло бы быть отмечено системами мониторинга конечных устройств или отделом закупок.
  • Искусственный интеллект внедрен в уже одобренные вами инструменты. Функции, аналогичные функциям второго пилота, теперь встроены в платформы, уже включенные в разрешенный список. Платформа прошла проверку. Возможности ИИ незаметно включились внутри неё, но обычно этого не происходило.
  • Объем работы перешел от управления человеком к управлению машиной. Команда ThretLabz компании Zscaler проанализировала 536.5 миллиардов транзакций, связанных с искусственным интеллектом и машинным обучением. по всей своей облачной инфраструктуре и зафиксировали рост на 3,464.6% в годовом исчислении. enterprise Трафик ИИ/машинного обучения. Именно из-за такого масштаба изменений оценка рисков, связанных с теневым ИИ, проведенная год назад, уже устарела, и именно поэтому текущие аудиты постоянно проигрывают из-за проблемы, которая усугубляется ежемесячно.

Где на самом деле скрывается теневой ИИ

Группы специалистов по безопасности, которые ищут риски, связанные с теневым ИИ, используя инструменты для анализа теневых ИТ-систем, обычно получают неполный список, поскольку места их сокрытия различаются:

  • Инструменты на основе браузера, не требующие подключения к конечным устройствам. Искусственный интеллект работает полностью во вкладке. Нет агентов для обнаружения, ничего не нужно устанавливать.
  • Функции искусственного интеллекта, встроенные в санкционированные платформы. Платформа была проверена. Функция искусственного интеллекта, которая была внедрена в неё позже, обычно не подвергалась проверке.
  • Использование API за счёт личных расходов. Разработчик размещает модель API на своей личной карте и вызывает её напрямую из кода. Она никогда не доходит до отдела закупок, поэтому и до склада она не доходит.
  • Непроверенные инструкции для агентов и файлы с описанием навыков. Инструменты для кодирования агентов все чаще следуют инструкциям, записанным непосредственно в репозиторий (файлы навыков, правила агента), и эти файлы могут связывать агента с моделью, набором данных или сервером MCP, которые никто не утвердил.

Как обнаружить и устранить теневой ИИ

Чтобы уметь обнаруживать и устранять теневой ИИ, необходимо рассматривать это как две отдельные задачи, которые должны решаться одновременно: обнаружение уже существующего ИИ и обеспечение того, чтобы он не появился снова без контроля.

Обнаружить: три сигнала, работающие вместе.

Ни одно сканирование не позволяет обнаружить все потенциальные угрозы со стороны скрытого ИИ, поскольку каждое укромное место оставляет свой собственный след.

  • Сетевые журналы и журналы прокси-сервера. В журналах вашего брандмауэра, прокси-сервера и DNS уже регистрируются исходящие вызовы к конечным точкам поставщиков ИИ, независимо от того, был ли инструмент одобрен. Высокочастотные вызовы API с одного хоста, большие объемы исходящих данных или автоматизированный трафик в нерабочее время к конечной точке модели — вот те шаблоны, которые стоит отслеживать.
  • Сигналы идентификации и доступа. Журналы сети показывают, что инструмент используется; ваш поставщик идентификационных данных сообщает, кто за ним стоит и какой объем доступа он предоставил. Следите за предоставлением OAuth-прав непроверенным приложениям ИИ, входом в инструменты ИИ с использованием личных, а не корпоративных учетных записей, а также за активностью API служебных учетных записей, причину которой никто не может объяснить.
  • Обнаружение активов и кода. Это слой. standard Проблемы с инструментами теневых ИТ-систем специфичны и касаются того, как ИИ проявляется в программном обеспечении: модели, наборы данных, конечные точки вывода, агенты, серверы MCP и инструменты кодирования ИИ, на которые напрямую ссылаются в репозиториях. pipelineи файлы навыков, а не только в браузерном трафике. Без этого слоя вы можете увидеть которая Был вызван API модели; вы этого не видите. , которые агент назвал это, из , которые pipelineили к чему это связано, а именно туда. Риск, связанный с теневым ИИ, перерастает в инцидент в цепочке поставок. а не нарушение правил.

Как это устранить: четыре шага, которые помогут закрепить проблему.

Обнаружение показывает, что уже запущено. Превращение этого в надежную систему требует четырех шагов, выполняемых в цикле, а не в виде разовой проверки, поскольку риски, связанные с теневым ИИ, меняются быстрее, чем может отследить любой ежегодный обзор.

  • Создайте один складской запас, а не три. Традиционные активы (репо, pipelineИнструменты ИИ (модели, наборы данных, агенты, серверы MCP, инструменты программирования) и ресурсы ИИ (модели, контейнеры) должны находиться в одном представлении, а взаимосвязи между ними должны быть отображены. Инструмент ИИ, который сам по себе кажется безобидным, может представлять собой реальную угрозу, как только вы увидите, какой набор данных он использует и с какой конечной точкой взаимодействует.
  • Прежде чем разрабатывать политику, проведите классификацию. Правило, запрещающее «конфиденциальные данные в инструментах ИИ», ничего не значит, если никто не может определить, какие именно данные относятся к категории конфиденциальных. Необходимо знать, где хранятся регулируемые и конфиденциальные данные, и пусть эта классификация определяет, какие варианты использования ИИ допустимы, а какие никогда не покинут здание.
  • Предоставьте командам более быстрый и утвержденный путь, а не длинный список забаненных. Люди обращаются к теневому ИИ, потому что разрешенный вариант работает медленнее, чем уже открытая вкладка. Управляемый каталог одобренных моделей и агентов, учетные данные которых скрыты от разработчиков, устраняет причин обходить правила.
  • Внедряйте меры там, где риск действительно проявляется: при установке и при обращении. Блокировка модели в документе не мешает агенту установить её. Проверка должна происходить в точке установки пакета или вызова API, чтобы заблокированное действие автоматически завершалось с ошибкой, а не зависело от того, запомнит ли кто-то правило.

Что означает риск, связанный с теневым ИИ, для безопасности приложений, а не только для ИТ-сферы?

Большинство рекомендаций по работе с теневым ИИ рассматривают это исключительно как проблему предотвращения потери данных, и DLP является её неотъемлемой частью. Однако растущая доля рисков, связанных с теневым ИИ, проявляется вовсе не в браузере: она проявляется в виде вымышленного пакета, который пытался установить агент, сервера MCP, который никто не проверял, или помощника программиста с постоянным доступом к репозиторию, к которому он никогда не имел права доступа. Это не теневые ИТ с приставкой «ИИ». Это новая категория рисков в цепочке поставок программного обеспечения, и для её решения требуется та же дисциплина, которую AppSec уже применяет к любой другой зависимости: знать, что есть, проверять это и автоматизировать проверку, вместо того чтобы надеяться, что каждый разработчик вспомнит проверить.

Прекратите управлять ИИ с помощью электронных таблиц.

Проблема не в усилиях, а в прозрачности: большинству команд не хватает единого места, где бы находились ресурсы ИИ, код и pipelineЭти утверждения появляются одновременно, что в точности соответствует расстоянию между «у нас есть политика в отношении теневого ИИ» и «мы можем реально её реализовать».

Вот в чем проблема Ксигени Система безопасности ИИ построена на основе непрерывного и автоматического обнаружения всех ресурсов ИИ в ваших репозиториях. pipelineи среды разработки: модели, фреймворки, наборы данных, конечные точки вывода, агенты, серверы MCP и инструменты кодирования ИИ, такие как Copilot, Cursor или Claude Code, отображаются в виде графа взаимосвязей с AI-BOM, генерируемым при каждом сканировании. DevAI В тех же средах работает как активный механизм защиты, проверяя файлы навыков и инструкции агента, а также блокируя вредоносные установки до того, как агент предпримет какие-либо действия, без необходимости запроса подтверждения. И потому что CoreAI Применяет тот же механизм корреляции и управления на основе ИИ к результатам, полученным с помощью существующих сканеров, что и к собственному, скрытому ИИ Xygeni; риски не исчезают в еще одном разрозненном инструменте: они попадают в тот же обзор рисков, что и все остальное в вашей системе. SDLC.

Начните бесплатно. Sign up with GitHubПодключитесь к GitLab или Google и получите доступ к информации о 25 репозиториях и выполните 50 сканирований с помощью ИИ в месяц совершенно бесплатно, без необходимости указывать данные кредитной карты.

FAQ

Что, простыми словами, представляет собой риск, связанный с теневым ИИ? 

Риск, связанный с теневым ИИ, — это уязвимость, создаваемая инструментами, моделями, агентами или вызовами API искусственного интеллекта, работающими внутри организации без проверки безопасности. Поскольку в большинстве случаев такие инструменты не устанавливают и не хранят записи о закупках, риск незаметно накапливается до тех пор, пока кто-то целенаправленно не начнет его искать.

Как на практике выявлять и устранять теневой ИИ? 

Система обнаружения работает на основе трех сигналов, взаимодействующих друг с другом (журналы сети и прокси-сервера, сигналы идентификации и доступа, а также код/).pipeline(например, обнаружение активов на уровне 1) и устранение проблем представляют собой четырехэтапный цикл: создание единого унифицированного реестра, классификация данных перед написанием политики, предоставление командам более быстрого утвержденного пути и обеспечение соблюдения правил в момент установки или вызова API, а не в документе.

Теневой ИИ — это то же самое, что и теневые ИТ?

Связанные, но не идентичные. Теневые ИТ обычно оставляют следы (установка, лицензия, сетевая подпись). Теневой ИИ часто ничего этого не оставляет: вкладку браузера и личный login Этого достаточно, и функции ИИ теперь поставляются встроенными в уже одобренные платформы.

Может ли инструмент CASB или DLP самостоятельно выявлять риски, связанные с теневым ИИ? 

Лишь частично. Эти инструменты были созданы для обнаружения несанкционированного программного обеспечения, оставляющего следы. Модель, вызываемая непосредственно из кода, или функция ИИ, включенная внутри утвержденной платформы, не генерирует ни одного из сигналов, на которые настроен CASB. Полное управление рисками, связанными с теневым ИИ, требует наличия идентификации, сети и кода.pipeline-уровень видимости вместе.

Где именно в разработке программного обеспечения чаще всего проявляется теневой ИИ? 

Помимо чат-ботов, работающих в браузере, это проявляется в виде ключей API, жестко закодированных в исходном коде, моделей с открытым исходным кодом, интегрируемых в проект без проверки безопасности, и файлов навыков агентов или подключений к серверам MCP, добавляемых в репозиторий без проверки — именно тот уровень, который не проверяют стандартные инструменты теневых ИТ.

sca-инструменты-программное обеспечение-композиция-анализ-инструменты
Расставьте приоритеты, устраните и защитите риски, связанные с программным обеспечением
Получите бесплатный аккаунт.
Нет необходимости кредитную карту.

Защитите свою разработку и доставку программного обеспечения

с пакетом продуктов Xygeni