Что такое безопасность ИИ? Безопасность ИИ — это практика защиты моделей ИИ, агентов, наборов данных и инфраструктуры, от которых зависит программное обеспечение, от рисков, уникальных для того, как системы ИИ создаются, обучаются и работают. Это включает в себя обнаружение всех используемых ресурсов ИИ, выявление специфических для ИИ уязвимостей, таких как внедрение вредоносного кода и небезопасное поведение агентов, а также обеспечение соблюдения политик, которые предотвращают небезопасные действия ИИ до того, как они причинят вред. Это основное понятие безопасности ИИ, которое подробно рассматривается в остальной части этого глоссария.
В отличие от традиционной безопасности приложений, которая защищает код, зависимости и инфраструктуру, безопасность ИИ защищает новый класс активов: модели, подсказки, агенты и протоколы межмашинного взаимодействия, которые их соединяют. По мере того, как ИИ переходит из разряда отдельных функций в саму цепочку поставок программного обеспечения, он становится отдельным и необходимым уровнем защиты.
Что означает безопасность ИИ: краткое определение #
В самом простом виде, смысл безопасности ИИ сводится к следующему: Обеспечение безопасности ИИ тем же способом, которым вы уже обеспечиваете безопасность кода, но для набора компонентов и моделей поведения, для обнаружения которых традиционные инструменты никогда не были предназначены.
Полезный способ отделить данное понятие от распространенного источника путаницы: Безопасность с использованием ИИ — это не то же самое, что «ИИ в сфере безопасности». Использование ИИ в сфере безопасности подразумевает применение искусственного интеллекта для улучшения существующих методов обеспечения безопасности, например, модели ИИ, которая анализирует обнаруженные уязвимости. В отличие от этого, безопасность ИИ подразумевает обеспечение безопасности самого ИИ: файлов модели, обучающих данных, агентов, подсказок и серверов, позволяющих инструментам ИИ выполнять действия. Оба варианта использования ИИ являются допустимыми, но отвечают на разные вопросы.
Почему это имеет значение #
Команды разработчиков программного обеспечения внедрили помощников по программированию на основе ИИ, автономных агентов и... Модель контекстного протокола (МКП) Темпы этого сдвига превысили возможности инструментов, предназначенных для их защиты. Вот несколько причин, почему этот сдвиг создал новую уязвимость:
Зависимости от ИИ можно отравить или создать искусственно. Иногда помощники по программированию на основе ИИ рекомендуют несуществующие пакеты — это явление известно как «слопсквоттинг», — которые злоумышленники могут предварительно зарегистрировать и использовать в своих целях.
Код, сгенерированный искусственным интеллектом, имеет свой собственный профиль рисков. Независимые сравнительные исследования генерации кода с помощью ИИ показали, что значительная часть кода, написанного ИИ, содержит распространенные уязвимости, даже если базовая модель является функциональной и хорошо обученной.
Агенты и серверы MCP представляют собой новую, в значительной степени неконтролируемую инфраструктуру. Агенты могут читать файлы, вызывать инструменты и выполнять действия от имени разработчика. Если инструкции агента, файлы правил или подключенные серверы MCP будут изменены, агент может быть использован против системы, которую он должен был защищать.
Настройка ИИ теперь представляет собой уязвимое место для атак. Файлы навыков, файлы правил и шаблоны подсказок обычно рассматриваются как документация, а не как объекты, имеющие отношение к безопасности. Злоумышленники уже продемонстрировали, что скрытые инструкции, встроенные в эти файлы, могут заставить ИИ-помощника генерировать код с бэкдором без каких-либо видимых следов в ответе.
Что это включает в себя #
Комплексная программа обеспечения безопасности ИИ обычно охватывает три функции:
1. Обнаружение (инвентаризация с использованием ИИ) #
Прежде чем что-либо можно будет защитить, это нужно обнаружить. Безопасность ИИ начинается с непрерывного обнаружения всех ресурсов ИИ в хранилищах организации. pipelines: модели, фреймворки ИИ, наборы данных, конечные точки вывода, агенты, инструменты кодирования ИИ и серверы MCP, к которым они подключаются. Этот перечень обычно выражается в виде машиночитаемой спецификации материалов для ИИ (AI-BOM), эквивалента спецификации материалов для программного обеспечения в сфере ИИ.SBOM).
2. Выявление (риск, связанный с ИИ) #
После того как активы, созданные с помощью ИИ, становятся известны, система безопасности ИИ выявляет специфические для них риски, в том числе:
- Быстрое впрыскивание и немедленная утечка из системыгде недостоверный контент манипулирует поведением модели искусственного интеллекта.
- Небезопасная конфигурация MCPгде подключенный инструмент или сервер может быть отравлен или использован в своих целях.
- Чрезмерная самостоятельностьгде агенту разрешено действовать за пределами своих установленных границ без проверки со стороны человека.
- Раскрытие секретов в файлах ИИ.где ключи API или учетные данные утекают через конфигурацию, используемую инструментами искусственного интеллекта.
- Уязвимые или мнимые зависимости от ИИвключая приседания в невзрачной позе.
Эти категории риска соответствуют опубликованным, прошедшим общественное обсуждение концептуальным моделям, в первую очередь, OWASP Top 10 для приложений LLM.
3. Обеспечение соблюдения (Guardrails) #
Заключительный слой предотвращает небезопасное поведение ИИ до его выполнения: блокировка установки вредоносного пакетаПроверка файла с навыками или правилами перед тем, как ему можно будет доверять, или перехват действий агента, нарушающих политику. Именно здесь безопасность ИИ переходит от видимости к активной защите.
Ключевые риски безопасности ИИ: определение #
| Срок | Что это значит |
|---|---|
| Быстрая инъекция | Вредоносные инструкции, скрытые в контенте, обрабатываемом моделью ИИ, заставляют её действовать против своего предназначения. |
| Приседание в позе на корточках | Злоумышленники регистрируют поддельные пакеты, названия которых совпадают с именами, которые может видеть модель ИИ в галлюцинациях и которые она может рекомендовать. |
| риск MCP | Уязвимости в серверах протокола контекста модели, позволяющие агентам ИИ вызывать внешние инструменты, включая отравление инструментов и неаутентифицированный доступ. |
| Чрезмерная самостоятельность | Агенту искусственного интеллекта предоставлена большая автономия или доступ, чем требуется для выполнения его задачи. |
| обходной путь для файла правил/навыков | Скрытые символы или инструкции, внедренные в конфигурационные файлы, которые управляют работой помощника по программированию на основе ИИ, не отображаясь в его видимом выводе. |
| AI-BOM | Машинночитаемый перечень активов организации, использующих искусственный интеллект, применяемый для аудита и управления рисками. |
Структуры безопасности ИИ и Standards #
Оно основано на небольшом наборе опубликованных материалов. standardа не таксономия какого-либо отдельного поставщика:
- OWASP Top 10 для поступления на магистерскую программу. (2025): наиболее часто цитируемый список рисков применения ИИ, охватывающий такие аспекты, как быстрое внедрение, раскрытие конфиденциальной информации, риски в цепочке поставок и многое другое.
- НИСТ СП 800-218А: Рекомендации по безопасным методам разработки программного обеспечения, адаптированные для генеративного искусственного интеллекта и базовых моделей двойного назначения.
- AI-SPM и AI TRiSM от Gartner: категории, определенные аналитиками, для управления состоянием безопасности ИИ и более широкой дисциплины управления доверием, рисками и безопасностью ИИ.
Вместе они позволяют организациям выработать общий словарь для понимания того, что на самом деле означает «безопасный ИИ», вместо того чтобы полагаться только на маркетинговые определения.
Безопасность ИИ против связанных терминов #
- Безопасность ИИ против безопасности приложенийAppSec обеспечивает безопасность кода приложений и его зависимостей. Он защищает модели ИИ, агентов и специфичные для ИИ конфигурации, которые инструменты AppSec не предназначены для проверки.
- Безопасность ИИ против управления ИИУправление определяет политики и разрешения, необходимые организации для использования ИИ. Оно обеспечивает соблюдение и проверку того, что эти политики выполняются на практике, на уровне кода и агентов.
- Безопасность ИИ против MLSecOpsMLSecOps фокусируется на обеспечении безопасности всего жизненного цикла машинного обучения (обучение, данные, развертывание моделей). Это более широкое понятие, охватывающее агентов, помощников в программировании и протоколы, которые связывают их с работающими системами.
Как компания Xygeni подходит к обеспечению безопасности ИИ
#
Ксигени Продукт AI Security применяет ту же модель обнаружения, выявления и обеспечения безопасности непосредственно к жизненному циклу разработки программного обеспечения. Он постоянно формирует инвентаризацию ИИ в репозиториях, выявляет специфические риски ИИ, такие как внедрение запросов и небезопасная конфигурация MCP, и сопоставляет каждое обнаруженное нарушение с OWASP Top 10 для приложений LLM, поэтому команды безопасности и инженеров работают с единым списком ИИ-BOM и единым представлением рисков, вместо того чтобы гадать, какой ИИ уже работает в их коде.
FAQ #
Безопасность ИИ — это защита моделей ИИ, агентов, данных и инфраструктуры, связывающей их, от рисков, специфичных для особенностей построения и функционирования систем ИИ.
Нет. Кибербезопасность — это общая дисциплина, охватывающая все цифровые риски. Безопасность ИИ — это специализированная подгруппа кибербезопасности, сфокусированная на специфических для ИИ активах и режимах отказа, таких как мгновенное внедрение вредоносного кода или небезопасное поведение агентов.
Любая организация, разработчики которой используют помощников по программированию на основе ИИ, чьи продукты содержат модели ИИ или чьи рабочие процессы включают автономных агентов и серверы MCP. Теперь это включает большинство команд разработчиков программного обеспечения, независимо от их размера.
