Что такое кибербезопасность с использованием ИИ?

Кибербезопасность с использованием ИИ — это практика защиты искусственного интеллекта как части вашей поверхности атаки: моделей, наборов данных, агентов, серверов MCP, подсказок и сгенерированного ИИ кода внутри вашего программного обеспечения, а также новых методов атак, направленных на них. Она также охватывает обратное направление, использование ИИ для усиления защиты, но именно первое направление сегодня создает уязвимости. Это краткий ответ на вопрос, что такое кибербезопасность с использованием ИИ. Стоит заранее ознакомиться с этим вопросом.cisНе стоит об этом задумываться, потому что этот термин используется для обозначения двух совершенно разных вещей, и покупка неправильного предмета оставляет другой без защиты.

Кибербезопасность в сфере ИИ: два направления. #

В контексте кибербезопасности ИИ все сводится к простому вопросу: вы защищаете ИИ или он защищает вас?

Обеспечение безопасности ИИ. Ваша организация использует ИИ для создания и разработки программного обеспечения. Это приводит к появлению активов, которые никто не инвентаризировал, и сбоев, к которым традиционные инструменты никогда не были предназначены: запрос, принимающий ненадежные входные данные, агент с расширенными правами доступа, превышающими необходимые для его задачи, набор данных, который «отравляет» модель, сервер MCP, который никто не одобрил. Именно здесь и происходят инциденты.

Искусственный интеллект в сфере безопасности. Применение машинного обучения для обнаружения, сортировки, объяснения и устранения проблем: снижение уровня ложных срабатываний, определение приоритетов для уязвимых мест и написание кода исправления. Именно здесь достигается эффективность.

Большинство поставщиков и большинство статей объединяют эти два понятия. В контексте кибербезопасности ИИ, имеющем операционное значение, это означает, что это отдельные программы с отдельными владельцами. Одна проблема связана с поверхностью атаки, другая — с производительностью.

Что защищает кибербезопасность с помощью ИИ? #

Инвентаризация перед контролем. Каждый предмет ниже — это актив, за который теперь несет ответственность группа безопасности.

• Моделинезависимо от того, размещены ли они на собственном сервере, оптимизированы или вызываются через API поставщика.
• Datasets используется для обучения, тонкой настройки, оценки и поиска.
• Агенты и серверы агентов которые действуют автономно внутри ваших систем
• MCP-серверы которые предоставляют этим агентам инструменты и данные
• Подсказки, файлы навыков, файлы правил и guardrails, уровень конфигурации, который управляет поведением ИИ.
• Конечные точки вывода и документы, подтверждающие их квалификацию.
• Помощники по кодированию с использованием искусственного интеллекта используемый в ваших командах код и код, который они генерируют
• Зависимости ИИ: фреймворки и пакеты, которые использует ваш стек ИИ.

Обратите внимание, как мало здесь кода приложения. Это предварительный код.cisпочему именно SAST Инструмент, агент EDR и инструмент проверки состояния облака могут показывать положительный результат, даже если агент на ноутбуке передает данные через свой собственный почтовый инструмент. Ни один из них не является кодом приложения, поэтому ни один из них не охватывается уже используемыми вами инструментами.

Три атаки, которые существуют только благодаря искусственному интеллекту. #

Знание того, о каком семействе идет речь, позволяет определить, кому принадлежит контроль, и именно здесь смысл кибербезопасности ИИ перестает быть абстрактным.

Первая группа инструкций ориентирована на выполнение заданий модели. Быстрое введение препарата удерживает лидирующие позиции в... OWASP Top 10 для поступления на магистерскую программу. Список существует с тех пор, как он появился, по простой причине: любая точка, где модель считывает текст, который она не создавала, является точкой входа. Опасный вариант — косвенный. Никто не вводит текст атаки, модель извлекает его из заявки в службу поддержки, веб-страницы и т. д. pull request Комментарий или документ, загруженный кем-то. Модель не может отличить инструкции от содержимого, поэтому она следует и тому, и другому. Если дать этой модели инструменты, тот же метод превратится в внедрение инструментов: измените представление агента о том, что делает инструмент, и он будет действовать против вас, используя ваши собственные учетные данные. Избыточная свобода действий — это множитель. Агент, обладающий более широкими правами, чем требуется для выполнения его задачи, — это разница между помехой и инцидентом.

Вторая группа устройств ориентирована на уровень конфигурации. Подсказки, файлы правил, файлы навыков и определения сервера MCP определяют, что делает ИИ в вашей среде, и ни один из них не является кодом приложения. «Бэкдор» в файлах правил показал, насколько это заходит: символы Unicode нулевой ширины содержат инструкции, которые человек-проверяющий физически не может увидеть, помощник им подчиняется и никогда не упоминает их в своем ответе. Эта техника описана в... МИТРА АТЛАС как AML.CS0041. На этом же уровне обычно хранятся учетные данные поставщика в открытом текстовом виде, и помощникам предоставляется доступ на чтение к гораздо большей части файловой системы, чем кто-либо предполагал. агентное кодирование, Этот слой — это руль, и его почти никто не рецензирует.

Третья группа компаний нацелена на цепочку поставок ИИ. Модели, наборы данных и сопутствующие им пакеты поступают извне. Наиболее наглядный пример — это сквоттинг: языковые модели придумывают имена пакетов, злоумышленники регистрируют их, а агент по запросу устанавливает код злоумышленника. Исследование, представленное на USENIX Security 2025, показало, что 19.7% пакетов, рекомендуемых языковыми моделями, не существуют, и что вымышленные имена встречаются достаточно часто, чтобы их можно было использовать в коммерческих целях. Наряду с этим встречаются отравленные обучающие и поисковые данные, эмбеддинги, раскрывающие свой исходный материал, ненадежные MCP-серверы, напрямую подключенные к агенту, и уязвимые фреймворки ИИ, используемые в качестве зависимостей.

В основе всех трех лежит теневой искусственный интеллект: модели, агенты, помощники и MCP-серверы Уже запущено без согласования, проверки или инвентаризации. Это состояние по умолчанию в большинстве организаций, и именно поэтому первым этапом контроля всегда является составление списка.

А что не является таковым? #

Это не управление с помощью ИИ. Управление отвечает на вопрос, следует ли использовать ту или иную модель и в соответствии с какой политикой. Кибербезопасность ИИ отвечает на вопрос, могут ли модель, агент и связи между ними быть атакованы.

Это не фильтр для чат-бота. Фильтрация запросов во время выполнения — это лишь один из многих элементов управления. Она ничего не видит о сервере MCP на ноутбуке разработчика, об искаженном файле правил в репозитории или об учетных данных в конфигурации AI.

Это не входит в функционал вашей текущей системы. Традиционная защита приложений останавливается на уровне репозитория и не понимает, что такое модель. Инструменты для защиты конечных точек отслеживают операционную систему и не понимают, что такое пакеты, серверы MCP или ассистенты. Атаки с использованием искусственного интеллекта попадают в промежуток между ними.

Речь идёт не только о генеративном искусственном интеллекте. Классическое машинное обучение в сфере мошенничества, ценообразования и оценки рисков также является мишенью для атак с использованием методов отравления, обхода защиты и извлечения моделей.

Концептуальные основы, определяющие данную область. #

OWASP Top 10 для поступления на магистерскую программу.: рабочая таксономия рисков применения LLM, и именно к ней большинство групп безопасности соотносят полученные результаты.

OWASP Top 10 для агентных приложений 2026 года: список сопутствующих материалов для автономных систем, использующих инструменты, опубликованный в декабре 2025 года.

Проект безопасности OWASP GenAI: комплексная инициатива, включающая обеспечение безопасности данных, рекомендации по использованию серверов MCP и ресурсы для проведения тестов на проникновение (red teaming).

Структура управления рисками искусственного интеллекта NIST и его профиль генеративного ИИ: управленческая терминология, которую признают регулирующие органы и советы директоров.

МИТРА АТЛАС: база знаний по состязательным методам для систем искусственного интеллекта с реальными примерами из практики.

EU AI Act : правовая база, включая обязанности по технической документации, которые помогает выполнить инвентаризация с использованием ИИ.

Когда начать #

Inventory. Найдите все используемые модели, наборы данных, агентов, серверы MCP и ИИ-помощников, анализируя код, зависимости и конфигурацию, а не проводя опрос.

Составьте карту взаимосвязей. Риск кроется в проводке: какой агент подключается к какому инструменту, какой набор данных подается на вход какой модели.

Прочитайте конфигурационный слой. Рассматривайте подсказки, файлы навыков, файлы правил и определения MCP как артефакты безопасности и проверяйте их как код.

Права доступа к области действия. Предоставьте каждому агенту максимально ограниченный набор инструментов и минимальную автономию, которую позволяет его работа.

Обеспечьте соблюдение правил там, где это работает. Большинство рисков, связанных с ИИ, сосредоточено на машинах разработчиков, поэтому политика безопасности должна применяться на конечной точке, прежде чем будет запущен несанкционированный сервер или вредоносный пакет.

Обеспечение безопасности используемого вами ИИ и ИИ, который вы используете для создания приложений. #

Практический ответ на вопрос о том, что такое кибербезопасность ИИ, заключается в том, что она начинается с обеспечения видимости и заканчивается применением мер принуждения. Xygeni обнаруживает каждый ресурс ИИ в вашей системе. SDLCАнализ, включающий модели, агентов, серверы MCP, наборы данных, файлы навыков и подсказки, которые никто не указал, отображает их взаимосвязь и выявляет специфические для них риски: внедрение подсказок и инструментов, вредоносные инструкции в правилах и файлах навыков, небезопасная конфигурация MCP, секреты в файлах ИИ и некорректно настроенные зависимости ИИ. Результаты соответствуют списку OWASP Top 10 для приложений LLM и указывают на конкретный файл и строку. AI-BOM предоставляет вашим аудиторам надежное средство защиты, а политика применяется на стороне разработчика, где фактически реализуется большая часть рисков, связанных с ИИ.

Тот же интеллектуальный подход применяется и к результатам сканирования, которые у вас уже есть, поэтому безопасность на основе ИИ расширяет вашу систему, а не заменяет её. Узнайте, к чему подключены ваши агенты, по ссылке: Ксигени.

FAQ #