Атака извлечения модели

Атака с использованием извлечения модели: почему инвентаризация на первом месте.

TL, д-р

Что такое атака с извлечением модели и почему инвентаризация является первоочередной задачей.

Атака с использованием извлечения модели копирует ваш ИИ через собственный API. Никакого взлома, никаких украденных данных, никакого вредоносного ПО.

  • Вот как это работает: Атака с целью извлечения модели (также называемая кражей модели или хищением модели) заключается в масштабном запросе к конечной точке вывода и обучении клона на полученных ответах. В ваших логах злоумышленник выглядит как крупный клиент.
  • Где оно находится: OWASP классифицирует извлечение моделей как... LLM10:2025 Неограниченное потребление и среди мер по смягчению последствий указывает централизованный реестр моделей.
  • Почему защита допускает ошибки: Ограничения скорости запросов, аутентификация и мониторинг защищают только те конечные точки, о которых вам известно. Конечные точки теневого ИИ не защищены ни от чего из перечисленного.

Первая линия обороны: Инвентаризация ИИ, включающая все модели, агентов и конечные точки вывода, которые предоставляет ваш код, обнаруживается из исходного кода до его выпуска. Вы не можете защитить конечные точки вывода, которые не были внесены в инвентаризацию.

Вашу модель могут украсть, даже если никто не будет трогать ваши серверы.

Ваша команда потратила месяцы на доработку модели на основе собственных данных. Она работает через API, который обрабатывает тысячи запросов в день. А теперь представьте, что конкурент восстанавливает большую часть своей стоимости за счет этих вызовов API.

Это атака с целью извлечения модели. Никто не взламывает вашу инфраструктуру и не скачивает ваши веса. Злоумышленник просто задает вашей модели достаточное количество тщательно подобранных вопросов, записывает ответы и обучает ее копию.

Большинство команд справляются с этим риском с помощью ограничений скорости запросов, аутентификации и мониторинга выходных данных. Эти средства контроля работают. Но у них есть один недостаток: они защищают только те конечные точки вывода, существование которых вам известно. В этом руководстве мы объясним, что такое атака с извлечением модели, как работает кража модели на практике и почему любая защита начинается с инвентаризации.

Что такое атака с извлечением модели?

Атака с извлечением модели — это атака, при которой злоумышленник восстанавливает функциональную копию модели машинного обучения, отправляя ей запросы и обучаясь на основе её выходных данных. Она также известна как кража модели или хищение модели. Злоумышленнику никогда не понадобятся исходные веса, обучающие данные или исходный код: достаточно общедоступного интерфейса.

Идея не нова. Исследователи продемонстрировали её эффективность в сравнении с коммерческими API для прогнозирования ещё в 2016 году.Трамер и др., USENIX SecurityВ 2024 году команда Google DeepMind восстановила часть модели производственного языка через свой публичный API.Карлини и др.). МИТРА АТЛАС отслеживает то же поведение, что и методы противника в отношении систем искусственного интеллекта.

В приложениях LLM OWASP включает в себя защиту от кражи моделей. LLM10:2025 Неограниченное потреблениеВ нем описываются два варианта: извлечение данных с помощью специально сформированных API-запросов и функциональная репликация, при которой целевая модель генерирует синтетические данные для тонкой настройки конкурирующей модели.

Атака с целью извлечения модели: ключевые термины

Одна и та же угроза известна под несколькими названиями. Вот что означает каждое из них и в каких областях они пересекаются.

СрокЧто это значит
атака извлечения моделиВосстановление поведения модели на основе ответов на запросы.
Кража моделей / хищение моделейРаспространенные синонимы; кража моделей также включает в себя прямую кражу файлов с данными о весе.
Воспроизведение функциональной моделиИспользование выходных данных целевой модели в качестве обучающих данных для замещающей модели.
Теневая модельКлон нападающего, обученный имитировать цель.

Как работает атака с извлечением модели

Любая атака с использованием моделей следует одному и тому же циклу: найти конечную точку, выполнить запрос к ней в больших масштабах, обучить копию модели.

  1. Найдите конечную точку. Злоумышленник находит API для вывода информации: бэкэнд чата, сервис классификации, конечную точку для эмбеддингов, внутреннюю модель, к которой может получить доступ партнер.
  2. Составьте запросы. Входные данные выбираются таким образом, чтобы охватить все возможности модели.cisэффективно использовать ионное пространство, иногда в сочетании с быстрой инъекцией, чтобы получить более полные ответы.
  3. Соберите результаты. Метки, показатели достоверности, логиты или автодополнение текста — всё это приводит к утечке информации. Чем подробнее ответ, тем быстрее происходит кража.
  4. Обучите замещающего сотрудника. Собранные пары входных и выходных данных становятся обучающим набором для теневой модели, имитирующей оригинал.
  5. Воспользуйтесь уязвимостью клона. Копия используется для того, чтобы избежать лицензионных расходов, напрямую конкурировать или отрабатывать враждебные атаки в автономном режиме, прежде чем применять их к реальной модели.

Сложность выявления случаев кражи моделей заключается в том, что каждый запрос является легитимным. Сигнал кроется в объеме, характере и, прежде всего, в том, куда именно направляются запросы.

Почему обычные средства защиты терпят неудачу: недостаток в запасах.

standard Рекомендации по противодействию атакам с использованием моделей вполне обоснованы: аутентифицируйте вызывающих абонентов, ограничивайте и замедляйте скорость запросов, удаляйте оценки достоверности из ответов, добавляйте водяные знаки к выходным данным и отслеживайте аномальные шаблоны запросов. Каждый элемент управления применяется к отдельной конечной точке. Именно здесь и возникает проблема.

Сегодня искусственный интеллект проникает в кодовые базы быстрее, чем команды безопасности успевают его отслеживать. Разработчик интегрирует SDK LLM в микросервис. Команда, работающая с данными, предоставляет тонко настроенную модель для внутреннего инструмента. Фреймворк агентов запускает собственный слой обслуживания. Ни один из этих проектов не проходит проверку, и многие из них никогда не появляются в API-шлюзе или в файле спецификации.

В результате появляется теневой ИИ: модели, агенты и конечные точки вывода, которые существуют в производственной среде, но ни у кого не числятся. Конечная точка, о которой никто не знает, не имеет ограничений по количеству запросов, не проходит проверку подлинности и не находится под наблюдением. Для атаки с целью извлечения модели это идеальная цель.

OWASP указывает в том же направлении. Среди мер по смягчению последствий LLM10 рекомендуется вести централизованный учет моделей машинного обучения. Логика проста: Вы не можете защитить конечные точки вывода, которые не были внесены в инвентаризацию.

Сначала проведите инвентаризацию: выявите все конечные точки, а затем защитите их.

Полезный реестр активов, защищенных искусственным интеллектом, отвечает на четыре вопроса для каждого актива: что это такое, где он зарегистрирован, с чем он взаимодействует и что его защищает.

Вопрос по инвентаризацииПочему это важно для извлечения модели
Какие модели и конечные точки для вывода существуют?Каждая неуказанная конечная точка является незащищенной целью для извлечения данных.
Где они указаны в коде?Ответственность: кто-то должен починить отсутствующий элемент управления.
Какие данные и инструменты связаны между собой?Модель, обученная на конфиденциальных данных, представляет большую ценность для кражи.
Который guardrails и применяются ли какие-либо ограничения?Показывает пробелы в покрытии до того, как их обнаружит злоумышленник.

Лучшее место для создания этого каталога — исходный код. Именно в коде рождается конечная точка, поэтому обнаружение ресурсов ИИ в репозитории позволяет найти их до того, как они попадут в производство. Это также связывает каждый ресурс с проектом. commitи команда, которая превращает список в действие.

Еще две привычки замыкают цикл. Экспортируйте инвентаризацию в виде спецификации материалов для искусственного интеллекта (AI-BOM), чтобы группы управления и аудита видели одну и ту же картину. И проводите повторное сканирование при каждом изменении, потому что инвентаризация эффективна только при последнем обновлении.

Как Xygeni устраняет уязвимость перед началом атаки с использованием извлечения модели.

Xygeni AI Security Создает каталог ИИ непосредственно из исходного кода. Он обнаруживает модели ИИ, агентов, фреймворки ИИ, серверы и инструменты MCP, подсказки и т.д. guardrailsхранилища векторов, наборы данных, конечные точки вывода и инструменты кодирования ИИ во всех ваших репозиториях, включая файлы моделей, такие как .onnx, .pt и .pklТакже отображаются взаимосвязи: какой агент использует какую модель, какие инструменты он применяет, на каких наборах данных он обучается.

В каталоге AI Assets для каждого актива отображаются его модели и поставщики, подключенные источники данных с флагами PII, охват ограничений и поля управления, такие как категория риска в соответствии с Законом ЕС об ИИ. В представлении AI Graph показано, как связаны агенты, модели, инструменты и наборы данных. Одним щелчком мыши можно экспортировать спецификацию CycloneDX 1.6 ML-BOM, которая будет отображаться рядом с вашим SBOM и CBOM.

От инвентаризации к защите:

  • Система обнаружения рисков, адаптированная под OWASP. Комплекты детекторов охватывают все десять категорий OWASP LLM Top 10, включая LLM10 «Неограниченное потребление», поэтому каждое обнаруженное нарушение будет понятным для ваших аудиторов языком.
  • Контрольные параметры конечной точки проверены в коде. Безопасность API Xygeni Обнаруживает конечные точки API в коде и спецификациях и помечает неаутентифицированные конечные точки, отсутствующие ограничения скорости и теневые API, которые отклонились от спецификации.
  • Доказательство в беговом приложении. Xygeni AI Pentesting проводит тестирование развернутого приложения и выявляет уязвимости, которые могут быть использованы злоумышленниками.
  • Быстро исправьте. Функция AI Triage определяет приоритетность обнаруженных проблем, связанных с ИИ, а функция AI Remediation генерирует рекомендации по устранению неполадок для всех десяти категорий OWASP LLM.

Всё это выполняется в режиме статического сканирования. CI/CD или локально, с использованием SaaS. on-premise а также варианты с изолированной сетью. Команды, которым необходимо, чтобы этап семантического анализа проводился внутри компании, могут использовать модель с самостоятельным размещением.

Контрольный список мер предотвращения атак с использованием извлечения моделей

Восемь элементов управления, в указанном порядке. Первые два позволяют реализовать остальные шесть.

  1. КаталогПроведите инвентаризацию каждой модели, агента и конечной точки вывода из исходного кода и поддерживайте ее в актуальном состоянии на каждом устройстве. commit.
  2. СобственностьНазначьте владельца каждому объекту ИИ в инвентаре.
  3. АутентификацияТребовать аутентификации на каждой точке ввода данных, включая внутренние.
  4. Ограничение скоростиПрименяйте ограничения на количество обращений, квоты и тайм-ауты для каждого вызывающего абонента.
  5. Минимизация выходных данныхВозвращает минимально необходимый объем выходных данных: удаляет оценки достоверности и логиты там, где они не нужны пользователям.
  6. мониторингОтслеживайте объем и закономерности запросов для систематического анализа.
  7. водяные знакиРассмотрите возможность нанесения водяных знаков на результаты работы дорогостоящих запатентованных моделей.
  8. УправлениеЭкспортируйте спецификацию материалов на основе искусственного интеллекта (AI-BOM) для целей управления и аудита, а также сопоставьте полученные результаты с OWASP LLM10.

Найдите конечные точки для обработки данных раньше, чем это сделают злоумышленники.

Для атаки с целью извлечения модели достаточно всего одной конечной точки, о которой вы забыли. Узнайте, какой именно ИИ работает в вашем коде: Узнайте, как Xygeni AI Security формирует ваш инвентарь ИИ. or заказать демоверсию.

FAQ

В чём разница между атакой с извлечением модели и атакой с инверсией модели?

Атака с целью извлечения модели копирует саму модель: её поведение и де-cisЛогика инверсии. Инверсия модели нацелена на обучающие данные, пытаясь восстановить конфиденциальные записи, на основе которых модель обучалась. Оба метода злоупотребляют доступом к запросам, но извлечение данных крадет интеллектуальную собственность, а инверсия приводит к утечке конфиденциальных данных.

Может ли атака с использованием извлечения модели быть направлена ​​на LLM-модели или только на классические модели машинного обучения?

И то, и другое. Ранние исследования были направлены на классификаторы, лежащие в основе API прогнозирования. Сегодня OWASP относит извлечение модели и воспроизведение функциональной модели к рискам LLM в соответствии с LLM10:2025 Unbounded Consumption, когда злоумышленник использует собственные выходные данные LLM для тонкой настройки заменителя.

Как мне узнать, какие из моих конечных точек вывода подвержены краже моделей?

Начните с инвентаризации, созданной на основе исходного кода: каждая модель, агент и конечная точка вывода, объявленные вашими приложениями. Затем проверьте каждую из них на наличие аутентификации, ограничения скорости и раскрытия выходных данных. Xygeni AI Security обнаруживает ресурсы ИИ в ваших репозиториях и экспортирует их в виде AI-BOM, а Xygeni API Security помечает конечные точки, у которых отсутствует аутентификация или ограничение скорости.

sca-инструменты-программное обеспечение-композиция-анализ-инструменты
Расставьте приоритеты, устраните и защитите риски, связанные с программным обеспечением
Получите бесплатный аккаунт.
Нет необходимости кредитную карту.

Обеспечьте безопасность разработки и доставки программного обеспечения.

с пакетом продуктов Xygeni