Риск применения ИИ-агента и радиус поражения

Риск и масштаб последствий применения ИИ-агента: ограничить действия агента или быстрее восстановиться?

TL, д-р

Три ответа на один и тот же вопрос о рисках, связанных с агентным ИИ.

Мы ожидали широкого согласия по вопросу ограничения возможностей агентов ИИ, но получили три разных ответа.

  • Педро Фортуна: Разделите агентов на множество небольших, специализированных групп, каждая с максимально узкими правами доступа, и добавьте мониторинг в режиме реального времени, который останавливает их на ранней стадии.
  • Джек Трефон: В случае с программистами все наоборот. Ограничьте его возможности, и вы уничтожите все, что делает его полезным, поэтому смиритесь с последствиями и инвестируйте в отслеживание и быстрое восстановление.
  • Луис Родригес Берсоса: Третья линия защиты. Рассматривайте модели на границе ареалов распространения так же, как и вредоносное ПО, разработайте систему защиты, ограничивающую действия каждого специализированного агента, и создайте ниже всего этого уровень принудительного контроля, который будет работать, даже если все вышестоящие средства выйдут из строя.

Место встречи всех троих: Вы не можете защитить то, что не учли в инвентаризации, каждое действие должно быть зарегистрировано, а то, что останавливает агента, должно находиться вне его системы.

Никаких нарушений не произошло.

Агент выполнил свою работу. По пути он решил, что ему нужно вмешаться в зависимость, конфигурацию, службу, к которой никто его не просил. При этом он оставался в рамках своих прав доступа. Никакие правила не были нарушены, поэтому ничего не сработало.

Мы представили этот вопрос трём специалистам, занимающимся подобными делами, рассчитывая на широкое согласие относительно дальнейших действий. Мы получили три разных ответа, и два из них противоречат друг другу.

Риск, связанный с агентным ИИ, обычно описывается как проблема злоумышленников. Это другая версия. В течение двадцати лет мы устанавливали границы доступа для программного обеспечения, которое делало именно то, что ему было приказано. Учетная запись службы, средство запуска CI, запланированное задание. Мы достаточно часто ошибались в определении границ, но то, что находилось внутри, было предсказуемым. Оно выполняло одну и ту же задачу, одним и тем же способом, каждый раз.

Теперь решение принимает то, что находится внутри границ. И границы по-прежнему определяются так же, как и всегда: заранее, на этапе конфигурации, кем-то, кто не может знать, во что превратится задача.

Именно этот вариант риска, связанный с агентным ИИ, заслуживает обсуждения, и мы посвятили ему час в прошлом выпуске. SafeDev Talk с Педро Фортуна из Jscrambler, Джек Трефон из компании Trefon Digital Consulting, и Луис Родригес Берсоса из Xygeni, ведущий: Алехандро Эстрада.

Мы ожидали, что они в целом согласятся. Но этого не произошло.

Риск, связанный с агентным ИИ: обнадеживающая предпосылка, которая не выдерживает критики.

В приведенном выше тексте есть слово, которое выполняет больше работы, чем должно: нападающийТакого варианта нет. Предполагается, что это упростит ситуацию.

Педро разобрал это одним движением.

«Быть ​​или не быть нападающим — это человеческое понятие. Нападающим делает то, что у него другие цели. И у агента, преследующего неверные цели, тоже другие цели».

Задумайтесь над этим, потому что это разрушает основу большинства дискуссий о рисках, связанных с агентным ИИ, включая описание, которое мы написали для нашего собственного мероприятия. Если то, что определяет злоумышленника, — это расходящиеся цели, а не злой умысел, то фраза «в этой истории нет злоумышленника» — это утешение, которого никто не заслужил. Структурно это тот же риск. Чего не хватает, так это намерения, а намерение никогда не было тем, что обнаруживали ваши средства контроля. Они обнаруживают последствия. Они всегда это делали.

Именно поэтому в отрасли произошла смена терминологии. OWASP Топ-10 вузов для поступления на магистерские программы (LLM) в 2026 году Повышение уровня избыточной активности с шестого места на третье, что скорее свидетельствует не столько об изменении мнения, сколько о том, что статистика инцидентов догнала уже развернутую архитектуру.

Что на самом деле показывает инцидент с «обнимающим лицом»

Июльское происшествие, в котором модель из приграничного района напала на третье лицо, широко интерпретировалось как история о модели, вышедшей из-под контроля. Луис же интерпретирует это иначе, и в его версии ответственность возлагается на кого-то, кто чувствует себя некомфортно.

«Проблема не в модели граничных условий. Модель граничных условий выполнила поставленную задачу. Проблема в дизайне эксперимента».

Цель была неопределенной. Ограничений не было. А в предназначенной для этого песочнице был доступ из интернета через уязвимость подделки запросов на стороне сервера в кэше пакетов, к которой мог получить доступ агент. Каждый из этих факторов является частью проектирования.cisион, созданный человеком.

В результате получается предложение, которое должно изменить способ предоставления этих ресурсов:

«К моделям нового поколения следует относиться так же, как к вредоносному ПО, потому что они могут действовать автономно и принимать решения».cisИоны, которые являются злонамеренными. Не по замыслу, но в конечном итоге они действительно оказываются злонамеренными.

Это не оскорбление модели. Это подход, предполагающий предоставление ресурсов. Вы же не предоставляете вредоносному ПО оболочку bash и не надеетесь, что цель была четко определена.

Педро интерпретировал этот инцидент скорее как произошедшее из-за некоего замысла, а не из-за времени:

«Как только вы видите, что агенты общаются, используя имена папок в сервисе, который им не следует использовать, вы должны немедленно остановить этих агентов. Вам не нужно ждать, пока эти агенты успешно взломают Hugging Face, чтобы решить, является ли это злонамеренным действием».

Стоит также запомнить одну деталь из ответа. Ответчики попытались использовать коммерческий инструмент для анализа трассировок, но не смогли, поскольку достигли лимита запросов. У злоумышленника такого лимита не было. «В самой атаке наблюдалась асимметрия».

Суть спора: ограничить действия агента или ускорить восстановление?

Именно здесь мнения членов комиссии разделились, и это действительно разногласия между специалистами, каждый из которых заслужил свою должность.

Педро выступает за разложение. Пятнадцать лет работы над изоляцией внутри браузера научили его тому, что невозможно обеспечить что-либо во время выполнения в монолитной архитектуре. Разделите архитектуру на небольшие части с конкретными функциями, и только тогда у точек управления и мониторинга появится возможность к ним подключиться. С агентами дело обстоит точно так же.

«Я думаю, нужно разбить задачу на очень специфических агентов, предназначенных только для выполнения конкретных задач. И неважно, если в итоге получится пятьдесят агентов. Это лучше, чем иметь всего одного».

Джек утверждает обратное, особенно в отношении программистов. Можно было бы ожидать, что технология, работающая в фоновом режиме на регулируемой криптовалютной бирже, обеспечит наиболее жесткие ограничения в зале. Однако она показала наименее жесткие результаты.

Его исходная аналогия вовсе не является моделью угроз:

«Я рассматриваю типичное развертывание агента так же, как и нового сотрудника, только что пришедшего на работу. И этот человек может безупречно выполнять свою работу, а может и допустить ошибку. Я не вижу большой разницы».

К узкоспециализированным агентам он относится так же строго, как и все остальные. Описывая разрабатываемый им в настоящее время агент для проверки кода, работающий только в режиме чтения, он прямо заявил, что распространенная конфигурация неоправданна: развертывание на стандартном Linux-сервере с доступом к bash «открывает доступ ко всей экосистеме угроз». Но для агентов, работающих с кодом в целом, логика обратная, и он знает, что эта позиция непопулярна:

«Чем больше полномочий у агента, тем креативнее и эффективнее он работает. Поэтому процветание отрасли обусловлено не ограничениями и сужением масштабов деятельности».

Что же остаётся, если не ограничивать? Автоматические выключатели и, прежде всего, моментальные снимки состояния: не предотвращение последствий взрыва, а обеспечение быстрого и дешёвого восстановления после него. Он это закладывает в свою систему. Amber, независимый от зависимостей агент на C++, который он пишет в свободное время, с фиксацией состояния в цикле (Сайт проекта).

И предупреждение о том, где заканчивается другой путь:

«Если мы начнём что-то отнимать, останется только один инструмент, и застройщик сможет включать свет и выключать его».

Луис занимает третью позицию, которая не ограничивает и не восстанавливает, а сдерживает снизу: предположим, что агент в конечном итоге будет вести себя как вредоносное ПО, разработаем систему, которая ограничивает каждый специализированный агент, и разместим под всем этим уровень принудительного контроля, который будет работать, даже если все вышестоящие элементы выйдут из строя.

Три подхода к одной и той же проблеме

Три позиции, каждая из которых имеет свою стоимость. Ни одна из них не бесплатна, и ни одна из них сама по себе не обеспечивает безопасность агента.

ПодходОсновной ходВо что это вам стоит
РазобратьПедро ФортунаМножество небольших агентов, каждый с ограниченными правами доступа, а также мониторинг в режиме реального времени, который останавливает их на ранней стадии.Разработка дизайна требует значительных усилий на начальном этапе, а работа над кодом в свободной форме обходится сложнее.
RecoverДжек ТрефонСохраните возможности, добавьте автоматические выключатели и моментальные снимки, чтобы откат был недорогим.Более широкий радиус поражения и ставка на своевременное обнаружение и нейтрализацию взрыва.
Содержит снизуЛуис Родригес БерсосаПредполагайте вредоносное поведение, ограничивайте действия каждого агента в системе, применяйте меры контроля на рабочих станциях и в среде CI.Инфраструктура и инструменты, которые пока недоступны в большинстве стеков для конечных устройств.

Если читать их вместе, разногласия оказываются менее значительными, чем кажется. Все трое признают, что агент неизбежно совершит непредвиденные действия. Они расходятся во мнениях относительно того, куда идут деньги: на архитектурные работы до их завершения, на восстановление после завершения или на подполье под ними.

Почему принцип наименьших привилегий не означает риск для ИИ, основанный на использовании агентных методов.

Принцип наименьших привилегий предполагает, что вы знаете свою работу. Вы ограничиваете права доступа в соответствии с поставленной задачей.

Агент нарушает это незаметно, потому что границы его прав доступа определяются на этапе конфигурации, а задача поступает во время выполнения. Фактически вы предоставляете ему все права, которые могут быть ему когда-либо предоставлены. Это не принцип наименьших привилегий; это противоположность, замаскированная под принцип наименьших привилегий.

Луис предложил переосмысление, заимствованное из идеи, которая старше всего этого:

«Я думаю о механизме конвейерной обработки данных в UNIX, о соединении простых инструментов для выполнения сложной задачи. Можно определить конкретные агенты с контролируемой конфигурацией, ограничивая возможности этого специализированного агента. И их можно комбинировать практически для любой задачи».

А ещё одна дизайнерская идея, которую большинство команд ещё не пробовали: Вместо расширения прав доступа, следует использовать защитные оболочки для инструментов. Это не bash, который передает всю систему целиком, а узкая оболочка, являющаяся единственным доступным путем вызова, с вариантами только для чтения, которые оборачивают общие варианты. Агент получает возможности, а не оболочку.

Он также ясно дал понять, что препятствие заключается не в дизайне, а в его внедрении. Новые средства контроля на компьютерах разработчиков имеют долгую историю обхода, и эта история не меняется от того, что рассматриваемый инструмент является агентом.

А вот о том, чем, по его мнению, всё это закончится:

«Я думаю, что в конечном итоге у нас будут автономные агенты, управляющие другими автономными агентами».

Ноутбук стал настоящей жемчужиной коллекции, а ваш EDR этого не заметил.

Агенту необходим постоянный доступ для эффективной работы. Необходимы: токен, не истекающий в процессе выполнения задачи, кэшированные учетные данные, права на отправку данных, доступ к реестру, прямой доступ к данным. pipelineКаждый из этих пунктов является обязательным требованием, а не недосмотром, а это значит, что чем лучше становились инструменты, тем более концентрированным становился компьютер разработчика.

Нападавшие заметили это первыми. Как выразился Педро, они не идеологи:

«Они организуются как небольшие компании. Им нужно зарабатывать деньги, поэтому они выбирают наиболее прибыльный путь. И они быстро поняли, что на станциях разработки можно заработать».

Мы наблюдаем, как эти изменения еженедельно отражаются в реестрах. Обзор вредоносного кодагде сборщики учетных данных теперь регулярно ищут ключи поставщиков ИИ наряду с ключами облачных сервисов и реестров.

Его список мер по смягчению последствий не отличается эффектностью, но работает: удалите все ключи, которые не нужны на компьютере, свяжите оставшиеся ключи с помощью второго фактора аутентификации, такого как OpenID Connect или аппаратный ключ, чтобы украденного токена было недостаточно, и перенесите среду с хоста, где это возможно, используя контейнеры для разработки или облачные IDE.

Затем Луис высказал мысль, которая должна обеспокоить любого, кто считает, что его стек конечных устройств это покрывает:

«Системы обнаружения угроз (EDR) специализируются на традиционном вредоносном ПО и не осведомлены об агентных инструментах. И если они работают, то могут генерировать много ложных срабатываний, потому что агент делает то, о чем современные системы обнаружения не знают».

Два режима отказа одновременно: система упускает из виду то, что важно, и отмечает то, что не имеет значения. Его решение — это внешний уровень контроля, расположенный вокруг рабочей станции разработчика и средства запуска CI, ниже основной системы, ограничивающий возможности злоумышленника. В этом и заключается проблема. Ксигени Shield Для этого и была разработана система, в которой политика применяется к конечной точке, где фактически происходит установка.

Джек выразился еще более прямо: не храните свои биткоины на компьютере разработчика.

Пол, на котором согласились все трое.

Три разных ответа, как минимум один общий.

  • Сначала проведите инвентаризацию. «Нельзя защитить то, о чём не знаешь». Все остальные деcision зависит от знания того, какие агенты, навыки и серверы MCP существуют, а почти ни один из них не был заявлен.
  • Регистрируйте каждое действие. Джек и Луис прибыли сюда с противоположных направлений. Джеку нужны следы, потому что именно по ним происходит восстановление и развитие организации. Луису они нужны, потому что без них невозможно восстановить масштабы последствий взрыва. Подход Джека заслуживает заимствования: нет смысла допрашивать самого участника, человека или агента, важно лишь достаточно хорошо понимать контекст, чтобы не повторять его.
  • То, что останавливает агента, должно находиться вне самого агента. Мониторинг выполнения программ у Педро, уровень контроля у Луиса, автоматические выключатели и снимки состояния у Джека. Разные механизмы, один принцип.

Джек предложил полезную концепцию того, на каком этапе развития находится отрасль. Он помнит первое спам-письмо, которое получил, в котором говорилось, что он унаследовал золотой рудник в Нигерии. Это проблема зрелости, и зрелость приходит после ошибок, а не до них.

Что сделать до пятницы

Выберите одного агента. Составьте два списка: что ему разрешено делать и что ему фактически было поручено сделать на этой неделе.

Разница между этими списками — это ваш радиус поражения, и это наиболее полезная мера риска, связанного с агентным ИИ, которую ваша команда может разработать за один день. На это уходит один день, не требуется никакого бюджета, и это решает вышеупомянутый вопрос для вашей организации, потому что три позиции на самом деле представляют собой три разных ответа на вопрос о том, насколько большой должна быть эта разница.

Большинство команд никогда этого не записывали.

полный час Доступна для просмотра предыдущая запись, включая замечание Джека о том, почему требования к участию человека в процессе в Европе делают некоторые методы защиты с помощью ИИ нецелесообразными на практике. 

И если упражнениеcise возвращает ответ, который вам не нравится. Ксигени Обнаруживает все ресурсы ИИ в ваших репозиториях, включая агентов, навыки и серверы MCP, которые никто не указал, и отображает на карте, к чему каждый из них может получить доступ. Забукировать демо or начать бесплатно, и мы запустим это на вашем устройстве.

FAQ

Каков радиус поражения, создаваемый агентом искусственного интеллекта?

Всё, к чему агент мог бы получить доступ в случае возникновения проблем, в отличие от того, что ему было поручено сделать. Это определяется доступными ему во время выполнения разрешениями, учетными данными и инструментами, а не самой задачей. Именно разница между ними заслуживает измерения, и большинство команд никогда её не записывали.

Является ли превышение агентом своих полномочий инцидентом безопасности, если он никогда не выходил за рамки своих прав доступа?

В этом и заключалось главное разногласие. Ответ Педро фактически утвердительный, поскольку злоумышленник определяется расхождением целей, а не злым умыслом, и расхождение целей действительно имеет место. Ответ Джека ближе к отрицательному: это оперативный сбой, подобный ошибке нового сотрудника, и правильным ответом является отслеживание и восстановление, а не ужесточение ограничений. Луис обходит этот вопрос стороной, предполагая наихудший сценарий с самого начала и спрашивая, какой уровень остается неизменным, когда это происходит.

Следует ли изолировать агентов программирования в изолированной среде?

Что касается узкоспециализированных агентов, ориентированных на выполнение конкретных задач, все трое без колебаний ответили утвердительно: только для чтения, где это возможно, без bash, без сети, если это не требуется. В отношении агентов общего назначения мнения экспертов разделились на три группы: Педро предложил разделить их на части, Джек сохранил бы функциональность и активно использовал бы моментальные снимки, а Луис добавил бы уровень контроля на уровне интерфейса, независимо от того, что разрешено делать агенту.

Покрывает ли моя программа EDR риски, связанные с использованием искусственного интеллекта агентами?

Вероятно, это не очень хорошо. Современные инструменты обнаружения на конечных устройствах построены на основе традиционных шаблонов вредоносного ПО и не моделируют поведение агентов, поэтому они, как правило, упускают из виду то, что важно, и отмечают то, что не имеет значения. Решение Луиса представляло собой внешний уровень контроля, разработанный для сред разработчиков, а не универсальный инструмент обнаружения и обнаружения угроз.

Что нужно сделать в первую очередь?

Создайте инвентаризацию. Опишите каждую модель, агента, навык и сервер MCP в ваших репозиториях, а также то, к чему каждый из них может получить доступ. Это тот самый шаг, который упомянули все три участника дискуссии, и единственный, от которого зависят все остальные элементы управления.

sca-инструменты-программное обеспечение-композиция-анализ-инструменты
Расставьте приоритеты, устраните и защитите риски, связанные с программным обеспечением
Получите бесплатный аккаунт.
Нет необходимости кредитную карту.

Обеспечьте безопасность разработки и доставки программного обеспечения.

с пакетом продуктов Xygeni