Управление рисками ИИ

Управление рисками в сфере ИИ: две дисциплины, один перечень рисков

TL, д-р

Термин «управление рисками в сфере ИИ» описывает две противоположные дисциплины, имеющие общее название. Управление рисками, создаваемыми ИИ, — это не то же самое, что использование ИИ для управления рисками. Большинство организаций занимаются одним, им продают другое, и они не предоставляют надлежащей отчетности ни по одному из этих методов.

  • Управление рисками в GenAI — это проблема, которая возникает на этапе исследования, прежде чем стать проблемой управления. Невозможно управлять имуществом, которое вы никогда не пересчитывали, а опись часто хранится в... .mcp/servers.json файл никто не открывал с момента его создания. commitТед.
  • Искусственный интеллект для управления рисками находит применение в трех областях. Корреляция, объяснение и объем. Искусственный интеллект плохо справляется с принятием решений, поэтому он предлагает варианты, которые затем детерминированно проверяются, прежде чем кто-либо их увидит.
  • Эти две дисциплины сходятся в одной точке. Искусственный интеллект, который вы используете для управления рисками, сам по себе является активом в области ИИ, обладающим моделью, доступом к инструментам и учетными данными. Он должен находиться в вашем собственном арсенале.
  • Начните с подсчета, а не с разработки политики. Страховой полис, составленный до начала процесса раскрытия информации, описывает воображаемое наследство. Три цифры на одном слайде превосходят схему, которую никто не может проверить.

Почему термин «управление рисками с помощью ИИ» теперь означает две разные вещи?

Введите эту фразу в любое поле поиска, и вы получите две совершенно разные библиотеки.

Один из них о риск, который создает ИИМодели ведут себя непредсказуемо, агенты обладают большими правами, чем предполагалось, сгенерированный код распространяет ошибки в больших масштабах, регулирующие органы спрашивают, что вы используете. Назовите это управлением рисками с помощью GenAI.

Другой вопрос касается Искусственный интеллект как инструмент функции риска: модели сортировки оповещений, обобщения рисков, составления планов по устранению проблем, объяснения результатов анализа тем, кто не умеет читать трассировки стека. Назовем это ИИ для управления рисками.

У них общее название, бюджетная строка и часто слайд, но это не одна и та же дисциплина. Одна носит оборонительный характер и задаётся вопросом, что может пойти не так. Другая же ориентирована на оперативный подход и спрашивает, от чего мы можем отказаться, делая всё вручную. CISТот, кто смешивает эти понятия, в итоге получает политику управления, которая не снижает рабочую нагрузку, и программу автоматизации, риски которой никто не оценил.

Указывать, в какую из двух сторон происходит разделение, — это не придирки. Это самый быстрый способ выяснить, какую из двух компаний ваша организация на самом деле финансирует.

Что включает в себя управление рисками GenAI?

Три слоя, и только один из них — модель.

  • Что пишет ИИ. Сгенерированный код содержит те же классы уязвимостей, что и код, написанный человеком, и он появляется быстрее, чем успевает быть учтен при проверке. Этот слой привлекает почти все внимание, потому что он наиболее знаком.
  • К чему подключен ИИ. Файлы навыков, файлы правил, конфигурации сервера MCP, области действия инструментов, учетные данные, под которыми работает агент. Обычный текст. commitОн похож на документацию, проверяется как документация и определяет, к чему может получить доступ помощник. Это тот уровень, который определяет, насколько далеко распространяется успешная атака, и он невидим для всего, что тестирует модель через ее конечную точку.
  • Что извлекает ИИ. Зависимости, модели, наборы данных, внешние инструменты. Злоумышленникам больше не нужно компрометировать разработчика, если они могут зарегистрировать имя пакета, придуманное вашим агентом. Исследование, представленное на конференции USENIX Security в 2025 году, сгенерировало 2.23 миллиона образцов кода по 16 моделям и обнаружило, что 19.7% рекомендованных пакетов не существуют, что привело к появлению более 205 000 уникальных вымышленных имен.

Любая программа управления рисками GenAI, охватывающая только первый уровень, выдает чистый отчет и неизменный профиль рисков. OWASP Top 10 для поступления на магистерскую программу. Структура построена вокруг этой реальности: чрезмерная активность занимает одно из первых мест в рейтинге.cisПотому что это проблема с проводкой, а не с моделью.

И все три уровня зависят от чего-то более скучного, чем любой из них. Вам нужно знать, какой именно ИИ у вас есть. Этап обнаружения — не предварительный шаг к управлению рисками с помощью GenAI, это основа всего остального, и именно на этом этапе большинство программ незаметно заходят в тупик.

В чём же на самом деле хорош ИИ для управления рисками?

Если отбросить маркетинговые уловки, честный ответ будет узким, но ценным. Искусственный интеллект в управлении рисками выполняет три задачи.

  • Корреляция. Шесть инструментов выдают шесть вариантов одного и того же результата при шести разных уровнях серьезности. Определение того, что это одна и та же проблема, в одном и том же компоненте, с одной и той же первопричиной, — это утомительный поиск закономерностей, который люди выполняют медленно и непоследовательно.
  • Объяснение. Разрыв между обнаруженной проблемой и её решением обычно заключается в непонимании. Объяснение, указывающее путь уязвимости, затронутый компонент и радиус поражения, превращает заявку, закрытую как «не будет исправлено», в заявку, которую действительно решают.
  • Объем. Когда программист создает тысячу файлов в неделю, проверка перестает быть контролем и превращается в очередь. Человеческий фактор не позволяет масштабировать этот процесс, и никакое увеличение штата сотрудников не изменит ситуацию.

Искусственный интеллект в управлении рисками плохо справляется с принятием решений. Модель, предлагающая непроверенное решение, воспринимается как недостаток, замаскированный под преимущество. Наиболее распространенная схема — это сочетание логического мышления ИИ и детерминированного анализа: ИИ предлагает решение, а не вероятностный механизм проверяет его на соответствие политике, возможность использования и влияние на критические изменения еще до того, как оно будет рассмотрено.

Есть и второе, менее очевидное преимущество. Тот же интеллект, который обрабатывает результаты вашего собственного сканирования, может обрабатывать результаты всех остальных. Если слой ИИ находится над уже приобретенными инструментами, а не заменяет их, ИИ в управлении рисками становится дополнением к вашему стеку, а не проектом миграции, что обычно и определяет, запустится ли программа в этом квартале или в следующем году.

В чём заключаются ошибки в применении ИИ в управлении рисками?

Три типа отказов, и все они распространены.

  • Уверенность без подтверждения происхождения. Сводка рисков, сгенерированная искусственным интеллектом, читается безупречно и не содержит никаких ссылок. Когда аудитор спрашивает, как был получен тот или иной показатель, ответ «так сказала модель» недопустим. Каждый результат в программе управления рисками должен иметь отслеживаемую связь с выявленным нарушением, файлом и строкой.
  • Автоматизация без ворот. В случае с компетентным агентом возникает соблазн позволить ему самому все исправлять. Любой код, попадающий в рабочую версию, должен быть утвержден человеком на совещании. pull requestЭто не робость; это позиция, которую занимает... EU AI Act Это подталкивает вас к тому, чтобы в любом случае, в рамках поэтапного графика, который уже однажды изменился. Создание точки утверждения сейчас обходится в определенную сумму на разработку дизайна.cisион. Модернизация под контролем аудита обходится в четверть доллара.
  • Измерение уровня внедрения вместо уровня ознакомления. «Наша команда ежедневно использует ИИ для управления рисками» — это статистика использования. Она ничего не говорит о том, снизился ли уровень риска.

В чём заключается взаимосвязь этих двух дисциплин?

Вот та часть, которую почти никто еще не показал на слайде.

Искусственный интеллект, который вы используете для управления рисками, сам по себе является активом в области ИИ. У него есть модель или несколько моделей. Он имеет доступ к инструментам. Он считывает ваш исходный код, ваши результаты и часто ваши секреты. Он работает с использованием учетных данных. Он может подключаться к серверу MCP. Если в вашем реестре рисков GenAI его нет, значит, ваш реестр неверен, и пробел находится в единственной наиболее привилегированной системе, которой вы располагаете.

Таким образом, эти две дисциплины объединяются в одну программу. Искусственный интеллект в области безопасности находится в том же каталоге, что и ИИ, установленный вашими разработчиками. Он имеет статус одобрения. У него есть именованный владелец. Он имеет область действия, регистрируется и контролируется на уровне... pull request Точно так же, как и любой другой ресурс с правами на запись в ваши репозитории.

Организации, которые рассматривают ИИ для управления рисками как приобретение инструмента, а не как его внедрение, обнаружат это уже во время первого аудита, и это будет неприятный разговор. Организации, которые рассматривают его и как инструмент, и как модель управления рисками, получают один общий перечень рисков, одну модель оценки рисков и один ответ на вопрос совета директоров.

Как выглядит рабочая операционная модель управления рисками с использованием ИИ?

Шесть возможностей, каждая с указанным владельцем и подтверждением её работы.

ВозможностиЧто это покрываетКому это принадлежит?Что это доказывает?
Открытие ИИМодели, агенты, наборы данных, серверы MCP, инструменты программирования, включая ваш ИИ для обеспечения безопасности.Руководитель направления AppSecA живой инвентарь с указанием состояния одобрения для каждого актива
Выявление рисков с помощью ИИБыстрые пути внедрения, небезопасные границы агентов, вредоносные навыки и файлы правил.Руководитель направления AppSecРезультаты сопоставлены с признанные фреймворкис файлом и строкой
проверка цепочки поставокЗависимости, которые ИИ учитывает до того, как будет сформирована сигнатура.Руководитель направления AppSecВердикт по результатам показа за упаковку, в неделю
Сортировка с помощью ИИКорреляция, объяснение, приоритизация по всем инструментам.Операции безопасностиСокращение числа результатов, доходящих до разработчика.
Человеческий входОдобрение всего, что попадает в производственный код.Руководитель платформы или DevOpsПроцент авторов, работающих с агентами. pull requests с участием человека, утверждающего
ОтчетностьПоза, направленная вверхCISО офисЭкспортируемый AI-BOM и три параметра, на которые может воздействовать плата.

Люди забывают о первой и второй части предложения. Ваша безопасность ИИ принадлежит вашему собственному инвентарю.

Как начать?

В случае со страховым полисом это не так. Полисы, составленные до начала расследования, описывают воображаемое имущество.

Подсчитайте, какой ИИ используется в вашем программном обеспечении, включая ИИ, внедренный вашей командой безопасности. Опубликуйте эти данные внутри компании без указания авторства, поскольку разглашение имен на этом этапе скрывает факт использования и сводит на нет полученную вами прозрачность. Затем согласуйте утвержденный список, отражающий реальные потребности ваших команд, и ограничьте доступ к небольшому набору уязвимостей, которые невозможно исправить в случае сбоя: вредоносная зависимость, работающие учетные данные, неутвержденная модель, работающая с регулируемыми данными.

В 2027 году с проблемами управления рисками, связанными с ИИ, столкнутся не те организации, которые действовали быстро, а те, которые в 2026 году занимались разработкой политики в области ИИ, так и не произведя никаких расчетов.

Это позиция. Ксигени Она построена вокруг: единого перечня ИИ, установленного вашими разработчиками, и ИИ, внедренного вашей командой безопасности, единой модели рисков, применяемой к вашим выводам и к выводам, полученным с помощью других ваших инструментов, а также лица, утверждающего все, что попадает в производственный код.

Две дисциплины, один инвентарь. Чем скорее они перестанут быть отдельными программами с отдельными владельцами, тем скорее любая из них начнет работать.

FAQ

Управление рисками в сфере ИИ — это то же самое, что и управление в сфере ИИ?

Управление устанавливает правила: кто может использовать что, при каких условиях и с какими разрешениями. Управление рисками в сфере ИИ — это оперативная работа по выяснению того, что фактически работает, измерению создаваемого риска и его снижению. Управление без управления рисками приводит к политике, которую никто не может проверить. Управление рисками без управления приводит к результатам, на основе которых никто не уполномочен действовать. В большинстве организаций первого гораздо больше, чем второго.

Можно ли использовать ИИ для управления рисками до того, как мы решим проблему управления рисками с помощью GenAI?

Да, и большинство команд так и поступят, потому что оперативное давление возникает немедленно, а давление в вопросах управления — ежеквартально. Условие состоит в том, что вы должны провести инвентаризацию самого ИИ безопасности с самого первого дня, а не добавлять его позже. Добавить один актив в инвентаризацию — это пустяк. Восстановить восемнадцать месяцев незадокументированного доступа для аудитора — совсем другое дело.

К какой системе координат должна соответствовать программа управления рисками в области искусственного интеллекта?

Структура управления рисками искусственного интеллекта NIST Это наиболее широко используемый словарь, и его четыре функции — управление, картирование, измерение и контроль — обеспечивают структуру, понятную комиссии. В сочетании с работой OWASP GenAI для технического уровня, NIST указывает, к каким результатам следует стремиться, а OWASP показывает, как на самом деле выглядят атаки. Ни один из них не скажет вам, что именно нужно считать, что остается вашим главным приоритетом.cisион.

Приводит ли использование ИИ в управлении рисками к сокращению численности персонала?

Не в тех командах, которые используют его эффективно. Это меняет то, на что команда тратит свой день. Корреляция, сортировка и предварительное объяснение переносятся в модель, а время, затрачиваемое человеком, — в разработку.cisИоны, имеющие последствия: что будет исключено из рассмотрения, какой риск принимается и кем, и какие результаты действительно угрожают производству. Если обоснование вашего проекта основано на сокращении штата, программа, как правило, оценивается по неправильному показателю в течение двух кварталов.

sca-инструменты-программное обеспечение-композиция-анализ-инструменты
Расставьте приоритеты, устраните и защитите риски, связанные с программным обеспечением
Получите бесплатный аккаунт.
Нет необходимости кредитную карту.

Обеспечьте безопасность разработки и доставки программного обеспечения.

с пакетом продуктов Xygeni