Что такое AI TRiSM?

Большинство команд безопасности могут назвать свой стек AppSec одним словом: SAST, SCADAST, сканирование секретов. Если попросить ту же команду назвать свой стек ИИ, ответ обычно будет пожатием плеч, несколькими точечными инструментами, купленными наспех, и отсутствием общего словаря для того, что вообще означает «покрытый». AI TRiSM существует именно для того, чтобы заполнить этот пробел, предоставляя руководителям служб безопасности и управления рисками единую структуру для управления ИИ так же, как они уже управляют приложениями.

В этом словаре подробно объясняется, что такое AI TRiSM, что означает эта аббревиатура, каковы ее основные принципы и какое место она занимает в реальной, работающей программе обеспечения безопасности ИИ, а не просто в слайде.

Значение термина AI TRiSM: простое определение #

AI TRiSM расшифровывается как Управление доверием, рисками и безопасностью с помощью ИИЭто фреймворк, первоначально представленный компанией Gartner.для обеспечения доверия, справедливости, надежности и безопасности систем искусственного интеллекта на протяжении всего их жизненного цикла, от данных и моделей, на которых они построены, до приложений и агентов, которые используют их в производственной среде.

Значение AI TRiSM лучше всего понимать как расширение шаблона, уже известного командам безопасности. Облачные технологии принесли CSPM. Данные принесли DSPM. Искусственный интеллект приносит AI TRiSM — общую категорию, построенную на той же логике: невозможно обеспечить безопасность или управление тем, что вы сначала не обнаружили, не оценили и не отслеживали непрерывно, а системы ИИ создают риски, к которым традиционные системы безопасности приложений и управления ИТ никогда не были готовы.

Какую проблему он пытается решить? #

Чтобы действительно ответить на вопрос, что такое AI TRiSM, полезно взглянуть на проблему, которую он решает. Системы ИИ дают сбои, которые не вписываются в общепринятые рамки. База данных CVE:

• Модель может быть технически «безопасной», но при этом выдавать предвзятые, ненадежные или искаженные результаты.
• Модель может корректно работать при тестировании, но при этом незаметно искажаться из-за некорректных обучающих или поисковых данных.
• Искусственный интеллект может обладать действительными учетными данными и при этом совершать действия, которые никогда не были одобрены человеком.
• Даже идеально пропатченное приложение может допустить утечку конфиденциальных данных через подсказку, системное сообщение или чрезмерно общий файл, который ИИ никогда не должен был видеть.

Ни один из них не соответствовал старой модели «найти уязвимую строку кода, исправить ее, готово». AI TRiSM был определен еще до...cisПотому что доверие, риск и безопасность в системах ИИ нуждались в собственной структуре, которая рассматривала бы модель, данные и агента как первоклассные объекты, которыми необходимо управлять, а не как побочные эффекты окружающего их приложения.

Основные принципы AI TRiSM #

В большинстве работ, посвященных концепции AI TRiSM, включая собственную концепцию Gartner, эта дисциплина строится вокруг четырех взаимосвязанных столпов:

1. Объясняемость и мониторинг моделейотслеживание того, как модель производит деструкциюcisотслеживание ионов, выявление дрейфа, смещения и снижения точности с течением времени, а также умение объяснить результат, когда кто-то спрашивает, почему модель показала именно то, что показала.
2. Модельные операции: управление жизненным циклом моделей в производственной среде, включая версионирование, контроль доступа и операционную дисциплину, заключающуюся в знании того, какая модель где выполняется и почему.
3. Безопасность приложений ИИ: защита от специфических атак на ИИ, включая внедрение вредоносного кода, отравление данных и моделей, небезопасные плагины и интеграцию инструментов, а также несанкционированное поведение агентов.
4. конфиденциальность: обеспечение того, чтобы данные, используемые для обучения, тонкой настройки и управления системами ИИ, не допускали утечки конфиденциальной или регулируемой информации ни в саму модель, ни через ее ответы.

Понимание того, что такое AI TRiSM на практике, означает признание того, что эти четыре столпа работают только вместе. Модель, которая идеально объяснима, но небезопасна, по-прежнему является обузой. Безопасная модель, в которой отсутствует информация о дрейфе или предвзятости, по-прежнему остается неуправляемой. Вклад AI TRiSM заключается в том, что все четыре компонента рассматриваются как одна взаимосвязанная дисциплина, а не как четыре отдельных бэклога, принадлежащих четырем отдельным командам.

Почему значение AI TRiSM выходит за рамки простого соблюдения нормативных требований #

Возникает соблазн отнести AI TRiSM к категории «еще один пункт в системе управления», но смысл AI TRiSM носит оперативный, а не только регуляторный характер. Организации, внедряющие принципы AI TRiSM, как правило, пытаются ответить на три конкретных вопроса, на которые в настоящее время они не могут ответить:

• Какой искусственный интеллект у нас есть на самом деле? Модели, наборы данных, агенты, серверы MCP и инструменты для программирования ИИ накапливаются в командах быстрее, чем кто-либо отслеживает их, создавая теневой ИИ так же, как когда-то создавали теневые ИТ-системы.
• Что это делает, и разрешено ли это? Агент с избыточными правами доступа или неутвержденный плагин могут совершать реальные действия, а не просто генерировать текст, что значительно повышает ставки в отношении «несанкционированного поведения», выходя за рамки простого неверного ответа чат-бота.
• Можем ли мы это доказать, когда этого требуют правила? В рамках таких нормативных актов, как Закон ЕС об искусственном интеллекте, требования к технической документации и общие обязательства по спецификации программного обеспечения все чаще предполагают, что организации должны демонстрировать результаты своей работы, а не просто заявлять о том, что ИИ «управлен».

Именно здесь смысл AI TRiSM переходит в практику AI TRiSM: сначала выявление рисков, затем оценка рисков, затем контроль, и все это непрерывно, а не в рамках ежегодного аудита.cise.

Какова роль Xygeni в концепции TRiSM в области искусственного интеллекта? #

AI TRiSM — это обширная область, и ни один инструмент сам по себе не охватывает все четыре её составляющие. Ксигени В первую очередь, большинству организаций не хватает информации о том, что такое искусственный интеллект и как обеспечить его безопасность после появления: понимания того, что такое ИИ на самом деле существует.

Система Xygeni AI Inventory постоянно обнаруживает ресурсы ИИ по всей сети. SDLCмодели, фреймворки, наборы данных, агенты, серверы MCP и инструменты кодирования ИИ, и отображает их в интерактивный граф взаимосвязей, подкрепленный AI-BOM Это предоставляет группам по соблюдению нормативных требований и безопасности информацию о наличии следов, которые, по мнению AI TRiSM, существуют. Помимо этого, в инвентаризацию, Система безопасности на основе ИИ от Xygeni оценивает риски каждого актива (внедрение вредоносного ПО, небезопасные конфигурации MCP, утечка конфиденциальных данных, уязвимости векторов и встраивания) в соответствии с OWASP Top 10 для поступления на магистерскую программу. и DevAI Эта функция обеспечивает прямое применение политики к конечной точке разработчика, блокируя небезопасное поведение агента до его выполнения. Если ваша организация пытается внедрить AI TRiSM в практическую деятельность, и честный ответ на вопрос «какой у нас есть ИИ?» по-прежнему звучит как «мы не совсем уверены», то именно этот пробел в обнаружении стоит устранить в первую очередь.

FAQ #