TL, д-р
Документ, содержащий программные положения, не является рамочной основой для управления искусственным интеллектом. В PDF-документе, где говорится: «Мы ответственно используем ИИ», нет никаких доказательств того, какой именно ИИ используется, кто его одобрил и соблюдается ли данная политика. Управление должно быть структурировано за этими словами.
Четыре функции, заимствованные из реального standardскрепляют конструкцию. NIST AI RMF Управлять, составлять карты, измерять, контролировать. Это стабильная, цитируемая структура: govern определяет политику, map формирует реестр, measure оценивает риски, manage обеспечивает соблюдение норм и устраняет недостатки.
Инвентаризация — это функция, которую большинство фреймворков пропускают, и именно она первой ломается. Невозможно управлять, измерять или применять политику в отношении искусственного интеллекта, о существовании которого никто не знает. Теневой ИИ — это скорее провал управления, чем проблема безопасности.
StandardОни предоставляют вам словарный запас, а не инструменты. An Структура управления ИИ Основанная на стандартах NIST AI RMF, ISO/IEC 42001 и Законе ЕС об ИИ, эта система определяет, что должна демонстрировать программа. Однако ни один из этих документов не предоставляет вам перечень необходимых данных, доказательств или механизмов контроля — это то, что организациям еще предстоит создать самостоятельно.
Большинство современных документов, описывающих «управление ИИ», представляют собой набор принципов, список утвержденных инструментов, параграф об ответственном использовании, подписанный юридическим отделом и спрятанный где-нибудь, где его никто не читает дважды. Он отвечает на вопрос «что мы заявляем, что делаем», но не может ответить на вопрос, который действительно важен при аудите или инциденте: какой ИИ используется прямо сейчас, кто его одобрил и как мы это узнаем. Именно этот разрыв между политикой и доказательствами является причиной того, что большинство усилий по управлению ИИ незаметно терпят неудачу. Структура управления ИИ это структура, которая его закрывает.
Почему одного лишь программного документа недостаточно.
Необходима ответственная политика в области ИИ. Одного лишь её недостаточно, и причина носит структурный характер, а не связана с разработкой более совершенной политики.
В политике изложены намерения. В ней говорится, что разработчики должны использовать утвержденные инструменты для кодирования ИИ, что модели, обрабатывающие персональные данные, должны проходить проверку на соответствие принципам конфиденциальности, и что код, сгенерированный ИИ, подвергается той же проверке, что и код, написанный человеком. Ничто из этого не может быть принудительно исполнено без чего-то, что могло бы по запросу ответить на три вопроса:
- Какой именно ИИ используется в настоящее время? Не то, что было одобрено, а то, что работает: какие модели, какие агенты, какие серверы MCP, какие помощники по программированию ИИ, в каких репозиториях, подключены к чему.
- Соответствует ли реальность политике? Несанкционированная модель, незаметно вызываемая из скрипта, личный API-ключ разработчика, хранящийся в конфигурационном файле, сервер MCP, который никто не проверял, — это нарушения правил, которые документ не может обнаружить самостоятельно.
- Вы можете это доказать, а не просто утверждать? Когда аудитор, регулирующий орган или клиент в анкете по безопасности запрашивают доказательства, фраза «у нас есть политика» не является доказательством. Доказательством являются инвентаризация с указанием даты, подписанная спецификация материалов для ИИ и разработанный набор средств контроля.
Без этих трех составляющих программа управления представляет собой лишь заявление о ценностях. С ними же система становится подлежащей аудиту.
Четыре функции, необходимые для любой системы управления ИИ.
Вместо изобретения новой структуры, наиболее долговечные конструкции заимствуют элементы из уже стабильной и широко признанной модели: Структура управления рисками искусственного интеллекта NISTПостроенная вокруг четырех функций, она легко трансформируется в практическую программу управления ИИ.
Где теневой ИИ нарушает рамки.
Теневой ИИ, Тот факт, что модели, агенты и инструменты ИИ работают без обнаружения со стороны служб безопасности или управления, — это не второстепенная проблема. Это самая распространенная причина сбоев функции Map, а когда Map дает сбой, то же самое происходит и со всей системой. Разработчик подключает к скрипту неутвержденную модель. Сервер MCP добавляется в проект, потому что он быстро решает проблему. Помощник по программированию на основе ИИ устанавливается, потому что он был бесплатным. Ничего из этого не отражается в опросе, и система управления, основанная на самоотчетности, всегда будет занижать показатели.
Решение заключается не в ужесточении политики, требующей от людей более тщательного самоотчёта. Речь идёт об обнаружении проблем, которое не зависит от того, помнит ли кто-либо о необходимости сообщать о них, а основано на данных, которые инструменты искусственного интеллекта фактически оставляют в коде, конфигурации и зависимостях.
Как это построить на самом деле, по порядку.
Эти четыре функции описывают, что необходимо для работы структуры. Именно в таком порядке всё работает, когда вы начинаете с нуля или с документа, содержащего политику и не имеющего никакой базовой структуры.
Что StandardЧто они на самом деле вам дают, и чего они не дают?
В настоящее время существует несколько рамок и правил, определяющих терминологию управления ИИ. Ни одно из них не включает в себя необходимые инструменты; они определяют, что должна демонстрировать программа, а не как построить базовую систему, которая это демонстрирует.
Замечание конкретно по поводу Закона ЕС об искусственном интеллекте, поскольку крайний срок часто цитируется неверно: Цифровая сводка законов, действующая с 27 июля 2026 года.Это привело к переносу основной части обязательств по высокорисковым проектам на декабрь 2027 года и август 2028 года. Обязательства по прозрачности в соответствии со статьей 50 остаются в силе с августа 2026 года. По-прежнему целесообразно наращивать сроки уже сейчас, поскольку для подтверждения эффективности инвентаризации ИИ и имеющихся доказательств требуется время, но точной версии этого документа, утверждающей, что время уже истекло, не существует.
Что на самом деле должны делать инструменты и программное обеспечение для управления ИИ?
Термин «программное обеспечение для управления ИИ» часто используется в широком смысле для описания всего, от вики-системы управления политиками до полноценной платформы управления рисками. Что бы вы ни оценивали, оно должно выполнять четыре функции, иначе оно не управляет ничем, а лишь документирует намерение:
- Узнайте больше, не полагаясь на самоотчеты. Если единственный способ попадания объекта ИИ в инвентаризацию — это заполнение кем-либо формы, то инвентаризация по определению неверна. Обнаружение в коде, конфигурации и зависимостях позволяет выявить то, что упускает из виду опрос.
- Создайте машиночитаемую спецификацию материалов в формате AI-BOM. Спецификация материалов для ИИ в реальном формате, например: ML-BOM от CycloneDX Профиль искусственного интеллекта SPDX 3.0 — это то, что аудитор может фактически обработать и проверить, а не электронная таблица, экспортированная специально для этого случая.
- Сопоставьте полученные результаты с выбранной концептуальной моделью. Результаты оценки рисков, в которых упоминаются следующие данные OWASP LLM Топ-10 Проверке подлежат такие инструменты, как, например, NIST AI RMF. А вот расплывчатая «оценка риска» без какой-либо концептуальной основы – нет.
- Будьте в курсе событий, а не отвлекайтесь на конкретный момент времени. Инвентаризация или оценка рисков из последнего цикла аудита устаревают уже в день добавления новой модели. Управление должно быть непрерывным или представлять собой показную игру с временной меткой.
Распространенные ошибки, подрывающие систему управления.
- Воспринимать политику как финишную прямую. Опубликованная политика использования ИИ без механизма ее принудительного исполнения — это черновик, а не полноценная программа.
- Учет только того, что было официально запрошено. Утвержденные инструменты отслеживаются. Все, что разработчик установил по собственной инициативе, не отслеживается, и обычно это более обширный набор.
- Разовые оценки рисков. Модель, проверенная на этапе ввода в эксплуатацию, позволяет безошибочно учитывать все изменения конфигурации, новые интеграции и новые серверы MCP, подключенные уже после завершения проекта.
- Между техническими доказательствами и описанием соответствия требованиям нет никакой связи. Инвентаризация ведется группами по обеспечению безопасности. Отчет составляют группы по соблюдению нормативных требований. Если эти две группы не взаимодействуют, отчет представляет собой догадки.
- Смешивание сертификации с контролем. Сертификация ISO/IEC 42001 и соответствие стандарту OWASP являются важными сигналами, но они описывают намерения и структуру. Они не заменяют фактический перечень требований и доказательств, которые будут запрошены в ходе конкретной проверки.
От политики к доказательствам
Большинство государственных политик разрабатываются исходя из предположения, что кто-то уже может ответить на вопрос: «Какой искусственный интеллект у нас на самом деле есть?» На практике это практически невозможно. Xygeni AI Security Система создана именно для того, чтобы устранить этот пробел: она находит модели, агентов, серверы MCP и инструменты для разработки ИИ, уже работающие в организации, анализируя их исходный код и конфигурацию, а не запрашивая у разработчиков отчеты о них. Этот инвентарь используется для построения графа взаимосвязей, показывающего, как каждый ресурс связан с остальными компонентами системы. SDLCи экспортирует в машиночитаемом формате. AI-BOM Аудиторы могут работать с системой, соответствующей OWASP LLM Top 10 и NIST AI RMF, а не с собственной системой оценки. Поскольку процесс обнаружения проводится непрерывно, инвентаризация отражает то, что верно на этой неделе, а не то, что было верно на момент последней проверки.
Ничто из этого не заменяет функцию управления. Решение о том, кто несет ответственность за риски, связанные с ИИ, что должно быть одобрено и что означает «допустимое использование», по-прежнему остается вопросом политики и подотчетности, на который инструмент сканирования ответить не может. Он лишь дает этой политике основу: доказательства, а не предположения. Если вы сравниваете этот вариант с другими из вашего списка, наш контрольный список для оценки компании, занимающейся вопросами безопасности на основе ИИ проходит через тот же деcisион со стороны покупателя, и страница цен содержит подробную информацию о том, как это вписывается в более широкую систему. ASPM программа.
Часто задаваемые вопросы: Создание системы управления ИИ
В чём разница между системой управления ИИ и политикой в области ИИ?
Политика — это документ, в котором изложены намерения, утвержденные положения, ожидаемые результаты и ответственные лица. Структура — это основа, обеспечивающая возможность применения и проверки политики: этапы проверки, оценки рисков, исполнения и сбора доказательств. Политика без соответствующей структуры не может быть проверена на соответствие действительности.
Требуется ли сертификация ISO/IEC 42001 для наличия программы управления искусственным интеллектом?
Нет. Сертификация является необязательной и свидетельствует о зрелости как для клиентов, так и для аудиторов, но функционирующая программа управления, выявления рисков, оценки рисков и контроля может и должна существовать до получения сертификации, а не в качестве ее замены.
Соответствует ли AI-BOM требованиям Закона ЕС об искусственном интеллекте?
Само по себе это недостаточно. Статья 11 и Приложение IV требуют наличия технической документации для систем искусственного интеллекта высокого риска, и спецификация материалов для ИИ является веским доказательством необходимости такой документации, но в Законе не указано, что «спецификация материалов для ИИ» является обязательным документом. Рассматривайте её как доказательство, а не как галочку в списке требований.
Какой самый распространенный пробел в современных программах управления ИИ?
Инвентаризация. Большинство организаций могут разработать политику быстрее, чем составить точный и актуальный список всех моделей, агентов и инструментов ИИ, фактически используемых в их работе. Без этого списка все остальные функции в рамках системы работают на основе неполной информации.
Заменяют ли инструменты управления на основе ИИ необходимость в команде по соблюдению нормативных требований или юридическом отделе?
Нет. Инструменты предоставляют технические доказательства, позволяют проводить поиск информации, оценивать риски и предоставляют готовую к аудиту документацию, необходимую для программы соответствия. Интерпретация нормативных обязательств, установление политики и принятие рисковcisДля ионов по-прежнему необходимы структуры управления, основанные на человеческом факторе, которые не могут быть заменены никаким инструментом.
