Какво е ИИ сигурност? ИИ сигурността е практиката за защита на ИИ моделите, агентите, наборите от данни и инфраструктурата, от които зависи софтуерът, от рисковете, уникални за начина, по който ИИ системите са изградени, обучени и управлявани. Той обхваща откриването на всеки използван ИИ ресурс, откриването на специфични за ИИ уязвимости, като например бързо инжектиране и несигурно поведение на агенти, както и прилагането на политики, които спират опасните действия на ИИ, преди да причинят вреда. Това е основната сигурност на ИИ, което означава, че останалата част от този речник е разгледана по-подробно.
За разлика от традиционната сигурност на приложенията, която защитава кода, зависимостите и инфраструктурата, защитата с изкуствен интелект защитава нов клас активи: модели, подкани, агенти и протоколите за комуникация между машини, които ги свързват. Тъй като изкуственият интелект преминава от функция към самата верига за доставки на софтуер, той се е превърнал в отделен, необходим слой защита.
Значение на AI сигурността: Кратко определение #
Най-просто казано, значението на „AI сигурност“ е следното: осигуряване на ИИ по начина, по който вече защитавате код, но за набор от компоненти и поведения, за които конвенционалните инструменти никога не са били създадени.
Полезен начин за отделяне на концепцията от често срещана точка на объркване: ИИ сигурността не е същото като „ИИ в сигурността“. ИИ в сигурността се отнася до използването на изкуствен интелект за подобряване на съществуващата работа по сигурността, например модел на ИИ, който сортира откритията за уязвимости. Сигурността на ИИ, за разлика от това, се отнася до защитата на самия ИИ: файловете на модела, данните за обучение, агентите, подканите и сървърите, които позволяват на инструментите на ИИ да предприемат действия. И двете са валидни приложения на ИИ, но те отговарят на различни въпроси.
Защо има значение #
Софтуерните екипи са внедрили асистенти за кодиране с изкуствен интелект, автономни агенти и... Протокол за контекст на модела (МКП) с темпо, което изпревари инструментите, предназначени да ги осигурят. Няколко причини, поради които тази промяна създаде нова повърхност за атака:
Зависимостите от изкуствен интелект могат да бъдат отровени или измислени. Асистентите за кодиране с изкуствен интелект понякога препоръчват пакети, които не съществуват, модел, известен като „slopsquatting“, който нападателите могат предварително да регистрират и да използват като оръжие.
Кодът, генериран от изкуствен интелект, носи свой собствен рисков профил. Независимият бенчмаркинг на генерирането на код с изкуствен интелект установи, че значителен дял от кода, написан с изкуствен интелект, въвежда общи модели на уязвимост, дори когато основният модел е способен и добре обучен.
Агентите и MCP сървърите са нова, до голяма степен ненаблюдавана инфраструктура. Агентите могат да четат файлове, да извикват инструменти и да предприемат действия от името на разработчика. Ако инструкциите, файловете с правила или свързаните MCP сървъри на агент бъдат манипулирани, агентът може да бъде насочен срещу системата, която е предназначен да защитава.
Конфигурацията на изкуствения интелект вече е повърхност за атака. Файловете с умения, файловете с правила и шаблоните за подкани обикновено се третират като документация, а не като артефакти, свързани със сигурността. Нападателите вече са демонстрирали, че скритите инструкции, вградени в тези файлове, могат да накарат асистент с изкуствен интелект да генерира скрит код без видима следа в отговора си.
Какво обхваща #
Пълната програма за сигурност с изкуствен интелект обикновено обхваща три функции:
1. Откриване (ИИ инвентаризация) #
Преди да може нещо да бъде защитено, то трябва да бъде намерено. Сигурността на изкуствения интелект започва с непрекъснато откриване на всеки актив на изкуствен интелект в хранилищата на организацията. pipelines: модели, рамки за изкуствен интелект, набори от данни, крайни точки за извод, агенти, инструменти за кодиране с изкуствен интелект и MCP сървъри, към които се свързват. Този инвентар обикновено се изразява като машинно четима спецификация на материалите с изкуствен интелект (AI-BOM), еквивалент на софтуерна спецификация на материалите (SBOM).
2. Откриване (риск, свързан с изкуствен интелект) #
След като активите на ИИ са известни, AI Security открива специфичните за тях рискове, включително:
- Бързо инжектиране и бързо изтичане от системата, където ненадеждно съдържание манипулира поведението на модела на ИИ
- Несигурна конфигурация на MCP, където свързан инструмент или сървър може да бъде заразен или имитиран
- Прекомерна свобода на действие, където на агент е позволено да действа извън предвидените си граници без човешка проверка
- Разкриване на тайни във файлове с изкуствен интелект, където API ключове или идентификационни данни изтичат чрез конфигурация, използвана от инструменти с изкуствен интелект
- Уязвими или халюцинирани зависимости от изкуствен интелект, включително небрежно клякане
Тези рискови категории съответстват на публикувани, прегледани от общността рамки, най-вече на OWASP Top 10 for LLM Applications.
3. Прилагане (Guardrails) #
Последният слой спира опасното поведение на ИИ, преди то да се изпълни: блокиране на инсталирането на злонамерен пакет, валидиране на файл с умения или правила, преди да му се даде доверие, или прихващане на действие на агент, което нарушава политиката. Това е моментът, в който ИИ сигурността преминава от видимост към активна защита.
Ключови рискове за сигурността на ИИ, дефинирани #
| термин | Какво означава |
|---|---|
| Бързо инжектиране | Злонамерени инструкции, скрити в съдържанието, което ИИ модел обработва, карайки го да действа против предназначението си |
| Клякане по небрежност | Атакуващите регистрират фалшиви пакети, които съвпадат с имена, които модел на изкуствен интелект вероятно ще халюцинира и препоръча |
| Риск от МКП | Уязвимости в сървърите на Model Context Protocol, които позволяват на AI агенти да извикват външни инструменти, включително отравяне на инструменти и неудостоверен достъп |
| Прекомерна свобода на действие | Агент с изкуствен интелект, на когото е предоставена по-голяма автономия или достъп, отколкото изисква задачата му |
| Задна вратичка за файлове с правила/умения | Скрити символи или инструкции, поставени в конфигурационни файлове, които управляват асистента за кодиране с изкуствен интелект, без да се появяват във видимия му изход. |
| AI-BOM | Машинночетим опис на активите на изкуствения интелект на организацията, използван за одит и управление на риска |
Рамки за сигурност на изкуствения интелект и Standards #
Той е базиран на малък набор от публикувани standards, а не таксономията на който и да е отделен доставчик:
- OWASP Топ 10 за кандидатстване за LLM S: най-широко цитираният списък с рискове за приложенията с изкуствен интелект, обхващащ незабавното инжектиране, разкриването на чувствителна информация, риска за веригата на доставки и други.
- НИСТ СП 800-218А: насоки за сигурни практики за разработване на софтуер, адаптирани за генеративен изкуствен интелект и модели с двойна употреба.
- AI-SPM и AI TRiSM на Gartner: дефинирани от анализатори категории за управление на сигурността на ИИ и по-широката дисциплина на управление на доверието, риска и сигурността на ИИ.
Заедно те предоставят на организациите споделен речник за това какво всъщност означава „сигурен изкуствен интелект“, вместо да разчитат единствено на маркетингови дефиниции.
Сигурност на изкуствения интелект спрямо свързани термини #
- AI сигурност срещу AppSecAppSec защитава кода на приложението и неговите зависимости. Той защитава моделите на изкуствен интелект, агентите и специфичната за изкуствения интелект конфигурация, за чиято проверка не са създадени инструментите на AppSec.
- Сигурност на ИИ срещу управление на ИИУправлението определя политиките и одобренията, които една организация изисква за използване на ИИ. То прилага и проверява дали тези политики са валидни на практика, на ниво код и агент.
- AI сигурност срещу MLSecOpsMLSecOps се фокусира върху осигуряването на жизнения цикъл на машинното обучение (обучение, данни, внедряване на модели). Той е по-широк и обхваща агенти, асистенти по кодиране и протоколите, които ги свързват с реални системи.
Как Xygeni подхожда към сигурността на изкуствения интелект
#
Ксигени Продуктът за AI Security прилага същия модел за откриване, откриване и прилагане директно към жизнения цикъл на разработка на софтуер. Той непрекъснато изгражда инвентаризация на AI в хранилища, открива специфични за AI рискове, като например незабавно внедряване и несигурна MCP конфигурация, и съпоставя всяко откритие с OWASP Top 10 за LLM приложения, така че екипите по сигурност и инженерство работят от един AI-BOM и един изглед на риска, вместо да гадаят какво AI вече изпълнява в техния код.
Често задавани въпроси #
Сигурността на ИИ е защитата на ИИ модели, агенти, данни и инфраструктурата, която ги свързва, срещу рискове, специфични за начина, по който ИИ системите са изградени и функционират.
Не. Киберсигурността е общата дисциплина, обхващаща всички дигитални рискове. Сигурността на изкуствения интелект е специализирано подмножество на киберсигурността, фокусирано върху специфични за изкуствения интелект активи и режими на отказ, като например незабавно инжектиране или несигурно поведение на агента.
Всяка организация, чиито разработчици използват асистенти за кодиране с изкуствен интелект, чиито продукти вграждат модели с изкуствен интелект или чиито работни процеси включват автономни агенти и MCP сървъри. Това вече включва повечето софтуерни екипи, независимо от размера им.
