Що таке безпека ШІ? Безпека ШІ — це практика захисту моделей ШІ, агентів, наборів даних та інфраструктури, від яких залежить програмне забезпечення, від ризиків, унікальних для того, як системи ШІ створюються, навчаються та працюють. Він охоплює виявлення кожного використовуваного ресурсу ШІ, виявлення вразливостей, специфічних для ШІ, таких як оперативне впровадження та небезпечна поведінка агента, а також забезпечення дотримання політик, які зупиняють небезпечні дії ШІ, перш ніж вони завдадуть шкоди. Це основна безпека ШІ, тобто решта цього глосарію розкривається в решті статті.
На відміну від традиційної безпеки додатків, яка захищає код, залежності та інфраструктуру, безпека на основі штучного інтелекту захищає новий клас активів: моделі, підказки, агенти та протоколи між машинами, які їх з'єднують. Оскільки штучний інтелект переходить від функції до самого ланцюга постачання програмного забезпечення, він стає окремим, необхідним рівнем захисту.
Значення безпеки ШІ: коротке визначення #
У найпростішому сенсі, безпека ШІ полягає в наступному: захист ШІ так само, як ви вже захищаєте код, але для набору компонентів та поведінки, для яких звичайні інструменти ніколи не були створені.
Корисний спосіб відокремити концепцію від поширеної точки плутанини: ШІ-безпека — це не те саме, що «ШІ в безпеці». ШІ в безпеці стосується використання штучного інтелекту для покращення існуючої роботи в галузі безпеки, наприклад, моделі ШІ, яка сортує виявлені вразливості. Безпека ШІ, навпаки, стосується захисту самого ШІ: файлів моделі, навчальних даних, агентів, підказок та серверів, які дозволяють інструментам ШІ виконувати дії. Обидва варіанти використання ШІ є дійсними, але вони відповідають на різні питання.
Чому це має значення #
Команди розробників програмного забезпечення впровадили помічників кодування на основі штучного інтелекту, автономних агентів та Модель контекстного протоколу (МКП) темпами, що випередили засоби, призначені для їх забезпечення. Кілька причин, чому цей зсув створив нову поверхню для атаки:
Залежності від ШІ можуть бути отруєні або вигадані. Помічники кодування ШІ іноді рекомендують пакети, яких не існує, за схемою, відомою як slopsquatting, яку зловмисники можуть попередньо зареєструвати та використовувати як зброю.
Код, згенерований штучним інтелектом, має свій власний профіль ризику. Незалежний бенчмаркінг генерації коду штучного інтелекту показав, що значна частина коду, написаного штучним інтелектом, містить поширені шаблони вразливостей, навіть коли базова модель є спроможною та добре навченою.
Агенти та MCP-сервери – це нова, здебільшого неконтрольована інфраструктура. Агенти можуть читати файли, викликати інструменти та виконувати дії від імені розробника. Якщо інструкції агента, файли правил або підключені MCP-сервери будуть змінені, агента можна налаштувати проти системи, яку він мав захищати.
Конфігурація ШІ тепер є поверхнею атаки. Файли навичок, файли правил та шаблони запитів зазвичай розглядаються як документація, а не як артефакти, пов'язані з безпекою. Зловмисники вже продемонстрували, що приховані інструкції, вбудовані в ці файли, можуть призвести до того, що помічник штучного інтелекту створить код із захищеним доступом без будь-яких видимих слідів у своїй відповіді.
Що це охоплює #
Повна програма безпеки штучного інтелекту зазвичай охоплює три функції:
1. Виявлення (інвентаризація штучного інтелекту) #
Перш ніж щось можна буде захистити, це потрібно знайти. Безпека штучного інтелекту починається з постійного виявлення кожного активу штучного інтелекту в репозиторіях організації та pipelines: моделі, фреймворки ШІ, набори даних, кінцеві точки виведення, агенти, інструменти кодування ШІ та сервери MCP, до яких вони підключаються. Цей перелік зазвичай виражається у вигляді машинозчитуваної специфікації матеріалів ШІ (AI-BOM), еквівалента специфікації матеріалів програмного забезпечення для ШІ (SBOM).
2. Виявлення (ризик, пов'язаний зі штучним інтелектом) #
Щойно активи штучного інтелекту відомі, AI Security виявляє ризики, пов'язані з ними, зокрема:
- Швидке впорскування та швидкий витік із системи, де ненадійний контент маніпулює поведінкою моделі штучного інтелекту
- Незахищена конфігурація MCP, де підключений інструмент або сервер можуть бути заражені або імітовані
- Надмірна свобода волі, де агенту дозволено діяти за межами своїх призначених меж без перевірки людиною
- Розкриття секретів у файлах ШІ, де ключі API або облікові дані витікають через конфігурацію, що використовується інструментами штучного інтелекту
- Вразливі або галюциновані залежності від штучного інтелекту, включаючи недбалі присідання
Ці категорії ризику відповідають опублікованим, перевіреним спільнотою рамкам, зокрема, OWASP Top 10 for LLM Applications.
3. Застосування (Guardrails) #
Останній шар зупиняє небезпечну поведінку ШІ перед його виконанням: блокування встановлення шкідливого пакета, перевірка файлу навичок або правил перед тим, як йому буде довірено, або перехоплення дії агента, яка порушує політику. Саме тут ШІ-безпека переходить від видимості до активного захисту.
Ключові ризики безпеки штучного інтелекту, визначення #
| Термін | Що це значить |
|---|---|
| Швидке введення | Шкідливі інструкції, приховані в контенті, який обробляє модель штучного інтелекту, змушують її діяти проти свого призначення. |
| Недбале присідання | Зловмисники реєструють фальшиві пакети, імена яких збігаються з іменами, які модель штучного інтелекту, ймовірно, галюцинує та рекомендує. |
| Ризик МКП | Вразливості на серверах Model Context Protocol, які дозволяють агентам штучного інтелекту викликати зовнішні інструменти, включаючи отруєння інструментів та неавторизований доступ. |
| Надмірна свобода волі | Агенту ШІ надано більше автономії або доступу, ніж потрібно для його завдання |
| Бекдор для файлів правил/навичок | Приховані символи або інструкції, розміщені всередині файлів конфігурації, які керують помічником зі штучного інтелекту, не відображаючись у його видимому виводі. |
| ШІ-BOM | Машинозчитуваний перелік активів штучного інтелекту організації, що використовується для аудиту та управління ризиками |
Структури безпеки штучного інтелекту та Standards #
Він базується на невеликому наборі опублікованих standards, а не таксономію будь-якого окремого постачальника:
- OWASP Топ-10 для заявок на ступінь магістра права (LLM) (2025): найпоширеніший перелік ризиків застосування штучного інтелекту, що охоплює оперативне впровадження, розкриття конфіденційної інформації, ризик ланцюга поставок тощо.
- NIST SP 800-218A: рекомендації щодо безпечних практик розробки програмного забезпечення, адаптованих для генеративного штучного інтелекту та базових моделей подвійного використання.
- AI-SPM та AI TRiSM від Gartner: категорії, визначені аналітиками, для управління безпекою ШІ та ширшої дисципліни управління довірою, ризиками та безпекою ШІ.
Разом це дає організаціям спільний словник для розуміння того, що насправді означає «безпечний штучний інтелект», замість того, щоб покладатися лише на маркетингові визначення.
Безпека ШІ проти пов'язаних термінів #
- Безпека штучного інтелекту проти AppSecAppSec захищає код програми та її залежності. Він захищає моделі штучного інтелекту, агентів та конфігурацію, специфічну для штучного інтелекту, для перевірки яких інструменти AppSec не були створені.
- Безпека ШІ проти управління ШІУправління визначає політики та дозволи, які організація вимагає для використання ШІ. Воно забезпечує виконання та перевіряє, чи ці політики виконуються на практиці, на рівні коду та агента.
- Безпека ШІ проти MLSecOpsMLSecOps зосереджується на забезпеченні життєвого циклу машинного навчання (навчання, дані, розгортання моделі). Він є ширшим і охоплює агентів, помічників кодування та протоколи, що з'єднують їх з реальними системами.
Як Xygeni підходить до безпеки штучного інтелекту
#
Ксігені Продукт AI Security застосовує ту саму модель виявлення, виявлення та застосування безпосередньо до життєвого циклу розробки програмного забезпечення. Він безперервно створює інвентаризацію ШІ в усіх репозиторіях, виявляє ризики, специфічні для ШІ, такі як оперативне впровадження та небезпечна конфігурація MCP, і зіставляє кожну знахідку з топ-10 OWASP для LLM-додатків, тому команди безпеки та інженерів працюють з однією AI-BOM та одним переглядом ризиків, замість того, щоб здогадуватися, що ШІ вже працює в їхньому коді.
FAQ #
Безпека ШІ — це захист моделей ШІ, агентів, даних та інфраструктури, що їх з'єднує, від ризиків, характерних для того, як побудовані та функціонують системи ШІ.
Ні. Кібербезпека – це загальна дисципліна, що охоплює всі цифрові ризики. Безпека штучного інтелекту – це спеціалізований підмножина кібербезпеки, зосереджена на специфічних для штучного інтелекту активах та режимах збоїв, таких як швидке впровадження або небезпечна поведінка агента.
Будь-яка організація, розробники якої використовують помічників зі штучного інтелекту (AI-кодування), чиї продукти вбудовують моделі штучного інтелекту, або чиї робочі процеси включають автономні агенти та MCP-сервери. Зараз це включає більшість команд розробників програмного забезпечення, незалежно від розміру.
