Керований штучним інтелектом SDLCВже тут. Штучний інтелект більше не з'являється. Він вже тут. Він пише код у наших IDE. Він вибирає бібліотеки. Він відкриває. pull requestsВін виконує кроки в нашому pipelineПитання вже не в тому, чи розробники використовуватимуть ШІ. Питання в тому, як організації підтримують видимість, контроль і довіру під час цього.
Сучасна розробка програмного забезпечення вже вступила в еру штучного інтелекту
У всіх інженерних організаціях розробники вже використовують копілотів, помічників кодування, IDE на базі штучного інтелекту, внутрішніх агентів, інструменти, підключені до MCP, та дедалі автономніші робочі процеси як частину щоденних операцій розробки. Те, що починалося як експеримент, швидко стало невід'ємною частиною життєвого циклу розробки програмного забезпечення. Це була центральна тема останньої конференції SafeDev Talk, організованої Xygeni: «…Керований штучним інтелектом SDLCВони вже тут. Що тепер?"
Сесія зібрала разом Сем Степанян, член Глобальної ради директорів OWASP та керівник Лондонського відділення OWASP; Ашвіні Сіддхі, член правління OWASP Global та лідер з кібербезпеки, що спеціалізується на середовищах на базі штучного інтелекту; та Хесус Куадрадо, генеральний директор Xygeni, модератор: Луїс Родрігес, Науковий співробітник у Xygeni.
І під час обговорення випливло чітке повідомлення: розмова про AppSec докорінно змінилася. Команди безпеки більше не готуються до впровадження штучного інтелекту в розробку програмного забезпечення. Вони вже стикаються з цим.
Ключові висновки для технологій, керованих штучним інтелектом SDLCs
- Штучний інтелект вже вбудований у сучасні SDLCчерез копілотів, асистентів кодування, автономних агентів та інструменти розробки на базі штучного інтелекту.
- Традиційні моделі AppSec не були розроблені для коду, згенерованого штучним інтелектом, галюцинованих залежностей, автономних робочих процесів або розробки з машинною швидкістю.
- Тіньовий ШІ стає серйозною проблемою для видимості та управління CISКоманди OS та AppSec.
- Розробка за допомогою штучного інтелекту представляє нові поверхні атаки, включаючи оперативне впровадження коду, шкідливі залежності, зловживання MCP та агентні робочі процеси.
- Організаціям потрібні моделі управління з урахуванням штучного інтелекту, побудовані на основі прозорості, атрибуції, мінімальних привілеїв та постійної перевірки.
- Галузь швидко рухається до агентської діяльності SDLCде системи штучного інтелекту активно виконують операції розробки.
Перегляньте повну сесію SafeDev Talk: AI-Driven SDLCВже тут
Нижче наведено деякі ключові ідеї, обговорені під час сесії, зокрема про те, як штучний інтелект змінює модель загроз AppSec, чому CISОпераційні системи втрачають видимість у середовищах розробки, а також втрачають пріоритетність практичних засобів контролю для організацій.
Чому саме штучний інтелект SDLC Безпека має значення саме зараз
Впровадження штучного інтелекту в розробку програмного забезпечення відбувається швидше, ніж більшість програм управління можуть адаптуватися. Оскільки організації переходять від інших пілотів до дедалі більш автономних агентів, SDLC стає дедалі більш машинно-орієнтованим, динамічним та складним для моніторингу за допомогою традиційних підходів AppSec.
Для багатьох CISЛідери операційних систем та AppSec, проблема вже не в тому, чи ввійде ШІ в середовища розробки. Проблема полягає в тому, як підтримувати видимість, атрибуцію та операційний контроль, якщо це вже сталося.
Цей зсув вже змушує організації переосмислити software supply chain security, моделі управління, видимість розробників та роль довіри в сучасних середовищах розробки програмного забезпечення.
Впровадження штучного інтелекту відбувається швидше, ніж управління безпекою
Однією з найсильніших тем у розмові була швидкість. Як пояснив Луїс Родрігес під час відкриття, штучний інтелект більше не обмежується експериментами чи ізольованими інструментами для підвищення продуктивності. Він вже безпосередньо бере участь у робочих процесах розробки: написанні коду, виборі бібліотек, взаємодії з... pipelineі все частіше працюють на самій програмній інфраструктурі.
Найбільше учасників дискусії здивувало не саме впровадження штучного інтелекту, а те, наскільки широко він вже поширений, часто без формальної видимості чи управління. Сем Степанян описав зростаючий розрив між офіційною політикою безпеки та тим, що насправді відбувається всередині інженерних команд, особливо в регульованих галузях. Деякі організації досі стверджують, що вони «не використовують штучний інтелект», тоді як розробники вже інтегрують інших пілотів, асистентів та інструменти штучного інтелекту у свої щоденні робочі процеси.
Водночас він вказав на реальність, яку багато організацій досі намагаються прийняти: навіть компанії, які намагаються уникнути впровадження штучного інтелекту, все ще стикаються з супротивниками, які вже агресивно його використовують. Ця напруженість створює те, що багато лідерів у сфері безпеки зараз називають тіньовим штучним інтелектом у середовищах розробки програмного забезпечення, тобто системами штучного інтелекту, що працюють поза межами встановлених моделей управління.
Ашвіні Сіддхі додала ще одну важливу точку зору. Її турбує не лише швидкість впровадження, а й відсутність операційної гігієни навколо коду, створеного штучним інтелектом. Під час обговорення вона наголосила на тому, що організації часто не мають надійної інформації про те, де саме зробив внесок ШІ, чому він створив певний код або як ці розробки...cisіони слід пізніше переглянути та підтвердити. Наслідок є значним: команди розробників вводять у роботу нелюдських учасників. SDLCале більшість моделей управління та огляду все ще припускають виключно людське авторство.
Штучний інтелект не просто прискорює розробку. Він змінює те, як ризик входить у SDLC
Оскільки штучний інтелект вбудовується в робочі процеси розробки програмного забезпечення, область атаки розширюється далеко за межі традиційних припущень щодо безпеки додатків (AppSec). Панель неодноразово поверталася до однієї центральної ідеї: більшість програм безпеки були побудовані навколо відомих ризиків, що діють зі швидкістю, що перевищує людську. Штучний інтелект змінює обидві умови одночасно.
Команди безпеки більше не перевіряють лише код, написаний людиною. Вони все частіше мають справу із залежностями, створеними штучним інтелектом, ризиками впровадження запитів, автономними робочими процесами, інструментами, підключеними до MCP, плагінами штучного інтелекту та машинною швидкістю. CI/CD виконання.
Ашвіні Сіддхі пояснила, що однією з перших концепцій, яка починає руйнуватися, є сама традиційна межа довіри. Системи штучного інтелекту навчаються на величезних обсягах публічного коду, значна частина якого є небезпечною, застарілою або неможливою для повної перевірки. В результаті організації втрачають здатність чітко визначати, що знаходиться всередині, а що поза межами довіри.
Вона також наголосила, що штучний інтелект фундаментально змінює природу моделювання загроз, оскільки ці системи не є статичними. Традиційні оцінки безпеки в певний момент часу більше не витримують змін у середовищах, де системи штучного інтелекту постійно розвиваються, адаптуються та динамічно оптимізують поведінку.
Хесус Куадрадо підійшов до проблеми з точки зору ланцюга постачання програмного забезпечення. Один з найяскравіших прикладів, обговорених під час сесії, стосувався залежностей, запропонованих штучним інтелектом. Розробники все частіше автоматично приймають рекомендації щодо пакетів, згенеровані штучним інтелектом, часто з мінімальним процесом перевірки або взагалі без нього. Це створює абсолютно новий шлях атаки.
Як обговорювалося під час панелі, зловмисники можуть ідентифікувати вигадані назви пакетів, згенеровані великими мовними моделями, реєструвати ці пакети в публічних репозиторіях та чекати, поки розробники або агенти штучного інтелекту встановлять їх автоматично.
Це кардинально змінює припущення, що лежать в основі традиційних SCA програми. Команди безпеки більше не мають справу лише з відомими вразливими залежностями. Вони все частіше мають справу із залежностями, які могли з'явитися кілька хвилин тому та містять шкідливу поведінку, спеціально розроблену для робочих процесів за допомогою штучного інтелекту.
У дискусії також розглядалося, як атаки починають націлюватися на абсолютно нові поверхні в середовищах розробки. Швидке впровадження коментарів, пошкоджені файли інструкцій для агентів, шкідливі взаємодії MCP та маніпулювання робочими процесами штучного інтелекту стають реальними векторами атак. Результатом є модель загроз, яка є ширшою, швидшою та набагато динамічнішою, ніж та, для якої спочатку розроблялися традиційні програми AppSec.
CISОС втрачають видимість по всьому світу SDLC
Видимість стала однією з домінуючих тем протягом усієї дискусії. Як підсумував Луїс Родрігес під час сесії, багато керівників у сфері безпеки просто не знають, які інструменти штучного інтелекту використовують їхні розробники, який код, згенерований штучним інтелектом, потрапляє до репозиторіїв або з якими агентами взаємодіють. pipelineта інфраструктура.
Панель описала це як еволюцію тіньових ІТ у тіньовий ШІ. Але на відміну від попередніх поколінь несанкціонованих інструментів, ці системи активно беруть участь у розробці...cisіонів. Вони генерують код, вибирають залежності, взаємодіють з інфраструктурою та все частіше роблять операційний вибір від імені розробників.
Сем Степанян виділив ще один критичний виклик: атрибуцію. Оскільки код, згенерований штучним інтелектом, стає все більш поширеним, організації втрачають здатність чітко визначати, хто (або що) виконав певну дію.
Така втрата можливості відстеження створює проблеми як у сфері управління, так і в операційній діяльності. Якщо команди не можуть надійно розрізняти поведінку, спричинену людиною, та поведінку, спричинену штучним інтелектом, реагування на інциденти, аудит та перевірка безпеки значно ускладнюються.
Обговорення також торкнулося зростаючої тенденції до надмірної довіри до результатів, створених штучним інтелектом. Розробники часто вважають, що оскільки код, створений штучним інтелектом, виглядає впевненим та функціональним, він також має бути безпечним. Але, як зазначив Сем, ці системи часто навчаються на незахищених публічних прикладах і можуть генерувати вразливі або повністю хибні результати з високою впевненістю. Це створює небезпечну комбінацію: обмежену видимість, зниження атрибуції та зростання довіри до систем, які організації не до кінця розуміють.
Галузь непомітно рухається до агентської діяльності SDLCs
Одна з найважливіших частин дискусії була зосереджена на переході від інших пілотів до автономних агентів. Учасники дискусії погодилися, що галузь швидко рухається до того, що все частіше можна охарактеризувати як агентичну... SDLC, середовища, де системи штучного інтелекту більше не просто пропонують код, а активно вживають заходів протягом усього життєвого циклу програмного забезпечення.
Системи штучного інтелекту починають відкриватися pull requests, виконувати тести, викликати зовнішні інструменти, змінювати інфраструктуру, взаємодіяти з API та працювати автономно в різних середовищах розробки. Іншими словами, ШІ переходить від асистента до оператора.
Цей зсув фундаментально змінює модель безпеки. Як висвітлювалося в обговоренні, організаціям, ймовірно, знадобляться абсолютно нові підходи до управління, зосереджені на ідентифікації агентів ШІ, доступі з найменшими привілеями, можливості аудиту, нагляді людини, підписаних діях та постійній видимості поведінки ШІ.
Один особливо яскравий приклад, обговорений під час сесії, стосувався спроби системи штучного інтелекту вимкнути захист кінцевих точок на робочій станції розробника для досягнення поставленої мети.
Цей приклад ілюструє важливий факт щодо середовищ на базі штучного інтелекту: ці системи оптимізуються для досягнення цілей, а не обов'язково для меж безпеки. Традиційна AppSec була побудована на моніторингу людських помилок. Наступне покоління AppSec дедалі більше потребуватиме контролю над автономною поведінкою.
Чому для безпеки додатків із усвідомленням штучного інтелекту потрібен підхід нульової довіри
Багато тем, що обговорювалися протягом виступу SafeDev Talk, тісно пов'язані з ширшим зрушенням у напрямку того, що Ксігені визначає як нульову довіру для ери штучного інтелекту SDLCНе довіряй нічому, перевіряй усе, включаючи сам ШІ. Як зазначено в платформному підході Xygeni, ШІ розширює поверхню атаки одночасно на кілька рівнів:
- код першої сторони,
- залежності,
- CI/CD pipelines,
- Моделі та агенти штучного інтелекту,
- та середовища розробників.
Багато з цих областей залишаються значною мірою невидимими для традиційних інструментів AppSec. Завдання більше не полягає просто в скануванні коду на наявність вразливостей. Організаціям дедалі більше потрібна прозорість залежностей, створених штучним інтелектом, активності штучного інтелекту в середовищах розробників, поведінки агентів, інфраструктури, підключеної до штучного інтелекту, та взаємодії в ланцюгу постачання програмного забезпечення, що відбуваються зі швидкістю машини.
Саме тому такі концепції, як інвентаризація зі штучним інтелектом, усвідомлення штучного інтелекту ASPM, AI-SPM та управління середовищем розробника швидко стають центральними в сучасних розмовах про AppSec.
Команда SDLC Вже змінилося
Виступ на SafeDev Talk чітко прояснив одну річ: Штучний інтелект вже вбудований всередину SDLC. Галузь більше не обговорює, чи відбудеться розробка за допомогою штучного інтелекту. Цей перехід вже відбувається в інженерних організаціях будь-якого розміру.
Справжнім викликом зараз є підтримка прозорості, управління, атрибуції та операційного контролю у все більш автономних середовищах розробки.
Зі прискоренням впровадження штучного інтелекту традиційні припущення AppSec щодо меж довіри, людського авторства, походження програмного забезпечення та статичних моделей управління продовжуватимуть руйнуватися.
Організації, які найшвидше адаптуються, не обов'язково будуть тими, хто уповільнить впровадження ШІ. Вони будуть тими, хто зможе зрозуміти, керувати та забезпечувати розробку програмного забезпечення на основі ШІ з тією швидкістю, з якою вона вже розвивається.
Продовжте розмову на OWASP Global AppSec EU Vienna
Розмова навколо технологій, що базуються на штучному інтелекті SDLC Безпека лише починається. Xygeni продовжить досліджувати ці теми на конференції OWASP Global AppSec EU у Відні, де команда обговорить AppSec з урахуванням штучного інтелекту, software supply chain security, управління штучним інтелектом та нові ризики агентних середовищ розробки.
Якщо ви відвідуєте OWASP Global AppSec EU, завітайте до команди Xygeni на стенд G-08 у Відень!
