Безбедносни ризици поврзани со вештачката интелигенција: Што мора да знаат тимовите DevSecOps за да ги обезбедат системите со вештачка интелигенција
Безбедносните ризици од вештачка интелигенција повеќе не се ограничени на однесувањето на моделот или приватноста на податоците. Денес, тие влијаат и на начинот на кој софтверот се пишува, прегледува, гради и испорачува. Како што алатките за кодирање со вештачка интелигенција, агентските системи со вештачка интелигенција и работните процеси управувани од вештачка интелигенција влегуваат во... SDLC, DevSecOps тимовите се соочуваат со нов вид ризик: побрз код, побрза автоматизација и побрзи грешки.
Сепак, ова не значи дека тимовите треба да го забават усвојувањето на вештачката интелигенција. Наместо тоа, им се потребни безбедносни контроли што одговараат на брзината на развојот потпомогнат од вештачка интелигенција. Во ова упатство, ги објаснуваме најважните безбедносни ризици од вештачката интелигенција, како тие се појавуваат во реалните инженерски работни процеси и како тимовите можат да ја намалат изложеноста низ кодот, зависностите, тајните, pipelines, и агенти.
За поширок преглед на тоа како вештачката интелигенција го менува пејзажот на закани, видете го нашиот водич за Сајбер безбедноста на вештачката интелигенција.
Кои се безбедносните ризици од вештачката интелигенција?
Безбедносните ризици поврзани со вештачката интелигенција се слабости, закани или начини на неуспех што се појавуваат кога вештачката интелигенција е дизајнирана, обучена, интегрирана или користена во реални системи. Овие ризици можат да влијаат на моделите, податоците, упатствата, API-јата, кодот, pipelines, и алатките што ги поврзуваат.
на Упатства на NCSC за вештачка интелигенција и сајбер безбедност објаснува дека сајбер безбедноста е основен услов за безбедни и сигурни системи со вештачка интелигенција. Слично на тоа, Рамка за управување со ризик NIST AI им дава на организациите структура за управување со ризикот од вештачка интелигенција преку управување, мерење и практични контроли.
За DevSecOps тимовите, проблемот е поспецифичен. Вештачката интелигенција сега е дел од синџирот на испорака на софтвер. Таа пишува код, предлага зависности, генерира конфигурација, повикува API-ја, а понекогаш дејствува и автономно. Како резултат на тоа, безбедносните ризици од вештачката интелигенција мора да се решаваат во рамките на SDLC, не само на слојот на моделот.
Зошто безбедносните ризици од вештачка интелигенција се различни сега
Традиционалните ризици по сајбер безбедноста обично доаѓаат од човечки напишан код, ранливи пакети, слаби акредитиви или погрешно конфигурирана инфраструктура. Овие ризици сè уште постојат. Сепак, вештачката интелигенција ја менува брзината на нивното појавување и тежината на нивното откривање.
Кодот генериран од вештачка интелигенција може да изгледа правилно, но сепак да ги пропушти проверките за авторизација. Асистент за кодирање со вештачка интелигенција може да предложи ранлив пакет. Работниот тек на агентот може да повика погрешна алатка, да пристапи до погрешна датотека или да открие тајна во дневник. Покрај тоа, системите со вештачка интелигенција често зависат од контекст, инструкции, конектори и надворешни алатки, што создава повеќе места каде што безбедноста може да откаже.
на OWASP Топ 10 за апликации за LLM ги истакнува ризиците како што се брзо инјектирање, откривање чувствителни информации, проблеми со синџирот на снабдување и прекумерна агентност. Овие категории се корисни бидејќи го поврзуваат однесувањето на вештачката интелигенција со реални проблеми со безбедноста на апликациите.
Со други зборови, безбедносните ризици од вештачката интелигенција не се однесуваат само на моделот. Тие се однесуваат на целиот систем околу моделот.
Основни безбедносни ризици поврзани со вештачката интелигенција за тимовите DevSecOps
Подолу се наведени ризиците што се најважни кога вештачката интелигенција се користи во развој, AppSec и CI/CD workflows.
1. Ранливости во кодот генериран од вештачка интелигенција
Алатките за кодирање со вештачка интелигенција можат да генерираат код кој функционира, но не е безбеден. На пример, тие можат да креираат SQL барања без соодветна параметризација, да ја прескокнат валидацијата на влезот или да имплементираат слаба логика за автентикација.
Ова се случува затоа што многу системи со вештачка интелигенција генерираат веројатни шеми на код врз основа на податоци за обука. Сепак, веројатниот код не е секогаш безбеден код. Во пракса, моделот може да репродуцира небезбедни примери бидејќи тие се вообичаени во јавните складишта.
Вообичаени примери вклучуваат:
- SQL инјекција
- Скриптирање на повеќе страни
- Недостасуваат проверки за авторизација
- Слабо ракување со сесии
- Небезбедна десеријализација
- Недостасува CSRF заштита
Затоа, кодот генериран од вештачка интелигенција треба да се третира како недоверлив сè додека не помине. SAST, проверки на политиките и преглед.
Предлог за внатрешна врска: поврзете го овој дел со вашата објава на AI SAST.
2. Ризици од синџирот на снабдување и зависност
Алатките со вештачка интелигенција не само што генерираат код. Тие исто така предлагаат пакети, верзии, скрипти и команди за инсталација. Ова создава директен пат од препораките за вештачка интелигенција до ризикот во синџирот на снабдување со софтвер.
На пример, алатка за вештачка интелигенција може да предложи:
- Застарен пакет
- Типосквотирана зависност
- Халуцинирано име на пакет
- Пакет со сомнителни скрипти за инсталација
- Библиотека која е ранлива, но сепак широко користена
Покрај тоа, напаѓачите можат да го искористат ова однесување со регистрирање имиња на пакети што веројатно ќе ги измислат алатките за вештачка интелигенција. Овој ризик често се нарекува „slopsquatting“. Ја претвора халуцинацијата на моделот во напад врз синџирот на снабдување со пакети.
За да се намали овој ризик, тимовите треба SCA, откривање на малициозен софтвер, спроведување на политиката за зависност и анализа на достапност. Тие исто така треба да користат сигнали за експлоатација како што се EPSS и разузнавачки информации за активна експлоатација од CISКаталог на познати експлоатирани ранливости.
3. Откривање на тајни во работните процеси со вештачка интелигенција
Откривањето тајни е еден од најпрактичните безбедносни ризици со вештачката интелигенција. Програмерите често го вметнуваат контекстот во алатките за вештачка интелигенција. Тој контекст може да вклучува API клучеви, токени, акредитиви, URL-адреси или внатрешна конфигурација.
Покрај тоа, кодот генериран од вештачка интелигенција може да вклучува привремени замени што изгледаат вистински, или уште полошо, да копираат тајни назад во изворните датотеки, pipeline скрипти или логови. Откако тајните ќе влезат во историјата на Git или CI/CD логови, тие можат да останат експлоатирачки долго по оригиналот commit.
Вообичаени точки на изложеност вклучуваат:
- Брза историја
- Генериран код
- оди commits
- CI/CD логови
- IaC додадени фајлови:
- Слики од контејнери
- Заеднички работни простори
Поради оваа причина, тимовите треба да комбинираат скенирање на ниво на IDE, pre-commit проверки, скенирања на историјата на складиштето, CI/CD скенирање на логови и автоматско отповикување.
Предлог за внатрешен линк: поврзете го овој дел со вашиот производ за безбедност на тајни или поврзана содржина.
4. Злоупотреба на агенти и алатки од вештачка интелигенција
Агентска вештачка интелигенција воведува нов слој на ризик бидејќи агентите не само што предлагаат дејства. Тие можат да преземат дејства.
Агентот на вештачката интелигенција може да извршува команди на командите, да уредува датотеки, да повикува API-ја, да отвора pull requests, менување на работните процеси на CI или интеракција со услуги во облак. Иако ова создава огромни зголемувања на продуктивноста, исто така го зголемува радиусот на експлозија на грешки.
Главните ризици вклучуваат:
- Небезбедно извршување на школка
- API клучеви со прекумерни дозволи
- Неовластени промени на кодот
- Погрешна конфигурација на MCP или API конекторот
- Повици на алатки надвор од одобрениот опсег
- Пристап до околината надвор од она што го бара задачата
Категоријата OWASP LLM Top 10 за прекумерна агентност е особено релевантна овде. Ако агентот има премногу пристап, лоша инструкција, брза инјекција или компромитирана алатка може да се претвори во вистински безбедносен настан.
5. CI/CD Pipeline Ризици
Кодот генериран од вештачка интелигенција на крајот стигнува до pipelineВо тој момент, ризикот се префрла од изворниот код во градби, артефакти, тајни, зависности и работни процеси за распоредување.
На пример, промена потпомогната од вештачка интелигенција може:
- Додајте небезбеден чекор за градење
- Измени го работниот тек на GitHub Actions
- Извадете злонамерен пакет за време на инсталацијата
- Печатење тајни во логовите за градење
- Оневозможете безбедносна контрола
- Промена на логиката за распоредување
Како резултат на тоа, CI/CD Безбедноста станува неопходна за усвојување на вештачката интелигенција. Pipeline guardrails треба да ги блокираат небезбедните шеми пред да стигнат до производство. За подетален контекст, видете ја нашата содржина на CI/CD безбедност software supply chain security.
6. Протекување на податоци и брзо вбризгување
Брзото вбризгување е еден од најпознатите безбедносни ризици поврзани со вештачката интелигенција, но честопати е погрешно разбран. Не е само проблем со чет-ботот. Може да влијае на секој работен тек на вештачката интелигенција што прифаќа надворешен влезен сигнал, а потоа го користи тој влезен сигнал за насочување на активностите.
На пример, опис на злонамерен проблем, датотека README, тикет за поддршка или страница со документација за зависност може да содржи скриени инструкции. Ако агент на вештачка интелигенција ја прочита таа содржина и ја следи, напаѓачот може да влијае на повиците на алатките, промените на кодот или пристапот до податоците.
Протекувањето на податоци може да се случи на слични начини. Моделот може да открие чувствителен контекст, да сумира приватни датотеки или да испраќа доверливи податоци до надворешни услуги. Затоа, системите со вештачка интелигенција имаат потреба од брзо филтрирање, контрола на излезот, ограничувања на алатките и јасни граници околу тоа до кои податоци можат да пристапат.
Безбедносни ризици поврзани со вештачката интелигенција низ целиот свет SDLC
Безбедносните ризици поврзани со вештачката интелигенција се појавуваат во различни фази од животниот циклус на софтверот. Клучот е да се обезбеди секоја фаза, а не само конечната апликација.
| SDLC Фаза | Безбедносен ризик од вештачка интелигенција | пример | Препорачана контрола |
|---|---|---|---|
| ИРО | Небезбеден код генериран од вештачка интелигенција | Асистент за кодирање со вештачка интелигенција предлага небезбедна логика за автентикација. | Во реално време SAST и безбедна повратна информација за кодирање. |
| Commit | Откривање на тајни | Токен се појавува во генерираниот код или commit историја. | Откривање на тајни, pre-commit чекови и автоматско поништување. |
| Pull Request | Заобиколување на политиката | Генерираниот код ги менува правилата за контрола на пристап без преглед. | PR guardrails и спроведување на политиките. |
| Се изгради | Злонамерна зависност | Пакет предложен од вештачка интелигенција вклучува сомнително однесување при инсталација. | SCA, откривање на малициозен софтвер и проверки на политиката за зависност. |
| CI/CD | Pipeline манипулација | Агентот ги модифицира датотеките на работниот тек или скриптите за распоредување. | CI/CD безбедносни проверки и откривање на аномалии. |
| Траење | Брзо вбризгување или истекување на податоци | Надворешниот влез предизвикува работниот тек со вештачка интелигенција да открие чувствителен контекст. | Брзи контроли, ограничувања на пристапот и мониторинг. |
Безбедносни ризици од вештачка интелигенција наспроти традиционалните ризици од сајбер безбедност
Традиционалната сајбер безбедност сè уште е важна. Сепак, вештачката интелигенција додава нови модели на однесување кои бараат различни контроли.
| Површина | Традиционален ризик од сајбер безбедност | Безбедносен ризик од вештачка интелигенција |
|---|---|---|
| Код | Човечки напишани ранливости. | Небезбедни шеми генерирани од вештачка интелигенција со поголема брзина. |
| Зависности | Познати ранливи пакети. | Халуцинирани, злонамерни или небезбедни пакети предложени од вештачка интелигенција. |
| Тајни | Акредитивите случајно commitтестирано од програмери. | Тајни копирани во инструкции, генериран код или логови. |
| алатки | Рачна злоупотреба на алатките за програмери. | Автономни агенти кои злоупотребуваат алатки или API-ја. |
| Pipelines | Погрешно конфигуриран CI/CD workflows. | Промени во работниот тек генерирани од агент или небезбедна автоматизација. |
Примери за ризик од безбедноста на вештачката интелигенција во реалниот свет
Безбедносниот ризик од вештачка интелигенција не е теоретски. Неколку јавни рамки и истражувачки напори сега ги следат овие прашања поформално.
на Репозиториум за ризик од вештачка интелигенција на МИТ каталогизира повеќе од 1,700 ризици од вештачка интелигенција низ различни причини и домени. Во меѓувреме, OWASP обезбедува практични категории за ризици од примена на LLM, вклучувајќи брзо инјектирање, откривање на чувствителни информации, ранливости во синџирот на снабдување и прекумерна агентност.
За DevSecOps тимовите, најрелевантните примери често се појавуваат во испораката на софтвер:
- Алатки за вештачка интелигенција кои сугерираат ранлив код
- Агенти од вештачка интелигенција ги модифицираат датотеките за работниот процес
- Зависностите генерирани од вештачка интелигенција воведуваат изложеност на синџирот на снабдување
- Тајни што протекуваат преку инструкции, логови или commits
- Агенциски работни процеси кои повикуваат алатки надвор од одобрениот опсег
Накратко, безбедносните ризици од вештачката интелигенција стануваат многу посериозни кога системите со вештачка интелигенција можат да допрат до код, акредитиви, пакети, pipelines, или инфраструктура.
Како да се ублажат безбедносните ризици од вештачка интелигенција во пракса
Најдобриот начин да се намалат безбедносните ризици поврзани со вештачката интелигенција е да се третира развојот потпомогнат од вештачката интелигенција како дел од SDLCТоа значи рано скенирање, често валидирање и спроведување политики таму каде што програмерите всушност работат.
1. Скенирајте код генериран од вештачка интелигенција во IDE
Програмерите треба да видат безбедносни повратни информации додека пишуваат или прифаќаат код генериран од вештачка интелигенција. Ова го намалува менувањето на контекстот и помага да се поправат проблемите пред да стигнат до Git.
Го користите:
- SAST во IDE
- Вградени објаснувања за ранливости
- Предлози за безбедно поправање
- Санација свесна за политиката
Ова е особено важно за асистентите за кодирање со вештачка интелигенција, каде што небезбедните предлози можат брзо да влезат во базата на кодови.
2. Валидирајте ги зависностите пред градењето
Зависностите предложени од вештачката интелигенција мора да бидат проверени пред да се инсталираат или испорачуваат. Затоа, тимовите треба да спроведат контроли на зависностите за време на развојот и CI/CD.
Го користите:
- SCA
- Откривање на малициозен софтвер
- Детекција на типосквотирање
- EPSS бодување
- Анализа на достапност
- Блокирање базирано на политика
Ова помага да се даде приоритет на пакетите што претставуваат реален ризик, а не само теоретска изложеност.
3. Автоматско откривање и поништување на тајни
Скенирањето на тајните мора да опфати повеќе од само изворен код. Работните процеси со помош на вештачка интелигенција можат да ги откријат акредитивите на многу места.
Го користите:
- Pre-commit скенирање
- Скенирање на историјата на складиштето
- Pipeline скенирање на логови
- IaC скенирање
- Скенирање на слики од контејнери
- Автоматизирано поништување
Како резултат на тоа, тимовите го скратуваат времето помеѓу изложеноста и ограничувањето.
4. Спроведување Guardrails in CI/CD
Guardrails треба да одлучи дали промената е доволно безбедна за да продолжи. Пријавувањето е корисно, но блокирањето е неопходно за критичен ризик.
Guardrails треба да покрие:
- Нови критични ранливости
- Тајни
- Злонамерни зависности
- Откачени или недоверливи пакети
- Небезбедни промени во работниот процес
- Недостасува SBOMs
- Прекршувања на политиките
Дополнително, тимовите треба да започнат со режим само за известување кога е потребно, а потоа да преминат на блокирање како што расте самодовербата.
5. Следење на однесувањето на агентските алатки
Агентските системи со вештачка интелигенција имаат потреба од набљудување. Ако агентот може да уредува датотеки, да активира градби или да повикува API-интерфејси, тимовите треба да знаат што направил, кога го направил тоа и дали дејството било очекувано.
Монитор:
- Повици за алатки
- Промени во датотеките за работниот тек
- Активност за пишување во складиштето
- Мрежни дестинации
- Пристап до тајни
- Pull request создавање
- Pipeline предизвикувачи
Без оваа видливост, тешко е да се верува во автономијата на агентот.
Каде Xygeni помага во намалувањето на безбедносните ризици од вештачка интелигенција
Xygeni се фокусира на обезбедување развој потпомогнат од вештачка интелигенција низ целиот синџир на испорака на софтвер. Наместо да го третира ризикот од вештачка интелигенција како посебна категорија, тој ги поврзува кодот, зависностите, тајните, pipelineи деловен контекст.
На пример:
- SAST помага рано да се открие небезбеден код генериран од вештачка интелигенција.
- SCA ги потврдува зависностите и открива малициозни пакети.
- Безбедност на тајните открива изложени акредитиви низ складиштата и pipelines.
- CI/CD Безбедност спроведува политики пред да се спроведат небезбедни промени.
- Откривање на аномалија идентификува необично однесување во работните процеси за развој и испорака.
- ASPM Ги поврзува наодите во еден поглед на ризикот, за да можат тимовите да дадат приоритет на она што е важно.
Ова е важно бидејќи безбедносните ризици од вештачката интелигенција се по природа на повеќе слоеви. Ранлива зависност, изложен токен и небезбедна промена на работниот тек може да изгледаат одделно во однос на алатките. Сепак, заедно тие можат да претставуваат многу поголема патека на напад.
Рамки за управување со безбедносни ризици со вештачка интелигенција што треба да се знаат
Неколку рамки им помагаат на тимовите да ја структурираат својата работа.
на Рамка за управување со ризик NIST AI Им помага на организациите да мапираат, мерат, управуваат и управуваат со ризиците од вештачката интелигенција. Корисно е за програми за лидерство, усогласеност и ризик.
на OWASP Топ 10 за апликации за LLM е попрактично за AppSec тимовите бидејќи директно се поврзува со технички ризици како што се брзо инјектирање, изложеност на чувствителни податоци, ранливости во синџирот на снабдување и прекумерна агентност.
на NCSC насоки за вештачка интелигенција и сајбер безбедност е корисно за лидерите во безбедноста кои треба да разберат како вештачката интелигенција го менува организацискиот сајбер ризик.
Заедно, овие ресурси покажуваат една јасна поента: безбедноста на вештачката интелигенција мора да се управува низ луѓето, процесите, системите и работните процеси за испорака на софтвер.
Контролна листа: Како да се намалат безбедносните ризици поврзани со вештачката интелигенција
Користете ја оваа листа за проверка како практична почетна точка.
| Контролна област | Што да се прави | Зошто е важно |
|---|---|---|
| Код генериран од вештачка интелигенција | Испратена SAST во IDE, PR и CI/CD pipeline. | Спречува небезбеден код да стигне до производството. |
| Зависности | Користете SCA, откривање на малициозен софтвер, EPSS и достапност. | Блокира ризични пакети предложени од вештачка интелигенција. |
| Тајни | Скенирајте commits, логови, историја, IaC, и контејнери. | Го намалува изложувањето на акредитиви и злоупотребата. |
| CI/CD | Во сила pipeline guardrails и политички порти. | Ги запира небезбедните градби и распоредувања. |
| Агенциски алатки | Следете ги повиците на алатките, пристапот до API и промените во работниот тек. | Ја ограничува прекумерната актуалност и неочекуваното однесување. |
| Справување со ризици | Користете ASPM да се поврзат наодите низ слоевите. | Им помага на тимовите да се фокусираат на реалниот деловен ризик. |
Клучни Килими
- Безбедносните ризици од вештачката интелигенција сега влијаат на кодот, зависностите, тајните, pipelines, и агенти.
- Традиционалните алатки на AppSec сè уште се потребни, но тие мора да работат порано и со повеќе контекст.
- Кодот генериран од вештачка интелигенција треба да се третира како недоверлив сè додека не се валидира.
- Потребни се работни процеси на агенти за вештачка интелигенција guardrails, дозволи и видливост.
- DevSecOps тимовите имаат потреба од унифицирана видливост низ целиот SDLC за ефикасно управување со ризикот од вештачка интелигенција.
Најчесто поставувани прашања: Безбедносни ризици поврзани со вештачката интелигенција
Кои се безбедносните ризици од вештачката интелигенција?
Безбедносните ризици поврзани со вештачката интелигенција се закани или слабости што се појавуваат кога се градат, интегрираат или користат вештачки системи. Тие можат да влијаат на модели, податоци, инструкции, код, зависности, API-ја и pipelines.
Кои се најголемите безбедносни ризици поврзани со вештачката интелигенција за DevSecOps тимовите?
Најголемите ризици вклучуваат небезбеден код генериран од вештачка интелигенција, ранливи зависности, откривање на тајни, брзо инјектирање, прекумерни дозволи на агенти и небезбедни... CI/CD автоматизација.
Зошто безбедносните ризици поврзани со вештачката интелигенција се разликуваат од традиционалните ризици поврзани со сајбер безбедноста?
Системите со вештачка интелигенција можат да генерираат код, да предлагаат зависности, да повикуваат алатки и да дејствуваат автономно. Како резултат на тоа, ризиците се појавуваат побрзо и низ повеќе слоеви на SDLC.
Како тимовите можат да ги намалат безбедносните ризици поврзани со вештачката интелигенција?
Тимовите можат да го намалат ризикот со скенирање на код генериран од вештачка интелигенција, потврдување на зависности, откривање на тајни, спроведување CI/CD guardrails, следење на однесувањето на агентот и поврзување на наодите преку ASPM.
Дали кодот генериран од вештачка интелигенција е безбеден?
Кодот генериран од вештачка интелигенција не е безбеден по дифолт. Треба да се прегледа, скенира, тестира и валидира пред да стигне до производство.
Заклучни мисли: Потребни се безбедносни ризици поврзани со вештачката интелигенција SDLC-Контроли на ниво
Вештачката интелигенција ја менува брзината и обликот на софтверскиот ризик. Таа им помага на тимовите да градат побрзо, но исто така воведува нови начини небезбедниот код, откриените тајни, небезбедните зависности и ризичната автоматизација да влезат во синџирот на испорака.
Затоа, безбедноста на вештачката интелигенција не може да се управува само со управување со модели или документи за политики. Потребни се практични контроли во рамките на SDLC: IDE повратни информации, SAST, SCA, откривање на тајни, CI/CD guardrails, откривање на аномалии и ASPM-ниво корелација.
Тимовите што добро ги управуваат безбедносните ризици поврзани со вештачката интелигенција нема да бидат оние што го блокираат усвојувањето на вештачката интелигенција. Тие ќе бидат оние што ќе го изградат вистинскиот безбедносен слој околу неа.
