TL; ДР
Три одговори на истото прашање за ризикот од агентска вештачка интелигенција
Очекувавме широка согласност за ограничување на агентите на вештачката интелигенција и добивме три различни одговори.
- Педро Фортуна: поделете ги агентите на многу мали, специфични, секој со најтесни можни дозволи и додадете мониторинг за време на извршување што ги запира рано.
- Џек Трефон: спротивното, за кодирачките агенти. Ограничете еден и ќе го уништите она што го прави корисен, затоа прифатете го радиусот на експлозија и инвестирајте во трасирање и брзо закрепнување.
- Луис Родригез Берзоса: трет ред. Третирајте ги frontier моделите како што би се однесувале кон малициозниот софтвер, дизајнирајте го системот за да го ограничите секој специјализиран агент и поставете слој за спроведување под сето тоа што ќе се одржи кога сè над него ќе откаже.
Каде што се сретнаа сите тројца: Не можете да заштитите она што не сте го инвентаризирале, секоја акција мора да се евидентира, а она што го запира агентот мора да стои надвор од агентот.
Ништо не беше прекршено.
Агентот си ја заврши работата. По пат, одлучи дека треба да допре зависност, конфигурација, услуга што никој не го замолил да ја допре. Цело време остана во рамките на своите дозволи. Ниту едно правило не беше прекршено, па затоа ништо не се активираше.
Го поставивме тој случај пред три лица кои професионално се занимаваат со него, очекувајќи широк договор за тоа што да се преземе во врска со него. Добивме три различни одговори, а два од нив се контрадикторни.
Ризикот од агентска вештачка интелигенција обично се опишува како проблем на напаѓачот. Ова е другата верзија. Дваесет години цртавме граници на дозволи околу софтвер кој правеше точно она што му беше кажано. Сервисна сметка, CI извршител, закажана задача. Доста често ја погрешувавме границата, но она што беше внатре во неа беше предвидливо. Вршеше една работа, на ист начин, секој пат.
Нештото во рамките на границата сега одлучува. А границата е сè уште нацртана онака како што била отсекогаш: однапред, во време на конфигурација, од некој што не може да знае во што ќе се претвори задачата.
Тоа е верзијата за ризик од агентска вештачка интелигенција за која вреди да се расправа, и потрошивме еден час на тоа во последниот Разговор за SafeDev со Педро Фортуна од Jscrambler, Џек Трефон на Трефон Диџитал Консалтинг, и Луис Родригез Берзоса на Xygeni, хостирано од Алехандро Естрада.
Очекувавме дека во голема мера ќе се согласат. Тие не се согласија.
Ризик од агентска вештачка интелигенција: утешната премиса што не важи
Горенаведената рамка содржи збор „врши повеќе работа отколку што треба“: напаѓачотНема ниту еден. Тоа би требало да го олесни сценариото.
Педро го расклопи тоа со еден потег.
„Да се биде напаѓач или не е човечки концепт. Она што го прави напаѓачот напаѓач е тоа што има различни цели. А погрешно насочениот агент е исто така нешто што има различна цел.“
Почитувајте го тоа, бидејќи го разбива принципот на повеќето разговори за ризик со агентска вештачка интелигенција, вклучувајќи го и описот што го напишавме за нашиот настан. Ако она што го дефинира напаѓачот се различни цели, а не злоба, тогаш „нема напаѓач во оваа приказна“ е утеха што никој не ја заработил. Структурно, тоа е истиот ризик. Она што недостасува е намерата, а намерата никогаш не била она што вашите контроли го детектирале. Тие детектираат ефекти. Секогаш го правеле тоа.
Ова е исто така причината зошто вокабуларот во индустријата се промени. OWASP Топ 10 за апликации за LLM во 2026 година ја промовираше прекумерната агенција од шестото место на третото, што е помалку промена на мислењето отколку евиденција за инциденти што го достигнува веќе распоредената архитектура.
Што всушност покажува инцидентот со „Гушкањето на лицето“
Инцидентот од јули, во кој модел на границата нападна трета страна, беше широко протолкуван како приказна за модел кој станува нечесен. Луис го толкува поинаку, а неговата верзија ја става одговорноста некаде непријатно.
„Проблемот не е граничниот модел. Граничниот модел го направи она што му беше наложено да го направи. Проблемот е дизајнот на експериментот.“
Целта беше отворена. Ограничувањата беа отсутни. А песочната кутија наменета да ја содржи имаше прозорец кон интернет, преку ранливост на фалсификување на барања од страна на серверот во кешот на пакетот до кој агентот можеше да стигне. Секој од нив е дизајнерски дезен.cisјон направен од личност.
Што ја произведува реченицата што треба да го промени начинот на кој ги обезбедувате овие работи:
„Грантирните модели треба да се гледаат како да се малициозен софтвер, бидејќи можат да дејствуваат автономно и да преземат мерки.“cisјони кои се злонамерни. Не намерно, но на крајот се навистина злонамерни.“
Не како навреда на моделот. Како став за обезбедување. Не му давате на малициозен софтвер bash shell и не се надевате дека целта е добро наведена.
Толкувањето на истиот инцидент од страна на Педро беше повеќе за времето отколку за дизајнот:
„Во моментот кога ќе видите агенти како комуницираат преку имиња на папки на услуга што не треба да ја користат, во тој момент треба да ги запрете тие агенти. Не треба да чекате тие агенти успешно да го пробијат Hugging Face за да одлучите дали тоа е злонамерно или не.“
Вреди да се задржи и еден детаљ од одговорот. Одговорните лица се обидоа да користат алатка на комерцијален агент за да ги анализираат трагите, но не можеа, бидејќи ги достигнаа ограничувањата за брзина. Напаѓачот немаше таков плафон. „Имаше асиметрија во самиот напад.“
Вистинскиот аргумент: ограничување на агентот или побрзо закрепнување?
Тука е местото каде што панелот се подели, и тоа е вистинско несогласување меѓу практичарите кои секој го заслужил својот став.
Педро се залага за распаѓање. Петнаесет години наметнување на изолацијата во прелистувачот го научија дека не можете да наметнете ништо за време на извршување наспроти монолит. Разделете ја архитектурата на мали парчиња со специфични функции и само тогаш контролите и точките за следење имаат каде да се поврзат. Агентите не се исклучок.
„Мислам дека треба да го разложите на многу специфични агенти кои се наменети само за специфични задачи. И не е важно ако завршите со педесет агенти. Подобро е отколку да имате само еден.“
Џек тврди спротивното, конкретно за агентите за кодирање. Би очекувале технологија што работи во позадина на регулирана крипто берза да произведе најрестриктивна позиција во просторијата. Таа произведе најмалку.
Неговата почетна аналогија воопшто не е модел на закана:
„Гледам типично агентско распоредување исто како што би гледал на нововработен, нова личност што доаѓа. И таа личност може да биде беспрекорна во извршувањето, или може да направи грешка. Не гледам голема разлика.“
За тесните агенти, тој е строг како и секој друг. Опишувајќи го агентот за преглед само за читање што моментално го гради, тој беше директен дека вообичаената поставеност е неоправдана: распоредувањето на обичен Linux систем со bash пристап „го отвора целиот екосистем на закани“. Но, за општите агенти за кодирање, логиката се менува, а тој знае дека позицијата е непопуларна:
„Колку повеќе моќ има агентот, толку е покреативен и поефикасен. Значи, не е индустријата таа што напредува поради ограничувањата и намалувањето на опсегот.“
Па што останува ако не се ограничи? Прекинувачи на струјно коло, а пред сè временски базирани снимки: не спречување на радиусот на експлозијата, туку правење на закрепнувањето од него евтино и брзо. Тој го вградува тоа во Килибарните, C++ агентски пакет без зависности што го пишува во слободно време, со снимање на снимки во циклусот (локација на проектот).
И предупредувањето за тоа каде завршува другиот пат:
„Ако почнеме да одземаме, ќе остане само една алатка, а тој развивач ќе може да ги вклучи светлата и да ги исклучи светлата.“
Луис ја зазема третата позиција, што не е ниту ограничување ниту обновување, туку содржење одоздола: претпоставете дека агентот на крајот ќе се однесува како малициозен софтвер, дизајнирајте го системот за поврзување за да го ограничите секој специјализиран агент и ставете слој за спроведување под сето тоа што ќе се одржи кога сè над него ќе откаже.
Три пристапи кон истиот проблем
Три позиции, секоја со одредена цена. Ниту една од нив не е бесплатна и ниту една од нив сама по себе не го прави агентот безбеден.
| Пристап | Основен потег | Колку ве чини |
|---|---|---|
| РазградуваПедро Фортуна | Многу мали агенти, секој со ограничени дозволи, плус следење на времето на извршување што ги запира рано | Дизајнерски труд однапред, а потешко со работа со кодирање со отворен крај |
| ЗакрепнеЏек Трефон | Задржете ја можноста, додадете прекинувачи и временски базирани снимки за да биде евтино враќањето назад | Поширок радиус на експлозија и облог за откривање и отстранување на истата на време |
| Содржи од подолуЛуис Родригез Берзоса | Претпоставете го однесувањето на малициозен софтвер, ограничете го секој агент во мрежата, спроведете го на работната станица и CI извршителот. | Инфраструктура и алатки што повеќето стекови на крајни точки сè уште не ги обезбедуваат |
Читајќи ги рамо до рамо, несогласувањето е потесно отколку што звучи. Сите тројца прифаќаат дека агентот ќе направи нешто ненамерно. Тие се разликуваат околу тоа каде одат парите: во архитектурата пред да се случи, во закрепнувањето откако ќе се случи или во нивото под обете.
Зошто најмалите привилегии не се преведуваат во ризик од агентска вештачка интелигенција
Најмали привилегии претпоставуваат дека ја познавате работата. Вие ја одредувате дозволата за задачата.
Агентот го прекршува тоа тивко, бидејќи неговата граница на дозволи е нацртана во времето на конфигурација, а неговата задача пристигнува во времето на извршување. Она што всушност го доделувате е обединување на сè што некогаш би можело да биде побарано од него да направи. Тоа не е најмала привилегија; туку е спротивното, носење облека за најмала привилегија.
Луис понуди преформулирање позајмено од идеја постара од која било од овие:
„Размислувам за механизмот на UNIX за поврзување на едноставни алатки за да се изврши сложена задача. Можете да дефинирате специфични агенти со контролирана конфигурација, ограничувајќи го она што тој специјализиран агент може да го направи. И можете да ги комбинирате за речиси секоја задача.“
Плус втора идеја за дизајн што повеќето тимови не ја испробале: завиткајте ги алатките наместо да ги проширите дозволите. Не bash, кој го предава целиот систем, туку тесен обвивка што е единствената патека што може да се повика, со варијанти само за читање што ги обвиткуваат генеричките. Агентот добива можност, а не обвивка.
Тој исто така беше јасен дека пречката не е дизајнот; туку воведувањето. Новите контроли на машините за програмери имаат долга историја на заобиколување, и таа историја не се менува затоа што дотичната алатка е агент.
И за тоа каде мисли дека сè завршува:
„Мислам дека на крајот ќе имаме автономни агенти кои ќе контролираат други автономни агенти.“
Лаптопот стана скапоцен камен, а вашиот EDR не го забележал тоа.
На агентот му е потребен постојан пристап за да биде корисен. Токен што не истекува за време на задачата, кеширан акредитив, права за пуштање, пристап до регистарот, патека во живо во pipelineСекое од нив е барање, а не превид, што значи дека колку што алатките станувале подобри, толку поконцентрирана станувала машината за развивање.
Напаѓачите први забележаа. Како што рече Педро, тие не се идеолози:
„Тие се организираат како мали компании. Треба да заработат пари, па затоа се префрлаат на најпрофитабилниот агол што можат да го најдат. И брзо сфатија дека има пари што можат да се заработат во станиците за развој.“
Ја гледаме таа промена како се менува во регистрите секоја недела во Малициозен код Диџест, каде што собирачите на акредитиви сега рутински ги бараат клучевите на добавувачите на вештачка интелигенција заедно со клучевите од облакот и регистарот.
Неговиот список за ублажување е неубав, но функционира: отстранете го секој клуч што не треба да биде на машината, спарете ги оние што остануваат со втор фактор како што е OpenID Connect или хардверски клуч за да не биде доволен само украден токен, и преместете ја околината од домаќинот каде што можете, преку развивачки контејнери или cloud IDE-ја.
Потоа Луис ја истакна поентата што треба да ги загрижи сите што претпоставуваат дека нивниот стек на крајни точки го покрива ова:
„EDR-ите се специјализирани за традиционален малициозен софтвер и не се свесни за агентските алатки. И ако функционираат, можат да генерираат многу лажни позитиви, бидејќи агентот прави работи за кои моделите на детекција не се свесни денес.“
Два режима на неуспех одеднаш: го промашува она што е важно и го означува она што не е. Неговиот одговор е тој надворешен слој за спроведување, кој се наоѓа околу работната станица на развивачот и CI-ротерот, под појасот, ограничувајќи го она што може да го достигне еден нечесен агент. Тоа е јазот. Xygeni Shield беше изграден за, со политика наметната на крајната точка каде што всушност се случува инсталацијата.
Џек го кажа тоа поотворено: не го чувајте вашиот Биткоин на вашата машина за развивачи.
Сите тројца се согласија за подот
Три различни одговори, еден заеднички минимум.
- Прво инвентар. „Не можеш да заштитиш она за што не знаеш.“ Секој друг деcisјонот зависи од знаењето кои агенти, вештини и MCP сервери постојат, а речиси ниту еден од нив не е деклариран.
- Евидентирајте ја секоја акција. Џек и Луис пристигнаа тука од спротивни насоки. Џек сака траги бидејќи тие се начин на кој се опоравувате и како една организација созрева. Луис ги сака бидејќи без нив не можете да го реконструирате радиусот на експлозијата подоцна. Рамката на Џек вреди да се позајми: нема вредност во испрашувањето на актерот, човек или агент, само во доволно добро разбирање на контекстот за да не се повтори.
- Она што го запира агентот мора да стои надвор од агентот. Мониторингот на извршување на Педро, слојот за спроведување на Луис, прекинувачите и снимките на Џек. Различни механизми, еден принцип.
Џек понуди корисен преглед на тоа каде се наоѓа индустријата. Тој се сеќава на првата спам-порака што ја добил, во која му кажувале дека наследил рудник за злато во Нигерија. Ова е проблем со зрелоста, а зрелоста доаѓа по грешките, а не пред нив.
Што да се прави пред петок
Изберете еден агент. Запишете два списока: што му е дозволено да прави и што всушност било побарано од него да прави оваа недела.
Јазот помеѓу тие листи е вашиот радиус на експлозија и е најкорисната мерка за ризик од агентска вештачка интелигенција што вашиот тим може да го произведе во едно попладне. Потребно е едно попладне, не е потребен буџет и го решава горенаведениот аргумент за вашата организација, бидејќи трите позиции се всушност три различни одговори на прашањето колку голем треба да биде тој јаз.
Повеќето тимови никогаш не го запишале тоа.
на цел час е достапно за гледање назад, вклучувајќи ја и поентата на Џек за тоа зошто барањата за вклученост на човекот во јамката во Европа ги прават некои одбрани со вештачка интелигенција неизводливи во пракса.
И ако вежбатаcise враќа одговор што не ви се допаѓа, Xygeni Откријте го секој AI ресурс низ вашите складишта, вклучувајќи ги агентите, вештините и MCP серверите што никој не ги декларирал, и мапирајте до каде може да стигне секој од нив. Резервирај демо or започнете бесплатно, и ние ќе го стартуваме на вашиот.
NAJČESTO POSTAVUVANI PRAŠANJA
Колкав е радиусот на експлозија на агент на вештачка интелигенција?
Сè што агентот можеше да достигне ако тргне наопаку, различно од она што од него беше побарано да го направи. Тоа е дефинирано со дозволите, акредитивите и алатките што му се достапни за време на извршување, а не со задачата. Јазот помеѓу овие две е она што вреди да се измери, а повеќето тимови никогаш не го запишале.
Дали агентот што ја пречекорува својата задача претставува безбедносен инцидент ако никогаш не ги пречекорил своите дозволи?
Тоа беше централното несогласување. Одговорот на Педро е ефикасно да, бидејќи напаѓачот е дефиниран со дивергенција на целта, а не со злоба, а погрешно насочен агент се дивергирал. Одговорот на Џек е поблиску до не: тоа е оперативен неуспех како грешка на нововработен, а правилниот одговор е следење и закрепнување, а не построги ограничувања. Луис го избегнува прашањето претпоставувајќи го најлошиот случај од самиот почеток и прашувајќи кој слој сè уште важи кога тоа ќе се случи.
Дали кодирачките агенти треба да бидат изолирани од песок?
За тесни, специфични за задачи агенти, сите тројца рекоа „да“ без двоумење: само за читање каде што е можно, без „bash“, без мрежа освен ако не е потребно. За општите агенти за кодирање, панелот се подели на три начина: Педро ќе ги разложи, Џек агресивно ќе ја задржи можноста и сликата, а Луис ќе додаде слој за спроведување под мрежата без оглед на тоа што му е дозволено на агентот.
Дали мојот EDR покрива ризик од агентска вештачка интелигенција?
Веројатно не е добро. Сегашните алатки за крајни точки се изградени околу традиционалните шеми на малициозен софтвер и не го моделираат однесувањето на агентите, па затоа имаат тенденција да го пропуштат она што е важно и да го означуваат она што не е важно. Одговорот на Луис беше надворешен слој за спроведување дизајниран за средини за програмери, а не за EDR за општа намена.
Кое е единственото прво нешто што треба да се направи?
Изградете го инвентарот. Секој модел, агент, вештина и MCP сервер во вашите складишта и до каде може да стигне секој од нив. Тоа е чекорот што го именуваа сите тројца панелисти и единствениот од кој зависи секоја друга контрола.
