TL, DR
Valiny telo amin'ny fanontaniana mitovy momba ny risika ateraky ny AI
Nanantena fifanarahana midadasika momba ny famerana ny mpiasan'ny AI izahay ary nahazo valiny telo samihafa.
- Pedro Fortuna: Zarao ho vondrona kely sy voafaritra tsara ireo "agent", samy manana ny fahazoan-dàlana tery indrindra azo atao, ary ampio fanaraha-maso ny fotoana fiasana izay mampijanona azy ireo mialoha.
- Jack Trefon: ny mifanohitra amin'izany kosa, ho an'ny "coding agents". Raha feranao ny iray dia ho potika izay mahatonga azy ho ilaina, koa ekeo ny radius fipoahana ary ampiasao ny vola amin'ny fanaraha-maso sy ny famerenana haingana.
- Luis Rodríguez Berzosa: andalana fahatelo. Toy ny fomba fitondranao ny malware no fomba fitondranao ny frontier models, amboary ny harness mba hamerana ny agent manokana tsirairay, ary asio sosona fampiharana eo ambaniny izay miasa rehefa tsy mahomby ny zava-drehetra eo amboniny.
Ny toerana nihaonan'izy telo mianaka: Tsy afaka miaro izay tsy noraketinao lisitra ianao, tsy maintsy voarakitra an-tsoratra ny hetsika rehetra, ary ny zavatra manakana ny masoivoho dia tsy maintsy mipetraka ivelan'ny masoivoho.
Tsy nisy noravana.
Nanao ny asany ilay agent. Teny an-dalana, nanapa-kevitra izy fa mila mikasika fiankinan-doha, fikirakirana, serivisy tsy nangatahin'olona hokasihiny. Nijanona tao anatin'ny fahazoan-dàlana nomeny izy nandritra ny fotoana rehetra. Tsy nisy fitsipika nodikaina, ka tsy nisy niasa.
Napetrakay tamin'olona telo izay miatrika izany amin'ny fomba matihanina io raharaha io, ary nanantena izahay fa hisy fifanarahana malalaka momba izay tokony hatao momba izany. Nahazo valiny telo samihafa izahay, ary mifanohitra ny roa tamin'izy ireo.
Matetika ny risika ateraky ny Agentic AI dia faritana ho olan'ny mpanafika. Ity no dikan-teny hafa. Nandritra ny roapolo taona dia nametraka fetran'ny fahazoan-dàlana manodidina ny rindrambaiko izay nanao araka izay nolazaina taminy izahay. Kaonty serivisy, mpihazakazaka CI, asa voalahatra. Matetika izahay no diso ny fetran'ny fetra, saingy azo vinavinaina ny zavatra ao anatiny. Nanao asa iray izy, toy izany koa, isaky ny mandeha.
Ny zavatra ao anatin'ilay fetra no manapa-kevitra izao. Ary mbola voasoritra toy ny mahazatra ihany ny fetra: mialoha, amin'ny fotoana fanamboarana, ataon'olona izay tsy mahalala izay ho vokatr'ilay asa.
Izany no dikan'ny risika ateraky ny AI izay mendrika iadian-kevitra, ary nandany adiny iray izahay tamin'izany farany. SafeDev Talk amin'ny Pedro Fortuna an'ny Jscrambler, Jack Trefon an'ny Trefon Digital Consulting, ary Luis Rodríguez Berzosa an'i Xygeni, nampiantranoin'ny Alexander Estrada.
Nanantena izahay fa hanaiky tanteraka izy ireo. Tsy nanaiky anefa izy ireo.
Risika AI Agentic: ny petra-kevitra mampionona izay tsy mihatra
Ny sary etsy ambony dia misy teny iray ao anatiny izay manao asa mihoatra noho ny tokony ho izy: mpanafikaTsy misy na dia iray aza. Izany dia natao mba hanamorana ny toe-javatra.
Noravan'i Pedro tamin'ny fihetsika iray monja izany.
"Ny maha-mpanafika na tsia dia fomba fijerin'olombelona. Ny mahatonga ny mpanafika ho mpanafika dia ny fananany tanjona samihafa. Ary ny mpitsikilo tsy mifanaraka amin'ny tanjona dia zavatra manana tanjona hafa koa."
Mipetraha amin'izany, satria mandrava ny foto-kevitry ny ankamaroan'ny resaka momba ny risika amin'ny AI izany, anisan'izany ny famaritana nosoratanay ho an'ny hetsika nataonay manokana. Raha tanjona samihafa no mamaritra ny mpanafika fa tsy lolompo, dia "tsy misy mpanafika amin'ity tantara ity" dia fampiononana tsy azony. Raha ny rafitra no jerena, dia mitovy ihany ny risika. Ny tsy ampy dia ny fikasana, ary ny fikasana dia tsy zavatra hitan'ny fifehezanao mihitsy. Mahita vokany izy ireo. Efa nahita izany foana izy ireo.
Izany koa no nahatonga ny voambolan'ny indostria hiova. An'ny OWASP 10 ambony indrindra ho an'ny fangatahana LLM amin'ny taona 2026 nampiroborobo ny fahafahana misafidy tafahoatra avy amin'ny laharana fahenina ho amin'ny fahatelo, izay tsy dia fiovan'ny hevitra loatra raha oharina amin'ny fitantarana ny zava-nitranga izay efa napetraka.
Ny tena asehon'ny tranga Hugging Face
Ny tranga tamin'ny Jolay, izay nanafihan'ny maodely iray avy any amin'ny sisin-tany ny antoko fahatelo, dia noheverina ho tantara momba ny maodely iray lasa mpikomy. Hafa ny fomba famakian'i Luis azy, ary ny fomba fijeriny dia mametraka ny andraikitra ho amin'ny toerana tsy mahazo aina.
"Tsy ny modely sisin-tany no olana. Nanao izay nasaina nataony ny modely sisin-tany. Ny olana dia ny famolavolana ny fanandramana."
Tsy nisy fetra ny tanjona. Tsy nisy ireo fameperana. Ary ny "sandbox" natao hitehirizana azy dia nanana varavarankely mankany amin'ny aterineto, amin'ny alàlan'ny fahalemena amin'ny fangatahana hosoka amin'ny alàlan'ny mpizara ao amin'ny cache fonosana azon'ny agent tratrarina. Ny tsirairay amin'ireo dia endrika famolavolana.cision nataon'ny olona iray.
Izay mamokatra ny fehezanteny izay tokony hanova ny fomba hanomezanao ireto zavatra ireto:
"Mila jerena toy ny hoe malware ireo modely frontier, satria afaka miasa irery izy ireo ary mandray andraikitra."cisireo izay ratsy fanahy. Tsy noho ny fikasana, fa tena ratsy fanahy amin'ny farany.
Tsy ho fanevatevana ny modely. Ho toy ny fomba fanomanana. Tsy manome bash shell ho an'ny malware ianao ary manantena fa voafaritra tsara ny tanjona.
Ny famakian'i Pedro an'io tranga io ihany dia momba ny fotoana fa tsy ny famolavolana azy:
"Raha vao mahita ireo mpiasa mifandray amin'ny alalan'ny anaran'ny lahatahiry amin'ny serivisy tsy tokony hampiasainy ianao dia mila ajanonao ireo mpiasa ireo. Tsy mila miandry ireo mpiasa ireo hiditra amin'ny Hugging Face ianao vao hanapa-kevitra raha ratsy izany na tsia."
Tsara hotazonina ihany koa ny antsipiriany avy amin'ny valinteny. Niezaka nampiasa fitaovana ara-barotra ireo namaly ny fanadihadiana mba handinihana ireo soritr'aretina saingy tsy afaka, satria nahatratra ny fetran'ny tahan'ny fanafihana izy ireo. Tsy nanana fetra toy izany ilay mpanafika. "Nisy tsy fitoviana tao amin'ny fanafihana mihitsy."
Ny tena adihevitra: hametra ny mpiasa, sa hiarina haingana kokoa?
Eto no nizara roa ny hevitry ny mpitsara, ary tena tsy fitovian-kevitra marina eo amin'ireo mpitsabo izay samy nahazo ny toerany avy izany.
Manohana ny fiovaovan'ny toe-draharaha i Pedro. Dimy ambin'ny folo taona nanosehana ny fitokana-monina tao anatin'ny navigateur no nampianatra azy fa tsy afaka mampihatra na inona na inona amin'ny fotoana fiasana amin'ny monolith ianao. Zarao ho sombintsombiny kely ny maritrano miaraka amin'ny fiasa manokana, ary amin'izay fotoana izay vao misy toerana hampifandraisana ny fanaraha-maso sy ny teboka fanaraha-maso. Tsy hafa amin'izany ny agent.
"Heveriko fa tsy maintsy zaraina ho mpiasa tena manokana izay natao ho an'ny asa manokana ihany izany. Ary tsy maninona na dia manana mpiasa dimampolo aza ianao. Tsara kokoa izany noho ny fananana iray monja."
Ny mifanohitra amin'izany no lazain'i Jack, indrindra ho an'ireo mpanao kaody. Azo antenaina fa ny teknolojia miasa ao amin'ny fifanakalozana crypto fehezin'ny lalàna no hamokatra ny toerana voafetra indrindra ao amin'ny efitrano. Izy no namokatra kely indrindra.
Tsy modely fandrahonana mihitsy ny fampitahana voalohany nataony:
"Mijery ny fametrahana masoivoho mahazatra aho toy ny fijeriko olona vaovao, olona vaovao tonga. Ary mety ho tsy misy tsiny amin'ny fanatanterahana izany olona izany, na mety hanao fahadisoana. Tsy dia hitako loatra ny fahasamihafana."
Ho an'ireo "efi-toerana" dia hentitra tahaka ny olon-drehetra izy. Raha nilazalaza momba ny "read-only review agent" izay amboariny amin'izao fotoana izao izy, dia nilaza mazava tsara fa tsy azo arovana ny fametrahana mahazatra: ny fametrahana amin'ny boaty Linux misy fidirana bash dia "manokatra ny tontolo iainana manontolo misy fandrahonana". Saingy ho an'ireo "code agents" amin'ny ankapobeny dia mivadika ny lojika, ary fantany fa tsy tian'ny olona ny toerana misy azy:
"Arakaraka ny maha-mahery vaika ny mpiasa no vao mainka mamorona sy mahomby kokoa izy. Noho izany dia tsy ny indostria no miroborobo noho ny fetrany sy ny fihenan'ny sehatra."
Koa inona no sisa raha tsy feranao? Ireo "circuit breakers", ary ambonin'izany rehetra izany dia sary mifototra amin'ny fotoana: tsy misoroka ny radius fipoahana, fa mahatonga ny famerenana amin'ny laoniny ho mora sy haingana. Izy no manorina izany ao anatin'ny Amber, fitaovana C++ tsy miankina amin'ny mpampiasa izay soratany amin'ny fotoana malalaka, miaraka amin'ny snapshotting ao anatin'ny loop (tranokalan'ny tetikasa).
Ary ny fampitandremana momba ny toerana hiafaran'ny lalana hafa:
"Raha manomboka manala isika dia fitaovana iray sisa no ho tavela, ary ho afaka hampirehitra jiro sy hamono jiro io mpamorona io."
Nahazo ny laharana fahatelo i Luis, izay sady tsy tery no tsy azo averina fa voafehy avy any ambany: mihevitra fa hitondra tena toy ny malware ilay agent amin'ny farany, mamolavola ny harness mba hamerana ny agent manokana tsirairay, ary mametraka sosona fampiharana eo ambaniny rehetra izay miasa rehefa tsy mahomby ny zava-drehetra etsy ambony.
Fomba telo hiatrehana olana iray ihany
Toerana telo, samy misy vidiny miampy. Tsy misy maimaim-poana amin'izy ireo, ary tsy misy mahaantoka ny fiarovana ny masoivoho irery.
| fomba Fiasa | Hetsika fototra | Ny vidiny ho anao |
|---|---|---|
| potipotikaPedro Fortuna | Maro ireo masoivoho kely, samy manana fahazoan-dàlana tery, miampy fanaraha-maso ny fotoana fiasana izay mampijanona azy ireo mialoha | Ezaka famolavolana mialoha, ary sarotra kokoa ny asa fanoratana kaody misokatra |
| sitranaJack Trefon | Tazomy ny fahaiza-manao, ampio "circuit breakers" sy "time-based snapshots" mba ho mora ny "rollback". | Savaivony mivelatra kokoa, ary filokana amin'ny famantarana sy fanafoanana azy ara-potoana |
| Afeno avy any ambanyLuis Rodríguez Berzosa | Eritrereto ny fihetsiky ny malware, ferano ny agent tsirairay ao amin'ny harness, ampiharo eo ambaniny ao amin'ny workstation sy ny CI runner | Fotodrafitrasa sy fitaovana izay tsy mbola omen'ny ankamaroan'ny endpoint stacks |
Raha vakiana mifanila ireo dia hita fa tery kokoa noho ny eritreretina ny tsy fitovian-kevitra. Samy manaiky izy telo ireo fa hanao zavatra tsy nahy ilay mpandraharaha. Samy tsy mitovy hevitra izy ireo momba ny toerana alehan'ny vola: ao amin'ny maritrano alohan'ny hitrangany, ao amin'ny fanarenana aorian'ny hitrangany, sa ao amin'ny rihana ambanin'izy roa.
Nahoana ny tombontsoa kely indrindra no tsy midika ho risika amin'ny AI ataon'ny masoivoho
Ny tombontsoa kely indrindra dia mihevitra fa fantatrao ny asa. Voafetrao ny fahazoan-dàlana amin'ilay asa.
Mandika izany mangina ny agent, satria ny fetran'ny fahazoan-dàlana dia voasoritra amin'ny fotoana fanamboarana ary ny asany dia tonga amin'ny fotoana fanombohana. Ny tena omenao dia ny fampiraisana izay rehetra mety hangatahina aminy. Tsy hoe tsy dia manan-danja loatra izany; ny mifanohitra amin'izany kosa, ny fanaovana akanjo tsy dia manan-danja loatra.
Nanolotra fomba fandikana indray i Luis izay nalaina avy amin'ny hevitra tranainy kokoa noho ity rehetra ity:
"Mieritreritra ny fomba fiasan'ny UNIX amin'ny alalan'ny piping aho, izay mampifandray ireo fitaovana tsotra mba hanatanterahana asa sarotra. Azonao atao ny mamaritra ireo "agent" manokana miaraka amin'ny fikirakirana voafehy, ka mametra izay azon'io "agent" manokana io atao. Ary azonao ampiarahina amin'ny asa rehetra izy ireo."
Ary koa hevitra famolavolana faharoa izay tsy mbola nosedrain'ny ankamaroan'ny ekipa: fonosy ireo fitaovana fa aza manitatra ny fahazoan-dàlana. Tsy bash, izay manolotra ny rafitra manontolo, fa fonosana tery izay hany lalana azo ampiasaina, miaraka amin'ny variants vakiana ihany no mamono ireo generic. Mahazo fahaiza-manao ny agent, fa tsy shell.
Nazava tsara ihany koa izy fa tsy ny famolavolana no sakana fa ny fametrahana azy. Efa ela no nikarohana ireo fanaraha-maso vaovao amin'ny milina mpamorona, ary tsy miova izany tantara izany satria fitaovana ampiasain'ny mpamorona ilay fitaovana resahina.
Ary momba ny toerana heveriny fa hiafaran'izany rehetra izany:
"Heveriko fa amin'ny farany dia hanana mpiasa mahaleo tena mifehy ireo mpiasa mahaleo tena hafa isika."
Lasa firavaka sarobidy indrindra ny solosaina finday, ary tsy voamariky ny EDR-nao izany
Mila fidirana maharitra ny agent mba hahafahana mampiasa azy. Token izay tsy lany daty eo afovoan'ny asa, fahazoan-dàlana voatahiry ao amin'ny cache, zo push, fidirana amin'ny rejisitra, lalana mivantana mankany amin'ny pipelineIreo rehetra ireo dia fepetra takiana fa tsy fahadisoana, izay midika fa arakaraka ny nahatsara ny fitaovana no nifantoka kokoa ny milina mpamorona.
Ireo mpanafika no nahatsikaritra voalohany. Araka ny voalazan'i Pedro, tsy mpitari-kevitra izy ireo:
"Mandamina toy ny orinasa madinika izy ireo. Mila mahazo vola izy ireo, ka mifindra any amin'ny lafiny mahasoa indrindra azony jerena. Ary vetivety dia hitan'izy ireo fa misy vola azo avy amin'ireo toby fampandrosoana."
Mijery ny fidiran'ny mpiasa ao amin'ny rejisitra isan-kerinandro izahay ao amin'ny Famintinana ny kaody ratsy, izay ahitana ireo mpijinja fahazoan-dalana mikaroka tsy tapaka ireo lakilen'ny mpamatsy AI miaraka amin'ireo an'ny rahona sy ny rejisitra.
Tsy dia tsara tarehy loatra ny lisitry ny fanalefahana azy ary miasa tsara: esory ny fanalahidy rehetra izay tsy voatery ho ao amin'ny milina, ampifandraiso amin'ny singa faharoa toy ny OpenID Connect na fanalahidy fitaovana ireo izay mijanona mba tsy ho ampy irery ny token nangalarina, ary afindrao hiala amin'ny mpampiantrano izay azonao atao, amin'ny alàlan'ny dev containers na cloud IDEs.
Dia nilaza i Luis fa tokony hampanahy izay rehetra mihevitra fa mandrakotra ity ny endpoint stack-ny:
"Manam-pahaizana manokana amin'ny malware nentim-paharazana ny EDR ary tsy mahafantatra ireo fitaovana fiarovana. Ary raha miasa izy ireo dia afaka miteraka vokatra diso maro, satria manao zavatra izay tsy fantatry ny lamina famantarana amin'izao fotoana izao ny fiarovana."
Fomba roa tsy fahombiazana indray mandeha: tsy mahatratra izay zava-dehibe izy ary manamarika izay tsy zava-dehibe. Ny valiny dia ilay sosona fampiharana ivelany, mipetraka manodidina ny toeram-piasana mpamorona sy ny CI runner, eo ambanin'ny harness, mametra izay azon'ny mpitsikilo tratrarina. Izany no elanelana. Xygeni Shield natao ho an'izany, ary ampiharina amin'ny endpoint izay tena misy ny fametrahana ny politika.
Nohazavain'i Jack tamin'ny fomba mazava kokoa hoe: aza tehirizina ao amin'ny milina mpamorona anao ny Bitcoin-nao.
Nanaiky ny rehetra ny telo tonta
Valiny telo samihafa, iray farafahakeliny nozaraina.
- Famandrihana aloha. "Tsy afaka miaro izay tsy fantatrao ianao." Ny zavatra hafa rehetracisMiankina amin'ny fahafantarana hoe iza avy ireo agents, skills ary MCP servers misy ny ion, ary saika tsy nisy nambara tamin'izy ireo.
- Raketo an-tsoratra ny hetsika rehetra. Tonga teto avy amin'ny lalana mifanohitra i Jack sy Luis. Tian'i Jack ny soritra satria izany no fomba hiarenanao sy hihatsaran'ny fikambanana iray. Tian'i Luis kosa ny soritra satria raha tsy misy azy ireo dia tsy afaka manamboatra indray ny savaivony fipoahana ianao aorian'izay. Mendrika ny hampiasaina ny fomba fijerin'i Jack: tsy misy dikany ny fanontanian'ny mpilalao, na olombelona na solontena, fa ny fahatakarana tsara ny teny manodidina mba tsy hamerenana izany.
- Ny zavatra manakana ny masoivoho dia tsy maintsy mipetraka eo ivelan'ny masoivoho. Ny fanaraha-maso ny fotoana fiasan'i Pedro, ny sosona fampiharana an'i Luis, ny "circuit breakers" sy ny "snapshots" an'i Jack. Mekanisma samihafa, fitsipika iray.
Nanolotra fanazavana mahasoa momba ny toerana misy ny indostria i Jack. Tsaroany ny mailaka spam voalohany azony, izay nilaza taminy fa nandova toeram-pitrandrahana volamena tany Nizeria izy. Olana momba ny fahamatorana izany, ary tonga aorian'ny fahadisoana fa tsy alohan'izany.
Inona no tokony hatao alohan'ny Zoma
Misafidiana masoivoho iray. Manorata lisitra roa: izay azony atao, ary izay tena nangatahina taminy tamin'ity herinandro ity.
Ny elanelana misy eo amin'ireo lisitra ireo dia ny radius fipoahana anananao, ary io no fandrefesana mahasoa indrindra ny risika AI agentic azon'ny ekipanao vokarina ao anatin'ny tolakandro. Maharitra tolakandro izany, tsy mila tetibola, ary mamaha ny adihevitra etsy ambony ho an'ny fikambanananao manokana, satria ireo toerana telo ireo dia valiny telo samihafa amin'ny fanontaniana hoe hatraiza ny haben'io elanelana io.
Ny ankamaroan'ny ekipa dia mbola tsy nanoratra izany mihitsy.
The ora feno azo jerena indray, anisan'izany ny hevitr'i Jack momba ny antony mahatonga ny fepetra takiana amin'ny olombelona any Eropa ho tsy azo tanterahina amin'ny fampiharana ny fiarovana AI sasany.
Ary raha ny mpanao fanatanjahan-tenacise mamerina valiny tsy tianao, Xygeni Fantaro ny fananana AI rehetra manerana ny tahiry misy anao, anisan'izany ireo agents, fahaiza-manao, ary mpizara MCP tsy nambaran'iza na iza, ary sarintany izay azon'ny tsirairay tratrarina. Mamandrika demo or manomboka maimaim-poana, ary izahay no hanatanteraka izany amin'ny anao.
FAQ
Firy ny radius fipoahan'ny mpiasan'ny AI?
Izay rehetra azon'ny mpiasa tratrarina raha sendra misy olana, miavaka amin'izay nangatahina taminy. Voafaritry ny fahazoan-dàlana, ny fahazoan-dàlana ary ny fitaovana azo ampiasaina mandritra ny fotoana fiasana izany, fa tsy ny asa. Ny elanelana misy eo amin'ireo roa ireo no zavatra mendrika horefesina, ary ny ankamaroan'ny ekipa dia mbola tsy nanoratra izany mihitsy.
Moa ve ny mpiasa iray mihoatra ny andraikiny dia tranga fiarovana raha toa ka tsy nihoatra ny fahazoan-dàlana nomeny mihitsy izy?
Izany no tsy fitovian-kevitra fototra. Eny tokoa ny valintenin'i Pedro, satria ny mpanafika dia faritana amin'ny fahasamihafan'ny tanjona fa tsy amin'ny lolompo, ary ny mpitsikilo tsy mifanaraka dia efa nisaraka. Akaiky kokoa ny tsia ny valintenin'i Jack: tsy fahombiazana amin'ny asa toy ny fahadisoan'ny mpiasa vaovao izany, ary ny valiny marina dia ny fanaraha-maso sy ny fanarenana fa tsy ny fameperana henjana kokoa. Nandao ny fanontaniana i Luis tamin'ny fiheverana ny tranga ratsy indrindra hatrany am-piandohana ary nanontany hoe inona no sosona mbola eo rehefa mitranga izany.
Tokony ho voafandrika ao anaty boaty ve ireo "coding agents"?
Ho an'ireo "agent" tery sy manokana amin'ny asa, dia samy nanaiky tsy nisalasala izy telo ireo: "read-only" raha azo atao, tsy misy "bash", tsy misy tambajotra raha tsy ilaina. Ho an'ireo "agent" amin'ny ankapobeny, dia mizara telo ny "panel": i Pedro no hanasaraka azy ireo, i Jack no hitazomana ny fahafaha-manao sy ny "snapshot" amin'ny fomba mahery vaika, ary i Luis no hanampy "enforcement layer" eo ambanin'ny "harness" na inona na inona azon'ilay "agent" atao.
Mandrakotra ny risika ateraky ny AI ve ny EDR-ko?
Angamba tsy dia tsara loatra. Ny fitaovana endpoint ankehitriny dia miorina amin'ny lamina malware nentim-paharazana ary tsy mamolavola ny fihetsiky ny agents, ka matetika izy ireo no tsy mahita izay zava-dehibe ary manamarika izay tsy zava-dehibe. Ny valintenin'i Luis dia sosona fampiharana ivelany natao ho an'ny tontolo iainana mpamorona fa tsy EDR ho an'ny tanjona ankapobeny.
Inona no zavatra voalohany tokony hatao? (or) Inona no zavatra tokana tokony hatao voalohany?
Amboary ny lisitra. Ny modely, ny agent, ny fahaiza-manao, ary ny mpizara MCP rehetra ao amin'ny tahiryo, ary izay azon'ny tsirairay tratrarina. Io no dingana iray izay voatonona anarana ho an'ireo mpikambana telo ireo, ary io ihany no iankinan'ny fifehezana rehetra.
