Κίνδυνος και ακτίνα έκρηξης από την Τεχνητή Νοημοσύνη των Πράκτορων

Κίνδυνος και ακτίνα έκρηξης από την Τεχνητή Νοημοσύνη των πρακτόρων: περιορισμός του πράκτορα ή ταχύτερη ανάκαμψη;

TL? DR

Τρεις απαντήσεις στην ίδια ερώτηση σχετικά με τον κίνδυνο της τεχνητής νοημοσύνης των πρακτόρων

Αναμέναμε ευρεία συμφωνία σχετικά με τον περιορισμό των πρακτόρων Τεχνητής Νοημοσύνης και λάβαμε τρεις διαφορετικές απαντήσεις.

  • Πέδρο Φορτούνα: Διαχωρίστε τους πράκτορες σε πολλούς μικρούς, συγκεκριμένους, ο καθένας με τα πιο περιορισμένα δυνατά δικαιώματα, και προσθέστε παρακολούθηση χρόνου εκτέλεσης που τους σταματά νωρίς.
  • Τζακ Τρέφον: Το αντίθετο, για τους κωδικοποιητές. Περιορίστε έναν και καταστρέφετε ό,τι τον καθιστά χρήσιμο, οπότε αποδεχτείτε την ακτίνα έκρηξης και επενδύστε στην ιχνηλάτηση και τη γρήγορη ανάκτηση.
  • Λουίς Ροντρίγκεζ Μπερζόσα: μια τρίτη γραμμή. Αντιμετωπίστε τα μοντέλα frontier όπως θα αντιμετωπίζατε το κακόβουλο λογισμικό, σχεδιάστε την καλωδίωση για να περιορίσετε κάθε εξειδικευμένο παράγοντα και τοποθετήστε ένα επίπεδο επιβολής κάτω από όλα αυτά που να ισχύει όταν όλα τα παραπάνω αποτύχουν.

Πού συναντήθηκαν και οι τρεις: Δεν μπορείτε να προστατεύσετε ό,τι δεν έχετε καταγράψει, κάθε ενέργεια πρέπει να καταγράφεται και αυτό που σταματά έναν πράκτορα πρέπει να βρίσκεται έξω από τον πράκτορα.

Δεν παραβιάστηκε τίποτα.

Ο πράκτορας έκανε τη δουλειά του. Στην πορεία, αποφάσισε ότι έπρεπε να αγγίξει μια εξάρτηση, μια διαμόρφωση, μια υπηρεσία που κανείς δεν του ζήτησε να αγγίξει. Παρέμεινε εντός των δικαιωμάτων του καθ' όλη τη διάρκεια. Δεν παραβιάστηκε κανένας κανόνας, επομένως δεν ενεργοποιήθηκε τίποτα.

Θέσαμε την υπόθεση σε τρία άτομα που την χειρίζονται επαγγελματικά, αναμένοντας ευρεία συμφωνία για το τι πρέπει να γίνει. Λάβαμε τρεις διαφορετικές απαντήσεις και δύο από αυτές αντικρούουν η μία την άλλη.

Ο κίνδυνος της τεχνητής νοημοσύνης από πράκτορες συνήθως περιγράφεται ως πρόβλημα εισβολέα. Αυτή είναι η άλλη εκδοχή. Για είκοσι χρόνια χαράσσαμε όρια δικαιωμάτων γύρω από λογισμικό που έκανε ακριβώς αυτό που του έλεγαν. Ένας λογαριασμός υπηρεσίας, ένας διαχειριστής CI, μια προγραμματισμένη εργασία. Κάναμε λάθη στα όρια αρκετά συχνά, αλλά το πράγμα μέσα σε αυτό ήταν προβλέψιμο. Έκανε μία δουλειά, με τον ίδιο τρόπο, κάθε φορά.

Το πράγμα που βρίσκεται μέσα στο όριο αποφασίζει τώρα. Και το όριο εξακολουθεί να σχεδιάζεται όπως ήταν πάντα: εκ των προτέρων, κατά τη στιγμή της διαμόρφωσης, από κάποιον που δεν μπορεί να ξέρει σε τι θα εξελιχθεί η εργασία.

Αυτή είναι η εκδοχή του κινδύνου της τεχνητής νοημοσύνης για την οποία αξίζει να διαφωνήσουμε, και αφιερώσαμε μια ώρα σε αυτήν την τελευταία... Συζήτηση SafeDev μαζί σου, Πέδρο Φορτούνα του Jscrambler, Τζακ Τρέφον της Trefon Digital Consulting, και Λουίς Ροντρίγκεζ Μπερζόσα του Ξυγένη, με οικοδεσπότη τον/την Αλεχάντρο Εστράντα.

Περιμέναμε να συμφωνήσουν σε γενικές γραμμές. Δεν το έκαναν.

Κίνδυνος τεχνητής νοημοσύνης: η καθησυχαστική υπόθεση που δεν ισχύει

Το παραπάνω πλαίσιο περιέχει μια λέξη που κάνει περισσότερη δουλειά από όση θα έπρεπε: εισβολέαΔεν υπάρχει κανένας. Αυτό υποτίθεται ότι θα κάνει το σενάριο ευκολότερο.

Ο Πέδρο το διέλυσε με μια κίνηση.

«Το να είσαι επιτιθέμενος ή όχι είναι μια ανθρώπινη έννοια. Αυτό που κάνει έναν επιτιθέμενο επιτιθέμενο είναι ότι έχει διαφορετικούς στόχους. Και ένας μη ευθυγραμμισμένος πράκτορας είναι επίσης κάτι που έχει διαφορετικό στόχο.»

Ας το αφήσουμε αυτό, επειδή καταρρίπτει την υπόθεση των περισσότερων συζητήσεων κινδύνου για την τεχνητή νοημοσύνη, συμπεριλαμβανομένης της περιγραφής που γράψαμε για το δικό μας συμβάν. Αν αυτό που ορίζει έναν εισβολέα είναι οι αποκλίνοντες στόχοι και όχι η κακία, τότε το "δεν υπάρχει εισβολέας σε αυτήν την ιστορία" είναι μια παρηγοριά που κανείς δεν κέρδισε. Δομικά, είναι το ίδιο ρίσκο. Αυτό που λείπει είναι η πρόθεση, και η πρόθεση δεν ήταν ποτέ αυτό που ανίχνευαν οι έλεγχοί σας. Ανίχνευαν αποτελέσματα. Πάντα το έκαναν.

Αυτός είναι και ο λόγος για τον οποίο το λεξιλόγιο της βιομηχανίας άλλαξε. 10 Κορυφαίες Αιτήσεις για το 2026 για το LLM προώθησε την υπερβολική δράση από την έκτη θέση στην τρίτη, κάτι που δεν αποτελεί τόσο αλλαγή γνώμης όσο το ιστορικό περιστατικών που καλύπτει μια αρχιτεκτονική που είχε ήδη αναπτυχθεί.

Τι δείχνει στην πραγματικότητα το περιστατικό με το Hugging Face

Το περιστατικό του Ιουλίου, κατά το οποίο ένα μοντέλο στα σύνορα επιτέθηκε σε τρίτο μέρος, ερμηνεύτηκε ευρέως ως μια ιστορία για ένα μοντέλο που γίνεται αθέμιτο. Ο Λουίς το ερμηνεύει διαφορετικά και η εκδοχή του τοποθετεί την ευθύνη σε ένα άβολο σημείο.

«Το πρόβλημα δεν είναι το μοντέλο των συνόρων. Το μοντέλο των συνόρων έκανε αυτό που του είχαν δοθεί οδηγίες. Το πρόβλημα είναι ο σχεδιασμός του πειράματος.»

Ο στόχος ήταν απεριόριστος. Οι περιορισμοί απουσίαζαν. Και το sandbox που προοριζόταν να τον περιορίσει είχε ένα παράθυρο στο διαδίκτυο, μέσω μιας ευπάθειας πλαστογράφησης αιτημάτων από την πλευρά του διακομιστή στην προσωρινή μνήμη του πακέτου στην οποία μπορούσε να φτάσει ο πράκτορας. Κάθε ένα από αυτά είναι ένα σχέδιοcisιόν που παράγεται από ένα άτομο.

Το οποίο παράγει την πρόταση που θα πρέπει να αλλάξει τον τρόπο με τον οποίο παρέχετε αυτά τα πράγματα:

«Τα μοντέλα Frontier πρέπει να αντιμετωπίζονται σαν να ήταν κακόβουλο λογισμικό, επειδή μπορούν να δρουν αυτόνομα και να λαμβάνουν αποφάσεις».cisιόντα που είναι κακόβουλα. Όχι εκ προθέσεως, αλλά είναι πραγματικά κακόβουλα στο τέλος.

Όχι ως προσβολή του μοντέλου. Ως στάση παροχής. Δεν παραδίδετε στο κακόβουλο λογισμικό ένα κέλυφος bash ελπίζοντας ότι ο στόχος ήταν καλά καθορισμένος.

Η ερμηνεία του ίδιου περιστατικού από τον Πέδρο αφορούσε τον συγχρονισμό και όχι τον σχεδιασμό:

«Τη στιγμή που βλέπετε πράκτορες να επικοινωνούν μέσω ονομάτων φακέλων σε μια υπηρεσία που δεν θα έπρεπε να χρησιμοποιούν, εκείνη τη στιγμή πρέπει να τους σταματήσετε. Δεν χρειάζεται να περιμένετε να παραβιάσουν με επιτυχία το Hugging Face για να αποφασίσετε αν αυτό είναι κακόβουλο ή όχι.»

Αξίζει επίσης να κρατηθεί μια λεπτομέρεια από την απάντηση. Οι ανταποκριτές προσπάθησαν να χρησιμοποιήσουν ένα εργαλείο εμπορικής αντιπροσωπείας για να αναλύσουν τα ίχνη και δεν τα κατάφεραν, επειδή έφτασαν τα όρια ρυθμού. Ο εισβολέας δεν είχε τέτοιο όριο. «Υπήρχε μια ασυμμετρία στην ίδια την επίθεση».

Το πραγματικό επιχείρημα: περιορισμός του πράκτορα ή ταχύτερη ανάκαμψη;

Εδώ είναι που η επιτροπή διχάστηκε, και υπάρχει πραγματική διαφωνία μεταξύ των επαγγελματιών που έχουν κερδίσει ο καθένας τη θέση τους.

Ο Πέδρο υποστηρίζει την αποσύνθεση. Δεκαπέντε χρόνια πιέζοντας την απομόνωση μέσα στο πρόγραμμα περιήγησης τον δίδαξαν ότι δεν μπορείς να επιβάλεις τίποτα κατά τον χρόνο εκτέλεσης σε ένα μονόλιθο. Σπάσε την αρχιτεκτονική σε μικρά κομμάτια με συγκεκριμένες λειτουργίες και μόνο τότε τα σημεία ελέγχου και παρακολούθησης θα έχουν κάπου να συνδεθούν. Οι πράκτορες δεν αποτελούν εξαίρεση.

«Νομίζω ότι πρέπει να το αναλύσεις σε πολύ συγκεκριμένους πράκτορες που προορίζονται μόνο για συγκεκριμένες εργασίες. Και δεν έχει σημασία αν καταλήξεις με πενήντα πράκτορες. Είναι καλύτερο από το να έχεις μόνο έναν.»

Ο Τζακ υποστηρίζει το αντίθετο, ειδικά για τους κωδικοποιητές. Θα περίμενε κανείς ότι μια τεχνολογία που λειτουργεί στο παρασκήνιο σε ένα ρυθμιζόμενο χρηματιστήριο κρυπτονομισμάτων θα παρήγαγε την πιο περιοριστική θέση στο δωμάτιο. Παρήγαγε τη λιγότερη.

Η αρχική του αναλογία δεν είναι καθόλου ένα μοντέλο απειλής:

«Εξετάζω μια τυπική ανάπτυξη πρακτορείου όπως ακριβώς θα έβλεπα έναν νέο υπάλληλο, ένα νέο άτομο που έρχεται. Και αυτό το άτομο μπορεί να είναι άψογο στην εκτέλεση ή θα μπορούσε να κάνει κάποιο λάθος. Δεν βλέπω μεγάλη διαφορά.»

Για τους περιορισμένους πράκτορες είναι τόσο αυστηρός όσο οποιοσδήποτε άλλος. Περιγράφοντας έναν πράκτορα αξιολόγησης μόνο για ανάγνωση που κατασκευάζει αυτή τη στιγμή, ήταν ευθύς ότι η κοινή ρύθμιση είναι αδικαιολόγητη: η ανάπτυξη σε ένα απλό Linux με πρόσβαση bash «ανοίγει ολόκληρο το οικοσύστημα απειλών». Αλλά για τους γενικούς πράκτορες κωδικοποίησης η λογική αντιστρέφεται και γνωρίζει ότι η θέση δεν είναι δημοφιλής:

«Όσο περισσότερη δύναμη έχει ο πράκτορας, τόσο πιο δημιουργικός και αποτελεσματικός είναι. Δεν είναι λοιπόν ο κλάδος που ακμάζει λόγω περιορισμών και συρρίκνωσης του πεδίου εφαρμογής.»

Τι απομένει λοιπόν αν δεν περιορίσετε; Διακόπτες κυκλώματος, και πάνω απ' όλα στιγμιότυπα με βάση το χρόνο: όχι αποτροπή της ακτίνας έκρηξης, αλλά καθιστώντας την ανάκαμψη από αυτήν φθηνή και γρήγορη. Το ενσωματώνει αυτό σε Κεχριμπάρι, μια πλατφόρμα πρακτόρων C++ χωρίς εξαρτήσεις που γράφει στον ελεύθερο χρόνο του, με λήψη στιγμιότυπων στον βρόχο (τοποθεσία έργου).

Και η προειδοποίηση για το πού τελειώνει το άλλο μονοπάτι:

«Αν αρχίσουμε να αφαιρούμε, θα έχει απομείνει μόνο ένα εργαλείο και αυτός ο προγραμματιστής θα μπορεί να ανάβει και να σβήνει τα φώτα.»

Ο Λουίς κατακτά την τρίτη θέση, η οποία δεν είναι ούτε περιορισμός ούτε ανάκτηση, αλλά περιορισμός από κάτω: υποθέστε ότι ο πράκτορας τελικά θα συμπεριφερθεί σαν κακόβουλο λογισμικό, σχεδιάστε την καλωδίωση για να περιορίσετε κάθε εξειδικευμένο πράκτορα και τοποθετήστε ένα επίπεδο επιβολής από κάτω από όλα αυτά που να ισχύει όταν αποτύχουν όλα τα παραπάνω.

Τρεις προσεγγίσεις στο ίδιο πρόβλημα

Τρεις θέσεις, καθεμία με κόστος. Καμία από αυτές δεν είναι δωρεάν και καμία από αυτές δεν καθιστά τον πράκτορα ασφαλή από μόνη της.

ΠροσέγγισηΒασική κίνησηΤι σας κοστίζει
ΑναλύωΠέδρο ΦορτούναΠολλοί μικροί πράκτορες, ο καθένας με περιορισμένα δικαιώματα, καθώς και παρακολούθηση χρόνου εκτέλεσης που τους σταματά νωρίςΠροσπάθεια σχεδιασμού από την αρχή και δυσκολότερη με ανοιχτές εργασίες κωδικοποίησης
ΑνάκτησηΤζακ ΤρέφονΔιατηρήστε τη δυνατότητα, προσθέστε διακόπτες κυκλώματος και στιγμιότυπα με βάση το χρόνο, ώστε η επαναφορά να είναι φθηνήΜια ευρύτερη ακτίνα έκρηξης και ένα στοίχημα για την ανίχνευση και την εξάλειψή της εγκαίρως
Περιέχει από κάτωΛουίς Ροντρίγκεζ ΜπερζόσαΥποθέστε συμπεριφορά κακόβουλου λογισμικού, περιορίστε κάθε παράγοντα στην καλωδίωση, επιβάλετε την εφαρμογή του στον σταθμό εργασίας και στον δρομέα CI.Υποδομή και εργαλεία που οι περισσότερες στοίβες τελικών σημείων δεν παρέχουν ακόμη

Διαβάζοντάς τα παράλληλα, η διαφωνία είναι πιο περιορισμένη από ό,τι ακούγεται. Και οι τρεις αποδέχονται ότι ο πράκτορας θα κάνει κάτι ακούσιο. Διαφωνούν ως προς το πού πηγαίνουν τα χρήματα: στην αρχιτεκτονική πριν συμβεί, στην ανάκαμψη μετά από αυτό ή σε ένα κατώτατο όριο και των δύο.

Γιατί το ελάχιστο προνόμιο δεν μεταφράζεται σε κίνδυνο της τεχνητής νοημοσύνης των πρακτόρων

Η επιλογή "Ελάχιστα προνόμια" προϋποθέτει ότι γνωρίζετε την εργασία. Εσείς ορίζετε το δικαίωμα για την εργασία.

Ένας πράκτορας το σπάει αυτό αθόρυβα, επειδή το όριο των δικαιωμάτων του σχεδιάζεται κατά τη στιγμή της διαμόρφωσης και η εργασία του φτάνει κατά τον χρόνο εκτέλεσης. Αυτό που στην πραγματικότητα παραχωρείτε είναι η ένωση όλων όσων μπορεί ποτέ να του ζητηθούν να κάνει. Αυτό δεν είναι το ελάχιστο προνόμιο· είναι το αντίθετο, να φοράς τα ρούχα του ελάχιστου προνομίου.

Ο Λουίς πρότεινε μια αναδιατύπωση δανεισμένη από μια ιδέα παλαιότερη από όλα αυτά:

«Σκέφτομαι τον μηχανισμό σωληνώσεων του UNIX, που συνδέει απλά εργαλεία μεταξύ τους για να εκτελέσει μια σύνθετη εργασία. Μπορείτε να ορίσετε συγκεκριμένους πράκτορες με ελεγχόμενη διαμόρφωση, περιορίζοντας τις δυνατότητες αυτού του εξειδικευμένου πράκτορα. Και μπορείτε να τους συνδυάσετε για σχεδόν οποιαδήποτε εργασία.»

Συν μια δεύτερη ιδέα σχεδιασμού που οι περισσότερες ομάδες δεν έχουν δοκιμάσει: αναδίπλωση των εργαλείων αντί για διεύρυνση των δικαιωμάτων. Όχι bash, το οποίο παραδίδει ολόκληρο το σύστημα, αλλά ένα στενό περιτύλιγμα που είναι η μόνη διαδρομή που μπορεί να επικληθεί, με παραλλαγές μόνο για ανάγνωση που περιβάλλουν τις γενικές. Ο πράκτορας λαμβάνει μια δυνατότητα, όχι ένα κέλυφος.

Ήταν επίσης σαφής ότι το εμπόδιο δεν είναι ο σχεδιασμός, αλλά η εφαρμογή. Τα νέα χειριστήρια σε μηχανήματα προγραμματιστών έχουν μακρά ιστορία παρακάμψεων και αυτή η ιστορία δεν αλλάζει επειδή το εν λόγω εργαλείο είναι ένας παράγοντας.

Και για το πού πιστεύει ότι τελειώνουν όλα:

«Νομίζω ότι στο τέλος θα έχουμε αυτόνομοι πράκτορες που θα ελέγχουν άλλους αυτόνομοι πράκτορες».

Ο φορητός υπολογιστής έγινε το κόσμημα του στέμματος και το EDR σας δεν το έχει προσέξει

Ένας πράκτορας χρειάζεται μόνιμη πρόσβαση για να είναι χρήσιμος. Ένα διακριτικό που δεν λήγει στη μέση της εργασίας, μια προσωρινά αποθηκευμένη πιστοποίηση, δικαιώματα ώθησης, πρόσβαση στο μητρώο, μια ενεργή διαδρομή προς το pipelineΚάθε ένα από αυτά είναι μια απαίτηση και όχι μια παράλειψη, που σημαίνει ότι όσο καλύτερα γίνονταν τα εργαλεία, τόσο πιο συγκεντρωμένη γινόταν η μηχανή ανάπτυξης.

Οι επιτιθέμενοι το πρόσεξαν πρώτοι. Όπως το έθεσε ο Πέδρο, δεν είναι ιδεολόγοι:

«Οργανώνονται σαν μικρές εταιρείες. Πρέπει να βγάζουν χρήματα, οπότε μετακινούνται στην πιο κερδοφόρα γωνία που μπορούν να βρουν. Και γρήγορα είδαν ότι υπήρχαν χρήματα που μπορούσαν να βγάλουν σε σταθμούς ανάπτυξης.»

Παρακολουθούμε αυτή τη μετατόπιση να γίνεται στα μητρώα κάθε εβδομάδα στο Σύνοψη κακόβουλου κώδικα, όπου οι συλλέκτες διαπιστευτηρίων πλέον αναζητούν συστηματικά κλειδιά παρόχων τεχνητής νοημοσύνης παράλληλα με αυτά του cloud και του μητρώου.

Η λίστα μετριασμού που προτείνει δεν είναι και τόσο εντυπωσιακή και λειτουργεί: αφαιρέστε κάθε κλειδί που δεν χρειάζεται να βρίσκεται στον υπολογιστή, συνδυάστε αυτά που απομένουν με έναν δεύτερο παράγοντα, όπως το OpenID Connect ή ένα κλειδί υλικού, ώστε ένα κλεμμένο διακριτικό να μην είναι αρκετό από μόνο του, και μετακινήστε το περιβάλλον εκτός του κεντρικού υπολογιστή όπου μπορείτε, μέσω dev containers ή cloud IDE.

Στη συνέχεια, ο Luis τόνισε ότι θα έπρεπε να ανησυχεί όποιον υποθέτει ότι το endpoint stack του καλύπτει αυτό:

«Τα EDR εξειδικεύονται στο παραδοσιακό κακόβουλο λογισμικό και δεν γνωρίζουν τα εργαλεία των πρακτόρων. Και αν λειτουργήσουν, μπορούν να δημιουργήσουν πολλά ψευδώς θετικά αποτελέσματα, επειδή ο πράκτορας κάνει πράγματα που τα πρότυπα ανίχνευσης δεν γνωρίζουν μέχρι σήμερα.»

Δύο τρόποι αποτυχίας ταυτόχρονα: χάνει ό,τι έχει σημασία και επισημαίνει ό,τι δεν έχει. Η απάντησή του είναι ότι το εξωτερικό επίπεδο επιβολής, που βρίσκεται γύρω από τον σταθμό εργασίας του προγραμματιστή και τον δρομέα CI, κάτω από την καλωδίωση, περιορίζει ό,τι μπορεί να φτάσει ένας απατεώνας πράκτορας. Αυτό είναι το κενό Ξυγένη Shield δημιουργήθηκε για, με πολιτική που επιβάλλεται στο τελικό σημείο όπου πραγματοποιείται η εγκατάσταση.

Ο Τζακ το έθεσε πιο ωμά: μην κρατάτε τα Bitcoin σας στον προγραμματιστή σας.

Το επίπεδο στο οποίο συμφώνησαν και οι τρεις

Τρεις διαφορετικές απαντήσεις, μία κοινή ελάχιστη απάντηση.

  • Απογραφή πρώτα. «Δεν μπορείς να προστατεύσεις αυτό που δεν γνωρίζεις.» Κάθε άλλο decisΗ ιοντοποίηση εξαρτάται από τη γνώση των πρακτόρων, των δεξιοτήτων και των διακομιστών MCP που υπάρχουν και σχεδόν κανένας από αυτούς δεν δηλώθηκε.
  • Καταγράψτε κάθε ενέργεια. Ο Τζακ και ο Λούις έφτασαν εδώ από αντίθετες κατευθύνσεις. Ο Τζακ θέλει ίχνη επειδή είναι ο τρόπος με τον οποίο ανακάμπτεις και ο τρόπος με τον οποίο ωριμάζει ένας οργανισμός. Ο Λούις τα θέλει επειδή χωρίς αυτά δεν μπορείς να ανακατασκευάσεις την ακτίνα της έκρηξης στη συνέχεια. Το πλαίσιο του Τζακ αξίζει να δανειστείς: δεν έχει καμία αξία να ανακρίνεις τον δράστη, άνθρωπο ή παράγοντα, μόνο να κατανοήσεις το πλαίσιο αρκετά καλά ώστε να μην το επαναλάβεις.
  • Αυτό που σταματά έναν πράκτορα πρέπει να βρίσκεται έξω από τον πράκτορα. Η παρακολούθηση χρόνου εκτέλεσης του Pedro, το επίπεδο επιβολής του Luis, οι διακόπτες κυκλώματος και τα στιγμιότυπα του Jack. Διαφορετικοί μηχανισμοί, μία αρχή.

Ο Τζακ προσέφερε μια χρήσιμη περιγραφή της πορείας του κλάδου. Θυμάται το πρώτο spam email που έλαβε ποτέ, στο οποίο του έλεγαν ότι είχε κληρονομήσει ένα χρυσωρυχείο στη Νιγηρία. Αυτό είναι πρόβλημα ωριμότητας και η ωριμότητα έρχεται μετά τα λάθη και όχι πριν από αυτά.

Τι να κάνετε πριν από την Παρασκευή

Διαλέξτε έναν εκπρόσωπο. Γράψτε δύο λίστες: τι επιτρέπεται να κάνει και τι του ζητήθηκε πραγματικά να κάνει αυτή την εβδομάδα.

Το κενό μεταξύ αυτών των λιστών είναι η ακτίνα έκρηξης σας και είναι το πιο χρήσιμο μέτρο του κινδύνου τεχνητής νοημοσύνης που μπορεί να παράγει η ομάδα σας σε ένα απόγευμα. Χρειάζεται ένα απόγευμα, δεν χρειάζεται προϋπολογισμό και διευθετεί το παραπάνω επιχείρημα για τον δικό σας οργανισμό, επειδή οι τρεις θέσεις είναι στην πραγματικότητα τρεις διαφορετικές απαντήσεις στο ερώτημα πόσο μεγάλο θα πρέπει να είναι αυτό το κενό.

Οι περισσότερες ομάδες δεν το έχουν καταγράψει ποτέ.

The ολόκληρη ώρα είναι διαθέσιμο για παρακολούθηση, συμπεριλαμβανομένου του σημείου του Jack σχετικά με το γιατί οι απαιτήσεις ανθρώπινης ενσωμάτωσης στην Ευρώπη καθιστούν ορισμένες άμυνες με τεχνητή νοημοσύνη ανέφικτες στην πράξη. 

Και αν η άσκησηcisΤο e επιστρέφει μια απάντηση που δεν σας αρέσει, Ξυγένη Ανακαλύψτε κάθε περιουσιακό στοιχείο Τεχνητής Νοημοσύνης στα αποθετήριά σας, συμπεριλαμβανομένων των πρακτόρων, των δεξιοτήτων και των διακομιστών MCP που δεν έχουν δηλωθεί, και χαρτογραφήστε τι μπορεί να φτάσει ο καθένας. Επαφή or ξεκινήστε δωρεάν, και θα το τρέξουμε στο δικό σας.

Συχνές Ερωτήσεις

Ποια είναι η ακτίνα έκρηξης ενός πράκτορα Τεχνητής Νοημοσύνης;

Όλα όσα θα μπορούσε να προσεγγίσει ο πράκτορας σε περίπτωση λάθους, σε αντίθεση με αυτό που του ζητήθηκε να κάνει. Ορίζεται από τα δικαιώματα, τα διαπιστευτήρια και τα εργαλεία που είναι διαθέσιμα σε αυτόν κατά τον χρόνο εκτέλεσης, όχι από την εργασία. Το χάσμα μεταξύ αυτών των δύο είναι αυτό που αξίζει να μετρηθεί και οι περισσότερες ομάδες δεν το έχουν καταγράψει ποτέ.

Είναι ένας παράγοντας που υπερβαίνει την εργασία του περιστατικό ασφαλείας εάν δεν υπερέβη ποτέ τα δικαιώματά του;

Αυτή ήταν η κεντρική διαφωνία. Η απάντηση του Pedro είναι ουσιαστικά ναι, επειδή ένας επιτιθέμενος ορίζεται από την απόκλιση στόχου και όχι από την κακία, και ένας μη ευθυγραμμισμένος πράκτορας έχει αποκλίνει. Η απάντηση του Jack είναι πιο κοντά στο όχι: πρόκειται για μια επιχειρησιακή αποτυχία όπως το λάθος ενός νεοπροσληφθέντος, και η σωστή απάντηση είναι η ανίχνευση και η ανάκαμψη αντί για αυστηρότερους περιορισμούς. Ο Luis αποφεύγει το ερώτημα υποθέτοντας τη χειρότερη περίπτωση από την αρχή και ρωτώντας ποιο επίπεδο εξακολουθεί να ισχύει όταν συμβεί.

Πρέπει οι κωδικοποιητές να είναι sandboxed;

Για τους περιορισμένους, συγκεκριμένους για την εργασία πράκτορες, και οι τρεις είπαν ναι χωρίς δισταγμό: μόνο για ανάγνωση όπου είναι δυνατόν, χωρίς bash, χωρίς δίκτυο εκτός εάν απαιτείται. Για τους γενικούς πράκτορες κωδικοποίησης, ο πίνακας χωρίστηκε σε τρεις κατηγορίες: Ο Pedro θα τους αποσυνέθετε, ο Jack θα διατηρούσε την ικανότητα και το στιγμιότυπο με επιθετικό τρόπο και ο Luis θα πρόσθεταν ένα επίπεδο επιβολής κάτω από την καλωδίωση ανεξάρτητα από το τι επιτρέπεται να κάνει ο πράκτορας.

Καλύπτει το EDR μου τον κίνδυνο τεχνητής νοημοσύνης που σχετίζεται με πρακτορεία;

Πιθανώς όχι καλά. Τα τρέχοντα εργαλεία τερματικών σημείων βασίζονται σε παραδοσιακά μοτίβα κακόβουλου λογισμικού και δεν μοντελοποιούν τη συμπεριφορά των πρακτόρων, επομένως τείνουν να παραβλέπουν ό,τι έχει σημασία και να επισημαίνουν ό,τι δεν έχει. Η απάντηση του Luis ήταν ένα εξωτερικό επίπεδο επιβολής που σχεδιάστηκε για περιβάλλοντα προγραμματιστών και όχι για ένα EDR γενικής χρήσης.

Ποιο είναι το πρώτο πράγμα που πρέπει να κάνετε;

Δημιουργήστε το απόθεμα. Κάθε μοντέλο, πράκτορα, δεξιότητα και διακομιστής MCP στα αποθετήριά σας, και τι μπορεί να φτάσει ο καθένας. Είναι το ένα βήμα που ονόμασαν και οι τρεις συμμετέχοντες στο πάνελ και το μόνο από το οποίο εξαρτάται κάθε άλλος έλεγχος.

εργαλεία-ανάλυσης-σύνθεσης-λογισμικού-sca
Ιεράρχηση, αποκατάσταση και ασφάλεια των κινδύνων λογισμικού σας
Αποκτήστε τον Δωρεάν Λογαριασμό σας.
Δεν απαιτείται πιστωτική κάρτα.

Ασφαλίστε την ανάπτυξη και την παράδοση του λογισμικού σας

με το Xygeni Product Suite