Η Open Secure AI Alliance έθεσε σε δημόσια διαβούλευση ένα πλαίσιο για την εμπιστευτική αναφορά περιστατικών κυβερνοασφάλειας που αφορούν πράκτορες τεχνητής νοημοσύνης, καθώς τα μέλη της ξεπέρασαν τους 120 οργανισμούς. Η πρόταση, με την ονομασία Shared AI Findings Exchange (SAFE), επιδιώκει να μετατρέπει περιστατικά, προβληματική συμπεριφορά πρακτόρων και παρ’ ολίγον συμβάντα σε κοινές συστάσεις προστασίας.
Το Linux Foundation δημοσίευσε στις 4 Αυγούστου το αίτημα σχολίων, ενώ την αρχική πρόταση επεξεργάζεται ομάδα εργασίας της συμμαχίας με συμμετοχή, μεταξύ άλλων, των NVIDIA, Cisco, CrowdStrike, Hugging Face και Red Hat. Το SAFE παραμένει σχέδιο υπό διαβούλευση, με τα σχόλια να συγκεντρώνονται μέσω GitHub, και συνεπώς οι προβλεπόμενες διαδικασίες του δεν έχουν ακόμη λάβει οριστική μορφή.
Εμπιστευτική ανταλλαγή περιστατικών
Το προτεινόμενο πλαίσιο προβλέπει εμπιστευτική συλλογή και ανάλυση πληροφοριών για συμβάντα που σχετίζονται με agentic AI. Στο πεδίο του εντάσσονται τόσο πραγματικές παραβιάσεις ή ανεπιθύμητες ενέργειες όσο και λειτουργικά περιστατικά που έφτασαν κοντά σε αποτυχία, χωρίς να προκαλέσουν τελικά ζημιά.
Με βάση την πρόταση, η συμμαχία θα ενημερώνει τα επηρεαζόμενα μέρη, θα εντοπίζει αστοχίες ελέγχων που επανεμφανίζονται σε διαφορετικούς οργανισμούς και θα δημοσιεύει λειτουργικές συστάσεις βασισμένες στα περιστατικά. Η προσέγγιση στρέφεται σε κοινά μοτίβα κινδύνου σε ολόκληρο το οικοσύστημα, αντί να περιορίζεται στις κατευθύνσεις μεμονωμένων προμηθευτών.
Η πρωτοβουλία έρχεται μία εβδομάδα μετά την ίδρυση της Open Secure AI Alliance, στις 27 Ιουλίου. Η συμμαχία ξεκίνησε με οργανισμούς από την τεχνολογία, το cloud, την κυβερνοασφάλεια, το επιχειρηματικό λογισμικό και την έρευνα τεχνητής νοημοσύνης. Στον διευρυμένο κατάλογο συμμετεχόντων περιλαμβάνονται πλέον, μεταξύ άλλων, οι Adobe, Amazon, Capital One, Cloudflare, Intel, Microsoft, Okta, Palo Alto Networks, Uber και Visa.
Εργαλεία για όλο το αμυντικό stack
Τα μέλη συνδέουν το SAFE με μια ευρύτερη συλλογή ανοικτών εργαλείων για την ασφάλεια πρακτόρων. Η λογική καλύπτει ταυτότητα και δικαιώματα πρόσβασης, περιβάλλοντα εκτέλεσης, guardrails, καταγραφή ενεργειών, αξιολόγηση, προστασία δεδομένων και ανθεκτικότητα, αντιμετωπίζοντας τον πράκτορα ως σύστημα που χρησιμοποιεί μοντέλα, εργαλεία και υποδομές.
Η NVIDIA διαθέτει το ερευνητικό περιβάλλον NVIDIA Labs Object-Oriented Agent (NOOA) για δοκιμή, ιχνηλάτηση, έλεγχο και διακυβέρνηση της συμπεριφοράς πρακτόρων. Το OpenShell περιορίζει τους πόρους και τις ενέργειες που μπορεί να χρησιμοποιήσει ένας πράκτορας, ενώ το Garak σαρώνει μεγάλα γλωσσικά μοντέλα για διαρροές δεδομένων, prompt injection και απόπειρες παράκαμψης των μηχανισμών ασφαλείας.
Στο επίπεδο των δεξιοτήτων πρακτόρων, η NVIDIA διαθέτει επαληθευμένες εκδόσεις με κρυπτογραφική υπογραφή, ελέγχους για κινδύνους όπως prompt injection και tool poisoning, καθώς και συνοδευτική κάρτα τεκμηρίωσης. Η υπογραφή επιτρέπει στους χρήστες να ελέγχουν την προέλευση μιας δεξιότητας και τυχόν μεταβολές μετά τη δημοσίευσή της.
Οι συνεισφορές επεκτείνονται και σε εξειδικευμένα μοντέλα ασφαλείας. Η Cisco έχει διαθέσει δύο μικρά γλωσσικά μοντέλα Antares για τον εντοπισμό γνωστών ευπαθειών σε κώδικα, ενώ η Mistral κυκλοφόρησε το πολυτροπικό μοντέλο ταξινόμησης ασφάλειας Shieldstral με ανοικτά βάρη και άδεια Apache 2.0. Η CrowdStrike προσαρμόζει το NVIDIA Nemotron Nano για κυβερνοάμυνα και αποδίδει σε εσωτερικές δοκιμές ακρίβεια 96% στη δημιουργία ερωτημάτων διερεύνησης για το Falcon LogScale.
Οι συνεισφορές των μελών
Η Okta αναπτύσσει υλοποιήσεις αναφοράς για ταυτότητα και πρόσβαση πρακτόρων μέσω του ανοικτού πρωτοκόλλου Cross App Access. Η Palo Alto Networks έχει συνεισφέρει τα Agent Guard και Agent Watch, ενώ το asago της Red Hat αντιστοιχίζει γραπτές απαιτήσεις διακυβέρνησης με τους κανόνες που εφαρμόζονται κατά την εκτέλεση ενός πράκτορα.
Η Amazon συνεισφέρει το Strands Agents για την ανάπτυξη πρακτόρων και τη γλώσσα εξουσιοδότησης Cedar, η οποία θέτει επαληθεύσιμα όρια στις επιτρεπόμενες ενέργειες. Η Microsoft διαθέτει, μεταξύ άλλων, το PyRIT για αυτοματοποιημένες δοκιμές red teaming και το Assert, το οποίο μετατρέπει απαιτήσεις φυσικής γλώσσας σε εκτελέσιμες αξιολογήσεις.
Η Uber έχει ανοίξει βασικά τμήματα του Agentic AI Detection and Response (ADR), ενός συστήματος που ανασυνθέτει την αλυσίδα ενεργειών από το prompt και τις κλήσεις εργαλείων έως το αποτέλεσμα. Κατά την εταιρεία, το ADR υποστηρίζει περισσότερες από 200.000 συνεδρίες πρακτόρων ημερησίως σε 30.000 endpoints. Η διαβούλευση για το SAFE αποτελεί το επόμενο βήμα της συμμαχίας, πριν οριστικοποιηθούν οι κανόνες συλλογής, ανάλυσης και αξιοποίησης των περιστατικών.
