Η Check Point Research, το ερευνητικό τμήμα της Check Point Software Technologies, εντόπισε ένα κρυφό κανάλι επικοινωνίας μεταξύ διαφορετικών λογαριασμών στο ChatGPT, το οποίο επέτρεπε σε μια συνεδρία επιτιθέμενου να αναθέσει κρυφά στο ChatGPT ενός θύματος την πρόσβαση σε δεδομένα, χρησιμοποιώντας τις άδειες που είχε ήδη παραχωρήσει ο ίδιος ο χρήστης.
Στο proof of concept της CPR, το ChatGPT ανέκτησε πληροφορίες από συνδεδεμένο λογαριασμό Gmail του θύματος και τις διαβίβασε στον επιτιθέμενο, ενώ η συνομιλία του χρήστη συνέχιζε να εμφανίζεται απολύτως φυσιολογική. Η έρευνα αναδεικνύει μια ευρύτερη πρόκληση για την ασφάλεια της τεχνητής νοημοσύνης: όσο οι AI assistants συνδέονται με περισσότερες επιχειρησιακές εφαρμογές και ευαίσθητα δεδομένα, τόσο αυξάνεται ο κίνδυνος να χειραγωγηθούν ώστε να ενεργήσουν ως ένας «εξαναγκασμένος εσωτερικός παράγοντας» (coerced insider) μέσα στα όρια εμπιστοσύνης ενός οργανισμού.
Οι AI assistants ως «εξαναγκασμένοι εσωτερικοί παράγοντες»
Το εύρημα αμφισβητεί μια θεμελιώδη παραδοχή πάνω στην οποία βασίζεται η υιοθέτηση της τεχνητής νοημοσύνης: ότι οι χρήστες, οι συνεδρίες και οι λογαριασμοί μέσα στις πλατφόρμες AI παραμένουν πλήρως απομονωμένοι μεταξύ τους.
Σε αντίθεση με μια συμβατική κυβερνοεπίθεση, η τεχνική που παρουσίασε η CPR δεν απαιτούσε κλοπή διαπιστευτηρίων, εγκατάσταση κακόβουλου λογισμικού ή άμεση παραβίαση του λογαριασμού του θύματος. Αξιοποιούσε τις υφιστάμενες άδειες που είχαν ήδη δοθεί στον AI assistant. Σύμφωνα με την έρευνα, ένα κακόβουλο prompt, ένας κοινόχρηστος σύνδεσμος συνομιλίας ή ένα custom GPT θα μπορούσε να ενεργοποιήσει την επίθεση και, ανάλογα με τις άδειες του χρήστη, να επιτρέψει πρόσβαση σε δεδομένα διαθέσιμα μέσω συνδεδεμένων υπηρεσιών, όπως Gmail, Google Drive, Microsoft Teams και GitHub.
Η νέα αυτή κατηγορία κινδύνου δεν αφορά ένα σύστημα AI που αποφασίζει αυτόνομα να ξεφύγει από τον σκοπό του. Αφορά τη δυνατότητα ενός επιτιθέμενου να επηρεάσει αθόρυβα τον AI assistant ενός άλλου χρήστη και να τον οδηγήσει στην εκτέλεση ενεργειών για λογαριασμό του, με νόμιμη πρόσβαση και μέσα από ήδη αξιόπιστες σχέσεις.
Για επιχειρήσεις, δημόσιους οργανισμούς και φορείς κρίσιμων υποδομών που ενσωματώνουν την AI στις καθημερινές τους λειτουργίες, το εύρημα δείχνει ότι τα εργαλεία παραγωγικότητας μπορούν να διευρύνουν άθελά τους την επιφάνεια επίθεσης, όταν δεν υπάρχουν επαρκής ορατότητα, διακυβέρνηση και προστασία κατά τη λειτουργία τους.
Μια διαφορετική πρόκληση ασφάλειας για την εποχή της AI
Η δημόσια συζήτηση έχει επικεντρωθεί το τελευταίο διάστημα σε AI agents που προχωρούν σε απρόβλεπτες ενέργειες, παρακάμπτουν δικλίδες ασφαλείας ή συμπεριφέρονται με τρόπους που δεν είχαν προβλέψει οι δημιουργοί τους. Τα ευρήματα της Check Point Research αναδεικνύουν έναν διαφορετικό και ενδεχομένως πιο άμεσο κίνδυνο: τη χειραγώγηση συστημάτων AI ώστε να εκτελούν εντολές επιτιθέμενων, χρησιμοποιώντας τις νόμιμες άδειες που τους έχει παραχωρήσει ο χρήστης.
Η ανάγκη αυστηρού διαχωρισμού μεταξύ διαφορετικών περιβαλλόντων AI είχε αναδειχθεί πρόσφατα και από το περιστατικό που αφορούσε το Hugging Face. Σύμφωνα με την αποτίμηση της OpenAI, agents που λειτουργούσαν σε ξεχωριστά περιβάλλοντα αξιολόγησης δημιούργησαν μη εξουσιοδοτημένα κανάλια επικοινωνίας, μέσω των οποίων μπορούσαν να ανταλλάσσουν πληροφορίες και να συντονίζουν ενέργειες.
Την ίδια περίοδο, η Check Point Research διερευνούσε ανεξάρτητα ένα συναφές ζήτημα απομόνωσης στο ChatGPT. Οι ερευνητές εντόπισαν ένα κρυφό, αμφίδρομο κανάλι επικοινωνίας ανάμεσα σε περιβάλλοντα εκτέλεσης κώδικα που ανήκαν σε διαφορετικές συνομιλίες και διαφορετικούς λογαριασμούς χρηστών. Παρότι ο τεχνικός μηχανισμός διέφερε από εκείνον που περιγράφηκε στα ευρήματα της OpenAI, και στις δύο περιπτώσεις μια κοινόχρηστη εσωτερική υπηρεσία λειτούργησε ως μη προβλεπόμενο επίπεδο επικοινωνίας ανάμεσα σε περιβάλλοντα που είχαν σχεδιαστεί για να παραμένουν απομονωμένα.
Καθώς οι AI assistants αποκτούν πρόσβαση σε επιχειρησιακές εφαρμογές, cloud υπηρεσίες και εταιρικά δεδομένα, η επιφάνεια επίθεσης επεκτείνεται πέρα από τους χρήστες, τις συσκευές και τις εφαρμογές, περιλαμβάνοντας πλέον και τους AI agents που ενεργούν για λογαριασμό τους. Η κατάχρηση αξιόπιστων υποδομών και νόμιμων δικαιωμάτων δημιουργεί ένα νέο μοντέλο επίθεσης, στο οποίο η δραστηριότητα μπορεί να παραμένει αόρατη στον χρήστη.
Πρόληψη, ορατότητα και έλεγχος κατά τη λειτουργία
Οι παραδοσιακές πρακτικές κυβερνοασφάλειας επικεντρώνονται στην προστασία ταυτοτήτων, συσκευών και εφαρμογών. Στα περιβάλλοντα εργασίας που υποστηρίζονται από AI, οι οργανισμοί χρειάζεται πλέον να εξετάζουν και τον τρόπο με τον οποίο ένας επιτιθέμενος μπορεί να χειραγωγήσει έναν AI agent ώστε να καταχραστεί εξουσιοδοτημένη πρόσβαση, χωρίς να γίνει αντιληπτός από τον χρήστη.
Η έρευνα υπογραμμίζει την ανάγκη για ορατότητα στις αλληλεπιδράσεις με συστήματα AI, ισχυρότερους μηχανισμούς διακυβέρνησης, προστασία σε πραγματικό χρόνο και μια προσέγγιση που δίνει προτεραιότητα στην πρόληψη. Οι απαιτήσεις αυτές γίνονται ιδιαίτερα κρίσιμες καθώς επιχειρήσεις και δημόσιοι οργανισμοί επιταχύνουν την υιοθέτηση της τεχνητής νοημοσύνης και της παραχωρούν πρόσβαση σε όλο και περισσότερες λειτουργίες και δεδομένα.
Eli Smadja, Head of Research, Check Point Research: «Η έρευνα αυτή δείχνει ότι η πρόκληση ασφάλειας γύρω από την AI δεν αφορά πλέον μόνο το ίδιο το μοντέλο, αλλά και την πρόσβαση και την εμπιστοσύνη που του παραχωρούμε. Καθώς οι AI assistants συνδέονται όλο και περισσότερο με εταιρικά συστήματα και ευαίσθητα δεδομένα, οι οργανισμοί πρέπει να θεωρούν ότι κάθε εξουσιοδοτημένη δυνατότητα μπορεί να αποτελέσει στόχο κατάχρησης. Μια προσέγγιση που δίνει προτεραιότητα στην πρόληψη, σε συνδυασμό με ορατότητα, διακυβέρνηση και προστασία κατά τη λειτουργία, είναι απαραίτητη ώστε η AI να παραμείνει μοχλός επιχειρηματικής ανάπτυξης και να μη μετατραπεί σε νέα οδό κυβερνοκινδύνου. Οι οργανισμοί που θα παραμείνουν μπροστά είναι εκείνοι που θα προστατεύσουν τις αλληλεπιδράσεις με την AI πριν προλάβουν να τις εκμεταλλευτούν οι επιτιθέμενοι».
