Ο Hasan Yasar, Senior Technical Director του Carnegie Mellon University, μιλάει στο InfoCom με αφορμή τη συμμετοχή του στην εκδήλωση «Innovate with Data» της Dell. Εξηγεί πότε μια εφαρμογή τεχνητής νοημοσύνης είναι έτοιμη να περάσει από τη δοκιμή στην καθημερινή λειτουργία, πώς μπορεί μια επιχείρηση να ελέγχει τον τρόπο με τον οποίο προκύπτουν τα αποτελέσματα και ποιες αποφάσεις απαιτούν ανθρώπινη έγκριση.
Για να κρίνει μια ομάδα αν η ταχύτερη ανάπτυξη λογισμικού συμβαδίζει με την αξιοπιστία, ο κ. Yasar προτείνει να παρακολουθεί, μεταξύ άλλων, πόσες αλλαγές αποτυγχάνουν και πόσο γρήγορα διορθώνονται οι ευπάθειες. Για μια ελληνική μικρομεσαία επιχείρηση με μικρή τεχνική ομάδα, προτείνει ένα συγκεκριμένο πρώτο βήμα για τη βελτίωση της ασφάλειας: να καταγράψει τα συστήματά της και να ελέγξει τις βασικές ρυθμίσεις τους.
Με τη συμμετοχή σας στην εκδήλωση «Innovate with Data» της Dell, φέρνετε στη συζήτηση με την ελληνική επιχειρηματική κοινότητα την εμπειρία σας στην έρευνα και την ανάπτυξη λογισμικού. Πού βλέπετε τη μεγαλύτερη ευκαιρία για τις επιχειρήσεις να αποκτήσουν διατηρήσιμο ανταγωνιστικό πλεονέκτημα χάρη στις νέες τεχνολογίες;
Η μεγαλύτερη ευκαιρία βρίσκεται στην αξιοποίηση των αναδυόμενων τεχνολογιών, ιδίως της τεχνητής νοημοσύνης και της αυτοματοποίησης με agents, πέρα από μεμονωμένες εφαρμογές παραγωγικότητας. Οι επιχειρήσεις μπορούν να τις εντάξουν σε μια επαναλήψιμη διαδικασία ανάπτυξης και παράδοσης νέων λειτουργιών, σχεδιασμένη για τις ανάγκες κάθε κλάδου, όπως η υγεία, οι χρηματοοικονομικές υπηρεσίες ή η άμυνα.
Στη δουλειά μας στο Carnegie Mellon University βλέπουμε ότι το πλεονέκτημα έχει διάρκεια όταν ο οργανισμός μπορεί να κινείται γρήγορα και, ταυτόχρονα, να εμπιστεύεται τα συστήματά του και να εξηγεί πώς καταλήγουν στα αποτελέσματά τους. Η αξιοποίηση της τεχνητής νοημοσύνης σε όλο τον κύκλο ζωής των συστημάτων και η χρήση ασφαλών πλατφορμών συνεχούς παράδοσης συντομεύουν τον κύκλο ανατροφοδότησης που συνδέει τα δεδομένα, τη θέση των αλλαγών σε παραγωγή και το όφελος για τον πελάτη, με σεβασμό στις απαιτήσεις συμμόρφωσης και ασφαλούς λειτουργίας.
Οι οργανισμοί που δημιουργούν μια κοινή αρχιτεκτονική βάση για να συνδέουν τα σχετικά επιχειρησιακά δεδομένα τους, να αυτοματοποιούν την εφαρμογή των κανόνων διακυβέρνησης και να πειραματίζονται γρήγορα μέσα σε σαφή όρια ασφάλειας θα αποκτήσουν προβάδισμα έναντι όσων μένουν σε αποσπασματικές πιλοτικές εφαρμογές.
Η μετάβαση μιας εφαρμογής τεχνητής νοημοσύνης από τις δοκιμές στην καθημερινή λειτουργία απαιτεί αποφάσεις για την ασφάλεια, την αξιοπιστία και την ανθρώπινη εποπτεία. Με ποια κριτήρια θα προτείνατε στα στελέχη μιας επιχείρησης να κρίνουν αν μια τέτοια εφαρμογή είναι έτοιμη για χρήση στην πράξη;
Για να περάσει ένα σύστημα τεχνητής νοημοσύνης από μια αρχική δοκιμή εφικτότητας σε περιβάλλον παραγωγής με αυστηρές απαιτήσεις ασφάλειας και αξιοπιστίας, χρειάζεται αξιολόγηση με βάση το μοντέλο 4A (Admin, Authenticate, Authorize, Audit: διαχείριση, επαλήθευση ταυτότητας, εξουσιοδότηση, έλεγχος) και τέσσερα πρακτικά κριτήρια.
- Περιορισμένα δικαιώματα και έλεγχοι βάσει προκαθορισμένων κανόνων. Οι αυτόνομες λειτουργίες και οι ροές εργασίας που ανατίθενται σε agents πρέπει να έχουν μόνο τα δικαιώματα που απαιτεί κάθε εργασία, με όρια που επιβάλλονται κρυπτογραφικά. Οι ρητοί και ελέγξιμοι κανόνες πρέπει να αποτρέπουν μη εξουσιοδοτημένες αλλαγές σε βάσεις δεδομένων, συναλλαγές με εξωτερικά συστήματα και ενέργειες υψηλού κινδύνου.
- Ανθρώπινη εποπτεία με δυνατότητα παρέμβασης. Σε ευαίσθητες λειτουργίες, το σύστημα πρέπει να μπορεί να αναστέλλει μια ενέργεια όταν συμβεί κάτι που ενεργοποιεί τον σχετικό κανόνα. Πριν εκτελεστεί μια απόφαση με σοβαρές συνέπειες, η έγκριση από αρμόδιο άνθρωπο πρέπει να αποτελεί υποχρεωτικό βήμα της ροής εργασίας, ενσωματωμένο στον κώδικα (approval as code).
- Κυριαρχία δεδομένων και αποτροπή διαρροών. Η αρχιτεκτονική του συστήματος πρέπει να εξασφαλίζει απομόνωση που μπορεί να επαληθευτεί. Έτσι αποτρέπεται η αποστολή εταιρικών αρχείων, πληροφοριών που συνοδεύουν τις οδηγίες προς το μοντέλο ή δεδομένων που υπόκεινται σε κανονιστικές απαιτήσεις σε δημόσια προσβάσιμα σημεία διασύνδεσης, καθώς και η χρήση τους για την εκπαίδευση μοντέλων τρίτων.
- Εντοπισμός αποκλίσεων και παρακολούθηση της λειτουργίας. Χρειάζεται συνεχής παρακολούθηση των βημάτων του αυτοματοποιημένου συλλογισμού, της κατανάλωσης tokens σε σχέση με τα καθορισμένα όρια και της ακρίβειας των αποτελεσμάτων. Έτσι μπορούν να εντοπίζονται αποκλίσεις στη διαδικασία ή ανακριβή αποτελέσματα που το μοντέλο παρουσιάζει ως έγκυρα, πριν επηρεάσουν τη λειτουργία της επιχείρησης.
Η ταχύτητα με την οποία τίθενται σε λειτουργία νέες ψηφιακές υπηρεσίες συνδέεται στενά με την ικανότητα μιας επιχείρησης να ανταποκρίνεται στις ανάγκες της αγοράς. Ποιοι δείκτες δείχνουν αν η ταχύτερη ανάπτυξη λογισμικού συνοδεύεται από την απαιτούμενη ποιότητα και αξιοπιστία;
Όταν η ποιότητα θυσιάζεται για χάρη της ταχύτητας, το λειτουργικό χρέος συσσωρεύεται γρήγορα. Τα στελέχη και οι επικεφαλής των ομάδων πρέπει να εξετάζουν τους δείκτες ταχύτητας παράδοσης μαζί με εκείνους της σταθερότητας, της ασφάλειας και της διασφάλισης ποιότητας.
- Χρόνος παράδοσης αλλαγών και ποσοστό αποτυχημένων αλλαγών (CFR). Μετρήστε πόσο χρόνο χρειάζεται μια αλλαγή ή διόρθωση από την καταχώρισή της στον κώδικα (commit) μέχρι να τεθεί σε παραγωγή. Η μείωση αυτού του χρόνου πρέπει να συνοδεύεται από χαμηλότερο ποσοστό αποτυχίας των αλλαγών. Ο υψηλός ρυθμός παράδοσης είναι αποδεκτός μόνο όταν η συχνότητα των επαναφορών σε προηγούμενες εκδόσεις και των επειγουσών διορθώσεων τείνει στο μηδέν.
- Μέσος χρόνος αποκατάστασης ευπαθειών (MTTR). Μετρήστε τον χρόνο από τον εντοπισμό ενός προβλήματος ασφάλειας ή ενός ελαττώματος σε εξάρτηση λογισμικού έως την εφαρμογή μιας επαληθευμένης, αυτοματοποιημένης διόρθωσης στην παραγωγή. Σε περιβάλλοντα με κανονιστικές απαιτήσεις, αυτός ο δείκτης αποτυπώνει πόσο γρήγορα μπορεί πράγματι να ανταποκριθεί ο οργανισμός.
- Κάλυψη αυτοματοποιημένων δοκιμών και ελέγχων ασφάλειας. Μετρήστε ποιο ποσοστό των ελέγχων που εντοπίζουν αν μια αλλαγή εισάγει προβλήματα στη λειτουργία, την ασφάλεια ή την αρχιτεκτονική εκτελείται αυτόματα στη διαδικασία παράδοσης. Χρήσιμοι δείκτες είναι επίσης η κάλυψη του κώδικα από δοκιμές, τα προβλήματα ασφάλειας που εντοπίζονται και ο χρόνος έγκρισης.
- Ποσοστό μη προγραμματισμένης εργασίας για διορθώσεις. Συγκρίνετε τον χρόνο και την προσπάθεια που αφιερώνει η ομάδα στη διόρθωση προβλημάτων που εμφανίζονται μετά από αλλαγές ή κατά τη λειτουργία του λογισμικού με εκείνα που αφιερώνει στην παράδοση νέων λειτουργιών. Όταν η επιτάχυνση της ανάπτυξης είναι ουσιαστική, η ανάγκη για διορθώσεις μειώνεται, καθώς οι αυτοματοποιημένοι έλεγχοι εντοπίζουν τα προβλήματα νωρίτερα.
Η ενσωμάτωση της ασφάλειας σε όλα τα στάδια ανάπτυξης και λειτουργίας του λογισμικού απαιτεί συνεργασία ανάμεσα στις τεχνικές ομάδες και τη διοίκηση. Ποια αλλαγή στην κατανομή των ευθυνών θεωρείτε απαραίτητη για να λειτουργήσει το DevSecOps στην πράξη;
Η βασική αλλαγή είναι να αναλάβουν οι ομάδες ανάπτυξης την ευθύνη για την ασφάλεια σε όλη τη διάρκεια του έργου, με δικλίδες ενσωματωμένες στην πλατφόρμα. Έτσι, οι έλεγχοι αρχίζουν από τα πρώτα στάδια και συνεχίζονται μέχρι και τη διάθεση του λογισμικού.
- Οι προγραμματιστές και οι αρχιτέκτονες συστημάτων έχουν την ευθύνη για την κάλυψη των βασικών απαιτήσεων ασφάλειας σε όσα δημιουργούν. Χρειάζονται αυτοματοποιημένους μηχανισμούς εφαρμογής πολιτικών, πρότυπα ασφαλούς διαμόρφωσης για containers και εργαλεία σάρωσης που τους δίνουν άμεσα αποτελέσματα μέσα από τα εργαλεία που ήδη χρησιμοποιούν.
- Οι ομάδες ασφάλειας πρέπει να παρέχουν τα εργαλεία και να ενσωματώνουν στην πλατφόρμα τις πολιτικές ασφάλειας σε μορφή κώδικα, μαζί με τους κανόνες συμμόρφωσης. Έτσι, οι έλεγχοι που απαιτούνται για μια νέα έκδοση μπορούν να γίνονται αυτόματα.
- Η διοίκηση πρέπει να αντιμετωπίζει την ασφάλεια του λογισμικού, τις βασικές πρακτικές κυβερνοασφάλειας και την κανονιστική συμμόρφωση ως στοιχεία της ποιότητας του συστήματος. Αυτό σημαίνει ότι ο προϋπολογισμός και το πλάνο ανάπτυξης πρέπει να προβλέπουν πόρους για τη μείωση του τεχνικού χρέους και τους διαρκείς ελέγχους, παράλληλα με την ανάπτυξη νέων λειτουργιών.
Οι ψηφιακές υπηρεσίες στηρίζονται σε λογισμικό και επιμέρους στοιχεία από πολλούς προμηθευτές. Πώς μπορεί μια επιχείρηση να χρησιμοποιήσει διεθνή πρότυπα για να έχει αξιόπιστα στοιχεία σχετικά με την προέλευση και την ασφάλεια του λογισμικού της;
Η ανάπτυξη λογισμικού στις σύγχρονες επιχειρήσεις βασίζεται σε εξαρτήσεις ανοικτού κώδικα, σε επιμέρους στοιχεία από εμπορικούς προμηθευτές και στην ανάλυση των συστατικών του λογισμικού. Οι επιχειρήσεις πρέπει να στηρίζουν την αξιολόγηση των προμηθευτών και τις διαδικασίες προμήθειας σε καθιερωμένα πρότυπα και πλαίσια.
- Κατάλογος συστατικών λογισμικού και πρότυπα επαλήθευσης. Ευθυγραμμίστε τις διαδικασίες προμήθειας με πρότυπα και πλαίσια όπως το IEEE 2675 για τις διαδικασίες DevOps, το ISO/IEC 24748 και το NIST SP 800-218 για την ασφαλή ανάπτυξη λογισμικού. Ζητήστε από τους προμηθευτές να παραδίδουν για κάθε έκδοση κατάλογο συστατικών λογισμικού (Software Bill of Materials, SBOM) σε μορφή SPDX ή CycloneDX, ώστε να μπορεί να υποβληθεί σε αυτόματη επεξεργασία.
- Κρυπτογραφικές υπογραφές και τεκμηρίωση προέλευσης. Απαιτήστε ψηφιακές υπογραφές για τα παραδοτέα λογισμικού και βεβαιώσεις που τεκμηριώνουν την προέλευσή τους και τον τρόπο με τον οποίο δημιουργήθηκαν. Έτσι μπορείτε να ελέγχετε την ακεραιότητα των πακέτων των προμηθευτών σε όλη την αλυσίδα εφοδιασμού λογισμικού.
- Κοινά αρχιτεκτονικά κριτήρια για όλους τους προμηθευτές. Χρησιμοποιήστε κριτήρια ανεξάρτητα από συγκεκριμένους προμηθευτές, όπως εκείνα του The Open Group Security Forum. Πριν ενσωματώσετε ένα προϊόν, αξιολογήστε πόσο ώριμη είναι η εφαρμογή των αρχών zero trust από τον προμηθευτή και κατά πόσο τα API του μπορούν να συνεργαστούν με τα συστήματά σας.
Η εκπαίδευση της επόμενης γενιάς επαγγελματιών της τεχνολογίας περιλαμβάνει πλέον την κριτική αξιολόγηση του λογισμικού που αναπτύσσεται με τη βοήθεια τεχνητής νοημοσύνης. Με βάση τη διδακτική σας εμπειρία, ποια δεξιότητα θεωρείτε πιο σημαντική για να αναλάβουν την ευθύνη για τη λειτουργία και την ασφάλεια τέτοιων συστημάτων;
Η σημαντικότερη δεξιότητα είναι να εξετάζουν κριτικά το σύστημα ως σύνολο και να σκέφτονται πώς θα μπορούσε να αστοχήσει ή να παραβιαστεί. Αυτό σημαίνει ότι πρέπει να αξιολογούν, να αμφισβητούν και να επαληθεύουν τόσο τον κώδικα όσο και τον συλλογισμό που παράγουν τα εργαλεία τεχνητής νοημοσύνης.
Στα μεταπτυχιακά μαθήματα του Carnegie Mellon University τονίζουμε ότι αυτά τα εργαλεία μπορούν να γράψουν σε δευτερόλεπτα τυποποιημένο κώδικα ή σενάρια ρύθμισης. Η κατανόηση της αρχιτεκτονικής, η πρόβλεψη των προβλημάτων στην πράξη και η εκτίμηση του πώς μπορεί να αστοχήσει το σύστημα στο σύνολό του απαιτούν τεχνική κρίση. Οι νέοι επαγγελματίες χρειάζεται να καλλιεργήσουν δύο δεξιότητες.
- Εντοπισμός των βαθύτερων αιτιών και ανάλυση ευπαθειών. Χρειάζεται να κατανοούν πώς οι σχεδιαστικές αποφάσεις επηρεάζουν την αρχιτεκτονική, πώς εξασφαλίζεται η ασφαλής χρήση της μνήμης, από πού προέρχονται οι εξαρτήσεις του λογισμικού και πώς συμπεριφέρεται το σύστημα σε οριακές συνθήκες.
- Επαλήθευση και μοντελοποίηση απειλών. Πρέπει να σχεδιάζουν αυτοματοποιημένες δοκιμές, να ελέγχουν οριακές περιπτώσεις και να διαμορφώνουν μοντέλα απειλών ειδικά για αυτοματοποιημένα συστήματα. Τέτοιες απειλές είναι η εισαγωγή κακόβουλων οδηγιών (prompt injection), η δηλητηρίαση δεδομένων και η μη εξουσιοδοτημένη κλήση εργαλείων.
Οι επαγγελματίες της τεχνολογίας πρέπει να αναλαμβάνουν την ευθύνη για την αρχιτεκτονική του συστήματος και να καθοδηγούν και να ελέγχουν τη χρήση της τεχνητής νοημοσύνης.
Ας πάρουμε το παράδειγμα μιας μικρομεσαίας επιχείρησης στην Ελλάδα, με μικρή τεχνική ομάδα και συστήματα από διαφορετικούς προμηθευτές. Ποιο ρεαλιστικό πρώτο βήμα θα της προτείνατε για να βελτιώσει με μετρήσιμο τρόπο την ασφάλεια και την αξιοπιστία των ψηφιακών υπηρεσιών της;
Ξεκινήστε με την αυτοματοποιημένη καταγραφή των τεχνολογικών πόρων της επιχείρησης και τον έλεγχο των βασικών ρυθμίσεων. Αυτά τα πρώτα βήματα μπορούν να γίνουν με τα συστήματα που ήδη διαθέτετε και με απλά εργαλεία.
- Απογράψτε τα συστήματα και χαρτογραφήστε τις ροές δεδομένων. Καταγράψτε τις βασικές ψηφιακές υπηρεσίες της επιχείρησης, εντοπίστε πού βρίσκονται τα ευαίσθητα δεδομένα των πελατών και σημειώστε κάθε εξωτερικό API και σημείο διασύνδεσης προμηθευτή που συνδέεται με την κεντρική πλατφόρμα.
- Εφαρμόστε κεντρικά έλεγχο ταυτότητας πολλαπλών παραγόντων (MFA) και περιορίστε τα δικαιώματα στα απολύτως απαραίτητα. Εφαρμόστε ισχυρούς ελέγχους ταυτότητας και MFA σε όλα τα σημεία διαχειριστικής πρόσβασης, στις υπηρεσίες PaaS και SaaS και στις διασυνδέσεις με τους προμηθευτές. Καταργήστε αμέσως τα κοινόχρηστα ή ανενεργά διαπιστευτήρια.
- Αυτοματοποιήστε τους ελέγχους για ευπάθειες στις εξαρτήσεις. Εντάξτε στα υπάρχοντα αποθετήρια κώδικα εργαλεία ανοικτού κώδικα που κάνουν ανάλυση σύνθεσης λογισμικού (SCA) με μικρές απαιτήσεις σε πόρους και ελέγχουν διαρκώς τις εξαρτήσεις. Έτσι, οι ευπάθειες σε βιβλιοθήκες τρίτων και τα εκτεθειμένα διαπιστευτήρια επισημαίνονται αυτόματα πριν περάσουν οι ενημερώσεις στην παραγωγή.
- Καθιερώστε αυτόματα αντίγραφα ασφαλείας και δοκιμάζετε τακτικά την επαναφορά. Φροντίστε να δημιουργούνται αυτόματα αντίγραφα των ρυθμίσεων κάθε συστήματος, των βάσεων δεδομένων και των πληροφοριών που χρειάζονται για να επανέλθουν οι εφαρμογές στην προηγούμενη κατάστασή τους. Τα αντίγραφα πρέπει να κρυπτογραφούνται, να φυλάσσονται εκτός των εγκαταστάσεων και να δοκιμάζονται τακτικά με ασκήσεις επαναφοράς.
Κοιτάζοντας την επόμενη τριετία, ποια αλλαγή στον τρόπο ανάπτυξης και λειτουργίας του λογισμικού θα πρέπει, κατά τη γνώμη σας, να εντάξουν από σήμερα οι επιχειρήσεις στον στρατηγικό σχεδιασμό τους;
Περνάμε από διαδικασίες στις οποίες οι άνθρωποι γράφουν κώδικα, εκτελούν δοκιμές χειροκίνητα και παρακολουθούν στατικούς πίνακες ελέγχου σε περιβάλλοντα όπου ομάδες αυτόνομων agents συνεργάζονται για να γράφουν και να δοκιμάζουν κώδικα, καθώς και για να βελτιστοποιούν εφαρμογές και να αποκαθιστούν προβλήματα στην παραγωγή σε πραγματικό χρόνο. Για να προετοιμαστούν, οι επιχειρήσεις πρέπει να κινηθούν σε τρεις κατευθύνσεις.
- Αρθρωτή υποδομή δεδομένων που παρέχει το κατάλληλο επιχειρησιακό πλαίσιο. Για να εκτελούν σωστά τις εργασίες τους, οι agents τεχνητής νοημοσύνης χρειάζονται ασφαλή πρόσβαση σε πραγματικό χρόνο στα δεδομένα της επιχείρησης και στο πλαίσιο μέσα στο οποίο τα χρησιμοποιούν, μέσω ανοικτών προτύπων όπως το Model Context Protocol (MCP).
- Έλεγχοι ασφάλειας και κατά τη λειτουργία. Οι δοκιμές ασφάλειας από τα πρώτα στάδια της ανάπτυξης (shift-left) παραμένουν απαραίτητες. Κατά τη λειτουργία χρειάζονται επιπλέον κανόνες που οριοθετούν τη συμπεριφορά των agents, συνεχής ανάλυση των πραγματικών ροών εργασίας βάσει των καταγραφών (process mining), εντοπισμός αποκλίσεων και αρχεία εκτέλεσης που παραμένουν αμετάβλητα. Με αυτά τα μέτρα και με το μοντέλο 4A που ανέφερα, οι επιχειρήσεις μπορούν να εποπτεύουν στην παραγωγή αυτόνομους agents των οποίων η συμπεριφορά μπορεί να διαφέρει από εκτέλεση σε εκτέλεση.
- Οργάνωση της συνεργασίας ανθρώπων και τεχνητής νοημοσύνης. Οι ροές ανάπτυξης και λειτουργίας πρέπει να σχεδιαστούν γύρω από αυτή τη συνεργασία. Τα συστήματα προσαρμόζουν τη λειτουργία τους, ενώ οι άνθρωποι θέτουν τους στρατηγικούς στόχους, ελέγχουν τις ενέργειες με σοβαρές συνέπειες και επιβλέπουν την τήρηση των ηθικών και νομικών ορίων.
