Αντί για έναν χώρο που «κατοικείται» πρωτίστως από ανθρώπους, ο παγκόσμιος ιστός φαίνεται πως πολύ σύντομα θα κυριαρχείται από αυτόνομα ρομπότ τεχνητής νοημοσύνης. Μια νέα έκθεση που μετρά τη δραστηριότητα των bots στον ιστό, καθώς και σχετικά δεδομένα από την Akamai, αποδεικνύουν ότι τα bots τεχνητής νοημοσύνης καταλαμβάνουν ήδη ένα σημαντικό μερίδιο διαδικτυακής κίνησης. Τα ευρήματα ρίχνουν φως σε μια κλιμακούμενη κούρσα εξοπλισμών, καθώς τα bots αναπτύσσουν έξυπνες τακτικές για να παρακάμψουν τις άμυνες των ιστοτόπων.
Η μελλοντική κυριαρχία της μηχανικής επισκεψιμότητας
Ο Toshit Pangrahi, συνιδρυτής και διευθύνων σύμβουλος της TollBit, μιας εταιρείας που παρακολουθεί τη δραστηριότητα απόξεσης ιστού (web-scraping) και δημοσίευσε τη νέα έκθεση, δηλώνει χαρακτηριστικά ότι η πλειονότητα του διαδικτύου θα αποτελείται από κίνηση bots στο μέλλον. Σύμφωνα με τον ίδιο, δεν πρόκειται απλώς για ένα ζήτημα πνευματικών δικαιωμάτων, αλλά για την εμφάνιση ενός νέου τύπου επισκέπτη στο διαδίκτυο. Οι περισσότεροι μεγάλοι ιστότοποι προσπαθούν να περιορίσουν το περιεχόμενο που μπορούν να αντλήσουν τα bots για να τροφοδοτήσουν συστήματα τεχνητής νοημοσύνης για εκπαιδευτικούς σκοπούς. Η μητρική εταιρεία του WIRED, Condé Nast, καθώς και άλλοι εκδότες, έχουν ήδη καταθέσει αγωγές εναντίον αρκετών εταιρειών AI για φερόμενη παραβίαση πνευματικών δικαιωμάτων σχετικά με την εκπαίδευση μοντέλων.
Ωστόσο, παρατηρείται άνοδος και σε ένα άλλο είδος απόξεσης ιστοτόπων που σχετίζεται με την τεχνητή νοημοσύνη. Πολλά chatbots και άλλα εργαλεία AI έχουν πλέον τη δυνατότητα να ανακτούν πληροφορίες σε πραγματικό χρόνο από τον ιστό και να τις χρησιμοποιούν για να εμπλουτίζουν και να βελτιώνουν τα αποτελέσματά τους. Αυτό μπορεί να περιλαμβάνει ενημερωμένες τιμές προϊόντων, προγράμματα κινηματογράφων ή περιλήψεις των τελευταίων ειδήσεων. Σύμφωνα με τα δεδομένα της Akamai, η κίνηση των bots που σχετίζεται με την εκπαίδευση αυξάνεται σταθερά από τον περασμένο Ιούλιο. Παράλληλα, η παγκόσμια δραστηριότητα από bots που ανακτούν διαδικτυακό περιεχόμενο για πράκτορες τεχνητής νοημοσύνης (AI agents) βρίσκεται επίσης σε ανοδική πορεία, αλλάζοντας τα δεδομένα της επισκεψιμότητας.
Ο Robert Blumofe, επικεφαλής τεχνολογίας της Akamai, αναφέρει στο WIRED ότι η τεχνητή νοημοσύνη αλλάζει τον ιστό όπως τον γνωρίζουμε. Υποστηρίζει ότι η επακόλουθη κούρσα εξοπλισμών θα καθορίσει τη μελλοντική εμφάνιση, την αίσθηση και τη λειτουργικότητα του ιστού, καθώς και τα βασικά στοιχεία της επιχειρηματικής δραστηριότητας. Για το τέταρτο τρίμηνο του 2025, η TollBit εκτιμά ότι κατά μέσο όρο μία στις 31 επισκέψεις στους ιστότοπους των πελατών της προερχόταν από ένα bot απόξεσης AI. Το στοιχείο αυτό παρουσιάζει ραγδαία αύξηση, καθώς το πρώτο τρίμηνο η αναλογία ήταν μόλις μία στις 200 επισκέψεις. Η εταιρεία αναφέρει επίσης σημαντικές παραβιάσεις στα πρωτόκολλα που θέτουν οι διαχειριστές των ιστοσελίδων.
Ραγδαία αύξηση παραβίασης των πρωτοκόλλων ασφαλείας
Συγκεκριμένα, η TollBit αναφέρει ότι κατά το τέταρτο τρίμηνο, περισσότερο από το 13% των αιτημάτων από bots παρέκαμπταν το robots.txt, ένα αρχείο που χρησιμοποιούν ορισμένοι ιστότοποι για να υποδείξουν ποιες σελίδες πρέπει να αποφεύγουν τα bots. Το ποσοστό των AI bots που αγνοούν το robots.txt αυξήθηκε κατά 400% από το δεύτερο στο τέταρτο τρίμηνο του περασμένου έτους. Επιπλέον, η TollBit κατέγραψε μια αύξηση της τάξης του 336% στον αριθμό των ιστοτόπων που έκαναν προσπάθειες να μπλοκάρουν AI bots κατά τη διάρκεια του περασμένου έτους. Ο Pangrahi επισημαίνει ότι οι τεχνικές απόξεσης γίνονται όλο και πιο εξελιγμένες καθώς οι ιστότοποι προσπαθούν να επιβάλουν έλεγχο στην πρόσβαση του περιεχομένου.
Ορισμένα bots μεταμφιέζονται, κάνοντας την κίνησή τους να φαίνεται ότι προέρχεται από ένα κανονικό πρόγραμμα περιήγησης ιστού ή στέλνουν αιτήματα σχεδιασμένα να μιμούνται τον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με τους ιστοτόπους. Η μελέτη της TollBit σημειώνει ότι η συμπεριφορά ορισμένων πρακτόρων AI είναι πλέον σχεδόν δυσδιάκριτη από την ανθρώπινη διαδικτυακή κίνηση. Η TollBit εμπορεύεται εργαλεία που οι ιδιοκτήτες ιστοτόπων μπορούν να χρησιμοποιήσουν για να χρεώνουν τους scrapers AI για την πρόσβαση στο περιεχόμενό τους. Άλλες εταιρείες, συμπεριλαμβανομένης της Cloudflare, προσφέρουν παρόμοια εργαλεία. Ο Pangrahi τονίζει την ανάγκη για έναν ταχύτερο τρόπο προγραμματικής ανταλλαγής αξίας μεταξύ μηχανών, καθώς επηρεάζονται όλοι όσοι βασίζονται στην ανθρώπινη κίνηση.
Πέρα από τους πονοκεφάλους για τους εκδότες, οι πόλεμοι της απόξεσης ιστού δημιουργούν νέες επιχειρηματικές ευκαιρίες. Η έκθεση της TollBit βρήκε περισσότερες από 40 εταιρείες που τώρα εμπορεύονται bots ικανά να συλλέγουν διαδικτυακό περιεχόμενο για εκπαίδευση AI ή άλλους σκοπούς. Η άνοδος των μηχανών αναζήτησης που τροφοδοτούνται από AI, καθώς και εργαλεία όπως το OpenClaw, πιθανότατα βοηθούν στην αύξηση της ζήτησης για αυτές τις υπηρεσίες. Ορισμένες εταιρείες υπόσχονται να βοηθήσουν τις επιχειρήσεις να αναδείξουν το περιεχόμενό τους για τους πράκτορες AI αντί να προσπαθούν να τους μπλοκάρουν, μια στρατηγική γνωστή ως Generative Engine Optimization (GEO).
