Πώς Δουλεύουν Στ' Αλήθεια τα LLMs

Το πρόγραμμα που μόλις έγραψε ένα ολόκληρο δοκίμιο μέσα σε δέκα δευτερόλεπτα δεν ξέρει τι σημαίνει ούτε μία λέξη μέσα του. Δεν καταλαβαίνει τι είναι «αγάπη», δεν έχει ιδέα τι είναι «θάνατος», δεν έχει δει ποτέ έναν ουρανό. Και όμως, αν του ζητήσεις να γράψει ένα ποίημα για τον ουρανό, θα σου δώσει κάτι που μπορεί πραγματικά να σε συγκινήσει. Πώς γίνεται μια μηχανή να φαίνεται τόσο έξυπνη χωρίς να καταλαβαίνει τίποτα απ' όσα λέει; Η απάντηση δεν είναι μαγεία, ούτε συνωμοσία, ούτε κάποιο κρυφό «μυαλό» μέσα στον υπολογιστή. Είναι μια ιστορία εβδομήντα περίπου χρόνων, τεσσάρων ξεχωριστών ανακαλύψεων χτισμένων η μία πάνω στην άλλη, και ένα δύσκολο μάθημα: ότι η νοημοσύνη, τελικά, μπορεί να μη χρειάζεται καμία πραγματική κατανόηση —αρκεί απλώς να της μοιάζει.

Ο όρος «τεχνητή νοημοσύνη» γεννήθηκε το χίλια εννιακόσια πενήντα έξι, σε ένα καλοκαιρινό συνέδριο στο Dartmouth College, όπου μια χούφτα επιστήμονες υποσχέθηκαν ότι μέσα σε μία γενιά οι μηχανές θα σκέφτονταν σαν άνθρωποι. Έκαναν λάθος —όχι λίγο, αλλά κατά δεκαετίες— κι όμως ο όρος έμεινε. Για δεκαετίες, «τεχνητή νοημοσύνη» σήμαινε κάτι πολύ συγκεκριμένο: προγράμματα χτισμένα πάνω σε χιλιάδες κανόνες, γραμμένους με το χέρι από ανθρώπους ειδικούς. Ένα ιατρικό σύστημα διάγνωσης, για παράδειγμα, μπορούσε να έχει κανόνες όπως «αν ο ασθενής έχει πυρετό και βήχα και πόνο στο στήθος, τότε το πιθανότερο είναι πνευμονία». Κάθε νέα περίπτωση σήμαινε έναν νέο κανόνα, γραμμένο από κάποιον ειδικό. Η μηχανή δεν «μάθαινε» τίποτα· απλώς εκτελούσε πιστά όσα της είχε πει κάποιος άνθρωπος από πριν.

Αυτή η προσέγγιση είχε ένα θανάσιμο ελάττωμα: ο πραγματικός κόσμος έχει πάρα πολλές εξαιρέσεις για να τις γράψει κανείς όλες σε κανόνες. Το εγχείρημα κατέρρευσε δύο ολόκληρες φορές —μία στα μέσα της δεκαετίας του εβδομήντα, μία στα τέλη της δεκαετίας του ογδόντα— καθώς οι υποσχέσεις ξεπερνούσαν κατά πολύ τα αποτελέσματα, η χρηματοδότηση στέρευε, και ο ενθουσιασμός μετατρεπόταν σε δημόσια χλεύη. Οι ίδιοι οι επιστήμονες του κλάδου τα ονόμασαν «χειμώνες της τεχνητής νοημοσύνης». Αν κάποιος έλεγε το χίλια εννιακόσια ενενήντα ότι μέσα σε τριάντα χρόνια οι μηχανές θα έγραφαν δοκίμια και ποιήματα, οι περισσότεροι ερευνητές του πεδίου θα γελούσαν πικρά —το είχαν ξανακούσει, και είχαν απογοητευτεί ξανά και ξανά. Αυτό που άλλαξε τελικά τα πάντα δεν ήταν μια πιο έξυπνη ιδέα. Ήταν μια εντελώς διαφορετική φιλοσοφία.

Αντί να γράφεις εσύ τους κανόνες, αφήνεις τη μηχανή να τους ανακαλύψει μόνη της. Αυτό είναι το machine learning, η «μηχανική μάθηση» —ένα υποσύνολο της τεχνητής νοημοσύνης, όχι συνώνυμό της. Φαντάσου ότι θέλεις να μάθεις σε κάποιον να ζωγραφίζει σκύλους, αλλά δεν μπορείς να του εξηγήσεις με λόγια τι κάνει έναν σκύλο «σκύλο». Αντ' αυτού, του δείχνεις χιλιάδες φωτογραφίες, εκείνος δοκιμάζει, κι εσύ απλώς του λες «πιο κοντά» ή «πιο μακριά» —χωρίς ποτέ να του πεις γιατί. Κάνεις αυτό εκατομμύρια φορές, με μικρές διορθώσεις κάθε φορά. Στο τέλος ζωγραφίζει τέλεια σκύλους, αλλά ποτέ δεν του εξήγησες τι είναι σκύλος. Οι επιστήμονες ονομάζουν αυτή τη διαδικασία διόρθωσης gradient descent —το μοντέλο κατεβαίνει έναν αόρατο λόφο λάθους, στα τυφλά, νιώθοντας κάθε φορά ποια κατεύθυνση πάει λίγο πιο κάτω.

Μέσα στο machine learning υπάρχουν πολλές διαφορετικές τεχνικές, παλιές και νέες. Αυτή που τελικά κέρδισε όλες τις άλλες λέγεται deep learning, «βαθιά μάθηση» —και το «βαθιά» εδώ δεν σημαίνει έξυπνη, σημαίνει κυριολεκτικά πολλά επίπεδα. Ένα νευρωνικό δίκτυο δομείται σε στρώσεις: η πρώτη μαθαίνει να αναγνωρίζει απλές άκρες και γραμμές μέσα σε μια εικόνα, η επόμενη συνδυάζει αυτές τις άκρες σε σχήματα —ένα μάτι, ένα αυτί— και η επόμενη συνδυάζει τα σχήματα σε ολόκληρα αντικείμενα, όπως ένα πρόσωπο ή ένας σκύλος. Κανείς δεν προγραμματίζει αυτά τα επίπεδα ρητά· προκύπτουν μόνα τους μέσα από την ίδια διαδικασία διόρθωσης που περιγράψαμε πριν. Το πρόβλημα ήταν ότι το deep learning χρειαζόταν κάτι που δεν υπήρχε ακόμα εύκολα προσβάσιμο: τεράστιο όγκο δεδομένων και τεράστια υπολογιστική ισχύ. Χωρίς αυτά τα δύο, ένα νευρωνικό δίκτυο έχανε ακόμα και από απλούστερες, παλιότερες τεχνικές.

Το δύο χιλιάδες δώδεκα, πενήντα έξι χρόνια μετά το συνέδριο του Dartmouth, ένα νευρωνικό δίκτυο ονόματι AlexNet σάρωσε έναν διεθνή διαγωνισμό αναγνώρισης εικόνας με περιθώριο που κανείς δεν περίμενε —αξιοποιώντας, για πρώτη φορά σε τέτοια κλίμακα, κάρτες γραφικών φτιαγμένες αρχικά για βιντεοπαιχνίδια. Η στιγμή εκείνη επιβεβαίωσε κάτι που ο ερευνητής Richard Sutton θα κατέγραφε χρόνια αργότερα ως το «πικρό μάθημα» της τεχνητής νοημοσύνης: για δεκαετίες, οι επιστήμονες προσπαθούσαν να «χτίσουν» έξυπνα κόλπα και ανθρώπινη γνώση μέσα στα συστήματα. Ξανά και ξανά, όμως, αυτό που τελικά κέρδιζε δεν ήταν η εξυπνάδα του σχεδιασμού —ήταν απλώς περισσότερα δεδομένα και περισσότερη υπολογιστική ισχύς. Το AlexNet δεν ήταν εννοιολογικά πρωτότυπο· ήταν απλώς αρκετά μεγάλο, τη σωστή στιγμή, με το σωστό καύσιμο.

Πέντε χρόνια αργότερα, το δύο χιλιάδες δεκαεπτά, ερευνητές της Google δημοσίευσαν ένα paper με τίτλο «Attention Is All You Need» —«Η Προσοχή Είναι το Μόνο που Χρειάζεσαι». Παρουσίαζε μια νέα αρχιτεκτονική, τον transformer, που έμελλε να γίνει η καρδιά κάθε σημερινού LLM. Η ιδέα εξηγείται εύκολα χωρίς κανένα μαθηματικό τύπο: όταν διαβάζεις την πρόταση «το ποτάμι είχε φουσκώσει τόσο που έσπασε την όχθη του», ο εγκέφαλός σου δίνει «προσοχή» σε συγκεκριμένες προηγούμενες λέξεις —ποτάμι, φουσκώσει— για να καταλάβει ότι η «όχθη» εδώ είναι όχθη ποταμού, όχι τράπεζα. Ακριβώς αυτό κάνει μαθηματικά ο μηχανισμός attention: αποφασίζει ποιες προηγούμενες λέξεις είναι σχετικές για κάθε νέα λέξη που επεξεργάζεται. Είναι το τελευταίο κομμάτι της ιεραρχίας —τεχνητή νοημοσύνη, μηχανική μάθηση, βαθιά μάθηση, και τώρα transformers, η αρχιτεκτονική πίσω από κάθε γλωσσικό μοντέλο που γνωρίζεις.

Πριν φτάσει σε αυτό το σημείο, κάθε λέξη μετατρέπεται σε ένα διάνυσμα —μια λίστα από μερικές εκατοντάδες αριθμούς που αντιπροσωπεύουν τη «θέση» της έννοιας μέσα σε έναν φανταστικό χώρο. Λέξεις με κοντινή σημασία καταλήγουν σε κοντινά διανύσματα. Το πιο διάσημο παράδειγμα, σχεδόν μαγικό όταν το βλέπεις για πρώτη φορά: αν πάρεις το διάνυσμα του «βασιλιάς», αφαιρέσεις το «άντρας», και προσθέσεις το «γυναίκα», το αποτέλεσμα καταλήγει πολύ κοντά στο διάνυσμα της «βασίλισσας». Καμία λέξη δεν έμαθε ρητά αυτή τη σχέση —προέκυψε μόνη της, από το πώς οι λέξεις εμφανίζονται μαζί σε δισεκατομμύρια προτάσεις. Δεν υπάρχει, λοιπόν, καμία γραμμή κώδικα πουθενά που να λέει «κατάλαβε τη σημασία». Ό,τι μοιάζει με κατανόηση είναι αποτέλεσμα γεωμετρίας πάνω σε αριθμούς, εφαρμοσμένης σε τερατώδη κλίμακα.

Και τι ακριβώς κάνει ένα LLM με όλα αυτά; Ένα και μόνο πράγμα, φαινομενικά ανόητο: προβλέπει την επόμενη λέξη. Δεδομένου ό,τι έχει γραφτεί μέχρι στιγμής, υπολογίζει μια πιθανότητα για κάθε πιθανή επόμενη λέξη —«ο ήλιος...» μπορεί να δώσει σαράντα τοις εκατό πιθανότητα για «λάμπει», είκοσι τοις εκατό για «ανατέλλει», και ούτω καθεξής— και μετά επιλέγει μία, όχι πάντα την πιο πιθανή. Αυτό εξηγεί γιατί η ίδια ερώτηση δίνει ελαφρώς διαφορετική απάντηση κάθε φορά. Το μοντέλο εκπαιδεύτηκε κάνοντας ακριβώς αυτή την πρόβλεψη δισεκατομμύρια φορές πάνω σε σχεδόν όλο το γραπτό κείμενο του διαδικτύου. Και κάπου μέσα σε αυτή την τερατώδη κλίμακα εμφανίστηκαν ικανότητες που κανείς δεν προγραμμάτισε ρητά —να εξηγεί κώδικα, να συλλογίζεται βήμα-βήμα, να γράφει ποίηση. Ικανότητες που κανείς δεν περίμενε πλήρως, ούτε καν οι ίδιοι οι δημιουργοί.

Το δύο χιλιάδες είκοσι δύο, ερευνητές της Google δημοσίευσαν μια μελέτη πάνω σε αυτό ακριβώς το φαινόμενο. Δοκίμασαν μοντέλα διαφορετικού μεγέθους σε πρόσθεση τριψήφιων αριθμών. Τα μικρότερα μοντέλα απέτυχαν σχεδόν πλήρως —σχεδόν τυχαία μαντεψιά. Στα μεγαλύτερα, η επιτυχία δεν ανέβηκε σταδιακά· εκτοξεύτηκε απότομα, σαν να άναψε ένας διακόπτης. Δεν υπήρχε ενδιάμεσο στάδιο «μέτρια καλό στην πρόσθεση» —είτε δεν το έκανε καθόλου, είτε το έκανε. Οι ερευνητές ονόμασαν αυτό «emergent abilities», αναδυόμενες ικανότητες: χαρακτηριστικά που δεν υπάρχουν καν σε μικρότερα μοντέλα και εμφανίζονται απότομα σε συγκεκριμένο μέγεθος, χωρίς να μπορούν να προβλεφθούν απλώς επεκτείνοντας την καμπύλη των μικρότερων. Σημαίνει ότι κανείς δεν μπορεί να είναι σίγουρος τι θα μπορεί να κάνει το επόμενο, μεγαλύτερο μοντέλο —μια ικανότητα μπορεί να είναι εντελώς απούσα σήμερα και να εμφανιστεί ξαφνικά αύριο.

Η ίδια απρόβλεπτη φύση που κάνει δύσκολο να ξέρεις τι θα μπορεί να κάνει ένα μοντέλο, κάνει εξίσου δύσκολο να ξέρεις πότε θα σου απαντήσει λάθος με απόλυτη σιγουριά. Η λογική από πίσω είναι η ίδια που είδαμε πριν —πρόβλεψη πιθανότητας, όχι αναζήτηση αλήθειας. Η βασική μηχανή του μοντέλου δεν έχει καμία εσωτερική αίσθηση του τι είναι αλήθεια· παράγει απλώς την πιο πιθανή επόμενη λέξη, με βάση τα patterns που έμαθε. Σήμερα πολλά εργαλεία μετριάζουν το πρόβλημα επιτρέποντας στο μοντέλο να ψάξει στο διαδίκτυο πριν απαντήσει, αλλά αυτό δεν αλλάζει τη βασική συμπεριφορά· απλώς του δίνει καλύτερο υλικό να δουλέψει. Όταν η αναζήτηση λείπει, αποτυγχάνει, ή το ίδιο το μοντέλο συνδυάζει λάθος όσα βρήκε, η ίδια συνήθεια παραμένει: δεν σταματάει να πει «δεν ξέρω» —συνεχίζει να απαντάει με την ίδια σιγουριά, ακόμα κι αν κάτι μέσα στην απάντηση δεν υπάρχει πουθενά στην πραγματικότητα. Οι ερευνητές το λένε «hallucination», παραίσθηση — ο ίδιος μηχανισμός που γράφει ένα εκπληκτικό ποίημα μπορεί να γράψει και μια βιβλιογραφική αναφορά που δεν υπήρξε ποτέ, με τον ίδιο σίγουρο τόνο.

Και όλα αυτά συμβαίνουν σε κλίμακα δύσκολη να τη φανταστεί κανείς. Το Llama 3, ένα από τα μεγάλα ανοιχτά μοντέλα της Meta, εκπαιδεύτηκε πάνω σε δεκαπέντε τρισεκατομμύρια λέξεις-κομμάτια, «tokens». Αν διάβαζες οκτώ ώρες τη μέρα, θα χρειαζόσουν χιλιάδες χρόνια για να διαβάσεις όσο κείμενο «είδε» αυτό το μοντέλο μία και μόνη φορά κατά την εκπαίδευσή του —κείμενο που καλύπτει σχεδόν ολόκληρο το ανοιχτό διαδίκτυο, σε δεκάδες γλώσσες. Ο ίδιος ο διευθύνων σύμβουλος της OpenAI, Sam Altman, δήλωσε δημόσια ότι η εκπαίδευση ενός μοντέλου επιπέδου GPT-4 κόστισε πάνω από εκατό εκατομμύρια δολάρια —μία μόνο εκπαίδευση, χιλιάδες κάρτες γραφικών να τρέχουν συνεχόμενα για μήνες. Κι όλα αυτά, θυμήσου, για να μάθει το μοντέλο ένα και μόνο πράγμα: να μαντεύει την επόμενη λέξη.

Αυτή η κλίμακα έχει και μια πολύ real, τρέχουσα συνέπεια: το ρεύμα. Η Microsoft υπέγραψε το δύο χιλιάδες είκοσι τέσσερα συμφωνία είκοσι ετών με την εταιρεία Constellation Energy για να επανεκκινήσει έναν αντιδραστήρα του πυρηνικού σταθμού Three Mile Island —ναι, του ίδιου σταθμού που έμεινε στην ιστορία για το ατύχημα του χίλια εννιακόσια εβδομήντα εννέα— αποκλειστικά για να τροφοδοτήσει τα data centers της τεχνητής νοημοσύνης. Η Constellation επενδύει πάνω από ένα δισεκατομμύριο δολάρια στην επανεκκίνηση. Η Google και η Amazon έχουν κάνει, την ίδια περίπου περίοδο, ξεχωριστές συμφωνίες για μικρούς πυρηνικούς αντιδραστήρες αφιερωμένους αποκλειστικά σε δικά τους data centers. Οι εταιρείες που μας έδωσαν το ChatGPT δεν ψάχνουν πια απλώς καλύτερους αλγόριθμους —ψάχνουν πυρηνικά εργοστάσια.

Και πέρα από το κόστος, υπάρχει και το αντίκρισμα. Μια μελέτη της Microsoft Research πάνω στο GitHub Copilot, εργαλείο βοήθειας στον προγραμματισμό, μέτρησε προγραμματιστές να ολοκληρώνουν ένα συγκεκριμένο task πενήντα πέντε τοις εκατό πιο γρήγορα όταν το χρησιμοποιούσαν —σε αντικειμενικά χρονόμετρα, όχι εντυπώσεις. Στην πράξη, πολλοί προγραμματιστές που δουλεύουν καθημερινά με σημερινά εργαλεία-agents περιγράφουν πολλαπλάσια αύξηση παραγωγικότητας στη δική τους καθημερινή δουλειά, ειδικά σε επαναλαμβανόμενες εργασίες. Δεν είναι πια ένα εργαλείο που «βοηθάει λίγο» —αλλάζει ουσιαστικά πώς μοιάζει η ίδια η δουλειά. Και ο προγραμματισμός δεν είναι το μοναδικό πεδίο. Το ίδιο ερώτημα —πόσο βαθιά θα αλλάξει αυτό κάθε επάγγελμα, όχι μόνο τον κώδικα— είναι ήδη ανοιχτό σε ιατρική, δίκαιο, εκπαίδευση, σχεδόν παντού όπου υπάρχει κείμενο ή δεδομένα προς επεξεργασία.

Το πιο εντυπωσιακό παράδειγμα, όμως, δεν έχει καμία σχέση με κείμενο. Η βιολογία πάλευε για πάνω από πενήντα χρόνια με το λεγόμενο «πρόβλημα της αναδίπλωσης πρωτεϊνών» —πώς προβλέπεις το τρισδιάστατο σχήμα μιας πρωτεΐνης μόνο από την αλυσίδα αμινοξέων της, ένα σχήμα που καθορίζει σχεδόν κάθε λειτουργία της. Το δύο χιλιάδες είκοσι, ένα σύστημα deep learning της DeepMind ονόματι AlphaFold έλυσε αυτό το πρόβλημα με ακρίβεια συγκρίσιμη με πειραματικές μεθόδους —προβλέποντας πλέον τη δομή σχεδόν διακοσίων εκατομμυρίων γνωστών πρωτεϊνών, όσων έχει καταγράψει ποτέ η επιστήμη. Το δύο χιλιάδες είκοσι τέσσερα, οι δημιουργοί του, Demis Hassabis και John Jumper, τιμήθηκαν με το Νόμπελ Χημείας —σπάνια περίπτωση όπου ένα εργαλείο τεχνητής νοημοσύνης κερδίζει απευθείας το πιο υψηλό βραβείο ενός άλλου επιστημονικού πεδίου. Ερευνητές το χρησιμοποιούν ήδη για να καταλάβουν καλύτερα την αντοχή βακτηρίων σε αντιβιοτικά και να σχεδιάσουν ένζυμα που διασπούν πλαστικό.

Και το τελευταίο σύνορο δεν είναι καν στην οθόνη —είναι στο σώμα. Η startup Figure συνεργάζεται με την OpenAI ώστε το ίδιο είδος μοντέλου που καταλαβαίνει γλώσσα να ελέγχει πλέον ένα ανθρωποειδές ρομπότ. Σε μια επίδειξη, το ρομπότ έμαθε να φτιάχνει καφέ σε κάψουλα μέσα σε μόλις δέκα ώρες εκπαίδευσης —αναγνωρίζοντας και χειριζόμενο αντικείμενα που δεν είχε ξαναδεί ποτέ, χωρίς κανείς να προγραμματίσει ειδικά γι' αυτά. Στην Κίνα, η εταιρεία Unitree πουλάει ήδη ανθρωποειδές ρομπότ γύρω στις δεκαέξι χιλιάδες δολάρια, τιμή πολύ πιο χαμηλή απ' όσο περίμενε κανείς πριν λίγα μόλις χρόνια. Μέχρι πρόσφατα, τα ρομπότ ήταν «χαζά αλλά ακριβά» —προγραμματισμένα ρητά για μία μόνο δουλειά, σαν στο εργοστάσιο. Τώρα, βάζοντας ένα LLM-τύπου «μυαλό» μέσα τους, αρχίζουν να γενικεύουν σε καταστάσεις που δεν είχαν δει ποτέ πριν —ακριβώς όπως γενικεύει ένα κείμενο του ChatGPT σε μια ερώτηση που δεν είχε ξαναδεί.

Φαντάσου, για μια στιγμή, πού μπορεί να οδηγήσει όλο αυτό: έναν κόσμο όπου κανείς κατάκοιτος δεν μένει πια μόνος, όπου οι πιο βαρετές δουλειές έχουν εξαφανιστεί, όπου ασθένειες λύνονται με τον ίδιο ρυθμό που το AlphaFold έλυσε ένα πενηντάχρονο βιολογικό αίνιγμα. Είναι ένα πιθανό μέλλον —όχι επιστημονική φαντασία, αλλά ούτε και βεβαιότητα. Δίπλα του στέκονται εξίσου πραγματικά ερωτήματα: ποιος πληρώνει το ρεύμα, ποιος ελέγχει τα πυρηνικά εργοστάσια που το τροφοδοτούν, ποιες δουλειές χάνονται στον δρόμο προς αυτό το μέλλον. Κι όμως, την επόμενη φορά που μια τέτοια μηχανή θα σου απαντήσει με απόλυτη σιγουριά, θυμήσου το πιο παράξενο κομμάτι απ' όλα όσα μόλις άκουσες: πίσω από κάθε λέξη που σου είπε δεν κρύβεται καμία επίγνωση, κανένα νόημα, τίποτα. Και δεν χρειάστηκε τίποτα απ' αυτά, για να σε πείσει πλήρως για το αντίθετο.