Attention Is All You Need: το paper που έχτισε τη σύγχρονη AI

Τον Ιούνιο του 2017, οκτώ ερευνητές της Google δημοσίευσαν ένα σύντομο paper με αυτοπεποίθηση στον τίτλο: «Attention Is All You Need». Εισήγαγε την αρχιτεκτονική Transformer και, λίγο-πολύ, θεμελίωσε την εποχή της AI στην οποία ζούμε. Αφαιρέστε το branding από οποιοδήποτε σύγχρονο μοντέλο — Claude, GPT, Gemini, Llama, Mistral — και από κάτω θα βρείτε το ίδιο δομικό μοτίβο: στοιβαγμένα attention layers που συσχετίζουν κάθε λέξη με κάθε άλλη, παράλληλα.

Πριν το 2017, τα γλωσσικά μοντέλα διάβαζαν σειριακά. Τα recurrent δίκτυα επεξεργάζονταν μία λέξη τη φορά με μια τρέχουσα «μνήμη», πράγμα που έκανε την εκπαίδευση αργή — τίποτα δεν παραλληλιζόταν — και τη μνήμη κοντή, χάνοντας την αρχή ενός μεγάλου κειμένου μέχρι το τέλος του. Η τολμηρή κίνηση του paper ήταν να πετάξει εντελώς την αναδρομή και να κρατήσει μόνο το attention, έναν μηχανισμό που μέχρι τότε ήταν βοηθητικό πρόσθετο. Το αποτέλεσμα εκπαιδευόταν γρηγορότερα, σκόραρε καλύτερα και — το αποφασιστικό — συνέχιζε να βελτιώνεται όσο πρόσθετες δεδομένα και υπολογιστική ισχύ. Αυτή η ιδιότητα scaling είναι ο αθόρυβος κινητήρας πίσω από σχεδόν κάθε άλμα ικανοτήτων έκτοτε.

Η διαίσθηση χωράει σε μία πρόταση. Στο «Η όχθη ήταν δίπλα στο ποτάμι», καταλαβαίνετε ποια «όχθη» επειδή το «ποτάμι» εμφανίζεται δίπλα· το self-attention είναι αυτή ακριβώς η κίνηση, αριθμητικά — κάθε token βαθμολογεί τη συνάφεια κάθε άλλου, οι βαθμοί γίνονται βάρη, και η αναπαράσταση κάθε λέξης ξαναχτίζεται από όσα «κοιτάζει». Στοιβάξτε τέτοια layers και το μοντέλο παύει να παρακολουθεί μόνο γειτονικές λέξεις: αρχίζει να παρακολουθεί δομή, αναφορές και νόημα σε ολόκληρο έγγραφο. Χωρίς προκατάληψη απόστασης, μια λέξη στο τέλος ενός μακριού κειμένου φτάνει την πρώτη εξίσου εύκολα με την προηγούμενη — έτσι κρατούν συνοχή οι μεγάλες συζητήσεις.

Το πλαίσιο του paper ήταν στενό — μετάφραση αγγλικών προς γερμανικά — αλλά η αρχιτεκτονική αποδείχθηκε παράλογα γενική: BERT για κατανόηση το 2018, GPT για παραγωγή λίγο μετά, ύστερα όραση, ύστερα protein folding. Στις δώδεκα σελίδες του, είναι και από τα πιο ευανάγνωστα ορόσημα του πεδίου — αξίζει την ώρα ακόμα και για μη ειδικούς.

Σχεδόν μια δεκαετία μετά, το attention αποδείχθηκε όντως ό,τι χρειαζόμασταν.