Mental BoundΤι είναι τα tokens;
Τα tokens είναι οι μονάδες που πραγματικά επεξεργάζεται ένα γλωσσικό μοντέλο: το κείμενο σπάει σε τμήματα που μπορεί να είναι ολόκληρες λέξεις, μέρη λέξεων ή σημεία στίξης. Ένας πρόχειρος κανόνας για τα αγγλικά: ένα token είναι περίπου τέσσερις χαρακτήρες, ή τρία τέταρτα μιας λέξης — το «hello» είναι ένα token, το «unbelievable» δύο ή τρία.
Γιατί έχουν σημασία τα tokens;
Τα tokens εξηγούν δύο πρακτικούς περιορισμούς. Το context window — «128K» ή «1 εκατομμύριο tokens» — είναι η λειτουργική μνήμη του μοντέλου· συνομιλίες, έγγραφα και οδηγίες το καταναλώνουν, και πέρα από το όριο το παλαιότερο περιεχόμενο περικόπτεται ή το αίτημα απορρίπτεται. Επίσης, τα περισσότερα APIs τεχνητής νοημοσύνης χρεώνουν ανά token, είσοδο και έξοδο ξεχωριστά, οπότε ο αριθμός των tokens καθορίζει κόστος και ταχύτητα.
Για ομάδες που χτίζουν εφαρμογές τεχνητής νοημοσύνης, η χρήση tokens είναι βασικό μέτρο απόδοσης και προϋπολογισμού· πιο σύντομα, πιο καθαρά prompts χρησιμοποιούν λιγότερα tokens και απαντούν ταχύτερα.