Mental BoundΌταν πληκτρολογείς ένα μήνυμα σε μια AI, το μοντέλο δεν το διαβάζει λέξη προς λέξη όπως εσύ. Σπάει το κείμενό σου σε tokens — μικρά τμήματα που μπορεί να είναι μια ολόκληρη λέξη, μέρος λέξης ή σημείο στίξης. Σκέψου τα tokens ως το αλφάβητο του μοντέλου: τα μικρότερα κομμάτια με τα οποία μπορεί να δουλέψει.
Ένας πρόχειρος κανόνας: ένα token είναι περίπου τέσσερις χαρακτήρες στα αγγλικά, ή περίπου τρία τέταρτα μιας λέξης. Άρα το «hello» μπορεί να είναι ένα token, ενώ το «unbelievable» δύο ή τρία. Και η στίξη μετράει — μια τελεία ή κόμμα είναι συνήθως δικό του token. Γι' αυτό ένα σύντομο prompt με πολλά σημεία στίξης μπορεί να χρησιμοποιεί περισσότερα tokens από όσα θα περίμενες.
Γιατί έχει σημασία; Τα μοντέλα AI έχουν ένα context window — έναν μέγιστο αριθμό tokens που μπορούν να εξετάσουν ταυτόχρονα. Όταν βλέπεις «128K context» ή «1 εκατομμύριο tokens», αυτό είναι το μέγεθος της λειτουργικής μνήμης του μοντέλου. Μακρύτερες συνομιλίες, μεγαλύτερα έγγραφα και πιο λεπτομερείς οδηγίες καταναλώνουν όλα tokens. Όταν φτάσεις το όριο, το μοντέλο είτε περικόπτει το παλαιότερο περιεχόμενο είτε αρνείται το αίτημα.
Τα tokens καθορίζουν επίσης το κόστος και την ταχύτητα. Οι περισσότερες AI APIs χρεώνουν ανά token (είσοδος και έξοδος ξεχωριστά). Ένα άρθρο 500 λέξεων μπορεί να είναι 600–700 tokens· μια συνομιλία μπρος-πίσω μπορεί γρήγορα να αθροιστεί. Πιο σύντομα, πιο ξεκάθαρα prompts χρησιμοποιούν λιγότερα tokens και απαντούν ταχύτερα. Για ομάδες που χτίζουν εφαρμογές AI, η χρήση tokens είναι βασικό μέτρο τόσο για την απόδοση όσο και για τον προϋπολογισμό.