Mental BoundΤα weights — αλλιώς παράμετροι — είναι οι εσωτερικοί αριθμοί που ορίζουν πώς συμπεριφέρεται ένα νευρωνικό δίκτυο. Κατά την εκπαίδευση το μοντέλο τα προσαρμόζει σε δισεκατομμύρια παραδείγματα μέχρι να γίνει καλό στη δουλειά του· το «7 δισεκατομμύρια παράμετροι» ή «70 δισεκατομμύρια weights» περιγράφει πόσους τέτοιους αριθμούς έχει ένα μοντέλο. Το μοντέλο δεν αποθηκεύει γεγονότα όπως μια βάση δεδομένων — κωδικοποιεί patterns στα weights.
Το μέγεθος έχει αντίτιμο: περισσότερα weights σημαίνουν μεγαλύτερη ικανότητα για πολύπλοκα patterns, αλλά και περισσότερη υπολογιστική ισχύ για εκπαίδευση και εκτέλεση — ένα μοντέλο 7B χωράει σε laptop, ενώ ένα 70B χρειάζεται σοβαρό hardware. Το fine-tuning λειτουργεί ενημερώνοντας ένα υποσύνολο αυτών των weights αντί να ξεκινά από το μηδέν.
Τα weights είναι αυτό που κατεβάζεις σε ένα αρχείο μοντέλου: η εκπαιδευμένη γνώση, ξεχωριστά από την αρχιτεκτονική που ορίζει πώς συνδέονται. Το παραλήρημα και τα λάθη συνήθως ανάγονται σε ένα pattern στα weights που δεν ταιριάζει ακριβώς στην κατάσταση.