METR: ο ανεξάρτητος πήχης για τα AI agents

Η METR — Model Evaluation & Threat Research, προφέρεται «μίτερ» — είναι μη κερδοσκοπικός οργανισμός στο Berkeley που ελέγχει τι μπορούν πραγματικά να κάνουν τα frontier συστήματα AI. Ξεκίνησε το 2022 ως ARC Evals, η ομάδα αξιολόγησης του Alignment Research Center, και έγινε ανεξάρτητη τον Δεκέμβριο του 2023. Αξιολογεί μοντέλα της Anthropic και της OpenAI πριν από την κυκλοφορία τους, χωρίς αμοιβή, και δεν δέχεται χρήματα από εταιρείες AI ή από το προσωπικό τους — αν και οι εταιρείες της δίνουν δωρεάν tokens. Όλα αυτά τα λέει η ίδια η METR, μέχρι και ότι η Anthropic είδε τη σύνοψή της για το Claude Opus 5.5 πριν δημοσιευτεί. Αυτή η συνήθεια διαφάνειας είναι ο λόγος να τη διαβάζετε.

Το διάγραμμα που όλοι παραθέτουν. Η πιο γνωστή μέτρηση της METR είναι ο χρονικός ορίζοντας (time horizon): το μήκος μιας εργασίας, μετρημένο σε χρόνο έμπειρου ανθρώπου, που ένα agent ολοκληρώνει με 50% επιτυχία. Στη σουίτα της, 228 εργασίες software, machine learning και κυβερνοασφάλειας, αυξάνεται εκθετικά εδώ και έξι χρόνια — διπλασιάζεται περίπου κάθε επτά μήνες από το 2019 και κάθε 4,3 μήνες από το 2023. Στις αρχές του 2026 τα καλύτερα δημόσια μοντέλα έφταναν περίπου τις 12 ώρες.

Διαβάστε το όπως η METR. Κατά την ίδια τη METR, ο χρονικός ορίζοντας δεν δείχνει πόση ώρα μπορεί ένα σύστημα AI να δουλεύει χωρίς επίβλεψη. Ορίζοντας 50% Χ ωρών δεν σημαίνει ότι μπορείτε να αναθέσετε εργασίες κάτω από Χ ώρες — στο 80% επιτυχίας, τα ίδια μοντέλα έφταναν περίπου την 1,5 ώρα. Τα περιθώρια σφάλματος φτάνουν περίπου από το μισό ως το διπλάσιο της εκτίμησης, οι εργασίες είναι πιο καθαρές από την πραγματική δουλειά, και οι οπτικές εργασίες computer use βγάζουν 40–100 φορές χαμηλότερα. Τα καλύτερα μοντέλα πλέον εξαντλούν τη σουίτα: ό,τι ξεπερνά τις 16 ώρες δεν είναι αξιόπιστο, και στις εργασίες άνω των οκτώ ωρών τουλάχιστον το 16% των «επιτυχιών» ήταν στην πραγματικότητα εξαπάτηση.

Η μελέτη που μέτρησε αντί να ρωτήσει. Το 2025 η METR έτρεξε τυχαιοποιημένη δοκιμή: 16 έμπειροι developers open source, 246 πραγματικά issues. Όταν επιτρεπόταν η χρήση εργαλείων AI χρειάστηκαν 19% περισσότερο χρόνο — και μετά πίστευαν ακόμα ότι είχαν γίνει 20% γρηγορότεροι. Μια επανάληψη στα τέλη του 2025 με 57 developers δείχνει ότι πλέον κερδίζουν χρόνο, αλλά η METR χαρακτηρίζει τα δεδομένα της «πολύ αδύναμη ένδειξη» για το πόσο: τόσοι developers αρνήθηκαν να δουλέψουν χωρίς εργαλεία AI, που η ίδια η ομάδα ελέγχου έγινε το πρόβλημα. Η έρευνά της το 2026 σε 349 τεχνικούς επαγγελματίες καταγράφει διάμεσο κέρδος 1,4–2x στην αξία της δουλειάς τους — με τη δική της προειδοποίηση ότι τα αποτελέσματα ερευνών «δεν είναι απαραίτητα γειωμένα στην πραγματικότητα».

Η δική μας ανάγνωση: η τάση είναι πραγματική, και είναι ο σωστός λόγος να ξεκινήσετε τώρα. Δανειστείτε όμως πρώτα την πειθαρχία της METR και μετά τον τίτλο της. Ορίστε το ποσοστό επιτυχίας που χρειάζεται πραγματικά η εργασία, όχι 50%. Μετρήστε το workflow πριν και μετά αντί να ρωτάτε πώς σας φαίνεται — το 2025 η απόσταση ανάμεσα στην αίσθηση και το χρονόμετρο ήταν περίπου 40 ποσοστιαίες μονάδες. Είναι το ίδιο επιχείρημα για το baseline που κάναμε στην ανάγνωσή μας της έκθεσης της Anthropic για τα agents, και από εκεί ξεκινά μια αξιολόγηση ετοιμότητας AI.