Τα εργαστήρια Τεχνητής Νοημοσύνης αγωνίζονται να δημιουργήσουν data centers τόσο μεγάλα όσο το Μανχάταν, κάθε ένα δισεκατομμυρίων δολαρίων και με κατανάλωση ενέργειας όσο μια μικρή πόλη.
Όπως αναφέρει το TechCrunch, η προσπάθεια βασίζεται στην πίστη στο «scaling» — την ιδέα ότι η προσθήκη περισσότερης υπολογιστικής ισχύος στις υπάρχουσες μεθόδους εκπαίδευσης AI θα δημιουργήσει κάποια στιγμή υπερανθρώπινα συστήματα ικανά να εκτελούν κάθε είδους εργασία.
Ωστόσο, αυξανόμενος αριθμός ερευνητών αμφισβητεί ότι η κλιμάκωση των μεγάλων γλωσσικών μοντέλων μπορεί να έχει όρια και ότι απαιτούνται νέες ανακαλύψεις για τη βελτίωση της απόδοσης της AI.
Αυτό είναι το στοίχημα της Σάρα Χούκερ, πρώην αντιπροέδρου Έρευνας AI στην Cohere και alumna του Google Brain, με τη νέα της startup, Adaption Labs.
Μαζί με τον Σουντίπ Ρόι, επίσης πρώην Cohere και Google, η εταιρεία βασίζεται στην ιδέα ότι η απλή κλιμάκωση των LLMs είναι πλέον αναποτελεσματική για την αύξηση της απόδοσης των μοντέλων AI.
Σε συνέντευξή της στο TechCrunch, η Χούκερ δήλωσε ότι η Adaption Labs κατασκευάζει συστήματα AI που μπορούν συνεχώς να προσαρμόζονται και να μαθαίνουν από πραγματικές εμπειρίες με εξαιρετική αποτελεσματικότητα. Δεν αποκάλυψε λεπτομέρειες για τις μεθόδους ή αν η εταιρεία χρησιμοποιεί LLMs ή άλλη αρχιτεκτονική.
«Υπάρχει πλέον ένα σημείο καμπής όπου είναι σαφές ότι η φόρμουλα απλώς κλιμάκωσης των μοντέλων — ελκυστική αλλά βαρετή — δεν παράγει νοημοσύνη ικανή να αλληλεπιδράσει με τον κόσμο», δήλωσε η Χούκερ.
Η προσαρμογή είναι «η καρδιά της μάθησης», εξηγεί: Αν χτυπήσετε το δάχτυλό σας στο τραπέζι, θα μάθετε να περνάτε προσεκτικά την επόμενη φορά. Τα εργαστήρια AI έχουν προσπαθήσει να ενσωματώσουν αυτή την ιδέα μέσω της ενισχυτικής μάθησης (RL), η οποία όμως δεν βοηθά τα συστήματα που χρησιμοποιούνται ήδη από πελάτες να μαθαίνουν από τα λάθη τους σε πραγματικό χρόνο.
Ορισμένα εργαστήρια προσφέρουν υπηρεσίες προσαρμογής μοντέλων για επιχειρήσεις, αλλά με υψηλό κόστος — φημολογείται ότι η OpenAI απαιτεί πάνω από 10 εκατ. δολάρια για τέτοιες υπηρεσίες.
