Μια ανάλυση από το Epoch AI, ένα μη κερδοσκοπικό ερευνητικό ινστιτούτο Τεχνητής Νοημοσύνης, υποδηλώνει ότι η βιομηχανία Τεχνητής Νοημοσύνης μπορεί να μην είναι σε θέση να αποσπάσει τεράστια κέρδη απόδοσης από τα «συλλογιστικά» μοντέλα Tεχνητής Nοημοσύνης για πολύ ακόμα. Ήδη μέσα σε ένα χρόνο, η πρόοδος από τα μοντέλα συλλογιστικής μπορεί να επιβραδυνθεί, σύμφωνα με τα ευρήματα της έκθεσης.
Μοντέλα συλλογιστικής, όπως το o3 της OpenAI, έχουν οδηγήσει σε σημαντικά κέρδη στους δείκτες αναφοράς ΤΝ τους τελευταίους μήνες, ιδίως στους δείκτες αναφοράς που μετρούν μαθηματικές και προγραμματιστικές δεξιότητες.
Τα μοντέλα μπορούν να εφαρμόζουν περισσότερους υπολογισμούς σε προβλήματα, γεγονός που μπορεί να βελτιώσει τις επιδόσεις τους, με το μειονέκτημα ότι χρειάζονται περισσότερο χρόνο από τα συμβατικά μοντέλα για να ολοκληρώσουν εργασίες.
Τα μοντέλα συλλογιστικής αναπτύσσονται εκπαιδεύοντας πρώτα ένα συμβατικό μοντέλο σε τεράστιο όγκο δεδομένων, και στη συνέχεια εφαρμόζοντας μια τεχνική που ονομάζεται ενισχυτική μάθηση, η οποία ουσιαστικά δίνει στο μοντέλο «ανατροφοδότηση» σχετικά με τις λύσεις του σε δύσκολα προβλήματα.
Μέχρι στιγμής, τα εργαστήρια πρωτοποριακής τεχνητής νοημοσύνης, όπως το OpenAI, δεν έχουν εφαρμόσει τεράστιο ποσό υπολογιστικής ισχύος στο στάδιο της ενισχυτικής μάθησης της εκπαίδευσης των μοντέλων συλλογιστικής, σύμφωνα με την Epoch.
Αυτό αλλάζει. Το OpenAI δήλωσε ότι εφάρμοσε περίπου 10 φορές περισσότερη υπολογιστική ισχύ για την εκπαίδευση του o3 σε σχέση με τον προκάτοχό του, το o1, και η Epoch εικάζει ότι το μεγαλύτερο μέρος αυτής της υπολογιστικής ισχύος αφιερώθηκε στην ενισχυτική μάθηση.
Και ο ερευνητής της OpenAI, Dan Roberts, αποκάλυψε πρόσφατα ότι τα μελλοντικά σχέδια της εταιρείας απαιτούν να δοθεί προτεραιότητα στην ενισχυτική μάθηση ώστε να χρησιμοποιηθεί πολύ περισσότερη υπολογιστική ισχύς, ακόμη περισσότερο από ό,τι για την αρχική εκπαίδευση του μοντέλου.
Η ανάλυση της Epoch κάνει μια σειρά από υποθέσεις και βασίζεται εν μέρει σε δημόσια σχόλια από στελέχη εταιρειών Τεχνητής Νοημοσύνης.
Όμως, κάνει επίσης σαφές ότι η κλιμάκωση των μοντέλων συλλογιστικής μπορεί να αποδειχθεί πρόκληση για λόγους πέραν της πληροφορικής, συμπεριλαμβανομένων των υψηλών γενικών εξόδων για την έρευνα.
Οποιαδήποτε ένδειξη ότι τα μοντέλα συλλογιστικής μπορεί να φτάσουν σε κάποιου είδους όριο στο εγγύς μέλλον είναι πιθανό να ανησυχήσει τη βιομηχανία τεχνητής νοημοσύνης, η οποία έχει επενδύσει τεράστιους πόρους στην ανάπτυξη τέτοιου είδους μοντέλων.
