Οι χρήστες που κάνουν εντατική χρήση των υπηρεσιών κωδικοποίησης Τεχνητής Νοημοσύνης, οι λεγόμενες «φάλαινες», έχουν προκαλέσει τεράστια έξοδα, αναγκάζοντας ορισμένες από τις κορυφαίες startups να αναθεωρήσουν τις τιμολογιακές τους δομές.
«Φάλαινες» (σ.σ. infeerence whales, ο αγγλικός όρος) είναι οι χρήστες ΤΝ που κάνουν τεράστιο αριθμό ερωτήσεων/requests,, ζητούν πολύ μεγάλες απαντήσεις (π.χ. κείμενα χιλιάδων tokens),ή τρέχουν πολύ βαριές εργασίες (π.χ. προγραμματιστικά scripts, ανάλυση μεγάλων datasets) με το LLM.
Οι «φάλαινες» κάνουν τους ειδικούς του κλάδου να αναρωτιούνται αν τα προϊόντα ΤΝ που απλώς «μεταπωλούν συμπεράσματα» μπορούν να επιβιώσουν μακροπρόθεσμα.
Τα νεότερα μοντέλα συλλογιστικής χωρίζουν τα αιτήματα των χρηστών σε πολλά βήματα, γεγονός που αυξάνει το κόστος της συμπερασματολογίας. Όταν εφαρμόζεται σε υπηρεσίες κωδικοποίησης Τεχνητής Νοημοσύνης, όπου οι προγραμματιστές ορίζουν αυτοματοποιημένους πράκτορες για μακροπρόθεσμες εργασίες, τα έξοδα μπορούν να αυξηθούν ραγδαία.
Αυτό αποτελεί πρόβλημα για τις υπηρεσίες κωδικοποίησης Τεχνητής Νοημοσύνης, καθώς συχνά προσφέρονται μέσω μηνιαίων συνδρομητικών πακέτων. Πολλά πακέτα επιτρέπουν απεριόριστη χρήση με ένα σταθερό μηνιαίο πάγιο, και μερικοί χρήστες έχουν εκμεταλλευτεί αυτό το πλεονέκτημα
Αυτές οι startups πρέπει να πληρώνουν για τα υποκείμενα μοντέλα Tεχνητής Nοημοσύνης, οπότε πιέζονται μεταξύ μιας σχετικά σταθερής ροής εσόδων και ταχέως αυξανόμενων κόστους backend.
Η Anthropic προσέφερε τη δημοφιλή υπηρεσία Claude Code μέσω ενός προγράμματος απεριόριστης χρήσης με μηνιαίο κόστος 200 δολάρια φέτος. Ο πίνακας κατάταξης Claude Code Leaderboard κατατάσσει στην κορυφή έναν προγραμματιστή που έχει καταναλώσει σχεδόν 11 δισεκατομμύρια tokens.
Τα tokens είναι ο τρόπος με τον οποίο τα μοντέλα τεχνητής νοημοσύνης αναλύουν τις ερωτήσεις σε εύπεπτα κομμάτια δεδομένων Η τιμολόγηση στον κλάδο βασίζεται στον αριθμό των token που επεξεργάζονται. Σύμφωνα με αυτόν τον πίνακα κατάταξης, η χρήση token από τον προγραμματιστή που βρίσκεται στην κορυφή κοστίζει σχεδόν 35.000 δολάρια.
Αυτό είναι σαφώς μη βιώσιμο, οπότε η Anthropic σχεδιάζει να αλλάξει την τιμολόγησή της. Το πρόγραμμα των 200 δολαρίων το μήνα θα παραμείνει, αλλά η startup θα εισαγάγει εβδομαδιαία όρια τιμών, ξεκινώντας από τις 28 Αυγούστου.
