Νέα μελέτη που δημοσιεύθηκε στο περιοδικό Science εξετάζει την απόδοση μεγάλων γλωσσικών μοντέλων σε ιατρικά περιβάλλοντα, μεταξύ των οποίων και πραγματικά περιστατικά στα επείγοντα, καταγράφοντας ότι τουλάχιστον ένα μοντέλο εμφάνισε καλύτερες επιδόσεις από γιατρούς σε συγκεκριμένες διαγνωστικές δοκιμές.
Όπως αναφέρει το TechCrunch, η έρευνα πραγματοποιήθηκε από ομάδα γιατρών και επιστημόνων υπολογιστών της Ιατρικής Σχολής του Χάρβαρντ και του Beth Israel Deaconess Medical Center. Στόχος ήταν να αξιολογηθεί πώς τα μοντέλα της OpenAI συγκρίνονται με ανθρώπους γιατρούς σε διαφορετικά ιατρικά σενάρια.
Σε ένα από τα πειράματα, οι ερευνητές εξέτασαν 76 ασθενείς που προσήλθαν στα επείγοντα του Beth Israel. Οι διαγνώσεις δύο επιμελητών γιατρών συγκρίθηκαν με εκείνες που παρήγαγαν τα μοντέλα o1 και 4o της OpenAI. Στη συνέχεια, οι απαντήσεις αξιολογήθηκαν από δύο άλλους επιμελητές γιατρούς, οι οποίοι δεν γνώριζαν ποιες διαγνώσεις είχαν δοθεί από ανθρώπους και ποιες από Τεχνητή Νοημοσύνη.
Σύμφωνα με τη μελέτη, το o1 είχε σε κάθε διαγνωστικό στάδιο είτε ελαφρώς καλύτερη είτε αντίστοιχη επίδοση σε σχέση με τους δύο γιατρούς και το μοντέλο 4o. Οι διαφορές ήταν εντονότερες στο πρώτο στάδιο, δηλαδή στην αρχική διαλογή στα επείγοντα, όπου οι διαθέσιμες πληροφορίες για τον ασθενή είναι περιορισμένες και η ανάγκη για σωστή απόφαση είναι άμεση.
Οι ερευνητές τόνισαν ότι δεν έγινε καμία προ-επεξεργασία των δεδομένων. Τα μοντέλα Τεχνητής Νοημοσύνης έλαβαν τις ίδιες πληροφορίες που υπήρχαν στους ηλεκτρονικούς ιατρικούς φακέλους τη στιγμή κάθε διάγνωσης.
Με βάση αυτά τα δεδομένα, το o1 έδωσε ακριβή ή πολύ κοντινή διάγνωση στο 67% των περιστατικών διαλογής, έναντι 55% για τον έναν γιατρό και 50% για τον δεύτερο.
Παρά τα ευρήματα, η μελέτη δεν υποστηρίζει ότι η τεχνητή νοημοσύνη είναι έτοιμη να λαμβάνει αποφάσεις ζωής ή θανάτου στα επείγοντα. Αντίθετα, οι συγγραφείς επισημαίνουν την ανάγκη για προοπτικές δοκιμές σε πραγματικές συνθήκες φροντίδας ασθενών.
Οι ερευνητές σημειώνουν επίσης ότι αξιολόγησαν μόνο πληροφορίες σε μορφή κειμένου, ενώ τα σημερινά μοντέλα εμφανίζουν περιορισμούς στην επεξεργασία μη κειμενικών δεδομένων. Παράλληλα, προειδοποιούν ότι δεν υπάρχει ακόμη επίσημο πλαίσιο λογοδοσίας για διαγνώσεις από τεχνητή νοημοσύνη, ενώ οι ασθενείς εξακολουθούν να χρειάζονται ανθρώπινη καθοδήγηση σε κρίσιμες ιατρικές αποφάσεις.
