Η είδηση ότι πολλά πανεπιστήμια της Νέας Ζηλανδίας έχουν σταματήσει να χρησιμοποιούν λογισμικό ανίχνευσης για να αποκαλύψουν τη χρήση Τεχνητής Νοημοσύνης (AI) από τους φοιτητές υπογραμμίζει την πρόκληση που αντιμετωπίζει η τριτοβάθμια εκπαίδευση.
Με εργαλεία AI όπως το ChatGPT να είναι πλέον σε θέση να παράγουν δοκίμια, εκθέσεις και περιπτωσιολογικές μελέτες σε δευτερόλεπτα, το παλιό μοντέλο αξιολόγησης καταρρέει. Για δεκαετίες, αυτό το μοντέλο εκτιμάτο για την αξιολόγηση όχι μόνο των γνώσεων, αλλά και της ανάλυσης, της επιχειρηματολογίας και της επικοινωνίας.
Τώρα, όμως, η αξιοπιστία του βρίσκεται υπό πίεση. Αν μια μηχανή μπορεί να δημιουργήσει μια πειστική έκθεση κατά παραγγελία, πώς μπορούμε να είμαστε σίγουροι ότι αξιολογούμε την κατανόηση και τη συλλογιστική του ίδιου του φοιτητή;
Αρχίσαμε να εξερευνούμε έναν άλλο δρόμο. Αντί να ενισχύσουμε τη χρήση λογισμικού ανίχνευσης λογοκλοπής, επιστρέψαμε σε κάτι εκπληκτικά απλό: τη συζήτηση με τους φοιτητές.
Τα τελευταία δύο χρόνια, διεξάγουμε «διαδραστικές προφορικές αξιολογήσεις» (IOA). Αυτές αποδεικνύονται ένας από τους πιο αποτελεσματικούς και αυθεντικούς τρόπους για να δούμε τι γνωρίζουν πραγματικά οι μαθητές στην εποχή της Τεχνητής Νοημοσύνης.
Σκεφτείτε το ως μια δομημένη συζήτηση. Οι μαθητές συναντιούνται με έναν λέκτορα ή έναν δάσκαλο, ατομικά ή σε μικρές ομάδες, και απαντούν σε ερωτήσεις σχετικά με εργασίες που έχουν ήδη υποβάλει.
Οι εξεταστές δεν ελέγχουν απλώς τα απομνημονευμένα στοιχεία. Χρησιμοποιώντας τη σωκρατική μέθοδο ερωτήσεων, διερευνούν τη λογική πίσω από τις απαντήσεις των μαθητών, αναδεικνύοντας την πραγματική κατανόηση και όχι τις προβαρισμένες απαντήσεις.
Δεν πρόκειται για παράσταση ή ομιλία. Επειδή οι ερωτήσεις είναι προσαρμοσμένες σε κάθε μαθητή και αναπτύσσονται σε πραγματικό χρόνο, οι IOA είναι δύσκολο να ανατεθούν σε τρίτους: ένα chatbot μπορεί να παράγει κείμενο, αλλά δεν μπορεί να διατηρήσει μια διερευνητική συζήτηση σχετικά με τη δική σας εργασία.
Αξιολόγηση πρόσωπο με πρόσωπο
Δοκιμάσαμε για πρώτη φορά τα IOA σε ένα μεταπτυχιακό μάθημα μάρκετινγκ με 42 μαθητές. Ο καθένας συμμετείχε σε μια συνομιλία επτά λεπτών με βάση τις εργασίες του μαθήματος. Ο οδηγός βαθμολόγησης κάλυπτε τόσο το περιεχόμενο (κατανοούν τις έννοιες;) όσο και την επικοινωνία (μπορούν να τις εξηγήσουν με σαφήνεια και λογική;).
Τα αποτελέσματα ήταν ενθαρρυντικά. Ενώ προηγουμένως οι βαθμοί τείναν προς το ανώτερο εύρος της γραπτής αξιολόγησης, πιθανώς αντανακλώντας την αυξημένη βοήθεια της Τεχνητής Νοημοσύνης στις εργασίες που έκαναν στο σπίτι, οι IOA παρήγαγαν μια πιο ισορροπημένη κατανομή των βαθμών σε όλες τις βαθμολογικές κλίμακες.
Οι φοιτητές ανέφεραν ότι η διαδικασία τους φάνηκε δικαιότερη, ενώ οι διδάσκοντες μπόρεσαν να αντιληφθούν καλύτερα την κατανόηση και την κριτική σκέψη των φοιτητών. Ένας διδάσκων το διατύπωσε εύστοχα:
«Ο διάλογος αποκάλυψε τι πραγματικά είχαν καταλάβει οι φοιτητές, και όχι τι μπορούσαν να απομνημονεύσουν ή να αναθέσουν σε άλλους».
Για να διασφαλίσουμε ότι το άγχος δεν θα τους εμπόδιζε, ενσωματώσαμε πρακτικές ασκήσεις στα μαθήματα κατά τη διάρκεια του εξαμήνου, ώστε οι προσδοκίες να είναι σαφείς πολύ πριν από την τελική αξιολόγηση.
Δεν είναι ρεαλιστικό να διεξάγουμε ατομικές συνομιλίες με εκατοντάδες φοιτητές, οπότε προσαρμόσαμε τη μορφή. Σε μεγαλύτερα προπτυχιακά μαθήματα με πάνω από 200 φοιτητές, διεξάγουμε IOA σε ομαδικές συνεδρίες: οι φοιτητές παρευρίσκονται μαζί, αλλά ο καθένας απαντά ατομικά.
Χρησιμοποιούμε επίσης πολλούς αξιολογητές που διεξάγουν ταυτόχρονες συνεδρίες IOA. Αυτό μας επιτρέπει να αξιολογούμε μεγάλες ομάδες φοιτητών στο ίδιο χρονικό διάστημα με μια παραδοσιακή εξέταση, χωρίς να επιβαρύνουμε έναν μόνο λέκτορα ή διδάσκοντα.
Αυτό το μοντέλο έχει δύο μεγάλα πλεονεκτήματα: η διοικητική οργάνωση είναι διαχειρίσιμη και μειώνεται το άγχος. Το να βλέπουν οι συμφοιτητές τους να περνάνε από την ίδια διαδικασία κανονικοποιεί την εμπειρία. Η ομαδική μορφή διατηρεί την ουσία της IOA.
Επιστροφή στο μέλλον;
Μετά από δύο χρόνια, έχουν προκύψει σαφή μοτίβα. Οι IOA αποκαλύπτουν ιδιότητες που συχνά κρύβονται πίσω από γραπτές εξετάσεις και εκθέσεις. Οι μαθητές πρέπει να εξηγήσουν, να εφαρμόσουν και να υπερασπιστούν τις ιδέες τους σε πραγματικό χρόνο, ώστε να μπορούμε να δούμε αν έχουν πραγματικά κατανοήσει την ύλη και όχι μόνο αν μπορούν να δομήσουν μια έκθεση ή να αναπαράγουν ένα κείμενο.
Είναι σημαντικό ότι οι IOA αναπτύσσουν επίσης δεξιότητες που είναι χρήσιμες στην εργασία: σαφή επικοινωνία, κριτική σκέψη και υπεράσπιση μιας θέσης υπό αμφισβήτηση. Αυτές οι ικανότητες είναι απαραίτητες σε συνεντεύξεις, συναντήσεις με πελάτες και επαγγελματικές συζητήσεις. Όπως είπε ένας μαθητής:
«Έμοιαζε με συνέντευξη για δουλειά, όχι μόνο με εξέταση».
Οι IOA δεν είναι χωρίς προσπάθεια. Οι εξεταστές επωφελούνται από την εκπαίδευση στο πώς να κάνουν διερευνητικές αλλά δίκαιες ερωτήσεις και στην εφαρμογή των οδηγιών βαθμολόγησης με συνέπεια, ειδικά όταν αυξάνεται ο αριθμός των μαθητών και των συνεδριών.
Ο προγραμματισμός και η καταγραφή σε μεγάλη κλίμακα απαιτούν προσεκτικό σχεδιασμό, από τον συντονισμό των αιθουσών έως τη διαθεσιμότητα των εξεταστών και τις επιλογές καταγραφής. Ωστόσο, με τη σωστή υποστήριξη, αυτές οι προκλήσεις είναι διαχειρίσιμες.
Οι IOA δεν είναι πανάκεια, αλλά αποτελούν μια πολλά υποσχόμενη απάντηση στις πραγματικότητες της Τεχνητής Νοημοσύνης. Κάνουν πιο δύσκολη την εξωτερική ανάθεση εργασιών, βοηθούν το προσωπικό να διαπιστώσει την πραγματική κατανόηση και δίνουν στους μαθητές την ευκαιρία να εξασκηθούν σε συζητήσεις που κυριαρχούν στους σύγχρονους χώρους εργασίας.
Από πολλές απόψεις, οι IOA μας μεταφέρουν πίσω στο μέλλον: αναβιώνουν την παλαιότερη προφορική μορφή εξέτασης, επανασχεδιασμένη για τις σημερινές αίθουσες διδασκαλίας. Το σημαντικότερο είναι ότι δεν περιορίζονται στην προστασία της ακαδημαϊκής ακεραιότητας, αλλά αναπτύσσουν τις ικανότητες που αναμένουν οι εργοδότες.
Αν τα πανεπιστήμια θέλουν να προετοιμάσουν τους φοιτητές για τον πραγματικό κόσμο, προστατεύοντας παράλληλα την αξιοπιστία των μαθημάτων τους, ίσως ήρθε η ώρα να κάνουν κάτι που φαίνεται παράλογο: να σταματήσουν να γράφουν και να αρχίσουν να μιλάνε.
*Ο Patrick Dodd κατέχει MBA από τη Σχολή Διεθνούς Διοίκησης Thunderbird του Πανεπιστημίου Πολιτείας Αριζόνα και εργάζεται ως Επαγγελματικός Διδάκτορας στο Τμήμα Μάρκετινγκ του Πανεπιστημίου του Όκλαντ, με έμφαση στη χρήση της Τεχνητής Νοημοσύνης για τη βελτίωση των μαθησιακών αποτελεσμάτων. Η Shahper Richter Ακαδημαϊκός στους τομείς των Πληροφοριακών Συστημάτων, της Πληροφορικής και πρόσφατα του Ψηφιακού Μάρκετινγκ, με ερευνητικό έργο στην επίδραση της τεχνολογίας στην κοινωνία και εμπειρία διδασκαλίας σε τρία πανεπιστήμια τα τελευταία δέκα χρόνια. Το άρθρο τους αναδημοσιεύεται αυτούσιο στο Liberal μέσω άδειας Creative Commons από τον ιστότοπο TheConversation.com.
