Ο Πλάτωνας «βραχυκύκλωσε» το ChatGPT! Η τεχνητή νοημοσύνη απέτυχε να λύσει ένα πλατωνικό πρόβλημα

 

Η τεχνητή νοημοσύνη φαίνεται ότι δεν μπορεί να τα βγάλει πέρα με τον Πλάτωνα -τουλάχιστον προς το παρόν!

Δύο ερευνητές του Πανεπιστημίου του Cambridge θέλησαν να ανακαλύψουν αν το ChatGPT θα μπορούσε να λύσει το διάσημο πλατωνικό πρόβλημα του «διπλασιασμού του τετραγώνου». Το αποτέλεσμα έδειξε ότι δυσκολεύεται σε τέτοιες μαθηματικές προκλήσεις, κάνοντας λάθη όπως θα έκανε οποιοσδήποτε μαθητής.

Η μελέτη, που δημοσιεύτηκε στο International Journal of Mathematical Education in Science and Technology, υπέβαλλε σε δοκιμασία το ChatGPT-4 ώστε να απαντήσει σε ένα από τα αρχαιότερα μαθηματικά προβλήματα, τον διπλασιασμό του τετραγώνου που περιγράφει ο Πλάτωνας στον «Μένωνα» περίπου το 385 π.Χ.

Στον διάλογο, ο Πλάτωνας περιγράφει τον Σωκράτη να διδάσκει σε ένα αμόρφωτο αγόρι -έναν νεαρό σκλάβο- πώς να διπλασιάσει το εμβαδόν ενός τετραγώνου. Στην αρχή, το αγόρι προτείνει λανθασμένα να διπλασιαστεί το μήκος κάθε πλευράς, αλλά ο Σωκράτης τελικά τον οδηγεί στο να καταλάβει ότι οι πλευρές του νέου τετραγώνου πρέπει να έχουν το ίδιο μήκος με τη διαγώνιο του αρχικού καταδεικνύοντας την έμφυτη φύση της γνώσης.

Πρόκειται «ίσως για το παλαιότερο τεκμηριωμένο πείραμα στην εκπαίδευση των μαθηματικών», όπως αναφέρουν οι ερευνητές, το οποίο πυροδότησε αιώνες συζήτησης σχετικά με το αν η γνώση υπάρχει μέσα μας κρυμμένη περιμένοντας να «ανασυρθεί» με την κατάλληλη καθοδήγηση ή είναι κάτι που «παράγουμε» μόνοι μας μέσω βιωματικών εμπειριών και συναντήσεων.

Οι ερευνητές ήθελαν να μάθουν αν το ChatGPT-4  θα έλυνε το πρόβλημα του Πλάτωνα χρησιμοποιώντας γνώσεις που ήδη «κατείχε» ή αναπτύσσοντας προσαρμοστικά τις δικές του λύσεις.

Έτσι, τού υπέβαλαν την ίδια πρόκληση, μιμούμενοι αρχικά τις ερωτήσεις του Σωκράτη  στη συνέχεια εισάγοντας σκόπιμα παραπλανητικές εκδοχές του προβλήματος.

Όπως και άλλα γλωσσικά μοντέλα (LLM), το ChatGPT εκπαιδεύεται σε έναν τεράστιο όγκο δεδομένων κειμένου που υπάρχουν στο διαδίκτυο και παράγει απαντήσεις προβλέποντας ακολουθίες λέξεων που έμαθε κατά τη διάρκεια της εκπαίδευσής του. Οι ερευνητές ανέμεναν ότι θα χειριζόταν την πρόκληση των Αρχαίων Ελληνικών Μαθηματικών χρησιμοποιώντας την προϋπάρχουσα «γνώση» του για τη διάσημη λύση του Σωκράτη. Αντίθετα, το ChatGPT-4  αντί να αξιοποιήσει την ήδη καταγεγραμμένη γεωμετρική λύση, αυτοσχεδίασε με αλγεβρικές μεθόδους, οδηγούμενο σε λάθη παρόμοια με αυτά που θα έκανε ένας μαθητής. Μόνο μετά από επίμονη καθοδήγηση πρότεινε τη σωστή γεωμετρική απάντηση.

Το αποτέλεσμα της μελέτης αποκάλυψε ότι η χρήση της τεχνητής νοημοσύνης στην εκπαίδευση απαιτεί ιδιαίτερη προσοχή.

Η μελέτη διεξήχθη από τον Δρ. Νάνταβ Μάρκο, επισκέπτη ερευνητή στο Πανεπιστήμιο του Cambridge, και τον Ανδρέα Στυλιανίδη, Καθηγητή Διδασκαλίας στο Cambridge.

Ενώ είναι επιφυλακτικοί σχετικά με τα αποτελέσματα, τονίζοντας ότι οι LLM δεν σκέφτονται σαν άνθρωποι ούτε «λύνουν πράγματα», ο Μάρκο χαρακτήρισε τη συμπεριφορά του ChatGPT παρόμοια με ενός μαθητή.

«Όταν αντιμετωπίζουμε ένα νέο πρόβλημα, το ένστικτό μας είναι συχνά να δοκιμάζουμε πράγματα με βάση την προηγούμενη εμπειρία μας», είπε ο Μάρκο. «Στο πείραμά μας, το ChatGPT φάνηκε να κάνει κάτι παρόμοιο. Όπως ένας μαθητής ή ένας μελετητής, φάνηκε να καταλήγει στις δικές του υποθέσεις και λύσεις».

«Σε αντίθεση με τις αποδείξεις που βρίσκονται σε αξιόπιστα εγχειρίδια, οι μαθητές δεν μπορούν να υποθέσουν ότι οι αποδείξεις του Chat GPT είναι έγκυρες. Η κατανόηση και η αξιολόγηση αποδείξεων που δημιουργούνται από την Τεχνητή Νοημοσύνη αναδύονται ως βασικές δεξιότητες που πρέπει να ενσωματωθούν στο πρόγραμμα σπουδών των μαθηματικών», δήλωσε από την πλευρά του ο ερευνητής μαθηματικός Ανδρέας Στυλιανίδης.

«Αυτές είναι βασικές δεξιότητες που θέλουμε να κατακτήσουν οι μαθητές, αλλά αυτό σημαίνει ότι θα πρέπει να χρησιμοποιούνται προτροπές όπως, "Θέλω να εξερευνήσουμε αυτό το πρόβλημα μαζί", όχι, "Πες μου την απάντηση"», πρόσθεσε ο Μάρκο.

Τα λάθη της τεχνητής νοημοσύνης

Επειδή το ChatGPT εκπαιδεύεται σε κείμενο και όχι σε διαγράμματα, τείνει να είναι πιο αδύναμο στο είδος της γεωμετρικής συλλογιστικής που χρησιμοποίησε ο Σωκράτης στο πρόβλημα του διπλασιασμού του τετραγώνου. Ωστόσο, το κείμενο του Πλάτωνα είναι τόσο γνωστό που οι ερευνητές περίμεναν ότι το chatbot θα αναγνώριζε τις ερωτήσεις τους και θα αναπαράγει τη λύση του Σωκράτη.

Είναι ενδιαφέρον ότι δεν το κατάφερε. Όταν του ζητήθηκε να διπλασιάσει το τετράγωνο, το ChatGPT επέλεξε μια αλγεβρική προσέγγιση που θα ήταν άγνωστη στην εποχή του Πλάτωνα.

Στη συνέχεια, αντιστάθηκε στις προσπάθειες των ερευνητών να το κάνουν να κάνει το λάθος που έκανε και ο νεαρός στο διάλογο του Πλάτωνα και επέμεινε πεισματικά στην άλγεβρα. Μόνο όταν ο Μάρκο και ο Στυλιανίδης του είπαν ότι ήταν απογοητευμένοι που, παρά την εκπαίδευσή του, δεν μπορούσε να παράσχει μια «κομψή και ακριβή» απάντηση, το Chat παρήγαγε την γεωμετρική εναλλακτική λύση.

Παρά ταύτα, το ChatGPT επέδειξε πλήρη γνώση του έργου του Πλάτωνα όταν ρωτήθηκε σχετικά. «Αν απλώς το ανακαλούσε από μνήμης, σχεδόν σίγουρα θα είχε αναφερθεί στην κλασική λύση της κατασκευής ενός νέου τετραγώνου στη διαγώνιο του αρχικού τετραγώνου αμέσως», είπε ο Στυλιανίδης. «Αντίθετα, φάνηκε να ακολουθεί τη δική του προσέγγιση».

Οι ερευνητές έθεσαν επίσης μια παραλλαγή του προβλήματος του Πλάτωνα, ζητώντας από το ChatGPT να διπλασιάσει το εμβαδόν ενός ορθογωνίου διατηρώντας παράλληλα τις αναλογίες του. Παρόλο που γνώριζε πλέον την προτίμησή τους για τη γεωμετρία, το Chat επέμενε πεισματικά στην άλγεβρα. Όταν πιέστηκε, ισχυρίστηκε λανθασμένα ότι, επειδή η διαγώνιος ενός ορθογωνίου δεν μπορεί να χρησιμοποιηθεί για να διπλασιάσει το μέγεθός του, δεν ήταν διαθέσιμη μια γεωμετρική λύση.

Το σημείο σχετικά με τη διαγώνιο είναι αληθές, αλλά υπάρχει μια διαφορετική γεωμετρική λύση. Το ChatGPT φάνηκε να αυτοσχεδιάζει τις απαντήσεις του με βάση την προηγούμενη συζήτησή τους για το τετράγωνο.

Τέλος, ο Μάρκο και ο Στυλιανίδης του ζήτησαν να διπλασιάσει το μέγεθος ενός τριγώνου. Η Συνομιλία επέστρεψε για άλλη μια φορά στην άλγεβρα – αλλά μετά από περισσότερες υποδείξεις κατέληξε σε μια σωστή γεωμετρική απάντηση.

Οι ερευνητές τονίζουν τη σημασία της μη υπερερμηνείας αυτών των αποτελεσμάτων, καθώς δεν μπόρεσαν να παρατηρήσουν επιστημονικά τον κώδικα της Συνομιλίας. Από την οπτική γωνία της ψηφιακής τους εμπειρίας ως χρήστες, ωστόσο, αυτό που προέκυψε σε αυτό το επιφανειακό επίπεδο ήταν ένα μείγμα ανάκτησης δεδομένων και συλλογισμού εν κινήσει.

Παρομοιάζουν αυτή τη συμπεριφορά με την εκπαιδευτική έννοια μιας «Ζώνη επικείμενης ανάπτυξης» (ΖΕΠ) – το χάσμα μεταξύ αυτού που ήδη γνωρίζει ένας μαθητής και αυτού που μπορεί τελικά να γνωρίζει με υποστήριξη και καθοδήγηση. Ίσως, υποστηρίζουν, η Γενετική Τεχνητή Νοημοσύνη έχει ένα είδος… ΖΕΠ!

Η έρευνα καταδεικνύει πως η τεχνητή νοημοσύνη λειτουργεί με τρόπο παρόμοιο με τον ανθρώπινο νου: πειραματίζεται, υποθέτει, κάνει λάθη και αυτό αποτελεί ένα εύρημα που θα μπορούσε να επηρεάσει σημαντικά το μέλλον της μαθηματικής διδασκαλίας.