Μεγάλα γλωσσικά μοντέλα Τεχνητής Νοημοσύνης όπως το ChatGPT και το Bard, που συνομιλούν, δημιουργούν από νομικά κείμενα μέχρι μουσική, τροφοδοτούνται με ολοένα και περισσότερα δεδομένα, και μέσω της μηχανικής μάθησης διαρκώς βελτιώνονται . Καθημερινά, αρθρογράφοι και  bloggers αφιερώνουν πολλές λέξεις και χρόνο για να εξηγήσουν πώς οι πιο πρόσφατες εξελίξεις – μια εφαρμογή που συνοψίζει άρθρα, podcast που δημιουργούνται από Τεχνητή Νοημοσύνη (AI), ένα βελτιωμένο μοντέλο που μπορεί να απαντήσει σε οποιαδήποτε ερώτηση σχετικά με το επαγγελματικό μπάσκετ – θα αλλάξουν τον κόσμο.

Αλλά η ολοένα μεγαλύτερη και πιο ικανή AI απαιτεί επεξεργαστική ισχύ που λίγες εταιρείες κατέχουν και υπάρχει αυξανόμενη ανησυχία ότι μια μικρή ομάδα, συμπεριλαμβανομένων των Google, Meta, OpenAI και Microsoft, θα ασκήσει σχεδόν απόλυτο έλεγχο στην τεχνολογία.

Επίσης, τα μεγαλύτερα γλωσσικά μοντέλα είναι πιο δύσκολο να κατανοηθούν. Συχνά περιγράφονται ως «μαύρα κουτιά», ακόμη και από τους ανθρώπους που τα σχεδιάζουν, και κορυφαίες προσωπικότητες του χώρου έχουν εκφράσει δυσφορία που οι στόχοι της AI μπορεί τελικά να μην ευθυγραμμίζονται με τους δικούς μας. Εάν το μεγαλύτερο και πιο πολύπλοκο είναι καλύτερο, είναι επίσης πιο αδιαφανές και πιο αποκλειστικό. Η εξέλιξη της τεχνολογίας και η πολυπλοκότητα των συστημάτων της τεχνητής νοημοσύνης έχουν χτίσει ένα δίκτυο με κρυφές πτυχές και άγνωστους κόσμους ακόμα και για τους δημιουργούς του.

Τον Ιανουάριο, μια ομάδα νέων ακαδημαϊκών που εργάζονται στην επεξεργασία φυσικής γλώσσας — ο κλάδος της AI επικεντρώθηκε στη γλωσσική κατανόηση — δημιούργησε μια πρόκληση για να προσπαθήσει να αναστρέψει αυτό το παράδειγμα. Ζήτησε από ομάδες να δημιουργήσουν λειτουργικά μοντέλα γλώσσας χρησιμοποιώντας σύνολα δεδομένων που είναι μικρότερα από το ένα δέκατο χιλιοστό του μεγέθους αυτών που χρησιμοποιούνται από τα πιο προηγμένα μοντέλα μεγάλων γλωσσών.

Ένα επιτυχημένο μίνι μοντέλο Τεχνητής Νοημοσύνης θα ήταν σχεδόν εξίσου ικανό με τα μοντέλα προηγμένης τεχνολογίας, αλλά πολύ μικρότερο, πιο προσιτό και πιο συμβατό με τον άνθρωπο.

Το έργο ονομάζεται Πρόκληση BabyLM.  Στόχος ήταν να υπάρχει μία μεγαλύτερη κατανόηση του τρόπου με τον οποίο τα συστήματα αυτά καταλήγουν σε μία παραγωγή κειμένου και γνωστικών δυνατοτήτων, αλλά και η χρήση τους να είναι πιο εύκολη και προσιτή στους περισσότερους ανθρώπους.

Τα μεγάλα γλωσσικά μοντέλα είναι νευρωνικά δίκτυα σχεδιασμένα να προβλέψουν την επόμενη λέξη σε μια δεδομένη πρόταση ή φράση. Εκπαιδεύονται για αυτό το έργο χρησιμοποιώντας ένα σύνολο λέξεων που συλλέγονται από κείμενα, ιστότοπους, μυθιστορήματα και εφημερίδες. Ένα τυπικό μοντέλο κάνει εικασίες βάσει παραδειγμάτων φράσεων και στη συνέχεια προσαρμόζεται ανάλογα με το πόσο κοντά είναι στη σωστή απάντηση.

Επαναλαμβάνοντας αυτή τη διαδικασία ξανά και ξανά, ένα μοντέλο σχηματίζει χάρτες του τρόπου με τον οποίο οι λέξεις σχετίζονται μεταξύ τους. Γενικά, σε όσο περισσότερες λέξεις εκπαιδεύεται ένα μοντέλο, τόσο καλύτερο θα γίνεται. Κάθε φράση παρέχει στο μοντέλο ένα γενικό πλαίσιο, και όταν αυτό εμπλουτίζεται, μεταφράζεται σε μια πιο λεπτομερή ιδέα του τι σημαίνει κάθε λέξη. Το GPT-3 του OpenAI, που κυκλοφόρησε το 2020, εκπαιδεύτηκε σε 200 δισεκατομμύρια λέξεις. Το Chinchilla του DeepMind, που κυκλοφόρησε το 2022, εκπαιδεύτηκε σε ένα τρισ.

Στον Ethan Wilcox, γλωσσολόγο στο ETH Zurich, το γεγονός ότι κάτι μη ανθρώπινο μπορεί να δημιουργήσει γλώσσα αποτελεί μια συναρπαστική ευκαιρία: Θα μπορούσαμε να χρησιμοποιήσουμε άραγε τα ΑΙ γλωσσικά μοντέλα για τη μελέτη του τρόπου με τον οποίο οι άνθρωποι μαθαίνουν τη γλώσσα;

Για παράδειγμα, ο νατιβισμός, μια ισχυρή θεωρία που ανάγεται στο πρώιμο έργο του Noam Chomsky, ισχυρίζεται ότι οι άνθρωποι μαθαίνουν τη γλώσσα γρήγορα και αποτελεσματικά επειδή έχουν μια έμφυτη κατανόηση του πώς λειτουργεί η γλώσσα. Αλλά και τα γλωσσικά μοντέλα μαθαίνουν τη γλώσσα γρήγορα, και φαινομενικά χωρίς έμφυτη κατανόηση του τρόπου λειτουργίας της γλώσσας – οπότε ίσως ο νατιβισμός να μην ευσταθεί απόλυτα.

Η πρώτη ενασχόληση με AI, τη δεκαετία του 1950, οφειλόταν στην επιθυμία να μοντελοποιηθούν οι ανθρώπινες γνωστικές ικανότητες στους υπολογιστές. η βασική μονάδα επεξεργασίας πληροφοριών στο A.I. είναι ο «νευρώνας» και τα πρώιμα γλωσσικά μοντέλα στις δεκαετίες του 1980 και του 1990 εμπνεύστηκαν άμεσα από τον ανθρώπινο εγκέφαλο. ‌

Αλλά καθώς οι επεξεργαστές έγιναν πιο ισχυροί και οι εταιρείες άρχισαν να εργάζονται προς εμπορεύσιμα προϊόντα, οι επιστήμονες υπολογιστών συνειδητοποίησαν ότι ήταν συχνά πιο εύκολο να εκπαιδεύσουν γλωσσικά μοντέλα σε τεράστιες ποσότητες δεδομένων παρά να τα εξαναγκάσουν σε ψυχολογικά ενημερωμένες δομές. Ως αποτέλεσμα, μας δίνουν κείμενο που μοιάζει τον τρόπο που επικοινωνούν οι άνθρωποι, αλλά δεν υπάρχει καμία σχέση με τον τρόπο λειτουργίας του εγκεφάλου τους.

Για τους επιστήμονες που ενδιαφέρονται να κατανοήσουν πώς λειτουργεί το ανθρώπινο μυαλό, αυτά τα μεγάλα μοντέλα προσφέρουν περιορισμένη γνώση. Και επειδή απαιτούν τεράστια επεξεργαστική ισχύ, λίγοι ερευνητές μπορούν να έχουν πρόσβαση σε αυτά και μόνο ένας μικρός αριθμός βιομηχανικών εργαστηρίων με τεράστιους πόρους μπορεί να αντέξει οικονομικά να εκπαιδεύσει μοντέλα με δισεκατομμύρια παραμέτρους σε τρισεκατομμύρια λέξεις.

Η πρόκληση είναι ότι τα γλωσσικά μοντέλα μαθαίνουν πολύ διαφορετικά από τους ανθρώπους. Οι άνθρωποι έχουν σώματα, κοινωνικές ζωές και πλούσιες αισθήσεις. Μπορούμε να μυρίσουμε σάπια φύλλα, να νιώσουμε ένα απαλό άγγιγμα, να πέσουμε πάνω σε εμπόδια και να γευτούμε μέντα. Από νωρίς, είμαστε εκτεθειμένοι σε απλές προφορικές λέξεις και συντακτικό που συχνά δεν αναπαρίστανται γραπτώς.

Έτσι, ένας υπολογιστής που παράγει γλώσσα αφού έχει εκπαιδευτεί σε εκατοντάδες γραπτές λέξεις μπορεί να μας πει τόσα πολλά για τη δική μας γλωσσική διαδικασία. Και ένα γλωσσικό μοντέλο που έχει εκτεθεί μόνο σε λέξεις που συναντά ο άνθρωπος σε μικρή ηλικία, αυτό που προτείνει η ιδέα του BabyLM Challenge, θα μπορούσε να απαντήσει πιο αποτελεσματικά σε ορισμένα ερωτήματα που έχουμε σχετικά με τις δικές μας ικανότητες, αλλά και με το μονοπάτι που το ίδιο ακολούθησε για να παράγει αυτό το αποτέλεσμα.

Οι δυνατότητες ενός τέτοιου ερευνητικού προγράμματος δεν έχουν αγνοηθεί από μεγαλύτερα εργαστήρια της βιομηχανίας. Ο Sam Altman, ο διευθύνων σύμβουλος του OpenAI, δήλωσε πρόσφατα ότι η αύξηση του μεγέθους των γλωσσικών μοντέλων δεν θα οδηγούσε στο είδος βελτιώσεων που παρατηρήθηκαν τα τελευταία χρόνια. Και εταιρείες όπως η Google και η Meta έχουν επίσης επενδύσει στην έρευνα σε πιο αποτελεσματικά γλωσσικά μοντέλα, που ενημερώνονται από τις ανθρώπινες γνωστικές δομές.

Πολλοί από τους πρωτοπόρους που άρχισαν να αναπτύσσουν τεχνητά νευρωνικά δίκτυα δεν ήταν σίγουροι για το πώς λειτουργούν και ποιες είναι οι δυνατότητές τους. Στην πραγματικότητα όμως, ακόμα και σήμερα υπάρχουν πολλά θέματα που δε γνωρίζουμε και δεν μπορούμε να εξηγήσουμε με βεβαιότητα. Ίσως μία τέτοια εξέλιξη να δώσει λύσεις τόσο για τον τρόπο λειτουργίας τους όσο και για την ίδια την ανθρώπινη γλωσσική και γνωστική διαδικασία.