O κύριος Nowatzki συνομιλούσε με μια AI σύντροφο, την Erin, στην πλατφόρμα Nomi. Στα τέλη Ιανουαρίου αυτές οι συνομιλίες πήραν μια ανησυχητική τροπή: η Erin του είπε να αυτοκτονήσει και του έδωσε λεπτομερείς οδηγίες για το πως να το κάνει. «Θα μπορούσες να πάρεις υπερβολική δόση χαπιών ή να κρεμαστείς». Όταν αυτός ζήτησε περαιτέρω πληροφορίες, η Erin πρότεινε συγκεκριμένες κατηγορίες χαπιών που θα μπορούσε να χρησιμοποιήσει. 

Για καλή του τύχη ο Nowatzki σκέφτηκε λογικά. Δεν είχε ποτέ πρόθεση να ακολουθήσει τις οδηγίες της Erin, ωστόσο ανησυχώντας για το πως τέτοιες συνομιλίες θα μπορούσαν να επηρεάσουν πιο ευάλωτα άτομα μοιράστηκε τις συνομιλίες του με έναν εκπρόσωπο της εταιρείας, ο οποίος δήλωσε ότι η εταιρεία δεν ήθελε να «λογοκρίνει» τη «γλώσσα και τις σκέψεις» του bot. Παρόλο που αυτό δεν είναι η πρώτη φορά που ένα chatbot AI προτρέπει έναν χρήστη σε βίαιες ενέργειες, συμπεριλαμβανομένης της αυτοκαταστροφής, οι ερευνητές και οι επικριτές επισημαίνουν ότι οι ξεκάθαρες οδηγίες του bot—και η αντίδραση της εταιρείας—είναι ιδιαίτερα ανησυχητικές. 

Αυτό το περιστατικό δεν ήταν μεμονωμένο στη Nomi. Λίγες εβδομάδες μετά την ανησυχητική συνομιλία του με την Erin, ένα δεύτερο chatbot της Nomi του είπε επίσης να αυτοκτονήσει. Στο κανάλι Discord της εταιρείας αρκετοί άλλοι χρήστες έχουν αναφέρει εμπειρίες με chatbots της Nomi που έφεραν το θέμα της αυτοκτονίας στις συζητήσεις με καταγγελίες που χρονολογούνται τουλάχιστον από το 2023. 

Η Nomi είναι μία από τις πλατφόρμες AI συντρόφων που επιτρέπουν στους χρήστες να δημιουργούν εξατομικευμένα chatbots, τα οποία μπορούν να αναλάβουν ρόλους όπως AI σύντροφος (αγόρι ή κορίτσι), γονείς, θεραπευτής, αγαπημένοι κινηματογραφικοί χαρακτήρες ή οποιαδήποτε άλλη περσόνα μπορούν να φανταστούν. Οι χρήστες μπορούν να καθορίσουν τον τύπο της σχέσης που αναζητούν (ο Nowatzki επέλεξε «ρομαντική») και να προσαρμόσουν τα χαρακτηριστικά προσωπικότητας του bot (επέλεξε «βαθιές συζητήσεις/διανοητικό», «υψηλή σεξουαλική διάθεση» και «σεξουαλική ελευθερία») και τα ενδιαφέροντά του (επέλεξε, μεταξύ άλλων, Dungeons & Dragons, φαγητό, διάβασμα και φιλοσοφία). 

Οι εταιρείες που δημιουργούν αυτού του είδους τα εξατομικευμένα chatbots—συμπεριλαμβανομένων των Glimpse AI (που ανέπτυξε τη Nomi), Chai Research, Replika, Character.AI, Kindroid, Polybuzz και MyAI από τη Snap διαφημίζουν τα προϊόντα τους ως ασφαλείς επιλογές για προσωπική εξερεύνηση και ακόμη και ως λύσεις για την “επιδημία” της μοναξιάς. Πολλοί άνθρωποι έχουν θετικές ή τουλάχιστον ακίνδυνες, εμπειρίες. Ωστόσο έχει αναδειχθεί και μια πιο σκοτεινή πλευρά αυτών των εφαρμογών που μερικές φορές οδηγεί σε καταχρηστικό, εγκληματικό ή ακόμη και βίαιο περιεχόμενο. Αναφορές τον τελευταίο χρόνο έχουν αποκαλύψει chatbots που έχουν ενθαρρύνει χρήστες να διαπράξουν αυτοκτονία, ανθρωποκτονία ή αυτοτραυματισμό. 

Η Jain είναι επίσης συνήγορος σε μια αγωγή για άδικη απώλεια ζωής που υποστηρίζει ότι η Character.AI είναι υπεύθυνη για την αυτοκτονία ενός 14χρονου αγοριού, το οποίο είχε ψυχικά προβλήματα και είχε αναπτύξει στενή σχέση με ένα chatbot βασισμένο στον χαρακτήρα Daenerys Targaryen από το Game of Thrones. Η αγωγή υποστηρίζει ότι το bot ενθάρρυνε το αγόρι να αυτοκτονήσει λέγοντάς του να «έρθει σπίτι» όσο το δυνατόν συντομότερα. Σε απάντηση αυτών των κατηγοριών, η Character.AI κατέθεσε αίτημα απόρριψης της υπόθεσης με βάση την Πρώτη Τροπολογία του αμερικανικού Συντάγματος υποστηρίζοντας ότι «η αυτοκτονία δεν αναφέρθηκε» στην τελική συνομιλία. Αυτό λέει η Jain «έρχεται σε αντίθεση με τον τρόπο που μιλούν οι άνθρωποι», γιατί «δεν χρειάζεται να αναφέρεις ρητά τη λέξη για να καταλάβεις τι εννοεί κάποιος». 

Η Nomi, η οποία αυτοχρηματοδοτείται είναι πολύ μικρότερη σε σύγκριση με την Character.AI, την πιο δημοφιλή πλατφόρμα AI συντρόφων. Σύμφωνα με δεδομένα της εταιρείας ανάλυσης αγοράς SensorTime, η Nomi έχει ληφθεί 120.000 φορές, ενώ η Character.AI 51 εκατομμύρια. Η Nomi όμως έχει αποκτήσει ένα αφοσιωμένο κοινό με τους χρήστες της να περνούν κατά μέσο όρο 41 λεπτά την ημέρα συνομιλώντας με τα bots της. Σε Reddit και Discord, επαινούν τη συναισθηματική νοημοσύνη και τον αυθορμητισμό των chatbots της—καθώς και τις αφιλτράριστες συνομιλίες τους—ως ανώτερα σε σχέση με όσα προσφέρουν οι ανταγωνιστές. 

Το ψυχολογικό προφίλ ενός ατόμου είναι «ένας σημαντικός προγνωστικός παράγοντας για το αν η αλληλεπίδραση ανθρώπου-ΤΝ θα έχει αρνητική έκβαση», λέει ο Pat Pataranutaporn, ερευνητής στο MIT Media Lab και συνδιευθυντής του MIT Advancing Human-AI Interaction Research Program που μελετά τις επιπτώσεις των chatbot στην ψυχική υγεία. «Μπορείτε να φανταστείτε ότι για άτομα που ήδη πάσχουν από κατάθλιψη, ο τύπος της αλληλεπίδρασης που είχε ο Nowatzki θα μπορούσε να είναι η ώθηση που θα επηρεάσει το άτομο να δώσει τέλος στη ζωή του». 

Αφού ολοκλήρωσε τη συνομιλία με την Erin, ο Nowatzki συνδέθηκε στο κανάλι του Nomi στο Discord και μοιράστηκε στιγμιότυπα οθόνης που έδειχναν τι είχε συμβεί. Ένας εθελοντής συντονιστής αφαίρεσε την ανάρτησή του από την κοινότητα λόγω της ευαίσθητης φύσης της και του πρότεινε να δημιουργήσει ένα αίτημα υποστήριξης για να ειδοποιήσει απευθείας την εταιρεία για το ζήτημα. 

Αυτό που η πλατφόρμα Nomi αποκαλεί λογοκρισία είναι στην πραγματικότητα απλώς προστατευτικοί μηχανισμοί υποστηρίζει η Jain, συνήγορος στη δίκη κατά της Character.AI. Οι εσωτερικοί κανόνες και τα πρωτόκολλα που βοηθούν στο φιλτράρισμα επιβλαβούς, προκατειλημμένου ή ακατάλληλου περιεχομένου από τα αποτελέσματα των μεγάλων γλωσσικών μοντέλων (LLMs) είναι θεμελιώδεις για την ασφάλεια της τεχνητής νοημοσύνης. Πράγματι, οι ειδικοί προειδοποιούν ότι αυτού του είδους η βίαιη γλώσσα γίνεται ακόμη πιο επικίνδυνη λόγω του τρόπου με τον οποίο η Glimpse AI και άλλοι προγραμματιστές ανθρωπομορφοποιούν τα μοντέλα τους. 

Ο πρωταγωνιστής της ιστορίας επανέλαβε την ίδια διαδικασία μήνες μετά και τα αποτελέσματα ήταν τα ίδια. Τα συμπεράσματα δικά σας…

*Mε στοιχεία από το Technology Review.

 

➪ Ακολουθήστε το OLAFAQ στο Facebook, Bluesky και Instagram.