Οι ερευνητές ελπίζουν ότι τα εγκεφαλικά εμφυτεύματα θα βοηθήσουν μια μέρα τους ανθρώπους που έχουν χάσει την ικανότητα να μιλούν να αποκτήσουν ξανά τη φωνή τους -και ίσως ακόμη και να τραγουδούν. Τώρα, για πρώτη φορά, οι επιστήμονες απέδειξαν ότι η ηλεκτρική δραστηριότητα του εγκεφάλου μπορεί να αποκωδικοποιηθεί και να χρησιμοποιηθεί για την ανακατασκευή της μουσικής.
Μια νέα μελέτη ανέλυσε δεδομένα από 29 άτομα που παρακολουθούνταν ήδη για επιληπτικές κρίσεις χρησιμοποιώντας συστοιχίες ηλεκτροδίων σε μέγεθος γραμματοσήμου που τοποθετήθηκαν απευθείας στην επιφάνεια του εγκεφάλου τους. Καθώς οι συμμετέχοντες άκουγαν το τραγούδι “Another Brick in the Wall, Part 1” των Pink Floyd του 1979, τα ηλεκτρόδια κατέγραψαν την ηλεκτρική δραστηριότητα διαφόρων περιοχών του εγκεφάλου που συντονίζονται με μουσικά στοιχεία όπως ο τόνος, ο ρυθμός, η αρμονία και οι στίχοι. Χρησιμοποιώντας μηχανική μάθηση, οι ερευνητές ανακατασκεύασαν αλλοιωμένο αλλά διακριτό ήχο αυτού που άκουγαν οι συμμετέχοντες. Τα αποτελέσματα της μελέτης δημοσιεύθηκαν την Τρίτη στο PLOS Biology.
Οι νευροεπιστήμονες εργάζονται εδώ και δεκαετίες για να αποκωδικοποιήσουν τι βλέπουν, τι ακούν ή τι σκέφτονται οι άνθρωποι μόνο από την εγκεφαλική δραστηριότητα. Το 2012 μια ομάδα στην οποία συμμετείχε ο επικεφαλής συγγραφέας της νέας μελέτης -ο γνωστικός νευροεπιστήμονας Robert Knight του Πανεπιστημίου της Καλιφόρνιας στο Μπέρκλεϊ- έγινε η πρώτη που κατάφερε να ανακατασκευάσει με επιτυχία ηχογραφήσεις λέξεων που άκουγαν οι συμμετέχοντες ενώ φορούσαν εμφυτευμένα ηλεκτρόδια. Άλλοι έχουν έκτοτε χρησιμοποιήσει παρόμοιες τεχνικές για την αναπαραγωγή εικόνων που είδαν ή φαντάστηκαν πρόσφατα από τις εγκεφαλικές σαρώσεις των συμμετεχόντων, συμπεριλαμβανομένων ανθρώπινων προσώπων και φωτογραφιών τοπίων. Όμως η πρόσφατη δημοσίευση του Knight και των συνεργατών του στο PLOS Biology είναι η πρώτη που προτείνει ότι οι επιστήμονες μπορούν να “κρυφακούσουν” τον εγκέφαλο για να συνθέσουν μουσική.
«Αυτά τα συναρπαστικά ευρήματα βασίζονται σε προηγούμενες εργασίες για την ανακατασκευή της απλής ομιλίας από την εγκεφαλική δραστηριότητα», λέει η Shailee Jain, νευροεπιστήμονας στο Πανεπιστήμιο της Καλιφόρνιας στο Σαν Φρανσίσκο, η οποία δεν συμμετείχε στη νέα μελέτη. «Τώρα είμαστε σε θέση να “σκάψουμε” πραγματικά στον εγκέφαλο για να ξεθάψουμε την “τροφή” του ήχου».
Για να μετατρέψουν τα δεδομένα της εγκεφαλικής δραστηριότητας σε μουσικό ήχο στη μελέτη, οι ερευνητές εκπαίδευσαν ένα μοντέλο τεχνητής νοημοσύνης για να αποκρυπτογραφήσουν τα δεδομένα που καταγράφηκαν από χιλιάδες ηλεκτρόδια που ήταν προσαρτημένα στους συμμετέχοντες, καθώς αυτοί άκουγαν το τραγούδι των Pink Floyd ενώ υποβάλλονταν σε χειρουργική επέμβαση.
Γιατί η ομάδα επέλεξε τους Pink Floyd και συγκεκριμένα το “Another Brick in the Wall, Part 1”; «Ο επιστημονικός λόγος, τον οποίο αναφέρουμε στο έγγραφο, είναι ότι το τραγούδι είναι πολύ πολυεπίπεδο. Φέρνει πολύπλοκες συγχορδίες, διαφορετικά όργανα και ποικίλους ρυθμούς που το καθιστούν ενδιαφέρον για ανάλυση», λέει ο Ludovic Bellier, γνωστικός νευροεπιστήμονας και επικεφαλής συγγραφέας της μελέτης. «Ο λιγότερο επιστημονικός λόγος μπορεί να είναι ότι απλά μας αρέσουν πολύ οι Pink Floyd».
H διαδικασία
Το μοντέλο τεχνητής νοημοσύνης ανέλυσε τα μοτίβα της απόκρισης του εγκεφάλου σε διάφορα συστατικά του ακουστικού προφίλ του τραγουδιού, ξεχωρίζοντας τις αλλαγές στο ύψος, το ρυθμό και τον τόνο. Στη συνέχεια, ένα άλλο μοντέλο τεχνητής νοημοσύνης συναρμολόγησε εκ νέου αυτή την αποδιαρθρωμένη σύνθεση για να εκτιμήσει τους ήχους που άκουσαν οι ασθενείς. Μόλις τα δεδομένα του εγκεφάλου τροφοδοτήθηκαν μέσω του μοντέλου, η μουσική επέστρεψε. Η μελωδία της ήταν περίπου άθικτη και οι στίχοι της ήταν αλλοιωμένοι αλλά διακριτοί αν κάποιος ήξερε τι να ακούσει.
Το μοντέλο αποκάλυψε επίσης ποια μέρη του εγκεφάλου ανταποκρίνονται στα διάφορα μουσικά χαρακτηριστικά του τραγουδιού. Οι ερευνητές διαπίστωσαν ότι ορισμένα τμήματα του κέντρου επεξεργασίας ήχου του εγκεφάλου -το οποίο βρίσκεται στην ανώτερη κροταφική έλικα, ακριβώς πίσω και πάνω από το αυτί- ανταποκρίνονται στην έναρξη φωνητικών ή ενός συνθεσάιζερ, ενώ άλλες περιοχές “αυλακώνονται” σε παρατεταμένα βουητά.
Αν και τα ευρήματα επικεντρώθηκαν στη μουσική, οι ερευνητές αναμένουν ότι τα αποτελέσματά τους θα είναι πιο χρήσιμα για τη μετάφραση των εγκεφαλικών κυμάτων σε ανθρώπινη ομιλία. Ανεξάρτητα από τη γλώσσα, η ομιλία περιέχει μελωδικές αποχρώσεις, όπως ρυθμό, έμφαση, τόνους και τονισμό. «Αυτά τα στοιχεία, τα οποία ονομάζουμε προσωδία, μεταφέρουν νόημα που δεν μπορούμε να επικοινωνήσουμε μόνο με λέξεις», λέει ο Bellier. Ελπίζει ότι το μοντέλο θα βελτιώσει τις διεπαφές εγκεφάλου-υπολογιστή, βοηθητικές συσκευές που καταγράφουν τα εγκεφαλικά κύματα που σχετίζονται με την ομιλία και χρησιμοποιούν αλγόριθμους για την ανακατασκευή των προβλεπόμενων μηνυμάτων. Αυτή η τεχνολογία, που βρίσκεται ακόμη στα σπάργανα, θα μπορούσε να βοηθήσει ανθρώπους που έχουν χάσει την ικανότητα να μιλούν εξαιτίας καταστάσεων όπως το εγκεφαλικό επεισόδιο ή η παράλυση.
Η Jain λέει ότι η μελλοντική έρευνα θα πρέπει να διερευνήσει αν αυτά τα μοντέλα μπορούν να επεκταθούν από τη μουσική που έχουν ακούσει οι συμμετέχοντες στη φανταστική εσωτερική ομιλία. «Είμαι αισιόδοξη ότι αυτά τα ευρήματα θα μεταφραστούν επειδή παρόμοιες περιοχές του εγκεφάλου εμπλέκονται όταν οι άνθρωποι φαντάζονται να μιλούν μια λέξη, σε σύγκριση με τη φυσική εκφορά της λέξης αυτής», λέει. Εάν μια διεπαφή εγκεφάλου-υπολογιστή θα μπορούσε να αναδημιουργήσει την ομιλία κάποιου με την εγγενή προσωδία και το συναισθηματικό βάρος που βρίσκεται στη μουσική, θα μπορούσε να ανακατασκευάσει πολύ περισσότερα από τις λέξεις.
Αρκετά εμπόδια παραμένουν προτού μπορέσουμε να τοποθετήσουμε αυτή την τεχνολογία στη διάθεσή μας ή στους εγκεφάλους των ασθενών. Πρώτον, το μοντέλο βασίζεται σε ηλεκτρικές καταγραφές που λαμβάνονται απευθείας από την επιφάνεια του εγκεφάλου. Καθώς βελτιώνονται οι τεχνικές καταγραφής του εγκεφάλου, μπορεί να είναι δυνατή η συλλογή αυτών των δεδομένων χωρίς χειρουργικά εμφυτεύματα -ίσως χρησιμοποιώντας υπερευαίσθητα ηλεκτρόδια που συνδέονται στο τριχωτό της κεφαλής. Η τελευταία τεχνολογία μπορεί να χρησιμοποιηθεί για την αναγνώριση μεμονωμένων γραμμάτων που οι συμμετέχοντες φαντάζονται στο κεφάλι τους, αλλά η διαδικασία διαρκεί περίπου 20 δευτερόλεπτα ανά γράμμα -πουθενά κοντά στην ταχύτητα της φυσικής ομιλίας, η οποία τρέχει με περίπου 125 λέξεις ανά λεπτό.
Οι ερευνητές ελπίζουν να κάνουν την παραμορφωμένη αναπαραγωγή πιο ευκρινή και πιο κατανοητή, τοποθετώντας τα ηλεκτρόδια πιο κοντά μεταξύ τους στην επιφάνεια του εγκεφάλου, επιτρέποντας μια ακόμη πιο λεπτομερή ματιά στην ηλεκτρική συμφωνία που παράγει ο εγκέφαλος. Πέρυσι μια ομάδα του Πανεπιστημίου της Καλιφόρνιας στο Σαν Ντιέγκο ανέπτυξε ένα πυκνά πακεταρισμένο πλέγμα ηλεκτροδίων που προσφέρει πληροφορίες για τα εγκεφαλικά σήματα με ανάλυση 100 φορές υψηλότερη από εκείνη των σημερινών συσκευών. «Σήμερα ανακατασκευάσαμε ένα τραγούδι», λέει ο Knight. «Ίσως αύριο μπορέσουμε να ανακατασκευάσουμε ολόκληρο το άλμπουμ των Pink Floyd».
Πηγή: Scientific American
Οι ερευνητές ελπίζουν ότι τα εγκεφαλικά εμφυτεύματα θα βοηθήσουν μια μέρα τους ανθρώπους που έχουν χάσει την ικανότητα να μιλούν να αποκτήσουν ξανά τη φωνή τους -και ίσως ακόμη και να τραγουδούν. Τώρα, για πρώτη φορά, οι επιστήμονες απέδειξαν ότι η ηλεκτρική δραστηριότητα του εγκεφάλου μπορεί να αποκωδικοποιηθεί και να χρησιμοποιηθεί για την ανακατασκευή της μουσικής.
Μια νέα μελέτη ανέλυσε δεδομένα από 29 άτομα που παρακολουθούνταν ήδη για επιληπτικές κρίσεις χρησιμοποιώντας συστοιχίες ηλεκτροδίων σε μέγεθος γραμματοσήμου που τοποθετήθηκαν απευθείας στην επιφάνεια του εγκεφάλου τους. Καθώς οι συμμετέχοντες άκουγαν το τραγούδι “Another Brick in the Wall, Part 1” των Pink Floyd του 1979, τα ηλεκτρόδια κατέγραψαν την ηλεκτρική δραστηριότητα διαφόρων περιοχών του εγκεφάλου που συντονίζονται με μουσικά στοιχεία όπως ο τόνος, ο ρυθμός, η αρμονία και οι στίχοι. Χρησιμοποιώντας μηχανική μάθηση, οι ερευνητές ανακατασκεύασαν αλλοιωμένο αλλά διακριτό ήχο αυτού που άκουγαν οι συμμετέχοντες. Τα αποτελέσματα της μελέτης δημοσιεύθηκαν την Τρίτη στο PLOS Biology.
Οι νευροεπιστήμονες εργάζονται εδώ και δεκαετίες για να αποκωδικοποιήσουν τι βλέπουν, τι ακούν ή τι σκέφτονται οι άνθρωποι μόνο από την εγκεφαλική δραστηριότητα. Το 2012 μια ομάδα στην οποία συμμετείχε ο επικεφαλής συγγραφέας της νέας μελέτης -ο γνωστικός νευροεπιστήμονας Robert Knight του Πανεπιστημίου της Καλιφόρνιας στο Μπέρκλεϊ- έγινε η πρώτη που κατάφερε να ανακατασκευάσει με επιτυχία ηχογραφήσεις λέξεων που άκουγαν οι συμμετέχοντες ενώ φορούσαν εμφυτευμένα ηλεκτρόδια. Άλλοι έχουν έκτοτε χρησιμοποιήσει παρόμοιες τεχνικές για την αναπαραγωγή εικόνων που είδαν ή φαντάστηκαν πρόσφατα από τις εγκεφαλικές σαρώσεις των συμμετεχόντων, συμπεριλαμβανομένων ανθρώπινων προσώπων και φωτογραφιών τοπίων. Όμως η πρόσφατη δημοσίευση του Knight και των συνεργατών του στο PLOS Biology είναι η πρώτη που προτείνει ότι οι επιστήμονες μπορούν να “κρυφακούσουν” τον εγκέφαλο για να συνθέσουν μουσική.
«Αυτά τα συναρπαστικά ευρήματα βασίζονται σε προηγούμενες εργασίες για την ανακατασκευή της απλής ομιλίας από την εγκεφαλική δραστηριότητα», λέει η Shailee Jain, νευροεπιστήμονας στο Πανεπιστήμιο της Καλιφόρνιας στο Σαν Φρανσίσκο, η οποία δεν συμμετείχε στη νέα μελέτη. «Τώρα είμαστε σε θέση να “σκάψουμε” πραγματικά στον εγκέφαλο για να ξεθάψουμε την “τροφή” του ήχου».
Για να μετατρέψουν τα δεδομένα της εγκεφαλικής δραστηριότητας σε μουσικό ήχο στη μελέτη, οι ερευνητές εκπαίδευσαν ένα μοντέλο τεχνητής νοημοσύνης για να αποκρυπτογραφήσουν τα δεδομένα που καταγράφηκαν από χιλιάδες ηλεκτρόδια που ήταν προσαρτημένα στους συμμετέχοντες, καθώς αυτοί άκουγαν το τραγούδι των Pink Floyd ενώ υποβάλλονταν σε χειρουργική επέμβαση.
Γιατί η ομάδα επέλεξε τους Pink Floyd και συγκεκριμένα το “Another Brick in the Wall, Part 1”; «Ο επιστημονικός λόγος, τον οποίο αναφέρουμε στο έγγραφο, είναι ότι το τραγούδι είναι πολύ πολυεπίπεδο. Φέρνει πολύπλοκες συγχορδίες, διαφορετικά όργανα και ποικίλους ρυθμούς που το καθιστούν ενδιαφέρον για ανάλυση», λέει ο Ludovic Bellier, γνωστικός νευροεπιστήμονας και επικεφαλής συγγραφέας της μελέτης. «Ο λιγότερο επιστημονικός λόγος μπορεί να είναι ότι απλά μας αρέσουν πολύ οι Pink Floyd».
H διαδικασία
Το μοντέλο τεχνητής νοημοσύνης ανέλυσε τα μοτίβα της απόκρισης του εγκεφάλου σε διάφορα συστατικά του ακουστικού προφίλ του τραγουδιού, ξεχωρίζοντας τις αλλαγές στο ύψος, το ρυθμό και τον τόνο. Στη συνέχεια, ένα άλλο μοντέλο τεχνητής νοημοσύνης συναρμολόγησε εκ νέου αυτή την αποδιαρθρωμένη σύνθεση για να εκτιμήσει τους ήχους που άκουσαν οι ασθενείς. Μόλις τα δεδομένα του εγκεφάλου τροφοδοτήθηκαν μέσω του μοντέλου, η μουσική επέστρεψε. Η μελωδία της ήταν περίπου άθικτη και οι στίχοι της ήταν αλλοιωμένοι αλλά διακριτοί αν κάποιος ήξερε τι να ακούσει.
Το μοντέλο αποκάλυψε επίσης ποια μέρη του εγκεφάλου ανταποκρίνονται στα διάφορα μουσικά χαρακτηριστικά του τραγουδιού. Οι ερευνητές διαπίστωσαν ότι ορισμένα τμήματα του κέντρου επεξεργασίας ήχου του εγκεφάλου -το οποίο βρίσκεται στην ανώτερη κροταφική έλικα, ακριβώς πίσω και πάνω από το αυτί- ανταποκρίνονται στην έναρξη φωνητικών ή ενός συνθεσάιζερ, ενώ άλλες περιοχές “αυλακώνονται” σε παρατεταμένα βουητά.
Αν και τα ευρήματα επικεντρώθηκαν στη μουσική, οι ερευνητές αναμένουν ότι τα αποτελέσματά τους θα είναι πιο χρήσιμα για τη μετάφραση των εγκεφαλικών κυμάτων σε ανθρώπινη ομιλία. Ανεξάρτητα από τη γλώσσα, η ομιλία περιέχει μελωδικές αποχρώσεις, όπως ρυθμό, έμφαση, τόνους και τονισμό. «Αυτά τα στοιχεία, τα οποία ονομάζουμε προσωδία, μεταφέρουν νόημα που δεν μπορούμε να επικοινωνήσουμε μόνο με λέξεις», λέει ο Bellier. Ελπίζει ότι το μοντέλο θα βελτιώσει τις διεπαφές εγκεφάλου-υπολογιστή, βοηθητικές συσκευές που καταγράφουν τα εγκεφαλικά κύματα που σχετίζονται με την ομιλία και χρησιμοποιούν αλγόριθμους για την ανακατασκευή των προβλεπόμενων μηνυμάτων. Αυτή η τεχνολογία, που βρίσκεται ακόμη στα σπάργανα, θα μπορούσε να βοηθήσει ανθρώπους που έχουν χάσει την ικανότητα να μιλούν εξαιτίας καταστάσεων όπως το εγκεφαλικό επεισόδιο ή η παράλυση.
Η Jain λέει ότι η μελλοντική έρευνα θα πρέπει να διερευνήσει αν αυτά τα μοντέλα μπορούν να επεκταθούν από τη μουσική που έχουν ακούσει οι συμμετέχοντες στη φανταστική εσωτερική ομιλία. «Είμαι αισιόδοξη ότι αυτά τα ευρήματα θα μεταφραστούν επειδή παρόμοιες περιοχές του εγκεφάλου εμπλέκονται όταν οι άνθρωποι φαντάζονται να μιλούν μια λέξη, σε σύγκριση με τη φυσική εκφορά της λέξης αυτής», λέει. Εάν μια διεπαφή εγκεφάλου-υπολογιστή θα μπορούσε να αναδημιουργήσει την ομιλία κάποιου με την εγγενή προσωδία και το συναισθηματικό βάρος που βρίσκεται στη μουσική, θα μπορούσε να ανακατασκευάσει πολύ περισσότερα από τις λέξεις.
Αρκετά εμπόδια παραμένουν προτού μπορέσουμε να τοποθετήσουμε αυτή την τεχνολογία στη διάθεσή μας ή στους εγκεφάλους των ασθενών. Πρώτον, το μοντέλο βασίζεται σε ηλεκτρικές καταγραφές που λαμβάνονται απευθείας από την επιφάνεια του εγκεφάλου. Καθώς βελτιώνονται οι τεχνικές καταγραφής του εγκεφάλου, μπορεί να είναι δυνατή η συλλογή αυτών των δεδομένων χωρίς χειρουργικά εμφυτεύματα -ίσως χρησιμοποιώντας υπερευαίσθητα ηλεκτρόδια που συνδέονται στο τριχωτό της κεφαλής. Η τελευταία τεχνολογία μπορεί να χρησιμοποιηθεί για την αναγνώριση μεμονωμένων γραμμάτων που οι συμμετέχοντες φαντάζονται στο κεφάλι τους, αλλά η διαδικασία διαρκεί περίπου 20 δευτερόλεπτα ανά γράμμα -πουθενά κοντά στην ταχύτητα της φυσικής ομιλίας, η οποία τρέχει με περίπου 125 λέξεις ανά λεπτό.
Οι ερευνητές ελπίζουν να κάνουν την παραμορφωμένη αναπαραγωγή πιο ευκρινή και πιο κατανοητή, τοποθετώντας τα ηλεκτρόδια πιο κοντά μεταξύ τους στην επιφάνεια του εγκεφάλου, επιτρέποντας μια ακόμη πιο λεπτομερή ματιά στην ηλεκτρική συμφωνία που παράγει ο εγκέφαλος. Πέρυσι μια ομάδα του Πανεπιστημίου της Καλιφόρνιας στο Σαν Ντιέγκο ανέπτυξε ένα πυκνά πακεταρισμένο πλέγμα ηλεκτροδίων που προσφέρει πληροφορίες για τα εγκεφαλικά σήματα με ανάλυση 100 φορές υψηλότερη από εκείνη των σημερινών συσκευών. «Σήμερα ανακατασκευάσαμε ένα τραγούδι», λέει ο Knight. «Ίσως αύριο μπορέσουμε να ανακατασκευάσουμε ολόκληρο το άλμπουμ των Pink Floyd».
Πηγή: Scientific American
