Όταν γεννήθηκε ο Ρώσος καλλιτέχνης Vasily Kandinsky, ο πρώτος υπολογιστής δεν είχε καν κατασκευαστεί ακόμα.

Τώρα, περισσότερα από 75 χρόνια μετά το θάνατο του, ένα διαδικτυακό εργαλείο που τροφοδοτείται από τεχνητή νοημοσύνη επιτρέπει στους ανθρώπους να βιώσουν τους πίνακές του με τον ίδιο τρόπο που το έκανε και εκείνος: ως μουσική.

Ακούστε χρώματα, δείτε ήχους

Ο Kandinsky έπασχε από μια νευρολογική πάθηση που ονομάζεται συναισθησία, κατά την οποία η διέγερση μιας αίσθησης ενεργοποιεί μια άλλη.

Στην περίπτωση του Kandinsky, η θέαση ορισμένων χρωμάτων τον έκανε να ακούει ορισμένους ήχους και να αισθάνεται ορισμένα συναισθήματα. Για παράδειγμα το κίτρινο ακουγόταν σαν τρομπέτα και ένιωθε παιχνιδιάρης, ενώ το κόκκινο ακουγόταν σαν βιολί και ένιωθε ανήσυχος.

«Όταν ο Kandinsky ζωγράφιζε, δύο αισθήσεις δούλευαν συστηματικά μαζί: η ακοή και η όραση», έγραψε ο Serge Lasvignes, πρόεδρος του Centre Pompidou, ενός μουσείου τέχνης, βιβλιοθήκης και ερευνητικού κέντρου στο Παρίσι, σε ανάρτηση στο blog της Google.

«Τα χρώματα και τα σχήματα μεταφράζονταν σε ήχους, αρμονίες και δονήσεις που αποτελούσαν γραμμές και μοτίβα», συνέχισε.

Η σύνδεση χρωμάτων και ήχων είναι όμως μόνο ένας από τους 80 διαφορετικούς τρόπους για να βιώσει κανείς τη συναισθησία. Άλλοι άνθρωποι συνδέουν γράμματα με χρώματα ή λέξεις με γεύσεις.

Κανείς δεν γνωρίζει με βεβαιότητα πόσοι άνθρωποι έχουν συναισθησία – ανάλογα με την πηγή τα νούμερα διαφέρουν. Μπορεί να είναι ένας στους 2.000 ανθρώπους, ένας στους 300 ανθρώπους ή (σε κάποιο βαθμό) όλοι – αλλά στους διάσημους «συναισθητικούς» περιλαμβάνονται ο μουσικός Kanye West, ο συγγραφέας Vladimir Nabokov και ο συνθέτης Richard Wagner.

Για τους ανθρώπους που δεν βιώνουν συναισθησία με φυσικό τρόπο, η έννοια μπορεί να είναι δύσκολο να κατανοηθεί – πώς μπορεί ένα χρώμα να έχει έναν ήχο; – γι’ αυτό το Google Arts & Culture και το Centre Pompidou συνεργάστηκαν για να δημιουργήσουν την εφαρμογή “Play a Kandinsky”.

Αυτό το διαδικτυακό εργαλείο επιτρέπει στους χρήστες να ακούσουν τι θα μπορούσε να είχε ακούσει ο Kandinsky όταν ζωγράφιζε το αριστούργημά του, Κίτρινο-Κόκκινο-Μπλε, το 1925 – και όλη η μουσική στο πείραμα γράφτηκε με τη βοήθεια της τεχνητής νοημοσύνης.

Αναδημιουργώντας ένα αριστούργημα

Το πρώτο βήμα που έπρεπε να γίνει για τη δημιουργία του “Play a Kandinsky” ήταν η κατανόηση του πώς ακριβώς ο ίδιος ο Kandinsky βίωνε τη συναισθησία, οπότε οι ερευνητές μελέτησαν τα γραπτά του σχετικά με τις εμπειρίες του.

Στη συνέχεια, χρειάζονταν τη μουσική.

Οι πειραματικοί μουσικοί NSDOS και Antoine Bertin εκπαίδευσαν μια εφαρμογή τεχνητής νοημοσύνης της Google να συνθέσει μουσική για μέρη του “Yellow-Red-Blue” με βάση όσα είχαν μάθει για τη συναισθησία του Kandinsky καθώς και από τις φωτογραφίες  της προσωπικής συλλογής του καλλιτέχνη.

«Εκπαιδεύσαμε το Google Transformer, ένα νευρωνικό δίκτυο που αναπτύχθηκε από την ομάδα Google Magenta, σε μουσική από την εποχή του Kandinsky και καλέσαμε αυτή τη μηχανή να δημιουργήσει νέες παρτιτούρες για να διαμορφώσει μια νέα προοπτική για το πώς μπορεί να ακούγεται ο πίνακας», δήλωσε ο Bertin.

«Προσκαλώντας τη μηχανή να εκφραστεί, η μουσική προέκυψε κατά κάποιον τρόπο από μόνη της», πρόσθεσε. «Και ένιωσα ότι, ως καλλιτέχνες, ήμασταν περισσότερο διαμεσολαβητές από την εποχή του Kandinsky στο σήμερα παρά οι ίδιοι οι ερμηνευτές της θεωρίας, και αυτό ήταν πολύ συναρπαστικό».

Η ευκαιρία σας να βιώσετε τη συναισθησία

Τώρα, όποιος θέλει να βιώσει τη συναισθησία με τον τρόπο που θα μπορούσε να την είχε βιώσει ο Kandinsky, μπορεί να επισκεφθεί το πείραμα “Play a Kandinsky”, το οποίο χωρίζεται σε τέσσερα κεφάλαια.

Το πρώτο κεφάλαιο εισάγει την έννοια της συναισθησίας και το πώς την βίωσε ο Kandinsky.

Στο δεύτερο, οι χρήστες κάνουν κλικ σε ένα από τα τρία σχήματα – ένα κίτρινο ορθογώνιο, έναν κόκκινο σταυρό ή έναν μπλε κύκλο – για να ακούσουν ένα απόσπασμα μουσικής παρόμοιο με αυτό που μπορεί να άκουγε και να ένιωθε ο Kandinsky όταν κοίταζε το συγκεκριμένο σχήμα.

Το τρίτο κεφάλαιο έχει σκοπό να επιτρέψει στους χρήστες να βιώσουν τη συναισθησία με τον τρόπο που θα μπορούσε να έχει βιώσει ο Kandinsky κοιτάζοντας το Κίτρινο-Κόκκινο-Μπλε.

Η Google χώρισε τον πίνακα σε επτά περιοχές, και κάνοντας κλικ σε μία από αυτές, οι χρήστες ενεργοποιούν μια μουσική κίνηση με βάση τα σχήματα και τα χρώματα της συγκεκριμένης περιοχής.

Η περιοχή με ένα κίτρινο ορθογώνιο στο κέντρο της, για παράδειγμα, ενεργοποιεί το «Κίτρινο Κίνημα», που περιγράφεται ως «απλά και φωτεινά σχήματα που εκπέμπουν γήινη τρέλα και παθιασμένη χαρά».

Στο τελευταίο κεφάλαιο, οι χρήστες δημιουργούν το δικό τους μουσικό κίνημα με βάση το Κίτρινο-Κόκκινο-Μπλε.

Ξεκινούν επιλέγοντας δύο συναισθήματα από μια λίστα και στη συνέχεια ακούνε αυτά τα συναισθήματα που μεταφέρονται μέσω του πίνακα. Κάνοντας κλικ σε διάφορα σημεία του πίνακα, μπορούν να προσθέσουν ή να αφαιρέσουν πρόσθετους ήχους.

Το κατά πόσον το “Play a Kandinsky” επιτυγχάνει τον στόχο του να επιτρέψει στους χρήστες να βιώσουν τη συναισθησία με τον τρόπο που θα μπορούσε να είχε βιώσει ο ίδιος ο καλλιτέχνης, είναι δύσκολο να ειπωθεί.

Ωστόσο, κάνει την αφηρημένη έννοια πιο κατανοητή και η εισαγωγή της τεχνητής νοημοσύνης στο πείραμα θα μπορούσε να προσελκύσει ένα νέο κοινό να εξερευνήσει τα έργα ενός από τους μεγαλύτερους καλλιτέχνες μιας εποχής πριν από την ψηφιακή τεχνολογία.