Man spricht von Synästhesie, wenn Menschen beispielsweise bestimmte Farben mit bestimmten Klängen assoziieren. Lässt sich dieses Phänomen auch auf Maschinen übertragen? Dieser Frage wurde am 28. April 2025 am Käte Hamburger Kolleg: Kulturen des Forschens im Rahmen des wissenschaftlich-künstlerischen Installationsexperiments „Melodic Pigments: Exploring New Synesthesia“ nachgegangen.
Jana Hambitzer
Elektronische Musik, Programmcode und ein Lichtspiel aus wechselnden Farben – daraus bestand das wissenschaftlich-künstlerische Installationsexperiment „Melodic Pigments: Exploring New Synesthesia“, das von der japanischen Medienkünstlerin Yasmin Vega (Tokyo University of the Arts) in Zusammenarbeit mit dem Alumni Fellow Masahiko Hara (Institute of Science Tokyo) entwickelt und am Käte Hamburger Kollegs: Kulturen des Forschens aufgeführt wurde.
Im Zentrum des Experiments steht die Frage, ob Künstliche Intelligenz (KI) in der Lage ist, menschliche Sinneswahrnehmungen nachzuahmen. Erforscht wird dies anhand des Phänomens der Synästhesie, bei der eine Sinneswahrnehmung unwillkürlich eine andere auslöst. Der Fokus liegt dabei auf Chromästhesie, einer Form der auditiven Synästhesie, bei der Töne in Farben übersetzt werden.
Das Experiment fand im vollbesetzten Kellergeschoss des Käte Hamburger Kollegs: Kulturen des Forschens vor interessiertem Publikum statt, wobei die Räumlichkeit die idealen Voraussetzungen für das eindrucksvolle Wechselspiel aus auditiven und visuellen Elementen bot. Im Rahmen der Performance spielte Yasmin Vega durch Live-Programmierung elektronische Musik ab, während ein KI-Modell, das auf Klang-Farb-Assoziationen trainiert wurde, entsprechende Farben in Echtzeit vorhersagte und visualisierte.
Das im Projekt verwendete KI-Modell wurde anhand subjektiver Daten auf Basis der Wahrnehmung von Yasmin Vega trainiert, die ihre persönlichen Assoziationen von Klang und Farbe widerspiegeln. Während der Performance verarbeitete die KI alle drei Sekunden die eintreffenden Geräusche und ermittelte auf Grundlage der vorher programmierten Daten die dazugehörige Farbe. Die von der KI ausgewählten Farben wurden auf einer Reihe hängender Lichtröhren und als sich verändernde Muster auf einem Computerbildschirm angezeigt. Das Experiment machte deutlich, dass die KI in der Lage war die menschlichen Wahrnehmungsmuster zu erkennen und nachzuahmen sowie Klang-Farb-Assoziationen zu erzeugen, die mit den Erwartungen der Künstlerin übereinstimmten.
Jana Hambitzer
Das Installationsexperiment knüpft an frühere Arbeiten über die Integration von Kunststrategien in Wissenschaft und Technik an, mit denen sich das Käte Hamburger Kolleg: Kulturen des Forschens in den vergangenen Jahren beschäftigte. So wurde beispielsweise im Januar 2024 die Kunstinstallation „Unfelt Threshold“ gezeigt, die Masahiko Hara in Zusammenarbeit mit der Künstlerin Aoi Suwa entwickelte und welche die Wahrnehmungsfähigkeiten von Maschinen auf unvorhersehbare visuelle Reize untersuchte. Auch die Live-Performance „Listening to Science“ von Valentina Vuksic im Februar 2024, in der sie künstlerische Improvisationen auf Basis von Audiomaterial aus Forschungslaboren vorführte, trug dazu bei, die Forschungsinteressen des Kollegs in greifbare Formate zu übersetzen. Die künstlerischen Arbeiten fungieren dabei nicht nur als Transfermaßnahmen an der Schnittstelle von Kunst und Forschung, sondern ermöglichen darüber hinaus einen transdisziplinären Austausch zu Themen wie dem Einfluss von KI auf Wissenschaft und Gesellschaft und eröffnen neue Reflexionsräume zu zentralen Forschungsfragen.
Weitere Einblicke in das Installationsexperiment sowie ein Video der Performance sind auf dem Blog des Kollegs zu finden.
Autorin: Jana Hambitzer
Das BMFTR-geförderte Käte-Hamburger Kolleg „Kulturen des Forschens“ an der RWTH Aachen widmet sich seit Mai 2021 den vielfältigen Forschungskulturen der Wissenschaften, deren Gemeinsamkeiten, Unterschieden und Transformationen. Es untersucht, wie sich die Forschung durch die Orientierung der Wissenschaften auf komplexe Systeme und durch gesellschaftliche Herausforderungen verändert.
