Prof. Jürgen Sieck, Organisator der ACM Conference Culture and Computer Science 2021

Die Forschungsgruppe „INKA“ der Hochschule für Technik und Wirtschaft (HTW) Berlin organisiert seit 2005 jährlich die „Culture and Computer Science Conference“. 2020 musste sie coronabedingt abgesagt werden. In diesem Jahr jedoch freuen sich die Organisator*innen, auf der 19. Internationalen Konferenz „Kultur und Informatik – Physische und virtuelle Räume“ am 23. und 24. September 2021 die vielschichtigen Brücken zwischen Körperlichkeit und Virtualität zu thematisieren.

Wir haben im Vorfeld mit dem Organisator Prof. Dr. Dr. h. c. mult. Jürgen Sieck gesprochen. Er ist Wissenschaftlicher Leiter der Forschungsgruppe „INKA“ an der HTW, Mitglied im dortigen Forschungscluster „Kultur und Informatik“ und Principal Investigator im Exzellenzcluster „Matters of Activity. Image Space Material“ der Humboldt-Universität zu Berlin (HU).

Die diesjährige Culture and Computer Science Conference steht unter dem Motto „Physical und Virtual Spaces“. Was fasziniert Sie besonders an den Möglichkeiten der Kombinatorik oder Verschmelzung von Körperlichkeit und Virtualität, vor allem im Kulturbereich?

Bereits seit meiner Kindheit reizt mich die Vorstellung, sich auch virtuell an faszinierende Orte begeben zu können. Bereits kurz, nachdem ich als Hochschullehrer in die HTW berufen wurde, habe ich Anfang der 1990er die ersten zaghaften Schritte auf diesem Forschungsgebiet gemacht.

In unseren heutigen Projekten geht es meist darum, die Realität, die man sehen und anfassen kann, in einem Raum mit virtuellen Informationen und Anwendungen zu ergänzen, die oft ganz woanders herkommen. Das ist vor allen Dingen dann faszinierend, wenn in interdisziplinären Projekten Leute mit unterschiedlichem Fachwissen und unterschiedlichem Zugang gemeinsam auf einen Gegenstand, auf ein Problem schauen. Dadurch ergeben sich mit einem Mal ganz neue Herausforderungen, aber auch ganz neue Lösungsmöglichkeiten und Erkenntnisse. Denn, indem wir als Informatiker*innen oder Kulturschaffende auch gegenseitig jeweils die Sprache, die Fähigkeiten und die Werkzeuge der anderen kennenlernen, kommt man irgendwann zu total klasse Anwendungen.

Die Konferenzteilnehmer*innen erwartet ein großes Themenspektrum, rund um Mixed Reality und Augmented Reality im Kulturbereich. Sind auch interessante Einblicke in Berliner Projekte dabei?

Ja, da ist zum Beispiel das Projekt „AURA“, das durch das EU-Kulturprogramm „Kreatives Europa“ gefördert wird. Hierbei geht es um die Auralisation von Kulturerbe mit Hilfe von Augmented Reality und Virtual Reality. Das Ganze ist sehr interdisziplinär und international ausgerichtet. Mit dabei ist zum Beispiel die Stadt Florenz mit Universität, Musiktheater und einer kleinen Firma, die sich mit kreativen Kulturangeboten beschäftigt. Auch aus Lemberg in der Ukraine sind die Universität, das Opernhaus und eine Firma mit dabei, die neue Geschäftsmodelle rund um den Kulturbereich entwickelt. Dann haben wir das Konzerthaus Berlin und die Berliner Gesellschaft für Internationale Zusammenarbeit (BZG) und meine eigene Forschungsgruppe „INKA“ an der HTW. Das Ganze hat uns Berlin Partner vermittelt, indem sie uns einen Hinweis auf die Ausschreibung gaben.

Im Projekt geht es im ersten Schritt um die Erstellung von virtuellen architektonischen 3D-Modellen der drei Konzerthallen. Hinzu kommt mit dem Einsatz von Künstlicher Intelligenz und Maschinellem Lernen die sogenannte Auralisierung, das heißt, die Erzeugung virtueller Klanglandschaften in 3D, womit akustische Situationen künstlich hörbar gemacht werden. Diese Auralisation ist sowohl für Künstler*innen und für Architekt*innen interessant als auch natürlich für das Publikum. So kann ich klassische Musik in einem fernen Konzerthaus erleben, auch wenn ich aufgrund der Covid-19-Pandemie nicht reisen kann, kein Geld für einen Flug von A nach B habe oder den eigenen CO₂-Abdruck nicht zu groß werden lassen will. Oder ich kann ein Konzert virtuell erkunden, um dadurch einen realen Besuch im Konzerthaus vorzubereiten.

Wie kann man sich eine solche Vorbereitung genauer vorstellen?

Beispielsweise kann ich damit experimentieren, mich in einem virtuellen Konzert so zu positionieren, dass ich sowohl einen guten Blick als auch einen guten Ton habe. Wenn ein*e Pianist*in als Solist*in mit dem Orchester spielt, kann es aber besser sein, wenn man vom ersten Rang aus guckt, weil man von dort aus richtig schön sehen kann, wie er/sie die Finger bewegt. Wenn man dagegen den allerbesten Hörgenuss haben möchte und so ein bisschen zur Musik vor sich hinträumen möchte, dann ist es vielleicht besser, den Platz mit der besten Akustik zu wählen. Oder ich möchte vor allem meine Freunde sehen, die im Orchester Bass spielen und setze mich dorthin, wo ich den besten Blick auf sie habe. All das kann ich im Virtuellen ausprobieren.

Für die Auslotung der vielschichtigen Brücken zwischen physischen und virtuellen Räumen ist ja Interaktivität essenziell – sowohl bei denen, die die augmentierten Räume erschaffen als auch bei denen, die sie anwenden. Funktioniert das gut?

Das ist ein Lernen auf beiden Seiten, das Finden einer gemeinsamen Sprache, eines gemeinsamen Problems und das Arbeiten an einer gemeinsamen Lösung dieses Problems. Das ist wichtig. Denn Informatiker*innen und Techniker*innen neigen ohne diesen konkreten Bezug oft dazu, ein Problem zu lösen und dann mit der Problemlösung durch die Kultur- oder Industrielandschaft zu laufen mit der Frage: Wer hat eigentlich das Problem, zu dem wir eine Lösung haben?

Welche neuen Herausforderungen sehen Sie für Wissenschaftler*innen, Künstler*innen und Mitarbeitende von Kultureinrichtungen in Bezug auf VR, AR, MR?

Natürlich ist dieser Prozess in Richtung Augmented Reality, Virtual Mixed Reality und Extended Reality eine Herausforderung. Welche Berührungsängste es jedoch auch immer noch geben mag: Man braucht bestimmte Vorreiter*innen, die zeigen, wie es geht. Das Konzerthaus Berlin beispielsweise ist eine der eher wenigen klassischen Kultureinrichtungen, die bereit sind zu experimentieren, etwas auszuprobieren, bei dem man vorher noch nicht der Meinung war, dass es funktioniert.

Natürlich gibt es auch den einen oder anderen Fehlschlag. Wenn man neue Wege beschreitet, ist es nun mal so, dass man manchmal auf Dreiviertel des Weges feststellt: Das funktioniert nicht so ganz. Dafür findet man aber bei einem anderen Projekt eine wunderbare Lösung, wo andere ein bisschen neidisch sind.

Bestimmt kommt öfters mal Unerwartetes dabei heraus?

Ich nehme mal das positive Beispiel unseres Projekts „Klingende Karten: Das Virtuelle Quartett“, gemeinsam mit dem Konzerthaus Berlin. Da haben wir niemals gedacht, dass es so gut läuft. Wir haben für den Einsatz im Musikunterricht an Schulen das weltweit erste Streichquartett in Augmented Reality gebaut. Dabei handelt es sich um vier kleine Spielkarten, die man auf dem Smartphone mit einer App scannen und zum Leben erwecken kann. Durch Augmented Reality tauchen auf diesen Karten dann plötzlich die vier Musiker des Quartetts auf und fangen an, Schuberts „Der Tod und das Mädchen“ zu spielen. Toll ist: Indem man Karten entfernt, kann man auch einzelne Instrumente hören, beispielsweise nur noch die Violine.

Was ursprünglich nur als kleines Projekt für die Musikvermittlung an Schulen geplant war, hatte schließlich aber Erfolg weit darüber hinaus und hat sogar den „Annual Multimedia Award“ 2019 in der Kategorie „Digitale Sonderformate“ gewonnen.

In Ihrer Forschungsgruppe „INKA“ an der HTW arbeiten Sie als Informatiker*innen mit zahlreichen Partner*innen und Unternehmen der Kultur- und Kreativindustrie zusammen. Wie kommen solche Kooperationen zustande?

Zum Beispiel über Tagungen und Konferenzen wie unsere Culture and Computer Science, oder über EVA Berlin, EVA Florence, IDAACS oder AfriCHI. Manchmal gehen wir auf interessante Partner*innen zu. Oft kommen aber auch welche zu uns, wie neulich das Kleist-Museum in Frankfurt/Oder oder das Humboldt-Forum in Berlin. Aber auch Berlin Partner ist öfter mal ein Impulsgeber oder Multiplikator für uns, weist uns auf neue Startups oder Unternehmensansiedlungen hin, die Partner*innen im akademischen Bereich suchen, oder informiert über Fördermöglichkeiten, Ausschreibungen, neue Ausstellungen.

Sie sind seit 2019 auch Mitglied des Exzellenzclusters „Matters of Activity. Image Space Material“ an der HU …

Ja, da darf ich mich als einer der 25 Principal Investigatorsan der Grundlagenforschung beteiligen. In sechs Projekten fließen Ideen aus 40 Disziplinen ein, darunter Medizin, Kulturwissenschaften, Mathematik, Physik, Ethnologie, Literaturwissenschaften, Philosophie, Gestaltung und Informatik. Im Gegensatz zu unserer anwendungsbezogenen Forschungsgruppe „INKA“ an der HTW ist das Exzellenzcluster sehr theoretisch ausgerichtet. Wir beschäftigen uns mit einer neuen Kultur der Materialien, mit dem Analogen in der Aktivität von Bildern, Räumen und Materialien im Zeitalter des Digitalen. Aber letztendlich liegt der Fokus meiner Projekte auch hier auf einer potenziellen Zusammenarbeit mit Kultureinrichtungen, Opern, Theatern, Konzerthäusern, Museen und freier Kunst.

Während es dort um Grundlagenforschung geht, arbeiten Sie an der HTW anwendungsbezogen. Wie sieht es denn in der Praxis, beispielsweise im Museum, aus?

Bis vor Kurzem hatte man im Museum nur die Realität, das heißt die Exponate mit kurzen Beschreibungen. Wenn man Glück hatte und sehr belesen war, konnte man dazu sein eigenes Kopfkino anschalten. Zukünftig kann dagegen jeder, der möchte, per Smartphone, Tablet oder Smart Glasses über Augmented Reality den realen Objekten digitale Informationen hinzufügen und damit das eigene Kopfkino erweitern.

Und damit haben die Besucher*innen sofort eine Kombination aus Realität und Virtualität sowie Interaktion und Kommunikation. Sie bekommen dann zum Beispiel über die Apps auch Austausch und Kommunikation mit weiteren Gleichgesinnten, Familienangehörigen, Freund*innen und Expert*innen.

Zum Schluss zurück zur Konferenz. Vom 3. bis 30. September 2021 wird sie von der Ausstellung „Extended Reality – Code und Materialität in Kunst und Kultur" umrahmt. Was erwartet die Besucher*innen?

Erst einmal erwarten sie leider ein paar Corona-Einschränkungen. Es dürfen nur sechs Leute gleichzeitig die Ausstellung besuchen, und dies auch nur mit Führung und vorheriger Anmeldung. Doch dann gibt es viel zu staunen, zu erkunden und auszuprobieren.

Wir haben Exponate aus Design, Kunst, Literatur, Musik, Performance und Wissenschaft zusammengestellt, bei denen sich Künstler*innen wie Pancho Provence, Bianca Kennedy und viele mehr aus verschiedenen Kunst- und Kultur-Ecken heraus mit Materialität und Virtualität auseinandergesetzt haben. Wir hoffen, dass die Kombination von Realität und Virtualität neue Horizonte auch bei den Besucher*innen eröffnen wird, zum Überlegen und Nachdenken anregt – und vielleicht auch ein wenig zur Nachahmung im positiven Sinne.

Haben Sie vielen Dank für das angenehme Gespräch.