"Jeder Remix war einzigartig"

In “The (Un)Answered Question“ wurden verschiedene Körperdaten des Publikums und auch der Performer erfasst – beispielsweise der Herzschlag, Gesichtsausdruck usw. Ein intelligenter Algorithmus sammelte diese verschiedenen Biodaten und verarbeitete sie zu Videoprojektionen und einem orchestralen Live-Remix der Originalkomposition. Wie sind Sie auf diese endgültige Idee gekommen?

Die Idee, das Publikum mit einzubeziehen, gab es von Anfang an. Das war Martin wichtig. Der grobe Plan zu Beginn war es, Daten vom Publikum aufzuzeichnen und diese zu einem Orchester-Remix der Originalkomposition zu verarbeiten. Da gab es dann gewisse Aspekte, die geklärt werden mussten. Beispielsweise: Welche Daten können wir überhaupt aufzeichnen? Man kann ja sowohl subjektive als auch objektive Daten erfassen. Da war schnell klar: Wir möchten mithilfe eines Fragebogens Persönlichkeitsmerkmale ermitteln und diese mit den biometrischen Daten kombinieren.

Bei den objektiven Daten mussten wir dann aber die Vorgehensweise klären. Wenn wir im Labor Studien durchführen, dann sitzt dort meistens nur eine Person in einem ganz geregelten Umfeld. Wir können zudem auch spezifisch auf etwaige Bedürfnisse eingehen. Wenn dann etwas nicht geklappt hat, kann die Studie wiederholt werden. In diesem Fall ging das nicht: Es waren 180 Personen im Saal. Wir konnten nicht über das ganze Theater die Kabel verlegen. Das heißt, da ging es natürlich erst mal um die Frage: Welche Sensoren können wir überhaupt einsetzen, um die biometirischen Daten des Publikums zu erfassen?

Nachdem das geklärt war, kam direkt die nächste Fragestellung: Wie entstehen aus den Daten, die wir erhoben haben, jetzt Noten? Im Endeffekt wollten wir einen intelligenten Algorithmus entwickeln, der aus den biometrischen Daten automatisiert einen Remix erstellt. Dabei mussten wir gemeinsam mit Martin überlegen: Was ist technisch möglich? Und was ist künstlerisch überhaupt möglich? Da ging die Zusammenarbeit dann wirklich richtig los, wo wir uns dann konkret Gedanken gemacht haben.

Wie ist denn aus dem Algorithmus Musik entstanden? Funktionierte es nach dem Motto: Der Herzschlag wird schneller, also wird der Rhythmus des Lieds schneller? Oder wie kann man sich das vorstellen?

Genau diese lineare Zuordnung wollten wir nicht. Das war uns wichtig, dass wir nicht einfach sagen „Okay, der Puls beeinflusst die Streicher und die Gesichtserkennung beeinflusst die Trompete“. Wir wollten eine intelligente Zuordnung. Und deshalb haben wir unsere alltägliche Arbeit untersucht und Methodiken zweckentfremdet. Da kam schnell die Idee auf, dass wir die Daten clustern. Mithilfe des Mittelpunkts des Clusters haben wir dann bestimmte Aspekte der Originalkomposition manipuliert. Dabei waren wir bei der Musik natürlich an gewisse Grenzen gebunden, denn das Stück, das am Ende rauskommt, musste für das Orchester ja noch spielbar sein. Es konnte also beispielsweise nicht unendlich schnell werden. Trotzdem haben wir so eine lineare Zuordnung vermeiden können und jeder Remix war einzigartig.

Was waren Herausforderungen, denen Sie im Projekt begegnet sind? Wie haben Sie diese dann gelöst?

Unsere größte Herausforderung war natürlich das Umfeld. Wir wussten, dass im Saal 180 Leuten sein würden. Das war keine Laborstudie, es musste alles auf den Punkt genau funktionieren. Wir hatten vor der Uraufführung zuvor eine Probeaufführung in Dortmund an der Akademie für Theater und Digitalität mit 15 Zuschauern. Die Probeführung hat ganz gut geklappt. Aber das musste man eben auf 180 Menschen skalieren.

So wollten wir eigentlich zunächst alle Daten von einem Rechner erfassen lassen und diese über einen zweiten dann auswerten. Wir haben schnell gemerkt, dass das über die Leistungsfähigkeit der Rechner ging. Also mussten wir die Datenerfassung auf mehrere Computer aufteilen. Wir haben dann beispielsweise zwei Rechner für die Daten aus den Fitnesstrackern genutzt –  einen für die linke und einen für die rechte Seite des Zuschauerraums. Die zweite Herausforderung war natürlich, dass wir nicht viel Zeit hatten, um die Rohdaten aufzubereiten und daraus dann Noten zu generieren. Das musste alles in fünf Minuten geschehen, also musste einiges parallel laufen.