Zwischenraum
Eine Kugel treibt über einer dunklen Landschaft. Eine zweite kommt näher, dann noch eine. Für einen Moment bewegen sie sich zusammen. Eine leuchtet auf, kurz darauf die nächste. Irgendwann löst sich die Gruppe wieder auf.
Mich hat beim Entwickeln von «Zwischenraum» genau dieser Moment interessiert. Wann sehen wir in ein paar Kugeln plötzlich eine Gruppe und warum sehen wir der eine Gruppe mehr nach wie der anderen?
Eine Landschaft aus Licht, Bewegung und Klang
Zwischenraum ist eine audiovisuelle Rauminstallation, die ich für das Igloo der Fachhochschule Graubünden entwickelt habe. Fünf Projektoren bringen eine digitale Landschaft auf die gebogene Wand, während sich Geräusche und Musik im Raum verteilen.
Mich interessiert, wie durch Begegnungen Bedeutung entsteht und wie Beziehungen verändern, wohin wir uns bewegen. In der Installation wird diese Frage über das Verhalten der Partikel sichtbar. Sie ziehen sich an, verändern gegenseitig ihre Bahnen und lösen sich wieder voneinander. Auch die Landschaft wandelt sich. Der Nebel gibt nach und nach den Blick auf die Hügel frei, das Licht am Horizont wird wärmer und aus einzelnen Geräuschen entwickelt sich Musik. So lässt sich beobachten, wie eine kurze Begegnung die Bewegung und die Wahrnehmung des ganzen Raums verändern kann.
Vom Bildschirm in den Raum
Beim Arbeiten am Bildschirm hatte ich die ganze Landschaft vor mir. Im Igloo wanderte mein Blick über die gebogene Wand. Ich konnte einer Gruppe von Kugeln folgen und dabei aus einer anderen Richtung ein Geräusch hören. Erst dort merkte ich, wie sehr der Klang mitbestimmt, wohin ich schaue und wie lange ich bei einem Moment bleibe.
Ich habe Bild und Klang so aufeinander abgestimmt, dass beide Zeit haben, sich zu entwickeln. Am Anfang sind vor allem einzelne Geräusche zu hören. Während sich die Landschaft verändert und das Licht am Horizont wärmer wird, kommt nach und nach Musik dazu. Mir war wichtig, dass es dazwischen ruhige Momente gibt, in denen man selbst entscheiden kann, wohin man schaut und worauf man hört.
(phh)
Am Anfang wollte ich vieles ausprobieren
Zuerst wollte ich verstehen, wie ich in TouchDesigner eine eigene kleine Physik-Engine bauen kann. Dafür musste ich mich erst im Programm zurechtfinden. Was lässt sich direkt in TouchDesigner umsetzen? Wo brauche ich eigenen Code? Besonders viel Zeit verbrachte ich mit POP-Netzwerken und der Frage, welche Eigenschaften ein Partikel braucht, damit es sich so verhält, wie ich es mir vorstelle. Dazu gehören etwa seine Masse, seine Grösse und seine Geschwindigkeit.
Ich schaute mir gefühlt endlos viele Tutorials zu GLSL und zu Algorithmen aus der 3D-Grafik an. Nach und nach konnte ich das Gelernte in meinem eigenen System ausprobieren. Als die Kugeln sich bewegten und miteinander reagieren konnten, ging es ans Rendern und Mapping. Ich legte die fünf Projektoren in TouchDesigner als virtuelle Kameras an. Mit einer Quad-Reprojektion setzte ich ihre Bilder auf einer virtuellen Nachbildung der Projektionsfläche zusammen. So konnte ich mir schon am Bildschirm anschauen, wie das Bild später im Raum wirken könnte.
Im Raum sah es anders aus
Im Igloo musste ich die fünf Projektoren, die zusammen rundum projizieren, von Grund auf neu einrichten. Dafür nutzte ich CamSchnappr in TouchDesigner. Als die Bilder geometrisch einigermassen zusammenpassten, kamen die nächsten Fragen. Wie weich müssen die Übergänge sein? Warum sieht dieselbe Farbe auf zwei Projektoren unterschiedlich aus? Und warum ist ausgerechnet bei einem schwarzen Testbild der Übergang so gut sichtbar? Wo zwei Projektoren dieselbe Stelle beleuchteten, addierte sich ihr Restlicht. An diesen Stellen musste ich die Überblendung, die Farben und den Schwarzpegel aufeinander abstimmen.
Mein Rechner kam an seine Grenzen
Als Simulation und Mapping einigermassen standen, klang mein Rechner zwischendurch, als würde er gleich abheben. Dazu kamen immer wieder Fatal Errors. Mit denen musste sich der Rechner herumschlagen, ich natürlich auch. Für die Simulation und das Rendering gleichzeitig reichte die Leistung auf einem Rechner nicht aus. Und 15’000 Franken für einen neuen Rechner hatte ich auch nicht gerade übrig.
Also teilte ich das Projekt auf zwei Rechner auf. Auf dem einen lief die Simulation, auf dem anderen entstand das Bild für die Projektoren. Damit kam ein neues Problem dazu. Die beiden Rechner mussten laufend Daten austauschen, und die Übertragung wurde zum Engpass.
Ich habe einige Funktionen neu gedacht und andere ganz herausgenommen. Für das Rendering baute ich ausserdem eine einfache Detailabstufung ein, deren Prinzip ich mir bei der Unreal Engine abgeschaut hatte. Wo feine Details im Bild kaum zu erkennen waren, konnte ich mit einer einfacheren Darstellung rechnen. Die Verbesserungen zusammen brachten die Bildrate schliesslich so weit nach oben, dass die Installation auf zwei Rechnern in einigermassen Echtzeit laufen konnte.
Was ich nächstes Mal anders machen würde
Ich würde früher eine kurze Fassung mit Bild und Ton im Igloo testen. Einer der Momente, die für mich am besten funktionierten, war ziemlich einfach. Eine Gruppe von Kugeln bekam genug Zeit, sich zu bilden. Dann ging ein Lichtimpuls durch sie hindurch. Hätte ich solche Momente früher im Raum gesehen, wäre es mir leichter gefallen, bei jeder neuen Idee zu fragen, ob sie etwas zur Wirkung beiträgt und ob sich der Aufwand dafür lohnt.