bloom – Audiovisual Expression meets Spacial Interaction
Drei Elemente – Sonne, Wasser und ein Keimling – treffen aufeinander. Es braucht nicht mehr als ein bisschen Zeit, damit daraus Leben entsteht. Ein Baum beginnt zu wachsen, zuerst zaghaft, dann kräftiger, verwurzelt sich im Boden und blüht auf.
Genau so fühlt es sich an, wenn Menschen aufeinander zugehen, sich auf die gleiche Wellenlänge begeben und in einem Flow-State gedeihen. So inspiriert wurde die Installation «bloom» geboren, unsere Interpretation von Kreativität, Kollaboration und was daraus entstehen kann, in einem erlebbaren, interaktiven Format!
Backstory
Am Anfang stand eine vage Vorstellung: Ein visuelles und auditives Erlebnis, das Menschen im Kollektiv verbindet. Etwas, das zeigt, was passiert, wenn wir uns annähern oder voneinander entfernen.
In einer Brainstorming-Session, nach Ideen, die von olfaktorischen Erlebnissen bis zu einem Harry-Potter-Theme reichten, fiel das Wort «Naturkräfte». Sonne, Wasser und Pflanzen: Diese Elemente könnten das Entstehen von Harmonie ansprechend visualisieren. Konkretisiert: Ein Baum, der wächst, wenn wir zusammenkommen. Ein Sound, der harmonischer wird, wenn wir kooperieren.
Der Prozess
Was dann kam, war eine wilde Mischung aus Tech-Experiment und Bauchgefühl. Die Idee war da – und Cyrill blühte auf. Er testete alles Mögliche: OpenCV für Face Tracking, Stable Diffusion für generative Bilder, MusiKraken zur Soundsteuerung über Bewegung.
Am Ende stand das klare Konzept: Drei farbige Objekte in Gelb, Blau und Grün stehen für Sonne, Wasser und Pflanze. Wer sie bewegt, verändert das System. Kameras tracken die Positionen und gleichen sie miteinander ab – Bild und Sound reagieren harmonischer, je ähnlicher sich die Objekte bewegen. Tools of Choice: TouchDesigner für die Visuals, Ableton für die Musik und das Sounddesign.
Der technische Unterbau
Damit aus dieser Idee ein funktionierendes System wird, mussten einige Module zusammenspielen.
Drei Smartphones streamen ihre Kamerabilder über NDI ins Netzwerk. Per Chroma-Keying und Blob-Tracking extrahieren wir die Position der Objekte. Daraus errechnen wir Distanzen – und leiten daraus einen «Harmony-Wert» ab: Je näher die Objekte beisammen liegen, desto höher die Harmonie.
Dieser Wert steuert zwei Hauptachsen:
- Visuals: In TouchDesigner lassen wir einen Baum wachsen – basierend auf einem echten Videoausschnitt und mit Displacement zum Leben erweckt. Eine vom Harmony-Wert gesteuerte Maske, Farbmanipulationen und ein Feedback-Loop erzeugen ein psychedelisches, atmendes Bild.
- Audio: In Ableton Live läuft eine Komposition aus Naturklängen, Soft Piano und Synth-Flächen. Der Harmony-Wert steuert einen Makro-Regler eines Effekt-Racks. Je dissonanter die Konstellation der Objekte, desto stärker wird der Sound verzerrt – durch Pitch-Shifting, spektrale Effekte und granulare Cross-Synthese.
Das Ergebnis: Ein interaktiver Space, in dem Visuals und Sound live auf menschliche Interaktion reagieren.
Eine Demo der Installation findest du hier:
Idee & Konzept: Chantale Ehrle, Cyrill Boss & Sarina Schmuki
Umsetzung: Cyrill Boss (Ideelle Mitgestaltung: Chantale Ehrle & Sarina Schmuki)
(vha)
Prozess
Ursprünglich war «bloom» nur als kleines Semester-Experiment im Modul Creative Technology gedacht. Kaum hatten wir jedoch erste Ansätze in TouchDesigner getestet, zündete der Enthusiasmus – und der Projektumfang wuchs rasch über die geforderten Credits hinaus. Statt eines simplen Demo-Patches sollte es nun ein räumlich erlebbares Kunstwerk werden, das Bild, Ton und Interaktion verknüpft.
Schwierigkeiten
Der grösste Knackpunkt: flüssige 60 fps auf einem MacBook M1 Max hinzukriegen. Die Lösung war ein Prerendering sämtlicher Videosequenzen und das Auslagern aller Audioeffekte bis auf das Master-Rack in Ableton, welches in Echtzeit gesteuert werden musste. Auch in TouchDesigner wurden so nur noch die Masken animiert, anstatt dass auch noch Hintergrund und das Displacement des Baumes gerechnet werden mussten. Schlussendlich reichte es mit diesen Optimierungen für gerade mal 40fps in der vollständigen Testsituation. Flüssig, aber doch mit Luft nach oben.
If a tree grows and no one is around to see it
Was wir nicht auf dem Schirm hatten: Im Rahmen des Moduls gab es keine offizielle Ausstellungsmöglichkeit. Bei einem gemeinsamen Workshop in Chur konnten wir unser Setup aber doch noch in einer Installationssituation testen, in welcher es ohne Probleme funktionierte.
Fazit
«bloom» ist für uns ein ziemlicher Erfolg. Wir haben TouchDesigner in einem realistischen, sinnvollen Umfang kennengelernt und ein Verständnis für Spatial Interaction entwickelt. Für ein „Nebenprojekt“ haben sich die Extrastunden definitiv gelohnt.