Particles in Touchdesigner
Im Rahmen des Minors Creative Technology setzte ich mich erstmals intensiver mit TouchDesigner auseinander. Um die kreativen und technischen Möglichkeiten der Software besser kennenzulernen, entwickelte ich eine interaktive Installation. Ziel des Projekts war es, die Möglichkeiten der Echtzeitverarbeitung und interaktiven Mediengestaltung praktisch zu erforschen und anzuwenden.
Für die Umsetzung verwendete ich einen Laptop, eine externe Kamera, ein Webcam-Interface sowie einen Bildschirm. Das Kamerabild wurde in Echtzeit erfasst und innerhalb von TouchDesigner verarbeitet. Im Zentrum des Projekts stand die Arbeit mit dem Particles-GPU-System von TouchDesigner. Ziel war es, die Silhouette einer Person zu erkennen und diese als dynamische Partikelstruktur darzustellen. Die Bewegungen der Person sollten dabei unmittelbar Einfluss auf die Darstellung nehmen und so eine interaktive visuelle Erfahrung schaffen.
Während der Entwicklung experimentierte ich mit verschiedenen Einstellungen und Parametern, um ein ästhetisch ansprechendes Ergebnis zu erzielen. Ursprünglich wurde die Installation mit einer herkömmlichen Kamera umgesetzt. Im Verlauf der Entwicklung zeigte sich jedoch, dass die Silhouette der Person nicht zuverlässig von der Umgebung getrennt werden konnte. Trotz verschiedener Anpassungen der Threshold-Werte wurden neben der Person auch Teile des Hintergrunds erfasst, was die Qualität der Partikelsimulation beeinträchtigte.
Nach Rücksprache mit einem Dozenten wurde entschieden, die Installation mit einer Infrarotkamera weiterzuentwickeln. Durch die Infrarottechnologie konnte die Person deutlich besser vom Hintergrund getrennt werden, wodurch die Silhouette sauberer erkannt und weiterverarbeitet werden konnte. Dies bildete die Grundlage für eine stabilere und visuell überzeugendere Umsetzung der Installation.
Zusätzlich entwickelte ich eine Pixelanimation als alternativen Darstellungsmodus. Wenn keine Person vor der Kamera erkannt wurde, wechselte die Installation automatisch von der interaktiven Partikeldarstellung zu dieser Animation. Die Animation wurde in TouchDesigner gestaltet und anschliessend über einen Movie File In TOP in das Projekt eingebunden. Dadurch blieb die Installation auch dann visuell aktiv, wenn keine Interaktion stattfand, und wirkte für die Betrachtenden lebendiger und vollständiger.
Nach mehreren Tests gelang es, die Darstellung in Echtzeit zu rendern und zuverlässig auszugeben. Anschliessend wurden die Kamera mit dem Laptop sowie der Laptop mit dem Bildschirm verbunden, sodass die Installation von Besuchenden genutzt und getestet werden konnte.
Das fertige Resultat ermöglichte es den Nutzenden, ihre Bewegungen direkt in einer aus Partikeln bestehenden Visualisierung wiederzufinden und mit der Installation zu interagieren. Durch die unmittelbare Reaktion des Systems entstand eine spielerische und zugleich eindrucksvolle Form der visuellen Interaktion.
(mbi)
Zu Beginn des Projekts verfügte ich nur über wenig Erfahrung mit TouchDesigner. Die Entwicklung der Installation war deshalb stark von Experimentieren, Ausprobieren und kontinuierlichem Lernen geprägt. Viele Funktionen und Zusammenhänge waren mir anfangs noch nicht bekannt, weshalb ich mich Schritt für Schritt in die Software einarbeiten musste. Dadurch war das Projekt deutlich zeitintensiver als ursprünglich erwartet. Insbesondere die Einarbeitung in neue Workflows, das Testen verschiedener Lösungsansätze sowie die Fehlersuche nahmen viel Zeit in Anspruch. Gleichzeitig ermöglichte mir dieser Prozess, die Software nicht nur oberflächlich kennenzulernen, sondern ein tieferes Verständnis für ihre Funktionsweise zu entwickeln.
Besonders herausfordernd war die Arbeit mit den Threshold- und Feedback-Einstellungen. Zu Beginn fiel es mir schwer zu verstehen, welchen Einfluss die einzelnen Parameter auf das Bild und die Partikelsimulation haben. Um diese Zusammenhänge besser nachvollziehen zu können, recherchierte ich zusätzlich in Online-Tutorials und Youtube-Videos. Die Kombination aus theoretischen Erklärungen und eigenständigem Experimentieren half mir dabei, die Funktionsweise der verschiedenen Einstellungen besser zu verstehen.
Eine weitere Herausforderung bestand in der Erkennung der Silhouette. Ursprünglich arbeitete ich mit einer herkömmlichen Kamera und versuchte, die Person mithilfe der Threshold-Einstellungen vom Hintergrund zu trennen. Dabei zeigte sich jedoch, dass trotz verschiedener Anpassungen weiterhin grosse Teile der Umgebung erfasst wurden. Das erschwerte die Weiterverarbeitung der Bildinformationen und führte zu unruhigen Resultaten in der Partikelsimulation. Erst im Austausch mit einem Dozenten wurde deutlich, dass die Ursache nicht ausschliesslich in den Softwareeinstellungen lag, sondern auch von der verwendeten Hardware beeinflusst wurde. Gemeinsam entschieden wir uns deshalb, die Installation mit einer Infrarotkamera weiterzuentwickeln. Der Wechsel führte zu einer deutlich zuverlässigeren Trennung zwischen Person und Hintergrund und ermöglichte eine wesentlich stabilere Silhouettenerkennung.
Diese Erfahrung hat mir gezeigt, dass technische Probleme nicht immer ausschliesslich auf Softwareebene gelöst werden können. Gerade bei interaktiven Installationen ist es wichtig, die Hardware und Software als Gesamtsystem zu betrachten. Rückblickend war dies eine der wichtigsten Erkenntnisse aus dem Projekt.
Eine weitere Herausforderung ergab sich bei der Umsetzung der Pixelanimation. Ursprünglich war geplant, diese ebenfalls mit dem Particle-GPU-System in Echtzeit zu generieren. Während der Tests stellte sich jedoch heraus, dass die dafür benötigten Berechnungen die Leistungsfähigkeit meines Laptops überstiegen. Das System lief nicht stabil genug, um sowohl die interaktive Partikeldarstellung als auch die Animation zuverlässig in Echtzeit darzustellen.
Um dieses Problem zu lösen, exportierte ich die Animation als Videodatei und integrierte sie anschliessend über einen Movie File In TOP in das Projekt. Obwohl diese Lösung technisch einfacher erscheint, erforderte sie zahlreiche Tests und Anpassungen. Es kostete viel Zeit, die Übergänge zwischen den verschiedenen Zuständen der Installation sauber umzusetzen und die Wiedergabe zuverlässig zu steuern. Gerade diese Phase war von viel Tüftelei geprägt und machte mir bewusst, wie wichtig es ist, kreative Ideen stets mit den vorhandenen technischen Ressourcen abzugleichen.
Mit zunehmender Projektdauer entwickelte ich ein besseres Verständnis dafür, welche Parameter welche Auswirkungen haben. Dadurch konnte ich die Werte gezielt anpassen und das gewünschte visuelle Ergebnis erreichen. Besonders motivierend war der Moment, als die Installation stabil in Echtzeit funktionierte und direkt auf die Bewegungen der Nutzenden reagierte. Zu sehen, wie die zuvor theoretischen Konzepte und zahlreichen Tests schliesslich in einer funktionierenden Installation zusammenkamen, war ein sehr befriedigendes Erlebnis.
Das Projekt hat mir gezeigt, wie vielseitig TouchDesigner eingesetzt werden kann und welche kreativen Möglichkeiten die Software für interaktive Medien bietet. Gleichzeitig konnte ich meine technischen Fähigkeiten erweitern und wertvolle Erfahrungen im Bereich Echtzeitvisualisierung, interaktive Installationen und kreative Programmierung sammeln.
Rückblickend war es spannend zu beobachten, wie aus ersten Experimenten und zahlreichen Tests schrittweise ein funktionierendes und interaktives System entstand. Obwohl die Entwicklung zeitaufwendig war und viele Iterationen erforderte, hat sich der Aufwand gelohnt. Gerade durch die intensive Auseinandersetzung mit den technischen und gestalterischen Herausforderungen konnte ich wertvolle Erfahrungen sammeln und mein Verständnis für interaktive Echtzeitsysteme erweitern.
Auch wenn mein Projekt noch Verbesserungspotenzial hat, bin ich doch sehr zufrieden mit dem Output 🙂