Eine gestalterische Auseinandersetzung mit Blumen im digitalen Raum
Ziel des Projekts
Im Zentrum des Projekts stand die Frage, wie sich ein natürliches Objekt – in diesem Fall ein Blumenstrauss – in den digitalen Raum bringen lässt, um dort visuell damit zu arbeiten. Ausgangspunkt war ein 3D-Modell, das mithilfe von Photogrammetrie erstellt wurde.
Darauf aufbauend habe ich das Modell in Blender weiterbearbeitet und schliesslich in TouchDesigner importiert, um es dort mit visuellen Effekten zu verfremden und zu animieren. Dabei ging es vor allem ums Experimentieren und Ausprobieren.
Das Projekt diente mir dazu, die Technik der Photogrammetrie und die Arbeit mit TouchDesigner besser kennenzulernen. Ich wollte mir Können aneignen, um diese Arbeitsweisen künftig flexibel einsetzen und vertiefen zu können.
Von Photogrammetrie zum 3D-Model in Blender bis zur audioreaktiven Visualisierung in TouchDesigner
Wie gesagt, Ausgangspunkt dieses Projekts war ein echter Blumenstrauss, den ich mithilfe von Photogrammetrie in digitale 3D-Modelle mit Colmap verwandelt habe.
Anschliessend habe ich die gescannten Modelle in Blender weiterbearbeitet: Das Mesh wurde bereinigt, Löcher geschlossen und die Geometrie vereinfacht. Danach habe ich die Modelle in eine einfache Szene eingebaut, mit einer Turntable-Animation versehen und mit dem Eevee-Renderer als Video ausgegeben. So konnte ich die 3D-Modelle klar zeigen:
Visuelle Effekte und Echtzeit-Experimente
In einem weiteren Schritt habe ich das Modell in TouchDesigner eingebunden, um dort mit visuellen Effekten und Interaktivität zu experimentieren. Ziel war es, das gescannte Objekt nicht nur zu zeigen, sondern es auch gestalterisch zu verändern.
Dabei entstand ein Verzerrungseffekt, der an eine Flüssigkeit erinnert, beim Klicken der Taste «1» wird dieser Effekt getriggert und die Flüssigkeit beginnt dem Bildschirm runter zu laufen:
Audioreaktivität mit Fokus auf der Kick
Da ich gerne mit der Verbindung von Musik und Bild arbeite, wollte ich auch eine audioreaktive Komponente integrieren. Ich habe dafür die Kicks im Song herausgearbeitet und diese Frequenzdaten genutzt, um einen Parameter innerhalb des Effekts mit dem Audiosignal zu steuern.
Das Ergebnis ist ein visuelles Werk, das direkt auf den Takt der Musik reagiert – konkret auf die Kickdrum –, wodurch sich Bild und Ton rhythmisch miteinander verbinden:
Mein Arbeitsprozess in Bildern
Zu Beginn war der Blumenstrauss …
Ich bin oft im Kreis um ihn herumgegangen, um möglichst viele Fotos für die Photogrammetrie aufzunehmen. Danach habe ich das Mesh in Blender überarbeitet, Löcher gefüllt usw. Weiter ging es in TouchDesigner – hier zwei Screenshots meiner Node-Strukturen der einzelnen Projekte.
Verworfene Projekte / Ideen
Coole Ansätze jedoch wirken die Punktwolken nur mit hoher Auflösung… 🙁
(vha)
Rückblickend würde ich beim Scannen des Blumenstrausses künftig lieber auf eine entsprechende Scan-Kamera zurückgreifen, um eine möglichst hohe Qualität der Modelle zu erreichen. In der HKB-Ausleihe hätte ich sogar Zugang zu solch einem Gerät gehabt – für dieses Projekt habe ich jedoch vorerst mit meiner DSLM Kamera gearbeitet.
Trotzdem bin ich mit den Ergebnissen insgesamt zufrieden, da ich gute Lichtverhältnisse am Aufnahmetag hatte. Das natürliche Licht war weich und gleichmäßig, was bei der Photogrammetrie entscheidend ist, um Schatten und Überbelichtung zu vermeiden. Für zukünftige Projekte wäre jedoch ein kontrolliertes Licht-Setup sinnvoll, um nicht vom Wetter abhängig zu sein.
Ein weiterer Punkt betrifft die Verwendung von TouchDesigner. Ich habe mit der kostenlosen Version gearbeitet, was leider mit Einschränkungen bei der Videoauflösung verbunden war. Das hat sich negativ auf die Qualität des finalen Videos ausgewirkt – ein Upgrade auf die Pro-Version ist für zukünftige Arbeiten auf jeden Fall geplant.
Zu Beginn des Projekts habe ich intensiv mit Point Clouds experimentiert und versucht, daraus audioreaktive Effekte in TouchDesigner zu entwickeln. Leider musste ich diese Ansätze vollständig verwerfen, da die Visualisierung der Punktwolken in der kostenlosen Version qualitativ nicht ausreichte – insbesondere beim Videoexport. Dadurch sind viele dieser Experimente nicht verwertbar gewesen, was schade war und zusätzlich viel Zeit und Nerven gekostet hat…