Die Zukunft von Animationen?
2022 haben AI-Tools einen sehr starken Fortschritt gemacht. Die meisten kennen sicherlich Dall-E und/oder ChatGPT. Dies ist erst der Anfang. Wenn man überlegt, was vor einem Jahr möglich war und wo wir jetzt sind, so kann man sehr gespannt auf die Zukunft blicken. Ich recherchierte nach weiteren AI Möglichkeiten und habe spannende Animationen gefunden. Diese wollte ich auch erstellen.
Ich recherchierte, wie ich ähnliche Animationen erstellen kann und bin auf Stable Diffusion Deforum gestossen. Stable Diffusion ist wie Dall-E oder Midjourney ein Bildgenerator. Deforum ist das Tool dahinter, welches die Animationen erstellt.
Da ich nicht die beste Grafikkarte besitze, arbeitete ich mit Google Colab. Dies ist ein Service von Google, bei dem über die Cloud mit Grafikkarten gearbeitet werden kann. Ausserdem sind dort die Python Codes, welche ausgeführt werden müssen.
Alles muss genau definiert werden, um ein gutes Ergebnis zu bekommen. Ob 2D oder 3D, wie viele Frames das Video haben soll, in welche Richtung die Kamera schwenkt, wo die Keyframes sind und vieles mehr.
Fast am wichtigsten ist die Einstellung der Bilder die angezeigt werden sollen. Auch dort kann mit Keyframes entschieden werden, wann welches Bild vorkommt.
Ich wollte, dass die Animationen auf die Musik animiert werden. Dafür habe ich den Sound mit einer anderen KI getrennt, sodass nur die Drums zu hören sind. Daraus habe ich auf einer weiteren Seite Keyframes für den Zoom generiert. (Bei der ersten Animation ist dies zu wenig sichtbar)
In meiner ersten Animation wollte ich einige Einblicke aus dem Studium zeigen. Zu sehen ist, wie studiert wird, Bücher gelesen werden, im Zug gereist wird, ein Ausflug in die Niederlande und eine Party stattfinden.
Bei der ersten Animation habe ich zu wenig auf die Musik geschnitten. Die Einstellung für den Zoom war zu schwach. Aus diesem Grund habe ich eine weitere Animation erstellt, mit dem Ziel, besser auf die Musik zu animieren.
Es war mir noch nicht genug und ich wollte eine dritte Animation erstellen. Ich entschied mich für eine arabische Musik. Passend zur Musik wollte ich Ägyptische Elemente einbauen. Zusätzlich wollte ich ein anderes Aussehen erzwingen und benutzte ein anders trainiertes «Modell»
(dbo)
Idee
Ich bin fasziniert von den positiven Seiten die Artificial Intelligence hat. In den letzten Monaten haben sie die Möglichkeiten sehr verbessert und es scheint nicht aufzuhören. Als ich das Internet durchstöberte sind mir Animationen aufgefallen welche von Frame zu Frame sich speziell ändern. Ich wusste, dass es mit AI erstellt wurde aber ich wusste nicht wie. Dies wollte ich herausfinden.
Umsetzung
Ich benutzte Google Colab und Huggingface. Dank einem anderen AI Projekt kannte ich die beiden Tools bereits. Da mein Ziel es war auch auf die Musik zu animieren, benutzte ich melody.ml um die Drums etc. herauszufiltern. Die Drums habe ich dann auf www.chigozie.co.uk/audio-keyframe-generator/ hochgeladen und Keyframes zurückbekommen. Bei der ersten Animation lief fast alles wie gewollt. Für die nächsten beiden Animationen wollte ich ein paar Änderungen. Es sollte noch mehr auf die Musik animiert sein und das Video soll «smoother» sein, denn das erste war mir ein wenig zu schnell.
Herausforderungen
Für die zweite Animation habe ich zwei Versuche gebraucht. Für die Keyframes kann man nämlich auch mathematische cos, sin, tan Funktionen einfügen und eine Funktion hat meine Animation zerstört, da diese viel zu schnell war. Naja mit dem zweiten Anlauf bin ich zufrieden. Immer wieder hatte ich dann Fehler und da alles über Python läuft, habe ich nicht viel davon verstanden. Deshalb bin ich dem Discord Server von Deforum beigetreten und hatte danach für alle Fehlermeldungen Lösungen gefunden. Ein schlimmer Fehler ist mir dann noch bei der dritten Animation passiert. Ich habe ein anderes «Modell» verwendet und beim einfügen aus Versehen den Pfad fürs Speichern gelöscht. Während der Erstellung habe ich immer wieder auf einzelnen Frames geschaut und diese haben mir eigentlich besser gefallen, als meine jetzige Ägypten Animation.
Fazit
Bei diesem Projekt konnte ich einiges dazulernen. Mir ist aufgefallen, dass es heutzutage für fast alles bereits eine Website gibt. Zum Beispiel eben um die Drums aus der Musik zu filtern. AI für Video ist eventuell noch weniger weit als AI für Bild, aber ich bin mir sicher, dass noch eine Menge auf uns zukommen wird. Künstler wie Cro benutzen heute bereits solche Animationen als Musikvideos, einfach professioneller und aufwändiger als ich es gemacht habe.