Anleitung zum Erstellen eines inspirierenden KI-Musikvideos mit Stable Diffusion

In dieser Anleitung zeige ich dir, wie du mit Hilfe von Stable Diffusion und Deforum ein beeindruckendes KI-Musikvideo erstellen kannst. Das Tutorial führt dich durch alle notwendigen Schritte, vom Auswählen eines Musikstücks bis hin zur Erstellung des finalen Videos. Mit diesen Tools und ein wenig Kreativität kannst du deine eigenen Kunstwerke schaffen, die sowohl künstlerisch als auch technisch ansprechend sind.

Wichtigste Erkenntnisse

• Du benötigst Stable Diffusion und einen Audio to Keyframe String Generator, um deine Musik synchron zu den visuellen Inhalten abspielen zu können.
• Die Auswahl des Musikstücks und das Extrahieren der relevanten Audiospuren sind entscheidend, um die visuelle Darstellung zu steuern.
• Die Anpassung der Parameter im Colab-Notebook ermöglicht dir, die künstlerischen Aspekte deiner Animationen zu steuern und zu verfeinern.

Schritt-für-Schritt-Anleitung

Um dein KI-Musikvideo zu erstellen, folge diesen Schritten:

Schritt 1: Musik auswählen Beginne damit, ein passendes Musikstück auszuwählen. Ich habe mich für das Lied "As You Fade Away" von Nefex entschieden, das in der Audio-Mediathek von YouTube verfügbar ist. Lasse das Lied herunterladen, um mit der Erstellung beginnen zu können.

Schritt 2: Audio bearbeiten Nach dem Herunterladen des Liedes kannst du zu Phonic Mind gehen. Dort hast du die Möglichkeit, Audiospuren zu extrahieren. In meinem Fall extrahiere ich die Trommeln, da diese am besten für die visuelle Synchronisation geeignet sind. Lade den Song in Phonic Mind hoch und wähle die Spuren aus, die du verwenden möchtest.

Schritt 3: Keyframe erstellen Sobald du die relevanten Trommeln extrahiert hast, musst du die Audio-Datei in einen Audio to Keyframe String Generator hochladen. Dies ermöglicht es dir, einen Keyframe zu generieren, den wir später in Stable Diffusion verwenden werden. Achte darauf, nur die Trommel-Sounds hochzuladen.

Schritt 4: Keyframe-Parameter einstellen Nun musst du die Framerate einstellen. Ich empfehle eine Framerate von 12 Frames pro Sekunde, da dies das Animieren der Frames vereinfacht. Überlege dir auch, welche mathematischen Formeln du verwenden willst. Der Zoom ist hier ein besonders wichtiger Faktor. Ich beginne mit einem Zoom von 1.04, was gut für die Trommelschläge funktioniert.

Schritt 5: Keyframe-String kopieren Kopiere den gesamten Keyframe-String, da er in Stable Diffusion benötigt wird, um die Animation zu erstellen. Füge den String in das Colab-Notebook von Stable Diffusion ein.

Schritt 6: Colab-Notebook konfigurieren Im Colab-Notebook kannst du die Standard-Einstellungen belassen, jedoch solltest du den Translation-Wert für die Animation anpassen. Stelle sicher, dass das Zoom-Verhältnis in Ordnung ist und die Animation wie gewünscht aussieht.

Schritt 7: Prompt für die Animation Die Wahl des Prompts ist entscheidend für das visuelle Thema deiner Animation. Ich habe mich für ein Thema im Cyberpunk-Stil entschieden. Suche in Lexica nach passenden Prompts, kopiere sie und füge sie in dein Colab-Notebook ein.

Schritt 8: Einstellungen für die Videoausgabe Stelle sicher, dass die Frames pro Sekunde auf 12 gesetzt sind, da dies mit den vorherigen Einstellungen übereinstimmen sollte. Nun kannst du alle Zellen laufen lassen, um die Animation zu generieren.

Schritt 9: Animation generieren Lass das Colab-Notebook alle Zellen ablaufen. Es wird etwa 20 Minuten dauern, bis die Animation erstellt ist. Achte darauf, Zugriff auf dein Google Drive zu gewähren, da dort alle Frame-Dateien gespeichert werden.

Schritt 10: Videoerstellung Sobald alle Frames erstellt wurden, kannst du die Animation in ein Video umwandeln. Deaktiviere die "Skip video for run all"-Box und klicke auf Play, um die Frames zusammenzuführen.

Schritt 11: Video bearbeiten Lade das Video herunter und öffne es in deinem bevorzugten Bearbeitungsprogramm. Hier kannst du das Video mit der ursprünglichen Audiodatei zusammenschneiden, um das finalisierte Musikvideo zu erhalten.

Zusammenfassung

In dieser Anleitung habe ich dir Schritt für Schritt erklärt, wie du ein KI-Musikvideo mit Stable Diffusion erstellen kannst. Angefangen bei der Musikselektion über die Bearbeitung der Audiospuren bis hin zur Generierung und Bearbeitung des Videos. Mit diesen Werkzeugen und Techniken kannst du beeindruckende visuelle und auditive Erlebnisse schaffen, die deinem kreativen Ausdruck eine neue Dimension verleihen.