Instruktioner för att skapa en inspirerande AI-musikvideo med Stable Diffusion

I denna handledning visar jag dig hur du kan skapa en imponerande AI-musikvideo med hjälp av Stable Diffusion och Deforum. Denna handledning tar dig genom alla nödvändiga steg, från att välja en musikbit till att skapa den slutgiltiga videon. Med dessa verktyg och lite kreativitet kan du skapa dina egna konstverk som är både konstnärligt och tekniskt tilltalande.

Viktigaste insikter

• Du behöver Stable Diffusion och en Audio to Keyframe String Generator för att kunna spela in din musik synkront med de visuella elementen.
• Att välja musikbiten och extrahera de relevanta ljudspåren är avgörande för att styra den visuella representationen.
• Att justera parametrarna i Colab-anteckningsboken ger dig möjlighet att styra och förbättra de konstnärliga aspekterna av dina animationer.

Steg-för-steg-instruktioner

För att skapa ditt AI-musikvideo, följ dessa steg:

Steg 1: Välj musik Börja med att välja en lämplig musikbit. Jag har valt låten "As You Fade Away" av Nefex, som finns tillgänglig i YouTubes ljudbibliotek. Låt låten laddas ner så att du kan börja skapa.

Steg 2: Redigera ljudet Efter att ha laddat ner låten kan du gå till Phonic Mind. Där har du möjlighet att extrahera ljudspår. I mitt fall extraherar jag trummorna, eftersom de bäst lämpar sig för visuell synkronisering. Ladda upp låten i Phonic Mind och välj de spår du vill använda.

Steg 3: Skapa Keyframe När du har extraherat de relevanta trummorna måste du ladda upp ljudfilen i en Audio to Keyframe String Generator. Detta låter dig generera en nyckelbild som vi senare kommer att använda i Stable Diffusion. Se till att bara ladda upp trumljuden.

Steg 4: Ställ in Keyframe-parametrar Nu måste du ställa in bildtakten. Jag rekommenderar en bildtakt på 12 bilder per sekund, eftersom det förenklar animationen av bilderna. Tänk också på vilka matematiska formler du vill använda. Zoom är en särskilt viktig faktor här. Jag börjar med en zoom på 1,04, vilket fungerar bra för trumslagen.

Steg 5: Kopiera Keyframe-strängen Kopiera hela Keyframe-strängen eftersom den behövs i Stable Diffusion för att skapa animationen. Klistra in strängen i Stable Diffusions Colab-anteckningsbok.

Steg 6: Konfigurera Colab-anteckningsboken I Colab-anteckningsboken kan du behålla standardinställningarna, men du bör justera värdet för översättningen av animationen. Se till att zoomförhållandet är korrekt och att animationen ser ut som önskat.

Steg 7: Prompt för animationen Valet av prompt är avgörande för det visuella temat i din animation. Jag har valt ett tema i cyberpunk-stil. Sök efter lämpliga prompts i Lexica, kopiera dem och klistra in dem i din Colab-anteckningsbok.

Steg 8: Inställningar för videoutmatning Se till att antalet bilder per sekund är inställt på 12, eftersom detta bör matcha de tidigare inställningarna. Nu kan du köra alla celler för att generera animationen.

Steg 9: Generera animationen Låt Colab-anteckningsboken köra alla celler. Det kommer ta cirka 20 minuter att skapa animationen. Se till att ge åtkomst till din Google Drive eftersom alla bildfiler kommer att sparas där.

Steg 10: Skapa video När alla bilder har skapats kan du konvertera animationen till en video. Inaktivera "Hoppa över video för att köra alla"-rutan och klicka på Play för att sammanfoga bilderna.

Steg 11: Redigera video Ladda ner videon och öppna den i ditt föredragna redigeringsprogram. Här kan du klippa ihop videon med den ursprungliga ljudfilen för att få det färdiga musikvideot.

Sammanfattning

I denna handledning har jag steg för steg förklarat hur du skapar en AI-musikvideo med Stable Diffusion. Börjande med val av musik, redigering av ljudspår och fram till generering och redigering av video. Med dessa verktyg och tekniker kan du skapa imponerande visuella och auditiva upplevelser som ger ditt kreativa uttryck en ny dimension.