I denne vejledning vil jeg vise dig, hvordan du kan oprette en imponerende AI-musikvideo ved hjælp af Stable Diffusion og Deforum. Guiden fører dig gennem alle nødvendige trin, lige fra valg af et musikstykke til oprettelse af den endelige video. Med disse værktøjer og lidt kreativitet kan du skabe dine egne kunstværker, der både er kunstnerisk og teknisk tiltalende.
Vigtigste erkendelser
- Du skal bruge Stable Diffusion og en Audio til Keyframe Sting Generator for at kunne afspille din musik synchroniseret med de visuelle elementer.
- Valg af musik samt ekstrahering af relevante lydspor er afgørende for at styre den visuelle repræsentation.
- Tilpasning af parametrene i Colab-Notebook giver dig mulighed for at styre og forfine de kunstneriske aspekter af dine animationer.
Trin-for-trin vejledning
For at oprette dit AI-musikvideo, skal du følge disse trin:
Trin 1: Vælg musik Start med at vælge et passende musikstykke. Jeg har valgt sangen "As You Fade Away" af Nefex, som er tilgængelig i YouTubes lydbibliotek. Download sangen for at kunne begynde oprettelsen.
Trin 2: Rediger lyden Efter at have downloadet sangen, kan du gå til Phonic Mind. Her har du mulighed for at ekstrahere lydspor. I mit tilfælde ekstraherer jeg trommeslageren, da denne er bedst egnet til visuel synkronisering. Upload sangen til Phonic Mind og vælg de spor, du ønsker at bruge.
Trin 3: Opret keyframe Når du har ekstraheret de relevante trommer, skal du uploade lydfilen til en Audio to Keyframe Sting Generator. Dette giver dig mulighed for at generere et keyframe, som vi senere vil bruge i Stable Diffusion. Sørg for kun at uploade trommeslagene.
Trin 4: Indstil keyframe-parametre Nu skal du indstille billedhastigheden. Jeg anbefaler en billedhastighed på 12 billeder pr. sekund, da dette gør animatør af billederne nemmere. Overvej også, hvilke matematiske formler du vil anvende. Zoom er et særlig vigtigt element her. Jeg starter med en zoom på 1.04, som fungerer godt til trommeslagene.
Trin 5: Kopier keyframe-strengen Kopiér hele keyframe-strengen, da den er nødvendig i Stable Diffusion for at oprette animationen. Indsæt strengen i Colab-notebooket fra Stable Diffusion.
Trin 6: Konfigurer Colab-notebook I Colab-notebooket kan du holde de standardindstillinger, men du skal justere oversættelsesværdien for animationen. Sørg for, at zoomforholdet er korrekt, og at animationen ser ud som ønsket.
Trin 7: Prompt til animationen Valget af prompt er afgørende for det visuelle tema for din animation. Jeg har valgt et tema i cyberpunk-stil. Søg efter passende prompts i Lexica, kopier dem og indsæt dem i dit Colab-notebook.
Trin 8: Indstillinger for videooutput Sørg for, at billederne pr. sekund er indstillet til 12, da dette skal passe med de tidligere indstillinger. Nu kan du køre alle celler for at generere animationen.
Trin 9: Generer animation Lad Colab-notebooket køre alle celler. Det vil tage cirka 20 minutter at oprette animationen. Sørg for at give adgang til din Google Drive, da alle billedfiler vil blive gemt der.
Trin 10: Videooprettelse Når alle frames er oprettet, kan du konvertere animationen til en video. Deaktiver "Spring video over for at køre alt"-feltet og klik på Play for at samle framesene.
Trin 11: Rediger videoen Download videoen og åben den i dit foretrukne redigeringsprogram. Her kan du klippe videoen sammen med den originale lydfil for at få det endelige musikvideo.
Oversigt
I denne vejledning har jeg forklaret dig trin for trin, hvordan du kan oprette en AI-musikvideo med Stable Diffusion. Startende fra valg af musik til redigering af lydspor og til generering og redigering af videoen. Med disse værktøjer og teknikker kan du skabe imponerende visuelle og auditive oplevelser, der tilføjer en ny dimension til dit kreative udtryk.
Ofte stillede spørgsmål
Hvad har jeg brug for at oprette en AI-musikvideo?Du har brug for Stable Diffusion, Deforum og en Audio to Keyframe String Generator samt et musikstykke.
Hvordan kan jeg udtrække lydspor?Du kan bruge Phonic Mind til at udtrække de relevante lydspor fra din musik.
Hvor lang tid tager det at generere en video?Genereringen af animationen kan tage cirka 20 minutter, afhængigt af antallet af frames.
Hvilket videoredigeringsprogram skal jeg bruge?Du kan bruge hvilket som helst video redigeringsprogram som f.eks. Blender eller et simpelt klippeprogram efter eget valg.
Kan jeg bruge andre musikstykker?Ja, du kan bruge enhver musik, du kan lide, og som er juridisk tilladt at bruge.
