In deze handleiding laat ik je zien hoe je een indrukwekkende AI-muziekvideo kunt maken met behulp van Stable Diffusion en Deforum. De handleiding begeleidt je door alle benodigde stappen, van het selecteren van een muziekstuk tot het maken van de uiteindelijke video. Met deze tools en een beetje creativiteit kun je je eigen kunstwerken maken die zowel artistiek als technisch aantrekkelijk zijn.
Belangrijkste bevindingen
- Je hebt Stable Diffusion en een Audio to Keyframe String Generator nodig om je muziek synchroon met de visuele inhoud af te spelen.
- De keuze van het muziekstuk en het extraheren van relevante audiokanalen zijn cruciaal om de visuele weergave te sturen.
- Door de parameters aan te passen in het Colab-notitieblok kun je de artistieke aspecten van je animaties beheersen en verfijnen.
Stap-voor-stap handleiding
Om je AI-muziekvideo te maken, volg deze stappen:
Stap 1: Muziek selecteren Begin met het kiezen van een geschikt muziekstuk. Ik heb gekozen voor het nummer "As You Fade Away" van Nefex, dat beschikbaar is in de audiobibliotheek van YouTube. Laat het nummer downloaden om te kunnen beginnen met maken.
Stap 2: Audio bewerken Na het downloaden van het nummer kun je naar Phonic Mind gaan. Daar kun je audiokanalen extraheren. In mijn geval extraheren ik de drums, omdat deze het meest geschikt zijn voor visuele synchronisatie. Upload het nummer naar Phonic Mind en selecteer de kanalen die je wilt gebruiken.
Stap 3: Keyframe maken Zodra je de relevante drums hebt geëxtraheerd, moet je het audiobestand uploaden naar een Audio to Keyframe String Generator. Hiermee kun je een keyframe genereren die later in Stable Diffusion zal worden gebruikt. Zorg ervoor dat je alleen de drumsounds uploadt.
Stap 4: Keyframeparameters instellen Stel nu de framerate in. Ik raad een framerate van 12 frames per seconde aan, omdat dit het animeren van frames vereenvoudigt. Denk ook na over welke wiskundige formules je wilt gebruiken. De zoom is hier een bijzonder belangrijke factor. Ik begin met een zoom van 1.04, wat goed werkt voor de drumslagen.
Stap 5: Keyframestring kopiëren Kopieer de volledige keyframestring, want deze is nodig in Stable Diffusion om de animatie te maken. Plak de string in het Colab-notitieblok van Stable Diffusion.
Stap 6: Configuratie van het Colab-notitieblok In het Colab-notitieblok kun je de standaardinstellingen behouden, maar je moet de waarde van de vertaling voor de animatie aanpassen. Zorg ervoor dat de zoomverhouding in orde is en dat de animatie eruitziet zoals gewenst.
Stap 7: Prompt voor de animatie De keuze van de prompt is cruciaal voor het visuele thema van je animatie. Ik heb gekozen voor een thema in cyberpunk-stijl. Zoek in Lexica naar passende prompts, kopieer ze en plak ze in je Colab-notitieblok.
Stap 8: Instellingen voor de video-uitvoer Zorg ervoor dat het aantal frames per seconde op 12 staat, omdat dit overeenkomt met de eerdere instellingen. Laat nu alle cellen draaien om de animatie te genereren.
Stap 9: Animatie genereren Laat het Colab-notitieblok alle cellen doorlopen. Het duurt ongeveer 20 minuten voordat de animatie is gemaakt. Zorg ervoor dat je toegang geeft tot je Google Drive, want daar worden alle framebestanden opgeslagen.
Stap 10: Video maken Zodra alle frames zijn gemaakt, kun je de animatie omzetten in een video. Schakel het vakje "Video overslaan voor het uitvoeren van alles" uit en klik op afspelen om de frames samen te voegen.
Stap 11: Video bewerken Download de video en open deze in je favoriete bewerkingsprogramma. Hier kun je de video samenvoegen met het originele audiobestand om de voltooide muziekvideo te krijgen.
Samenvatting
In deze handleiding heb ik stap voor stap uitgelegd hoe je een KI-muziekvideo met Stable Diffusion kunt maken. Van het selecteren van de muziek tot het bewerken van de audiosporen en het genereren en bewerken van de video. Met deze tools en technieken kun je indrukwekkende visuele en auditieve ervaringen creëren die je creatieve expressie een nieuwe dimensie geven.
Veelgestelde vragen
Wat heb ik nodig om een KI-muziekvideo te maken?Je hebt Stable Diffusion, Deforum en een Audio to Keyframe String Generator nodig, evenals een muziekstuk.
Hoe kan ik audiosporen extraheren?Je kunt Phonic Mind gebruiken om de relevante audiosporen uit je muziekstuk te extraheren.
Hoe lang duurt het om een video te genereren?De generatie van de animatie kan ongeveer 20 minuten duren, afhankelijk van het aantal frames.
Welk videobewerkingsprogramma moet ik gebruiken?Je kunt elk bewerkingsprogramma gebruiken, zoals Blender of een eenvoudig bewerkingsprogramma naar keuze.
Kan ik ook andere muziekstukken gebruiken?Ja, je kunt elk muziekstuk gebruiken dat je leuk vindt en waarvan het gebruik juridisch toegestaan is.
