Neste tutorial, vou te mostrar como criar um impressionante vídeo musical de IA usando Stable Diffusion e Deforum. O tutorial vai te guiar por todos os passos necessários, desde a escolha de uma música até a criação do vídeo final. Com essas ferramentas e um pouco de criatividade, você pode criar suas próprias obras de arte que são artisticamente e tecnicamente atraentes.
Principais Descobertas
- Você vai precisar de Stable Diffusion e de um Gerador de String de Áudio para Keyframe para reproduzir a sua música de forma sincronizada com o conteúdo visual.
- A seleção da música e a extração das faixas de áudio relevantes são cruciais para controlar a representação visual.
- Ajustar os parâmetros no Notebook Colab te permite controlar e aprimorar os aspectos artísticos das suas animações.
Guia Passo a Passo
Para criar seu vídeo musical de IA, siga estes passos:
Passo 1: Escolha da música Comece escolhendo uma música adequada. Eu escolhi a música "As You Fade Away" de Nefex, disponível na biblioteca de áudio do YouTube. Baixe a música para começar a criar o vídeo.
Passo 2: Edição de áudio Após baixar a música, acesse o Phonic Mind. Lá você pode extrair faixas de áudio. No meu caso, estou extraindo as batidas de bateria, pois são as mais adequadas para a sincronização visual. Faça o upload da música no Phonic Mind e selecione as faixas que deseja usar.
Passo 3: Criação de Keyframe Após extrair as batidas de bateria relevantes, carregue o arquivo de áudio em um Gerador de String de Áudio para Keyframe. Isso permitirá que você gere um keyframe que será posteriormente utilizado no Stable Diffusion. Certifique-se de carregar apenas os sons de bateria.
Passo 4: Configuração de parâmetros de Keyframe Agora você precisa definir a taxa de quadros. Eu recomendo uma taxa de 12 quadros por segundo, pois isso facilita a animação dos quadros. Pense também em que fórmulas matemáticas deseja usar. O zoom é um fator especialmente importante aqui. Comece com um zoom de 1.04, que funciona bem para as batidas de bateria.
Passo 5: Copiar String de Keyframe Copie toda a string de keyframe, pois ela será necessária no Stable Diffusion para criar a animação. Cole a string no Notebook Colab do Stable Diffusion.
Passo 6: Configurar Notebook Colab No Notebook Colab, você pode manter as configurações padrão, mas deve ajustar o valor de Tradução para a animação. Verifique se a relação de zoom está correta e se a animação parece como deseja.
Passo 7: Prompt para a Animação A escolha do prompt é crucial para o tema visual da animação. Optei por um tema no estilo Cyberpunk. Procure por prompts adequados no Lexica, copie-os e cole no seu Notebook Colab.
Passo 8: Configurações de Saída de Vídeo Certifique-se de que a taxa de quadros está definida como 12, para coincidir com as configurações anteriores. Agora você pode rodar todas as células para gerar a animação.
Passo 9: Gerar a Animação Rode todas as células do Notebook Colab. Levará cerca de 20 minutos para criar a animação. Certifique-se de conceder acesso ao seu Google Drive, pois é lá que todos os arquivos de quadro serão salvos.
Passo 10: Criação do Vídeo Após todos os quadros serem criados, você pode converter a animação em um vídeo. Desmarque a opção "Pular vídeo para executar todos" e clique em Play para unir os quadros.
Passo 11: Editar o vídeo Baixe o vídeo e abra-o no seu programa de edição preferido. Aqui você pode cortar o vídeo com o arquivo de áudio original para obter o vídeo musical finalizado.
Resumo
Neste tutorial, expliquei passo a passo como você pode criar um vídeo musical de IA com Stable Diffusion. Desde a seleção da música até a edição das trilhas de áudio e a geração e edição do vídeo. Com essas ferramentas e técnicas, você pode criar experiências visuais e auditivas impressionantes que darão uma nova dimensão à sua expressão criativa.
Perguntas Frequentes
O que eu preciso para criar um vídeo musical de IA?Você precisa de Stable Diffusion, Deforum e um Gerador de String de Áudio para Keyframe, bem como uma faixa de música.
Como posso extrair trilhas de áudio?Você pode usar o Phonic Mind para extrair as trilhas de áudio relevantes de sua faixa de música.
Quanto tempo leva para gerar um vídeo?A geração da animação pode levar cerca de 20 minutos, dependendo do número de quadros.
Qual programa de edição de vídeo devo usar?Você pode usar qualquer programa de edição, como Blender ou um programa de edição simples de sua escolha.
Posso usar outras faixas de música?Sim, você pode usar qualquer faixa de música que gostar e cujo uso seja legalmente permitido.
