En este tutorial te mostraré cómo puedes crear un impresionante video musical de IA utilizando Stable Diffusion y Deforum. Este tutorial te guiará a través de todos los pasos necesarios, desde la selección de una pieza musical hasta la creación del video final. Con estas herramientas y un poco de creatividad, puedes crear tus propias obras de arte que sean tanto artísticas como técnicamente atractivas.
Principales conclusiones
- Necesitarás Stable Diffusion y un generador de String de Audio a Keyframe para reproducir tu música de manera sincronizada con el contenido visual.
- La selección de la pieza musical y la extracción de las pistas de audio relevantes son cruciales para controlar la representación visual.
- Ajustar los parámetros en el Cuaderno Colab te permitirá controlar y refinar los aspectos artísticos de tus animaciones.
Guía paso a paso
Para crear tu video musical de IA, sigue estos pasos:
Paso 1: Seleccionar música Empieza seleccionando una pieza musical apropiada. He optado por la canción "As You Fade Away" de Nefex, disponible en la biblioteca de audio de YouTube. Descarga la canción para poder empezar con la creación.
Paso 2: Editar audio Después de descargar la canción, dirígete a Phonic Mind. Allí podrás extraer pistas de audio. En mi caso, estoy extrayendo los tambores, ya que son los más adecuados para la sincronización visual. Sube la canción a Phonic Mind y elige las pistas que deseas utilizar.
Paso 3: Crear Keyframe Una vez que hayas extraído los tambores relevantes, debes subir el archivo de audio a un generador de String de Audio a Keyframe. Esto te permitirá generar un keyframe que utilizaremos luego en Stable Diffusion. Asegúrate de subir solo los sonidos de los tambores.
Paso 4: Configurar parámetros de Keyframe Ahora debes establecer la velocidad de fotogramas. Recomiendo una velocidad de fotogramas de 12 fotogramas por segundo, ya que facilita la animación de los fotogramas. También piensa en qué fórmulas matemáticas deseas utilizar. El zoom es un factor especialmente importante aquí. Empiezo con un zoom de 1.04, que funciona bien para los golpes de tambor.
Paso 5: Copiar String de Keyframe Copia todo el String de Keyframe, ya que se necesita en Stable Diffusion para crear la animación. Pega el String en el cuaderno Colab de Stable Diffusion.
Paso 6: Configurar el Cuaderno Colab En el Cuaderno Colab, puedes dejar las configuraciones predeterminadas, pero debes ajustar el valor de traducción para la animación. Asegúrate de que la relación de zoom esté correcta y de que la animación luzca como deseas.
Paso 7: Prompt para la animación La elección del prompt es crucial para el tema visual de tu animación. Yo elegí un tema de estilo Cyberpunk. Busca prompts adecuados en Lexica, cópialos y pégalos en tu Cuaderno Colab.
Paso 8: Configuración de salida de video Verifica que los fotogramas por segundo estén configurados en 12, ya que esto debería coincidir con las configuraciones anteriores. Ahora puedes ejecutar todas las celdas para generar la animación.
Paso 9: Generar animación Deja que el Cuaderno Colab ejecute todas las celdas. Tomará aproximadamente 20 minutos crear la animación. Asegúrate de conceder acceso a tu Google Drive, ya que allí se guardarán todos los archivos de fotogramas.
Paso 10: Creación de video Una vez que se hayan creado todos los fotogramas, puedes convertir la animación en un video. Desactiva la casilla "Saltar video para ejecutar todo" y haz clic en Reproducir para unir los fotogramas.
Paso 11: Editar el video Descarga el video y ábrelo en tu programa de edición preferido. Aquí puedes cortar el video con el archivo de audio original para obtener el video musical finalizado.
Resumen
En esta guía te he explicado paso a paso cómo puedes crear un video musical de IA con Difusión Estable. Desde la selección de la música hasta la edición de las pistas de audio y la generación y edición del video. Con estas herramientas y técnicas, puedes crear experiencias visuales y auditivas impresionantes que darán a tu expresión creativa una nueva dimensión.
Preguntas frecuentes
¿Qué necesito para crear un video musical de IA?Necesitarás Difusión Estable, Deforum y un Generador de Keyframes de Audio, así como una pieza musical.
¿Cómo puedo extraer pistas de audio?Puedes usar Phonic Mind para extraer las pistas de audio relevantes de tu pieza musical.
¿Cuánto tiempo lleva generar un video?La generación de la animación puede tardar aproximadamente 20 minutos, dependiendo de la cantidad de fotogramas.
¿Qué programa de edición de video debo usar?Puedes usar cualquier programa de edición, como Blender o un programa de edición simple de tu elección.
¿Puedo usar otras piezas musicales?Sí, puedes usar cualquier pieza musical que te guste y cuyo uso sea legalmente permitido.
