В данном руководстве я покажу вам, как создать впечатляющее музыкальное видео с ИИ с помощью Stable Diffusion и Deforum. Это руководство проведет вас через все необходимые шаги, начиная с выбора музыкального трека и заканчивая созданием окончательного видео. С помощью этих инструментов и немного креативности, вы сможете создавать собственные произведения искусства, которые будут как художественно, так и технически привлекательны.
Основные моменты
- Вам понадобятся Stable Diffusion и генератор Audio to Keyframe String для синхронизации вашей музыки с визуальным контентом.
- Выбор музыкального трека и извлечение соответствующих аудиодорожек имеет решающее значение для управления визуальным представлением.
- Настройка параметров в блокноте Colab позволяет контролировать и уточнять художественные аспекты ваших анимаций.
Пошаговое руководство
Для создания вашего музыкального видео с ИИ следуйте этим шагам:
Шаг 1: Выбор музыки Начните с выбора подходящего музыкального трека. Я выбрал песню "As You Fade Away" от Nefex, которая доступна в аудио-библиотеке YouTube. Скачайте песню, чтобы начать создание.
Шаг 2: Обработка аудио После загрузки песни вы можете перейти на Phonic Mind. Здесь у вас есть возможность извлечь аудиодорожки. В моем случае я извлекаю ударные, так как они лучше всего подходят для визуальной синхронизации. Загрузите песню на Phonic Mind и выберите дорожки, которые хотите использовать.
Шаг 3: Создание ключевых кадров После извлечения нужных ударных вам нужно загрузить аудиофайл в генератор ключевых кадров Audio to Keyframe. Это позволит вам сгенерировать ключевой кадр, который мы позже используем в Stable Diffusion. При загрузке звуков ударных обращайте внимание только на них.
Шаг 4: Настройка параметров ключевых кадров Теперь вам нужно настроить частоту кадров. Я рекомендую частоту кадров 12 кадров в секунду, так как это упростит создание анимации кадров. Подумайте также о математических формулах, которые вы хотите использовать. Здесь зум является особенно важным фактором. Начните с зума 1.04, который хорошо работает для ударов барабана.
Шаг 5: Копирование строки ключевого кадра Скопируйте всю строку ключевого кадра, так как она понадобится в Stable Diffusion для создания анимации. Вставьте строку в блокнот Colab Stable Diffusion.
Шаг 6: Настройка блокнота Colab В блокноте Colab вы можете оставить стандартные настройки, но должны настроить значение Translation для создания анимации. Убедитесь, что соотношение масштабирования в порядке и анимация соответствует вашим желаниям.
Шаг 7: Подсказка для анимации Выбор подсказки критичен для визуальной тематики вашей анимации. Я выбрал тему в стиле киберпанк. Ищите соответствующие подсказки в Lexica, скопируйте и вставьте их в свой блокнот Colab.
Шаг 8: Настройки видеовыхода Убедитесь, что частота кадров установлена на 12, так как это должно соответствовать предыдущим настройкам. Теперь вы можете запустить все ячейки, чтобы сгенерировать анимацию.
Шаг 9: Генерация анимации Запустите все ячейки в блокноте Colab. Это займет примерно 20 минут, чтобы создать анимацию. Помните предоставить доступ к вашему Google Drive, так как там сохраняются все файлы кадров.
Шаг 10: Создание видео Как только все кадры созданы, вы можете преобразовать анимацию в видео. Отключите флажок "Пропустить видео при запуске всех" и нажмите Play, чтобы объединить кадры.
Шаг 11: Редактирование видео Загрузите видео и откройте его в выбранной вами программе для редактирования. Здесь вы можете вырезать видео с оригинальным аудиофайлом, чтобы получить законченное музыкальное видео.
Обзор
В этом руководстве я пошагово объяснил, как вы можете создать искусственное музыкальное видео с помощью Stable Diffusion. Начиная от выбора музыки и редактирования аудиодорожек до генерации и редактирования видео. С помощью этих инструментов и техник вы можете создавать впечатляющие визуальные и звуковые впечатления, которые добавят вашему творческому выражению новое измерение.
Часто задаваемые вопросы
Что мне нужно для создания искусственного музыкального видео?Вам понадобятся Stable Diffusion, Deforum, генератор строки от аудио к кадрам и музыкальная композиция.
Как извлечь аудиодорожки?Вы можете использовать Phonic Mind, чтобы извлечь необходимые аудиодорожки из вашей музыки.
Сколько времени занимает создание видео?Генерация анимации может занять около 20 минут, в зависимости от количества кадров.
Какую программу для редактирования видео мне стоит использовать?Вы можете использовать любую программу для редактирования, такую как Blender или простую программу для монтажа по вашему выбору.
Могу ли я использовать другие музыкальные композиции?Да, вы можете использовать любую музыку, которая вам нравится и использование которой не нарушает закон.
