Создание креативных видео 2D с использованием Stable Diffusion

В этом руководстве вы узнаете, как создавать свои собственные креативные 2D-видео с помощью Stable Diffusion на платформе Deforum, подобно тому, как вы видели это на платформах типа TikTok. Мы пройдем через весь процесс пошагово, начиная с подготовки вашего видео и заканчивая применением специальных эффектов с помощью технологии синтеза изображений. Итак, давайте приступим!

Основные моменты

• Вы можете загружать и настраивать видеоролики с компьютера или из онлайн-ресурсов.
• Интерфейс в Google Colab оптимален для этого.
• С помощью подсказок вы можете управлять изменениями в ваших видео.
• Важно правильно установить количество кадров в секунду и другие параметры для достижения хороших результатов.

Пошаговая инструкция

Чтобы создать видео с помощью Stable Diffusion на Deforum, следуйте этим шагам:

Сначала откройте Google Colab и убедитесь, что всё настроено правильно. В этом месте вы будете выполнять команды для ввода видео и его редактировки.

Затем кликните на опцию "Ввод видео" в разделе анимаций.

Специальные параметры, которые вы видите здесь, не имеют значения для первых шагов, так как в данном случае они игнорируются. Сосредоточьтесь на правильном пути к вашему видео.

Теперь перейдите к поиску вашего желаемого видео. Вы можете загрузить одно из своих собственных видеороликов или, если у вас нет подходящего, посетить платформу типа Pexels. Там вы можете скачать короткое видео и сохранить его на своем компьютере.

Затем перейдите к вашему Google Drive. Создайте новую папку для ваших видеороликов, чтобы сохранить порядок. Переместите видео, которое вы только что скачали, в эту папку.

После успешной загрузки видеоролика вернитесь в Google Colab. Если вы еще не примонтировали свой Диск, нажмите "Воспроизвести", чтобы установить соединение.

Если у вас не получается сразу получить доступ к своему Диску, нажмите "Обновить", и вы увидите свою папку с видеороликом.

Щелкните правой кнопкой мыши на папке с видео и скопируйте путь.

Теперь вставьте этот путь в поле ввода видео, удалив предопределенный путь и вставив свой собственный.

Здесь вы также можете указать, сколько кадров вы хотите извлечь из видео. Если вы хотите извлекать каждый кадр, просто введите "1". Если хотите меньше кадров, укажите "2" или "3", в зависимости от потребности.

Оставьте опцию "Переопределить извлеченные кадры" включенной, чтобы подсказки также применялись к извлеченным кадрам.

Теперь установите максимальное количество кадров, которые нужно обработать. Вы можете установить его на 300, что обычно достаточно для большинства видеороликов.

Затем перейдите к параметру «Strength». Он определяет насколько сильно изменяются кадры. Установите его примерно на «0.65», что часто приводит к хорошим результатам.

Теперь дело захватывает: перейдите к подсказкам. Удалите первую подсказку и введите свою собственную подсказку, например "Цифровой город в киберпанк стиле с яркими цветами и высокой детализацией 8k". Поставив знак решетки (#) перед подсказкой, вы позволите другим игнорировать ее, что сделает ввод проще.

Вы также можете установить размер изображения. Для большинства социальных сетей, таких как Instagram, рекомендуется размер 320x512 пикселей.

Остальные настройки вы можете оставить в основном без изменений, за исключением некоторых корректировок в пакетных настройках, которые должны быть сохранены в stable diffusion.

Вы можете использовать фиксированный seed, чтобы получать одинаковые результаты, или экспериментировать с различными настройками, чтобы увидеть, что работает.

Важно установить параметры инцитиации на умеренную силу, например "0.45", чтобы найти сбалансированное соотношение между оригиналом и степенью обработки.

Прежде чем начать обработку, убедитесь, что опция "Использовать иниц." отключена, так как вы работаете с видеовходом.

Теперь все готово! Выполняйте каждую ячейку поочередно или нажмите "Execute" для одновременного выполнения.

Видео теперь создается со скоростью 12 кадров в секунду. Если результат не соответствует вашему видео, отрегулируйте количество кадров в секунду соответственно, чтобы получить лучшие результаты.

Если возникают ошибки, не волнуйтесь. Часто бывает, что возникают небольшие технические проблемы. В этом случае просто откройте новый файл и вносите настройки заново.

Как только видео создано, можете оценить качество и убедиться, что достигнуты желаемые результаты. Возможно, придется отрегулировать кадры в секунду или экспериментировать с настройками, пока все не станет идеально.

Краткое изложение

Теперь вы узнали, как использовать Deforum Stable Diffusion для создания креативных 2D-видео. Начиная с выбора видео, проходя через настройку подсказок и завершая тонкой настройкой параметров, вы можете контролировать все аспекты процесса редактирования.