Разработка и исследование алгоритмов генерации видео на основе диффузионных моделей

Велижанин, П. Д.; Ковылина, В. В.; Ступников, А. А.; Velizhanin, P. D.; Kovylina, V. V.; Stupnikov, A. A.

Разработка и исследование алгоритмов генерации видео на основе диффузионных моделей

Велижанин, П. Д., Ковылина, В. В., Ступников, А. А., Velizhanin, P. D., Kovylina, V. V., Stupnikov, A. A.

Дата публикации: 2023

Дата публикации в реестре: 2023-12-05T16:58:16Z

Аннотация:

В данной работе представлен подход к редактированию реальных видео с использованием предварительно обученных диффузионных моделей без необходимости дополнительного обучения на видеоданных. Для генерации предлагается набор методов, основанных на использовании временной согласованности между кадрами исходного видео для сохранения пространственно-временных связей объектов в кадре генерируемого видео.

Ключевые слова:
конференция, диффузионные модели, генерация видео, генерация на основе текста, согласованность кадров

Тип: Conference Paper

Права: open access