MagicAnimate: Animación de Imágenes Humanas Temporalmente Consistente Usando el Modelo de Difusión

Publicado el 03 de diciembre de 2023

¿Qué es Magic Animate?

Magic Animate (Github) es un emocionante nuevo proyecto de código abierto que permite producir un video animado a partir de una sola imagen y un video de movimiento.

Mientras todos esperan por AnimateAnyone, ¡MagicAnimate ya ha sido lanzado y es realmente impresionante! (https://twitter.com/alexcarliera/status/1731785857609146673)

Resumen

Presentamos MagicAnimate, un marco de trabajo de difusión de vanguardia para la animación de imágenes humanas. Esta herramienta innovadora destaca en mantener la consistencia temporal, preservar fielmente la imagen de referencia y mejorar significativamente la fidelidad de la animación. MagicAnimate sobresale en animar imágenes de referencia con secuencias de movimiento de diversas fuentes, incluyendo animaciones entre diferentes identidades y dominios no vistos como pinturas al óleo y personajes de películas. También se integra perfectamente con modelos de difusión T2I como DALLE3, dando vida a imágenes generadas por texto con acciones dinámicas.

Demos

Demostración de MagicAnimate 1: Animación de Imágenes Humanas Temporalmente Consistente Usando el Modelo de Difusión Demostración de MagicAnimate 2: Animación de Imágenes Humanas Temporalmente Consistente Usando el Modelo de Difusión Demostración de MagicAnimate 3: Animación de Imágenes Humanas Temporalmente Consistente Usando el Modelo de Difusión Demostración de MagicAnimate 4: Animación de Imágenes Humanas Temporalmente Consistente Usando el Modelo de Difusión

Cómo empezar

Por favor, descarga los modelos base preentrenados para StableDiffusion V1.5 y MSE-finetuned VAE.

Descarga nuestros puntos de control de MagicAnimate.

AnimateAnyone VS MagicAnimate

WIP (Trabajo en Progreso).

Instalación

Requisitos previos: python>=3.8, CUDA>=11.3 y ffmpeg.

Instalación con conda:

conda env create -f environment.yml
conda activate manimate

Prueba en línea