MagicAnimate:使用扩散模型实现时间一致的人像动画

2023年12月03日发布

Magic Animate是什么?

Magic Animate(Github)是一个刚发布的开源项目,它可以从单张图片和一个动作视频中生成动画视频。

在大家都在等待 AnimateAnyone 的时候,MagicAnimate刚刚发布,而且非常厉害!(https://twitter.com/alexcarliera/status/1731785857609146673)

简介

MagicAnimate 是一个基于扩散的尖端人像动画框架。这个创新工具在保持时间一致性、忠实保留参考图像以及显著提高动画真实感方面表现出色。Magic Animate 在使用来自各种来源的动作序列为参考图像制作动画方面独树一帜,包括跨ID动画和未见领域如油画和电影角色。它还与 DALLE3 等 T2I 扩散模型无缝集成,将文本提示的图像带入生动的动作中。

Demo 演示

MagicAnimate演示1:使用扩散模型实现时间一致的人像动画 MagicAnimate演示2:使用扩散模型实现时间一致的人像动画 MagicAnimate演示3:使用扩散模型实现时间一致的人像动画 MagicAnimate演示4:使用扩散模型实现时间一致的人像动画

入门

请下载StableDiffusion V1.5MSE微调VAE的预训练基础模型。

下载我们的MagicAnimate checkpoint

AnimateAnyone 与 MagicAnimate 的i mgk

正在进行中。

安装

前提依赖条件:python>=3.8, CUDA>=11.3和ffmpeg。

使用conda安装:

conda env create -f environment.yml conda activate manimate

在线测试 demo