MagicAnimate:使用扩散模型实现时间一致的人像动画
2023年12月03日发布
Magic Animate是什么?
Magic Animate(Github)是一个刚发布的开源项目,它可以从单张图片和一个动作视频中生成动画视频。
在大家都在等待 AnimateAnyone 的时候,MagicAnimate刚刚发布,而且非常厉害!(https://twitter.com/alexcarliera/status/1731785857609146673)
简介
MagicAnimate 是一个基于扩散的尖端人像动画框架。这个创新工具在保持时间一致性、忠实保留参考图像以及显著提高动画真实感方面表现出色。Magic Animate 在使用来自各种来源的动作序列为参考图像制作动画方面独树一帜,包括跨ID动画和未见领域如油画和电影角色。它还与 DALLE3 等 T2I 扩散模型无缝集成,将文本提示的图像带入生动的动作中。
Demo 演示




入门
请下载StableDiffusion V1.5和MSE微调VAE的预训练基础模型。
下载我们的MagicAnimate checkpoint。
AnimateAnyone 与 MagicAnimate 的i mgk
正在进行中。安装
前提依赖条件:python>=3.8, CUDA>=11.3和ffmpeg。
使用conda安装:
conda env create -f environment.yml conda activate manimate