MagicAnimate：利用擴散模型實現時間一致的人像動畫

Magic Animate 是什麼？

Magic Animate（Github）是一個令人興奮的新開源項目，它能夠從單張圖片和動作視頻製作出動畫影片。

當大家都在期待 AnimateAnyone 的時候，MagicAnimate 已經發布了，而且非常令人印象深刻！（https://twitter.com/alexcarliera/status/1731785857609146673）

簡而言之

介紹 MagicAnimate，一個尖端的基於擴散的人像動畫框架。這個創新工具在維持時間一致性、忠實保留參考圖像和顯著提升動畫真實度方面表現出色。MagicAnimate 在將參考圖像與來自不同來源的動作序列動畫化方面脫穎而出，包括跨身份動畫和未見領域（如油畫和電影角色）的動畫。它還能與 T2I 擴散模型（如 DALLE3）無縫整合，將以文字提示創建的圖像賦予動態行為。

演示

如何開始

請下載預訓練的基礎模型，包括 StableDiffusion V1.5 和 MSE-finetuned VAE。

下載我們的 MagicAnimate 檢查點。

AnimateAnyone 與 MagicAnimate 的比較

安裝

先決條件：python>=3.8, CUDA>=11.3, 以及 ffmpeg。

使用 conda 安裝：

conda env create -f environment.yml
conda activate manimate

線上嘗試