AnimateDiff

AnimateDiff：无需特定调整即可为您的个性化文本到图像扩散模型制作动画

随着文本到图像模型和个性化技术的发展，如稳定扩散和DreamBooth,人们可以以低成本将想象力转化为高质量图像。随后，对图像动画技术的需求增加，将生成的静态图像与动态相结合。本报告提出一个实用框架，一次性处理大多数现有个性化文本到图像模型的动画，节省调整工作量。核心是将运动建模模块插入冻结的T2I模型并在视频剪辑上训练以提取合理先验。经训练后，注入该模块可轻松将个性化版本变为文本驱动模型，产生多样化动画图像。我们评估了代表性的个性化文本到图像模型，证明框架可帮助生成平滑动画剪辑，同时保留领域和多样性。