阿里巴巴集团的技术团队推出了文本+图片生成高保真视频模型——AtomoVideo。
用户通过AtomoVideo只需要提供高清图片和简单的文本提示，就能快速生成高清视频并保留逼真的细节。
根据评测数据显示，AtomoVideo生成的视频在动作连贯性、图片一致性、时序一致性、运动强度等方面超过了VideoCrafter、I2VGEN-XL、SVD开源模型，可媲美商业模型Gen-2和Pika。
论文地址：https://arxiv.org/abs/2403.01800
项目地址：https://atomo-video.github.io/
AtomoVideo架构简单介绍
AtomoVideo使用了预训练的Stable Diffusion 1.5作为基础模型，并在每个空间卷积和注意力层之后新增了1D时序卷积和时序注意力模块。
AtomoVideo的技术创新在于融合了多粒度图片注入和时间建模，可将输入图片经过 VAE 编码器处理后,获得了细粒度的图片潜在表征,再与高斯噪声拼接在一起作为 UNet 的输入。
AtomoVideo还利用 CLIP 编码器对输入图片进行了高层语义表征,并通过交叉注意力注入到 UNet 中。这种巧妙设计使得模型能同时捕捉到图片的细节信息和文本语义提示,从而提高生成视频与原始图片的一致性。
AtomoVideo还在时间维度上进行了技术创新，在 UNet 的每一个空间卷积和注意力层之后,都增加了一维时间卷积和时间注意力模块,从而赋予了模型学习时序动态模式的能力。
功能方面除了图片生成视频，AtomoVideo还可用于其他视频相关任务。例如,给定视频的前几帧,AtomoVideo可对剩余未知帧进行视频扩展预测,为视频添加无缝延续的新内容;
可基于上下文帧,自动修复受损帧或插值缺失帧,自动修复损坏的视频