phenaki
AI视频模型
phenaki

phenaki一种从文本生成视频的模型,提示可以随时间变化,视频可以长达数分钟。

phenaki

Phenaki是什么?

Phenaki是一个能够根据文本提示生成视频的模型,它支持随时间变化的提示,并能够生成长达几分钟的视频。

主要特点:

  • 文本到视频的生成:根据文本提示生成视频,提示可以是变化的。
  • 视频长度:能够生成长达几分钟的视频。
  • 交互式示例:用户可以选择不同的上下文词组合来创建关于宇航员的视频。
  • 从静态图像生成视频:输入是第一帧图像加上提示,生成视频。

主要功能:

  • 文本提示序列:根据一系列文本提示生成视频。
  • 视频压缩:使用新的因果模型学习视频表示,将视频压缩成离散标记的小表示。
  • 变长视频处理:使用因果注意力机制处理不同长度的视频。
  • 双向遮蔽变换器:用于从文本生成视频标记。

使用示例:

  • 示例1:生成一个在旧金山海洋中游泳的逼真泰迪熊的视频。
  • 示例2:生成一个在海滩上放松的泰迪熊的视频。
  • 示例3:生成一个在火星上行走、跳舞、遛狗并观看烟花的宇航员的视频。

总结:

Phenaki模型通过文本提示合成现实感视频,解决了生成视频的计算成本、高质量文本-视频数据量有限以及视频长度可变等挑战。它通过联合训练大量图像-文本对和少量视频-文本示例,实现了超越现有视频数据集的泛化能力。Phenaki是首个研究生成随时间变化提示视频的模型,并且在视频的空间-时间质量和每视频标记数方面超越了文献中使用的每帧基线方法。

相关导航

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注