
Sync Labs 是一家人工智能技术公司,最近通过 Twitter 宣布推出他们的最新产品 Lipsync-2。这款产品被称为“全球首个零-shot嘴型同步模型”,可以保留演讲者的独特风格而无需额外训练或微调。在真实感、表现力、控制力、质量和速度等方面取得了显著进展,适用于真人视频、动画和AI生成的内容。
Lipsync-2的创新特性在于其“零-shot”能力,即无需为特定演讲者进行预训练,模型就能学习并生成符合其独特说话风格的嘴型同步效果。这一特性颠覆了传统嘴型同步技术对大量训练数据的需求,使内容创作者能够更高效地使用该技术。
此外,Lipsync-2还引入了名为“温度”(temperature)的控制功能,允许用户调节嘴型同步效果的表现程度,满足不同场景的需求。该功能目前处于私人测试阶段,逐步向付费用户开放。
根据 Sync Labs 在 Twitter 上发布的消息,Lipsync-2在多个维度上都有技术性的飞跃,无论是真人视频、动画角色还是AI生成的人物,都能提供更高的真实感和表现力。该产品的潜在应用领域包括视频翻译、字幕编辑、角色重新动画化以及支持逼真的AI用户生成内容(UGC),将为教育、娱乐和营销领域带来革命性变革。
随着 Lipsync-2的发布,行业对该产品的关注度迅速上升。Sync Labs 表示,该模型已在 fal 平台上开放体验,用户可通过访问 fal 的模型库详细了解。自4月1日发布以来,有关 Lipsync-2的讨论在 Twitter 上持续升温,许多用户对它在不同领域的潜力表示期待。
作为人工智能视频技术的领军企业,Sync Labs 通过 Lipsync-2 再次证明了自身在创新领域的领先地位。随着这项技术的推广,内容创作的门槛可能会进一步降低,而观众也将享受到更加自然、沉浸式的视听体验。