FantasyID

FantasyID是由阿里巴巴集团与北京邮电大学共同推出的创新身份保持视频生成框架（IPT2V）。该系统基于增强的人脸知识，旨在生成高质量且身份一致的视频。FantasyID运用了扩散变换器技术，并结合3D面部几何先验知识，以确保在视频合成过程中面部结构的稳定性和合理性。此外，采用了多视角人脸增强策略，避免了简单复制参考人脸的现象，提升了面部表情和头部姿态的动态变化。通过可学习的分层感知注入机制，2D和3D特征被选择性地融入到每一层的扩散模型中，实现了身份保留与动态表现之间的平衡。

FantasyID的主要功能包括：

• 身份保留：确保生成视频中人物的面部特征与输入的参考图像高度一致。
• 动态增强：丰富面部表情及头部姿态的多样性，避免生成视频出现“复制粘贴”现象。
• 高质量视频生成：结合3D面部几何信息和2D视觉特征，生成结构稳定且细节丰富的视频，保持时空连贯性。
• 无需微调：在生成过程中，无需针对每个输入图像进行额外模型调整，实现高效、灵活的身份保留视频生成，适应大规模应用需求。

FantasyID的技术原理包括使用3D面部几何先验、多视角人脸增强、特征融合、分层感知信号注入和扩散模型等。这些技术共同确保生成的视频内容在保持身份的同时具有动态表现力。

FantasyID的应用场景包括个性化虚拟形象、虚拟内容创作、虚拟客服与数字人、虚拟试妆与试衣、以及互动式教育等多个领域。通过FantasyID，可以为用户提供更加身临其境的虚拟体验和服务。