Kiss3DGen

Kiss3DGen是一种基于图像扩散模型的3D资产生成框架，旨在利用预训练的2D图像扩散模型，快速生成、编辑和提升3D对象的质量。其核心技术在于创建“3D Bundle Image”，即结合多视图图像和相应法线图的拼贴表示，其中法线图用于重建3D网格，多视图图像则为模型提供纹理映射。Kiss3DGen将复杂的3D生成任务转化为2D图像生成任务，充分发挥预训练扩散模型的优势，支持多种扩散模型技术，包括3D编辑、网格和纹理的增强等功能。

Kiss3DGen的主要功能包括：

• 文本转3D生成：通过简洁的文本描述生成高质量的3D模型。
• 图像转3D生成：将2D图像转换为3D模型，扩展现有图像内容至三维空间。
• 多种编辑功能支持：兼容多种扩散模型技术，支持生成和编辑3D模型以及增强纹理。
• 高效的训练与推理：在有限的训练数据下表现优异，能够快速生成高质量的3D模型。
• 多任务生成能力：同时处理多种生成任务，如文本或图像生成3D模型、编辑现有的3D模型以及提升3D资产的质量。

Kiss3DGen的技术原理包括：

• 重用2D扩散模型：将3D生成转化为2D图像生成问题，通过微调预训练的2D扩散模型来避免从头训练复杂的3D生成模型。
• 3D Bundle Image概念：引入多视图图像和法线图组合的”3D Bundle Image”，从2D图像中提取信息以重建完整的3D模型。
• 法线图的增强作用：通过捕捉物体表面方向信息，帮助准确重建3D几何形状，实现从2D到3D的高效转换。
• ControlNet技术的应用：采用ControlNet技术实现精确的3D编辑，用户可通过文本提示或空间线索对生成的3D模型进行细致修改。

Kiss3DGen的应用场景包括游戏开发、影视制作、虚拟现实（VR）和增强现实（AR）、数字孪生、教育与培训等领域。用户可通过文本描述或图像输入快速生成所需的3D资产，支持快速构建复杂的3D场景和角色模型，以及生成用于教学的3D模型等。

如需了解更多信息，可访问Kiss3DGen的项目官网、Github仓库、arXiv技术论文以及在线体验Demo。用户可以根据需求获取安装和使用说明，了解框架支持的输入类型、导出格式以及训练过程等细节。