Voicebox

Voicebox产品介绍

Voicebox是一款由Meta AI研发的先进语音生成模型，基于非自回归流匹配模型，通过学习解决文本引导的语音填充任务，利用大规模数据超越了单一目的的AI模型。Voicebox能够在六种语言中合成语音，去除瞬态噪声，编辑内容，跨语言转换音频风格，并生成多样化的语音样本。此外，它的语音生成速度比最先进的自回归模型快20倍。

• 模型概述：Voicebox是一个非自回归流匹配模型，旨在根据音频上下文和文本填充语音。它在60K小时的英语数据和50K小时的多语言数据上进行训练，涵盖英语、法语、德语、西班牙语、波兰语和葡萄牙语六种语言。

• 应用概述：Voicebox通过上下文学习可以执行未明确训练的任务，灵活性高于自回归模型，能够同时考虑过去和未来的上下文。它可以用于单语和跨语言的零-shot文本到语音合成、风格转换、瞬态噪声去除、内容编辑和多样化样本生成。

• 瞬态噪声去除：在录音时，如果被门铃声或狗叫声打断，Voicebox可以像魔术橡皮擦一样去除瞬态噪声，通过重新生成受噪声影响的语音，避免重新录制的麻烦。

• 内容编辑：Voicebox能够帮助纠正错误发音，而无需说话者重新录制音频。它可以有效地修改原始语音，确保编辑后的内容与原意一致。

该内容由AI导航（aidh.net）汇总整理。

• 零-shot文本到语音合成：通过上下文学习，Voicebox可以根据输入的参考音频和待合成文本，合成任何音频风格的语音，确保生成的语音在声音、背景噪声和说话风格上与参考音频一致。

• 跨语言风格转换：Voicebox不仅可以使用英语音频提示生成英语语音，还能实现跨语言的风格转换。例如，可以使用法语提示生成英语语音，使每个人都能用自己的声音说任何语言。

• 多样化语音生成：Voicebox能够通过无条件采样创建独特且富有表现力的音频风格，生成多样化的语音样本，展现其强大的创造能力。

• 伦理声明：我们认识到这项技术可能带来的误用和意外伤害，因此详细说明了如何构建高效的分类器，以区分真实语音和使用Voicebox生成的音频，旨在减轻未来可能的风险。虽然我们希望与AI社区保持开放，分享我们的研究以推动AI的进步，但也必须在开放与责任之间找到平衡。