阿里开源FunAudioLLM：通义音频生成大模型，赋能情绪语音对话与有声读物创作

据介绍，FunAudioLLM项目旨在探索大型语言模型（LLMs）在音频领域的应用。该项目聚焦于利用LLMs进行语音理解和生成任务，并推出了两个代表性应用：SenseVoice和CosyVoice。

CosyVoice致力于打造舒适自然的语音交互体验，它能够理解和生成各种语音内容，例如语音转文字、语音翻译、语音对话以及创造个性化语音助手等。在超过15个小时的模拟对话数据集上进行测试后，CosyVoice展现出在处理复杂语音场景中的出色能力，可以准确捕捉用户意图，并生成流畅自然的回复。

SenseVoice则专注于提升语音识别的准确性、稳定性和鲁棒性。经过在40多个小时的语音数据上进行训练，并在实际应用中与Whisper模型进行对比，SenseVoice在嘈杂和多变的语音环境中展现出了更高的识别精度，错误率降低了50%。SenseVoice能够实现精准的语音转文字和语音内容理解，为各种语音应用提供坚实的基础。

FunAudioLLM项目不仅提供了SenseVoice、LLMs和CosyVoice三个核心应用，还涵盖了语音合成、语音识别、自然语言处理和深度学习等技术。该项目旨在通过结合SenseVoice、LLMs和CosyVoice，实现更智能的语音处理和生成，推动语音交互技术的发展。

总的来说，CosyVoice凭借其卓越的语音交互能力，提供了一种更自然便捷的语音交互方式，而SenseVoice则专注于提高语音识别的准确性和可靠性，为语音交互应用提供强大的技术支持。两者共同构成了FunAudioLLM项目的重要组成部分，为未来的语音技术发展奠定了基础。

这些项目相关的代码和模型都可以在ModelScope和Huggingface等平台上找到，用户也可以通过GitHub获取更多关于项目构建、使用和贡献的信息。CosyVoice和SenseVoice模型均已在ModelScope平台上开源，方便研究者和开发者获取和使用，共同推动语音技术的发展。

项目地址：https://github.com/FunAudioLLM