摩尔线程开源音频理解大模型：MooER摩耳

近日，摩尔线程推出了一项引人注目的技术创新——MooER（模型），它代表着国内首个基于全国产GPU打造并支持训练和推理的大模型。该模型的发布，标志着摩尔线程在推动国产通用GPU生态发展方面迈出了坚实的一步，为相关领域的创新应用提供了强大的技术支撑。

MooER系列的首发版本是与KUAE团队联合打造的，该版本利用了38块GPU在超过5000小时的数据集上进行了预训练和对齐。它不仅具备指令跟随能力，还能实现高质量的文本生成和执行复杂任务。与以往不同的是，MooER更专注于中文和代码的处理，旨在提升相关领域模型的性能表现，为开发者提供更高效、便捷的开发体验。例如，在Covost2的文本生成任务中，MooER-5K达到了25.2的BLEU评分，展现了其卓越的性能。

摩尔线程AI团队致力于构建一个能够支持5000小时数据集训练的大模型，为此，他们投入了大量精力，最终实现了支持8卡GPU并行训练的模型。MooER模型采用了Encoder、Adapter和Decoder三大组件，并融合了Paraformer语音识别模型和Qwen2-7B-instruct语言大模型的Encoder及LLM能力。

值得一提的是，MooER-5K在代码和文本生成方面表现出色，能够为各种大模型应用场景提供强大的支持。摩尔线程通过此次技术创新，旨在降低数据处理的门槛，提升数据处理效率，从而推动国内通用计算领域的进步和发展。

GitHub:https://github.com/MooreThreads/MooER