腾讯开源Hunyuan-large：支持256K超长文本序列的大语言模型

腾讯近日发布了混元大模型MOE版本Hunyuan-large，该模型的参数规模为3980亿，激活参数规模达到520亿。经过广泛的性能评测，Hunyuan-large在包括CMMLU、MMLU、CEva1和MATH等多个中文和英文NLP与知识相关的9项权威基准测试中，均超越了Llama3和Mixtral等一系列同规模的大模型。

值得关注的是，该模型在处理长文本方面表现出色，能够更有效地处理和理解长篇内容，减少了长文本处理过程中常见的信息丢失问题。在实际应用中，该模型支持最长256K的上下文窗口，这意味着它可以同时处理更多的信息，为复杂任务提供更全面的信息支持。

目前，腾讯混元已经对外开放，旨在为通用及垂直领域的应用提供强大的模型支持。同时，腾讯混元还支持多种长度的上下文窗口，以适应不同的应用需求。其中，PenguinScrolls系列覆盖了短文本、中等长度文本以及长文本的各类场景，支持的上下文长度范围从1K到128K不等，能够满足不同应用对文本长度的需求。

腾讯混元Large大模型MOE版本的发布，标志着国产大模型在技术上又向前迈进了一步，为各行各业提供了更强大的AI能力，有助于推动人工智能技术在实际应用中的普及和发展。

项目链接：https://llm.hunyuan.tencent.com