腾讯发布自主研发的深度思考模型「T1」

最近，腾讯正式发布了自家研发的深度思考模型——混元T1正式版。该版本在大规模强化学习的基础上，专门优化了数学、逻辑推理、科学和代码等理科难题，极大地提升了推理能力。混元T1在常见benchmark上表现出色，比如在大语言模型评估增强数据集MMLU-PRO中取得了87.2分的高分，仅次于顶尖模型o1。同时，在CEval、AIME、Zebra Logic等中英文知识以及竞赛级数学、逻辑推理的公开基准测试中，混元T1也展现出了业界领先的推理模型水平。除了基础推理能力外，混元T1正式版在多项对齐任务、指令跟随任务和工具利用任务中表现出极强的适应性。这归功于其借鉴混元Turbo S的创新架构，并采用了Hybrid-Mamba-Transformer融合模式。这是工业界首次将混合Mamba架构无损应用于超大型推理模型，有效降低了传统Transformer结构的计算复杂度，减少了KV-Cache的内存占用，从而显著降低了训练和推理成本。

此外，基于出色的长文捕捉能力，混元T1能够有效解决长文推理中常见的上下文丢失和长距离信息依赖问题。混合Mamba架构针对长序列处理进行了专项优化，通过高效的计算方式，在确保长文本信息捕捉能力的同时大幅降低资源消耗。在相近的激活参数量下，混元T1实现了解码速度提升2倍。目前，腾讯混元T1已经开放体验，并提供了API服务。用户可以根据需要，以每百万tokens1元的输入价格和每百万tokens4元的输出价格，享受这一强大推理模型带来的便捷与高效。