腾讯正式发布混元 – T1,推理能力得到大幅提升

1个月前发布AI俱乐部
0 0 0
腾讯正式发布混元 – T1,推理能力得到大幅提升的封面图

最近,腾讯发布了混元大模型系列的正式版——混元-T1。这款新模型基于混元中等规模底座,经过大规模后训练,显著增强了推理能力,尤其在深度思考和解决复杂问题方面表现出色。自今年2月混元T1-Preview上线以来,用户们已经体验到更快、更深入的思考过程。而这次正式版的推出,则意味着该系列产品的进一步提升。

混元-T1的研发团队使用了最新的TurboS基座,这是一种行业领先的超大规模Hybrid-Transformer-Mamba MoE模型。TurboS在处理长文本推理时展现出独特优势,有效解决了上下文丢失和长距离信息依赖的问题。此外,Mamba架构也经过专门优化,能够在保持信息捕捉能力的同时,显著减少计算资源的消耗。根据官方数据,在相同的部署条件下,混元-T1的解码速度提高了一倍。

在后训练阶段,团队投入了96.7%的算力进行强化学习训练,专注于提升推理能力和优化对齐人类偏好。团队收集了大量的世界理科难题,涵盖数学、逻辑推理、科学以及代码等领域,以确保模型在各种推理任务中表现卓越。他们采用课程学习的方式逐步提高数据难度。

若要了解更多信息,可访问体验入口:https://llm.hunyuan.tencent.com/?ref=producthunt#/chat/hy-t1

© 版权声明:
本文地址:https://aidh.net/kuaixun/ggtmtdve

暂无评论

none
暂无评论...