腾讯发布混元Turbo:推理成本减半,效率翻倍!

6个月前发布AI俱乐部
3 0 0
腾讯发布混元Turbo:推理成本减半,效率翻倍!的封面图

在2024年的模型竞赛中,模型成本控制成为了各家公司关注的焦点,其中降低推理成本是提高模型效率的关键环节——模型即服务(Turbo)的核心目标。

当前,一种名为MoE(混合专家网络)的技术备受关注,它通过组合多个小型专家模型,实现了在保证模型性能的前提下,降低计算资源的需求。与传统模型需要100%的算力投入不同,MoE模型每次推理仅需激活部分专家网络,例如50%。据悉,模型Turbo在处理复杂推理任务时,算力消耗降低了约20%。

在具体性能方面,模型Turbo相较于早期版本有了显著提升,其处理复杂任务的能力提升了50%。不仅如此,在成本控制上,复杂任务的Tokens成本降低至0.05美元,而简单任务的Tokens成本更是降至0.015美元。

© 版权声明:
本文地址:https://aidh.net/kuaixun/2632esdv

暂无评论

none
暂无评论...