国产飞腾CPU赋能,DeepSeek全系列大模型端到端支持,推理效率比肩海外方案

人工智能1个月前发布 AI之家
2 0 0

飞腾信息技术有限公司于昨日发布公告,宣布其腾云 S5000C 与腾锐 D3000 已成功实现对 DeepSeek 全系列大模型的端到端适配,全面覆盖数据中心及终端应用场景,本地部署推理效能可与国外同类架构产品方案相媲美

国产飞腾CPU赋能,DeepSeek全系列大模型端到端支持,推理效率比肩海外方案

据介绍,DeepSeek-V2.5 236B 大模型已于 2024 年在飞腾腾云 S5000C 平台上稳定运行。基于飞腾腾云 S5000C 设备,辅以 8 块国产 AI 加速卡,整体性能可达国外同类平台的 80% 左右。在 DeepSeek-V3 和 R1 版本发布后,飞腾技术团队即刻在腾云 S5000C 平台和腾锐 D3000 上进行了本地部署验证,并形成了整体解决方案。

在数据中心端,飞腾腾云 S5000C 服务器可灵活搭配多种 AI 加速卡,实现 DeepSeek 蒸馏版及全量版的部署。飞腾 AI 实验室已在单机 8 卡服务器平台上完成了蒸馏版 DeepSeek-R1-Distill-Llama-70B 版本的测试,推理速度高达 22 tokens/s。完整版 DeepSeek R1 671B 模型则采用分布式推理框架,已成功部署于基于四机 32 卡 AI 服务器集群的运行环境。

国产飞腾CPU赋能,DeepSeek全系列大模型端到端支持,推理效率比肩海外方案

在用户终端侧,基于飞腾腾锐 D3000 的台式机能够本地部署 DeepSeek-R1 7B 蒸馏版模型,配合单张国产推理卡,即可实现 AI PC 的各项能力。

国产飞腾CPU赋能,DeepSeek全系列大模型端到端支持,推理效率比肩海外方案

AI 工具库收录了飞腾腾云 S5000C 和飞腾腾锐 D3000 两款 CPU 的主要信息,详情如下:

腾云 S5000C

飞腾腾云 S5000C 提供 64 核、32 核、16 核三种产品形态,兼容 ARMv8 指令集,并支持硬件虚拟化。该系列产品分为商业级和工业级,主要面向计算服务器、存储服务器、AI 服务器、高端网安、行业级业务主机服务器系统、大型互联网数据中心等应用场景。

国产飞腾CPU赋能,DeepSeek全系列大模型端到端支持,推理效率比肩海外方案

腾锐 D3000

飞腾腾锐 D3000 集成了 8 个飞腾自主研发的新一代高性能处理器核心 FTC862,兼容 64 位 ARMv8 指令集,并支持 ARM64 和 ARM32 两种执行模式。该处理器支持单精度、双精度浮点运算指令和 ASIMD 处理指令,主频高达 2.5GHz,支持硬件虚拟化,并同样提供商业级和工业级产品。

国产飞腾CPU赋能,DeepSeek全系列大模型端到端支持,推理效率比肩海外方案
© 版权声明

相关AI热点

暂无评论

none
暂无评论...