DeepSeek开源周首日：推出大模型加速工具FlashMLA，解码性能跃升至3000GB/s

DeepSeek 正在开发下一代高效工具，名为FlashMLA，旨在利用Hopper架构的GPU进行显著的性能提升，采用了多层注意力机制。这一技术将为数据处理提供更快的速度和更高的准确率，同时也将有效提升大型模型的训练效率。

FlashMLA的优化算法支持BF16数据格式，以及64的参数量的高效访问，利用分页KV缓存来加速计算，并降低延迟。该系统可在CUDA12.6环境下使用，FlashMLA兼容H800SXM5 GPU，具有3000GB/s的内存带宽，并达到了580TFLOPS的计算能力。

在复杂任务上，FlashMLA展现出了显著的表现，采用了FlashAttention2和3及cutlass驱动的高效计算，它的性能在大型数据集上的处理能力极具竞争力，能够有效提升计算速度和准确性。

为了安装FlashMLA，只需运行"python setup.py install"命令，测试和验证可通过运行"python tests/testflashmla.py"命令来完成。

了解更多信息请访问： https://github.com/deepseek-ai/FlashMLA