3FS – DeepSeek

3FS – DeepSeek推出的高性能分布式文件系统是专为人工智能训练和推理任务而设计的效率高效的文件系统。利用现代SSD和RDMA网络技术，3FS能够整合大量SSD的吞吐量和存储节点的网络带宽，实现高达6.6 TiB/s的读取吞吐量。该系统具有强一致性并提供通用文件接口，用户无需学习新的存储API。

在3FS的主要功能方面，它提供了卓越的数据访问性能，强一致性保障，通用文件接口，以及优化的AI工作负载功能，如高效的数据准备、快速数据加载、检查点支持和KVCache技术。此外，3FS具有高扩展性与灵活性，支持各种规模的集群部署。

技术原理方面，3FS采用分离式架构，利用链式复制与分配查询技术实现强一致性，并提供无状态元数据服务。此外，系统还使用Direct I/O与RDMA优化、KVCache技术以及数据局部性优化等方法，进一步提升性能表现。

在性能表现方面，3FS在大规模读取吞吐量、GraySort性能测试以及KVCache推理优化方面均表现优异。具体来说，在GraySort测试中，3FS在30分钟14秒内完成了110.5 TiB数据的排序任务，平均吞吐量达到3.66 TiB/min。而在KVCache性能测试中，读取吞吐量峰值达到40 GiB/s，显著提升了推理效率。

若需了解更多关于3FS的信息，可访问其GitHub仓库：https://github.com/deepseek-ai/3FS。

3FS适用于大规模AI训练等应用场景，可高效支持海量数据的快速读写，从而提升训练效率。不同规模的AI应用需求。