Smallpond

DeepSeek开发的Smallpond是一个轻量级数据处理框架，基于DuckDB和3FS打造，旨在高效处理PB级数据集。结合DuckDB的分析能力和3FS的分布式存储特性，Smallpond能够快速加载、查询和转换数据，适用于需要大规模数据处理的用户和开发者。

Smallpond是专为高性能和大规模数据处理而设计的数据处理框架，易于上手，提供示例数据和详尽文档，为用户提供高效处理大规模数据的解决方案。该框架具有轻量级与易用性、高效的数据处理、PB级扩展性、便捷操作和快速入门等主要功能。

在技术原理上，Smallpond利用3FS加载数据，支持多种数据格式，依托DuckDB的SQL引擎进行数据处理，并将处理后的数据保存回3FS，支持并行处理以提高效率。

根据GraySort基准测试结果显示，在运行于50个计算节点和25个存储节点的3FS集群上，Smallpond对110.5 TiB的数据进行排序，仅耗时30分钟14秒，平均吞吐量达到3.66 TiB/min。

Smallpond适用于大规模数据预处理、数据分析与实时查询、分布式机器学习训练、嵌入式数据分析应用以及数据仓库与湖存储集成等场景。同时，它也支持多种数据格式，包括Parquet和CSV，用户可以通过官方网站查阅快速入门指南和示例数据来开始使用。通过基准测试表现来看，Smallpond在处理PB级数据时表现出色，具有高吞吐量。