Crawl4LLM 清华大学与卡内基梅隆大学合作开发的智能系统

Crawl4LLM 是清华大学与卡内基梅隆大学合作开发的智能系统，旨在提高大语言模型（LLM）的预训练效率。该系统通过智能评估网页的预训练价值来优先抓取高价值内容，与传统技术相比，效率提升了近五倍。

Crawl4LLM 的主要功能包括：

• 智能化网页选择：根据评估网页对LLM预训练的贡献来优先抓取高价值网页，提高数据质量并减少无效数据的抓取。
• 多种爬取模式：包括智能模式、随机模式和基于链接数量模式，以满足不同需求场景。
• 状态定期保存：支持定期保存状态，以便从中断点继续抓取，避免数据丢失。
• 数据浏览与可视化：提供用户友好的数据浏览和可视化界面，方便用户实时监控爬取进度和效果。
• 与DCLM框架无缝对接：爬取的数据可以直接用于LLM的预训练，提高数据流的效率和准确性。

Crawl4LLM 的技术原理包括利用预训练影响力评分器对网页进行评分，通过优先级队列对网页进行排序，结合多维度数据评估来发现高价值网页，并在大规模模拟实验中优化算法参数。

该系统的应用场景包括LLM预训练数据收集、搜索引擎优化、数据集构建、网络监测与分析以及企业级数据采集等。有关更多信息和下载安装指南，请访问项目的GitHub仓库和arXiv技术论文。如有任何问题，可以查阅常见问题解答部分。