Common Crawl

Common Crawl 是一家 501(c)(3) 非营利组织，维护着一个开放的网络爬取数据存储库。自 2008 年由计算机科学家 Gil Elbaz 创立以来，该组织系统地爬取了互联网，并将 PB 级的原始 HTML、元数据和提取的文本免费提供。数据托管在 Amazon Web Services 的公共 S3 存储桶中；用户只需支付自己的计算和存储成本。Common Crawl 的语料库是最大的公开可访问网络数据集，被研究人员、记者、初创公司和主要 AI 实验室使用。在 2020 年代，它成为包括 GPT-3、GPT-4 和 LLaMA 在内的大型语言模型的主要训练来源。2025 年 11 月，《The Markup》和《Wired》的一项调查审查了 AI 公司如何使用这些数据，引发了关于同意和版权的辩论。[编辑]

Common Crawl 的使命是通过爬取互联网并将生成的内容免费提供给任何人，来普及网络数据访问。其目标是降低网络规模数据分析的门槛，促进创新，并保存开放的网络历史记录。[编辑]

Gil Elbaz 于 2007 年开始构建第一个爬虫，他坚信开放的网络数据对健康的互联网至关重要。第一个公开爬取数据集包含约 20 亿个页面，于 2008 年发布。早期基础设施依赖于捐赠的服务器和补助金。2012 年，Common Crawl 与 Amazon Web Services 合作，将数据托管在公共 S3 存储桶中，实现了免费且可扩展的访问。News Crawl 数据集于 2015 年启动，提供了一个持续更新的新闻文章源。到 2017 年，语料库已增长到 35 亿个页面，是当时公开可用的最大网络数据集。2020 年代初的 AI 热潮极大地增加了需求；Common Crawl 成为大型语言模型的默认训练语料库。为回应 2025 年调查提出的版权和同意问题，该组织宣布计划开发一个选择退出系统和更好的来源追踪。[编辑]