Anthropic爬虫机器人无视网站反AI抓取政策，引发争议

据报道，Anthropic 的 ClaudeBot 在过去 24 小时内一直在抓取 iFixit 的网站，这引起了人们对未经授权数据使用的担忧。

iFixit 的 CEO Kyle Wiens 表示，他们没有允许任何 AI 公司抓取其数据，并对这种行为表示不满。据了解，iFixit 已经在其 robots.txt 文件中设置了 crawl-delay 指令，以限制爬虫的抓取速度。

除了 iFixit，Read the Docs 的联合创始人 Eric Holscher 和 Freelancer.com 的 CEO Matt Barrie 也表达了对 Anthropic 爬虫行为的担忧。

最近几周，Reddit 用户也注意到 Anthropic 的爬虫正在抓取论坛上的内容。今年 4 月，Linux Mint 论坛的管理人员也阻止了 ClaudeBot 的访问。

虽然一些 AI 公司，如 OpenAI，允许网站通过 robots.txt 文件来阻止其爬虫，但并非所有公司都遵守这一规则，这引发了关于数据使用的道德和法律问题的讨论。另一家 AI 公司 Perplexity 也因忽略网站的 robots.txt 指令而受到批评。

总的来说，这些事件表明人们对于 AI 公司如何使用网络数据的担忧日益增加，尤其是在未经明确许可的情况下抓取网站内容的问题上。Reddit 近期也禁止了未经授权的爬虫访问其平台。