Cloudflare 推出“AI 迷宫”诱导恶意爬虫进入虚假数据陷阱

全球知名网络基础设施公司Cloudflare最近发布了一个名为“AI Labyrinth”（AI迷宫）的新工具，旨在打击未经授权抓取网站数据的网络爬虫。这一举措的核心在于，当Cloudflare监测到不当的爬虫行为时，该工具会将这些爬虫引导到一系列由AI生成的虚假页面，目的在于“拖延、迷惑并浪费”恶意爬虫的资源。

长期以来，网站管理员依赖“robots.txt”文件来管理爬虫的访问权限，但很多AI公司，包括一些知名企业，如Anthropic和Perplexity AI，常常忽视这一规则。Cloudflare表示，他们每天面临超过500亿个爬虫请求，尽管有能力识别和阻止恶意请求，但这往往促使攻击者不断调整策略，形成一场无休止的“军备竞赛”。

与其简单阻止这些爬虫，Cloudflare的AI Labyrinth选择了主动出击。该工具的设计使得爬虫不得不处理与目标网站数据无关的信息，进而将这些爬虫困在虚假的信息中。Cloudflare强调，AI Labyrinth不仅是“下一代诱饵”，它还帮助识别恶意爬虫，了解新出现的爬虫模式和特征。这些链接对普通人来说是不可见的，从而避免了人类用户的困扰。

根据Cloudflare的介绍，网站管理员可以通过其Cloudflare仪表板中的“爬虫管理”部分来选择是否启用AI Labyrinth。这项新功能的推出只是使用生成AI对抗爬虫的第一步，Cloudflare还计划构建“整套链接URL网络”，使爬虫更难识别虚假数据。值得注意的是，AI Labyrinth与Nepenthes工具类似，后者被设计用来将爬虫“拖延”数月，沉浸在大量AI生成的垃圾数据中。

官方博客链接：https://blog.cloudflare.com/ai-labyrinth/

划重点：

• Cloudflare发布“AI Labyrinth”以对抗恶意抓取数据的网络爬虫。
• 新工具通过AI生成虚假页面，引导爬虫进入无用信息中，浪费其资源。
• 网站管理员可以在Cloudflare仪表板上启用此功能，未来还将扩展为更复杂的链接网络。