AI工具Perplexity因被指控在明确禁止后仍抓取网站内容而面临批评

Perplexity作为一款AI搜索引擎，其抓取网站内容的方式引起了争议，尤其是在是否遵守网站所有者的意愿方面。据悉，它可能未完全遵循网站通过Robots Exclusion Protocol设定的抓取规则。

据Wired及科技记者Robb Knight报道，Perplexity的AI抓取工具似乎绕过了部分网站为限制流量而设定的IP地址封锁。

Perplexity声称致力于遵守网站的标准协议，并在发现问题后迅速采取行动。然而，一些网站管理员表示，该AI引擎并未完全遵守robots.txt文件中的指令，导致了不必要的抓取。CEO Aravind Srinivas对此表示，他们始终致力于尊重网站的偏好，并已采取措施解决相关问题。Forbes指出，Perplexity已迅速成为一个强大的搜索引擎，并正在积极听取出版商关于内容抓取的反馈。

与传统的Google等搜索引擎不同，Perplexity的运作模式更像是直接从网页提取信息并提供答案，而非仅仅列出链接。这种模式引发了关于信息来源和出版商权益的讨论。Perplexity强调其抓取行为是为了提供更优质的搜索体验，并且其使用符合OpenAI的服务条款。

面对日益增长的AI流量，Perplexity的回应突显了在AI内容抓取和网站所有者意愿之间取得平衡所面临的挑战。