大量新闻网站屏蔽网站时光机保存快照 原因是被AI抓取训练模型via cnBeta全文版

据 WIRED 发布的消息，目前在美国已经有诸多网站开始屏蔽互联网档案馆旗下的网站时光机 (Wayback Machine) 快照功能，即不再允许网站时光机抓取这些新闻网站的页面并将其存档，原因则是 AI 爬虫抓取数据拿来训练模型。 目前人工智能热潮已经让大量网站的流量出现大幅度下滑，而 AI 公司则是想方设法绕过限制非法抓取网站内容，最终将抓取到的数据用于 AI 对话机器人或者用于训练后续的人工智能模型。 对于网站来说这种行为存在未经许可的抓取和使用内容，以及会造成网站流量下滑，所以不少网站都已经在 robots.txt…