OpenAI现允许网站阻止其爬虫抓取数据

2023-08-08 10:02:28  来源:鞭牛士


(资料图片)

OpenAI 旗下 GPT 模型的训练需要大量的网络数据,这可能涉及到数据隐私和版权等问题。为了解决这些问题,OpenAI 最近推出了一个新功能,让网站可以阻止其网络爬虫(web crawler)从其网站上抓取数据训练 GPT 模型。

网站运营者可以通过在其网站的 Robots.txt 文件中禁止 GPTBot 的访问,或者通过屏蔽其 IP 地址,来阻止 GPTBot 从其网站上抓取数据。