robots.txt

许可和机器人最大包容性：如何欢迎人工智能爬虫

这些系统并非都使用相同的爬虫或遵循相同的规则。一个屏蔽了GPTBot的网站，如果允许OAI-SearchBot，仍可能出现在ChatGPT搜索中。一个允许Applebot的网站可以在Apple搜索中保持可见，同时阻止Applebot-Extended用于人工智能模型训练。Google的Google-...