robots.txt

最大限のインクルージョンのためのライセンスとロボット：AIクローラーを歓迎する方法

これらのシステムは、すべて同じクローラーを使用しているわけではなく、同じルールに従っているわけでもありません。GPTBotをブロックするウェブサイトでも、OAI-SearchBotを許可していれば、ChatGPT検索に表示されることがあります。Applebotを許可するウェブサイトは、Applebo...