robots.txt

최대한의 포괄성을 위한 라이선싱 및 로봇: AI 크롤러를 환영하는 방법

이러한 시스템이 모두 동일한 크롤러를 사용하거나 동일한 규칙을 따르는 것은 아닙니다. GPTBot을 차단하는 웹사이트도 OAI-SearchBot을 허용한다면 ChatGPT 검색에 여전히 나타날 수 있습니다. Applebot을 허용하는 웹사이트는...