AutoPodAutoPod

LicencēŔana un roboti maksimālai iekļauÅ”anai: Kā uzņemt mākslÄ«gā intelekta pārmeklētājus

•21 min lasīŔanai
Audio raksts
LicencēŔana un roboti maksimālai iekļauÅ”anai: Kā uzņemt mākslÄ«gā intelekta pārmeklētājus
0:00—:—
LicencēŔana un roboti maksimālai iekļauÅ”anai: Kā uzņemt mākslÄ«gā intelekta pārmeklētājus

LicencēŔana un roboti maksimālai iekļauÅ”anai: Kā uzņemt mākslÄ«gā intelekta pārmeklētājus

Atjaunināts 2026. gada 25. augustā

Vietnēm tagad ir vairāk nekā viens veids, kā sasniegt auditoriju. Lapa var tikt atrasta, izmantojot Google meklēŔanu, apkopota ar ChatGPT, citēta Perplexity, izmantota Claude meklēŔanā, parādÄ«ta, izmantojot Apple pakalpojumus, vai savākta publiskā tÄ«mekļa arhÄ«vā.

Å Ä«s sistēmas neizmanto visus vienus un tos paÅ”us pārmeklētājus, un tās neievēro vienādus noteikumus. Vietne, kas bloķē GPTBot, joprojām var parādÄ«ties ChatGPT meklēŔanā, ja tā atļauj OAI-SearchBot. Vietne, kas atļauj Applebot, var palikt redzama Apple meklēŔanā, vienlaikus bloķējot Applebot-Extended no mākslÄ«gā intelekta modeļu apmācÄ«bas. Google Google-Extended vispār nav parasts pārmeklētājs; tas ir robots.txt kontroles marÄ·ieris.

Tādējādi labākā politika nav vienkārÅ”i ā€œatļaut mākslÄ«go intelektuā€ vai ā€œbloķēt mākslÄ«go intelektuā€. Tā ir atseviŔķu atļauju izveide Ŕādiem nolÅ«kiem:

  1. MeklēŔana un atklāŔana
  2. Lietotāja pieprasīta izgūŔana
  3. Modeļu izstrāde un apmācība
  4. Publiskas datu kopas
  5. Sensitīvs, privāts vai ierobežots materiāls

Å is raksts sniedz aktuālu pārmeklētāju sarakstu, robots.txt piemērus, meta tagu vadlÄ«nijas, interneta protokola adreÅ”u pārbaudes metodes, Creative Commons licencēŔanas padomus, juridisko standartu tekstu un riska-ieguvumu matricu.

Četras kontroles, kas jāzina katram izdevējam

1. robots.txt kontrolē pieprasÄ«to pārmeklēŔanu

A robots.txt fails paziņo atbilstoÅ”iem automatizētiem klientiem, kuras lapas tie drÄ«kst pieprasÄ«t. Tas ir noderÄ«gs pārmeklētāju datplÅ«smas pārvaldÄ«bai un izdevēja preferenču izteikÅ”anai.

Tomēr robots.txt nav piekļuves kontroles sistēma. Robots izslēgÅ”anas protokols norāda, ka tā noteikumi nav piekļuves autorizācija. Google arÄ« brÄ«dina, ka bloķēta adrese joprojām var parādÄ«ties meklēŔanas rezultātos, ja uz to ved saites no citām lapām. Konfidenciālas informācijas aizsardzÄ«bai izmantojiet paroles, autentifikāciju vai servera puses piekļuves kontroles. (rfc-editor.org)

2. Meta tagi kontrolē indeksēŔanu un fragmentus

Robots meta tagi un X-Robots-Tag atbildes galvene var kontrolēt, vai lapa tiek indeksēta vai vai meklētājprogramma drīkst parādīt fragmentu.

Šīs vadības ierīces parasti ir redzamas tikai pēc tam, kad pārmeklētājam ir atļauts ielādēt lapu. Ja robots.txt bloķē lapu pirmais, pārmeklētājs nekad var neredzēt meta tagu. (developers.google.com)

3. Tīkla kontroles pārbauda pārmeklētāju

Lietotāja aģenta nosaukumu ir viegli nokopēt. Uzbrucējs var nosūtīt pieprasījumu, apgalvojot, ka ir GPTBot, Googlebot vai PerplexityBot.

Spēcīgāka pieeja apvieno:

  • PieprasÄ«to lietotāja aÄ£entu
  • Publicētu interneta protokola adreÅ”u diapazonu
  • Reversā domēna vārdu sistēmas pārbaudi
  • TieŔās domēna vārdu sistēmas pārbaudi
  • Ātruma ierobežojumus un pieprasÄ«jumu uzraudzÄ«bu

4. Licence pieŔķir atkārtotas izmantoŔanas tiesības

Robots.txt norāda, ko pārmeklētājam ir lÅ«gts darÄ«t. Licence norāda, ko cilvēki vai organizācijas drÄ«kst likumÄ«gi darÄ«t ar materiālu, ja ir nepiecieÅ”ama autortiesÄ«bu atļauja.

Tie ir dažādi rÄ«ki. AtļaujoÅ”a licence var samazināt juridisko neskaidrÄ«bu, taču tā negarantē, ka pārmeklētājs apmeklēs lapu, ka modelis to izmantos vai ka asistents to citēs.

Svarīgāko pārmeklētāju saraksts

Å is saraksts tika pārbaudÄ«ts, salÄ«dzinot ar pakalpojumu sniedzēju dokumentāciju, kas bija pieejama 2026. gada 25. augustā. Lietotāja aÄ£enta nosaukumi, mērÄ·i un interneta protokola adreÅ”u diapazoni var mainÄ«ties, tāpēc ražoÅ”anas sistēmām jāizmanto pakalpojumu sniedzēja aktuālā dokumentācija un tieÅ”raides adreÅ”u plÅ«smas.

Pakalpojumu sniedzējsPārmeklētājs vai robots.txt marķierisGalvenais mērķisSvarīga kontrole
OpenAIOAI-SearchBotAtrod un analizē lapas ChatGPT meklēŔanaiAtļaujiet to, lai uzlabotu iespēju, ka lapas parādās ChatGPT meklēŔanas rezultātos.
OpenAIGPTBotVāc lapas, kuras var izmantot OpenAI Ä£eneratÄ«vo mākslÄ«gā intelekta modeļu apmācÄ«baiAtļaujiet vai neatļaujiet atseviŔķi no meklēŔanas.
OpenAIChatGPT-UserIelādē lapas pēc tam, kad lietotājs ir lūdzis ChatGPT vai pielāgotam GPT piekļūt tāmTas tiek aktivizēts lietotāja pieprasījumā, nevis ir automātisks tīmekļa pārmeklētājs, tāpēc robots.txt noteikumi var netikt piemēroti.
OpenAIOAI-AdsBotPārbauda tīmekļa lapas, kas iesniegtas kā ChatGPT reklāmas galamērķiGalvenokārt attiecas uz reklāmdevējiem. Savāktais saturs netiek izmantots ģeneratīvo mākslīgā intelekta pamatmodeļu apmācībai.
GoogleGooglebotGalvenais Google meklēŔanas pārmeklētājsKontrolē parasto Google meklēŔanas pārmeklēŔanu.
GoogleGooglebot-Image, Googlebot-Video, Googlebot-NewsAttēli, video un Google ZiņasTiem ir atseviŔķi robots.txt marÄ·ieri, un tos var kontrolēt neatkarÄ«gi.
GoogleGoogleOtherVispārējas nozÄ«mes Google pārmeklēŔana dažādām produktu komandām, ieskaitot pētniecÄ«bu un izstrādiTas nepārstāv vienu konkrētu Google produktu.
GoogleGoogle-ExtendedKontrolē, vai Google pārmeklētais saturs var tikt izmantots Gemini modeļa apmācÄ«bai un noteiktām pamatojuma sistēmāmTas ir robots.txt kontroles marÄ·ieris, nevis atseviŔķs pieprasÄ«juma lietotāja aÄ£ents. Tas neietekmē parasto Google meklēŔanas iekļauÅ”anu.
AnthropicClaudeBotVāc publisko tīmekļa saturu, kas var veicināt Claude modeļa izstrādiNeatļaujiet to, lai signalizētu, ka turpmākais materiāls ir jāizslēdz no Anthropic apmācības datu kopām.
AnthropicClaude-SearchBotUzlabo Claude meklēŔanas rezultātu kvalitātiAtļaujiet to Claude meklēŔanas redzamÄ«bai.
AnthropicClaude-UserIelādē lapas, reaģējot uz lietotāja pieprasÄ«jumu ClaudeAtseviŔķi no automātiskās pārmeklēŔanas.
PerplexityPerplexityBotIndeksē lapas Perplexity meklēŔanas rezultātiemPerplexity norāda, ka Å”is pārmeklētājs netiek izmantots satura vākÅ”anai mākslÄ«gā intelekta pamatmodeļu apmācÄ«bai.
PerplexityPerplexity-UserIelādē lapu pēc lietotāja pieprasÄ«jumaPerplexity dokumentācija norāda, ka Å”is ielādētājs parasti ignorē robots.txt, jo pieprasÄ«jumu ierosināja lietotājs.
AppleApplebotAtbalsta Apple Search, Spotlight, Siri, Safari un citas Apple pieredzesAtļaujiet to Apple atklāŔanai.
AppleApplebot-ExtendedKontrolē, vai Applebot pārmeklētais saturs var tikt izmantots Apple pamatmodeļu apmācÄ«baiTas pats nepārmeklē lapas. Tā ir datu izmantoÅ”anas kontrole.
Common CrawlCCBotVāc publiskos tīmekļa datus Common Crawl atvērtajam tīmekļa arhīvamTas nav asistents, taču tā datu kopas var izmantot pētnieki un mākslīgā intelekta izstrādātāji.
MicrosoftBingbotGalvenais Bing meklēŔanas pārmeklētājsAtļaujiet to Bing atklāŔanai un meklēŔanas redzamÄ«bai.
MicrosoftMicrosoftPreview, BingVideoPreviewLapu un video priekÅ”skatÄ«jumi Microsoft produktiemTos var kontrolēt atseviŔķi no Bingbot.
AmazonAmzn-SearchBotAmazon meklēŔana un satura atklāŔanaAmazon norāda, ka tā nepārmeklē saturu Ä£eneratÄ«vo mākslÄ«gā intelekta modeļu apmācÄ«bai.
AmazonAmzn-UserIelādē aktuālo informāciju, reaģējot uz lietotāja darbÄ«bām, tostarp Alexa pieprasÄ«jumiemLietotāja aktivizēts un atseviŔķi no automātiskās meklēŔanas pārmeklēŔanas.

OpenAI dokumentē savus meklēŔanas, apmācÄ«bas, reklāmas un lietotāja aktivizētos pārmeklētājus kā atseviŔķas kontroles. Tā dokumentācija Ä«paÅ”i iesaka atļaut OAI-SearchBot ChatGPT meklēŔanai, vienlaikus izmantojot GPTBot atseviŔķi apmācÄ«bas preferencēm. (developers.openai.com)

Google lÄ«dzÄ«gi atdala Googlebot, GoogleOther un Google-Extended. Google-Extended nav sava HTTP pieprasÄ«juma lietotāja aÄ£enta, un tā bloķēŔana nenoņem lapu no Google meklēŔanas. (developers.google.com)

Anthropic dokumentē atseviŔķas lomas ClaudeBot, Claude-SearchBot un Claude-User. Anthropic arÄ« norāda, ka tā boti ievēro robots.txt un atbalsta nestandarta Crawl-delay direktÄ«vu. (support.anthropic.com)

Perplexity atŔķir automātisko meklēŔanas pārmeklēŔanu un lietotāja pieprasÄ«to ielādi. Tā paÅ”reizējā dokumentācija norāda, ka PerplexityBot ievēro robots.txt, savukārt Perplexity-User parasti to nedara, jo tas reaģē uz lietotāja pieprasÄ«jumu. (docs.perplexity.ai)

Apple paÅ”reizējā dokumentācijā tiek veikta tāda pati meklēŔanas pret apmācÄ«bas atŔķirÄ«ba: Applebot atbalsta atklāŔanu, savukārt Applebot-Extended ļauj izdevējiem kontrolēt apmācÄ«bas izmantoÅ”anu, nenoņemot lapas no Apple meklēŔanas. (support.apple.com)

Ieteicamās robots.txt konfigurācijas

Novietojiet robots.txt katra resursdatora saknes direktorijā, piemēram:

text https://www.example.org/robots.txt

Noteikumi attiecas uz konkrēto resursdatoru, protokolu un portu, kurā fails tiek apkalpots. AtseviŔķai apakÅ”domēnai var bÅ«t nepiecieÅ”ams savs fails. (developers.google.com)

Konfigurācija 1: Maksimāla iekļauŔana

Izmantojiet to, ja publisko redakcionālo saturu var atrast, apkopot, citēt, indeksēt un vākt atbilstoÅ”i pārmeklētāji.

text

Publiskās lapas ir pieejamas atbilstoÅ”iem pārmeklētājiem.

User-agent: * Allow: /

Izslēdziet privātās, transakciju un administratīvās takas.

Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/

Sitemap: https://www.example.org/sitemap.xml

Tas atļauj nosauktos pārmeklētājus, tostarp OpenAI, Google, Anthropic, Perplexity, Apple, Common Crawl, Microsoft un Amazon, ja vien cits konkrēts noteikums tos nebloķē.

Nelieciet vispārÄ«gu noteikumu, piemēram, User-agent: * Disallow: /, zem Ŕīs konfigurācijas. Vēlāka vai specifiskāka grupa var mainÄ«t veidu, kā pārmeklētājs interpretē failu.

Konfigurācija 2: Atļaut meklēŔanu, bet bloķēt modeļu izstrādes pārmeklētājus

Tas bieži vien ir labākais kompromiss izdevējiem, kuri vēlas citātus un meklēŔanas datplÅ«smu, bet nevēlas signalizēt atļauju modeļu izstrādes vākÅ”anai.

text

Bloķēt OpenAI modeļu izstrādes pārmeklēŔanu.

User-agent: GPTBot Disallow: /

Bloķēt Anthropic modeļu izstrādes pārmeklēŔanu.

User-agent: ClaudeBot Disallow: /

Bloķēt Google modeļu apmācÄ«bu un saistÄ«to pamatojuma izmantoÅ”anu.

User-agent: Google-Extended Disallow: /

Bloķēt Apple pamatmodeļu apmācÄ«bas izmantoÅ”anu.

User-agent: Applebot-Extended Disallow: /

Pēc izvēles: bloķēt Common Crawl datu kopu vākÅ”anu.

User-agent: CCBot

Disallow: /

Atļaut parasto meklēŔanas un izgūŔanas pārmeklēŔanu, izņemot sensitÄ«vas takas.

User-agent: * Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/

Sitemap: https://www.example.org/sitemap.xml

Å Ä« konfigurācija atstāj OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot un Applebot aptvertus ar aizstājējzÄ«mes grupu. Tā arÄ« saglabā meklēŔanas un apmācÄ«bas atļaujas atseviŔķi.

AttiecÄ«bā uz Apple, Applebot-Extended bloķēŔana, vienlaikus atļaujot Applebot, saglabā atklāŔanu, izmantojot Apple pakalpojumus. AttiecÄ«bā uz Google, Google-Extended bloķēŔana nebloķē parasto Google meklēŔanu. (developers.google.com)

Konfigurācija 3: Skaidri atļaut atlasÄ«tos meklēŔanas pārmeklētājus

Ja esoÅ”ais robots.txt fails bloķē visus pārmeklētājus, pievienojiet atseviŔķas grupas tiem meklēŔanas pārmeklētājiem, kurus vēlaties uzņemt.

text User-agent: OAI-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Claude-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: PerplexityBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Googlebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Applebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Bingbot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: CCBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Amzn-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

Izslēdziet visus pārējos pārmeklētājus.

User-agent: * Disallow: /

Izmantojot specifiskas grupas, atkārtojiet sensitÄ«vo taku noteikumus katrā grupā. Daži pārmeklētāji izmanto visprecÄ«zāko atbilstoÅ”o grupu, nevis apvieno to ar aizstājējzÄ«mes grupu. Bing Å”o uzvedÄ«bu dokumentē tieÅ”i, un Google sniedz atseviŔķas vadlÄ«nijas pārmeklētājiem specifiskām grupām. (bing.com)

Svarīgi robots.txt ierobežojumi

  • Pārmeklētājs var ignorēt robots.txt.
  • Ä»aunprātÄ«gs pārmeklētājs var izlikties par uzticamu pārmeklētāju.
  • Bloķēta lapa joprojām var bÅ«t zināma pēc tās nosaukuma vai tÄ«mekļa adreses.
  • Robots.txt neaizsargā paroles, privātus failus, klientu ierakstus vai konfidenciālas lietojumprogrammu programmēŔanas saskarnes.
  • Crawl-delay direktÄ«va nav daļa no Robots izslēgÅ”anas protokola kodola un to neatbalsta katrs pārmeklētājs. Anthropic un Bing dokumentē atbalstu, savukārt Apple norāda, ka Applebot neievēro pārmeklēŔanas aizkavi. (rfc-editor.org)

Meta tagi un HTTP galvenes

Publiskas lapas piemērs

Publiskam rakstam izmantojiet skaidru virsrakstu, autoru, kanonisko tÄ«mekļa adresi, publicēŔanas datumu un modifikācijas datumu.

html

Kā uzņemt mākslīgā intelekta pārmeklētājus

max-snippet direktīva galvenokārt ir dokumentēta Google. Neuzņemieties, ka katrs mākslīgā intelekta pārmeklētājs atbalsta katru meta direktīvu.

Privātas vai sensitīvas lapas piemērs

html

Izmantojiet to lapām, kurām nevajadzētu parādÄ«ties meklēŔanas rezultātos. Lapai jābÅ«t pārmeklējamai pietiekami ilgi, lai pārmeklētājs varētu redzēt direktÄ«vu. Ja lapai patieŔām jāpaliek privātai, izmantojiet autentifikāciju vai paroles aizsardzÄ«bu. (developers.google.com)

Paslēpt tikai sensitÄ«vas sadaļas no meklēŔanas fragmentiem

Google atbalsta data-nosnippet konkrētām HTML lapas daļām:

html

Å is rindkopa var tikt parādÄ«ta meklēŔanas rezultātā.

Å eit ievietoti personÄ«gie tālruņu numuri, privātās e-pasta adreses vai iekŔējās piezÄ«mes.

Tas ir noderÄ«gi kontaktinformācijai, iekŔējām piezÄ«mēm vai lietotāju Ä£enerētai informācijai. Tā nav universāla instrukcija katrai mākslÄ«gā intelekta sistēmai. (developers.google.com)

Izmantojiet X-Robots-Tag galveni failiem

Meta tagus nevar ievietot pārnēsājamā dokumenta failā, attēlā vai video failā. Tā vietā izmantojiet HTTP atbildes galveni:

text X-Robots-Tag: noindex, nosnippet

Lapu, kurai jāpaliek meklējamai, bet kurai nevajadzētu sniegt tekstu fragmentiem vai mākslīgā intelekta atbildēm, izmantojiet:

text X-Robots-Tag: nosnippet

Google dokumentē X-Robots-Tag ne-HTML resursiem, un Apple to atbalsta arī Applebot. (developers.google.com)

Apple specifiskās kontroles

Apple atbalsta:

html

Apple norāda, ka nosnippet novērÅ” lapas izmantoÅ”anu kā papildu kontekstu un paÅ”reizējo saturu, kad Apple modeļi Ä£enerē izvadi. Lapa joprojām var bÅ«t atrodama, izmantojot Apple Search, Spotlight, Siri un Safari. (support.apple.com)

Maksas lapām Apple atbalsta arī strukturētus datus, izmantojot:

{ "@context": "https://schema.org", "isAccessibleForFree": false }

Apple norāda, ka Ŕādas lapas var palikt piemērotas meklēŔanas rezultātiem, taču tās netiks izmantotas kā papildu konteksts mākslÄ«gā intelekta atbildēm. (support.apple.com)

Kā pārbaudīt pārmeklētāja interneta protokola adreses

Kāpēc lietotāja aģenta atbilstība nav pietiekama

Tāds noteikums kā Ŕis ir vājŔ:

text if User-Agent contains "GPTBot": allow

Ikviens var nosūtīt Ŕo tekstu. Labāks noteikums ir:

text ja lietotāja aģents ir zināms pārmeklētājs un avota interneta protokola adrese ir pakalpojumu sniedzēja oficiālajā diapazonā: atļaut vai ierobežot ātrumu citādi: izvirzīt izaicinājumu, ierobežot ātrumu vai bloķēt

Neuzticieties X-Forwarded-For galvenei, ja vien tā nav no starpniekservera vai satura piegādes tīkla, ko kontrolē jūsu organizācija.

Pakalpojumu sniedzēju pārbaudes metodes

Pakalpojumu sniedzējsIeteicamā pārbaudes metode
OpenAIIzmantojiet tieÅ”raides interneta protokola adreÅ”u plÅ«smas, kas publicētas OpenAI pārmeklētāju dokumentācijā par OAI-SearchBot, GPTBot un OAI-AdsBot. Atsvaidziniet tās automātiski, nevis kopējiet fiksētus diapazonus ugunsmÅ«rÄ«.
GoogleIzmantojiet Google publicētos pārmeklētāju diapazonus vai veiciet reversās un tieŔās domēna vārdu sistēmas pārbaudes. Patiesam Google pārmeklētājam vajadzētu atrisināties uz apstiprinātu Google resursdatora nosaukumu un atrisināties atpakaļ uz sākotnējo adresi.
AnthropicIzmantojiet paÅ”reizējo publicēto pārmeklētāju adreÅ”u plÅ«smu kā sekundāro tÄ«kla pārbaudi. Anthropic primārā atteikÅ”anās metode joprojām ir robots.txt.
PerplexityApvienojiet lietotāja aÄ£entu ar paÅ”reizējo PerplexityBot vai Perplexity-User adreÅ”u plÅ«smu. Perplexity Ä«paÅ”i iesaka apvienot abus nosacÄ«jumus tÄ«mekļa lietojumprogrammu ugunsmÅ«ra noteikumā.
AppleIzmantojiet reversās domēna vārdu sistēmas pārbaudi zem applebot.apple.com, pēc tam veiciet tieÅ”o meklēŔanu. Apple arÄ« publicē paÅ”reizējos adreÅ”u diapazonus JSON plÅ«smā.
Common CrawlIzmantojiet reversās domēna vārdu sistēmas pārbaudi zem crawl.commoncrawl.org un paÅ”reizējo CCBot adreÅ”u plÅ«smu. Common Crawl norāda, ka reversā pārbaude vēl nav pieejama dažiem IPv6 datplÅ«smām.
MicrosoftIzmantojiet oficiālo Verify Bingbot rÄ«ku vai Microsoft dokumentētās reversās un tieŔās meklēŔanas metodes.
AmazonIzmantojiet Amazon publicētās pārmeklētāju adreÅ”u sarakstus un saskaņojiet tos ar atbilstoÅ”o Amazon lietotāja aÄ£entu.

Google, Apple, Common Crawl, OpenAI, Anthropic un Perplexity visi publicē pakalpojumu sniedzējiem specifiskas metodes vai adreÅ”u plÅ«smas. Å ie saraksti var mainÄ«ties, tāpēc plānota atjaunināŔanas process ir droŔāks nekā pastāvÄ«gs manuāli kopēts saraksts. (developers.google.com)

VienkārÅ”a ugunsmÅ«ra konstrukcija varētu izskatÄ«ties Ŕādi:

text atļaut OAI-SearchBot tikai tad, ja avota adrese atrodas paÅ”reizējā OpenAI meklēŔanas diapazonā atļaut GPTBot tikai tad, ja avota adrese atrodas paÅ”reizējā OpenAI apmācÄ«bas diapazonā atļaut PerplexityBot tikai tad, ja avota adrese atrodas paÅ”reizējā PerplexityBot diapazonā atļaut Applebot tikai tad, ja reversā un tieŔā DNS pārbaude ir veiksmÄ«ga atļaut CCBot tikai tad, ja reversā DNS un paÅ”reizējais Common Crawl diapazons sakrÄ«t

ierobežot ātrumu visiem pārbaudītajiem pārmeklētājiem bloķēt vai apstrīdēt nepārbaudītus pieprasījumus, kas apgalvo, ka ir uzticami pārmeklētāji

Neizmantojiet plaÅ”u atļaujas noteikumu visam mākoņpakalpojumu sniedzējam. Legitimēts pārmeklētājs var izmantot mākoņinfrastruktÅ«ru, taču lielākā daļa datplÅ«smas no Ŕī mākoņpakalpojumu sniedzēja nav obligāti pārmeklētājs.

Kā atvērtā licencēŔana ietekmē iekļauÅ”anu

CC BY 4.0 vienkārŔā valodā

Creative Commons Attribution 4.0 International licence, ko parasti sauc par CC BY 4.0, atļauj cilvēkiem:

  • Kopēt un izplatÄ«t darbu
  • Pielāgot, tulkot, remiksēt un veidot uz tā pamata
  • Izmantot to komerciāli

Galvenie nosacījumi ir:

  • NorādÄ«t atbilstoÅ”u atsauci
  • Sniegt saiti uz licenci
  • NorādÄ«t, vai tika veiktas izmaiņas
  • NenorādÄ«t, ka sākotnējais autors atbalsta atkārtotu izmantoÅ”anu
  • Nepievienot juridiskus vai tehniskus ierobežojumus, kas novērÅ” licencē atļautu izmantoÅ”anu

Creative Commons arī brīdina, ka licence var neattiekties uz privātuma tiesībām, publiskuma tiesībām, morālajām tiesībām, preču zīmju tiesībām, patentu tiesībām vai treŔo puŔu materiāliem. (creativecommons.org)

Licence pati par sevi nav pārmeklētāja ielūgums

Licences ā€œCC BY 4.0ā€ ievietoÅ”ana lapā negarantē, ka organizācija to pārmeklēs. Pārmeklētāju joprojām var bloķēt:

  • robots.txt
  • Satura piegādes tÄ«kls
  • TÄ«mekļa lietojumprogrammu ugunsmÅ«ris
  • Ātruma ierobežoÅ”ana
  • JavaScript izaicinājums
  • PieteikÅ”anās siena
  • Vāja servera atbilde
  • Neaizsniedzama vietnes karte

Gluži pretēji, pārmeklētāja atļauÅ”ana automātiski nepieŔķir visas autortiesÄ«bu atļaujas, kas nepiecieÅ”amas katrai turpmākajai izmantoÅ”anai. Robots.txt un licencēŔana jāizstrādā kopā.

Kāpēc CC BY var atbalstÄ«t plaŔāku iekļauÅ”anu

Skaidra atļaujoÅ”a licence var padarÄ«t izdevēja politiku vieglāk saprotamu datu komandām, meklēŔanas sistēmām un asistentu operatoriem. Tā var samazināt neskaidrÄ«bu par kopēŔanu, pielāgoÅ”anu, komerciālu izmantoÅ”anu, tulkoÅ”anu un izplatīŔanu, ja Ŕīm darbÄ«bām ir nepiecieÅ”ama autortiesÄ«bu atļauja.

Tomēr Creative Commons skaidro, ka mākslÄ«gā intelekta apmācÄ«ba ir juridiski sarežģīta. IerobežojoÅ”a licence ne vienmēr ir efektÄ«vs veids, kā novērst apmācÄ«bu, jo dažas apmācÄ«bas izmantoÅ”anas var bÅ«t atļautas ar autortiesÄ«bu izņēmumiem vai ierobežojumiem. Creative Commons arÄ« atzÄ«mē, ka licences nosacÄ«jumus var bÅ«t grÅ«ti piemērot maŔīnapmācÄ«bai un modeļu izvadiem. (creativecommons.org)

Praktiskā mācība ir:

Izmantojiet CC BY, ja patieŔām vēlaties plaÅ”u likumÄ«gu atkārtotu izmantoÅ”anu. Neizmantojiet ierobežojoÅ”u Creative Commons licenci kā garantētu mākslÄ«gā intelekta apmācÄ«bas atteikÅ”anos.

Atruna uzlabo avota skaidrību

Creative Commons iesaka TASL metodi:

  • Virsraksts
  • Autors
  • Avots
  • Licence

Piemēram:

ā€œLicencēŔana un roboti maksimālai iekļauÅ”anai,ā€ Example Publishing, https://www.example.org/articles/ai-crawlers, licencēts saskaņā ar Creative Commons Attribution 4.0 International. Veiktās izmaiņas: atjaunināts pārmeklētāju saraksts.

Skaidra atsauce neliek katram asistentam citēt lapu. Tā atvieglo pareizu citēŔanu, ja sistēma izvelk lapas virsrakstu, autoru, avotu un licencēŔanas informāciju. (wiki.creativecommons.org)

Pievienot strukturētu raksta informāciju

Izmantojiet redzamu informāciju un strukturētus datus kopā:

html

Google iesaka skaidru informāciju par autoru, autoru lapām, publicēŔanas datumiem, modifikācijas datumiem un stabilām kanoniskām lapām. Å ie signāli var palÄ«dzēt meklēŔanas sistēmām saprast, kas izveidoja materiālu un kura versija ir autoritatÄ«va. Tie negarantē ranžēŔanu, iekļauÅ”anu vai citēŔanu. (developers.google.com)

Juridiskais standarts atvērtai, citātu draudzīgai vietnei

Turpmāk sniegtais teksts ir piemērs, nevis juridiska konsultācija. LÅ«dziet juristu pielāgot to jÅ«su jurisdikcijai, Ä«paÅ”umtiesÄ«bu struktÅ«rai, privātuma saistÄ«bām un treÅ”o puÅ”u saturam.

CC BY 4.0 licencēŔanas paziņojums

text

Satura licence

Izņemot gadÄ«jumus, kad norādÄ«ts citādi, sākotnējais teksts un oriÄ£inālie redakcionālie materiāli Å”ajā lapā ir licencēti saskaņā ar Creative Commons Attribution 4.0 International licenci:

https://creativecommons.org/licenses/by/4.0/

Å Ä« atļauja ļauj kopēt, izplatÄ«t, pielāgot, tulkot, komerciāli izmantot, maŔīnlasāmi apstrādāt, veikt meklēŔanas indeksēŔanu, izgÅ«t, apkopot un izmantot mākslÄ«gā intelekta sistēmās, ja tiek ievēroti licences noteikumi.

Vēlamā atsauce:

ā€œ[Lapas virsraksts],ā€ autors [autors vai organizācija], [kanoniskā lapas adrese], publicēts vai atjaunināts [datums], licencēts saskaņā ar Creative Commons Attribution 4.0 International. Veiktās izmaiņas: [aprakstiet izmaiņas vai norādiet ā€œnavā€].

Lūdzu, saglabājiet autora, izdevēja, avota, licences un modifikācijas informāciju, kad vien tas ir saprātīgi iespējams. Šīs vēlamās atsauces vadlīnijas nepievieno ierobežojumus Creative Commons licencei un neaizstāj licences tekstu.

Frāze ā€œieskaitot mākslÄ«gā intelekta sistēmasā€ precizē izdevēja nodomu. To nevajadzētu izmantot, lai izliktos, ka izdevējam pieder tiesÄ«bas uz materiālu, ko radÄ«jis kāds cits.

ZÄ«mola, privātuma un treÅ”o puÅ”u tiesÄ«bu paziņojums

text

Zīmola, privātuma un treŔo puŔu tiesības

IepriekÅ” minētā licence attiecas tikai uz oriÄ£inālajiem materiāliem, kas identificēti kā licencēti. Tā nedod atļauju izmantot:

  • Preču zÄ«mes, pakalpojumu zÄ«mes, logotipus vai tirdzniecÄ«bas apvalkus
  • Cilvēku vārdus, attēlus vai lÄ«dzÄ«bas
  • Privātu, konfidenciālu, konta, veselÄ«bas, finanÅ”u vai droŔības informāciju
  • Lietotāju iesniegumus, ja vien tie nav atseviŔķi identificēti kā licencēti
  • Fotogrāfijas, ilustrācijas, kartes, video, mÅ«ziku, citātus vai citus treÅ”o puÅ”u materiālus
  • Satura, kas identificēts kā ā€œvisas tiesÄ«bas aizsargātasā€ vai kam piemērojama atseviŔķa licence

Example Publishing nosaukuma, logotipu un zÄ«molu izmantoÅ”ana nedrÄ«kst liecināt par sponsorēŔanu, apstiprinājumu, partnerÄ«bu vai atbalstu. LÅ«dzu, ievietojiet saiti uz oriÄ£inālo lapu un skaidri atŔķiriet citātus, parafrāzes, kopsavilkumus un Ä£enerētu materiālu.

Šī valoda ir svarīga, jo Creative Commons licences automātiski nepieŔķir visu veidu juridiskās tiesības, kas saistītas ar lapu. (creativecommons.org)

MeklēŔanas un asistentu citēŔanas vadlÄ«nijas

text

MeklēŔanas un asistentu citēŔanas vadlÄ«nijas

Mēs atzinÄ«gi vērtējam atbilstoÅ”u meklēŔanas indeksēŔanu, lietotāja pieprasÄ«tu izgūŔanu, citēŔanu un licencētā materiāla kopsavilkumu Å”ajā vietnē.

Citējot Å”o vietni, lÅ«dzu, izmantojiet lapas virsrakstu, autoru vai izdevēju, kanonisko lapas adresi, publicēŔanas vai atjaunināŔanas datumu un tieÅ”u saiti uz avotu. LÅ«dzu, norādiet avotu kā vienu no izmantotajiem avotiem, atŔķiriet Ä£enerētu analÄ«zi no citēta materiāla un nenorādiet vai netieÅ”i nenorādiet, ka Example Publishing atbalsta Ä£enerētu atbildi, produktu, personu vai pakalpojumu.

Å o vadlÄ«niju mērÄ·is ir uzlabot precizitāti un atsauci. Tā nepieŔķir tiesÄ«bas, kas pārsniedz piemērojamo satura licenci, un nelicencē preču zÄ«mes, personisko informāciju, konfidenciālu informāciju vai treÅ”o puÅ”u materiālus.

Ja vēlaties meklēŔanas redzamÄ«bu, bet nevēlaties pieŔķirt plaÅ”u apmācÄ«bas licenci

text

MeklēŔanas piekļuve un autortiesÄ«bas

MÅ«su publiskajām lapām var piekļūt atbilstoÅ”i meklēŔanas un izgūŔanas pārmeklētāji, kas identificēti mÅ«su robots.txt failā. Å Ä« atļauja ir paredzēta atklāŔanas, meklēŔanas rezultātu, lietotāja pieprasÄ«tas izgūŔanas un citēŔanas atbalstam.

Izņemot gadÄ«jumus, kad ir norādÄ«ta atseviŔķa licence, oriÄ£inālais saturs paliek ar visām tiesÄ«bām aizsargāts. Piekļuve publiskai lapai nepieŔķir atseviŔķu licenci modeļu izstrādei, apmācÄ«bai, izplatīŔanai, komerciālai atkārtotai izmantoÅ”anai vai atvasinātu darbu radīŔanai, kas pārsniedz piemērojamajos tiesÄ«bu aktos paredzētās tiesÄ«bas.

LÅ«dzu, citējiet kanonisko lapas adresi un izdevēju, atsaucoties uz Å”o materiālu. Nekas Å”ajā vietnē nedod atļauju izmantot preču zÄ«mes, logotipus, personisko informāciju, konfidenciālu informāciju vai treÅ”o puÅ”u saturu.

Nenovietojiet CC BY paziņojumu un visu tiesÄ«bu aizsargāto paziņojumu virs viena un tā paÅ”a materiāla. Skaidri norādiet, kura licence attiecas uz kuru saturu.

Atvērtās licencēŔanas riska-ieguvumu matrica

AutortiesÄ«bu likumi un mākslÄ«gā intelekta apmācÄ«bas noteikumi atŔķiras atkarÄ«bā no valsts un joprojām ir neatrisināti. Amerikas Savienoto Valstu AutortiesÄ«bu birojs turpina pētÄ«t Å”os jautājumus, savukārt Creative Commons apraksta mākslÄ«gā intelekta apmācÄ«bu kā uz faktiem balstÄ«tu un juridiski sarežģītu. (copyright.gov)

PieejaIekļauÅ”anas potenciālsGalvenie ieguvumiGalvenie riskiLabākā piemērotÄ«ba
CC BY 4.0Ä»oti augstsPlaÅ”a kopēŔana, pielāgoÅ”ana, komerciāla izmantoÅ”ana, tulkoÅ”ana, indeksēŔana un ar modeļiem saistÄ«ta atkārtota izmantoÅ”ana, ja nepiecieÅ”ama autortiesÄ«bu atļaujaKomerciālie konkurenti var atkārtoti izmantot vai pielāgot saturu; atsauce var bÅ«t nepilnÄ«ga; licence nevar kontrolēt privātuma, preču zÄ«mju vai treÅ”o puÅ”u tiesÄ«basIzdevēji, kas vēlas plaŔāko likumÄ«go atkārtotu izmantoÅ”anu un spēcÄ«gu avota atsauci
CC BY-SA 4.0Augsts, bet sarežģītāksRosina atvērtu koplietoÅ”anas ciklu un prasa pielāgojumus, lai tie paliktu saderÄ«gos noteikumosShareAlike noteikumus var bÅ«t grÅ«ti piemērot datu kopām, modeļu apmācÄ«bai un publiskajām izvadiem; dažas organizācijas var izvairÄ«ties no materiāla neskaidrÄ«bu dēļAtvērti izglÄ«tÄ«bas un sabiedrÄ«bas intereÅ”u projekti, kas vēlas, lai turpmākās adaptācijas paliktu atvērtas
CC BY-NC 4.0Vidējs vai zemsIerobežo lietojumus, kas galvenokārt paredzēti komerciālām priekÅ”rocÄ«bām vai finansiālai kompensācijaiā€œNekomerciālsā€ var bÅ«t grÅ«ti interpretējams; var izslēgt komerciālu meklēŔanu, modeļu un asistentu lietojumus; tas nav garantēts apmācÄ«bas atteikumsMateriāls, kas paredzēts bezpeļņas, izglÄ«tÄ«bas vai kopienas lietoÅ”anai
CC BY-ND 4.0VidējsAtļauj kopÄ«goÅ”anu, vienlaikus ierobežojot pielāgojumusTulkoÅ”ana, transformācija un daži asistentu lietoÅ”anas gadÄ«jumi var kļūt juridiski neskaidri; mazāk pievilcÄ«gs sistēmām, kas apkopo vai remiksēOficiāli paziņojumi vai darbi, kuriem jāpaliek nemainÄ«giem
CC0 vai publiskā domēna veltÄ«jumsÄ»oti augstsVienkārÅ”o atkārtotu izmantoÅ”anu un novērÅ” lielāko daļu autortiesÄ«bu nosacÄ«jumu, ja tie ir juridiski spēkāNav obligātas atsauces; vāja kontrole pār zÄ«mola prezentāciju; privātuma, preču zÄ«mju un publiskuma tiesÄ«bas paliek atseviŔķasFakti, datu kopas, atsauces materiāli vai darbi, kas paredzēti neierobežotai atkārtotai izmantoÅ”anai
Visas tiesÄ«bas aizsargātas plus atvērta meklēŔanas pārmeklēŔanaAugsts meklēŔanai, zemāks apmācÄ«baiVar saglabāt meklēŔanas un citēŔanas redzamÄ«bu, nepieŔķirot plaÅ”u atkārtotas izmantoÅ”anas licenciLielāka juridiskā neskaidrÄ«ba modeļu izstrādātājiem; var samazināt iekļauÅ”anu apmācÄ«bas datu kopās un komerciālās atkārtotas izmantoÅ”anas sistēmāsIzdevēji, kas vēlas atklāŔanu un citātus, bet dod priekÅ”roku plaŔāku licenču sarunām atseviŔķi

Vislīdzsvarotākā stratēģija daudzām organizācijām ir:

  • CC BY 4.0 oriÄ£inālajam publiskajam redakcionālajam tekstam
  • AtseviŔķas etiÄ·etes treÅ”o puÅ”u materiāliem
  • Nav publiskas personiskās vai konfidenciālās informācijas
  • Atļaut meklēŔanas un izgūŔanas pārmeklētājus
  • Atļaut modeļu izstrādes pārmeklētājus tikai tad, ja organizācija patieŔām pieņem Ŕādu izmantoÅ”anu
  • Izmantot skaidru atsauci un kanoniskās saites
  • Aizsargāt preču zÄ«mes, izmantojot atseviŔķu zÄ«mola paziņojumu

Praktiska ievieŔanas kontrolsaraksts

Saturs un licencēŔana

  • Identificēt, kam pieder katra lapa, attēls, diagramma, video un citāts.
  • Licencēt tikai materiālu, kura tiesÄ«bas kontrolē jÅ«su organizācija.
  • TreÅ”o puÅ”u materiālus atzÄ«mēt atseviŔķi.
  • Pievienot redzamu licences paziņojumu.
  • NodroÅ”ināt vēlamo citātu, izmantojot virsrakstu, autoru, avotu un licenci.
  • Saglabāt logotipus, preču zÄ«mes, personas datus un konfidenciālu informāciju ārpus licencētā darbÄ«bas jomas.

Robots.txt

  • Izveidot publisku robots.txt failu katra resursdatora saknes direktorijā.
  • Atļaut meklēŔanas pārmeklētājus atseviŔķi no apmācÄ«bas pārmeklētājiem.
  • Bloķēt administratÄ«vās, kontu, norēķinu, privātās un iekŔējās lietojumprogrammu takas.
  • Neuzticēties robots.txt droŔībai.
  • PārbaudÄ«t failu pēc katras lielas vietnes izvietoÅ”anas.

Meta tagi

  • Izmantot kanoniskās saites.
  • Pievienot autoru, publicēŔanas datumu un modifikācijas datumu.
  • Izmantot noindex lapām, kurām nevajadzētu parādÄ«ties meklēŔanā.
  • Izmantot nosnippet vai data-nosnippet sensitÄ«viem izvilkumiem, kur tas tiek atbalstÄ«ts.
  • Izmantot X-Robots-Tag pārnēsājamiem dokumentu failiem, attēliem un citiem ne-HTML resursiem.
  • Atcerieties, ka pārmeklētājam jāspēj ielādēt lapu, pirms tas var nolasÄ«t tās meta tagus.

Tīkla droŔība

  • ReÄ£istrēt lietotāja aÄ£enta virknes, avota adreses, atbildes kodus un pieprasÄ«jumu takas.
  • PārbaudÄ«t uzticamus pārmeklētājus, izmantojot oficiālās adreÅ”u plÅ«smas vai domēna vārdu sistēmas metodes.
  • Automātiski atsvaidzināt adreÅ”u plÅ«smas.
  • Apvienot lietotāja aÄ£enta un avota adreses pārbaudes.
  • Ierobežot pārbaudÄ«tu pārmeklētāju ātrumu, nevis pieŔķirt tiem neierobežotu piekļuvi.
  • Izaicināt vai bloķēt pieprasÄ«jumus, kas apgalvo, ka ir uzticami pārmeklētāji, bet nespēj veikt pārbaudi.

Mērījumi

Izsekot:

  • MākslÄ«gā intelekta meklēŔanas pakalpojumu apmeklējumi
  • NovirzīŔana uz oriÄ£inālo lapu
  • CitēŔanas biežums
  • Servera slodze pēc pārmeklētāja
  • PieprasÄ«jumi, kas atgriež 403, 404 vai 429
  • Pārmeklētāja piekļuve neparedzētām takām
  • Vai paÅ”reizējie raksti tiek atrasti pēc publicēŔanas

Secinājums

Maksimāla iekļauÅ”ana prasa selektÄ«vu atvērtÄ«bu, nevis vienu vispārēju atļauju.

Izmantojiet robots.txt, lai atdalÄ«tu meklēŔanu, lietotāja izgūŔanu, apmācÄ«bu un publisko datu kopu pārmeklēŔanu. Izmantojiet meta tagus un HTTP galvenes, lai pārvaldÄ«tu indeksēŔanu un fragmentus. Privātiem datiem izmantojiet autentifikāciju. Pārbaudiet pārmeklētāja interneta protokola adreses, nevis uzticieties tikai lietotāja aÄ£enta nosaukumiem.

AtļaujoÅ”a licence, piemēram, CC BY 4.0, var atvieglot plaÅ”u atkārtotu izmantoÅ”anu, ja jÅ«s to patieŔām vēlaties. Skaidra atsauces informācija – virsraksts, autors, avots, licence, kanoniskā lapa un atjaunināŔanas datums – var arÄ« atvieglot meklēŔanas sistēmām un asistentiem pareizā avota identificēŔanu un citēŔanu.

Tādējādi spēcÄ«gākā publicēŔanas politika ir:

**Atveriet publisko saturu, ko vēlaties atklāt, skaidri licencējiet materiālu, ko vēlaties atkārtoti izmantot, atzÄ«mējiet materiālu, kas jums nepieder, aizsargājiet privāto informāciju servera lÄ«menÄ« un pieŔķiriet katram pārmeklētājam atseviŔķu, pārskatāmu atļauju.

Saistītie raksti

Patīk Ŕis saturs?

Abonējiet mūsu biļetenu, lai saņemtu jaunākos satura mārketinga ieskatus un izaugsmes ceļvežus.

Å is raksts ir paredzēts tikai informatÄ«viem nolÅ«kiem. Saturs un stratēģijas var atŔķirties atkarÄ«bā no jÅ«su specifiskajām vajadzÄ«bām.
LicencēŔana un roboti maksimālai iekļauÅ”anai: Kā uzņemt mākslÄ«gā intelekta pārmeklētājus | AutoPod