Litsentsimine ja robotid maksimaalse kaasatuse tagamiseks: Kuidas tervitada tehisintellekti roomikprogramme

Litsentsimine ja robotid maksimaalse kaasatuse tagamiseks: Kuidas tervitada tehisintellekti roomikprogramme

Uuendatud 25. augustil 2026

Veebisaitidel on nüüd auditooriumini jõudmiseks mitu võimalust. Lehekülje võib leida Google’i otsingu kaudu, selle kokku võtta ChatGPT, seda tsiteerida Perplexity, kasutada Claude’i otsingus, kuvada Apple’i teenuste kaudu või koguda avalik veebiarhiiv.

Kõik need süsteemid ei kasuta sama roomikprogrammi ega järgi samu reegleid. Veebisait, mis blokeerib GPTBoti, võib siiski ilmuda ChatGPT otsingus, kui see lubab OAI-SearchBoti. Veebisait, mis lubab Appleboti, võib jääda Apple’i otsingus nähtavaks, blokeerides samal ajal Applebot-Extendedi tehisintellekti mudelite treenimisest. Google’i Google-Extended ei ole üldse tavaline roomikprogramm; see on robots.txt kontrolltoken.

Parim poliitika ei ole seega lihtsalt „luba tehisintellekt“ või „blokeeri tehisintellekt“. See on eraldi lubade loomine järgmiste jaoks:

1. Otsing ja avastamine
2. Kasutaja soovitud päringud
3. Mudeli arendus ja treenimine
4. Avalikud andmekogumid
5. Tundlik, privaatne või piiratud materjal

Käesolev artikkel pakub ülevaate roomikprogrammidest, robots.txt näiteid, metatagide juhiseid, Interneti-protokolli aadressi kontrollimise meetodeid, Creative Commonsi litsentsimise nõuandeid, juriidilist põhjateksti ja riski-kasu maatriksit.

Neli kontrolli, mida iga kirjastaja peaks mõistma

1. robots.txt kontrollib soovitud roomamist

robots.txt fail annab nõuetele vastavatele automatiseeritud klientidele teada, milliseid lehti nad võivad küsida. See on kasulik roomikprogrammide liikluse haldamiseks ja kirjastaja eelistuste väljendamiseks.

Kuid robots.txt ei ole ligipääsu kontrollsüsteem. Robots Exclusion Protocol sätestab, et selle reeglid ei ole ligipääsu autoriseerimine. Google hoiatab ka, et blokeeritud aadress võib endiselt ilmuda otsingutulemustes, kui teised lehed sellele viitavad. Konfidentsiaalse teabe jaoks kasutage paroole, autentimist või serveripoolseid juurdepääsukontrolle. (rfc-editor.org)

2. Metatagid kontrollivad indekseerimist ja kokkuvõtteid

Robots metatagid ja X-Robots-Tag vastusepäis saavad kontrollida, kas lehte indekseeritakse või kas otsingumootor võib näidata kokkuvõtet.

Need kontrollid on tavaliselt nähtavad alles pärast seda, kui roomikprogrammile on lubatud leht alla laadida. Kui robots.txt lehe esmalt blokeerib, ei pruugi roomikprogramm metatagi kunagi näha. (developers.google.com)

3. Võrgukontrollid kinnitavad roomikprogrammi

Kasutajaagendi nime on lihtne kopeerida. Ründaja võib saata päringu, väites end olevat GPTBot, Googlebot või PerplexityBot.

Tugevam lähenemine ühendab:

• Väidetava kasutajaagendi
• Avaldatud Interneti-protokolli aadressivahemiku
• Vastupidine domeeninimesüsteemi (DNS) kontrollimine
• Edasine domeeninimesüsteemi (DNS) kontrollimine
• Kiirusepiirangud ja päringute jälgimine

4. Litsents annab taaskasutusõigused

Robots.txt ütleb, mida roomikprogrammil palutakse teha. Litsents ütleb, mida inimesed või organisatsioonid võivad materjaliga seaduslikult teha, kui autoriõiguse luba on vajalik.

Need on erinevad tööriistad. Luba andev litsents võib vähendada juriidilist ebakindlust, kuid see ei garanteeri, et roomikprogramm lehte külastab, et mudel seda kasutab või et assistent seda tsiteerib.

Oluliste roomikprogrammide loetelu

Järgmine loetelu kontrolliti teenusepakkuja dokumentatsiooni alusel, mis oli kättesaadav 25. augustil 2026. Kasutajaagendi nimed, otstarbed ja Interneti-protokolli aadressivahemikud võivad muutuda, seega peaksid tootmissüsteemid kasutama teenusepakkuja praegust dokumentatsiooni ja reaalajas aadressivooge.

OpenAI dokumenteerib oma otsingu-, treening-, reklaami- ja kasutaja algatatud roomikprogrammid eraldi kontrollidena. Selle dokumentatsioon soovitab konkreetselt lubada OAI-SearchBoti ChatGPT otsinguks, kasutades samal ajal GPTBoti treeningueelistuste jaoks eraldi. (developers.openai.com)

Google eraldab sarnaselt Googleboti, GoogleOtheri ja Google-Extendedi. Google-Extendedil ei ole oma HTTP-päringu kasutajaagenti ja selle blokeerimine ei eemalda lehte Google’i otsingust. (developers.google.com)

Anthropic dokumenteerib eraldi rollid ClaudeBotile, Claude-SearchBotile ja Claude-Userile. Anthropic märgib ka, et selle robotid järgivad robots.txt-d ja toetavad mittestandardset Crawl-delay direktiivi. (support.anthropic.com)

Perplexity eristab automaatse otsinguroomamise ja kasutaja soovitud allalaadimise vahel. Selle praegune dokumentatsioon ütleb, et PerplexityBot austab robots.txt-d, samas kui Perplexity-User seda üldjuhul ei tee, sest see vastab kasutaja päringule. (docs.perplexity.ai)

Apple’i praegune dokumentatsioon teeb sama otsingu ja treeningu eristuse: Applebot toetab avastamist, samas kui Applebot-Extended võimaldab kirjastajatel kontrollida treeningkasutust, eemaldamata lehti Apple’i otsingust. (support.apple.com)

Soovitatavad robots.txt konfiguratsioonid

Paigutage robots.txt iga hosti juurkataloogi, näiteks:

text https://www.example.org/robots.txt

Reeglid kehtivad konkreetsele hostile, protokollile ja pordile, kus faili teenindatakse. Eraldi alamdomeenil võib olla vaja oma faili. (developers.google.com)

Konfiguratsioon 1: Maksimaalne kaasatus

Kasutage seda, kui avalikku toimetuse sisu võivad vastavad roomikprogrammid leida, kokku võtta, tsiteerida, indekseerida ja koguda.

text

Public pages are available to compliant crawlers.

User-agent: * Allow: /

Keep private, transactional, and administrative paths out.

Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/

Sitemap: https://www.example.org/sitemap.xml

See lubab nimetatud roomikprogramme, sealhulgas OpenAI, Google, Anthropic, Perplexity, Apple, Common Crawl, Microsoft ja Amazon, välja arvatud juhul, kui mõni muu spetsiifiline reegel neid blokeerib.

Ärge paigutage selle konfiguratsiooni alla üldist reeglit nagu User-agent: * Disallow: /. Hilisem või spetsiifilisem grupp võib muuta seda, kuidas roomikprogramm faili tõlgendab.

Konfiguratsioon 2: Luba otsing, kuid blokeeri mudeli arendamise roomikprogrammid

See on sageli parim kompromiss kirjastajatele, kes soovivad viiteid ja otsinguliiklust, kuid ei soovi anda luba mudeli arendamiseks vajalikuks kogumiseks.

text

Block OpenAI model-development crawling.

User-agent: GPTBot Disallow: /

Block Anthropic model-development crawling.

User-agent: ClaudeBot Disallow: /

Block Google model-training and related grounding use.

User-agent: Google-Extended Disallow: /

Block Apple foundation-model training use.

User-agent: Applebot-Extended Disallow: /

Optional: block Common Crawl dataset collection.

User-agent: CCBot

Disallow: /

Allow ordinary search and retrieval crawling, except for sensitive paths.

User-agent: * Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/

Sitemap: https://www.example.org/sitemap.xml

See konfiguratsioon jätab OAI-SearchBoti, Claude-SearchBoti, PerplexityBoti, Googleboti ja Appleboti metamärgi (wildcard) grupi alla. Samuti hoiab see otsingu- ja treeningload eraldi.

Apple’i puhul säilitab Applebot-Extendedi blokeerimine, lubades samal ajal Appleboti, avastamise Apple’i teenuste kaudu. Google’i puhul ei blokeeri Google-Extendedi blokeerimine tavalist Google’i otsingut. (developers.google.com)

Konfiguratsioon 3: Selgelt lubatud valitud otsingurobotid

Kui olemasolev robots.txt fail blokeerib kõik roomikprogrammid, lisage eraldi grupid otsingurobotitele, mida soovite tervitada.

text User-agent: OAI-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Claude-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: PerplexityBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Googlebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Applebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Bingbot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: CCBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Amzn-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

Keep all other crawlers out.

User-agent: * Disallow: /

Spetsiifiliste gruppide kasutamisel korrake tundliku tee reegleid igas grupis. Mõned roomikprogrammid kasutavad kõige spetsiifilisemat sobivat gruppi, mitte ei kombineeri seda metamärgi grupiga. Bing dokumenteerib seda käitumist otseselt ja Google pakub eraldi juhiseid roomikprogrammipõhiste gruppide kohta. (bing.com)

Olulised robots.txt piirangud

• Roomikprogramm võib ignoreerida robots.txt-d.
• Pahatahtlik roomikprogramm võib teeselda usaldusväärset roomikprogrammi.
• Blokeeritud leht võib siiski olla teada oma pealkirja või veebiaadressi järgi.
• Robots.txt ei kaitse paroole, privaatfaile, kliendiandmeid ega konfidentsiaalseid rakendusliideseid.
• Crawl-delay direktiiv ei ole Robots Exclusion Protocoli põhiosa ega toetata kõigi roomikprogrammide poolt. Anthropic ja Bing dokumenteerivad tuge, samas kui Apple ütleb, et Applebot ei järgi crawl-delayd. (rfc-editor.org)

Metatagid ja HTTP-päised

Avaliku lehe näide

Avaliku artikli puhul kasutage selget pealkirja, autorit, kanoonilist veebiaadressi, avaldamiskuupäeva ja muutmise kuupäeva.

html

max-snippet direktiiv on dokumenteeritud peamiselt Google’i jaoks. Ärge eeldage, et iga tehisintellekti roomikprogramm toetab iga meta-direktiivi.

Privaatse või tundliku lehe näide

html

Kasutage seda lehtede puhul, mis ei peaks ilmuma otsingutulemustes. Leht peab jääma roomatavaks piisavalt kauaks, et roomikprogramm saaks direktiivi näha. Kui leht peab tõepoolest privaatseks jääma, kasutage autentimist või paroolikaitset. (developers.google.com)

Peida otsingu kokkuvõtetest ainult tundlikud osad

Google toetab data-nosnippet-i HTML-lehe spetsiifiliste osade jaoks:

html

This paragraph may be shown in a search result.

See on kasulik kontaktandmete, sisekommunikatsiooni või kasutaja loodud teabe jaoks. See ei ole universaalne juhis iga tehisintellekti süsteemi jaoks. (developers.google.com)

Kasuta failide jaoks X-Robots-Tag päist

Metatage ei saa paigutada kaasaskantavasse dokumendifaili, pildifaili ega videofaili. Kasutage selle asemel HTTP vastusepäist:

text X-Robots-Tag: noindex, nosnippet

Lehe jaoks, mis peaks jääma otsitavaks, kuid ei tohiks anda teksti kokkuvõteteks ega tehisintellekti vastusteks, kasutage:

text X-Robots-Tag: nosnippet

Google dokumenteerib X-Robots-Tag-i mitte-HTML-ressursside jaoks ja Apple toetab seda ka Appleboti jaoks. (developers.google.com)

Apple’i spetsiifilised kontrollid

Apple toetab:

html

Apple ütleb, et nosnippet takistab lehe kasutamist lisakontekstina ja praeguse sisuna, kui Apple’i mudelid väljundit genereerivad. Leht võib endiselt jääda avastatavaks Apple’i otsingu, Spotlighti, Siri ja Safari kaudu. (support.apple.com)

Tasuliste lehtede puhul toetab Apple ka struktureeritud andmeid, kasutades:

{ "@context": "https://schema.org", "isAccessibleForFree": false }

Apple ütleb, et sellised lehed võivad jääda otsingutulemuste jaoks sobilikeks, kuid neid ei kasutata tehisintellekti vastuste lisakontekstina. (support.apple.com)

Kuidas kontrollida roomikprogrammide Interneti-protokolli aadresse

Miks kasutajaagendi sobitamine ei ole piisav

Selline reegel on nõrk:

text if User-Agent contains "GPTBot": allow

Igaüks saab selle teksti saata. Parem reegel on:

text if User-Agent is a known crawler and source Internet Protocol address is in the provider's official range: allow or rate-limit else: challenge, rate-limit, or block

Ärge usaldage X-Forwarded-For päist, välja arvatud juhul, kui see tuleb puhverserverist või sisu edastusvõrgust, mida teie organisatsioon kontrollib.

Teenusepakkuja kontrollimise meetodid

Google, Apple, Common Crawl, OpenAI, Anthropic ja Perplexity avaldavad kõik teenusepakkuja-spetsiifilisi meetodeid või aadressivooge. Need loendid võivad muutuda, seega on ajastatud värskendamise protsess turvalisem kui püsiv käsitsi kopeeritud loend. (developers.google.com)

Lihtne tulemüüri disain võiks välja näha järgmine:

text allow OAI-SearchBot only when source address is in the current OpenAI search range allow GPTBot only when source address is in the current OpenAI training range allow PerplexityBot only when source address is in the current PerplexityBot range allow Applebot only when reverse and forward DNS verification succeeds allow CCBot only when reverse DNS and the current Common Crawl range match

rate-limit all verified crawlers block or challenge unverified requests claiming to be trusted crawlers

Ärge rakendage laia lubamise reeglit tervele pilveteenuse pakkujale. Seaduslik roomikprogramm võib kasutada pilveinfrastruktuuri, kuid enamik sellest pilveteenuse pakkujalt tulevast liiklusest ei pruugi tingimata olla roomikprogramm.

Kuidas avatud litsentsimine mõjutab kaasatust

CC BY 4.0 lihtsas keeles

Creative Commonsi omistamise 4.0 rahvusvaheline litsents, mida tavaliselt nimetatakse CC BY 4.0, lubab inimestel:

• Kopeerida ja levitada teost
• Kohaneda, tõlkida, remiksida ja sellele ehitada
• Kasutada seda äriliselt

Peamised tingimused on:

• Andke asjakohane viide
• Linkige litsentsile
• Märkige, kas muudatusi on tehtud
• Ärge viidake, et algne looja kiidab taaskasutuse heaks
• Ärge lisage juriidilisi ega tehnilisi piiranguid, mis takistavad litsentsiga lubatud kasutust

Creative Commons hoiatab ka, et litsents ei pruugi katta privaatsusõigusi, avaldamisõigusi, moraalseid õigusi, kaubamärgiõigusi, patendiõigusi ega kolmanda osapoole materjali. (creativecommons.org)

Litsents iseenesest ei ole roomikprogrammi kutse

„CC BY 4.0“ paigutamine lehele ei garanteeri, et organisatsioon seda roomab. Roomikprogrammi võib siiski blokeerida:

• robots.txt
• Sisuedastusvõrk
• Veebirakenduse tulemüür
• Kiirusepiirang
• JavaScripti väljakutse
• Sisselogimissein
• Halb serverivastus
• Ligipääsmatu saidikaart

Vastupidi, roomikprogrammi lubamine ei anna automaatselt iga autoriõiguse luba, mida on vaja igaks hilisemaks kasutamiseks. Robots.txt ja litsentsimine tuleks kavandada koos.

Miks CC BY toetab laiemat kaasatust

Selge lubav litsents võib muuta kirjastaja poliitika andme meeskondade, otsingusüsteemide ja assistendi operaatorite jaoks lihtsamini mõistetavaks. See võib vähendada ebakindlust kopeerimise, kohandamise, ärilise kasutamise, tõlkimise ja levitamise osas, kui need tegevused nõuavad autoriõiguse luba.

Kuid Creative Commons selgitab, et tehisintellekti treenimine on juriidiliselt keeruline. Piirav litsents ei ole alati tõhus viis treenimise vältimiseks, sest mõned treeningkasutused võivad olla lubatud autoriõiguse erandite või piirangute alusel. Creative Commons märgib ka, et litsentsitingimusi võib olla raske masina treenimisele ja mudeliväljunditele rakendada. (creativecommons.org)

Praktiline õppetund on:

Kasuta CC BY-d, kui soovid tõeliselt laialdast seaduslikku taaskasutust. Ära kasuta piiravat Creative Commonsi litsentsi kui garanteeritud tehisintellekti treeningust loobumise võimalust.

Viitamine parandab allika selgust

Creative Commons soovitab TASL meetodit:

• Pealkiri
• Autor
• Allikas
• Litsents

Näiteks:

„Litsentsimine ja robotid maksimaalse kaasatuse tagamiseks,” Example Publishing, https://www.example.org/articles/ai-crawlers, litsentsitud Creative Commons Attribution 4.0 International alusel. Tehtud muudatused: uuendatud roomikprogrammide loetelu.

Selge viitamine ei sunni iga assistenti lehte tsiteerima. Küll aga muudab see õige viitamise lihtsamaks, kui süsteem ekstraheerib lehe pealkirja, autori, allika ja litsentsiteabe. (wiki.creativecommons.org)

Lisa struktureeritud artikli teave

Kasutage nähtavat teavet ja struktureeritud andmeid koos:

html

Google soovitab selget autori teavet, autori lehti, avaldamiskuupäevi, muutmise kuupäevi ja stabiilseid kanoonilisi lehti. Need signaalid aitavad otsingusüsteemidel mõista, kes materjali lõi ja milline versioon on autoriteetne. Need ei garanteeri reastust, kaasatust ega viitamist. (developers.google.com)

Juriidiline põhjatekst avatud, viitamissõbraliku saidi jaoks

Järgnev on näidistekst, mitte juriidiline nõuanne. Paluge nõunikul seda kohandada teie jurisdiktsiooni, omandistruktuuri, privaatsuskohustuste ja kolmanda osapoole sisuga.

CC BY 4.0 litsentsi avaldus

text

Content license

Except where otherwise stated, the original text and original editorial materials on this page are licensed under the Creative Commons Attribution 4.0 International license:

https://creativecommons.org/licenses/by/4.0/

This permission allows copying, redistribution, adaptation, translation, commercial use, machine-readable processing, search indexing, retrieval, summarization, and use in artificial intelligence systems, provided that the license terms are followed.

Preferred attribution:

“[Page title],” by [author or organization], [canonical page address], published or updated [date], licensed under Creative Commons Attribution 4.0 International. Changes made: [describe changes, or state ‘none’].

Please preserve the author, publisher, source, license, and modification information whenever reasonably possible. This preferred attribution guide does not add restrictions to the Creative Commons license and does not replace the license text.

Väljend „sealhulgas tehisintellekti süsteemid“ selgitab kirjastaja kavatsust. Seda ei tohiks kasutada teeseldaks, et kirjastaja omab õigusi kellegi teise loodud materjalile.

Brändi, privaatsuse ja kolmanda osapoole õiguste teade

text

Brand, privacy, and third-party rights

The license above covers only the original materials identified as licensed. It does not grant permission to use:

• Trademarks, service marks, logos, or trade dress
• Names, images, or likenesses of people
• Private, confidential, account, health, financial, or security information
• User submissions unless they are separately identified as licensed
• Photographs, illustrations, maps, video, music, quotations, or other third-party materials
• Content identified as “all rights reserved” or subject to a separate license

Use of the Example Publishing name, logos, and marks must not suggest sponsorship, approval, partnership, or endorsement. Please link to the original page and clearly distinguish quotation, paraphrase, summary, and generated material.

See keel on oluline, sest Creative Commonsi litsentsid ei anna automaatselt kõiki lehega seotud juriidilisi õigusi. (creativecommons.org)

Otsingu ja assistendi viitamise juhised

text

Search and assistant citation guidance

We welcome compliant search indexing, user-requested retrieval, citation, and summarization of the licensed material on this site.

When citing this site, please use the page title, author or publisher, canonical page address, publication or update date, and a direct link to the source. Please identify the source as one input among any sources used, distinguish generated analysis from quoted material, and do not state or imply that Example Publishing endorses a generated answer, product, person, or service.

This guidance is intended to improve accuracy and attribution. It does not grant rights beyond the applicable content license and does not license trademarks, personal information, confidential information, or third-party material.

Kui soovite otsingu nähtavust, kuid ei soovi anda laiaulatuslikku treeningulitsentsi

text

Search access and copyright

Our public pages may be accessed by compliant search and retrieval crawlers identified in our robots.txt file. This permission is intended to support discovery, search results, user-requested retrieval, and citation.

Except where a separate license is shown, the original content remains all rights reserved. Access to a public page does not grant a separate license for model-development, training, redistribution, commercial reuse, or creation of derivative works beyond rights provided by applicable law.

Please cite the canonical page address and publisher when referring to this material. Nothing on this site grants permission to use trademarks, logos, personal information, confidential information, or third-party content.

Ärge asetage CC BY avaldust ja kõigi õiguste avaldust sama materjali peale. Määratlege selgelt, milline litsents millisele sisule kehtib.

Riski-kasu maatriks avatud litsentsimisel

Autoriõiguse seadused ja tehisintellekti treeningreeglid erinevad riigiti ja on endiselt lahendamata. Ameerika Ühendriikide autoriõiguste amet uurib neid küsimusi edasi, samas kui Creative Commons kirjeldab tehisintellekti treeningut kui faktipõhist ja juriidiliselt keerukat. (copyright.gov)

Paljude organisatsioonide kõige tasakaalustatum strateegia on:

• CC BY 4.0 algse avaliku toimetuse teksti jaoks
• Eraldi sildid kolmanda osapoole materjalile
• Ei avaldata isiklikku ega konfidentsiaalset teavet
• Lubada otsingu- ja päringuroomikprogramme
• Lubada mudeli arendamise roomikprogramme ainult siis, kui organisatsioon seda kasutust tõeliselt aktsepteerib
• Kasutage selget viitamist ja kanoonilisi linke
• Kaitske kaubamärke eraldi bränditeatega

Praktiline rakendamise kontrollnimekiri

Sisu ja litsentsimine

• Määratlege, kellele kuulub iga leht, pilt, diagramm, video ja tsitaat.
• Litsentsige ainult materjal, mille õigusi teie organisatsioon kontrollib.
• Märkige kolmanda osapoole materjal eraldi.
• Lisage nähtav litsentsi avaldus.
• Esitage eelistatud viide, kasutades pealkirja, autorit, allikat ja litsentsi.
• Hoidke logod, kaubamärgid, isikuandmed ja konfidentsiaalne teave litsentsitud ulatusest väljaspool.

Robots.txt

• Looge avalik robots.txt fail iga hosti juurkataloogi.
• Lubage otsingurobotid treeningurobotitest eraldi.
• Blokeerige haldus-, konto-, ostukorvi-, privaatsed ja sisemised rakenduste teed.
• Ärge lootke turvalisuse osas robots.txt-le.
• Testige faili pärast iga suuremat veebisaidi juurutamist.

Metatagid

• Kasutage kanoonilisi linke.
• Lisage autor, avaldamiskuupäev ja muutmise kuupäev.
• Kasutage noindex-i lehtede jaoks, mis ei peaks otsingus ilmuma.
• Kasutage nosnippet või data-nosnippet-i tundlike väljavõtete jaoks, kus see on toetatud.
• Kasutage X-Robots-Tag-i kaasaskantavate dokumendifailide, piltide ja muude mitte-HTML-ressursside jaoks.
• Pidage meeles, et roomikprogramm peab enne metatagide lugemist suutma lehe alla laadida.

Võrguturvalisus

• Logige kasutajaagendi stringe, lähteaadresse, vastusekoode ja päringuteid.
• Kontrollige usaldusväärseid roomikprogramme ametlike aadressivoogude või domeeninimesüsteemi (DNS) meetodite abil.
• Värskendage aadressivooge automaatselt.
• Kombineerige kasutajaagendi ja lähteaadressi kontrollid.
• Piirake kontrollitud roomikprogramme, selle asemel et anda neile piiramatu juurdepääs.
• Esitage väljakutseid või blokeerige päringud, mis väidavad end olevat usaldusväärsed roomikprogrammid, kuid ei läbi kontrollimist.

Mõõtmine

Jälgige:

• Külastusi tehisintellekti otsinguteenustest
• Viiteid algsele lehele
• Viitamise sagedust
• Serveri koormust roomikprogrammide kaupa
• Päringuid, mis tagastavad 403, 404 või 429
• Roomikprogrammide juurdepääsu tahtmatutele teedele
• Kas praegused artiklid leitakse pärast avaldamist

Kokkuvõte

Maksimaalne kaasatus nõuab selektiivset avatust, mitte ühte üldist luba.

Kasutage robots.txt-d otsingu, kasutaja päringute, treeningu ja avalike andmekogumite roomamise eraldamiseks. Kasutage metatage ja HTTP-päiseid indekseerimise ja kokkuvõtete haldamiseks. Autentige kõik privaatsed asjad. Kontrollige roomikprogrammide Interneti-protokolli aadresse, selle asemel et usaldada ainult kasutajaagendi nimesid.

Lubav litsents nagu CC BY 4.0 saab laialdase taaskasutuse lihtsamaks teha, kui te seda tõeliselt soovite. Selge viitamise teave – pealkiri, autor, allikas, litsents, kanooniline leht ja uuendamise kuupäev – saab samuti hõlbustada otsingusüsteemide ja assistentide jaoks õige allika tuvastamist ja tsiteerimist.

Seega on kõige tugevam kirjastamispoliitika:

**Avage avalik sisu, mida soovite avastada, litsentsige selgelt materjal, mida soovite taaskasutada, märkige materjal, mis teile ei kuulu, kaitske privaatset teavet serveri tasandil ja andke igale roomikprogrammile eraldi, ülevaadatav luba.