LicencÄÅ”ana un roboti maksimÄlai iekļauÅ”anai: KÄ uzÅemt mÄkslÄ«gÄ intelekta pÄrmeklÄtÄjus
AtjauninÄts 2026. gada 25. augustÄ
VietnÄm tagad ir vairÄk nekÄ viens veids, kÄ sasniegt auditoriju. Lapa var tikt atrasta, izmantojot Google meklÄÅ”anu, apkopota ar ChatGPT, citÄta Perplexity, izmantota Claude meklÄÅ”anÄ, parÄdÄ«ta, izmantojot Apple pakalpojumus, vai savÄkta publiskÄ tÄ«mekļa arhÄ«vÄ.
Å Ä«s sistÄmas neizmanto visus vienus un tos paÅ”us pÄrmeklÄtÄjus, un tÄs neievÄro vienÄdus noteikumus. Vietne, kas bloÄ·Ä GPTBot, joprojÄm var parÄdÄ«ties ChatGPT meklÄÅ”anÄ, ja tÄ atļauj OAI-SearchBot. Vietne, kas atļauj Applebot, var palikt redzama Apple meklÄÅ”anÄ, vienlaikus bloÄ·Äjot Applebot-Extended no mÄkslÄ«gÄ intelekta modeļu apmÄcÄ«bas. Google Google-Extended vispÄr nav parasts pÄrmeklÄtÄjs; tas ir robots.txt kontroles marÄ·ieris.
TÄdÄjÄdi labÄkÄ politika nav vienkÄrÅ”i āatļaut mÄkslÄ«go intelektuā vai ābloÄ·Ät mÄkslÄ«go intelektuā. TÄ ir atseviŔķu atļauju izveide Å”Ädiem nolÅ«kiem:
- MeklÄÅ”ana un atklÄÅ”ana
- LietotÄja pieprasÄ«ta izgūŔana
- Modeļu izstrÄde un apmÄcÄ«ba
- Publiskas datu kopas
- SensitÄ«vs, privÄts vai ierobežots materiÄls
Å is raksts sniedz aktuÄlu pÄrmeklÄtÄju sarakstu, robots.txt piemÄrus, meta tagu vadlÄ«nijas, interneta protokola adreÅ”u pÄrbaudes metodes, Creative Commons licencÄÅ”anas padomus, juridisko standartu tekstu un riska-ieguvumu matricu.
Äetras kontroles, kas jÄzina katram izdevÄjam
1. robots.txt kontrolÄ pieprasÄ«to pÄrmeklÄÅ”anu
A robots.txt fails paziÅo atbilstoÅ”iem automatizÄtiem klientiem, kuras lapas tie drÄ«kst pieprasÄ«t. Tas ir noderÄ«gs pÄrmeklÄtÄju datplÅ«smas pÄrvaldÄ«bai un izdevÄja preferenÄu izteikÅ”anai.
TomÄr robots.txt nav piekļuves kontroles sistÄma. Robots izslÄgÅ”anas protokols norÄda, ka tÄ noteikumi nav piekļuves autorizÄcija. Google arÄ« brÄ«dina, ka bloÄ·Äta adrese joprojÄm var parÄdÄ«ties meklÄÅ”anas rezultÄtos, ja uz to ved saites no citÄm lapÄm. KonfidenciÄlas informÄcijas aizsardzÄ«bai izmantojiet paroles, autentifikÄciju vai servera puses piekļuves kontroles. (rfc-editor.org)
2. Meta tagi kontrolÄ indeksÄÅ”anu un fragmentus
Robots meta tagi un X-Robots-Tag atbildes galvene var kontrolÄt, vai lapa tiek indeksÄta vai vai meklÄtÄjprogramma drÄ«kst parÄdÄ«t fragmentu.
Å Ä«s vadÄ«bas ierÄ«ces parasti ir redzamas tikai pÄc tam, kad pÄrmeklÄtÄjam ir atļauts ielÄdÄt lapu. Ja robots.txt bloÄ·Ä lapu pirmais, pÄrmeklÄtÄjs nekad var neredzÄt meta tagu. (developers.google.com)
3. TÄ«kla kontroles pÄrbauda pÄrmeklÄtÄju
LietotÄja aÄ£enta nosaukumu ir viegli nokopÄt. UzbrucÄjs var nosÅ«tÄ«t pieprasÄ«jumu, apgalvojot, ka ir GPTBot, Googlebot vai PerplexityBot.
SpÄcÄ«gÄka pieeja apvieno:
- PieprasÄ«to lietotÄja aÄ£entu
- PublicÄtu interneta protokola adreÅ”u diapazonu
- ReversÄ domÄna vÄrdu sistÄmas pÄrbaudi
- TieÅ”Äs domÄna vÄrdu sistÄmas pÄrbaudi
- Ätruma ierobežojumus un pieprasÄ«jumu uzraudzÄ«bu
4. Licence pieŔķir atkÄrtotas izmantoÅ”anas tiesÄ«bas
Robots.txt norÄda, ko pÄrmeklÄtÄjam ir lÅ«gts darÄ«t. Licence norÄda, ko cilvÄki vai organizÄcijas drÄ«kst likumÄ«gi darÄ«t ar materiÄlu, ja ir nepiecieÅ”ama autortiesÄ«bu atļauja.
Tie ir dažÄdi rÄ«ki. AtļaujoÅ”a licence var samazinÄt juridisko neskaidrÄ«bu, taÄu tÄ negarantÄ, ka pÄrmeklÄtÄjs apmeklÄs lapu, ka modelis to izmantos vai ka asistents to citÄs.
SvarÄ«gÄko pÄrmeklÄtÄju saraksts
Å is saraksts tika pÄrbaudÄ«ts, salÄ«dzinot ar pakalpojumu sniedzÄju dokumentÄciju, kas bija pieejama 2026. gada 25. augustÄ. LietotÄja aÄ£enta nosaukumi, mÄrÄ·i un interneta protokola adreÅ”u diapazoni var mainÄ«ties, tÄpÄc ražoÅ”anas sistÄmÄm jÄizmanto pakalpojumu sniedzÄja aktuÄlÄ dokumentÄcija un tieÅ”raides adreÅ”u plÅ«smas.
| Pakalpojumu sniedzÄjs | PÄrmeklÄtÄjs vai robots.txt marÄ·ieris | Galvenais mÄrÄ·is | SvarÄ«ga kontrole |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Atrod un analizÄ lapas ChatGPT meklÄÅ”anai | Atļaujiet to, lai uzlabotu iespÄju, ka lapas parÄdÄs ChatGPT meklÄÅ”anas rezultÄtos. |
| OpenAI | GPTBot | VÄc lapas, kuras var izmantot OpenAI Ä£eneratÄ«vo mÄkslÄ«gÄ intelekta modeļu apmÄcÄ«bai | Atļaujiet vai neatļaujiet atseviŔķi no meklÄÅ”anas. |
| OpenAI | ChatGPT-User | IelÄdÄ lapas pÄc tam, kad lietotÄjs ir lÅ«dzis ChatGPT vai pielÄgotam GPT piekļūt tÄm | Tas tiek aktivizÄts lietotÄja pieprasÄ«jumÄ, nevis ir automÄtisks tÄ«mekļa pÄrmeklÄtÄjs, tÄpÄc robots.txt noteikumi var netikt piemÄroti. |
| OpenAI | OAI-AdsBot | PÄrbauda tÄ«mekļa lapas, kas iesniegtas kÄ ChatGPT reklÄmas galamÄrÄ·i | GalvenokÄrt attiecas uz reklÄmdevÄjiem. SavÄktais saturs netiek izmantots Ä£eneratÄ«vo mÄkslÄ«gÄ intelekta pamatmodeļu apmÄcÄ«bai. |
Googlebot | Galvenais Google meklÄÅ”anas pÄrmeklÄtÄjs | KontrolÄ parasto Google meklÄÅ”anas pÄrmeklÄÅ”anu. | |
Googlebot-Image, Googlebot-Video, Googlebot-News | AttÄli, video un Google ZiÅas | Tiem ir atseviŔķi robots.txt marÄ·ieri, un tos var kontrolÄt neatkarÄ«gi. | |
GoogleOther | VispÄrÄjas nozÄ«mes Google pÄrmeklÄÅ”ana dažÄdÄm produktu komandÄm, ieskaitot pÄtniecÄ«bu un izstrÄdi | Tas nepÄrstÄv vienu konkrÄtu Google produktu. | |
Google-Extended | KontrolÄ, vai Google pÄrmeklÄtais saturs var tikt izmantots Gemini modeļa apmÄcÄ«bai un noteiktÄm pamatojuma sistÄmÄm | Tas ir robots.txt kontroles marÄ·ieris, nevis atseviŔķs pieprasÄ«juma lietotÄja aÄ£ents. Tas neietekmÄ parasto Google meklÄÅ”anas iekļauÅ”anu. | |
| Anthropic | ClaudeBot | VÄc publisko tÄ«mekļa saturu, kas var veicinÄt Claude modeļa izstrÄdi | Neatļaujiet to, lai signalizÄtu, ka turpmÄkais materiÄls ir jÄizslÄdz no Anthropic apmÄcÄ«bas datu kopÄm. |
| Anthropic | Claude-SearchBot | Uzlabo Claude meklÄÅ”anas rezultÄtu kvalitÄti | Atļaujiet to Claude meklÄÅ”anas redzamÄ«bai. |
| Anthropic | Claude-User | IelÄdÄ lapas, reaÄ£Äjot uz lietotÄja pieprasÄ«jumu Claude | AtseviŔķi no automÄtiskÄs pÄrmeklÄÅ”anas. |
| Perplexity | PerplexityBot | IndeksÄ lapas Perplexity meklÄÅ”anas rezultÄtiem | Perplexity norÄda, ka Å”is pÄrmeklÄtÄjs netiek izmantots satura vÄkÅ”anai mÄkslÄ«gÄ intelekta pamatmodeļu apmÄcÄ«bai. |
| Perplexity | Perplexity-User | IelÄdÄ lapu pÄc lietotÄja pieprasÄ«juma | Perplexity dokumentÄcija norÄda, ka Å”is ielÄdÄtÄjs parasti ignorÄ robots.txt, jo pieprasÄ«jumu ierosinÄja lietotÄjs. |
| Apple | Applebot | Atbalsta Apple Search, Spotlight, Siri, Safari un citas Apple pieredzes | Atļaujiet to Apple atklÄÅ”anai. |
| Apple | Applebot-Extended | KontrolÄ, vai Applebot pÄrmeklÄtais saturs var tikt izmantots Apple pamatmodeļu apmÄcÄ«bai | Tas pats nepÄrmeklÄ lapas. TÄ ir datu izmantoÅ”anas kontrole. |
| Common Crawl | CCBot | VÄc publiskos tÄ«mekļa datus Common Crawl atvÄrtajam tÄ«mekļa arhÄ«vam | Tas nav asistents, taÄu tÄ datu kopas var izmantot pÄtnieki un mÄkslÄ«gÄ intelekta izstrÄdÄtÄji. |
| Microsoft | Bingbot | Galvenais Bing meklÄÅ”anas pÄrmeklÄtÄjs | Atļaujiet to Bing atklÄÅ”anai un meklÄÅ”anas redzamÄ«bai. |
| Microsoft | MicrosoftPreview, BingVideoPreview | Lapu un video priekÅ”skatÄ«jumi Microsoft produktiem | Tos var kontrolÄt atseviŔķi no Bingbot. |
| Amazon | Amzn-SearchBot | Amazon meklÄÅ”ana un satura atklÄÅ”ana | Amazon norÄda, ka tÄ nepÄrmeklÄ saturu Ä£eneratÄ«vo mÄkslÄ«gÄ intelekta modeļu apmÄcÄ«bai. |
| Amazon | Amzn-User | IelÄdÄ aktuÄlo informÄciju, reaÄ£Äjot uz lietotÄja darbÄ«bÄm, tostarp Alexa pieprasÄ«jumiem | LietotÄja aktivizÄts un atseviŔķi no automÄtiskÄs meklÄÅ”anas pÄrmeklÄÅ”anas. |
OpenAI dokumentÄ savus meklÄÅ”anas, apmÄcÄ«bas, reklÄmas un lietotÄja aktivizÄtos pÄrmeklÄtÄjus kÄ atseviŔķas kontroles. TÄ dokumentÄcija Ä«paÅ”i iesaka atļaut OAI-SearchBot ChatGPT meklÄÅ”anai, vienlaikus izmantojot GPTBot atseviŔķi apmÄcÄ«bas preferencÄm. (developers.openai.com)
Google lÄ«dzÄ«gi atdala Googlebot, GoogleOther un Google-Extended. Google-Extended nav sava HTTP pieprasÄ«juma lietotÄja aÄ£enta, un tÄ bloÄ·ÄÅ”ana nenoÅem lapu no Google meklÄÅ”anas. (developers.google.com)
Anthropic dokumentÄ atseviŔķas lomas ClaudeBot, Claude-SearchBot un Claude-User. Anthropic arÄ« norÄda, ka tÄ boti ievÄro robots.txt un atbalsta nestandarta Crawl-delay direktÄ«vu. (support.anthropic.com)
Perplexity atŔķir automÄtisko meklÄÅ”anas pÄrmeklÄÅ”anu un lietotÄja pieprasÄ«to ielÄdi. TÄ paÅ”reizÄjÄ dokumentÄcija norÄda, ka PerplexityBot ievÄro robots.txt, savukÄrt Perplexity-User parasti to nedara, jo tas reaÄ£Ä uz lietotÄja pieprasÄ«jumu. (docs.perplexity.ai)
Apple paÅ”reizÄjÄ dokumentÄcijÄ tiek veikta tÄda pati meklÄÅ”anas pret apmÄcÄ«bas atŔķirÄ«ba: Applebot atbalsta atklÄÅ”anu, savukÄrt Applebot-Extended ļauj izdevÄjiem kontrolÄt apmÄcÄ«bas izmantoÅ”anu, nenoÅemot lapas no Apple meklÄÅ”anas. (support.apple.com)
IeteicamÄs robots.txt konfigurÄcijas
Novietojiet robots.txt katra resursdatora saknes direktorijÄ, piemÄram:
text https://www.example.org/robots.txt
Noteikumi attiecas uz konkrÄto resursdatoru, protokolu un portu, kurÄ fails tiek apkalpots. AtseviŔķai apakÅ”domÄnai var bÅ«t nepiecieÅ”ams savs fails. (developers.google.com)
KonfigurÄcija 1: MaksimÄla iekļauÅ”ana
Izmantojiet to, ja publisko redakcionÄlo saturu var atrast, apkopot, citÄt, indeksÄt un vÄkt atbilstoÅ”i pÄrmeklÄtÄji.
text
PubliskÄs lapas ir pieejamas atbilstoÅ”iem pÄrmeklÄtÄjiem.
User-agent: * Allow: /
IzslÄdziet privÄtÄs, transakciju un administratÄ«vÄs takas.
Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/
Sitemap: https://www.example.org/sitemap.xml
Tas atļauj nosauktos pÄrmeklÄtÄjus, tostarp OpenAI, Google, Anthropic, Perplexity, Apple, Common Crawl, Microsoft un Amazon, ja vien cits konkrÄts noteikums tos nebloÄ·Ä.
Nelieciet vispÄrÄ«gu noteikumu, piemÄram, User-agent: * Disallow: /, zem Ŕīs konfigurÄcijas. VÄlÄka vai specifiskÄka grupa var mainÄ«t veidu, kÄ pÄrmeklÄtÄjs interpretÄ failu.
KonfigurÄcija 2: Atļaut meklÄÅ”anu, bet bloÄ·Ät modeļu izstrÄdes pÄrmeklÄtÄjus
Tas bieži vien ir labÄkais kompromiss izdevÄjiem, kuri vÄlas citÄtus un meklÄÅ”anas datplÅ«smu, bet nevÄlas signalizÄt atļauju modeļu izstrÄdes vÄkÅ”anai.
text
BloÄ·Ät OpenAI modeļu izstrÄdes pÄrmeklÄÅ”anu.
User-agent: GPTBot Disallow: /
BloÄ·Ät Anthropic modeļu izstrÄdes pÄrmeklÄÅ”anu.
User-agent: ClaudeBot Disallow: /
BloÄ·Ät Google modeļu apmÄcÄ«bu un saistÄ«to pamatojuma izmantoÅ”anu.
User-agent: Google-Extended Disallow: /
BloÄ·Ät Apple pamatmodeļu apmÄcÄ«bas izmantoÅ”anu.
User-agent: Applebot-Extended Disallow: /
PÄc izvÄles: bloÄ·Ät Common Crawl datu kopu vÄkÅ”anu.
User-agent: CCBot
Disallow: /
Atļaut parasto meklÄÅ”anas un izgūŔanas pÄrmeklÄÅ”anu, izÅemot sensitÄ«vas takas.
User-agent: * Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/
Sitemap: https://www.example.org/sitemap.xml
Å Ä« konfigurÄcija atstÄj OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot un Applebot aptvertus ar aizstÄjÄjzÄ«mes grupu. TÄ arÄ« saglabÄ meklÄÅ”anas un apmÄcÄ«bas atļaujas atseviŔķi.
AttiecÄ«bÄ uz Apple, Applebot-Extended bloÄ·ÄÅ”ana, vienlaikus atļaujot Applebot, saglabÄ atklÄÅ”anu, izmantojot Apple pakalpojumus. AttiecÄ«bÄ uz Google, Google-Extended bloÄ·ÄÅ”ana nebloÄ·Ä parasto Google meklÄÅ”anu. (developers.google.com)
KonfigurÄcija 3: Skaidri atļaut atlasÄ«tos meklÄÅ”anas pÄrmeklÄtÄjus
Ja esoÅ”ais robots.txt fails bloÄ·Ä visus pÄrmeklÄtÄjus, pievienojiet atseviŔķas grupas tiem meklÄÅ”anas pÄrmeklÄtÄjiem, kurus vÄlaties uzÅemt.
text User-agent: OAI-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: Claude-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: PerplexityBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: Googlebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: Applebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: Bingbot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: CCBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
User-agent: Amzn-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/
IzslÄdziet visus pÄrÄjos pÄrmeklÄtÄjus.
User-agent: * Disallow: /
Izmantojot specifiskas grupas, atkÄrtojiet sensitÄ«vo taku noteikumus katrÄ grupÄ. Daži pÄrmeklÄtÄji izmanto visprecÄ«zÄko atbilstoÅ”o grupu, nevis apvieno to ar aizstÄjÄjzÄ«mes grupu. Bing Å”o uzvedÄ«bu dokumentÄ tieÅ”i, un Google sniedz atseviŔķas vadlÄ«nijas pÄrmeklÄtÄjiem specifiskÄm grupÄm. (bing.com)
Svarīgi robots.txt ierobežojumi
- PÄrmeklÄtÄjs var ignorÄt robots.txt.
- Ä»aunprÄtÄ«gs pÄrmeklÄtÄjs var izlikties par uzticamu pÄrmeklÄtÄju.
- BloÄ·Äta lapa joprojÄm var bÅ«t zinÄma pÄc tÄs nosaukuma vai tÄ«mekļa adreses.
- Robots.txt neaizsargÄ paroles, privÄtus failus, klientu ierakstus vai konfidenciÄlas lietojumprogrammu programmÄÅ”anas saskarnes.
Crawl-delaydirektÄ«va nav daļa no Robots izslÄgÅ”anas protokola kodola un to neatbalsta katrs pÄrmeklÄtÄjs. Anthropic un Bing dokumentÄ atbalstu, savukÄrt Apple norÄda, ka Applebot neievÄro pÄrmeklÄÅ”anas aizkavi. (rfc-editor.org)
Meta tagi un HTTP galvenes
Publiskas lapas piemÄrs
Publiskam rakstam izmantojiet skaidru virsrakstu, autoru, kanonisko tÄ«mekļa adresi, publicÄÅ”anas datumu un modifikÄcijas datumu.
html
KÄ uzÅemt mÄkslÄ«gÄ intelekta pÄrmeklÄtÄjus
max-snippet direktÄ«va galvenokÄrt ir dokumentÄta Google. NeuzÅemieties, ka katrs mÄkslÄ«gÄ intelekta pÄrmeklÄtÄjs atbalsta katru meta direktÄ«vu.
PrivÄtas vai sensitÄ«vas lapas piemÄrs
html
Izmantojiet to lapÄm, kurÄm nevajadzÄtu parÄdÄ«ties meklÄÅ”anas rezultÄtos. Lapai jÄbÅ«t pÄrmeklÄjamai pietiekami ilgi, lai pÄrmeklÄtÄjs varÄtu redzÄt direktÄ«vu. Ja lapai patieÅ”Äm jÄpaliek privÄtai, izmantojiet autentifikÄciju vai paroles aizsardzÄ«bu. (developers.google.com)
PaslÄpt tikai sensitÄ«vas sadaļas no meklÄÅ”anas fragmentiem
Google atbalsta data-nosnippet konkrÄtÄm HTML lapas daļÄm:
html
Å is rindkopa var tikt parÄdÄ«ta meklÄÅ”anas rezultÄtÄ.
Tas ir noderÄ«gi kontaktinformÄcijai, iekÅ”ÄjÄm piezÄ«mÄm vai lietotÄju Ä£enerÄtai informÄcijai. TÄ nav universÄla instrukcija katrai mÄkslÄ«gÄ intelekta sistÄmai. (developers.google.com)
Izmantojiet X-Robots-Tag galveni failiem
Meta tagus nevar ievietot pÄrnÄsÄjamÄ dokumenta failÄ, attÄlÄ vai video failÄ. TÄ vietÄ izmantojiet HTTP atbildes galveni:
text X-Robots-Tag: noindex, nosnippet
Lapu, kurai jÄpaliek meklÄjamai, bet kurai nevajadzÄtu sniegt tekstu fragmentiem vai mÄkslÄ«gÄ intelekta atbildÄm, izmantojiet:
text X-Robots-Tag: nosnippet
Google dokumentÄ X-Robots-Tag ne-HTML resursiem, un Apple to atbalsta arÄ« Applebot. (developers.google.com)
Apple specifiskÄs kontroles
Apple atbalsta:
html
Apple norÄda, ka nosnippet novÄrÅ” lapas izmantoÅ”anu kÄ papildu kontekstu un paÅ”reizÄjo saturu, kad Apple modeļi Ä£enerÄ izvadi. Lapa joprojÄm var bÅ«t atrodama, izmantojot Apple Search, Spotlight, Siri un Safari. (support.apple.com)
Maksas lapÄm Apple atbalsta arÄ« strukturÄtus datus, izmantojot:
{ "@context": "https://schema.org", "isAccessibleForFree": false }
Apple norÄda, ka Å”Ädas lapas var palikt piemÄrotas meklÄÅ”anas rezultÄtiem, taÄu tÄs netiks izmantotas kÄ papildu konteksts mÄkslÄ«gÄ intelekta atbildÄm. (support.apple.com)
KÄ pÄrbaudÄ«t pÄrmeklÄtÄja interneta protokola adreses
KÄpÄc lietotÄja aÄ£enta atbilstÄ«ba nav pietiekama
TÄds noteikums kÄ Å”is ir vÄjÅ”:
text if User-Agent contains "GPTBot": allow
Ikviens var nosÅ«tÄ«t Å”o tekstu. LabÄks noteikums ir:
text ja lietotÄja aÄ£ents ir zinÄms pÄrmeklÄtÄjs un avota interneta protokola adrese ir pakalpojumu sniedzÄja oficiÄlajÄ diapazonÄ: atļaut vai ierobežot Ätrumu citÄdi: izvirzÄ«t izaicinÄjumu, ierobežot Ätrumu vai bloÄ·Ät
Neuzticieties X-Forwarded-For galvenei, ja vien tÄ nav no starpniekservera vai satura piegÄdes tÄ«kla, ko kontrolÄ jÅ«su organizÄcija.
Pakalpojumu sniedzÄju pÄrbaudes metodes
| Pakalpojumu sniedzÄjs | IeteicamÄ pÄrbaudes metode |
|---|---|
| OpenAI | Izmantojiet tieÅ”raides interneta protokola adreÅ”u plÅ«smas, kas publicÄtas OpenAI pÄrmeklÄtÄju dokumentÄcijÄ par OAI-SearchBot, GPTBot un OAI-AdsBot. Atsvaidziniet tÄs automÄtiski, nevis kopÄjiet fiksÄtus diapazonus ugunsmÅ«rÄ«. |
| Izmantojiet Google publicÄtos pÄrmeklÄtÄju diapazonus vai veiciet reversÄs un tieÅ”Äs domÄna vÄrdu sistÄmas pÄrbaudes. Patiesam Google pÄrmeklÄtÄjam vajadzÄtu atrisinÄties uz apstiprinÄtu Google resursdatora nosaukumu un atrisinÄties atpakaļ uz sÄkotnÄjo adresi. | |
| Anthropic | Izmantojiet paÅ”reizÄjo publicÄto pÄrmeklÄtÄju adreÅ”u plÅ«smu kÄ sekundÄro tÄ«kla pÄrbaudi. Anthropic primÄrÄ atteikÅ”anÄs metode joprojÄm ir robots.txt. |
| Perplexity | Apvienojiet lietotÄja aÄ£entu ar paÅ”reizÄjo PerplexityBot vai Perplexity-User adreÅ”u plÅ«smu. Perplexity Ä«paÅ”i iesaka apvienot abus nosacÄ«jumus tÄ«mekļa lietojumprogrammu ugunsmÅ«ra noteikumÄ. |
| Apple | Izmantojiet reversÄs domÄna vÄrdu sistÄmas pÄrbaudi zem applebot.apple.com, pÄc tam veiciet tieÅ”o meklÄÅ”anu. Apple arÄ« publicÄ paÅ”reizÄjos adreÅ”u diapazonus JSON plÅ«smÄ. |
| Common Crawl | Izmantojiet reversÄs domÄna vÄrdu sistÄmas pÄrbaudi zem crawl.commoncrawl.org un paÅ”reizÄjo CCBot adreÅ”u plÅ«smu. Common Crawl norÄda, ka reversÄ pÄrbaude vÄl nav pieejama dažiem IPv6 datplÅ«smÄm. |
| Microsoft | Izmantojiet oficiÄlo Verify Bingbot rÄ«ku vai Microsoft dokumentÄtÄs reversÄs un tieÅ”Äs meklÄÅ”anas metodes. |
| Amazon | Izmantojiet Amazon publicÄtÄs pÄrmeklÄtÄju adreÅ”u sarakstus un saskaÅojiet tos ar atbilstoÅ”o Amazon lietotÄja aÄ£entu. |
Google, Apple, Common Crawl, OpenAI, Anthropic un Perplexity visi publicÄ pakalpojumu sniedzÄjiem specifiskas metodes vai adreÅ”u plÅ«smas. Å ie saraksti var mainÄ«ties, tÄpÄc plÄnota atjauninÄÅ”anas process ir droÅ”Äks nekÄ pastÄvÄ«gs manuÄli kopÄts saraksts. (developers.google.com)
VienkÄrÅ”a ugunsmÅ«ra konstrukcija varÄtu izskatÄ«ties Å”Ädi:
text atļaut OAI-SearchBot tikai tad, ja avota adrese atrodas paÅ”reizÄjÄ OpenAI meklÄÅ”anas diapazonÄ atļaut GPTBot tikai tad, ja avota adrese atrodas paÅ”reizÄjÄ OpenAI apmÄcÄ«bas diapazonÄ atļaut PerplexityBot tikai tad, ja avota adrese atrodas paÅ”reizÄjÄ PerplexityBot diapazonÄ atļaut Applebot tikai tad, ja reversÄ un tieÅ”Ä DNS pÄrbaude ir veiksmÄ«ga atļaut CCBot tikai tad, ja reversÄ DNS un paÅ”reizÄjais Common Crawl diapazons sakrÄ«t
ierobežot Ätrumu visiem pÄrbaudÄ«tajiem pÄrmeklÄtÄjiem bloÄ·Ät vai apstrÄ«dÄt nepÄrbaudÄ«tus pieprasÄ«jumus, kas apgalvo, ka ir uzticami pÄrmeklÄtÄji
Neizmantojiet plaÅ”u atļaujas noteikumu visam mÄkoÅpakalpojumu sniedzÄjam. LegitimÄts pÄrmeklÄtÄjs var izmantot mÄkoÅinfrastruktÅ«ru, taÄu lielÄkÄ daļa datplÅ«smas no Ŕī mÄkoÅpakalpojumu sniedzÄja nav obligÄti pÄrmeklÄtÄjs.
KÄ atvÄrtÄ licencÄÅ”ana ietekmÄ iekļauÅ”anu
CC BY 4.0 vienkÄrÅ”Ä valodÄ
Creative Commons Attribution 4.0 International licence, ko parasti sauc par CC BY 4.0, atļauj cilvÄkiem:
- KopÄt un izplatÄ«t darbu
- PielÄgot, tulkot, remiksÄt un veidot uz tÄ pamata
- Izmantot to komerciÄli
Galvenie nosacījumi ir:
- NorÄdÄ«t atbilstoÅ”u atsauci
- Sniegt saiti uz licenci
- NorÄdÄ«t, vai tika veiktas izmaiÅas
- NenorÄdÄ«t, ka sÄkotnÄjais autors atbalsta atkÄrtotu izmantoÅ”anu
- Nepievienot juridiskus vai tehniskus ierobežojumus, kas novÄrÅ” licencÄ atļautu izmantoÅ”anu
Creative Commons arÄ« brÄ«dina, ka licence var neattiekties uz privÄtuma tiesÄ«bÄm, publiskuma tiesÄ«bÄm, morÄlajÄm tiesÄ«bÄm, preÄu zÄ«mju tiesÄ«bÄm, patentu tiesÄ«bÄm vai treÅ”o puÅ”u materiÄliem. (creativecommons.org)
Licence pati par sevi nav pÄrmeklÄtÄja ielÅ«gums
Licences āCC BY 4.0ā ievietoÅ”ana lapÄ negarantÄ, ka organizÄcija to pÄrmeklÄs. PÄrmeklÄtÄju joprojÄm var bloÄ·Ät:
- robots.txt
- Satura piegÄdes tÄ«kls
- Tīmekļa lietojumprogrammu ugunsmūris
- Ätruma ierobežoÅ”ana
- JavaScript izaicinÄjums
- PieteikÅ”anÄs siena
- VÄja servera atbilde
- Neaizsniedzama vietnes karte
Gluži pretÄji, pÄrmeklÄtÄja atļauÅ”ana automÄtiski nepieŔķir visas autortiesÄ«bu atļaujas, kas nepiecieÅ”amas katrai turpmÄkajai izmantoÅ”anai. Robots.txt un licencÄÅ”ana jÄizstrÄdÄ kopÄ.
KÄpÄc CC BY var atbalstÄ«t plaÅ”Äku iekļauÅ”anu
Skaidra atļaujoÅ”a licence var padarÄ«t izdevÄja politiku vieglÄk saprotamu datu komandÄm, meklÄÅ”anas sistÄmÄm un asistentu operatoriem. TÄ var samazinÄt neskaidrÄ«bu par kopÄÅ”anu, pielÄgoÅ”anu, komerciÄlu izmantoÅ”anu, tulkoÅ”anu un izplatīŔanu, ja Ŕīm darbÄ«bÄm ir nepiecieÅ”ama autortiesÄ«bu atļauja.
TomÄr Creative Commons skaidro, ka mÄkslÄ«gÄ intelekta apmÄcÄ«ba ir juridiski sarežģīta. IerobežojoÅ”a licence ne vienmÄr ir efektÄ«vs veids, kÄ novÄrst apmÄcÄ«bu, jo dažas apmÄcÄ«bas izmantoÅ”anas var bÅ«t atļautas ar autortiesÄ«bu izÅÄmumiem vai ierobežojumiem. Creative Commons arÄ« atzÄ«mÄ, ka licences nosacÄ«jumus var bÅ«t grÅ«ti piemÄrot maŔīnapmÄcÄ«bai un modeļu izvadiem. (creativecommons.org)
PraktiskÄ mÄcÄ«ba ir:
Izmantojiet CC BY, ja patieÅ”Äm vÄlaties plaÅ”u likumÄ«gu atkÄrtotu izmantoÅ”anu. Neizmantojiet ierobežojoÅ”u Creative Commons licenci kÄ garantÄtu mÄkslÄ«gÄ intelekta apmÄcÄ«bas atteikÅ”anos.
Atruna uzlabo avota skaidrību
Creative Commons iesaka TASL metodi:
- Virsraksts
- Autors
- Avots
- Licence
PiemÄram:
āLicencÄÅ”ana un roboti maksimÄlai iekļauÅ”anai,ā Example Publishing, https://www.example.org/articles/ai-crawlers, licencÄts saskaÅÄ ar Creative Commons Attribution 4.0 International. VeiktÄs izmaiÅas: atjauninÄts pÄrmeklÄtÄju saraksts.
Skaidra atsauce neliek katram asistentam citÄt lapu. TÄ atvieglo pareizu citÄÅ”anu, ja sistÄma izvelk lapas virsrakstu, autoru, avotu un licencÄÅ”anas informÄciju. (wiki.creativecommons.org)
Pievienot strukturÄtu raksta informÄciju
Izmantojiet redzamu informÄciju un strukturÄtus datus kopÄ:
html
Google iesaka skaidru informÄciju par autoru, autoru lapÄm, publicÄÅ”anas datumiem, modifikÄcijas datumiem un stabilÄm kanoniskÄm lapÄm. Å ie signÄli var palÄ«dzÄt meklÄÅ”anas sistÄmÄm saprast, kas izveidoja materiÄlu un kura versija ir autoritatÄ«va. Tie negarantÄ ranžÄÅ”anu, iekļauÅ”anu vai citÄÅ”anu. (developers.google.com)
Juridiskais standarts atvÄrtai, citÄtu draudzÄ«gai vietnei
TurpmÄk sniegtais teksts ir piemÄrs, nevis juridiska konsultÄcija. LÅ«dziet juristu pielÄgot to jÅ«su jurisdikcijai, Ä«paÅ”umtiesÄ«bu struktÅ«rai, privÄtuma saistÄ«bÄm un treÅ”o puÅ”u saturam.
CC BY 4.0 licencÄÅ”anas paziÅojums
text
Satura licence
IzÅemot gadÄ«jumus, kad norÄdÄ«ts citÄdi, sÄkotnÄjais teksts un oriÄ£inÄlie redakcionÄlie materiÄli Å”ajÄ lapÄ ir licencÄti saskaÅÄ ar Creative Commons Attribution 4.0 International licenci:
https://creativecommons.org/licenses/by/4.0/
Å Ä« atļauja ļauj kopÄt, izplatÄ«t, pielÄgot, tulkot, komerciÄli izmantot, maŔīnlasÄmi apstrÄdÄt, veikt meklÄÅ”anas indeksÄÅ”anu, izgÅ«t, apkopot un izmantot mÄkslÄ«gÄ intelekta sistÄmÄs, ja tiek ievÄroti licences noteikumi.
VÄlamÄ atsauce:
ā[Lapas virsraksts],ā autors [autors vai organizÄcija], [kanoniskÄ lapas adrese], publicÄts vai atjauninÄts [datums], licencÄts saskaÅÄ ar Creative Commons Attribution 4.0 International. VeiktÄs izmaiÅas: [aprakstiet izmaiÅas vai norÄdiet ānavā].
LÅ«dzu, saglabÄjiet autora, izdevÄja, avota, licences un modifikÄcijas informÄciju, kad vien tas ir saprÄtÄ«gi iespÄjams. Å Ä«s vÄlamÄs atsauces vadlÄ«nijas nepievieno ierobežojumus Creative Commons licencei un neaizstÄj licences tekstu.
FrÄze āieskaitot mÄkslÄ«gÄ intelekta sistÄmasā precizÄ izdevÄja nodomu. To nevajadzÄtu izmantot, lai izliktos, ka izdevÄjam pieder tiesÄ«bas uz materiÄlu, ko radÄ«jis kÄds cits.
ZÄ«mola, privÄtuma un treÅ”o puÅ”u tiesÄ«bu paziÅojums
text
ZÄ«mola, privÄtuma un treÅ”o puÅ”u tiesÄ«bas
IepriekÅ” minÄtÄ licence attiecas tikai uz oriÄ£inÄlajiem materiÄliem, kas identificÄti kÄ licencÄti. TÄ nedod atļauju izmantot:
- PreÄu zÄ«mes, pakalpojumu zÄ«mes, logotipus vai tirdzniecÄ«bas apvalkus
- CilvÄku vÄrdus, attÄlus vai lÄ«dzÄ«bas
- PrivÄtu, konfidenciÄlu, konta, veselÄ«bas, finanÅ”u vai droŔības informÄciju
- LietotÄju iesniegumus, ja vien tie nav atseviŔķi identificÄti kÄ licencÄti
- FotogrÄfijas, ilustrÄcijas, kartes, video, mÅ«ziku, citÄtus vai citus treÅ”o puÅ”u materiÄlus
- Satura, kas identificÄts kÄ āvisas tiesÄ«bas aizsargÄtasā vai kam piemÄrojama atseviŔķa licence
Example Publishing nosaukuma, logotipu un zÄ«molu izmantoÅ”ana nedrÄ«kst liecinÄt par sponsorÄÅ”anu, apstiprinÄjumu, partnerÄ«bu vai atbalstu. LÅ«dzu, ievietojiet saiti uz oriÄ£inÄlo lapu un skaidri atŔķiriet citÄtus, parafrÄzes, kopsavilkumus un Ä£enerÄtu materiÄlu.
Å Ä« valoda ir svarÄ«ga, jo Creative Commons licences automÄtiski nepieŔķir visu veidu juridiskÄs tiesÄ«bas, kas saistÄ«tas ar lapu. (creativecommons.org)
MeklÄÅ”anas un asistentu citÄÅ”anas vadlÄ«nijas
text
MeklÄÅ”anas un asistentu citÄÅ”anas vadlÄ«nijas
MÄs atzinÄ«gi vÄrtÄjam atbilstoÅ”u meklÄÅ”anas indeksÄÅ”anu, lietotÄja pieprasÄ«tu izgūŔanu, citÄÅ”anu un licencÄtÄ materiÄla kopsavilkumu Å”ajÄ vietnÄ.
CitÄjot Å”o vietni, lÅ«dzu, izmantojiet lapas virsrakstu, autoru vai izdevÄju, kanonisko lapas adresi, publicÄÅ”anas vai atjauninÄÅ”anas datumu un tieÅ”u saiti uz avotu. LÅ«dzu, norÄdiet avotu kÄ vienu no izmantotajiem avotiem, atŔķiriet Ä£enerÄtu analÄ«zi no citÄta materiÄla un nenorÄdiet vai netieÅ”i nenorÄdiet, ka Example Publishing atbalsta Ä£enerÄtu atbildi, produktu, personu vai pakalpojumu.
Å o vadlÄ«niju mÄrÄ·is ir uzlabot precizitÄti un atsauci. TÄ nepieŔķir tiesÄ«bas, kas pÄrsniedz piemÄrojamo satura licenci, un nelicencÄ preÄu zÄ«mes, personisko informÄciju, konfidenciÄlu informÄciju vai treÅ”o puÅ”u materiÄlus.
Ja vÄlaties meklÄÅ”anas redzamÄ«bu, bet nevÄlaties pieŔķirt plaÅ”u apmÄcÄ«bas licenci
text
MeklÄÅ”anas piekļuve un autortiesÄ«bas
MÅ«su publiskajÄm lapÄm var piekļūt atbilstoÅ”i meklÄÅ”anas un izgūŔanas pÄrmeklÄtÄji, kas identificÄti mÅ«su robots.txt failÄ. Å Ä« atļauja ir paredzÄta atklÄÅ”anas, meklÄÅ”anas rezultÄtu, lietotÄja pieprasÄ«tas izgūŔanas un citÄÅ”anas atbalstam.
IzÅemot gadÄ«jumus, kad ir norÄdÄ«ta atseviŔķa licence, oriÄ£inÄlais saturs paliek ar visÄm tiesÄ«bÄm aizsargÄts. Piekļuve publiskai lapai nepieŔķir atseviŔķu licenci modeļu izstrÄdei, apmÄcÄ«bai, izplatīŔanai, komerciÄlai atkÄrtotai izmantoÅ”anai vai atvasinÄtu darbu radīŔanai, kas pÄrsniedz piemÄrojamajos tiesÄ«bu aktos paredzÄtÄs tiesÄ«bas.
LÅ«dzu, citÄjiet kanonisko lapas adresi un izdevÄju, atsaucoties uz Å”o materiÄlu. Nekas Å”ajÄ vietnÄ nedod atļauju izmantot preÄu zÄ«mes, logotipus, personisko informÄciju, konfidenciÄlu informÄciju vai treÅ”o puÅ”u saturu.
Nenovietojiet CC BY paziÅojumu un visu tiesÄ«bu aizsargÄto paziÅojumu virs viena un tÄ paÅ”a materiÄla. Skaidri norÄdiet, kura licence attiecas uz kuru saturu.
AtvÄrtÄs licencÄÅ”anas riska-ieguvumu matrica
AutortiesÄ«bu likumi un mÄkslÄ«gÄ intelekta apmÄcÄ«bas noteikumi atŔķiras atkarÄ«bÄ no valsts un joprojÄm ir neatrisinÄti. Amerikas Savienoto Valstu AutortiesÄ«bu birojs turpina pÄtÄ«t Å”os jautÄjumus, savukÄrt Creative Commons apraksta mÄkslÄ«gÄ intelekta apmÄcÄ«bu kÄ uz faktiem balstÄ«tu un juridiski sarežģītu. (copyright.gov)
| Pieeja | IekļauÅ”anas potenciÄls | Galvenie ieguvumi | Galvenie riski | LabÄkÄ piemÄrotÄ«ba |
|---|---|---|---|---|
| CC BY 4.0 | Ä»oti augsts | PlaÅ”a kopÄÅ”ana, pielÄgoÅ”ana, komerciÄla izmantoÅ”ana, tulkoÅ”ana, indeksÄÅ”ana un ar modeļiem saistÄ«ta atkÄrtota izmantoÅ”ana, ja nepiecieÅ”ama autortiesÄ«bu atļauja | KomerciÄlie konkurenti var atkÄrtoti izmantot vai pielÄgot saturu; atsauce var bÅ«t nepilnÄ«ga; licence nevar kontrolÄt privÄtuma, preÄu zÄ«mju vai treÅ”o puÅ”u tiesÄ«bas | IzdevÄji, kas vÄlas plaÅ”Äko likumÄ«go atkÄrtotu izmantoÅ”anu un spÄcÄ«gu avota atsauci |
| CC BY-SA 4.0 | Augsts, bet sarežģītÄks | Rosina atvÄrtu koplietoÅ”anas ciklu un prasa pielÄgojumus, lai tie paliktu saderÄ«gos noteikumos | ShareAlike noteikumus var bÅ«t grÅ«ti piemÄrot datu kopÄm, modeļu apmÄcÄ«bai un publiskajÄm izvadiem; dažas organizÄcijas var izvairÄ«ties no materiÄla neskaidrÄ«bu dÄļ | AtvÄrti izglÄ«tÄ«bas un sabiedrÄ«bas intereÅ”u projekti, kas vÄlas, lai turpmÄkÄs adaptÄcijas paliktu atvÄrtas |
| CC BY-NC 4.0 | VidÄjs vai zems | Ierobežo lietojumus, kas galvenokÄrt paredzÄti komerciÄlÄm priekÅ”rocÄ«bÄm vai finansiÄlai kompensÄcijai | āNekomerciÄlsā var bÅ«t grÅ«ti interpretÄjams; var izslÄgt komerciÄlu meklÄÅ”anu, modeļu un asistentu lietojumus; tas nav garantÄts apmÄcÄ«bas atteikums | MateriÄls, kas paredzÄts bezpeļÅas, izglÄ«tÄ«bas vai kopienas lietoÅ”anai |
| CC BY-ND 4.0 | VidÄjs | Atļauj kopÄ«goÅ”anu, vienlaikus ierobežojot pielÄgojumus | TulkoÅ”ana, transformÄcija un daži asistentu lietoÅ”anas gadÄ«jumi var kļūt juridiski neskaidri; mazÄk pievilcÄ«gs sistÄmÄm, kas apkopo vai remiksÄ | OficiÄli paziÅojumi vai darbi, kuriem jÄpaliek nemainÄ«giem |
| CC0 vai publiskÄ domÄna veltÄ«jums | Ä»oti augsts | VienkÄrÅ”o atkÄrtotu izmantoÅ”anu un novÄrÅ” lielÄko daļu autortiesÄ«bu nosacÄ«jumu, ja tie ir juridiski spÄkÄ | Nav obligÄtas atsauces; vÄja kontrole pÄr zÄ«mola prezentÄciju; privÄtuma, preÄu zÄ«mju un publiskuma tiesÄ«bas paliek atseviŔķas | Fakti, datu kopas, atsauces materiÄli vai darbi, kas paredzÄti neierobežotai atkÄrtotai izmantoÅ”anai |
| Visas tiesÄ«bas aizsargÄtas plus atvÄrta meklÄÅ”anas pÄrmeklÄÅ”ana | Augsts meklÄÅ”anai, zemÄks apmÄcÄ«bai | Var saglabÄt meklÄÅ”anas un citÄÅ”anas redzamÄ«bu, nepieŔķirot plaÅ”u atkÄrtotas izmantoÅ”anas licenci | LielÄka juridiskÄ neskaidrÄ«ba modeļu izstrÄdÄtÄjiem; var samazinÄt iekļauÅ”anu apmÄcÄ«bas datu kopÄs un komerciÄlÄs atkÄrtotas izmantoÅ”anas sistÄmÄs | IzdevÄji, kas vÄlas atklÄÅ”anu un citÄtus, bet dod priekÅ”roku plaÅ”Äku licenÄu sarunÄm atseviŔķi |
VislÄ«dzsvarotÄkÄ stratÄÄ£ija daudzÄm organizÄcijÄm ir:
- CC BY 4.0 oriÄ£inÄlajam publiskajam redakcionÄlajam tekstam
- AtseviŔķas etiÄ·etes treÅ”o puÅ”u materiÄliem
- Nav publiskas personiskÄs vai konfidenciÄlÄs informÄcijas
- Atļaut meklÄÅ”anas un izgūŔanas pÄrmeklÄtÄjus
- Atļaut modeļu izstrÄdes pÄrmeklÄtÄjus tikai tad, ja organizÄcija patieÅ”Äm pieÅem Å”Ädu izmantoÅ”anu
- Izmantot skaidru atsauci un kanoniskÄs saites
- AizsargÄt preÄu zÄ«mes, izmantojot atseviŔķu zÄ«mola paziÅojumu
Praktiska ievieŔanas kontrolsaraksts
Saturs un licencÄÅ”ana
- IdentificÄt, kam pieder katra lapa, attÄls, diagramma, video un citÄts.
- LicencÄt tikai materiÄlu, kura tiesÄ«bas kontrolÄ jÅ«su organizÄcija.
- TreÅ”o puÅ”u materiÄlus atzÄ«mÄt atseviŔķi.
- Pievienot redzamu licences paziÅojumu.
- NodroÅ”inÄt vÄlamo citÄtu, izmantojot virsrakstu, autoru, avotu un licenci.
- SaglabÄt logotipus, preÄu zÄ«mes, personas datus un konfidenciÄlu informÄciju Ärpus licencÄtÄ darbÄ«bas jomas.
Robots.txt
- Izveidot publisku robots.txt failu katra resursdatora saknes direktorijÄ.
- Atļaut meklÄÅ”anas pÄrmeklÄtÄjus atseviŔķi no apmÄcÄ«bas pÄrmeklÄtÄjiem.
- BloÄ·Ät administratÄ«vÄs, kontu, norÄÄ·inu, privÄtÄs un iekÅ”ÄjÄs lietojumprogrammu takas.
- NeuzticÄties robots.txt droŔībai.
- PÄrbaudÄ«t failu pÄc katras lielas vietnes izvietoÅ”anas.
Meta tagi
- Izmantot kanoniskÄs saites.
- Pievienot autoru, publicÄÅ”anas datumu un modifikÄcijas datumu.
- Izmantot
noindexlapÄm, kurÄm nevajadzÄtu parÄdÄ«ties meklÄÅ”anÄ. - Izmantot
nosnippetvaidata-nosnippetsensitīviem izvilkumiem, kur tas tiek atbalstīts. - Izmantot
X-Robots-TagpÄrnÄsÄjamiem dokumentu failiem, attÄliem un citiem ne-HTML resursiem. - Atcerieties, ka pÄrmeklÄtÄjam jÄspÄj ielÄdÄt lapu, pirms tas var nolasÄ«t tÄs meta tagus.
Tīkla droŔība
- ReÄ£istrÄt lietotÄja aÄ£enta virknes, avota adreses, atbildes kodus un pieprasÄ«jumu takas.
- PÄrbaudÄ«t uzticamus pÄrmeklÄtÄjus, izmantojot oficiÄlÄs adreÅ”u plÅ«smas vai domÄna vÄrdu sistÄmas metodes.
- AutomÄtiski atsvaidzinÄt adreÅ”u plÅ«smas.
- Apvienot lietotÄja aÄ£enta un avota adreses pÄrbaudes.
- Ierobežot pÄrbaudÄ«tu pÄrmeklÄtÄju Ätrumu, nevis pieŔķirt tiem neierobežotu piekļuvi.
- IzaicinÄt vai bloÄ·Ät pieprasÄ«jumus, kas apgalvo, ka ir uzticami pÄrmeklÄtÄji, bet nespÄj veikt pÄrbaudi.
MÄrÄ«jumi
Izsekot:
- MÄkslÄ«gÄ intelekta meklÄÅ”anas pakalpojumu apmeklÄjumi
- NovirzīŔana uz oriÄ£inÄlo lapu
- CitÄÅ”anas biežums
- Servera slodze pÄc pÄrmeklÄtÄja
- Pieprasījumi, kas atgriež
403,404vai429 - PÄrmeklÄtÄja piekļuve neparedzÄtÄm takÄm
- Vai paÅ”reizÄjie raksti tiek atrasti pÄc publicÄÅ”anas
SecinÄjums
MaksimÄla iekļauÅ”ana prasa selektÄ«vu atvÄrtÄ«bu, nevis vienu vispÄrÄju atļauju.
Izmantojiet robots.txt, lai atdalÄ«tu meklÄÅ”anu, lietotÄja izgūŔanu, apmÄcÄ«bu un publisko datu kopu pÄrmeklÄÅ”anu. Izmantojiet meta tagus un HTTP galvenes, lai pÄrvaldÄ«tu indeksÄÅ”anu un fragmentus. PrivÄtiem datiem izmantojiet autentifikÄciju. PÄrbaudiet pÄrmeklÄtÄja interneta protokola adreses, nevis uzticieties tikai lietotÄja aÄ£enta nosaukumiem.
AtļaujoÅ”a licence, piemÄram, CC BY 4.0, var atvieglot plaÅ”u atkÄrtotu izmantoÅ”anu, ja jÅ«s to patieÅ”Äm vÄlaties. Skaidra atsauces informÄcija ā virsraksts, autors, avots, licence, kanoniskÄ lapa un atjauninÄÅ”anas datums ā var arÄ« atvieglot meklÄÅ”anas sistÄmÄm un asistentiem pareizÄ avota identificÄÅ”anu un citÄÅ”anu.
TÄdÄjÄdi spÄcÄ«gÄkÄ publicÄÅ”anas politika ir:
**Atveriet publisko saturu, ko vÄlaties atklÄt, skaidri licencÄjiet materiÄlu, ko vÄlaties atkÄrtoti izmantot, atzÄ«mÄjiet materiÄlu, kas jums nepieder, aizsargÄjiet privÄto informÄciju servera lÄ«menÄ« un pieŔķiriet katram pÄrmeklÄtÄjam atseviŔķu, pÄrskatÄmu atļauju.
Auto