Maksimum Kapsayıcılık İçin Lisanslama ve Robotlar: Yapay Zeka Tarayıcıları Nasıl Karşılanır

Maksimum Kapsayıcılık İçin Lisanslama ve Robotlar: Yapay Zeka Tarayıcıları Nasıl Karşılanır

25 Ağustos 2026 tarihinde güncellendi

Web sitelerinin artık bir kitleye ulaşmak için birden fazla yolu var. Bir sayfa Google Arama aracılığıyla bulunabilir, ChatGPT tarafından özetlenebilir, Perplexity tarafından alıntılanabilir, Claude aramasında kullanılabilir, Apple hizmetleri aracılığıyla görüntülenebilir veya herkese açık bir web arşivi tarafından toplanabilir.

Bu sistemlerin hepsi aynı tarayıcıyı kullanmaz veya aynı kurallara uymaz. GPTBot'u engelleyen bir web sitesi, OAI-SearchBot'a izin verirse ChatGPT aramasında hala görünebilir. Applebot'a izin veren bir web sitesi, yapay zeka model eğitimi için Applebot-Extended'ı engellerken Apple Aramasında görünür kalabilir. Google'ın Google-Extended'ı hiç de normal bir tarayıcı değildir; bu bir robots.txt kontrol belirtecidir.

Bu nedenle en iyi politika, basitçe “yapay zekaya izin ver” veya “yapay zekayı engelle” değildir. Şu durumlar için ayrı izinler oluşturmaktır:

1. Arama ve keşif
2. Kullanıcı tarafından istenen alma
3. Model geliştirme ve eğitim
4. Herkese açık veri kümeleri
5. Hassas, özel veya kısıtlı materyal

Bu makale, güncel bir tarayıcı envanteri, robots.txt örnekleri, meta etiket rehberliği, İnternet Protokol adresi doğrulama yöntemleri, Creative Commons lisanslama tavsiyeleri, hukuki standart ifadeler ve bir risk-fayda matrisi sunmaktadır.

Her Yayıncının Anlaması Gereken Dört Kontrol

1. robots.txt istenen taramayı kontrol eder

Bir robots.txt dosyası, uyumlu otomatik istemcilere hangi sayfaları isteyebileceklerini söyler. Tarayıcı trafiğini yönetmek ve bir yayıncının tercihlerini ifade etmek için kullanışlıdır.

Ancak, robots.txt bir erişim kontrol sistemi değildir. Robot Hariç Tutma Protokolü, kurallarının erişim yetkilendirmesi olmadığını belirtir. Google ayrıca, engellenen bir adresin, diğer sayfalar ona bağlantı veriyorsa arama sonuçlarında hala görünebileceği konusunda uyarır. Gizli bilgiler için parolalar, kimlik doğrulama veya sunucu tarafı erişim kontrolleri kullanın. (rfc-editor.org)

2. Meta etiketler dizinlemeyi ve özetleri kontrol eder

Robot meta etiketleri ve X-Robots-Tag yanıt başlığı, bir sayfanın dizine eklenip eklenmeyeceğini veya bir arama motorunun bir özet gösterip gösteremeyeceğini kontrol edebilir.

Bu kontroller normalde bir tarayıcının sayfayı getirmesine izin verildikten sonra görünür. Eğer robots.txt sayfayı önce engellerse, tarayıcı meta etiketi asla göremeyebilir. (developers.google.com)

3. Ağ kontrolleri tarayıcıyı doğrular

Bir kullanıcı aracısı adını kopyalamak kolaydır. Bir saldırgan, GPTBot, Googlebot veya PerplexityBot olduğunu iddia eden bir istek gönderebilir.

Daha güçlü bir yaklaşım şunları birleştirir:

• İddia edilen kullanıcı aracısı
• Yayınlanmış bir İnternet Protokol adresi aralığı
• Ters Alan Adı Sistemi doğrulaması
• İleri Alan Adı Sistemi doğrulaması
• Hız limitleri ve istek izleme

4. Bir lisans yeniden kullanım haklarını verir

Robots.txt, bir tarayıcının ne yapmasının istendiğini söyler. Bir lisans, telif hakkı izni gerektiğinde kişilerin veya kuruluşların materyali yasal olarak ne yapabileceğini söyler.

Bunlar farklı araçlardır. İzin veren bir lisans, yasal belirsizliği azaltabilir, ancak bir tarayıcının sayfayı ziyaret edeceğini, bir modelin onu kullanacağını veya bir asistanın onu alıntılayacağını garanti etmez.

Önemli Tarayıcıların Envanteri

Aşağıdaki envanter, 25 Ağustos 2026 tarihinde mevcut olan sağlayıcı belgelerine göre kontrol edilmiştir. Kullanıcı aracısı adları, amaçları ve İnternet Protokol adresi aralıkları değişebilir, bu nedenle üretim sistemleri sağlayıcının güncel belgelerini ve canlı adres beslemelerini kullanmalıdır.

OpenAI, arama, eğitim, reklamcılık ve kullanıcı tarafından tetiklenen tarayıcılarını ayrı kontroller olarak belgelemektedir. Belgeleri, OAI-SearchBot'a ChatGPT araması için izin verirken GPTBot'u eğitim tercihleri için ayrı olarak kullanmayı özellikle tavsiye eder. (developers.openai.com)

Google da benzer şekilde Googlebot, GoogleOther ve Google-Extended'ı ayırır. Google-Extended'ın kendi HTTP istek kullanıcı aracısı yoktur ve onu engellemek bir sayfayı Google Arama'dan kaldırmaz. (developers.google.com)

Anthropic, ClaudeBot, Claude-SearchBot ve Claude-User için ayrı rolleri belgeler. Anthropic ayrıca botlarının robots.txt'yi takip ettiğini ve standart dışı Crawl-delay yönergesini desteklediğini belirtir. (support.anthropic.com)

Perplexity, otomatik arama taraması ile kullanıcı tarafından istenen getirme arasında ayrım yapar. Mevcut belgeleri, PerplexityBot'un robots.txt'ye uyduğunu, Perplexity-User'ın ise bir kullanıcı isteğine yanıt verdiği için genellikle uymadığını belirtir. (docs.perplexity.ai)

Apple'ın mevcut belgeleri aynı arama-eğitim ayrımını yapar: Applebot keşfi desteklerken, Applebot-Extended yayıncıların Apple Arama'dan sayfaları kaldırmadan eğitim kullanımını kontrol etmelerini sağlar. (support.apple.com)

Önerilen robots.txt Yapılandırmaları

robots.txt dosyasını her ana bilgisayarın köküne yerleştirin, örneğin:

text https://www.example.org/robots.txt

Kurallar, dosyanın sunulduğu belirli ana bilgisayara, protokole ve bağlantı noktasına uygulanır. Ayrı bir alt alan adının kendi dosyasına ihtiyacı olabilir. (developers.google.com)

Yapılandırma 1: Maksimum kapsayıcılık

Herkese açık editoryal içeriğin uyumlu tarayıcılar tarafından bulunabileceği, özetlenebileceği, alıntılanabileceği, dizine eklenebileceği ve toplanabileceği durumlarda bunu kullanın.

text

Genel sayfalar uyumlu tarayıcılar için erişilebilir.

User-agent: * Allow: /

Özel, işlemsel ve idari yolları dışarıda tutun.

Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/

Sitemap: https://www.example.org/sitemap.xml

Bu, OpenAI, Google, Anthropic, Perplexity, Apple, Common Crawl, Microsoft ve Amazon dahil olmak üzere adlandırılmış tarayıcılara, başka bir özel kural onları engellemediği sürece izin verir.

Bu yapılandırmanın altına User-agent: * Disallow: / gibi genel bir kural koymayın. Daha sonraki veya daha spesifik bir grup, bir tarayıcının dosyayı yorumlama şeklini değiştirebilir.

Yapılandırma 2: Aramaya izin verin ancak model geliştirme tarayıcılarını engelleyin

Bu, alıntılar ve arama trafiği isteyen ancak model geliştirme toplama için izin sinyali vermek istemeyen yayıncılar için genellikle en iyi uzlaşmadır.

text

OpenAI model geliştirme taramasını engelle.

User-agent: GPTBot Disallow: /

Anthropic model geliştirme taramasını engelle.

User-agent: ClaudeBot Disallow: /

Google model eğitimi ve ilgili temel kullanımı engelle.

User-agent: Google-Extended Disallow: /

Apple temel model eğitim kullanımını engelle.

User-agent: Applebot-Extended Disallow: /

İsteğe bağlı: Common Crawl veri kümesi toplamayı engelle.

User-agent: CCBot

Disallow: /

Hassas yollar hariç, normal arama ve alma taramasına izin ver.

User-agent: * Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/ Disallow: /api/private/ Disallow: /internal-search/

Sitemap: https://www.example.org/sitemap.xml

Bu yapılandırma, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot ve Applebot'u joker karakter grubu kapsamında bırakır. Ayrıca arama ve eğitim izinlerini ayrı tutar.

Apple için, Applebot'a izin verirken Applebot-Extended'ı engellemek, Apple hizmetleri aracılığıyla keşfedilebilirliği korur. Google için, Google-Extended'ı engellemek normal Google Arama'yı engellemez. (developers.google.com)

Yapılandırma 3: Seçilen arama tarayıcılarına açıkça izin verin

Mevcut bir robots.txt dosyası tüm tarayıcıları engelliyorsa, hoş geldiniz demek istediğiniz arama tarayıcıları için ayrı gruplar ekleyin.

text User-agent: OAI-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Claude-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: PerplexityBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Googlebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Applebot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Bingbot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: CCBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

User-agent: Amzn-SearchBot Allow: / Disallow: /account/ Disallow: /admin/ Disallow: /checkout/ Disallow: /private/

Diğer tüm tarayıcıları dışarıda tutun.

User-agent: * Disallow: /

Belirli gruplar kullanırken, hassas yol kurallarını her grubun içine tekrarlayın. Bazı tarayıcılar, joker karakter grubuyla birleştirmek yerine en spesifik eşleşen grubu kullanır. Bing bu davranışı doğrudan belgeler, ve Google, tarayıcıya özel gruplar hakkında ayrı rehberlik sağlar. (bing.com)

Önemli robots.txt sınırlamaları

• Bir tarayıcı robots.txt'yi göz ardı edebilir.
• Kötü niyetli bir tarayıcı, güvenilir bir tarayıcı gibi davranabilir.
• Engellenen bir sayfa, başlığı veya web adresiyle hala bilinebilir.
• Robots.txt parolaları, özel dosyaları, müşteri kayıtlarını veya gizli uygulama programlama arayüzlerini korumaz.
• Bir Crawl-delay yönergesi, çekirdek Robot Hariç Tutma Protokolünün bir parçası değildir ve her tarayıcı tarafından desteklenmez. Anthropic ve Bing destek belgelerini sunarken, Apple Applebot'un tarama gecikmesine uymadığını belirtir. (rfc-editor.org)

Meta Etiketleri ve HTTP Başlıkları

Herkese açık sayfa örneği

Herkese açık bir makale için net bir başlık, yazar, kanonik web adresi, yayın tarihi ve değiştirilme tarihi kullanın.

html

max-snippet yönergesi öncelikli olarak Google için belgelenmiştir. Her yapay zeka tarayıcısının her meta yönergesini desteklediğini varsaymayın.

Özel veya hassas sayfa örneği

html

Bu, arama sonuçlarında görünmemesi gereken sayfalar için kullanılır. Sayfanın, tarayıcının yönergeyi görebilmesi için yeterince uzun süre taranabilir kalması gerekir. Eğer sayfanın gerçekten özel kalması gerekiyorsa, bunun yerine kimlik doğrulama veya parola koruması kullanın. (developers.google.com)

Yalnızca hassas bölümleri arama özetlerinden gizleyin

Google, bir HTML sayfasının belirli bölümleri için data-nosnippet'i destekler:

html

Bu paragraf bir arama sonucunda gösterilebilir.

Bu, iletişim bilgileri, dahili notlar veya kullanıcı tarafından oluşturulan bilgiler için kullanışlıdır. Her yapay zeka sistemi için evrensel bir talimat değildir. (developers.google.com)

Dosyalar için X-Robots-Tag başlığını kullanın

Meta etiketler taşınabilir belge dosyası, resim veya video dosyası içine yerleştirilemez. Bunun yerine bir HTTP yanıt başlığı kullanın:

text X-Robots-Tag: noindex, nosnippet

Arama yapılabilir kalması gereken ancak özetler veya yapay zeka yanıtları için metin sağlamaması gereken bir sayfa için şunu kullanın:

text X-Robots-Tag: nosnippet

Google, HTML olmayan kaynaklar için X-Robots-Tag'i belgeler ve Apple da bunu Applebot için destekler. (developers.google.com)

Apple'a özel kontroller

Apple şunları destekler:

html

Apple, nosnippet'in Apple modelleri çıktı üretirken sayfanın ek bağlam ve güncel içerik olarak kullanılmasını engellediğini belirtir. Sayfa yine de Apple Arama, Spotlight, Siri ve Safari aracılığıyla keşfedilebilir kalabilir. (support.apple.com)

Ücretli sayfalar için Apple ayrıca yapılandırılmış verileri de destekler:

{ "@context": "https://schema.org", "isAccessibleForFree": false }

Apple, bu tür sayfaların arama sonuçları için uygun kalabileceğini ancak yapay zeka yanıtları için ek bağlam olarak kullanılmayacağını belirtir. (support.apple.com)

Tarayıcı İnternet Protokol Adresleri Nasıl Doğrulanır

Kullanıcı aracısı eşleştirme neden yeterli değil

Şunun gibi bir kural zayıftır:

text if User-Agent contains "GPTBot": allow

Herkes bu metni gönderebilir. Daha iyi bir kural şudur:

text if User-Agent is a known crawler and source Internet Protocol address is in the provider's official range: allow or rate-limit else: challenge, rate-limit, or block

X-Forwarded-For başlığına, kuruluşunuzun kontrol ettiği bir proxy veya içerik dağıtım ağından gelmedikçe güvenmeyin.

Sağlayıcı doğrulama yöntemleri

Google, Apple, Common Crawl, OpenAI, Anthropic ve Perplexity'nin tümü sağlayıcıya özel yöntemler veya adres beslemeleri yayınlar. Bu listeler değişebilir, bu nedenle planlanmış bir güncelleme süreci, manuel olarak kopyalanan kalıcı bir listeden daha güvenlidir. (developers.google.com)

Basit bir güvenlik duvarı tasarımı şöyle görünebilir:

text allow OAI-SearchBot only when source address is in the current OpenAI search range allow GPTBot only when source address is in the current OpenAI training range allow PerplexityBot only when source address is in the current PerplexityBot range allow Applebot only when reverse and forward DNS verification succeeds allow CCBot only when reverse DNS and the current Common Crawl range match

rate-limit all verified crawlers block or challenge unverified requests claiming to be trusted crawlers

Genel bir izin kuralını tüm bir bulut sağlayıcısına uygulamayın. Meşru bir tarayıcı bulut altyapısını kullanabilir, ancak bu bulut sağlayıcısından gelen trafiğin çoğu mutlaka tarayıcı değildir.

Açık Lisanslamanın Kapsayıcılığı Nasıl Etkilediği

CC BY 4.0 sade bir dille

Genellikle CC BY 4.0 olarak adlandırılan Creative Commons Atıf 4.0 Uluslararası lisansı, insanlara şunları yapmalarına olanak tanır:

• Çalışmayı kopyalama ve yeniden dağıtma
• Uyarlama, çevirme, yeniden karıştırma ve üzerine inşa etme
• Ticari olarak kullanma

Ana koşullar şunlardır:

• Uygun atıfta bulunmak
• Lisansa bağlantı vermek
• Değişiklik yapılıp yapılmadığını belirtmek
• Orijinal yaratıcının yeniden kullanımı onayladığını düşündürmemek
• Lisansın izin verdiği kullanımları engelleyen yasal veya teknik kısıtlamalar eklememek

Creative Commons ayrıca lisansın gizlilik haklarını, tanıtım haklarını, manevi hakları, ticari marka haklarını, patent haklarını veya üçüncü taraf materyallerini kapsamayabileceği konusunda da uyarır. (creativecommons.org)

Bir lisans tek başına bir tarayıcı daveti değildir

Bir sayfaya “CC BY 4.0” koymak, bir kuruluşun onu tarayacağını garanti etmez. Bir tarayıcı yine de şunlar tarafından engellenebilir:

• robots.txt
• Bir içerik dağıtım ağı
• Bir Web Uygulama Güvenlik Duvarı
• Hız sınırlaması
• Bir JavaScript sorgulaması
• Bir oturum açma duvarı
• Kötü bir sunucu yanıtı
• Erişilemez bir site haritası

Tersine, bir tarayıcıya izin vermek, her sonraki kullanım için gereken her telif hakkı iznini otomatik olarak vermez. Robots.txt ve lisanslama birlikte tasarlanmalıdır.

CC BY neden daha geniş kapsayıcılığı destekleyebilir

Şeffaf bir izin veren lisans, bir yayıncının politikasını veri ekipleri, arama sistemleri ve asistan operatörleri için anlamayı kolaylaştırabilir. Bu tür faaliyetler telif hakkı izni gerektirdiğinde kopyalama, uyarlama, ticari kullanım, çeviri ve yeniden dağıtım konusundaki belirsizliği azaltabilir.

Ancak Creative Commons, yapay zeka eğitiminin hukuken karmaşık olduğunu açıklar. Kısıtlayıcı bir lisans, eğitimi engellemenin her zaman etkili bir yolu değildir, çünkü bazı eğitim kullanımlarına telif hakkı istisnaları veya sınırlamaları izin verebilir. Creative Commons ayrıca lisans koşullarının makine öğrenimi ve model çıktılarına uygulanmasının zor olabileceğini belirtir. (creativecommons.org)

Pratik ders şudur:

Geniş ve yasal yeniden kullanım istiyorsanız CC BY kullanın. Kısıtlayıcı bir Creative Commons lisansını, yapay zeka eğitiminden kesin bir çıkış yolu olarak kullanmayın.

Atıf kaynak netliğini artırır

Creative Commons TASL yöntemini önermektedir:

• Başlık
• Yazar
• Kaynak
• Lisans

Örneğin:

“Maksimum Kapsayıcılık İçin Lisanslama ve Robotlar,” Example Publishing, https://www.example.org/articles/ai-crawlers, Creative Commons Atıf 4.0 Uluslararası lisansı altında lisanslanmıştır. Yapılan değişiklikler: tarayıcı envanteri güncellendi.

Net atıf, her asistanı bir sayfayı alıntılamaya zorlamaz. Ancak bir sistem sayfanın başlığını, yazarını, kaynağını ve lisans bilgilerini çıkardığında doğru alıntıyı kolaylaştırır. (wiki.creativecommons.org)

Yapılandırılmış makale bilgisi ekleyin

Görünür bilgileri ve yapılandırılmış verileri birlikte kullanın:

html

Google, net yazar bilgileri, yazar sayfaları, yayın tarihleri, değiştirilme tarihleri ve kararlı kanonik sayfalar önermektedir. Bu sinyaller, arama sistemlerinin materyali kimin oluşturduğunu ve hangi sürümün yetkili olduğunu anlamalarına yardımcı olabilir. Bir sıralama, dahil edilme veya alıntı garantisi vermezler. (developers.google.com)

Açık, Alıntı Dostu Bir Site İçin Yasal Standart İfadeler

Aşağıdaki örnek dil, hukuki tavsiye değildir. Avukatınızın bunu kendi yargı alanınıza, sahiplik yapınıza, gizlilik yükümlülüklerinize ve üçüncü taraf içeriğinize uyarlamasını sağlayın.

CC BY 4.0 lisanslama bildirimi

text

İçerik lisansı

Aksi belirtilmedikçe, bu sayfadaki orijinal metin ve orijinal editoryal materyaller Creative Commons Atıf 4.0 Uluslararası lisansı altında lisanslanmıştır:

https://creativecommons.org/licenses/by/4.0/

Bu izin, lisans koşullarına uyulması şartıyla kopyalamaya, yeniden dağıtmaya, uyarlamaya, çevirmeye, ticari kullanıma, makine tarafından okunabilir işlemeye, arama dizinlemeye, almaya, özetlemeye ve yapay zeka sistemlerinde kullanmaya olanak tanır.

Tercih edilen atıf:

“[Sayfa başlığı],” [yazar veya kuruluş] tarafından, [kanonik sayfa adresi], [tarih] tarihinde yayınlandı veya güncellendi, Creative Commons Atıf 4.0 Uluslararası lisansı altında. Yapılan değişiklikler: [değişiklikleri açıklayın veya ‘yok’ belirtin].

Makul olduğu her yerde yazar, yayıncı, kaynak, lisans ve değişiklik bilgilerini lütfen koruyun. Bu tercih edilen atıf kılavuzu, Creative Commons lisansına kısıtlamalar eklemez ve lisans metninin yerini almaz.

“yapay zeka sistemleri dahil” ifadesi, yayıncının niyetini netleştirir. Bu, yayıncının başkası tarafından oluşturulan materyaller üzerindeki haklara sahip olduğunu iddia etmek için kullanılmamalıdır.

Marka, gizlilik ve üçüncü taraf hakları bildirimi

text

Marka, gizlilik ve üçüncü taraf hakları

Yukarıdaki lisans, yalnızca lisanslı olarak tanımlanan orijinal materyalleri kapsar. Aşağıdakileri kullanma izni vermez:

• Ticari markalar, hizmet markaları, logolar veya ticari takdim şekilleri
• Kişilerin adları, resimleri veya benzerleri
• Özel, gizli, hesap, sağlık, finansal veya güvenlik bilgileri
• Ayrı olarak lisanslı olarak tanımlanmadıkça kullanıcı gönderimleri
• Fotoğraflar, illüstrasyonlar, haritalar, videolar, müzikler, alıntılar veya diğer üçüncü taraf materyalleri
• “Tüm hakları saklıdır” olarak tanımlanan veya ayrı bir lisansa tabi olan içerik

Example Publishing adının, logolarının ve markalarının kullanılması sponsorluk, onay, ortaklık veya tasdik düşündürmemelidir. Lütfen orijinal sayfaya bağlantı verin ve alıntı, parafraze, özet ve oluşturulmuş materyali açıkça ayırt edin.

Bu dil önemlidir çünkü Creative Commons lisansları bir sayfaya bağlı her türlü yasal hakkı otomatik olarak vermez. (creativecommons.org)

Arama ve asistan alıntı rehberliği

text

Arama ve asistan alıntı rehberliği

Bu sitedeki lisanslı materyalin uyumlu arama dizinlemesine, kullanıcı tarafından istenen alımına, alıntısına ve özetlenmesine hoş geldiniz.

Bu siteden alıntı yaparken lütfen sayfa başlığını, yazarını veya yayıncısını, kanonik sayfa adresini, yayın veya güncelleme tarihini ve kaynağa doğrudan bir bağlantı kullanın. Lütfen kaynağı kullanılan tüm kaynaklar arasında bir girdi olarak tanımlayın, oluşturulmuş analizi alıntı metinden ayırt edin ve Example Publishing'in oluşturulmuş bir yanıtı, ürünü, kişiyi veya hizmeti onayladığını belirtmeyin veya ima etmeyin.

Bu rehberlik, doğruluğu ve atfı artırmayı amaçlamaktadır. Uygulanabilir içerik lisansının ötesinde haklar vermez ve ticari markaları, kişisel bilgileri, gizli bilgileri veya üçüncü taraf materyallerini lisanslamaz.

Arama görünürlüğü istiyor ancak geniş bir eğitim lisansı vermek istemiyorsanız

text

Arama erişimi ve telif hakkı

Herkese açık sayfalarımız, robots.txt dosyamızda tanımlanan uyumlu arama ve alma tarayıcıları tarafından erişilebilir. Bu izin, keşfedilebilirliği, arama sonuçlarını, kullanıcı tarafından istenen alımı ve alıntıyı desteklemeyi amaçlamaktadır.

Ayrı bir lisans gösterilmedikçe, orijinal içerik tüm hakları saklı kalır. Herkese açık bir sayfaya erişim, model geliştirme, eğitim, yeniden dağıtım, ticari yeniden kullanım veya uygulanabilir yasa tarafından sağlanan hakların ötesinde türev eserler oluşturma için ayrı bir lisans vermez.

Bu materyale atıfta bulunurken lütfen kanonik sayfa adresini ve yayıncıyı belirtin. Bu sitedeki hiçbir şey ticari markaları, logoları, kişisel bilgileri, gizli bilgileri veya üçüncü taraf içeriğini kullanma izni vermez.

CC BY bildirimini ve tüm hakları saklıdır bildirimini aynı materyal üzerinde konumlandırmayın. Hangi lisansın hangi içeriğe uygulandığını açıkça belirtin.

Açık Lisanslama İçin Risk-Fayda Matrisi

Telif hakkı yasaları ve yapay zeka eğitim kuralları ülkeye göre farklılık gösterir ve henüz netleşmemiştir. Amerika Birleşik Devletleri Telif Hakkı Ofisi bu konuları incelemeye devam ederken, Creative Commons yapay zeka eğitimini olaya özgü ve hukuken karmaşık olarak tanımlamaktadır. (copyright.gov)

Birçok kuruluş için en dengeli strateji şudur:

• Orijinal herkese açık editoryal metinler için CC BY 4.0
• Üçüncü taraf materyaller için ayrı etiketler
• Herkese açık kişisel veya gizli bilgi yok
• Arama ve alma tarayıcılarına izin verin
• Model geliştirme tarayıcılarına yalnızca kuruluş bu kullanımı gerçekten kabul ediyorsa izin verin
• Net atıf ve kanonik bağlantılar kullanın
• Ticari markaları ayrı bir marka bildirimi aracılığıyla koruyun

Pratik Bir Uygulama Kontrol Listesi

İçerik ve lisanslama

• Her sayfanın, resmin, grafiğin, videonun ve alıntının kime ait olduğunu belirleyin.
• Yalnızca kuruluşunuzun haklarını kontrol ettiği materyali lisanslayın.
• Üçüncü taraf materyalleri ayrı ayrı işaretleyin.
• Görünür bir lisans bildirimi ekleyin.
• Başlık, yazar, kaynak ve lisansı kullanarak tercih edilen bir alıntı sağlayın.
• Logoları, ticari markaları, kişisel verileri ve gizli bilgileri lisans kapsamı dışında tutun.

Robots.txt

• Her ana bilgisayarın kökünde genel bir robots.txt dosyası oluşturun.
• Arama tarayıcılarına eğitim tarayıcılarından ayrı olarak izin verin.
• Yönetim, hesap, ödeme, özel ve dahili uygulama yollarını engelleyin.
• Güvenlik için robots.txt'ye güvenmeyin.
• Her büyük web sitesi dağıtımından sonra dosyayı test edin.

Meta etiketler

• Kanonik bağlantılar kullanın.
• Yazar, yayın tarihi ve değiştirilme tarihi ekleyin.
• Aramada görünmemesi gereken sayfalar için noindex kullanın.
• Desteklendiği yerlerde hassas alıntılar için nosnippet veya data-nosnippet kullanın.
• Taşınabilir belge dosyaları, resimler ve diğer HTML olmayan kaynaklar için X-Robots-Tag kullanın.
• Bir tarayıcının meta etiketlerini okuyabilmesi için sayfayı getirebilmesi gerektiğini unutmayın.

Ağ güvenliği

• Kullanıcı aracısı dizelerini, kaynak adresleri, yanıt kodlarını ve istek yollarını günlüğe kaydedin.
• Resmi adres beslemeleri veya Alan Adı Sistemi (DNS) yöntemleri kullanarak güvenilir tarayıcıları doğrulayın.
• Adres beslemelerini otomatik olarak yenileyin.
• Kullanıcı aracısı ve kaynak adresi kontrollerini birleştirin.
• Doğrulanmış tarayıcılara sınırsız erişim vermek yerine hız sınırlaması uygulayın.
• Güvenilir tarayıcılar olduğunu iddia eden ancak doğrulamayı geçemeyen istekleri sorgulayın veya engelleyin.

Ölçüm

Şunları izleyin:

• Yapay zeka arama hizmetlerinden gelen ziyaretler
• Orijinal sayfaya yapılan yönlendirmeler
• Alıntı sıklığı
• Tarayıcıya göre sunucu yükü
• 403, 404 veya 429 döndüren istekler
• Tarayıcının istenmeyen yollara erişimi
• Mevcut makalelerin yayınlandıktan sonra bulunup bulunmadığı

Sonuç

Maksimum kapsayıcılık, tek bir genel izin değil, seçici açıklık gerektirir.

Arama, kullanıcı alma, eğitim ve genel veri kümesi taramasını ayırmak için robots.txt kullanın. Dizinleme ve özetleri yönetmek için meta etiketleri ve HTTP başlıklarını kullanın. Herhangi bir özel şey için kimlik doğrulama kullanın. Yalnızca kullanıcı aracısı adlarına güvenmek yerine tarayıcı İnternet Protokol adreslerini doğrulayın.

CC BY 4.0 gibi izin veren bir lisans, gerçekten istediğinizde geniş yeniden kullanımı kolaylaştırabilir. Net atıf bilgileri – başlık, yazar, kaynak, lisans, kanonik sayfa ve güncelleme tarihi – ayrıca arama sistemlerinin ve asistanların doğru kaynağı tanımlamasını ve alıntılamasını kolaylaştırabilir.

Bu nedenle en güçlü yayıncılık politikası şudur:

**Keşfedilmesini istediğiniz herkese açık içeriği açın, yeniden kullanılmasını istediğiniz materyali açıkça lisanslayın, size ait olmayan materyali işaretleyin, özel bilgileri sunucu düzeyinde koruyun ve her tarayıcıya ayrı, incelenebilir bir izin verin.