Google, OpenAI, Microsoft ve Anthropic robots.txt'de Aynı Kuralı Okuyacak

Google, ChatGPT'nin geliştiricisi OpenAI, Microsoft ve Claude'un geliştiricisi Anthropic bu kararı 30 Ekim'de duyurdu. Kural bugünden dosyaya eklenebiliyor. Ancak şirketler onu aynı tarihte uygulamaya başlamayacak. Anthropic kuralı şimdiden uyguluyor, Google ise 2027 başını hedefliyor.

Ortak kural yalnızca eğitim için yazılıyor. Ancak Google'da bu ret, Gemini'nin yanıtlarını da etkileyebiliyor. Microsoft'ta ise yapay zekâ asistanı Copilot'un yanıtları için ayrı bir tercih gerekiyor.

Yapay Zekâ Şirketleri Sitelerin İçeriğini Nasıl Topluyor?

Bir yapay zekâ modeli, çok büyük miktarda metin ve görselden öğrenerek oluşuyor. Bu sürece eğitim deniyor. Şirketler bu içeriğin önemli bir kısmını, siteleri sayfa sayfa gezen ve kısaca bot denen tarama programlarıyla topluyor.

Botlara verilen talimatlar, her sitede alanadiniz.com/robots.txt adresinde duran basit bir yazı dosyasında yer alıyor. Dosya bölümlerden oluşuyor ve her bölüm User-Agent: diye başlayan bir satırla açılıyor. Yani bu satır, bölümün hangi bot için yazıldığını gösteriyor.

Bölümün geri kalan satırları, o botun hangi sayfalara girebileceğini belirliyor. Örneğin Disallow: /admin/ satırı, botun /admin/ klasörüne girmemesini istiyor. Yıldız işaretiyle açılan User-Agent: * bölümü ise kendisi için ayrı bölüm yazılmamış bütün botlara uygulanıyor.

Yapay Zekâ Eğitimi Bugüne Kadar Nasıl Reddediliyordu?

OpenAI ve Anthropic'e eğitim reddi bildirmek için, robots.txt'ye şirketin kendi botuna ayrılmış bir bölüm eklemek gerekiyordu. OpenAI'ın botunun adı GPTBot, Anthropic'inki ise ClaudeBot. Örneğin User-Agent: GPTBot satırıyla açılan bölüm yalnızca OpenAI'ı ilgilendiriyor.

Google ise yapay zekâ için ayrı bir bot çalıştırmıyor; içeriği arama botlarıyla topluyor. Bu yüzden robots.txt'ye User-Agent: Google-Extended diye açılan bir bölüm yazılıyor. Yani Google-Extended bir bot değil, yalnızca bu iş için ayrılmış bir ad. Site sahibi bu bölümle, içeriğinin Gemini gibi yapay zekâ ürünlerinde kullanılıp kullanılamayacağını belirtiyor.

Microsoft'un yöntemi robots.txt'ye değil, sayfaların kodundaki etiketlere dayanıyor. Etiket, sayfanın ziyaretçiye görünmeyen kod kısmına yazılan ve arama motoruna talimat veren kısa bir not; aynı talimat sunucu ayarlarıyla da verilebiliyor. NoArchive ve NoCache aslında şirketin arama motoru Bing'e "bu sayfanın kopyasını saklama" diyen etiketler. Ancak şirket 2023'ten beri bu etiketleri yapay zekâ kullanımını sınırlama isteği olarak da okuyor.

Dolayısıyla dört şirketin hepsine ret bildirmek için dört ayrı ayar gerekiyordu: OpenAI, Anthropic ve Google için robots.txt'de üç ayrı bölüm, Microsoft için de sayfalarda etiket.

Eğitim Reddi robots.txt'ye Nasıl Yazılıyor?

Ortak kuralda bölümün ilk satırına bir botun adı değil, __usage_ai-training yazılıyor. Bu ad hiçbir şirkete ait değil; bu yüzden kuralı tanıyan bütün şirketler bu bölümü okuyacak. Örneğin aşağıdaki iki satır, sitedeki bütün içeriğin yapay zekâ eğitiminde kullanılmasını reddediyor:

User-Agent: __usage_ai-training
Disallow: /

İkinci satırdaki / işareti sitenin tamamı anlamına geliyor. Bir klasörü eğitime açık bırakmak için altına Allow: /blog/ gibi bir izin satırı eklenebiliyor.

Ancak bu bölümde Disallow farklı bir anlam taşıyor. Botların sayfalara girmesini yasaklamıyor; yalnızca okudukları içeriği eğitimde kullanmamalarını istiyor. Bu yüzden ortak kural, sitenin Google ya da Bing arama sonuçlarındaki yerini etkilemiyor.

Kuralın yazılışı, internet standartlarını belirleyen kuruluş IETF'ye sunulan bir taslak belgeye dayanıyor. Taslak henüz kesinleşmedi; Anthropic de kuralı okuma biçiminin değişebileceğini belirtiyor. Dolayısıyla ileride robots.txt'deki satırları güncellemek gerekebilir.

Taslağa göre ret, ChatGPT gibi metin ya da görsel üreten modellerin eğitimini kapsıyor. Buna karşılık istenmeyen e-postayı ayıklayan ya da arama sonuçlarını sıralayan modellerin eğitimi bu reddin dışında kalıyor. Ayrıca User-Agent: * bölümüne yazılan bir yasak, eğitim reddi sayılmıyor.

Ortak kural, şirketlerin kendi bot adlarını da kaldırmıyor. Anthropic'e göre robots.txt'de ClaudeBot için yazılmış bir bölüm varsa, Anthropic ortak kural farklı bir şey söylese bile o bölümü uyguluyor. OpenAI da GPTBot için yazılmış bölümlerin geçerli kalacağını söylüyor.

Hangi Şirket Eğitim Reddini Ne Zaman Uygulamaya Başlayacak?

Bir şirket kendi başlangıç tarihine kadar ortak kuralı okumuyor. Bu yüzden o tarihe kadar reddi, şirketin tablodaki kendi yöntemiyle bildirmek gerekiyor.

Google'da Eğitim Reddi Neyi Etkiliyor, Neyi Etkilemiyor?

Bir site eğitimi ortak kuralla reddeder ve Google-Extended için ayrı bölüm yazmazsa, Google bunu Google-Extended'ı engellemek gibi değerlendirecek. Yani içeriği gelecekteki Gemini modellerinin eğitiminde kullanmayacak. Site Google-Extended için ayrıca bölüm yazdıysa, Google o bölümü uygulayacak. İki bölüm de yoksa Google-Extended engelli sayılmıyor.

Google-Extended, Gemini'nin Sayfaları Kaynak Göstermesini de Kapsıyor

Yapay zekâ asistanları bir soruyu yanıtlarken internetteki sayfalardan güncel bilgi alabiliyor ve bu sayfaları kaynak olarak gösterebiliyor. Bu kullanıma grounding deniyor. Google-Extended, eğitimin yanında Gemini uygulamasındaki ve Google'ın şirketlere sunduğu yapay zekâ platformu Vertex AI'daki grounding'i de kapsıyor.

Bu yüzden Google-Extended'ı doğrudan ya da ortak kuralla engelleyen site, Gemini yanıtlarında görünmeyebilir. Google'a göre ortak kuralı kullanıp Google-Extended'a ayrıca izin veren siteler ise Gemini yanıtlarına uygun kalıyor. Ancak Google-Extended'a izin vermek, Google'a eğitim için de izin vermek demek. Yani Google'a eğitimi reddedip Gemini yanıtlarında kaynak olarak görünmeyi aynı anda seçmek mümkün değil.

Google Arama'daki Yapay Zekâ Özetleri Ayrı Bir Ayara Bağlı

Bazı Google aramalarında sonuçların üstünde bir yapay zekâ özeti çıkıyor; Google buna AI Overviews diyor. AI Mode ise yapay zekâyla sohbet ederek arama yapılan bölüm. Bu iki özellik ne ortak kurala ne de Google-Extended'a bağlı.

Bunlar için, Google'ın site sahiplerine sunduğu ücretsiz yönetim aracı Search Console'da Search generative AI adlı bir ayar var. Site sahibi bu ayarla içeriğini bu özelliklere dahil etmeyi ya da hariç tutmayı seçiyor. Varsayılan seçenek dahil etme; yani hiç seçim yapılmadıysa site dahil sayılıyor. Ayar, Google'ın kişiye göre içerik önerdiği Discover akışını da kapsıyor.

Google ayarı 31 Ağustos 2026'da bütün sitelere açtı. Ancak dahil etmek, sitenin bu özelliklerde mutlaka gösterileceği anlamına gelmiyor. Ayrıca Google'a göre bu ayar ile eğitim reddi birbirinden bağımsız. Eğitimi reddetmek sitenizi AI Overviews'dan çıkarmıyor; AI Overviews'dan çıkmak da içeriğinizi eğitimden çıkarmıyor.

Microsoft, NoArchive ve NoCache Yerine Yeni Etiketler Getiriyor

Microsoft, duyurusuna göre ortak kuralla birlikte iki yeni etiketi de okumaya başlayacak. Ancak bir sayfadaki tercihi, o sayfayı yeniden taradığında görecek.

Eğitim etiketi, sayfa kodunun head denen üst kısmına ekleniyor: <meta name="Bingbot" content="ai-training:disallow">. Bingbot, Bing'in botu. Bu etiketle tek bir sayfa için robots.txt'den farklı bir tercih verilebiliyor; ikisi çeliştiğinde Microsoft sayfadaki etiketi uyguluyor.

Grounding etiketi, Google bölümünde anlatılan kullanımı Microsoft'un ürünlerinde belirliyor; örneğin Copilot soruları yanıtlarken sayfalardaki bilgiyi bu yolla kullanıyor. Grounding'i kapatan etiket <meta name="Bingbot" content="ai-grounding:disallow"> biçiminde. Bu tercih robots.txt'ye yazılamıyor, bu yüzden her sayfaya ayrı ayrı ekleniyor. En serbestten en kısıtlıya üç seçeneği var:

• Allow: İçerik yanıtlarda kullanılabiliyor. Sayfada etiket yoksa bu seçenek geçerli.
• DisallowExtended: İçerik yalnızca Copilot, Microsoft 365 ve Bing'in yapay zekâ özellikleri gibi Microsoft'un kendi ürünlerinde kullanılıyor. Microsoft'un başka şirketlerin yapay zekâ ürünlerine sunduğu grounding hizmetleri, örneğin Web IQ, bu içeriği kullanmıyor. Etikette disallow yerine disallowextended yazılıyor.
• Disallow: Microsoft içeriği ne kendi ürünlerinde ne de başka şirketlere sunduğu hizmetlerde yanıtlar için kullanıyor.

Öte yandan Microsoft, Disallow ve DisallowExtended seçeneklerinin sitenin yapay zekâ yanıtlarındaki görünürlüğünü azaltacağı konusunda uyarıyor.

NoArchive ve NoCache Kullanan Siteler İçin Geçiş Takvimi

Microsoft bir sitede ortak kuralı ya da yeni etiketlerden birini bulursa, o sitedeki NoArchive ve NoCache etiketlerini artık eğitim ya da grounding tercihi olarak okumayacak. 1 Mart 2027'den sonra ise eski etiketler hiçbir sitede bu amaçla dikkate alınmayacak.

Bu yüzden eski etiketlerle hem eğitimi hem grounding'i kısıtlayan bir site yalnızca ortak kuralı eklerse, eğitim reddi geçerli olur; ama ai-grounding etiketi eklenmedikçe içeriği yanıtlarda kullanılabilir.

Bu siteler için bir geçiş yolu da var. Microsoft'un site sahiplerine sunduğu yönetim aracı Bing Webmaster Tools'ta, 15 Aralık 2026'da grounding tercihi için geçici kayıt açılacak. Kaydı yalnızca o tarihte sayfalarında NoArchive ya da NoCache bulunan siteler yapabilecek.

Kaydın nedeni, Microsoft'un sayfaları 1 Şubat ile 1 Mart 2027 arasında yeniden taramayabilecek olması. Geçici kayıt, sayfa taranıp yeni etiket bulunana dek, en geç 30 Eylül 2027'ye kadar geçerli. 1 Mart 2027'ye kadar kayıt yapılmazsa, bu sayfalar yeniden taranana kadar grounding'e açık sayılacak.

Buna karşılık eğitim için geçici kayıt yok. Bu yüzden Microsoft'ta eğitim reddinin sürmesi için ortak kuralın ya da yeni eğitim etiketinin 1 Mart 2027'den önce eklenmesi gerekiyor.

Eğitim Reddi Bir İstek; Ödeme ya da Garanti Getirmiyor

Ortak kurala uymayı şirketler kendileri kabul ediyor; kural bir sözleşme değil. Kuralı tanımayan şirketlerin botları onu dikkate almayabilir. Ayrıca IETF taslağına göre bir site sahibinin bir şirketle yaptığı özel bir lisans anlaşması, bu kuralın yerine geçebiliyor.

Microsoft da yeni tercihlerin, site sahibine içeriği için ödeme yapılmasını sağlayan bir lisans düzeni kurmadığını belirtiyor. Üstelik şirkete göre hiçbir seçim, yapay zekâ yanıtlarında yer almayı ya da siteye ziyaretçi getirmeyi garanti etmiyor.

Site Sahipleri robots.txt ve Yapay Zekâ Ayarlarında Neyi Kontrol Etmeli?

Önce iki ayrı karar vermeniz gerekiyor: içeriğiniz yapay zekâ eğitiminde kullanılsın mı ve yapay zekâ yanıtlarında kaynak olarak görünsün mü? Kontrollerin bir kısmı site dosyalarını düzenlemeyi gerektirdiği için gerekirse sitenizi yöneten kişiden yardım alın.

robots.txt ve Google İçin Kontrol Edilecekler

OpenAI, Anthropic ve Google'a verdiğiniz kararlar robots.txt dosyasında duruyor. Dosyada yaptığınız her değişiklikten sonra adresi yeniden açıp yeni satırların göründüğünü kontrol edin.

• Bugünkü robots.txt dosyası: Chrome ya da Safari'de alanadiniz.com/robots.txt adresine girin; sayfa açılmıyorsa sitenizde büyük olasılıkla bu dosya yok. Açılıyorsa GPTBot, ClaudeBot ya da Google-Extended için yazılmış bölüm olup olmadığına bakın. Bu bölümlerden biri bir şirkete izin veriyorsa ve eğitimi o şirkete de reddetmek istiyorsanız, bölümü düzeltin.
• Ortak kural: Eğitimi dört şirketin hepsine reddetmek istiyorsanız, yukarıdaki iki satırı robots.txt'ye ayrı bir bölüm olarak ekleyin. Başlangıç tarihi henüz gelmemiş şirketler için tablodaki kendi yöntemlerini de kullanın; örneğin OpenAI için User-Agent: GPTBot satırının altına Disallow: / yazın.
• Gemini: Google için eğitim reddinden vazgeçip Gemini yanıtlarında görünmek istiyorsanız, User-Agent: Google-Extended satırının altına Allow: / yazdığınız ayrı bir bölüm ekleyin.
• Search Console: Ayarlar > Search generative AI bölümünü açın. İçeriğinizin AI Overviews ve AI Mode'da kullanılmasını istiyorsanız dahil etme seçili olmalı; istemiyorsanız hariç tutmayı seçin.

Microsoft İçin Kontrol Edilecekler

Microsoft için kontroller sayfaların kaynak kodunda ve Bing Webmaster Tools'ta yapılıyor. Önce eski etiketlerin sitenizde olup olmadığını bulun; ne yapmanız gerektiği buna bağlı.

• NoArchive ve NoCache: Ana sayfa, bir ürün ya da hizmet sayfası ve bir blog yazısı gibi birkaç sayfanızı Chrome'da açın. Her birinde sağ tıklayıp Sayfa kaynağını görüntüle'yi seçin ve Ctrl+F (Mac'te Cmd+F) ile bu iki kelimeyi arayın. Etiketler sunucu ayarlarında da olabilir; bunu sitenizi yöneten kişiye ayrıca sorun. Bulursanız bir sonraki maddeye geçin; bulamazsanız Microsoft'a göre geçiş için bir şey yapmanız gerekmiyor.
• Eski etiketler varsa: Grounding kısıtlamasını sürdürmek için 1 Mart 2027'den önce ilgili sayfalara ai-grounding:disallow ya da ai-grounding:disallowextended etiketini ekleyin ve Bing Webmaster Tools'ta geçici kaydı yapın. Eğitim reddi için ortak kuralı ya da ai-training:disallow etiketini de aynı tarihten önce ekleyin. Eski etiketleri 15 Aralık 2026'dan önce kaldırmayın; aksi hâlde geçici kayıt hakkını kaybedersiniz.