llms.txt Nedir? Yapay Zekâ Tarayıcıları ve robots.txt

llms.txt nedir?

llms.txt, sitenizin kökünde (alanadiniz.com/llms.txt) duran ve Markdown biçiminde yazılan bir dosyadır. Fikir, 2024'te Jeremy Howard tarafından önerildi: büyük dil modellerine sitenin kısa bir tanımını ve önemli sayfalarının bağlantılarını temiz bir biçimde sunmak. Dosyada genellikle bir başlık, kısa bir özet ve bölümlere ayrılmış bağlantı listesi bulunur.

Burada vurgulanması gereken nokta, bunun W3C ya da IETF gibi bir kuruluşun onayladığı bir standart olmadığıdır. Herhangi bir arama motoru veya yapay zekâ şirketinin dosyayı genel olarak okuyup kullanacağına dair resmi bir taahhüt yok. Google'dan John Mueller, güncel durumda hiçbir yapay zekâ sisteminin llms.txt kullanmadığını kamuya açık biçimde söyledi; Google yetkilileri de Arama'nın bu dosyayı desteklemediğini belirtti. Bu açıklamalar zamanla değişebilir, ama bugün için dayanak bu.

llms.txt'nin faydası kanıtlı mı?

Kısa cevap: genel olarak kanıtlanmış bir sıralama ya da alıntılanma faydası yok. Bazı geliştirici araçları ve kodlama asistanları bu dosyayı belge sitelerinde okuyabiliyor; yani teknik dokümantasyon gibi kullanım senaryolarında pratik değeri olabilir. Ancak bunu genel web siteleri için ‘yapay zekâda görünürlüğü artırır’ diye genellemek doğru değil.

Yine de dosyayı oluşturmak çok ucuz: yarım saatlik iş. Bu yüzden benim tutumum, beklentiyi düşük tutarak eklemek ve asıl çabayı içeriğe harcamak yönünde. llms.txt'yi ihmal edilen bir ‘altın anahtar’ gibi değil, düşük maliyetli bir deney olarak görün.

• Standart değil, topluluk önerisidir.
• Büyük arama motorlarının kullandığına dair resmi onay yok.
• Dokümantasyon sitelerinde ve geliştirici araçlarında daha anlamlı olabilir.
• robots.txt'nin yerini tutmaz; erişimi kısıtlamaz.

Basit bir llms.txt nasıl yazılır?

Önerilen biçim sade: ilk satırda site adı bir H1 olarak, ardından bir alıntı bloğunda tek cümlelik tanım, sonra H2 başlıklarıyla ayrılmış bağlantı listeleri. Her bağlantının yanına kısa bir açıklama yazın. Dosyayı sadece gerçekten önemli 10-20 sayfayla sınırlandırın; tüm site haritasını yapıştırmanın anlamı yok.

Dosyadaki bilgiler sitedeki görünür içerikle birebir uyumlu olmalı. Ayrıca llms.txt'yi sitenizin ana sayfa meta açıklaması gibi ele alın: kısa, doğru, güncel. Sayfa adresleri değiştiğinde dosyayı da güncellemeyi unutmayın.

Yapay zekâ tarayıcıları: kim ne için geliyor?

Yapay zekâ şirketlerinin birden çok bot kullandığını bilmek önemli, çünkü her birinin amacı farklı. Aşağıdaki liste, şirketlerin kendi belgelerinde tanımladığı genel ayrıma dayanıyor; ayrıntı ve yeni botlar için resmi sayfaları kontrol edin.

• GPTBot (OpenAI): modellerin eğitimi için içerik toplama amaçlı tarayıcı.
• OAI-SearchBot (OpenAI): ChatGPT'nin arama özelliğinde sonuç göstermek için kullanılır.
• ChatGPT-User (OpenAI): kullanıcı veya özel bir GPT bir istekte bulunduğunda sayfayı ziyaret eden bot; kullanıcı kaynaklı olduğu için robots.txt kurallarının bu botta aynı şekilde uygulanmayabileceği belirtiliyor, güncel belgeyi kontrol edin.
• ClaudeBot (Anthropic): model eğitimi için içerik toplayan tarayıcı. Anthropic ayrıca Claude-SearchBot (arama dizinleme) ve Claude-User (kullanıcı isteğiyle sayfa getirme) botlarını tanımlıyor; hepsi ayrı User-agent adıyla yönetilebiliyor.
• PerplexityBot (Perplexity): Perplexity'nin arama dizini için kullanılan tarayıcı; Perplexity bunu model eğitimi için kullanmadığını belirtiyor. Kullanıcı isteğiyle çalışan Perplexity-User ise ayrı bir kullanıcı ajanıdır ve robots.txt'ye farklı davranabilir.
• Google-Extended (Google): ayrı bir tarayıcı değil, robots.txt'de kullanılan bir denetim jetonu; Gemini ile ilgili eğitim ve dayanak kullanımını yönetir, Google Arama'yı etkilemez.
• Applebot-Extended (Apple) ve CCBot (Common Crawl) de sık anılan diğer örneklerdir.

robots.txt ile izin ve engelleme nasıl yazılır?

robots.txt, tarayıcılara hangi yolları ziyaret edebileceklerini söyleyen kural dosyasıdır. Kuralları tarayıcı sahibi uygular; uyum gönüllüdür. İyi niyetli büyük botlar genellikle uyar, ancak dosya teknik olarak bir erişim engeli değildir. Gerçekten korunması gereken içerik için sunucu tarafı kimlik doğrulama gerekir.

Örnek olarak yalnızca eğitim amaçlı botları engelleyip arama botlarına izin vermek mümkün: GPTBot ve ClaudeBot için ayrı User-agent satırlarına Disallow: / yazılır, OAI-SearchBot ve PerplexityBot için ise Allow bırakılır. Kural yazımında yanlış bir satır tüm botları engelleyebilir; değişiklikten sonra dosyayı mutlaka test edin.

İzin mi engelleme mi? Karar çerçevesi

Doğru karar sitenin amacına bağlı. Görünürlük ve marka bilinirliği istiyorsanız, özellikle arama ve kullanıcı kaynaklı botlara izin vermek mantıklı: bu botları engellerseniz ilgili yapay zekâ ürünlerinin yanıtlarında yer alma ihtimaliniz azalır. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız, eğitim amaçlı botları ayrıca engelleyebilirsiniz.

Üyelik, ücretli içerik veya telif hassasiyeti olan yayıncılar daha katı davranabilir. Her iki durumda da kararın sonuçlarını sınırlı biçimde ölçebildiğinizi unutmayın; bu yüzden değişiklikleri not alın ve birkaç ay sonra tekrar değerlendirin.

• Amaç görünürlükse: arama ve kullanıcı botlarına izin verin.
• Amaç eğitim kullanımını sınırlamaksa: GPTBot, ClaudeBot, Google-Extended gibi jetonları engelleyin.
• Ücretli içerik varsa: robots.txt'ye ek olarak erişim denetimi uygulayın.
• Karar sonrası: sunucu günlüklerinde bot trafiğini izleyin.

Uygulama kontrol listesi ve yaygın hatalar

Önce sunucu günlüklerinden hangi botların siteye geldiğini görün. Ardından robots.txt'yi yazın, aynı kuralları staging ortamında test edin ve canlıya alın. Son olarak resmi bot belgelerini dönemsel kontrol edin; bot adları ve davranışları değişebilir.

En sık hatalar: tüm User-agent'lara yanlışlıkla Disallow: / yazmak, Google-Extended'ı engelleyip Arama'dan çıkacağını sanmak, robots.txt'yi güvenlik önlemi saymak ve llms.txt'yi yapay zekâ görünürlüğünün çözümü olarak sunmak.

Örnek llms.txt iskeleti

Önerilen biçimde dosya Markdown'dır. Aşağıdaki iskeleti metin olarak tarif ediyorum; kendi sitenize göre doldurun. Burada amaç, bir insanın da okuyabileceği kısa bir site haritası çıkarmaktır; dosyadan sihirli bir etki beklemeyin.

Dosyayı yazdıktan sonra tarayıcıda alanadiniz.com/llms.txt adresini açıp düz metin olarak göründüğünü, Türkçe karakterlerin bozulmadığını ve bağlantıların açıldığını kontrol edin. Dosyanın içeriği ana sayfa metniyle çelişmemeli.

• 1. satır: # Site veya Marka Adı (tek H1).
• 2. satır: > Sitenin ne olduğunu ve kime hizmet verdiğini anlatan tek cümlelik özet (alıntı bloğu).
• Kısa bir açıklama paragrafı: hizmet alanı, bölge, uzmanlık; abartı ve reklam dili olmadan.
• ## Rehberler başlığı altında: [Yazı Başlığı](adres): bir cümlelik açıklama biçiminde 5-10 satır.
• ## Hizmetler başlığı altında: ana hizmet sayfalarının bağlantıları ve kısa açıklamaları.
• ## İletişim başlığı altında: resmi iletişim sayfası bağlantısı.

Örnek robots.txt senaryoları

Aşağıdaki senaryolar sık görülen tercihleri özetler. Her senaryoda satırlar, User-agent adının ardından Allow veya Disallow kuralı şeklinde yazılır; bot adlarını şirketlerin güncel belgelerinden kopyalayın, çünkü adlar ve davranışlar değişebiliyor.

Her senaryoyu uygulamadan önce mevcut robots.txt'nizi yedekleyin. Bir kuralın başka bir kuralla çakışması durumunda botların çoğu en spesifik eşleşmeyi uygular; yine de beklenmedik sonuçlar için testi canlıda tekrarlayın.

• Senaryo A, görünürlük odaklı: GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, Claude-SearchBot için özel bir kural yazmayın; varsayılan olarak izinlidir.
• Senaryo B, eğitimi sınırla ama arama görünürlüğünü koru: GPTBot, ClaudeBot ve Google-Extended için Disallow: / yazın; OAI-SearchBot, Claude-SearchBot ve PerplexityBot'a dokunmayın.
• Senaryo C, tamamen kapalı: tüm bilinen yapay zekâ botları için Disallow: / yazın; bunun ilgili ürünlerde görünmeme anlamına geldiğini kabul edin.
• Senaryo D, bölüm bazlı: yalnızca üyelik veya taslak dizinlerini Disallow ile kapatın, genel içeriği açık bırakın.

Karar sonrası doğrulama: günlüklerden bot trafiği

robots.txt'yi değiştirmek yarım iştir; etkisini görmek için sunucu veya CDN günlüklerinden User-agent bazında istekleri izleyin. Hangi botun ne sıklıkla geldiğini, robots.txt dosyasını okuyup okumadığını ve engellediğiniz yollara yine de istek atıp atmadığını görebilirsiniz.

Bir User-agent metni kolayca taklit edilebilir; bu yüzden günlükte gördüğünüz her istek gerçek bot olmayabilir. Şirketler çoğunlukla IP aralıklarını yayımlıyor; kritik kararlar için bu listelerle eşleştirme yapın. Gerçek bot sandığınız trafik aslında kötü niyetli bir kazıyıcıysa, çözüm robots.txt değil güvenlik duvarı kuralıdır.

• Haftalık: User-agent bazlı istek sayısı ve yanıt kodları.
• Aylık: robots.txt'nin okunma sıklığı ve engellenen yollara gelen istekler.
• Her değişiklikte: tarih ve gerekçeyi bir değişiklik günlüğüne yazın.