How do I check if my website blocks AI crawlers?

Add /robots.txt to the end of your website URL (e.g., yoursite.com/robots.txt) and look for lines that mention GPTBot, ChatGPT-User, Google-Extended, PerplexityBot, or ClaudeBot. If you see 'Disallow: /' next to any of these, your site is blocking that AI crawler.

What is robots.txt and why does it matter for AI?

robots.txt is a file on your website that tells search engines and AI bots which pages they can or cannot access. Many websites have default settings that accidentally block AI crawlers, making the site invisible to ChatGPT, Gemini, and other AI search engines.

Sitem AI botlarını engelliyor mu nasıl kontrol ederim?

Site adresinizin sonuna /robots.txt ekleyin (örn: siteniz.com/robots.txt) ve GPTBot, ChatGPT-User, Google-Extended, PerplexityBot, ClaudeBot gibi isimleri arayın. Bunların yanında 'Disallow: /' yazıyorsa siteniz o AI botunu engelliyor demektir.

llms.txt nedir ve neden gerekli?

llms.txt, web sitenizin AI modelleri için hazırlanmış bir özet belgesidir. AI botları sitenizi ziyaret ettiğinde bu dosyayı okuyarak markanız, hizmetleriniz ve uzmanlık alanlarınız hakkında hızlıca bilgi edinir. robots.txt kapıyı açar, llms.txt ise AI'a ne göreceğini söyler.

Siteniz Açık Ama AI'ın Gözünde Kapalı Olabilir

Efe Meric

AI Automation & GEO Consultant · RichMe AI

30 Saniye İçinde Cevabı Göreceksiniz

Şimdi tarayıcınızın adres çubuğuna şunu yazın: siteniz.com/robots.txt

Açılan dosyada GPTBot, ChatGPT-User veya Google-Extended yazıyor mu? Yanında Disallow: / varsa tebrikler — siteniz AI için kapalı.

Ciddi soruyorum: Siteniz açık. Google'da çıkıyor. Ama ChatGPT, Gemini, Perplexity? Onlar sitenizi görmüyor bile. Ve siz bundan habersizsiniz.

Bu durum, dükkanınızın kapısını açık tutup camlarını karartmak gibi. İnsanlar geçiyor ama içeriyi göremiyorlar.

Neden Bu Kadar Yaygın?

İstatistik şok edici: Web sitelerinin tahminen %70-90'ı AI botlarını engelliyor. Ve çoğunun haberi yok.

Nasıl oluyor peki?

WordPress eklentileri: Güvenlik eklentileri varsayılan olarak "bilinmeyen" botları engelliyor. GPTBot da "bilinmeyen" sayılıyor
Hosting şirketleri: Bazı hosting firmaları sunucu seviyesinde AI botlarını engelliyor
Eski robots.txt: Yıllar önce yazılmış Disallow: / kuralı, o zaman Google botlarını hedefliyordu. Şimdi AI botlarını da engelliyor
CDN ayarları: Cloudflare ve benzeri CDN'ler bazen bot trafiğini otomatik olarak engelliyor

Engellemeniz Gereken Şey Bu Değil

Bir saniye — bazılarınız düşünüyor: "Ama AI içeriğimi çalıyor, engellemek mantıklı değil mi?"

Bu düşünce yaygın ama tehlikeli. Çünkü:

Kritik Gerçek

AI botlarını engellediğinizde AI sitenizi "çalamaz." Ama aynı zamanda sizi öneremez de. Rakibiniz botları engellemiyor. AI rakibinizi okuyor, anlıyor, öneriyor. Ve müşterileriniz rakibinize gidiyor.

Bu da şu anlama geliyor: AI'ı engellemek kendinizi korumak değil, kendinizi görünmez yapmak.

Nasıl Düzeltilir? 4 Adım

Adım 1: robots.txt Dosyanızı Kontrol Edin

siteniz.com/robots.txt adresine gidin. Bu botlar için Disallow kuralı var mı kontrol edin:

GPTBot — OpenAI / ChatGPT
ChatGPT-User — ChatGPT Browse modu
Google-Extended — Google AI / Gemini
PerplexityBot — Perplexity
ClaudeBot — Anthropic / Claude

Adım 2: AI Botlarına İzin Verin

robots.txt dosyanıza şunu ekleyin:

User-agent: GPTBot → Allow: /

User-agent: Google-Extended → Allow: /

Her AI botu için aynısını tekrarlayın.

Adım 3: llms.txt Ekleyin

robots.txt kapıyı açar. llms.txt ise AI'a ne göreceğini söyler.

Bu dosya, markanız hakkında AI'ın hızlıca anlayabileceği bir özet sunar: kim olduğunuz, ne yaptığınız, hangi hizmetleri sunduğunuz.

Detaylı rehber: llms.txt Nedir?

Adım 4: Hosting ve CDN Ayarlarını Kontrol Edin

Cloudflare, Sucuri veya başka bir güvenlik servisi kullanıyorsanız, bot yönetim panelinde AI botlarının "izin verilen" listesinde olduğundan emin olun.

Yarın Değil, Bugün

Bu testi yapmak 30 saniye sürer. Düzeltmek 10 dakika.

Ama yapmadığınız her gün, AI sizi görmüyor. Ve AI sizi görmüyorsa, giderek artan sayıda müşteriniz de sizi görmüyor.

Müşteriler artık Google'da 10 sonuca bakmıyor. AI'a soruyor ve ilk tavsiyeyi alıyor. O tavsiye siz misiniz?

You'll Have the Answer in 30 Seconds

Right now, type this into your browser's address bar: yoursite.com/robots.txt

Does the file that opens mention GPTBot, ChatGPT-User, or Google-Extended? If there's a Disallow: / next to them, congratulations — your site is closed to AI.

I'm serious: Your site is live. It shows up on Google. But ChatGPT, Gemini, Perplexity? They can't even see your website. And you have no idea.

It's like keeping your store's door open but painting the windows black. People walk by but can't see inside.

Why Is This So Common?

The statistic is shocking: An estimated 70-90% of websites block AI crawlers. And most don't know it.

How does this happen?

WordPress plugins: Security plugins block "unknown" bots by default. GPTBot counts as "unknown"
Hosting companies: Some hosting providers block AI bots at the server level
Old robots.txt: A Disallow: / rule written years ago targeted Google bots. Now it blocks AI bots too
CDN settings: Cloudflare and similar CDNs sometimes block bot traffic automatically

This Isn't What You Should Be Blocking

Wait — some of you are thinking: "But AI is stealing my content. Isn't it logical to block it?"

This thinking is common but dangerous. Here's why:

Critical Reality

When you block AI bots, AI can't "steal" your site. But it also can't recommend you. Your competitor isn't blocking bots. AI reads their site, understands it, recommends it. And your customers go to your competitor.

In other words: blocking AI isn't protecting yourself — it's making yourself invisible.

How to Fix It: 4 Steps

Step 1: Check Your robots.txt

Go to yoursite.com/robots.txt. Check if there's a Disallow rule for these bots:

GPTBot — OpenAI / ChatGPT
ChatGPT-User — ChatGPT Browse mode
Google-Extended — Google AI / Gemini
PerplexityBot — Perplexity
ClaudeBot — Anthropic / Claude

Step 2: Allow AI Bots

Add this to your robots.txt:

User-agent: GPTBot → Allow: /

User-agent: Google-Extended → Allow: /

Repeat for each AI bot.

Step 3: Add llms.txt

robots.txt opens the door. llms.txt tells AI what to see.

This file gives AI a quick summary about your brand: who you are, what you do, which services you offer.

Full guide: What is llms.txt?

Step 4: Check Hosting and CDN Settings

If you use Cloudflare, Sucuri, or another security service, make sure AI bots are in the "allowed" list in your bot management panel.

Not Tomorrow. Today.

This test takes 30 seconds. Fixing it takes 10 minutes.

But every day you don't, AI can't see you. And if AI can't see you, an increasing number of your customers can't see you either.

Customers don't browse 10 Google results anymore. They ask AI and take the first recommendation. Is that recommendation you?

Is your site invisible to AI?

We'll check your robots.txt, llms.txt, and AI bot accessibility in 10 minutes.

Get a free AI visibility check