AI-bots zijn nu 4× groter dan Google.

Periode: 9 dagen op handler.gg. AI-traffic percentage: 81%.

AI-bots zijn niet een nieuw kanaal, maar een nieuw zoek-paradigma dat het oude in stilte verdringt.

De bots uitgesplitst

Amazonbot — 3.470 requests (66,8%)

De grootste crawler, gebruikt voor Amazon Q, Alexa en Bedrock-training. Elke court-pagina exact 3 keer gecrawld, wat wijst op systematische indexering.

ChatGPT-User + OAI-SearchBot — 1.328 requests

Real-time fetching wanneer ChatGPT-gebruikers vragen stellen. Ongeveer 147 requests per dag, wat directe prospect-interactiemomenten vertegenwoordigt.

PerplexityBot + Perplexity-User — 147 requests

Bouwt een onafhankelijke zoekindex. Gebruikers zijn typisch onderzoeksgerichte professionals en studenten, disproportioneel belangrijk voor B2B-markten.

ClaudeBot — 96 requests

Anthropic's trainingscrawler die eerst robots.txt volgt, dan contentpagina's.

GPTBot — 82 requests

OpenAI's trainingsbot voor toekomstige modelversies.

Kritiek patroon

Deze bots fetchen /robots.txt en /sitemap.xml veel: 67 + 48 hits respectievelijk. Deze crawlers zoeken toestemming en structuur, en crawlen effectiever wanneer ze verwelkomd worden.

Het analytics-gat

Google Analytics 4 filtert bots standaard uit, wat een zichtbaarheidsprobleem creëert. De meeste marketingteams zijn onwetend dat 80% van het crawlverkeer van AI-systemen komt.

Zelf meten

Met servertoegang:

zcat /var/log/nginx/jouwsite.com-access.log.*.gz | \
  cat - /var/log/nginx/jouwsite.com-access.log | \
  grep -ohE "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|PerplexityBot|Bytespider|Amazonbot|Google-Extended)" | \
  sort | uniq -c | sort -rn

Zonder servertoegang:

• Cloudflare: AI Crawl Control dashboard
• WordPress: Wordfence Live Traffic logging
• De meeste hostingproviders bieden SSH-toegang tot nginx/Apache-logs

Drie strategische keuzes

Keuze 1: Toelaten of blokkeren?

Aanbeveling: sta de meeste AI-crawlers toe terwijl je gevoelige pagina's blokkeert (/admin, /login, /api).

Keuze 2: Optimaliseer voor LLM-extractie

• Gebruik duidelijke semantische HTML-structuur (h1, h2, h3)
• Maak definitieve uitspraken boven marketingtaal
• Implementeer Schema.org-markup (LocalBusiness, Product, FAQPage)
• Maak een llms.txt-bestand in de rootdirectory

Keuze 3: Schone GA4-analytics

Markeer AI-bot IP-ranges en user-agents als bekende bots om datavervuiling te voorkomen.

Resultaten op handler.gg

Doorgevoerde wijzigingen:

1. robots.txt geüpdated om AI-crawlers toe te staan
2. llms.txt-bestand aangemaakt met key pagina's en coverage
3. Schema.org-markup geïmplementeerd per clubpagina
4. Interne linking herstructureerd per stad en type
5. Meta-descriptions herschreven van marketingtaal naar feitelijke uitspraken

Resultaat: Citation rate steeg van 12% naar 38% binnen 6 weken voor "padel boeken Nederland" queries — een 3× verbetering.

Toepasbaarheid

Dit patroon geldt universeel voor:

• Locatiegebonden content (diensten, medische praktijken, restaurants)
• Vergelijkingscontent ("beste X in Y")
• FAQ- en how-to-content