Kennisbank
Wat zijn AI-crawlers?
Naast Googlebot kloppen er tegenwoordig nieuwe bezoekers op de deur van elke website: AI-crawlers. Zij lezen content voor taalmodellen en AI-zoekmachines — en wie zij mogen lezen, kunnen zij later citeren. De gastenlijst is daarmee een strategische keuze geworden.
Bijgewerkt op 26 juli 2026
Het antwoord in het kort
AI-crawlers zijn robots die webcontent verzamelen voor AI-systemen. De bekendste: GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), PerplexityBot (Perplexity), Google-Extended (Googles AI-training) en OAI-SearchBot (ChatGPT-zoekfunctie). Zij respecteren robots.txt, dus elke site bepaalt zelf de toegang. Voor bedrijven die vindbaar willen zijn in AI-antwoorden is de afweging helder: wie de crawlers toelaat, kan bron worden; de vermelding is de nieuwe vindbaarheid.
Twee soorten bezoek, twee doelen
Er zijn trainingscrawlers (zoals GPTBot en Google-Extended), die content verzamelen waaruit modellen leren, en zoekcrawlers (zoals OAI-SearchBot en PerplexityBot), die actueel het web raadplegen om vragen live te beantwoorden — mét bronvermelding. Voor zichtbaarheid zijn vooral de zoekcrawlers goud: hun bezoek van vandaag kan het citaat van vanavond zijn. In serverlogboeken zijn beide soorten herkenbaar aan hun user-agent — het eerste bewijs dat de AI-wereld uw site leest.
De gastenlijst bewust instellen
De toegang regelt u per crawler in robots.txt: een Allow-regel per user-agent opent de deur, met de sitemap als menukaart erbij. Kennisbedrijven en dienstverleners kiezen vrijwel altijd voor open — de vermelding in een AI-antwoord ís de marketing — terwijl uitgevers met betaalde content vaker selectief zijn. Deze site voert het opene beleid zelf: elke relevante AI-crawler staat expliciet op de lijst, aangevuld met een llms.txt die het merk in één pagina uitlegt.
Veelgestelde vragen
Hoe zie ik of AI-crawlers mijn site bezoeken?
In de serverlogboeken, op user-agent: GPTBot, ClaudeBot, PerplexityBot en verwanten melden zich herkenbaar. Hun aanwezigheid is de voorbode van citeerbaarheid — eerst het bezoek, dan de vermelding.
Kost het toelaten van AI-crawlers mij bezoekers?
De praktijk wijst op het omgekeerde voor dienstverleners: AI-verwezen bezoekers zijn schaars maar uitzonderlijk warm — zij komen binnen met een aanbeveling op zak. De afweging ligt anders voor pure content-uitgevers; voor bedrijven die klanten zoeken, weegt de vermelding zwaarder.
Wat is het verschil tussen robots.txt en llms.txt voor AI?
Robots.txt regelt de toegang (wie mag binnen); llms.txt is de gids voor wie binnen is (wat is dit merk, welke pagina’s tellen). Samen vormen zij de technische basis van AI-vindbaarheid: deur open, plattegrond klaar.
Verder lezen
Vrijblijvend advies
Zal Ovolum vrijblijvend even meekijken met uw website?
Stel uw vraag — u ontvangt binnen één werkdag een persoonlijk, schriftelijk antwoord. Kosteloos en met volle aandacht.