Kennisbank
De AI-crawlerslijst: alle user-agents
Elk AI-systeem stuurt eigen robots langs uw site — deze lijst benoemt ze bij naam, met hun doel en het beleid dat erbij past.
Bijgewerkt op 10 augustus 2026
Het antwoord in het kort
De AI-crawlers van 2026, per aanbieder: OpenAI gebruikt GPTBot (training), OAI-SearchBot (zoekindex) en ChatGPT-User (live ophalen). Anthropic: ClaudeBot (training en index) en Claude-User (live). Perplexity: PerplexityBot en Perplexity-User. Google: Google-Extended (AI-training; Gemini-antwoorden leunen op de gewone Googlebot-index). Verder: Bingbot (voedt Copilot), CCBot (Common Crawl), Meta-ExternalAgent en Bytespider (ByteDance/TikTok). Elk reageert op zijn eigen regel in robots.txt.
Training, index en live: drie soorten bezoek
Trainingscrawlers (GPTBot, Google-Extended, CCBot) verzamelen data voor toekomstige modellen. Indexcrawlers (OAI-SearchBot, PerplexityBot, Bingbot) bepalen of u vandaag in antwoorden verschijnt. Live-agents (ChatGPT-User, Claude-User, Perplexity-User) halen een pagina op omdat een gebruiker er nú naar vraagt. Het praktische onderscheid: index en live blokkeren betekent onzichtbaar zijn in antwoorden; training blokkeren raakt vooral de lange termijn.
Het beleid dat past
Voor vrijwel elk bedrijf dat gevonden wil worden is de afweging eenvoudig: alle antwoord-gerelateerde bots welkom heten. De volledige afweging, inclusief de gevallen waarin blokkeren verdedigbaar is, staat in moet ik AI-crawlers blokkeren; de basisuitleg in wat zijn AI-crawlers.
Controleren en bijhouden
Serverlogs tonen wie langskomt; robots.txt bepaalt wie welkom is; llms.txt wijst welkome bezoekers de weg. Nieuwe agents verschijnen doorlopend — deze lijst wordt met de kwartaalverversing van de cijferbibliotheek meegenomen.
Veelgestelde vragen
Welke AI-crawlers moet ik toelaten?
Minimaal de index- en live-agents (OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Bingbot): zij bepalen de zichtbaarheid in antwoorden van vandaag.
Hoe blokkeer ik één specifieke AI-bot?
Met een eigen blok in robots.txt: User-agent gevolgd door de botnaam en een Disallow-regel — per agent apart in te stellen.
Verder lezen
Vrijblijvend advies
Zal Ovolum vrijblijvend even meekijken met uw website?
Stel uw vraag — u ontvangt binnen één werkdag een persoonlijk, schriftelijk antwoord. Kosteloos en met volle aandacht.