Kennisbank
Wat is robots.txt?
Bij de voordeur van elke website staat een portier: robots.txt, het bestand dat crawlers vertelt waar ze welkom zijn. Decennialang routinewerk — tot AI-crawlers zich meldden en de gastenlijst opeens strategisch werd.
Bijgewerkt op 26 juli 2026
Het antwoord in het kort
Robots.txt is een tekstbestand in de hoofdmap van een website dat crawlers instrueert welke delen zij mogen bezoeken, en waar de sitemap staat. Sinds de opkomst van AI-zoeksystemen is het bestand strategischer geworden: crawlers als GPTBot, ClaudeBot en PerplexityBot respecteren robots.txt, dus wie vindbaar wil zijn in AI-antwoorden, zet ze bewust op de gastenlijst.
Hoe de portier werkt
Het bestand spreekt per crawler: een User-agent-regel benoemt wie, Allow en Disallow bepalen waar. Zoekmachines lezen het bij elk bezoek en houden zich eraan — netjes, maar meedogenloos: één verkeerde regel en complete secties verdwijnen uit beeld. De beruchtste fout is een enkele slash achter Disallow, die de hele site op slot zet. Klein bestand, groot gezag.
De nieuwe gastenlijst: AI-crawlers
GPTBot (ChatGPT), ClaudeBot, PerplexityBot en Google-Extended vragen elk apart toegang — en wie zij missen, kunnen zij later moeilijk citeren. Voor kennisbedrijven is de afweging helder: open de deur en word bron in AI-antwoorden. Deze site doet precies dat: elke relevante AI-crawler staat expliciet op Allow, met de sitemap als menukaart erbij.
Veelgestelde vragen
Waar staat mijn robots.txt?
Altijd op de hoofdmap: uwdomein.nl/robots.txt — voor iedereen leesbaar, ook voor u. Eén blik vertelt direct wie er welkom is en of de sitemap vermeld staat.
Blokkeert robots.txt een pagina uit Google?
Het blokkeert het bezoek, en dat is iets anders dan de index: een geblokkeerde pagina kan kaal in de resultaten blijven hangen via links van elders. Wie een pagina echt uit de index wil, gebruikt een noindex-markering — en laat de crawler juist binnen om die te lezen.
Moet ik AI-crawlers toelaten of weren?
Dat is een strategische keuze: toelaten maakt citeerbaar in AI-antwoorden, weren beschermt content tegen hergebruik. Voor dienstverleners en kennisbedrijven weegt vindbaarheid vrijwel altijd zwaarder — de vermelding ís de marketing.
Verder lezen
Vrijblijvend advies
Zal Ovolum vrijblijvend even meekijken met uw website?
Stel uw vraag — u ontvangt binnen één werkdag een persoonlijk, schriftelijk antwoord. Kosteloos en met volle aandacht.