Kennisbank
robots.txt schrijven
Eén tekstbestand bepaalt welke robots waar mogen komen — en één verkeerde regel haalt een complete site uit de zoekresultaten.
Bijgewerkt op 10 augustus 2026
Het antwoord in het kort
robots.txt staat in de webroot en spreekt per user-agent: welke paden zijn toegestaan (Allow) en welke uitgesloten (Disallow), met een verwijzing naar de sitemap onderaan. De volgorde telt: crawlers volgen het meest specifieke blok voor hun eigen naam en negeren de rest. De beruchte fout is Disallow: / in een productieomgeving — vaak meeverhuisd vanaf een testserver, met complete deïndexering als gevolg. Voor AI-zichtbaarheid horen de antwoord-bots hier expliciet welkom.
De opbouw
Begin met het generieke blok (User-agent: *) met de paden die voor iedereen dicht blijven: beheeromgeving, interne zoekresultaten, winkelwagen- en bedankpagina’s. Voeg daarna specifieke blokken toe waar het beleid afwijkt — bijvoorbeeld per AI-crawler uit de crawlerslijst. Sluit af met Sitemap: gevolgd door de volledige URL van uw sitemap.
Uitsluiten blijft iets anders dan verbergen
Een Disallow houdt crawlers weg van de inhoud, maar de URL kan alsnog in de resultaten verschijnen wanneer anderen ernaar linken. Wilt u een pagina echt uit de index, gebruik dan de noindex-metatag — en laat de crawler er juist bij, want een geblokkeerde pagina kan zijn eigen noindex-instructie onmogelijk lezen. Voor vertrouwelijk materiaal geldt: achter een login, en robots.txt vrij houden van vermeldingen die nieuwsgierigheid wekken.
Testen en bewaken
Search Console bevat een robots.txt-tester die per URL toont welke regel wint; test elke wijziging vóór publicatie en neem het bestand op in de deploy-controle. De basisuitleg staat in wat is robots.txt; de AI-afweging in AI-crawlers toelaten.
Veelgestelde vragen
Wat is de gevaarlijkste robots.txt-fout?
Disallow: / op een live site — vaak meegekomen van de testomgeving, met verdwijning uit de zoekresultaten als resultaat.
Regelt robots.txt de indexering?
Het blokkeert crawlen; een geblokkeerde URL kan alsnog in de index verschijnen via externe links. Voor echte uitsluiting dient de noindex-metatag.
Verder lezen
Vrijblijvend advies
Zal Ovolum vrijblijvend even meekijken met uw website?
Stel uw vraag — u ontvangt binnen één werkdag een persoonlijk, schriftelijk antwoord. Kosteloos en met volle aandacht.