Wat is robots.txt?
Robots.txt is een klein bestand waarin je zoekmachines vertelt welke delen van je site ze niet hoeven te bezoeken.
- Sinds 2008
- 4.7 op Google
- Uitleg zonder jargon
Het staat altijd op /robots.txt en bevat regels per bot. Het is een verzoek, geen slot: het houdt kwaadwillende bots niet tegen.
Belangrijk verschil: robots.txt houdt het bezoeken tegen, niet het indexeren. Wil je een pagina echt uit Google, gebruik dan noindex.
Waarom het uitmaakt
Eén verkeerde regel kan je hele site uit Google houden. We zien het vaker dan je denkt na een verhuizing of een nieuwe testomgeving.
Goed ingesteld voorkomt het dat zoekmachines tijd verspillen aan filterpagina's en zoekresultaten in je webshop.
Zo pakken wij het aan
Wij controleren robots.txt bij de nulmeting, houden hem zo eenvoudig mogelijk en verwijzen naar je sitemap.
Bij een livegang is dit het eerste dat we nakijken, want een testinstelling die meeverhuist kost direct verkeer.
Veelgestelde vragen
Hoe weet ik of het goed staat?
Search Console meldt geblokkeerde pagina's. Bij de gratis scan controleren we het ook.
Kan ik AI-bots blokkeren?
Ja, per bot. Bedenk dat je dan ook je kans op vermeldingen in AI-antwoorden blokkeert.
Verder lezen
Wil je weten hoe jouw website hierop staat?
Vraag de gratis vindbaarheidsscan aan. Je ziet je positie in Google, wat AI-assistenten over je zeggen en de drie stappen die het meeste opleveren.
Liever direct sparren?
Vul het formulier in of bel ons direct. Je spreekt altijd een specialist, geen accountmanager die de vraag doorzet.
- Eén vaste contactpersoon
- Maandelijkse rapportage met toelichting
- Heldere looptijd: 6 of 12 maanden
- 20+ jaar ervaring in SEO en e-commerce