Zie het robots.txt bestand als de uitsmijter van je website. Het vertelt zoekmachine-crawlers welke kamers ze mogen betreden en welke absoluut verboden terrein zijn.
Definitie van Robots.txt
Robots.txt is een eenvoudig tekstbestand dat in de hoofdmap (root) van een website wordt geplaatst. Het bevat instructies (directives) voor zoekmachine-spiders en andere web-robots over welke pagina's en mappen ze wel of niet mogen crawlen.
Waarom is het belangrijk voor KMO's?
Door overbodige of gevoelige pagina's (zoals inlogpagina's van je CMS of interne zoekresultaten) uit te sluiten via robots.txt, bespaar je 'crawl budget'. Zo dwing je Google om zijn kostbare tijd te besteden aan het indexeren van je belangrijkste diensten- en blogpagina's.
Best Practices & Tips
- Plaats de link naar je XML-sitemap onderaan je robots.txt bestand zodat crawlers deze direct vinden.
- Gebruik robots.txt nooit om pagina's volledig uit de zoekresultaten te houden; gebruik daarvoor een 'noindex' meta-tag.
- Controleer via Google Search Console of je niet per ongeluk belangrijke CSS- of JS-bestanden blokkeert.
Gerelateerde Begrippen