De meeste WordPress websites hebben een robots.txt-bestand, maar maar weinig mensen weten ook daadwerkelijk wat dit bestand precies is en doet. Omdat het toch een belangrijk onderdeel is van jouw WordPress website focussen we ons vandaag op dit kleine tekstbestand, ook wel Robots Exclusion Protocol genoemd.
Wat is het Robots.txt bestand?
Het Robots-bestand is een .txt bestand in de hoofdmap van je website, waarmee je de omgangsregels van jouw WordPress website voor zoekmachines communiceert. Zoekmachinerobots gebruiken dit bestand om erachter te komen welke delen van jouw website ze mogen doorzoeken. Dit klinkt als een soort hackactie, maar deze robots hebben geen slechte bedoelingen. De bots doorzoeken namelijk het web en helpen zoekmachines bij het indexeren van onder andere jouw WordPress website.
Waarom Robots.txt gebruiken?
Als de bots, over het algemeen, goed zijn voor het internet, waarom zou je dan Robots.txt moeten gebruiken? Wel, door het Robots.txt bestand te gebruiken kan je bepaalde omgevingen in je WordPress website uitsluiten van crawlen, zoals bijvoorbeeld de admin-omgeving of een map met jouw klantgegevens. Je stuurt de zoekmachinerobots alleen naar de webpagina’s die belangrijk zijn en ongewenste pagina’s belanden hierdoor niet in de zoekresultaten.
Betere indexering
Het gebruik van robots.txt bespaart de crawlbot dus veel tijd en het voorkomt dat onnodige pagina’s worden geïndexeerd. Dit is weer essentieel voor de positie van jouw WordPress website in de zoekresultaten.
Controleer je robots.txt bestand
Let wel op dat er geen fouten staan in je robots.txt bestand! Tijdens onze SEO audits komen we helaas regelmatig foutieve teksten tegen, maar deze fouten kunnen leiden tot onbewuste blokkeringen van de crawlbots en dat kan er weer voor zorgen dat minder bezoekers jouw WordPress website nog kunnen vinden. Check hou jouw robots.txt bestand er op dit moment uitziet via de volgende link: ‘’www.jouwdomeinnaam.nl/robots.txt’’. Vervang ‘jouwdomeinnaam’ voor de domeinnaam van jouw website.
Hoe gebruik je Robots.txt in WordPress?
Hoe je de robots.txt moet aanpassen aan jouw WordPress, weet jij als de beste. Jij hebt de meeste feeling voor je website en weet welke pagina’s wel en niet gecrawld mogen worden. Alleen hoe geef je het aan in het robots.txt bestand? Onze WordPress SEO specialisten hebben hier een stappenlijst voor gemaakt. Kom je er niet uit? Neem even contact op.
- De opbouw en standaard stappen voor robot.txtDe inhoud van een robots.txt bestand ziet er voor natuurlijk elke website anders uit, maar de opbouw is in ieder geval als volgt:
- 1 | User-agent: [naam van de user-agent]
- 2 | Disallow: [URL string die niet gecrawld mag worden]
- Regel 1 geeft aan welke robot deze regel betreft. Met een sterretje (*) geef je aan dat het om alle robots gaat. In de tweede regel staat welke url’s niet gecrawld mogen worden door de eerder genoemde robots. In zo’n robots.txt bestand kan je ook meerdere url’s opgeven voor een specifieke bot. Zie hieronder enkele voorbeelden:
- Alle content blokkeren voor robots1 | User-agent: *
- 2 | Disallow: /
- Pas op: de kans is groot dat jouw WordPress website met deze melding op korte termijn uit Google zal verdwijnen.
- Alle content toestaan voor alle robots1 | User-agent: *
- 2 | Disallow:
- Omdat er niets staat achter ‘disallow’ geef je toegang aan alle robots om alle content op jouw WordPress website te crawlen. Let op: ook duplicate content zal worden meegenomen in de indexatie, en Google is daar geen voorstander van.
- Een specifieke robot blokkeren uit een specifiek deel van de website1 | User-agent: Googlebot
- 2 | Disallow: /example-subfolder/
- Met deze melding geef je aan dat de Google robot niet in de genoemde map mag kijken.
Robot.txt aanpassen in WordPress
Wil je het bestaande robots.txt bestand van jouw WordPress website aanpassen? Dat is mogelijk via FTP. Voeg jouw wensen vervolgens handmatig toe aan het bestand. Het is ook mogelijk om de Yoast SEO plugin te gebruiken. Grote kans dat je daar al gebruik van maakt, maar dan voor andere SEO activiteiten. Ga naar het ‘SEO’ menu in WordPress en kies voor ‘extra’. Klik op de link van ‘bestandsbewerker’, nu kan je direct het robots.txt best aanpassen. Vergeet daarna niet om je aanpassingen te testen! Dit kan bijvoorbeeld via de tool ‘Google Search Console’.
Aanpassing biedt geen garantie
Tot slot willen we je nog meegeven dat het robots.txt bestand een verzoek is aan de robots, maar het biedt geen garantie. De meeste zoekmachines respecteren de meldingen in het robots.txt bestanden, maar het is niet zo dat je met dit bestand volledig je data afschermt.
Veel gestelde vragen over het robots.txt bestand
Wat is het doel van het robots.txt bestand?
Het robots.txt bestand is bedoeld om te informeren welke pagina’s op een website door zoekmachines moeten worden geïndexeerd of genegeerd. Dit geeft website-eigenaren de mogelijkheid om specifieke pagina’s op hun site te beschermen of te verbergen voor zoekmachines.
Hoe voorkom ik dat mijn gehele website door zoekmachines wordt geïndexeerd?
Door het toevoegen van de regel “User-agent: *” en “Disallow: /” aan het robots.txt bestand kun je aangeven dat zoekmachines alle pagina’s op je website moeten negeren. Zorg ervoor dat dit bestand op de juiste locatie op je server staat en dat deze correct is geformatteerd, zodat zoekmachines deze kunnen vinden en lezen.
Hoe test ik of mijn robots.txt bestand correct is?
Er zijn verschillende manieren om te testen of je robots.txt bestand correct is:
- Gebruik een online robots.txt-tester, zoals de Google Search Console of de robots.txt Tester tool van supr.com.
- Voeg “/robots.txt” aan het einde van je domeinnaam toe en bezoek deze URL in je browser om het bestand te bekijken.
- Gebruik een crawler-tool om te controleren of de regels in je robots.txt bestand correct worden toegepast op specifieke pagina’s op je site.
Hulp nodig? Neem contact op!
Vermoed je dat er iets niet klopt met jouw robots.txt bestand, kom je er niet uit of wil je dit onderdeel graag uitbesteden? Neem gerust contact met ons op! Start een live chat of bel ons op 030 20 72 488. Onze WordPress specialisten zitten voor je klaar. Wil je helemaal geen omkijken hebben naar deze technische zaken? Kijk dan naar onze WordPress onderhoudspakketten zodat je in de toekomst geen zorgen meer hebt over je WordPress website.