Blog

Robots.txt bestand in WordPress


Afbeelding Robots.txt bestand in WordPress

Wat is het Robotsbestand?

De meeste WordPress websites hebben een robots.txt-bestand, maar maar weinig mensen weten ook daadwerkelijk wat dit bestand precies is en doet. Omdat het toch een belangrijk onderdeel is van jouw WordPress website focussen we ons vandaag op dit kleine tekstbestand, ook wel Robots Exclusion Protocol genoemd.
Het Robotsbestand is een .txt bestand in de hoofdmap van je website, waarmee je de omgangsregels van jouw WordPress website voor zoekmachines communiceert. Zoekmachinerobots gebruiken dit bestand om erachter te komen welke delen van jouw website ze mogen doorzoeken. Dit klinkt als een soort hackactie, maar deze robots hebben geen slechte bedoelingen. De bots doorzoeken namelijk het web en helpen zoekmachines bij het indexeren van onder andere jouw WordPress website.

Waarom Robots.txt gebruiken?

Als de bots, over het algemeen, goed zijn voor het internet, waarom zou je dan Robots.txt moeten gebruiken? Wel, door het Robots.txt bestand te gebruiken kan je bepaalde omgevingen in je WordPress website uitsluiten van crawling, zoals bijvoorbeeld de adminomgeving of een map met jouw klantgegevens. Je stuurt de zoekmachinerobots alleen naar de webpagina’s die belangrijk zijn en ongewenste pagina’s belanden hierdoor niet in de zoekresultaten. Het gebruik van robots.txt bespaart de crawlbot dus veel tijd en het voorkomt dat onnodige pagina’s worden geïndexeerd. Dit is weer essentieel voor de positie van jouw WordPress website in de zoekresultaten.
Let wel op dat er geen fouten staan in je robots.txt bestand! Tijdens onze SEO audits komen we helaas regelmatig foutieve teksten tegen, maar deze fouten kunnen leiden tot onbewuste blokkeringen van de zoeksbots en dat kan er weer voor zorgen dat minder bezoekers jouw WordPress website nog kunnen vinden. Check hou jouw robots.txt bestand er op dit moment uitziet via de volgende link: ‘’www.jouwdomeinnaam.nl/robots.txt’’. Vervang ‘jouwdomeinnaam’ voor de domeinnaam van jouw website.

Hoe gebruik je Robots.txt in WordPress?

De inhoud van een robots.txt bestand ziet er voor natuurlijk elke website anders uit, maar de opbouw is in ieder geval als volgt:

1 | User-agent: [naam van de user-agent]
2 | Disallow: [URL string die niet gecrawld mag worden]

Regel 1 geeft aan welke robot deze regel betreft. Met een sterretje (*) geef je aan dat het om alle robots gaat. In de tweede regel staat welke url’s niet gecrawld mogen worden door de eerder genoemde robots. In zo’n robots.txt bestand kan je ook meerdere url’s opgeven voor een specifieke bot. Zie hieronder enkele voorbeelden:

Alle content blokkeren voor robots

1 | User-agent: *
2 | Disallow: /

Pas op: de kans is groot dat jouw WordPress website met deze melding op korte termijn uit Google zal verdwijnen.

Alle content toestaan voor alle robots

1 | User-agent: *
2 | Disallow:

Omdat er niets staat achter ‘disallow’ geef je toegang aan alle robots om alle content op jouw WordPress website te crawlen. Let op: ook duplicate content zal worden meegenomen in de indexatie, en Google is daar geen voorstander van.

Een specifieke robot blokkeren uit een specifiek deel van de website

1 | User-agent: Googlebot
2 | Disallow: /example-subfolder/

Met deze melding geef je aan dat de Google robot niet in de genoemde map mag kijken.

Wil je het bestaande robots.txt bestand van jouw WOrdPress website aanpassen? Dat is mogelijk via FTP. Voeg jouw wensen vervolgens handmatig toe aan het bestand. Het is ook mogelijk om de Yoast SEO plugin te gebruiken. Grote kans dat je daar al gebruik van maakt, maar dan voor andere SEO activiteiten. Ga naar het ‘SEO’ menu in WordPress en kies voor ‘extra’. Klik op de link van ‘bestandsbewerker’, nu kan je direct het robots.txt best aanpassen. Vergeet daarna niet om je aanpassingen te testen! Dit kan bijvoorbeeld via de tool ‘Google Search Console’.

Tot slot willen we je nog meegeven dat het robots.txt bestand een verzoek is aan de robots, maar het biedt geen garantie. De meeste zoekmachines respecteren de meldingen in het robots.txt bestanden, maar het is niet zo dat je met dit bestand volledig je data afschermt.

Hulp nodig?

Vermoed je dat er iets niet klopt met jouw robots.txt bestand, kom je er niet uit of wil je dit onderdeel graag uitbesteden? Neem gerust contact met ons op! Start een livechat of bel ons op 030 20 72 488.

© WPOnderhoud.nl 2020 | Alle rechten voorbehouden | WordPress Onderhoud is onderdeel van Artitex