Robots.txt aan website toevoegen
Aan een website kan je een robots.txt bestandje toevoegen. Hierin is het mogelijk aan te geven welke pagina’s of welke delen van een website niet toegankelijk zijn voor zoekmachines. Bijvoorbeeld als je niet wilt dat je afbeeldingen getoond worden in de zoekresultaten of als je bepaalde onbelangrijke pagina’s wilt afschermen.
Voorbeelden
Afbeeldingen afschermen
Wanneer je niet wilt dat je afbeeldingen in de zoekresultaten getoond worden, bijvoorbeeld voor kunstenaars.
Technische onderdelen
Scripts of stijlbestanden kunnen expliciet uit de crawlaktiviteiten van de zoekmachines gehouden worden.
Bepaalde onderdelen
Als je bijvoorbeeld een testmap hebt die je wilt verbergen dan is de robots.txt goed te gebruiken. Let wel, losse pagina’s binnen de site kunnen beter niet verborgen zijn omdat de doorlink-structuur dan verkeerd gaat.
Hoe doe je dat?
Het gaat om een tekstbestandje dat in de root van de site gezet wordt (in WordPress zijn hier Plugins voor). De commando’s die gegeven kunnen worden zijn: User-agent: benoemen van zoekmachines; Disallow: niet toelaten; Allow: juist wel toelaten. 🙂