Verdere informatie
Op de pagina’s van zoekmachines kun je vaak informatie vinden over welke spider(s) gebruikt wordt (worden), of die via robots.txt werkt of met metatags en bijvoorbeeld het accepteren van wildcards. Op http://www.google.nl/webmasters/bot.html vind je die informatie voor Google.
Je kunt het bestand robots.txt overigens ook combineren met mod_rewrite, maar de behandeling daarvan valt buiten het bestek van deze tutorial.
Ik geloof dat ik de basis van spiders die jouw website bezoeken wel zo’n beetje behandeld heb. Mocht je nog vragen of reacties hebben naar aanleiding van deze tutorial, dan kan je die natuurlijk stellen in het forum!
Ik heb hier geen bronvermeldingen, omdat de informatie uit deze tutorial een potpourri is van andere handleidingen en tutorials. Wil je verder lezen, dan kan je zoeken op 'robots.txt'.