Versio

Inleiding webcrawlers

Geen PHP tutorial, maar wel een nuttige tutorial denk ik.
Leer hoe je (verschillende) zoekmachines delen van je site kan laten indexeren (of juist niet).

Gesponsorde koppelingen

Inhoudsopgave

  1. Het bestand robots.txt
  2. Validatie en user-agents
  3. Zonder robots.txt
  4. Verdere informatie

 

4 reacties op 'Inleiding webcrawlers'

PHP hulp
PHP hulp
0 seconden vanaf nu
 
Gesponsorde koppelingen


8 jaar geleden
 
0 +1 -0 -1
Leuke tut. Maar jammer dat ik dit al wist. ;-)

Misschien kan je erbij zetten dat op deze pagina een robot.txt validator te vinden is :-)
Kasper Isgek
Kasper Isgek
8 jaar geleden
 
0 +1 -0 -1
Dat was er al bijgezet (zie pagina 3) ;o)

De meesten zullen wel bekend zijn met het bestaan van robots.txt overigens, maar het leek me wel handig om e.e.a overzichtelijk bij elkaar te zetten. En mensen die er niet mee bekend zijn hoop ik hiermee een plezier te doen!


8 jaar geleden
 
0 +1 -0 -1
Ja, hier heb je nog wat aan. Beter dan die tutorials die vertellen hoe je met html de achtergornd moet veranderen 8-)


7 jaar geleden
 
0 +1 -0 -1
Ik heb hier bijvoorbeeld wat aan:P

Ik had nog nooit met een robot.txt gwerkt, dus het is voor mij wel een soort "openbaring"

Om te reageren heb je een account nodig en je moet ingelogd zijn.

  • Labels
  • Geen tags toegevoegd.
Get Adobe Flash player