Inleiding webcrawlers
Door Winston Smith, 22 jaar geleden, 3.517x bekeken
Geen PHP tutorial, maar wel een nuttige tutorial denk ik.
Leer hoe je (verschillende) zoekmachines delen van je site kan laten indexeren (of juist niet).
Gesponsorde koppelingen
Inhoudsopgave
Er zijn 4 reacties op 'Inleiding webcrawlers'
0 
-0 
-0
Leuke tut. Maar jammer dat ik dit al wist. ;-)
Misschien kan je erbij zetten dat op deze pagina een robot.txt validator te vinden is :-)
Misschien kan je erbij zetten dat op deze pagina een robot.txt validator te vinden is :-)
0 -0
-0
Dat was er al bijgezet (zie pagina 3) ;o)
De meesten zullen wel bekend zijn met het bestaan van robots.txt overigens, maar het leek me wel handig om e.e.a overzichtelijk bij elkaar te zetten. En mensen die er niet mee bekend zijn hoop ik hiermee een plezier te doen!
De meesten zullen wel bekend zijn met het bestaan van robots.txt overigens, maar het leek me wel handig om e.e.a overzichtelijk bij elkaar te zetten. En mensen die er niet mee bekend zijn hoop ik hiermee een plezier te doen!
0 -0
-0
Ja, hier heb je nog wat aan. Beter dan die tutorials die vertellen hoe je met html de achtergornd moet veranderen 8-)
0 -0
-0
Ik heb hier bijvoorbeeld wat aan:P
Ik had nog nooit met een robot.txt gwerkt, dus het is voor mij wel een soort "openbaring"
Ik had nog nooit met een robot.txt gwerkt, dus het is voor mij wel een soort "openbaring"
Om te reageren heb je een account nodig en je moet ingelogd zijn.
PHP hulp
0 seconden vanaf nu