robots.txt

Michael -

03/04/2011 21:12:31

Op mijn hosting heb ik een aantal subdomeinen, maar ik wil alleen de map www laten indexeren.
Kan ik dan een robots.txt in de htdocs map zetten die alleen www toestaat te indexeren of moet ik in alle andere mappen een robots.txt gaan toevoegen?
Of anders iets met htaccess of zo?

Gewijzigd op 03/04/2011 21:13:28 door Michael -

PHP hulp

25/05/2012 15:01:30

Gesponsorde koppelingen:

Erik Kraijenoord

03/04/2011 21:23:23

http://www.multidesk.be/artikels/artikel/223/Zoekmachine-optimalisatie:-robots.txt.html

Michael -

03/04/2011 21:43:01

"Indien je subdomeinen beheert, voorzie je deze best eveneens van een robots.txt bestand. Ook hier gelden dezelfde regels: plaats het bestand in de root, niet in een onderliggende map."

Mijn vraag was dus ook of 't mogelijk is 1 robots.txt te gebruiken voor alle subdomeinen, maar ik moet dus voor alle subdomeinen apart bestand gaan maken neem ik aan.

Geen makkelijkere manier?

Gewijzigd op 03/04/2011 21:43:45 door Michael -

Erik Kraijenoord

03/04/2011 22:17:42

Nee dit hoeft niet, jij geeft gewoon in je root aan waar een robot mag komen en waar niet.

Stel je hebt in de map "text" bestanden staan die hij juist WEL moet indexeren en mee nemen kan je dit aangeven.

Jelmer rrrr

03/04/2011 22:21:42

Dus
www.domein.nl/robots.txt -> Allow: /
dev.domein.nl/robots.txt -> Deny: /
test.domein.nl/robots.txt -> Deny: /

Misschien kan je met Alias een alias voor al je domeinen maken naar de deny-robots.txt en alleen in /www een robots.txt zetten die een uitzondering is, en Allow: / bevat.

PHPhulp is een Nederlandstalige PHP community sinds 2002. Je vindt hier PHP tutorials, PHP scripts, PHP boeken en nog veel meer. Alles is geheel gratis!