robots.txt en SSL

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Arnold C

Arnold C

03/10/2009 20:18:00
Quote Anchor link
Hallo,

Ik wil een robots.txt maken met daarin een aantal regels welke bestanden en mappen niet geïndexeerd moeten worden voor een goede weergave in de zoekmachines.

Nu staat er een heel gedeelte van de website achter een beveiligde inlog, welke over een SSL vebinding loopt.

Op m'n VPS staat de 'gewone' website in "public_html", en de beveiligde SSL-inhoud in "private_html".

Ik wil de gehele inhoud van die privat_html (inlog en SSL) buiten de zoekmachine houden.

Mijn vragen:
Hoe zet ik dit in een robots.txt
Waar (welke locatie) plaats ik die robots.txt?

Ik dank maar weer bij voorbaat voor goed advies!
 
PHP hulp

PHP hulp

24/04/2024 06:12:47
 
Daniel H

Daniel H

03/10/2009 20:46:00
 
Arnold C

Arnold C

03/10/2009 20:55:00
Quote Anchor link
Goed artikel. Deze had ik ook al gelezen. Eigenlijk weet ik niet zo goed wat ik als root van mn site moet opvatten. In filezilla zie ik een hele bubs mappen. Waaronder de mappen:

public_html
private_html

Als je www.domein.nl intoetst kom je bij de index.html die staat in de public_html.

Zet ik nu mn robots.txt in die public_html map?

Of, zet ik robots.txt tussen die public_html en private_html mappen?
 
Daniel H

Daniel H

03/10/2009 21:30:00
Quote Anchor link
je zet je robotx.txt in je public_html map.
en dan doe je geloof ik gwn ../private_html.
als dat niet werkt moet je de hele url, bijvoobeeld:
/var/www/private_html/
 
Arnold C

Arnold C

03/10/2009 21:40:00
Quote Anchor link
@ Daniël: Dank!
Ga ik doen.

Is het verstandig om .htacces ook op disallow te zetten?
Gewijzigd op 01/01/1970 01:00:00 door Arnold C
 
Marc Cools

Marc Cools

03/10/2009 23:12:00
Quote Anchor link
Ik heb eens ergens een trukje gelezen waarbij slechte bots 'gevangen' werden. In de robots.txt word een publieke directory als verboden aangeduid. De slechte bots trekken zich daar niets van aan en ... lopen in de val. Ze komen terecht in een oneindige lus.
Alleen weet ik niet meer juist hoe dat werkte. De val zelf dan.
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.