Re: Neue Zusatzdateien auf dem WebSpeicherplatz
Geschrieben von Thomas am 29. Juli 2003 12:13:05:
Als Antwort auf: Re: Neue Zusatzdateien auf dem WebSpeicherplatz geschrieben von offi.tv am 29. Juli 2003 01:29:35:
> ... Das bedeutet, dass Sie die Technik der robots.txt nur nutzen können, wenn
> Sie eine eigene Domain haben, nicht aber bei Webspace-Angeboten
Hello offi.tv,
die 'robots.txt' wird auch auf 'SubDomains' von den Suchmaschinen benutzt,
nicht auf solchen Homepage-Plätzen wie "home.t-offline.de/home/meinname/".
Wenn Du gewisse Suchmaschinen ausschließen möchtest, kannst Du dies auch
in die 'robots.txt' schreiben. Hinweise hierzu gibt es auch in SELFHTML.
Die Seiten werden trotzdem hin und wieder durchstöbert, wenn die Software
der Suchmaschine nicht die 'robots.txt' ließt.
Selbst 'FrontPage' konnte ich noch nicht dazu bringen,
ausgeschlossenes nicht zu 'Indexieren'.
In PHP-Seiten wird es den Suchmaschinen dafür etwas schwerer gemacht.
GulaschMalzeit-Gruß, Thomas