Worldsoft-CMS generiert die Datei robots.txt
2008/3/10 14:45:02 (2896 reads)
Ein Robot ist ein Computerprogramm, das von Suchmaschinen eingesetzt wird, um das World Wide Web zu durchsuchen und Webseiten zu analysieren. Dabei werden die gefundenen Seiten indiziert und in den Datenbestand der Suchmaschine aufgenommen.
Der Robot (auch Webcrawler oder Spider genannt) liest beim Auffinden einer Website zuerst die Datei robots.txt. In dieser Datei kann festgelegt werden, ob und wie die Website von einem Robot besucht werden darf. Der Website-Betreiber hat so die Möglichkeit, ausgewählte Inhalte generell oder auch nur für bestimmte Suchmaschinen zu sperren.
Eine Anleitung erhalten Sie unter folgendem Link:
http://www.worldsoft-downloads.info/pdf/help/robots-txt.pdf
Weitere Informationen zum Thema erhalten Sie unter
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Ein Robot ist ein Computerprogramm, das von Suchmaschinen eingesetzt wird, um das World Wide Web zu durchsuchen und Webseiten zu analysieren. Dabei werden die gefundenen Seiten indiziert und in den Datenbestand der Suchmaschine aufgenommen.
Der Robot (auch Webcrawler oder Spider genannt) liest beim Auffinden einer Website zuerst die Datei robots.txt. In dieser Datei kann festgelegt werden, ob und wie die Website von einem Robot besucht werden darf. Der Website-Betreiber hat so die Möglichkeit, ausgewählte Inhalte generell oder auch nur für bestimmte Suchmaschinen zu sperren.
Eine Anleitung erhalten Sie unter folgendem Link:
http://www.worldsoft-downloads.info/pdf/help/robots-txt.pdf
Weitere Informationen zum Thema erhalten Sie unter
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
