Worldsoft-CMS generiert die Datei robots.txt    2008/3/10 14:45:02 (2491 reads) Ein Robot ist ein Computerprogramm, das von Suchmaschinen eingesetzt wird, um das World Wide Web zu durchsuchen und Webseiten zu analysieren. Dabei werden die gefundenen Seiten indiziert und in den Datenbestand der Suchmaschine aufgenommen. Der Robot (auch Webcrawler oder Spider genannt) liest beim Auffinden einer Website zuerst die Datei robots.txt. In dieser Datei kann festgelegt werden, ob und wie die Website von einem Robot besucht werden darf. Der Website-Betreiber hat so die Möglichkeit, ausgewählte Inhalte generell oder auch nur für bestimmte Suchmaschinen zu sperren. Eine Anleitung erhalten Sie unter folgendem Link: http://www.worldsoft-downloads.info/pdf/help/robots-txt.pdf Weitere Informationen zum Thema erhalten Sie unter http://de.wikipedia.org/wiki/Robots_Exclusion_Standard