Robots.txt Architector

Robots.txt Architector hilft Ihnen bei der Erstellung der robots.txt Datei mit der Sie Suchmaschinenen und Spidern Anweisungen über das Verhalten auf Ihrer Internetpräsenz mitteilen können.

Sie können einzelne Dateien und Verzeichnisse von der Indizierung durch die Suchmascheinen ausschließen und definieren, welche Dateien oder Verzeichniss von diesen erfasst werden sollen.

Um für einzelne Suchdienste genau zu definieren, was diese von Ihrer Webseite erfassen dürfen und was nicht, ist die Liste der Crawler und Spider in der vorliegenden Version nach unserem dafürhalten zu kurz, um aber generelle Einstellungen für alle oder zumindest die bekanntesten einzustellen ist das Tool geeignet. Wünschenswert wäre aber beispielsweise auch eine Information zu den einzelnen Einträgen, nicht jeder Webmaster weiß was sich beispielsweise hinter der Bezeichnung IBM, Nathan oder DeWeb Orbit verbirgt.