robots.txt - Generator

Auf dieser Seite können Sie sich schnell und einfach eine robots.txt Datei nach Ihren Wünschen erstellen. Die Erstellung der robots.txt Datei erfolgt in mehreren Schritten, folgen Sie einfach den Anweisungen.

Schritt 1

Bei der Erstellung Ihrer robots.txt Datei haben Sie drei verschiedene Möglichkeiten. Sie können allen Spidern den Zugriff auf Ihre Website verweigern oder erlauben, oder Sie formulieren für bestimmte Verzeichnisse und / oder Dateien verschiedene Eigenschaften.

	Alle Spider dürfen alle Verzeichnisse und Dateien spidern.

	Allen Spidern wird untersagt, Dateien und Verzeichnisse zu spiedern.

	Für Spider, Verzeichnisse und / oder Dateien werden verschiedene Kriterien festgelegt.