What is the SISTRIX Crawler?

We here at SISTRIX have made it our task to evaluate both content and networks on the Internet to break open the shackles of information-monopolies that has come to be, thanks to the giants in the searchengine market. The information necessary for that comes in part from our SISTRIX Crawler.

How often will my site get visited by the SISTRIX Crawler?

The update-intervals depend on both the size of your website as well as its popularity. We will try our best to make sure we do not put any excess strain on your webservers. This means that usually only one crawler will search through your domain’s content at a time. Should we notice that response-times are starting to lag, we will finish our crawling process at a more convenient time.

Will the SISTRIX Crawler obey the content of my robots.txt?

The SISTRIX Crawler will obey the Robot Exclusion Standard and will take the entries in your robots-txt file into account. To add exceptions for just the SISTRIX Crawler, please use “sistrix” for the user-agent-specification.

Do you have any other questions? Please send them to crawler@sistrix.com – we will try to get back to you as soon as possible.


Was ist der SISTRIX Crawler?

Wir von SISTRIX haben es uns zur Aufgabe gemacht, Inhalte und Netzwerke im Internet zu untersuchen, um Informationsmonopole, wie sie derzeit durch Suchmaschinengiganten entstanden sind, aufzubrechen. Die dafür notwendigen Informationen sammelt zum Teil der SISTRIX Crawler.

Wie häufig wird meine Seite vom SISTRIX Crawler besucht?

Die Update-Intervalle hängen von der Größe und Beliebtheit Ihrer Webseite ab. Wir versuchen natürlich, mögliche Belastungen für Ihren Webserver zu vermeiden. So wird in der Regel nur ein Crawler zeitgleich die Inhalte Ihrer Domain untersuchen. Sollten wir dabei langsame Antwortzeiten feststellen, setzen wir den Crawldurchlauf zu einer geeigneteren Zeit fort.

Beachtet der SISTRIX Crawler den Inhalt meiner robots.txt?

Selbstverständlich unterstützt der SISTRIX Crawler den Robot Exclusion Standard und beachtet dabei die Einträge in der robots.txt-Datei. Um den SISTRIX Crawler dabei individuell anzusprechen, nutzen Sie bitte "sistrix" als User-Agent-Angabe.

Haben Sie weitere Fragen? Wenden Sie sich mit Ihrer Frage an crawler@sistrix.com – wir versuchen, Ihnen schnellstmöglich zu antworten.