Der TecIntelli-Bot ist der Web-Crawler von TecIntelli.
Viele der von uns angebotenen Dienste, unserer Smart Information Services, funktionieren wie eine intelligente Suche. Wir analysieren gezielt die Daten verschiedener Quellen, bereiten die Ergebnisse auf, integrieren Daten, um zu neuen Inhalten zu gelangen. Eine dieser Datenquellen sind auch Webseiten. Diese werden von uns – sofern wir es denn dürfen – automatisiert gecrawlt und indexiert.
Wenn der TecIntelli-Bot eine Website besucht, versucht er zuerst, eine Erlaubnis zum Crawlen zu bekommen. Dazu ruft er nach Möglichkeit die robots.txt-Datei ab. Websites ohne robots.txt-Datei werden im Allgemeinen je nach Bedarf gecrawlt und indexiert. Sollten Sie jedoch für Ihre Webseite eine robots.txt-Datei verwenden, so halten wir uns selbstverständlich an deren Vorgaben. Das bedeutet u.a., dass wir Ihre Webseite oder explizit ausgewiesene Teile davon nicht crawlen, wenn wir nicht in der Liste der erlaubten Crawler aufgenommen sind. Für manche unserer Projekte und Smart Information Services ist es aber sinnvoll, auch Ihre Webseite zu crawlen. Wir werden uns dann direkt mit Ihnen in Verbindung setzen.
Identifikation des TecIntelli-Bots durch User-Agent-String
Der TecIntelli-Bot simuliert sozusagen einen Nutzer, der Ihre Webseite besucht. Sie können ihn identifizieren über den in der Anfrage verwendeten User-Agent-String: Mozilla/5.0 (compatible; TecIntelliBot/1.0; +http://www.tecintelli.de/bot/)