Crawler
Über SEOHeroBot
SEOHeroBot ist der Crawler von SEOHero (seohero.app), betrieben von Fourwrd V.O.F. Er identifiziert sich mit dem unten stehenden User-Agent und ruft Seiten ab, um sie auf Suchmaschinenoptimierung zu prüfen.
SEOHeroBot/1.0 (+https://seohero.app/bot)
Was er tut
Für die Websites unserer Kunden führt der Bot auf deren Wunsch ein SEO-Audit durch: Er ruft die Startseite ab, bis zu zehn interne Seiten, die von der Startseite verlinkt sind oder in der Sitemap stehen, robots.txt und sitemap.xml, und prüft bis zu vierzig interne Links auf Fehlercodes. Audits laufen einmal pro Woche je Website und wenn der Kunde selbst eines startet. Für einen Konkurrenzvergleich oder eine Vertriebsprüfung ruft der Bot nur die Startseite, robots.txt und sitemap.xml einer Website ab.
Wie er sich verhält
Der Bot liest deine robots.txt und respektiert Disallow-Regeln für den User-Agent SEOHeroBot (oder *) für jede Seite außer der eigenen Startseite eines Kunden; ein Disallow: / stoppt den Scan jeder Website, die nicht dem Kunden selbst gehört. Er ruft höchstens drei Seiten gleichzeitig ab, wartet maximal zehn Sekunden je Seite, sendet keine Cookies, füllt keine Formulare aus und speichert das HTML nur so lange, wie die Analyse es braucht.
Den Bot aussperren
Füge die folgenden Zeilen in deine robots.txt ein, um SEOHeroBot von deiner Website (oder von bestimmten Pfaden) fernzuhalten:
User-agent: SEOHeroBot Disallow: /
Soll deine Website überhaupt nicht abgerufen werden, auch nicht auf Wunsch eines unserer Kunden? Schreib uns, dann schließen wir die Domain aus.
Kontakt
Fragen oder Beschwerden zum Crawler: contact@fourwrd.nl, Fourwrd V.O.F., De Nieuwe Erven 3, 5431 NV Cuijk, Niederlande.