Crawler
Over SEOHeroBot
SEOHeroBot is de crawler van SEOHero (seohero.app), aangeboden door Fourwrd V.O.F. Hij identificeert zich met de onderstaande user-agent en haalt pagina's op om ze te controleren op zoekmachineoptimalisatie.
SEOHeroBot/1.0 (+https://seohero.app/bot)
Wat hij doet
Voor de websites van onze klanten voert de bot op hun verzoek een SEO-audit uit: hij haalt de homepage op, tot tien interne pagina's die vanaf de homepage gelinkt zijn of in de sitemap staan, robots.txt en sitemap.xml, en controleert tot veertig interne links op foutcodes. Audits draaien één keer per week per website en wanneer de klant er zelf een start. Voor een concurrentievergelijking of een saleschecks haalt de bot alleen de homepage, robots.txt en sitemap.xml van een site op.
Hoe hij zich gedraagt
De bot leest je robots.txt en respecteert Disallow-regels voor de user-agent SEOHeroBot (of *) voor elke pagina behalve de eigen homepage van een klant; een Disallow: / stopt de scan van elke site die niet van onze klant zelf is. Hij haalt hooguit drie pagina's tegelijk op, wacht maximaal tien seconden per pagina, stuurt geen cookies mee, vult geen formulieren in en bewaart de HTML alleen zolang de analyse dat nodig heeft.
De bot blokkeren
Zet de volgende regels in je robots.txt om SEOHeroBot van je site (of van bepaalde paden) te weren:
User-agent: SEOHeroBot Disallow: /
Wil je dat je site helemaal niet wordt opgehaald, ook niet op verzoek van een van onze klanten? Mail ons, dan sluiten we het domein uit.
Contact
Vragen of klachten over de crawler: contact@fourwrd.nl, Fourwrd V.O.F., De Nieuwe Erven 3, 5431 NV Cuijk.