Crawlers zijn programma’s (bots) welke het world wide web scannen op nieuwe of bijgewerkte website’s, en welke pagina’s vervolgens voor indexering aan crawlers voorleggen.Zoekmachineoptimalisatie, zeker het organiseren, invullen en vindbaar vervaardigen over een webshop of website is immers een buitengewoon tijdrovende zaak en ook niet elke f