Onze web crawler (user-agent DIP/1.0 ...) komt elke 2 maanden langs bij websites van onze klanten om pagina’s en PDF’s te analyzeren.
We crawlen max 2.5 URLs/sec.
Als we jouw website crawlen, en dat wil je niet, stuur ons een berichtje op contact@dip.online.
Als we teveel HTTP 429/403 veroorzaken, kan je ons whitelisten: https://docs.dip.online/docs/dip-white-listen/