Ik probeer een site in te lezen met cURL maar ik krijg Error 403 "Please stand by, while we are checking your browser...".
Kan ik hier omheen? Ik heb al het een en ander aan headers meegegeven, zowel een useragent als accept headers etc, maar zonder verandering.
Is het überhaupt mogelijk zonder al te veel poespas?
Is het niet zinvoller om je IP door die beheerder te laten whitelisten in de WAF?
Er bestaan niet iets van een header of hookie om dit te omzeilen. Er zijn wel diverse progsels die dit kunnen omzeilen, maar volgens mij is dat meer wachten en geautomatiseerd scrapen.
> Is het niet zinvoller om je IP door die beheerder te laten whitelisten in de WAF?
Dat zou niet zo makkelijk gaan. Ten eerste zou zo'n verzoek afgekeurd worden en ten tweede heb je toch te maken met dynamische en verschillende IP adressen.
Bedankt voor je linkje. Ik zag ook al iets voorbij komen met node.js, maar wil er ook niet al te veel moeite in stoppen. Misschien had iemand al met dit bijltje gehakt en een oplossing hiervoor.
