website crawling

Overzicht

Sponsored by: Vacatures door Monsterboard

Senior Java Developer vacature

Jij volgt ontwikkelingen op de voet. Sterker nog: jij bent er onderdeel van. Jij loopt voorop. Jij denkt met klanten mee en helpt hen innoveren. Zo kun jij een bijdrage leveren aan de Rabobank-app, de beveiliging van treinen voor Pro-rail verbeteren of de website van ING een boost geven. Vergaderen? Liever gewoon zorgen dat het werkt! Hoe omschrijft men een Sogetist? Gedreven, resultaatgericht en niet snel tevreden. Wat niet wil zeggen dat je nooit met hem of haar kunt lachen. Integendeel. Plezier hoort wat ons betreft net zo goed bij werken. Maar we gaan op de eerste plaats voor de

Bekijk vacature »

BPM Developer

BPM Company (bpmcompany.nl) is vanwege groei op zoek naar BPM Developers. Als BPM Developer werk je op het snijvlak van techniek en consultancy en ben je bezig met het bouwen en implementeren van software met het BPM platform van Pegasystems. Je werkt veelal op locatie van de klant en je bent tevens “trusted advisor” voor de klant. BPM Company is partner van Pegasystems en al onze Consultants zijn door Pegasystems gecertificeerd. BPM Company is in 2011 opgericht en bestaat momenteel uit ruim 50 medewerkers. De afgelopen 4 jaar was BPM Company genomineerd voor de FD Gazelle Award voor de snelst

Bekijk vacature »

Junior PHP Developer

Organisatie De business partner waar wij het met je over willen hebben is gespecialiseerd in het ontwikkelen van automatisering oplossingen gericht op online advertising. Zij zijn in deze branche marktleider op het gebied van advertising automatisering. Een ontzettend ingewikkeld proces dat valt en staat met complexe algoritmes. Met in totaal 15 man ontwikkelen zij een softwarepakket dat gebruikt wordt door klanten over de hele wereld. Je komt terecht in een development scrum team van 8 man met een ieder zijn of haar eigen specialiteit, als PHP developer is het voor jou mogelijk te sparren met de beste developers van regio

Bekijk vacature »

Medior C# ASP.NET Developer Rotterdam

Organisatie Als medior ASP.NET ontwikkelaar ga je aan de slag bij een van de meest toonaangevende softwareorganisaties van Nederland. Deze organisatie is gevestigd in het centrum van Rotterdam en is al ruim 12 jaar een bepalende speler in het ontwikkelen van totaalsoftwareoplossingen. Denk hierbij aan: websites, webshops, intranet en emailmarketing-applicaties. Zij zijn continu bezig om deze applicaties te blijven vernieuwen door de actuele ontwikkelingen in de markt in de gaten te houden. Dit wordt onderzocht en uitgevoerd door de Research & Development afdeling, deze afdeling heeft een grote overlap met de ‘reguliere’ ontwikkelafdeling. Dit bedrijf heeft haar pijlen gericht op

Bekijk vacature »

Senior PHP ontwikkelaar met oog op lead rol

Bedrijfsinfo Deze organisatie is gevestigd in Eindhoven en telt zo’n 50 medewerkers. Zij leveren maatwerk web oplossingen voor een aantal grote klanten waarbij je kan denken aan bekende energieleveranciers, maar ook aan kleinere klanten. De projecten zijn erg divers en je kan ervan uitgaan dat er veel mensen mee in aanraking komen. Ondanks de grote klanten en de bekende namen zijn de lijnen binnen deze organisatie nog erg kort en voelt het nog altijd aan als een klein bedrijf. Er heerst een informele sfeer en er worden regelmatig bedrijfsborrels georganiseerd. Het is een erg open organisatie en dat is ook

Bekijk vacature »

C# developer / Azure Cloud / Fullstack / 5500 euro

Functieomschrijving Developer / Software engineer / Fullstack / Microsoft C# .Net / Azure cloud Bouwen van Windows-, web- en mobile applicaties; Bouwen van nieuwe applicaties en de doorontwikkeling van bestaande applicaties; Uitzetten van de lijnen op architectuur niveau samen met de solution architect; Oplossen van complexe vraagstukken; Coachen en ontwikkelen van de minder ervaren developers binnen het scrumteam; Schakelen met de business. Functie-eisen Afgeronde HBO opleiding richting Informatica of vergelijkbaar; Minimaal 5 jaar ervaring als fullstack developer; Ervaring met Microsoft C# / SQL server; Ervaring met Azure is een eis; Ervaring met Angular is een pré; Je bent enthousiast, communicatief,

Bekijk vacature »

Medior/Senior Ruby on Rails Developer

Organisatie 5 jaar geleden zijn 3 jonge ondernemers deze start-up begonnen. De organisatie bestaat inmiddels uit 20 medewerkers en wil de komende jaren minimaal jaarlijks met 20% gaan groeien. Kwaliteit staat hoog in het vaandel en ze willen alleen met de beste mensen dit gaan realiseren. De klanten waarvoor ze werken gaat van IJsland tot aan Spanje en blijven steeds hun netwerk verder groeien. Functie Je gaat werken aan gepassioneerde slimme applicaties voor het onderwijs die wereld wijdt zowel leraren als studenten het leven een stukje makkelijker kunnen maken doordat deze technieken er voor zorgen dat alles sneller en efficiënter

Bekijk vacature »

Senior Android Developer vacature

Je bent creatief. Je wilt verschil maken. Je gaat voor mobile. Voor het bedenken, ontwerpen en realiseren van sterke mobile-apps mag men jou ’s nachts wakker maken. Jij weet hoe je Android-apps met impact ontwikkelt en levert ze op tijd af. Of het nu gaat om betalen met een vingerafdruk, het delen van de bar-rekening of het mobiel aanpassen van de (sfeer-)verlichting in huis, jij weet welke integrale functionaliteiten toegevoegde waarde hebben voor de eindgebruiker. Jij zorgt er bovendien voor dat jouw apps het toonbeeld zijn van gebruikersvriendelijkheid en veiligheid. Omdat je breed georiënteerd bent, kun je ook prima buiten

Bekijk vacature »

Senior PHP Developer Utrecht

Dus je bent op zoek naar een baan als programmeur, leuk. Hoe komt het? Is het je eerste baan? Ben je op zoek naar een volgende stap omdat je het idee hebt dat je tegen een glazen plafond aan komt. Misschien heb je wel ruzie gehad met je baas en heb je per direct ontslag genomen. Het bedrijf kan failliet zijn of je hebt een baan gehad die op dit moment te hoog gegrepen is voor je waardoor je bent ontslagen. Misschien wil je wel iets compleet anders. Het kan allemaal er zijn wel duizend reden om op zoek te

Bekijk vacature »

Senior C# developer / Ticketsystemen /

Heb jij wel eens een wandeling gemaakt in het park met je collega’s? Nee? Hoe vaak heb jij de mogelijkheid gehad om de stad in te gaan in de pauze? Ook niet? Lijkt het je wel lekker om midden in hartje centrum te werken met alle voordelen en gezelligheid van dien? En werk je graag met ambitieuze collega’s aan de nieuwste oplossingen op het gebied van ticketsoftware? Dan ben ik op zoek naar jou! Op een steenworp afstand van Utrecht Centraal, in hartje centrum, ligt een organisatie die is gespecialiseerd in de ontwikkeling van ticketsoftware systemen. Van online tickets bestellen

Bekijk vacature »

medior .NET Developer

Organisatie Deze Digital Agency specialiseert zich met name op klanten in de non-profit sector. Het concept, de code, het design en vervolgens de online marketing wordt volledig uit handen genomen door deze organisatie. Met ruim 30 man in dienst in een organisatie die al ruim 9 jaar bestaat kom je terecht in een omgeving waar zowel backend als frontend developers werken en wat marketeers. Opererend vanuit omgeving Tilburg bedienen ze de gehele Nederlandse markt met een breed klantenbestand van goede doelen tot overheidsinstanties. De meeste applicaties worden wereldwijd gebruikt en hebben tienduizenden eindgebruikers. Een leuke bijkomstigheid aan deze organisatie is

Bekijk vacature »

Junior App Developer

Ben je net afgestudeerd en klaar om de ICT wereld te veroveren als Junior App Developer? Wil jij je bezig houden met het ontwerpen en bouwen van maatwerk in Dynamics 365 Business Central? Dan heb je wellicht interesse in de positie: Junior (App) Developer Dynamics 365 Business Central voor 32/40 uren Wat ga jij doen? Door onze sterke groei zijn wij op zoek naar nieuw talent! Als (Junior) Developer houdt jij je bezig met het ontwerpen en bouwen van maatwerk in Dynamics 365 Business Central. Naast programmeren houdt jij je bezig met het ontwerpen van koppelingen met andere systemen, het

Bekijk vacature »

Senior C# .NET developer voor een beter milieu

Organisatie Als ASP.NET ontwikkelaar ga je werken bij een zeer innovatieve organisatie op gebied van recycling en afvalmanagement. Zij hebben een unieke software ontwikkeld waarbij ze data van afvalstoffen kunnen analyseren voor een beter milieu, kosten en recycle proces. Zo kunnen grote bedrijven en multinationals (onder andere A-merken) zorgen voor effectiever- en hergebruik van verschillende stoffen, wat resulteert in een beter milieu. Door de recente ontwikkelingen in de wereld/politiek hebben er voor gezorgd dat dit onderwerp steeds belangrijker wordt voor organisaties. Hierdoor ondergaat de organisatie een gezonde en snelle groei en zijn er per direct professionals nodig voor het Software

Bekijk vacature »

Oracle Security and Compliance Expert

Vacancy: Oracle Security & Compliance Expert Looking to work in an international company with more than 35 different nationalities where collaboration and innovative ideas are key to drive future success? Seeking a role where you can add value and have the opportunity to develop and grow? Office Depot Europe has an exciting opportunity for an Oracle Security & Compliance Expert to join our European headquarters in Venlo, the Netherlands. The role is a fulltime, permanent position offering an excellent salary and benefits package. Your role as an Oracle Security & Compliance Expert Office Depot Europe is transforming itself to meet

Bekijk vacature »

Backend PHP Developer

Organisatie Deze organisatie is gespecialiseerd in de internationale beveiliging van grote omgevingen waar enorme hoeveelheden data worden opgeslagen. Het hoofdkantoor is gevestigd in Amsterdam, andere vestigingen liggen in Duitsland en de UK, in totaal werkt hier bijna 500 man. Deze vooruitstrevende organisatie gaat te werk door alle beveiligingsrisico’s bij hun klanten te analyseren om hier vervolgens hun dienstverlening op aan te passen. Om alle bedrijfsprocessen te modelleren en de workflows goed in kaart te brengen om ze efficiënter te maken wordt er in house eigen BPM software ontwikkelt. Omdat je werkt aan het eigen product en daarbij niet afhankelijk bent

Bekijk vacature »
Sylvester vader

sylvester vader

23/08/2019 11:03:48
Anchor link
hi uhm ik heb een klein probleempje en misschien kan iemand mij helpen

ik ben een crawlscript aan het maken om te kijken op welke positie een bepaalde advertentie staat op een andere website

dit script is voornamelijk bedoeld voor de adult wereld
denk ik hierbij
**specifieke adultsites**

enz

nou kan ik de meeste van die sites wel crawlen maar op 1 of andere manier kan ik geen info ontvangen van **een bepaalde andere site**

kan iemand met meer verstand hierin dit uitzoeken?

curl werkte bij mij niet en file_get_html ook niet

maar misschien doe ik iets fout
Gewijzigd op 23/08/2019 11:46:35 door - Ariën -
 
PHP hulp

PHP hulp

15/09/2019 17:05:26
 
- Ariën -
Beheerder

- Ariën -

23/08/2019 11:50:16
Anchor link
Edit:
Ik heb je bericht even aangepast en wat adultsites weggehaald. Volgens de Algemene Voorwaarden is dit niet toegestaan.

Agressieve, onwettelijke, bedreigende, lasterlijke, vulgaire, obscene, racistische, misleidende of anderszins ongepaste of irrelevante bijdragen, naar interpretatie van de redactie, zijn niet toegestaan.

Onthoud dat er ook minderjarigen op deze website zitten.


Kan je vertellen wat er fout gaat? Het is nu behoorlijk gokken. En onthoud ook dat scrapen van websites niet altijd gewenst is, en mogelijk tot consequenties kan leiden.
Gewijzigd op 23/08/2019 11:52:35 door - Ariën -
 
Sylvester vader

sylvester vader

23/08/2019 12:15:37
Anchor link
exuses exuses even niet aan gedacht

uhm wat gaat er fout nou uhm niks :P
ik krijg gewoon helemaal niks

ik heb nu een aantal scripts getest die ik heb gevonden op internet en ik krijg van die ene site gewoon helemaal niks

misschien hebben hun dit wel beveiligd hoor maar ik vroeg het mij gewoon af of iemand misschien een andere manier had
 
- Ariën -
Beheerder

- Ariën -

23/08/2019 12:16:38
Anchor link
Dan zal het een beveiliging zijn. Maar daar kunnen we je niet bij helpen. Het enige wat we kunnen zeggen is dat je met die site contact moet opnemen.
 
Sylvester vader

sylvester vader

23/08/2019 12:18:52
Anchor link
heb ik al gedaan :)
 
Rob Doemaarwat

Rob Doemaarwat

23/08/2019 15:45:33
Anchor link
Misschien wordt de content asynchroon geladen. De initiële HTML bevat dan alleen een placeholder, en de content komt via een asynchrone call (in JSON formaat). In dat geval zou je gewoon die asynchrone call kunnen replayen.
 
Thomas van den Heuvel

Thomas van den Heuvel

23/08/2019 17:10:25
Anchor link
En alle content zal doorgaans via HTTPS geserveerd worden.

cURL en file_get_contents() (file_get_html() bestaat niet...) zullen dus mogelijk niet zomaar out-of-the-box werken, hier moet je echt rekening houden met en de stappen doorlopen voor HTTPS.

En dan zullen dit soort sites beducht zijn voor scrapers. Als jij dus een HTTP-request doet waarbij deze in de verste verte niet afkomstig lijkt van een normale user agent (browser), dan wordt je request misschien al meteen neergeschoten.
 
Ivo P

Ivo P

24/08/2019 12:33:45
Anchor link
kijk ook eens naar welke http-code je terug krijgt van zo'n site.

404 voor not-found
maar er zijn ook meldingen voor "bad request", "geen toegang" en "forbidden".

Dat verraadt mogelijk ook nog iets.
 
Sylvester vader

sylvester vader

25/08/2019 09:30:58
Anchor link
Thomas van den Heuvel op 23/08/2019 17:10:25:
(file_get_html() bestaat niet...)


bestaat wel hoor :)

Toevoeging op 25/08/2019 09:32:21:

ps: Ivo P ik krijg niks binnen maar ik zal ff in me netwerk console ding kijken dat heb ik nog niet gedaan
 
Ivo P

Ivo P

25/08/2019 09:38:22
 
Sylvester vader

sylvester vader

25/08/2019 10:30:55
Anchor link
haha of zo ja :P

Toevoeging op 25/08/2019 10:38:42:

ok lol ik wordt verwezen naar me eigen 404 pagina
en in console krijg ik deze error

GET _Incapsula_Resource?SWUDNSAI=29&xinfo=4-43414976-0%200NNN%20RT%281566722178764%2092%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=277001820071552353-228678425522801508&edet=12&cinfo=04000000 404

Toevoeging op 25/08/2019 10:40:59:

betekent dit dat ze alleen bepaalde robots accepteren?
 
- Ariën -
Beheerder

- Ariën -

25/08/2019 10:46:00
Anchor link
Je eigen 404 pagina?
Dat is een URL en geen error. Kijk even bij de request-knop. Daar staan vaak interessante dingen.
 
Sylvester vader

sylvester vader

25/08/2019 11:03:23
Anchor link
uhm waar vind ik dat ?
maar uhm ik ff ff snel een test scriptje neergezet en die krijgt netjes 200 en naam van site binnen

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
$ch = curl_init('https://www.??????.nl');
curl_exec($ch);
$info = curl_getinfo($ch);
echo '' . $info['http_code'] . '<br>' . $info['url'];
curl_close($ch);


snap dus even niet waarom ik niks krijg van ze :P
 
- Ariën -
Beheerder

- Ariën -

25/08/2019 11:07:07
Anchor link
Dat kan je aan hun vragen. Omdat dit topic de illegale kant op gaat m.b.t scrapen van sites en met name het omzeilen van beveiligingen van websites, sluit ik dit topic.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.