website crawling

Overzicht

Sponsored by: Vacatures door Monsterboard

Junior C# Developer / Azure /

‘Als je ergens de beste in wilt zijn, moet je bereid zijn dingen te doen die andere developers niet willen doen’ – Michael Phelps Een bekende uitspraak binnen de top organisaties die deze branche rijk is. Succes komt je niet aanwaaien; succes is een pad die je volgt en voor deze organisatie ben ik op zoek naar die developer die graag deze volgende stap zet binnen zijn glansrijke carrière! Voor een van mijn partners ben ik op zoek naar de beste Junior C# developer van Nederland. Zij bieden een uniek traineeship aan waar uitsluitend met de nieuwste technieken wordt gewerkt.

Bekijk vacature »

C# .NET ontwikkelaar gezocht, detachering (SCRUM,

Ben je een .NET ontwikkelaar en op zoek naar afwisseling in de regio Rotterdam? Bij een innovatief bedrijf met mogelijkheden om te groeien in zowel functie als kennis? Waar je geen nummer bent maar er aandacht is voor jou als persoon? Wellicht dat deze organisatie je dit kan bieden. Voor een detacheerder in Rotterdam zijn we namelijk op zoek naar gepassioneerde .NET ontwikkelaars. Het bedrijf heeft een regionale werkwijze waarbij ze een aantal vestigingen in Nederland hebben waaronder de hoofdvestiging in Rotterdam. Er werken momenteel circa 80 mensen. Het bedrijf is met name sterk in CRM maatwerk oplossingen en de

Bekijk vacature »

Medior PHP Developer

In totaal zijn jullie met 20 product developers. Iedere 8 weken zetten jullie een nieuwe focus sprint uit met een nieuw thema. Iedere sprint wordt er weer een nieuw team gevormd van 4 tot 6 developers. Hierdoor heb jij een goede band met al jouw collega’s en daarnaast ben je ook constant aan het leren. Iedere collega heeft weer andere kennis, waardoor iedereen het interessant vindt om onderling te sparren over verschillende vraagstukken. Er heerst een hoge flexibiliteit bij jullie op de werkvloer. Zo kun je bijvoorbeeld vrij tot 10 uur ’s ochtends binnen komen lopen en discussieert iedereen mee

Bekijk vacature »

C# developer gezocht (distributed systems, SOA, NS

Ben je een C# developer met een oplossingsgerichte mentaliteit en op zoek naar een veelzijdige baan binnen een kleinschalig dynamisch bedrijf, waar je mee kunt denken in het groter geheel? Waar je met mensen komt te werken die betrokken zijn en een gemeenschappelijk gevoel van verantwoordelijkheid hebben? En waar je werkt aan schaalbaarheidsuitdagingen zodat jouw software grote hoeveelheden data kan verwerken? Nieuwsgierig? Lees dan verder! Voor een Rotterdams bedrijf zijn we op zoek naar een enthousiaste, en met name leergierige, full stack developer of een web developer die graag full stack wil worden. Het bedrijf biedt geavanceerde technische oplossingen die

Bekijk vacature »

Fullstack C# developer gezocht, eigen product, inh

Ben je een C# developer en op zoek naar een nieuwe baan? Waar je naast C# en .NET Core ook werkt met (web)technieken als WebAPI, Angular en Xamarin? Waar je je kunt focussen op het maken van een eigen product en er ruimte is voor het leveren van kwaliteit? Nieuwsgierig? Lees dan verder! Voor een bedrijf in Alblasserdam zijn we momenteel op zoek naar een fullstack C# developer. Het gaat hier om een jong en stabiel bedrijf welke een online platform ontwikkeld heeft die complementair zijn aan de IoT apparatuur die ze reeds verkopen. Inmiddels wordt het platform wereldwijd verkocht,

Bekijk vacature »

Senior C# Developer

Organisatie: Voor een organisatie uit Den Haag ben ik opzoek naar een Senior C# .NET ontwikkelaar. De organisatie is er eentje van formaat. Zowel in grootte, maar ook in de bedrijfsvisie. Elk bedrijf heeft een restproduct. Is het je slager om de hoek, of je lokale Albert Heijn. Maar volgens deze organisatie zijn we te snel met het gebruiken van deze term. Wat voor de ene organisatie namelijk als afval word bestempeld, is voor een ander bedrijf een waardevolle grondstof. Oke dus even concreet. Al het afval wat we niet kunnen recyclen word vernietigd. Echter kan er veel meer uitgehaald

Bekijk vacature »

Medior C# developer / Unieke locatie in de zorgsec

Midden in een bosrijke omgeving ten Noorden van Utrecht ligt het hoofdkantoor van deze organisatie. Een absoluut unieke locatie voor de veeleisende ontwikkelaar die alleen genoegen neemt met het beste. Deze organisatie wordt gekenmerkt als een informele club developers die graag het beste in zichzelf en hun teamgenoot naar boven halen. Van een dagelijkse verse lunch tot uiteenlopende bedrijfsactiviteiten; deze organisatie heeft het allemaal! Ze zijn gespecialiseerd in software om het voor ziekenhuizen inhoudelijk overzichtelijk te maken hoe efficiënt hun processen verlopen. Hierbij ga je te werk in scrumteams van gemiddeld 5 personen, zodat jij met je team elke dag

Bekijk vacature »

Inhouse Java developer voor (internationale) proje

Vacature Omschrijving De volgende relatie werkt vanuit Amsterdam & Rotterdam aan gevoelige projecten voor grote klanten binnen en buiten Nederland. Voor hun is het dan ook erg belangrijk een veilig en vertrouwd product te leveren. Hiermee spelen zij in op de attitude van de werknemers, de mensen binnen hun bedrijf willen zichzelf steeds blijven ontwikkelen door erkende certificering te behalen van technieken waarmee ze ook direct aan de slag gaan. Functieomschrijving Je werkt binnen een hechte team dat bestaat uit developers/QA testers/ tussen de 15 en 20 man groot, afhankelijk van kantoor. Iedereen heeft verschillende expertises en samen brengen jullie

Bekijk vacature »

Front-end developer met interesse in het innoveren

Vacature Omschrijving Dit groeiend bedrijf bouwt al tien jaar aan innovatieve systemen en applicaties ten behoeve van personeelsprocessen. Het systeem draait in the cloud en kan efficiënt en foutloos plannen. De software is erg krachtig, maar gaat binnenkort in een nieuw jasje gestoken worden, om deze te innoveren en optimaliseren voor de eindgebruikers. Daarom zoekt dit groeiende bedrijf nadrukkelijk naar een front-end developer. Bezit jij de drive om samen met je collega experts het systeem te moderniseren en perfectioneren? Functieomschrijving Als front-end developer ga jij bijdragen aan het innoveren van de softwaresystemen om de gebruiksvriendelijkheid bij de klant te vergroten.

Bekijk vacature »

PHP Developer die wel een bakkie pleur lust&hellip

Vacature Omschrijving Een ras echt Rotterdams bedrijf. Dat is hoe deze organisatie het best omschreven kan worden. Als strategisch-creatief internetbureau bieden zij oplossingen voor internetvragen van hun klanten. Dit gaat van het creëren van een nieuwe corporate identity, social mediastrategie en het bouwen van complete webshops en apps. Het complete pakket. Door de combinatie van grafische en interactieve concepten komen zij tot een uitstekende technische realisatie waar hun klanten gelukkig van worden. Het team bestaat uit zowel strategische als creatieve specialisten. Daarnaast wordt er ook veel samengewerkt met externe partijen, om zo de best mogelijke oplossingen te bieden. Functieomschrijving Als

Bekijk vacature »

Fullstack developer / event software / Laravel / V

Hou jij van afwisseling? Ben je klaar met steeds hetzelfde doen? Constant bug fixen, onderhoud en dezelfde technieken? Zoek jij meer innovatie op technisch gebied? Wil jij op dit punt in je carrière breder ontwikkelen? Dit allemaal in-house, met een vast team van toppers? Dan ben je 100% geïnteresseerd in deze uitdaging. Lees dus snel verder! Organisatie Het bedrijf is namelijk gevestigd in Amsterdam. Ze zitten een kantoorpand met een moderne en strakke inrichting van binnen die net vernieuwd is door een binnenhuisarchitect. Het bedrijf is de grootste leverancier van zakelijke evenementensoftware van Nederland. Je word daarom door je klanten

Bekijk vacature »

PHP Developer

Jij draagt bij aan het vlaggenschip platform binnen deze organisatie. Dit platform draagt bij aan het selecteren van de juiste mediakanalen om zowel passieve als actieve kandidaten te bereiken. Hun doel is om het platform voor de klanten zo gebruiksvriendelijk mogelijk te maken. Je werkt in een agile (scrum) omgeving waarin jij je bijdrage levert applicaties en diensten van hoge kwaliteit. Hierbij ga je proactief ontwikkelingsplannen leiden voor nieuwe productinitiatieven en functieontwikkelingen. Samen met jou team ondersteun je het DevOps team bij het gebruiken van werkwijzen zoals CI, CD en geautomatiseerde releasemanagement. Je werkt in een team met ervaren webontwikkelaars

Bekijk vacature »

Senior .NET Developer met inspraak in de organisat

Heb jij het idee dat er te weinig naar je geluisterd wordt als developer? Dat al jouw goede ideeën onder de mat worden geschoven? Willen ze maar niet overstappen naar de laatste technieken? En begrijpt het management bij jouw huidige organisatie ook niks van IT? “Ja, we gaan er intern naar kijken en laten het je weten..”. En daarna doodse stilte. Maak jij dit momenteel ook mee? Je bent niet de enige. Organisatie Speciaal voor gedreven developers zoals jij is deze high-tech organisatie opgericht. Inmiddels zijn zij een gevestigde naam binnen de branche. Dit merk je door de ruime financiële

Bekijk vacature »

Jr.+/Med. Full-Stack .NET Developer

Organisatie Wil jij software maken die écht het verschil maakt in het leven van anderen? Software maken die het leven van jongeren én ouderen verbetert? Programmeren met een social impact? Lees dan verder! Voor deze high-tech organisatie in Limburg ben ik op zoek naar een full-stack .NET Developer. Ze hebben 2 jaar geleden een volledige reorganisatie doorgemaakt en werken nu hardcore scrum om hun software nog beter te maken. Tegelijkertijd hebben ze de omschakeling gemaakt naar de nieuwste technieken. Op de back-end kom je te werken met C# .NET MVC en op de front-end kom je te werken met JavaScript

Bekijk vacature »

Product Designer (UX and UI)

This is a role for a confident designer with strategic experience, to develop and grow engaging, cutting edge digital products. An exciting chance to help define the user experiences of the future, and drive innovation within a global company. Where you fit This is an exciting opportunity to join one of our new innovation hubs at Shell, as a Product Designer. Here, we take pride in doing things differently – by taking a unique approach of balancing human-centred and digital design with an agile technology capability to tackle complex problems in original ways. Taking on a role as a champion

Bekijk vacature »
Sylvester vader

sylvester vader

23/08/2019 11:03:48
Anchor link
hi uhm ik heb een klein probleempje en misschien kan iemand mij helpen

ik ben een crawlscript aan het maken om te kijken op welke positie een bepaalde advertentie staat op een andere website

dit script is voornamelijk bedoeld voor de adult wereld
denk ik hierbij
**specifieke adultsites**

enz

nou kan ik de meeste van die sites wel crawlen maar op 1 of andere manier kan ik geen info ontvangen van **een bepaalde andere site**

kan iemand met meer verstand hierin dit uitzoeken?

curl werkte bij mij niet en file_get_html ook niet

maar misschien doe ik iets fout
Gewijzigd op 23/08/2019 11:46:35 door - Ariën -
 
PHP hulp

PHP hulp

15/09/2019 17:02:55
 
- Ariën -
Beheerder

- Ariën -

23/08/2019 11:50:16
Anchor link
Edit:
Ik heb je bericht even aangepast en wat adultsites weggehaald. Volgens de Algemene Voorwaarden is dit niet toegestaan.

Agressieve, onwettelijke, bedreigende, lasterlijke, vulgaire, obscene, racistische, misleidende of anderszins ongepaste of irrelevante bijdragen, naar interpretatie van de redactie, zijn niet toegestaan.

Onthoud dat er ook minderjarigen op deze website zitten.


Kan je vertellen wat er fout gaat? Het is nu behoorlijk gokken. En onthoud ook dat scrapen van websites niet altijd gewenst is, en mogelijk tot consequenties kan leiden.
Gewijzigd op 23/08/2019 11:52:35 door - Ariën -
 
Sylvester vader

sylvester vader

23/08/2019 12:15:37
Anchor link
exuses exuses even niet aan gedacht

uhm wat gaat er fout nou uhm niks :P
ik krijg gewoon helemaal niks

ik heb nu een aantal scripts getest die ik heb gevonden op internet en ik krijg van die ene site gewoon helemaal niks

misschien hebben hun dit wel beveiligd hoor maar ik vroeg het mij gewoon af of iemand misschien een andere manier had
 
- Ariën -
Beheerder

- Ariën -

23/08/2019 12:16:38
Anchor link
Dan zal het een beveiliging zijn. Maar daar kunnen we je niet bij helpen. Het enige wat we kunnen zeggen is dat je met die site contact moet opnemen.
 
Sylvester vader

sylvester vader

23/08/2019 12:18:52
Anchor link
heb ik al gedaan :)
 
Rob Doemaarwat

Rob Doemaarwat

23/08/2019 15:45:33
Anchor link
Misschien wordt de content asynchroon geladen. De initiële HTML bevat dan alleen een placeholder, en de content komt via een asynchrone call (in JSON formaat). In dat geval zou je gewoon die asynchrone call kunnen replayen.
 
Thomas van den Heuvel

Thomas van den Heuvel

23/08/2019 17:10:25
Anchor link
En alle content zal doorgaans via HTTPS geserveerd worden.

cURL en file_get_contents() (file_get_html() bestaat niet...) zullen dus mogelijk niet zomaar out-of-the-box werken, hier moet je echt rekening houden met en de stappen doorlopen voor HTTPS.

En dan zullen dit soort sites beducht zijn voor scrapers. Als jij dus een HTTP-request doet waarbij deze in de verste verte niet afkomstig lijkt van een normale user agent (browser), dan wordt je request misschien al meteen neergeschoten.
 
Ivo P

Ivo P

24/08/2019 12:33:45
Anchor link
kijk ook eens naar welke http-code je terug krijgt van zo'n site.

404 voor not-found
maar er zijn ook meldingen voor "bad request", "geen toegang" en "forbidden".

Dat verraadt mogelijk ook nog iets.
 
Sylvester vader

sylvester vader

25/08/2019 09:30:58
Anchor link
Thomas van den Heuvel op 23/08/2019 17:10:25:
(file_get_html() bestaat niet...)


bestaat wel hoor :)

Toevoeging op 25/08/2019 09:32:21:

ps: Ivo P ik krijg niks binnen maar ik zal ff in me netwerk console ding kijken dat heb ik nog niet gedaan
 
Ivo P

Ivo P

25/08/2019 09:38:22
 
Sylvester vader

sylvester vader

25/08/2019 10:30:55
Anchor link
haha of zo ja :P

Toevoeging op 25/08/2019 10:38:42:

ok lol ik wordt verwezen naar me eigen 404 pagina
en in console krijg ik deze error

GET _Incapsula_Resource?SWUDNSAI=29&xinfo=4-43414976-0%200NNN%20RT%281566722178764%2092%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=277001820071552353-228678425522801508&edet=12&cinfo=04000000 404

Toevoeging op 25/08/2019 10:40:59:

betekent dit dat ze alleen bepaalde robots accepteren?
 
- Ariën -
Beheerder

- Ariën -

25/08/2019 10:46:00
Anchor link
Je eigen 404 pagina?
Dat is een URL en geen error. Kijk even bij de request-knop. Daar staan vaak interessante dingen.
 
Sylvester vader

sylvester vader

25/08/2019 11:03:23
Anchor link
uhm waar vind ik dat ?
maar uhm ik ff ff snel een test scriptje neergezet en die krijgt netjes 200 en naam van site binnen

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
$ch = curl_init('https://www.??????.nl');
curl_exec($ch);
$info = curl_getinfo($ch);
echo '' . $info['http_code'] . '<br>' . $info['url'];
curl_close($ch);


snap dus even niet waarom ik niks krijg van ze :P
 
- Ariën -
Beheerder

- Ariën -

25/08/2019 11:07:07
Anchor link
Dat kan je aan hun vragen. Omdat dit topic de illegale kant op gaat m.b.t scrapen van sites en met name het omzeilen van beveiligingen van websites, sluit ik dit topic.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.