website crawling

Overzicht

Sponsored by: Vacatures door Monsterboard

Medior .NET developer

Functie Jij gaat als Medior .NET ontwikkelaar aan de slag in ons scrumteam met 6 developers die gepassioneerd en actief bezig zijn om onze spelers kwalitatieve en mooie spelervaringen aan te bieden. Als medior .NET developer ga jij werken aan een technisch hoogwaardig platform welke bezoekerspieken verwerkt van tienduizenden tot honderdduizenden gebruikers per minuut! Ons scrumteam werkt in drie wekelijkse sprints en wij beginnen iedere ochtend met een stand-up. Jij werkt bij ons met C# .NET, .NET Core, React.JS, Xamarin, Azure, Docker en Kubernetes. Wij hechten enorm veel waarde aan het leveren van hoogwaardige en kwalitatieve code. Zodra jij de

Bekijk vacature »

Full stack developer Python, React

Functie Jij als full stack developer komt binnen onze Technology afdeling te werken. Deze bestaat momenteel uit 15 man. De stack waarmee wij werken is voornamelijk Python, Javascript, React en GraphQL. Binnen deze afdeling wordt er met multidisciplinaire teams gewerkt aan verschillende projecten. Projecten duren vaak langer dan 3 maanden en je bent van begin tot eind vaak betrokken. Naast dat je als full stack ontwikkelaar aan de slag gaat ben je ook Consultant. Dit betekent dat je ook klantcontact hebt in je rol en werkshops geeft. De verhouding tussen deze werkzaamheden zijn ongeveer 70% development en 30% consultancy. Een

Bekijk vacature »

Software developer (Python)

Functie Je komt te werken in het IT-team bestaande uit de Lead developer en 4 (medior/senior) developers. Gezamenlijk werken jullie aan de verbetering en uitbreiding van de software. Binnen het development team is er veel vrijheid en zelfstandigheid, zonder dat ze hiermee afdoen aan de kwaliteit. Zo hebben ze elke ochtend een korte stand-up (10:00 uur) en houden ze zo nu en dan pair-programming sessies. Ook is er een hele professionele ontwikkelcyclus waarbij code altijd eerst door een collega wordt getest voordat het naar deployement gaat. Je hebt in je werk oog voor kwaliteit, risico’s en het klantbelang. Communicatie met

Bekijk vacature »

Softwareontwikkelaar Cleopatra

Functieomschrijving Voor de gemeente Amsterdam zijn wij op zoek naar een softwareontwikkelaar Cleopatra. De directie Verkeer en Openbare ruimte van de gemeente Amsterdam beschikt over een softwareapplicatie, "Cleopatra", waarmee geautomatiseerde handhaving plaatsvindt (op basis van kentekenherkenning) van bepaalde gebieden waarin toegangseisen worden gesteld aan het verkeer. Voorbeelden ervan zijn de milieuzones, de zone zwaar verkeer, handhaving van brom- en snorfietser op het fietspad en autoluwe gebieden. Voor de doorontwikkeling en uitbreiding ervan zijn gespecialiseerde softwareontwikkelaars nodig die helpen bij het programmeren van de handhavingsmodules voor nieuwe gebieden en het verbeteren en bijwerken van de bestaande onderdelen van de softwareapplicatie. Functie

Bekijk vacature »

C# Developer Research and Development - Delft

Vacature details Vakgebied: Software/IT Opleiding: Medior Werklocatie: Delft Vacature ID: 6307 Introductie C# Developer Research and Development - Delft - Onze klant is één van de meest innovatieve bedrijven in de region van Delft. Op dit moment zijn ze voor het innovatie centrum. In het innovatie centrum wordt gewerkt aan de nieuwste technieken voor navigatie software. R&D / C# / Pattern Recognition / Algorithms / 3d Data / DotNET Functieomschrijving Als C# Developer kom je te werken in een innovatief scrumteam. We ontwikkelen en door ontwikkelen de nieuwste technieken op het gebied van navigatie software. Deze software wordt onder andere

Bekijk vacature »

SAP Integratie Ontwikkelaar

Ben jij ambitieus in de verdere ontwikkeling van SAP binnen HANOS, en heb je kennis van SAP PI, CPI (SAP integration suite) en of andere middleware tooling? Dan ben jij mogelijk onze nieuwe SAP Integratie (middleware) Ontwikkelaar! Lees snel verder en solliciteer! Wat ga je doen? Als SAP Financieel Consultant ben je, als deel van een gedreven team van interne SAP consultants, de schakel tussen de gebruikersorganisatie en ICT. Je draagt proactief bij aan een optimale aansluiting van de SAP-functionaliteit (een applicatielandschap met o.a. Suite on HANA, Fiori, Hybris, C4C en BO), op de bedrijfsprocessen. Verder ondersteun je de HANOS

Bekijk vacature »

Back-end Developer

Functieomschrijving Heb jij kort geleden jouw HBO ICT diploma in ontvangst mogen nemen? Of ben je toe aan een nieuwe uitdaging? Voor een gewaardeerde werkgever in regio Oosterhout zijn wij op zoek naar een back-end developer. Kennis of ervaring met C# & SQL is een must! Je bent verantwoordelijk voor de beheer en ontwikkeling van de software; Je draagt bij aan de implementatie van aanpassingen, verbeteringen en aanvullingen in de C# based applicaties; Je test de software en ontwikkelt deze door; Je houdt je bezig met het ontwikkelen van nieuwe functionaliteiten; Je brengt de aanpassingssuggesties van klanten in kaart, om

Bekijk vacature »

Software Developer / .NET / Azure

Dit ga je doen Als Lead .NET Software Developer zal je je bezig houden met: Het vertalen van bedrijfswensen naar een technische roadmap; Uitwerken van nieuwe architectuur / designs; Het team aansturen en motiveren; Toezien op de kwaliteit van de code; Mee ontwikkelen van nieuwe features en applicaties. Hier ga je werken Deze organisatie is op dit momenteel marktleider in het ontwikkelen van productielijnen voor de voedselindustrie en heeft een wereldwijd klantnetwerk. Binnen deze organisatie is het team van software developers dagelijks bezig met het ontwikkelen van maatwerk oplossingen om alle productiemachines aan te sturen, maar ook bedrijf kritische applicaties

Bekijk vacature »

(Junior) Back-end Ontwikkelaar

Functie omschrijving We are looking for a dutch native speaker Altijd al willen werken bij een organisatie, die maatwerk applicaties bouwt, die echt impact hebben in de maatschappij? Dit is je kans. Voor een kleine organisatie in de regio van Eindhoven ben ik op zoek naar een C# Ontwikkelaar. Jij gaat aan de slag met de ontwikkeling van maatwerk software en applicaties. Deze organisatie werkt voor grote organisaties in Nederland, maar ook voor het MKB. De projecten waar je aan gaat werken zijn erg divers, waardoor je werk uitdagend blijft en je erg veel kan leren. Verder ga je aan

Bekijk vacature »

Junior .NET Software Developer

Dit ga je doen Software development met behulp van C# .NET en / of PHP, je mag zelf kiezen waar jij je in wil specialiseren Meedenken over het nieuwe pakket, waar moet het aan voldoen? Unit-, integratie- en diverse andere tests schrijven en uitvoeren Nauw samenwerken met je IT collega's zoals Testers, Developers, DevOps Specialisten en Architecten Jezelf ontwikkelen met behulp van trainingen en cursussen Hier ga je werken Onze klant, een grote speler in de medische sector, is op zoek naar een enthousiaste junior (of meer ervaren) Software Developer die klaar is voor een nieuwe stap in zijn of

Bekijk vacature »

Junior Software Developer C# Verhuursector Verhuur

Samengevat: Wij ontwikkelen en leveren softwaresystemen voor de logistieke sector en de verhuursector. Ben jij geschikt als Junior Software Developer? Heb je ervaring met Delphi? Vaste baan: C# Software Developer Logistiek HBO €2.500 - €3.900 Deze werkgever is een software ontwikkelaar, gericht op software voor de logistieke sector. Deze werkgever heeft eigen producten ontwikkelen en leveren ook maatwerk. Ons bedrijf kent een boeiende en inspirerende werkomgeving met een open cultuur en mogelijkheden voor je verdere ontwikkeling. Bij bij hun werk je aan onze eigen bedrijfsapplicaties. Je ontwikkelt met ons de meest nieuwe software. Wij blinken uit als het gaat om

Bekijk vacature »

Traineeship IT regio Amsterdam/Utrecht

Wat ga je doen? Het traineeship begint met een fulltime maand cursussen en praktijkdagen, waarin je de basis van het IT-vak leert op de Shared Servicedesk (SSD). Daarnaast ga je meteen aan de slag voor je eerste certificering! (ITILv4). Je start in een groep met 4 tot 10 deelnemers, waarmee jij gedurende die maand optrekt en je kennis kunt delen. Na het voltooien van de eerste maand ga je direct voor een langere periode aan de slag bij één van onze klanten of blijf je intern bij ons op de Shared Servicedesk. Je bent het eerste aanspreekpunt van de eindgebruikers

Bekijk vacature »

Fullstack Software Developer

Functieomschrijving Voor een ambitieuze werkgever in regio Roosendaal zijn wij op zoek naar een Full Stack C#.NET Developer. Als software programmeur ben je verantwoordelijk voor het bouwen van webapplicaties, apps en dashboards voor de eigen IOT-oplossingen. Je werkt samen met andere developers en engineers om de sensoren in machines uit te lezen en deze data om te zetten in management informatie voor jullie klanten. Taken en verantwoordelijkheden: Verder ontwikkelen en onderhouden van webapplicaties, dashboards en apps voor de eigen IOT-oplossingen; Testen en goedkeuren van de software; Je gaat aan de slag met de volgende technologieën en frameworks: C#, JS frameworks,

Bekijk vacature »

Junior/Medior Front-end developer

Functie Als Front-end developer werk je intensief samen met 1 van de UX-designers en denk je mee over de gebruiksvriendelijkheid en design van onze web- en mobile apps. Je bent betrokken bij sessies met gebruikers om designs te valideren en usability van de app-in-wording te testen. Vervolgens gebruik je dit om samen met je team waarin ook back-end (.NET) developers zitten, te zorgen voor de realisatie van de best mogelijke apps voor studenten en docenten. Eisen • Je hebt een hands-on development en coding mind-set en werkt graag aan een high quality code base welke je consequent onderhouden kan worden

Bekijk vacature »

JAVA Programmeur

Bedrijfsomschrijving Functieomschrijving We zoeken per direct enthousiaste software engineers die ons team komen versterken.We werken in DevOps teams met een sterk gevoel voor verantwoordelijkheid. Er wordt nauw samengewerkt met ons Business analyse team (BAT), met onze uitvoerende medewerkers en met de DevOps teams onderling binnen het domein. Het liefst hebben we veel en vaak interactie met onze interne en externe eindgebruikers om zo de juiste dingen te maken. We werken multidisciplinair in een dynamische omgeving. Achtergrond opdracht De Businesseenheid Examens is verantwoordelijk voor de logistiek van de staatsexamens Voortgezet (speciaal) onderwijs, Nederlands als 2e taal en schoolexamens. In het kader

Bekijk vacature »
Sylvester vader

sylvester vader

23/08/2019 11:03:48
Anchor link
hi uhm ik heb een klein probleempje en misschien kan iemand mij helpen

ik ben een crawlscript aan het maken om te kijken op welke positie een bepaalde advertentie staat op een andere website

dit script is voornamelijk bedoeld voor de adult wereld
denk ik hierbij
**specifieke adultsites**

enz

nou kan ik de meeste van die sites wel crawlen maar op 1 of andere manier kan ik geen info ontvangen van **een bepaalde andere site**

kan iemand met meer verstand hierin dit uitzoeken?

curl werkte bij mij niet en file_get_html ook niet

maar misschien doe ik iets fout
Gewijzigd op 23/08/2019 11:46:35 door - Ariën -
 
PHP hulp

PHP hulp

20/04/2024 01:03:14
 
- Ariën  -
Beheerder

- Ariën -

23/08/2019 11:50:16
Anchor link
Edit:
Ik heb je bericht even aangepast en wat adultsites weggehaald. Volgens de Algemene Voorwaarden is dit niet toegestaan.

Agressieve, onwettelijke, bedreigende, lasterlijke, vulgaire, obscene, racistische, misleidende of anderszins ongepaste of irrelevante bijdragen, naar interpretatie van de redactie, zijn niet toegestaan.

Onthoud dat er ook minderjarigen op deze website zitten.


Kan je vertellen wat er fout gaat? Het is nu behoorlijk gokken. En onthoud ook dat scrapen van websites niet altijd gewenst is, en mogelijk tot consequenties kan leiden.
Gewijzigd op 23/08/2019 11:52:35 door - Ariën -
 
Sylvester vader

sylvester vader

23/08/2019 12:15:37
Anchor link
exuses exuses even niet aan gedacht

uhm wat gaat er fout nou uhm niks :P
ik krijg gewoon helemaal niks

ik heb nu een aantal scripts getest die ik heb gevonden op internet en ik krijg van die ene site gewoon helemaal niks

misschien hebben hun dit wel beveiligd hoor maar ik vroeg het mij gewoon af of iemand misschien een andere manier had
 
- Ariën  -
Beheerder

- Ariën -

23/08/2019 12:16:38
Anchor link
Dan zal het een beveiliging zijn. Maar daar kunnen we je niet bij helpen. Het enige wat we kunnen zeggen is dat je met die site contact moet opnemen.
 
Sylvester vader

sylvester vader

23/08/2019 12:18:52
Anchor link
heb ik al gedaan :)
 
Rob Doemaarwat

Rob Doemaarwat

23/08/2019 15:45:33
Anchor link
Misschien wordt de content asynchroon geladen. De initiële HTML bevat dan alleen een placeholder, en de content komt via een asynchrone call (in JSON formaat). In dat geval zou je gewoon die asynchrone call kunnen replayen.
 
Thomas van den Heuvel

Thomas van den Heuvel

23/08/2019 17:10:25
Anchor link
En alle content zal doorgaans via HTTPS geserveerd worden.

cURL en file_get_contents() (file_get_html() bestaat niet...) zullen dus mogelijk niet zomaar out-of-the-box werken, hier moet je echt rekening houden met en de stappen doorlopen voor HTTPS.

En dan zullen dit soort sites beducht zijn voor scrapers. Als jij dus een HTTP-request doet waarbij deze in de verste verte niet afkomstig lijkt van een normale user agent (browser), dan wordt je request misschien al meteen neergeschoten.
 
Ivo P

Ivo P

24/08/2019 12:33:45
Anchor link
kijk ook eens naar welke http-code je terug krijgt van zo'n site.

404 voor not-found
maar er zijn ook meldingen voor "bad request", "geen toegang" en "forbidden".

Dat verraadt mogelijk ook nog iets.
 
Sylvester vader

sylvester vader

25/08/2019 09:30:58
Anchor link
Thomas van den Heuvel op 23/08/2019 17:10:25:
(file_get_html() bestaat niet...)


bestaat wel hoor :)

Toevoeging op 25/08/2019 09:32:21:

ps: Ivo P ik krijg niks binnen maar ik zal ff in me netwerk console ding kijken dat heb ik nog niet gedaan
 
Ivo P

Ivo P

25/08/2019 09:38:22
 
Sylvester vader

sylvester vader

25/08/2019 10:30:55
Anchor link
haha of zo ja :P

Toevoeging op 25/08/2019 10:38:42:

ok lol ik wordt verwezen naar me eigen 404 pagina
en in console krijg ik deze error

GET _Incapsula_Resource?SWUDNSAI=29&xinfo=4-43414976-0%200NNN%20RT%281566722178764%2092%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=277001820071552353-228678425522801508&edet=12&cinfo=04000000 404

Toevoeging op 25/08/2019 10:40:59:

betekent dit dat ze alleen bepaalde robots accepteren?
 
- Ariën  -
Beheerder

- Ariën -

25/08/2019 10:46:00
Anchor link
Je eigen 404 pagina?
Dat is een URL en geen error. Kijk even bij de request-knop. Daar staan vaak interessante dingen.
 
Sylvester vader

sylvester vader

25/08/2019 11:03:23
Anchor link
uhm waar vind ik dat ?
maar uhm ik ff ff snel een test scriptje neergezet en die krijgt netjes 200 en naam van site binnen

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
$ch = curl_init('https://www.??????.nl');
curl_exec($ch);
$info = curl_getinfo($ch);
echo '' . $info['http_code'] . '<br>' . $info['url'];
curl_close($ch);


snap dus even niet waarom ik niks krijg van ze :P
 
- Ariën  -
Beheerder

- Ariën -

25/08/2019 11:07:07
Anchor link
Dat kan je aan hun vragen. Omdat dit topic de illegale kant op gaat m.b.t scrapen van sites en met name het omzeilen van beveiligingen van websites, sluit ik dit topic.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.