website crawling

Overzicht

Sponsored by: Vacatures door Monsterboard

Developer / GIS / Esri / Ingenieursbureau

Functieomschrijving Ben jij een Software Developer met minimaal drie jaar ervaring en wil jij aan werken aan toonaangevende GIS software? Spreekt het jou aan om binnen een innovatief ingenieursbureau te werken aan uiteenlopende projecten voor diverse grote en bekende namen in Nederland? Lees dan nu verder! Ontwikkelen van nieuwe GIS software met behulp van Esri; Ontwikkelen en bedenken van nieuwe koppelingen en mobiele oplossingen; Werken aan uiteenlopende projecten voor grote en bekende organisaties in Nederland; Samenwerken in zelfsturende Agile teams; Werken aan innovatie en kennisdeling. Functie-eisen Minimaal HBO en/of WO werk- en denkniveau; Minimaal 3 jaar ervaring als Developer met

Bekijk vacature »

.NET Developer / C# / Microservices / Azure

Functieomschrijving Ben jij een senior .NET Developer en wil jij een bijdrage leveren aan een gezondere wereld door innovatieve software te ontwikkelen? Wil jij werken met de nieuwste technieken zoals C#, Docker en Azure? Lees dan nu verder! Het ontwikkelen van software inclusief vormgeving, implementaties, integraties en testen; Het in kaart brengen van software requirements; Zorgen dat jouw code kwalitatief hoogstaand is; Uitvoeren van risico analyses; Bijdrage leveren aan het continuous quality improvement process. Functie-eisen Minimaal 3 jaar ervaring als .NET Developer; Je hebt ervaring met C#, Azure Devops of TFS; Je hebt ervaring met ASP.NET Core, MVC, Docker en

Bekijk vacature »

C# .NET Developer / Amsterdam / Financiële om

Functieomschrijving Ben jij een senior C# .NET Developer en wil jij een bijdrage leveren aan een grote Noord-Europese financiële organisatie door innovatieve features te implementeren? Wil jij werken met C# en krijg jij energie van requirements uit de business vertalen naar concrete mogelijkheden? Lees dan nu verder! Als developer nieuwe gave features implementeren; Werken met technieken als C# .NET en (REST) API's webservices; Ontwikkelen van koppelingen middels API's; Maken van technische keuzes en beslissingen over de architectuur; Junior collega's coachen; Initiatief nemen voor nieuwe technische mogelijkheden; Je bent een belangrijke schakel - en vindt het leuk - om te schakelen

Bekijk vacature »

Medior Outsystems Developer

Functieomschrijving Do you have over two years of Outsystems experience? Do you have programming experience in .NET and are you proactive and highly analytical? Don’t hesitate and apply! (Further)Development of a HR application; Maintenance of the HR application; Sharing/gaining knowledge with your Outsystems colleagues; Creating standards for Outsystems development. Functie-eisen HBO+ work and thinking level, and preferably in IT; Minimum of 2 years of OutSystems development experience; OutSystems professional Web Developer certification is a pré; A pro-active go-getter attitude. Bedrijfsomschrijving Our relation is an international organization situated around Amsterdam. They are well-known for their innovative services in IT area and

Bekijk vacature »

Senior Java Developer

Werk jij graag op de grens van het onmogelijke en geef jij onze klanten bij de unit Public Transport een beslissende voorsprong in de markt? en jij een gedreven en ondernemende professional die vooroploopt in zijn/haar vakgebied? Senior Java Developer - Public Transport Wat ga je doen? Als Java consultant bij CGI maak je deel uit van de grootste en meest actieve Java community van Nederland. Als gedreven ontwikkelaar help je complexe systemen te realiseren voor onze klanten. Je maakt in eenvoudige taal aan een klant duidelijk welke software oplossingen op zijn of haar organisatie van toepassing kunnen zijn. Je

Bekijk vacature »

C# Developer

De uitgebreide versie Jij hebt ruim twee jaar ervaring als developer. Nu wil je graag je tanden zetten in nog complexere projecten. Samen met je team bereik je nieuwe hoogtes en zelfstandig maak je meters. Je hebt behoefte aan collegae die jou alles leren op het gebied van technologie maar wilt tegelijkertijd ook graag je eigen opgedane kennis delen. Alles wat vandaag nog onbekend is, moet je morgen toepassen in de volgende uitdaging en dàt is wat jou scherp houdt. Je hebt geen zin in een 60-urige werkweek maar haalt wel plezier uit zo nu en dan een technische meeting,

Bekijk vacature »

Java developer / Goede doelen organisatie

Functieomschrijving Wil jij als Java developer bijdragen aan een betere wereld? Ben jij een developer die graag afwisseling in zijn werk heeft? Dan is dit de baan voor jou! Als software developer werk je in teamverband aan het bouwen en uitbreiden van diverse financiële applicaties, alsmede de koppeling met diverse externe leveranciers (ASP’s); Om aan de specifieke wensen, ingegeven door de doelstellingen van de klant, gehoor te geven worden de applicaties binnen de organisatie ontwikkeld en op maat gemaakt; Het hele Java EE spectrum van de web front-end, EJB’s tot aan de connectoren naar de database komt hier bij kijken.

Bekijk vacature »

Junior Software Developer / C#

Functieomschrijving Heb jij al enige ervaring op het gebied van software development en bij voorkeur een afgeronde ICT opleiding? Heb je al enige ervaring met C# / .NET en ben je op zoek naar je eerste of tweede baan? Lees dan deze vacature! Je werkt als Software Developer aan industriële software / software gericht op machine besturing en maakt gebruik van C# en C; Je denkt mee over de architectuur en het design; Je weet requirements te vertalen naar de technische oplossing; Je onderzoekt issues en lost storingen op waar nodig; Je denkt mee over de doorontwikkeling van de software

Bekijk vacature »

Progress Developer / Internationale markt

Functieomschrijving Wil jij in een toonaangevende organisatie werken met de ambitie om de (inter-)nationale markt te bewerken? Reageer dan nu! Uitvoeren van analyses ter bevordering van de betrouwbaarheid en performance van de applicatie; Implementeren van functionaliteiten in eigen Back Office pakket; Meedenken over de architectuur en tevens waarborgen van de architectuur; Programmeren van functionele en technische wijzigingen; Bijwerken van documentatie; Troubleshooten van complexe incidenten; Aanroepen van webservices, message handling; Functie-eisen Minimaal HBO werk en denkniveau; 6+ jaar ervaring in software ontwikkeling; Ruime ervaring met Progress / OpenEdge; Zeer sterk analytisch vermogen; Je bent communicatief en je gaat proactief te werk;

Bekijk vacature »

Informatieanalist

Hou je van analyseren, structureren, specificeren en problemen oplossen en vraag je door tot je het begrijpt? Kan jij complexe processen eenvoudig en helder beschrijven? Ben je daarnaast nieuwsgierig naar de ontwikkelingen van de digitale bibliotheek? Dan ben jij misschien wel de Informatieanalist waarnaar we op zoek zijn. Wat ga je bij ons doen? Als Informatieanalist maak je onderdeel uit van een team van vier informatieanalisten. Je wordt ingezet voor verschillende projecten en analysewerkzaamheden. Zo vertaal je onder meer informatiebehoeften vanuit verschillende werk- en bedrijfsprocessen in informatievoorziening. Je hebt een onmiskenbare rol bij de ondersteuning van de “business” met het

Bekijk vacature »

.NET developer / C# / Azure / Zorg

Functieomschrijving Ben jij een .NET Developer met minimaal 2-3 jaar ervaring en ben je toe aan de volgende stap in je carrière? Wil jij werken op het hoogste niveau en aan de slag gaan bij de .NET ontwikkel organisatie van Brabant? Dan is deze functie perfect voor jou! Programmeren van high-availability en high-security applicaties in C#; Samen met je teamgenoten nieuwe applicaties/diensten ontwikkelen in .NET; Overleggen met de informatie analisten en testers; Ontwikkelen van webservices (WCF); 20% van je tijd besteden aan innovatie; Deelnemen aan projecten om nieuwe ketenpartijen toe te voegen; Bouwen van unit testen. Functie-eisen Beschikt over HBO/WO

Bekijk vacature »

Java Developer Internationaal complexe calculaties

Functieomschrijving Kom jij het best tot je recht in een creatieve omgeving en heb jij een pragmatisch instelling? Denk jij graag vijf stappen vooruit en neem je andere daarin mee? Dan pas je zeker bij dit bedrijf. Lees dus snel verder. Ontwikkelen van applicaties en nieuwe functionaliteiten in Java; Aanpassingen maken in bestaande code; Overleggen en samenwerken met architecten en Product Owners; Werken binnen een multidisciplinair Scrumteam met betrekking tot analyse, design en ontwikkeling; Samenwerken en ondersteunen van testers in het proces van automatische regressietesten. Functie-eisen Je hebt minimaal een afgeronde HBO of WO opleiding in de richting van de

Bekijk vacature »

PHP ontwikkelaar / Innovatie / Creativiteit

Functieomschrijving Ben jij de ontwikkelaar die op de hoogte is van de laatste ontwikkelingen en sta jij te springen om de nieuwste tools en technieken toe te passen in jouw werk? Trek dan nu aan de bel! Deze organisatie is al meer dan 20 jaar actief in het verzamelen en doorsturen van grote hoeveelheden data. Dit gebeurt doormiddel van hun zelf ontwikkelde platform die verschillende communicatieoplossingen biedt. Met bijna 600 gebruikers kan je jezelf wel inbeelden hoe groot de hoeveelheid data aan tekst, afbeeldingen en voicerecords is. Om er voor te zorgen dat de applicatie up-to-date, innovatief en vernieuwend is,

Bekijk vacature »

Software Developer / industriële automatiseri

Functieomschrijving Heb jij ervaring als Software Developer en werk jij graag aan software, gericht op machine besturing? Is C# jouw zeer bekend en werk jij graag in een informeel bedrijf met een platte structuur? Dan zijn wij op zoek naar jou voor een organisatie in regio Eindhoven! Je werkt als Software Developer aan industriële software / software gericht op machine besturing en maakt gebruik van C# en C; Je denkt mee over de architectuur en het design; Je weet requirements te vertalen naar de technische oplossing; Je onderzoekt issues en lost storingen op waar nodig; Je denkt mee over de

Bekijk vacature »

Delphi Developer gezocht voor organisatie die Delp

Functieomschrijving Dankzij jouw software krijgen klanten meer inzicht in hun processen in kunnen deze processen bijvoorbeeld steeds verder geautomatiseerd worden. Je komt aan zeer uiteenlopende projecten te werken voor een grote diversiteit aan opdrachtgevers. Hierbij kun je bijvoorbeeld denken aan een applicatie die gebruikt wordt voor het plannen van werkzaamheden, maar bijvoorbeeld ook een website voor een klant. Één ding is zeker; Delphi is jouw kerntaak! Daarnaast werk je ook met SQL. Je opleidingsniveau is voor deze functie van ondergeschikt belang, het is belangrijk dat je ruime ervaring hebt op het gebied van Delphi. Samen met je collega's ben je

Bekijk vacature »
Sylvester vader

sylvester vader

23/08/2019 11:03:48
Anchor link
hi uhm ik heb een klein probleempje en misschien kan iemand mij helpen

ik ben een crawlscript aan het maken om te kijken op welke positie een bepaalde advertentie staat op een andere website

dit script is voornamelijk bedoeld voor de adult wereld
denk ik hierbij
**specifieke adultsites**

enz

nou kan ik de meeste van die sites wel crawlen maar op 1 of andere manier kan ik geen info ontvangen van **een bepaalde andere site**

kan iemand met meer verstand hierin dit uitzoeken?

curl werkte bij mij niet en file_get_html ook niet

maar misschien doe ik iets fout
Gewijzigd op 23/08/2019 11:46:35 door - Ariën -
 
PHP hulp

PHP hulp

27/01/2020 10:33:09
 
- Ariën -
Beheerder

- Ariën -

23/08/2019 11:50:16
Anchor link
Edit:
Ik heb je bericht even aangepast en wat adultsites weggehaald. Volgens de Algemene Voorwaarden is dit niet toegestaan.

Agressieve, onwettelijke, bedreigende, lasterlijke, vulgaire, obscene, racistische, misleidende of anderszins ongepaste of irrelevante bijdragen, naar interpretatie van de redactie, zijn niet toegestaan.

Onthoud dat er ook minderjarigen op deze website zitten.


Kan je vertellen wat er fout gaat? Het is nu behoorlijk gokken. En onthoud ook dat scrapen van websites niet altijd gewenst is, en mogelijk tot consequenties kan leiden.
Gewijzigd op 23/08/2019 11:52:35 door - Ariën -
 
Sylvester vader

sylvester vader

23/08/2019 12:15:37
Anchor link
exuses exuses even niet aan gedacht

uhm wat gaat er fout nou uhm niks :P
ik krijg gewoon helemaal niks

ik heb nu een aantal scripts getest die ik heb gevonden op internet en ik krijg van die ene site gewoon helemaal niks

misschien hebben hun dit wel beveiligd hoor maar ik vroeg het mij gewoon af of iemand misschien een andere manier had
 
- Ariën -
Beheerder

- Ariën -

23/08/2019 12:16:38
Anchor link
Dan zal het een beveiliging zijn. Maar daar kunnen we je niet bij helpen. Het enige wat we kunnen zeggen is dat je met die site contact moet opnemen.
 
Sylvester vader

sylvester vader

23/08/2019 12:18:52
Anchor link
heb ik al gedaan :)
 
Rob Doemaarwat

Rob Doemaarwat

23/08/2019 15:45:33
Anchor link
Misschien wordt de content asynchroon geladen. De initiële HTML bevat dan alleen een placeholder, en de content komt via een asynchrone call (in JSON formaat). In dat geval zou je gewoon die asynchrone call kunnen replayen.
 
Thomas van den Heuvel

Thomas van den Heuvel

23/08/2019 17:10:25
Anchor link
En alle content zal doorgaans via HTTPS geserveerd worden.

cURL en file_get_contents() (file_get_html() bestaat niet...) zullen dus mogelijk niet zomaar out-of-the-box werken, hier moet je echt rekening houden met en de stappen doorlopen voor HTTPS.

En dan zullen dit soort sites beducht zijn voor scrapers. Als jij dus een HTTP-request doet waarbij deze in de verste verte niet afkomstig lijkt van een normale user agent (browser), dan wordt je request misschien al meteen neergeschoten.
 
Ivo P

Ivo P

24/08/2019 12:33:45
Anchor link
kijk ook eens naar welke http-code je terug krijgt van zo'n site.

404 voor not-found
maar er zijn ook meldingen voor "bad request", "geen toegang" en "forbidden".

Dat verraadt mogelijk ook nog iets.
 
Sylvester vader

sylvester vader

25/08/2019 09:30:58
Anchor link
Thomas van den Heuvel op 23/08/2019 17:10:25:
(file_get_html() bestaat niet...)


bestaat wel hoor :)

Toevoeging op 25/08/2019 09:32:21:

ps: Ivo P ik krijg niks binnen maar ik zal ff in me netwerk console ding kijken dat heb ik nog niet gedaan
 
Ivo P

Ivo P

25/08/2019 09:38:22
 
Sylvester vader

sylvester vader

25/08/2019 10:30:55
Anchor link
haha of zo ja :P

Toevoeging op 25/08/2019 10:38:42:

ok lol ik wordt verwezen naar me eigen 404 pagina
en in console krijg ik deze error

GET _Incapsula_Resource?SWUDNSAI=29&xinfo=4-43414976-0%200NNN%20RT%281566722178764%2092%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=277001820071552353-228678425522801508&edet=12&cinfo=04000000 404

Toevoeging op 25/08/2019 10:40:59:

betekent dit dat ze alleen bepaalde robots accepteren?
 
- Ariën -
Beheerder

- Ariën -

25/08/2019 10:46:00
Anchor link
Je eigen 404 pagina?
Dat is een URL en geen error. Kijk even bij de request-knop. Daar staan vaak interessante dingen.
 
Sylvester vader

sylvester vader

25/08/2019 11:03:23
Anchor link
uhm waar vind ik dat ?
maar uhm ik ff ff snel een test scriptje neergezet en die krijgt netjes 200 en naam van site binnen

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
$ch = curl_init('https://www.??????.nl');
curl_exec($ch);
$info = curl_getinfo($ch);
echo '' . $info['http_code'] . '<br>' . $info['url'];
curl_close($ch);


snap dus even niet waarom ik niks krijg van ze :P
 
- Ariën -
Beheerder

- Ariën -

25/08/2019 11:07:07
Anchor link
Dat kan je aan hun vragen. Omdat dit topic de illegale kant op gaat m.b.t scrapen van sites en met name het omzeilen van beveiligingen van websites, sluit ik dit topic.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.