website crawling

Overzicht

Sponsored by: Vacatures door Monsterboard

.NET Developer Azure

Dit ga je doen Het ontwerpen en bouwen van diverse applicaties (C#, ASP.NET, MVC); Het ontwikkelen van Webservices (WCF); Het meewerken aan de transitie naar Azure; Het samenwerken met collega's binnen een Scrumteam en meedenken over de User Stories; Het bouwen van unittesten; Meedenken over nieuwe tooling, ontwikkelingen en technologieën in de markt. Hier ga je werken Je komt te werken bij een organisatie die verantwoordelijk is voor de ontwikkeling van verschillende portalen. Deze portalen worden gebruikt door diverse partijen en jouw taak is om ervoor te zorgen dat deze optimaal functioneren. Je wordt onderdeel van een Scrumteam en werkt

Bekijk vacature »

Medior C# Developer

Samen met het development team zorg je ervoor dat alle systemen achter de schermen vlekkeloos werken. Wat doe je als Medior C# Developer bij Coolblue? Als C# developer doe je regelmatig mee aan brainstormsessies over user experience, data en task flow met de UX Designer, Product Owner en Data Scientist in je team. Daarnaast schrijf je op zichzelf staande, consistente en testbare code die goed onderhoudbaar en toekomstbestendig is. Ook C# Developer worden bij Coolblue? Lees hieronder of het bij je past. Dit vind je leuk om te doen Werken met verschillende soorten data-opslag, zoals Oracle of AWS. Problemen oplossen

Bekijk vacature »

Back end Node.js developer

Functie Het ontwikkelteam bestaat momenteel uit 5 (back-end) Developers, 2 systeembeheerders, 1 DevOps engineer, 1 Tech Lead en 2 Scrum Masters. Samen wordt er doorontwikkeld aan twee SaaS-platformen die in een hoog tempo doorontwikkeld moeten worden. Omdat innovatie een belangrijk speerpunt binnen de organisatie is, wordt er ook continu naar snellere en slimmere oplossingen te bedenken en realiseren. Als Back-end Developer hou jij je dagelijks bezig met vraagstukken zoals: API-development, high volume datastromen, het ontwikkelen van Bots aan de hand van A.I. Daarnaast denk en werk jij mee aan de onlineapplicaties voor klanten. Er wordt zelfstandig en in teamverband gewerkt

Bekijk vacature »

C#.NET Developer

Dit ga je doen Ontwikkelen van de Back-end in .NET6 / C# en WebAPI (Focus);) Ontwikkelen van de Front-End in Nodje.js en Angular (secundair); Opstellen van een technisch ontwerp; Testen, documenteren en implementeren van de nieuwe applicatie; Verzorgen van de nazorg, na de implementatie; Het oplossen van bugs en incidenten. Hier ga je werken Als C#.NET Developer binnen deze organisatie kan jij het verschil maken. Zij werken momenteel nog met programmatuur die is ontwikkeld in C++. Hiervan gaan zij afscheid nemen zodra alle nieuwe software in C#.NET geschreven is. Een grootschalig en langdurig project. Voor hen is deze software van

Bekijk vacature »

(Junior) Back-end Ontwikkelaar

Functie omschrijving We are looking for a dutch native speaker Altijd al willen werken bij een organisatie, die maatwerk applicaties bouwt, die echt impact hebben in de maatschappij? Dit is je kans. Voor een kleine organisatie in de regio van Eindhoven ben ik op zoek naar een C# Ontwikkelaar. Jij gaat aan de slag met de ontwikkeling van maatwerk software en applicaties. Deze organisatie werkt voor grote organisaties in Nederland, maar ook voor het MKB. De projecten waar je aan gaat werken zijn erg divers, waardoor je werk uitdagend blijft en je erg veel kan leren. Verder ga je aan

Bekijk vacature »

C# .NET Developer

Dit ga je doen Je richt je op het doorontwikkelen en herstructureren van het platform; Je werkt in teamverband en zelfstandig aan uitdagende projecten voor verschillende klanten; Softwareontwikkeling middels C# .NET; Je staat in contact met verschillende opdrachtgevers om de klantwensen te bespreken en deze vervolgens te ontwikkelen; Verbeteren van bedrijfsprocessen; Implementaties. Hier ga je werken Als .NET Developer kom je te werken in de regio van Lelystad bij een organisatie die met toonaangevende klanten uit heel Nederland samen werkt. De producten en diensten van de organisatie bereiken miljoenen Nederlanders. Hierbij komt een grote hoeveelheid informatie kijken en deze moet

Bekijk vacature »

Software Ontwikkelaar

Functieomschrijving In deze uitdagende functie als Software Developer ga je de volgende taken uitvoeren: Maatwerk back-end software programmeren; API koppelingen bouwen; Software optimaliseren voor klanten; Bouwen maatwerk applicaties; Werken met Microsoft stack zoals C#, .NET (Core) en Entity framework; Bedrijfsprofiel Je gaat werken bij een klein softwareontwikkelingsbureau, die maatwerk software bouwt voor klanten door heel Nederland. Dit doen zij al meer dan 20 jaar. Het is van oorsprong een familiebedrijf, opgezet door de eigenaar, die er nog steeds werkt. Het team bestaat vooral uit back-end developers en één systeembeheerder. Je krijgt veel kans om jezelf te ontwikkelen en krijgt tevens

Bekijk vacature »

Starter/junior Magento developer gezocht!

Functie Je komt te werken in een zelfsturend team waarin vertrouwen voorop staat en inbreng en ideeën worden gewaardeerd. Ook staat innovatie centraal. Ze bieden jou de mogelijkheid om jezelf door te ontwikkelen. Denk hierbij aan cursussen en een persoonlijk ontwikkelplan. Je komt terecht in het team van momenteel 4 (ervaren) collega’s en zal meewerken aan de doorontwikkeling en nieuwbouw van de Magento platformen van meerdere opdrachtgevers volgens Agile/Scrum. Denk hierbij aan nieuwe functionaliteiten, UX en koppelingen met verschillende back-end systemen. Als starter/junior developer zul je direct begeleid worden door een senior uit het team. Het is van belang dat

Bekijk vacature »

Ambitieuze medior developer

Wat je gaat doen: Heb jij al een paar jaar ervaring als developer maar wil jij naar the next level? In ons NextLevelDev Programma helpen wij jou om de volgende stap te zetten: een mooi programma aan trainingen op het gebied van Java, hippe frameworks, Agile/Scrum, OCP-certificering en optioneel: andere JVM-talen als Kotlin en Scala; Cloud (AWS, Azure, GCP) Soc Of beter nog, wat wil jij doen? Binnen DPA GEOS zijn we dan ook op zoek naar enthousiaste Java developers om ons development team te versterken. Als Java developer werk je in Agile/Scrum teams bij onze klanten en daarbij kun

Bekijk vacature »

.NET Developer

Dit ga je doen Binnen het team bouw je aan een applicatie met andere .Net Developers, testers een Product Owner en een Business Analyst. Met het team wordt de backlog besproken. In overleg claim jij jouw deel en zorgt ervoor dat onderhoud en innovatie wordt gerealiseerd. Het project dat momenteel draait is het opgraden van de omgeving. Doorontwikkelen van de huidige applicatie; Overleggen met teamleden om de backlog te verdelen; Onderhouden van de huidige omgeving; Sparren met de business en het ophalen van nieuwe requirements. Hier ga je werken De organisatie is een van de grootste landelijke aanbieder van diverse

Bekijk vacature »

.NET Developer

Functie De perfecte combinatie tussen techniek en vastgoed. Werk samen met de senior software developer om allerlei software van fluX te verbeteren. Gelukkig voel jij je helemaal thuis in de codewereld van .NET. Dus of je nu bezig bent met het verhogen van de conformiteitscore of het automatiseren van allerlei taxatiemodellen, jij weet precies hoe je de doelstellingen realiseert. En dat terwijl je ook samenwerkt met een extern ontwikkelteam. Waar dit team bepaalde softwaresystemen ontwikkelen, richt jij je vooral op onze Nederlands georiënteerde producten en alle wetgeving die daarbij komt kijken. Voor minimaal 32 uur per week verrijk jij onze

Bekijk vacature »

PHP developer

Functie Voor een opdrachtgever in omgeving Leiden zijn wij op zoek naar een PHP developer die affiniteit heeft met C++. Ben jij reeds afgestudeerd of heb je al een paar jaar ervaring? Lees snel verder en kijk of dit iets voor jou is! Hoe kan jouw dag er straks uitzien? Je gaat software en webapplicaties ontwikkelen met behulp van de talen C / C++ / PHP. Je gaat technische klussen uitvoeren op locatie bij klanten. Je onderhoudt contact met de projectleider om er zeker van te zijn dat een projecten goed verlopen. Je gaat klanten ondersteunen op het gebied van

Bekijk vacature »

Software Developer / .NET / Azure

Dit ga je doen Als Lead .NET Software Developer zal je je bezig houden met: Het vertalen van bedrijfswensen naar een technische roadmap; Uitwerken van nieuwe architectuur / designs; Het team aansturen en motiveren; Toezien op de kwaliteit van de code; Mee ontwikkelen van nieuwe features en applicaties. Hier ga je werken Deze organisatie is op dit momenteel marktleider in het ontwikkelen van productielijnen voor de voedselindustrie en heeft een wereldwijd klantnetwerk. Binnen deze organisatie is het team van software developers dagelijks bezig met het ontwikkelen van maatwerk oplossingen om alle productiemachines aan te sturen, maar ook bedrijf kritische applicaties

Bekijk vacature »

Front-end Developer

Functie omschrijving Wij zijn op zoek naar een Front-end Developer! Als Front-end Developer binnen dit softwarebedrijf ga je de frontends voor zowel je eigen interne projecten als die voor klanten opzetten, onderhouden en uitbreiden. Je zet ideeën om naar mooie successen voor de klanten. Dat is in een notendop wat je gaat doen! Wat kun je verwachten? Je werkt aan de doorontwikkeling van bestaande maatwerkapplicaties. Bijvoorbeeld wanneer de klant de applicatie wil uitbreiden met een nieuwe feature; Samen met het team van backenders en desginers zet je nieuwe ideeën van klanten om naar mooie oplossingen; Je werkt met verschillende frameworks.

Bekijk vacature »

C#.NET Developer

Functieomschrijving We are looking for a dutch native speaker In deze uitdagende functie ga je werken als onderdeel van het development team, in de functie van C#.NET Developer, Je gaat maatwerk software bouwen voor diverse klanten. Ook optimaliseer je bestaande software en bouw je API koppelingen. Je bent vooral met back-end development bezig. Je krijgt veel vrijheid in deze functie en je krijgt de kans om mee te denken in bedrijfsprocessen. Deels thuiswerken is geen enkel probleem! Bedrijfsprofiel Deze organisatie is gevestigd in de regio van Boxtel. Het is van oorsprong een familiebedrijf, die gestart zijn met het bouwen van

Bekijk vacature »
Sylvester vader

sylvester vader

23/08/2019 11:03:48
Anchor link
hi uhm ik heb een klein probleempje en misschien kan iemand mij helpen

ik ben een crawlscript aan het maken om te kijken op welke positie een bepaalde advertentie staat op een andere website

dit script is voornamelijk bedoeld voor de adult wereld
denk ik hierbij
**specifieke adultsites**

enz

nou kan ik de meeste van die sites wel crawlen maar op 1 of andere manier kan ik geen info ontvangen van **een bepaalde andere site**

kan iemand met meer verstand hierin dit uitzoeken?

curl werkte bij mij niet en file_get_html ook niet

maar misschien doe ik iets fout
Gewijzigd op 23/08/2019 11:46:35 door - Ariën -
 
PHP hulp

PHP hulp

20/04/2024 16:59:47
 
- Ariën  -
Beheerder

- Ariën -

23/08/2019 11:50:16
Anchor link
Edit:
Ik heb je bericht even aangepast en wat adultsites weggehaald. Volgens de Algemene Voorwaarden is dit niet toegestaan.

Agressieve, onwettelijke, bedreigende, lasterlijke, vulgaire, obscene, racistische, misleidende of anderszins ongepaste of irrelevante bijdragen, naar interpretatie van de redactie, zijn niet toegestaan.

Onthoud dat er ook minderjarigen op deze website zitten.


Kan je vertellen wat er fout gaat? Het is nu behoorlijk gokken. En onthoud ook dat scrapen van websites niet altijd gewenst is, en mogelijk tot consequenties kan leiden.
Gewijzigd op 23/08/2019 11:52:35 door - Ariën -
 
Sylvester vader

sylvester vader

23/08/2019 12:15:37
Anchor link
exuses exuses even niet aan gedacht

uhm wat gaat er fout nou uhm niks :P
ik krijg gewoon helemaal niks

ik heb nu een aantal scripts getest die ik heb gevonden op internet en ik krijg van die ene site gewoon helemaal niks

misschien hebben hun dit wel beveiligd hoor maar ik vroeg het mij gewoon af of iemand misschien een andere manier had
 
- Ariën  -
Beheerder

- Ariën -

23/08/2019 12:16:38
Anchor link
Dan zal het een beveiliging zijn. Maar daar kunnen we je niet bij helpen. Het enige wat we kunnen zeggen is dat je met die site contact moet opnemen.
 
Sylvester vader

sylvester vader

23/08/2019 12:18:52
Anchor link
heb ik al gedaan :)
 
Rob Doemaarwat

Rob Doemaarwat

23/08/2019 15:45:33
Anchor link
Misschien wordt de content asynchroon geladen. De initiële HTML bevat dan alleen een placeholder, en de content komt via een asynchrone call (in JSON formaat). In dat geval zou je gewoon die asynchrone call kunnen replayen.
 
Thomas van den Heuvel

Thomas van den Heuvel

23/08/2019 17:10:25
Anchor link
En alle content zal doorgaans via HTTPS geserveerd worden.

cURL en file_get_contents() (file_get_html() bestaat niet...) zullen dus mogelijk niet zomaar out-of-the-box werken, hier moet je echt rekening houden met en de stappen doorlopen voor HTTPS.

En dan zullen dit soort sites beducht zijn voor scrapers. Als jij dus een HTTP-request doet waarbij deze in de verste verte niet afkomstig lijkt van een normale user agent (browser), dan wordt je request misschien al meteen neergeschoten.
 
Ivo P

Ivo P

24/08/2019 12:33:45
Anchor link
kijk ook eens naar welke http-code je terug krijgt van zo'n site.

404 voor not-found
maar er zijn ook meldingen voor "bad request", "geen toegang" en "forbidden".

Dat verraadt mogelijk ook nog iets.
 
Sylvester vader

sylvester vader

25/08/2019 09:30:58
Anchor link
Thomas van den Heuvel op 23/08/2019 17:10:25:
(file_get_html() bestaat niet...)


bestaat wel hoor :)

Toevoeging op 25/08/2019 09:32:21:

ps: Ivo P ik krijg niks binnen maar ik zal ff in me netwerk console ding kijken dat heb ik nog niet gedaan
 
Ivo P

Ivo P

25/08/2019 09:38:22
 
Sylvester vader

sylvester vader

25/08/2019 10:30:55
Anchor link
haha of zo ja :P

Toevoeging op 25/08/2019 10:38:42:

ok lol ik wordt verwezen naar me eigen 404 pagina
en in console krijg ik deze error

GET _Incapsula_Resource?SWUDNSAI=29&xinfo=4-43414976-0%200NNN%20RT%281566722178764%2092%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B12%284%2c315%2c0%29%20U18&incident_id=277001820071552353-228678425522801508&edet=12&cinfo=04000000 404

Toevoeging op 25/08/2019 10:40:59:

betekent dit dat ze alleen bepaalde robots accepteren?
 
- Ariën  -
Beheerder

- Ariën -

25/08/2019 10:46:00
Anchor link
Je eigen 404 pagina?
Dat is een URL en geen error. Kijk even bij de request-knop. Daar staan vaak interessante dingen.
 
Sylvester vader

sylvester vader

25/08/2019 11:03:23
Anchor link
uhm waar vind ik dat ?
maar uhm ik ff ff snel een test scriptje neergezet en die krijgt netjes 200 en naam van site binnen

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
$ch = curl_init('https://www.??????.nl');
curl_exec($ch);
$info = curl_getinfo($ch);
echo '' . $info['http_code'] . '<br>' . $info['url'];
curl_close($ch);


snap dus even niet waarom ik niks krijg van ze :P
 
- Ariën  -
Beheerder

- Ariën -

25/08/2019 11:07:07
Anchor link
Dat kan je aan hun vragen. Omdat dit topic de illegale kant op gaat m.b.t scrapen van sites en met name het omzeilen van beveiligingen van websites, sluit ik dit topic.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.