Simple dom werkt niet

Overzicht

Sponsored by: Vacatures door Monsterboard

Senior PHP Developer

Bedrijfsomschrijving Betreffende organisatie is een echte softwareclub, gevestigd in de regio van Amersfoort en gespecialiseerd in de ontwikkeling van een grote SaaS-oplossing waar veel gevoelige data in omgaat. Al ruim 20 jaar lang zijn zij bezig met de ontwikkeling van de applicatie, waar de focus ligt op locatie- en platformonafhankelijkheid en gebruikersvriendelijkheid. De software is device en browser onafhankelijk en draait tevens sterk op integraties met andere applicaties zoals Office 365. De front-end wordt ontwikkeld in Angular en de back-end wordt ontwikkeld in PHP. Verder werken zij met Linux servers en workstations. Ter versterking van het development team, dat momenteel

Bekijk vacature »

Cloud Solution Architect

Help jij onze klanten in de publieke veiligheidssector de stap te maken naar de high performance organisatie van de 21e eeuw? Wat ga je doen? Als Cloud Solution Architect maak je deel uit van een gedreven club professionals. Jij bent verantwoordelijk voor (een deel van) het ontwerp van een of meerdere systemen. Deze rol vereist communicatie en interactie met meerdere ontwikkel- en testteams en met de andere ontwerpautoriteiten. Jij treedt op als de vertegenwoordiger van de technische aspecten van het systeem bij het overleg met de klant. Je werkzaamheden omvatten: Realiseren en valideren van ontwerpen voor implementatie- en beheerdoeleinden; Uitvoeren

Bekijk vacature »

Webdeveloper

Bedrijfsomschrijving In 1988 ontstond dit Delftse bedrijf, opgericht en gerund door studenten. Tot op de dag van vandaag is het nog steeds een goed lopend bedrijf dat bedrijven en studenten bij elkaar brengt. Maar ook als je geen student bent! Het bedrijf waar je voor komt te werken is eigenlijk zelf ook een soort detacheerder, maar dan op het gebied van programmeurs. Zij hebben een samenwerking met verschillende grote bedrijven zoals gemeenten of vastgoedbedrijven. Voor elke opdracht kijken zij bij welk bedrijf jij het beste past. Dit zou zomaar uit kunnen lopen op een vaste baan bij een van deze

Bekijk vacature »

C# .Net ontwikkelaars voor zeer complexe applicati

Bedrijfsomschrijving Dit bedrijf maakt al jaren duurzame oplossingen voor het schoonhouden van de straten. Ze hebben drie verschillende scrumteams die intern werken aan de diverse oplossingen die ze bieden. De klant kent een informele werksfeer waarbij plezier en mooie codes schrijven hand in hand gaan. De organisatie staat landelijk bekend om de hoogstaande software platforms die ze maken en aan veel nationale en inmiddels ook internationale klanten leveren. Hele belangrijke punten voor onze opdrachtgever zijn duurzaamheid en innovatie, dit laten ze zien in hun producten én oplossingen. Wil jij je inzetten voor schonere straten? Functieomschrijving Je werkt hier in een

Bekijk vacature »

Senior C# Developer (NL)

Senior C# Developer (NL) Den Haag HBO/WO IT Professional "Als Senior C# Developer impact maken op de groeiende E-commerce markt met onze logistieke software. Je doet dit door complexe bedrijfskritische logistieke business processen te vertalen naar de ontwikkeling en uitbreiding van onze Cloud IT-platformen en software oplossingen in C# en AWS" Wat ga je doen? PostNL is becoming a postal tech company. Als Senior C# Developer ben je onderdeel van een multidisciplinair Business-IT-team bestaande uit onder andere een Lead Engineer, Developers en Solution Consultants. Samen zijn jullie verantwoordelijk voor het bouwen aan onderdelen uit onze logistieke software omgeving. Binnen het

Bekijk vacature »

OutSystems Developer

Bedrijfsomschrijving Deze organisatie is een toonaangevende speler in de vastgoedbranche en telt momenteel ruim 500 medewerkers. Met meer dan 150 applicaties staat er een complex applicatielandschap, bestaande uit standaard- en maatwerkapplicaties. De maatwerkapplicaties worden ontwikkeld door een inhouse development team. Het doel voor de komende periode is het verder vernieuwen en optimaliseren van het huidige applicatielandschap. Zo staat de organisatie aan de vooravond van de implementatie van een gloednieuw applicatiehuis, waar OutSystems een belangrijke rol in speelt. Binnen deze rol word je als OutSystems Developer verantwoordelijk voor de ontwikkeling van uiteenlopende applicaties met OutSystems. Om het nieuwe applicatiehuis te implementeren

Bekijk vacature »

Interne rol als Low-Code Developer, o.a. OutSystem

Bedrijfsomschrijving Deze snelgroeiende, Europese organisatie met zo’n 7,500 medewerkers verdeeld over 1,400 vestigingen is opzoek naar een Low-Code Developer om het huidige team te versterken. Het gaat hier om een interne rol bij een mooie Nederlandse organisatie. Het is een grote speler in de markt en geavanceerde systemen en hulpmiddelen spelen daarom een belangrijke rol in hun corebusiness. Om de lijnen kort te houden binnen deze grote organisatie wordt er gewerkt in kleine teams. Op het gebied van IT voeren ze alles zelf uit. Het team wordt onderverdeeld over Business Intelligence, Functioneel Analisten, Systeembeheer en Software Development. Voor de organisatie

Bekijk vacature »

Systeembeheerder Windows Welkomstbonus € 5.00

Systeembeheerder Windows medior Welkomstbonus van € 5.000,- Bij T2 zorgen we goed voor elkaar en doen wij leuke dingen met leuke mensen. We zorgen voor uitdagende opdrachten zodat jij jezelf onbeperkt kan blijven ontwikkelen. Ben jij een ervaren systeembeheerder Windows en wil je het beste uit jezelf halen? Dan ben je van harte welkom bij T2 en ontvang je onze welkomstbonus ter waarde van €5.000,-. Er werken leuke mensen bij T2, die op een professionele en informele wijze met hun carrière en collega’s omgaan. Dat is de basis voor succes! Het is vanzelfsprekend dat je met de nieuwste technieken werkt.

Bekijk vacature »

Mendix Developer

Over Troostwijk Troostwijk is met 160 medewerkers toonaangevend op het gebied van taxaties van onroerende en roerende zaken ten behoeve van verzekeringen en bedrijfseconomische doeleinden. Daarnaast houden wij ons bezig met schaderegelingen in het belang van verzekerden. In binnen- en buitenland bedienen wij beleggers, banken, (beursgenoteerde) fondsen, overheden, woningcorporaties, financiers en vastgoedgebruikers- van MKB tot multinationals. Troostwijk Groep bestaat uit vier businessunits: Troostwijk Taxaties, Troostwijk Expertises, Troostwijk Real Estate en Apresa (kunsttaxaties). Troostwijk is sinds mei 2017 onderdeel van het Spaanse bedrijf Tinsa. Troostwijk Groep is op zoek naar een ervaren Mendix Developer standplaats Amsterdam Je bent een getalenteerde en

Bekijk vacature »

Microsoft Consultant

Complexe klantvragen, maatwerkoplossingen, Microsoft 365, ontwikkelen, groeien, vernieuwen… zijn dit woorden waar jouw hart sneller van gaat kloppen? Houd je verder van lachen, hard werken en goeie koffie? Dan willen wij graag met jou kennismaken! Omdat steeds meer klanten ons weten te vinden groeit de W.T. Group door en hebben we een vacature voor een fulltime Microsoft 365 Productivity Consultant Als Microsoft 365 Productivity Consultant (voorheen Office 365) zorg je voor maatwerkoplossingen op het moment dat er geen standaardoplossing is voor de automatiseringsbehoefte van een klant. Waar menig ICT-bedrijf vastloopt gaan wij als team altijd verder, we werken samen, dagen

Bekijk vacature »

TVD Developer

Data Management Developer For one of our clients we are looking for a highly-motivated application specialist with proven relevant knowledge of and experience within the area of Data Management Development. This is going to be your job Are you a highly-motivated application specialist with proven knowledge of and experience with applying to the Tibco Data Virtualization domain in the area of Data Management Development? Do you have generic knowledge of and experience with data management capabilities? You are an enthusiastic T-shaped team player that will manage the environment and where you take ownership for the continuity of our solutions and

Bekijk vacature »

Java Developer / Webservices / Overheid

Bedrijfsomschrijving De organisatie waar je komt te werken is een semi-overheidsinstelling die zorgt voor een goede samenwerking tussen verschillende overheidsinstanties. Het is een familiaire club die gaat voor kwaliteit en langdurige relaties. Het bedrijf is gevestigd in hartje Utrecht met het Centraal Station op loopafstand en een parkeergarage naast het pand. Bij deze stabiele organisatie gaat men uit van kwaliteit hoogwaardige softwarediensten. Je zal hier als Java Ontwikkelaar geen projecten tegenkomen waar je uit commercieel oogpunt jouw werk zo snel mogelijk af moet leveren. Uiteraard zal je hier wel het beste uit jezelf moeten halen, maar hierbij ligt het zwaartepunt

Bekijk vacature »

Java Software Developer - Utrecht - Startup

Are you looking to extend your skillset, develop ground-breaking software and work together with a great team on projects that matter? Are you interested in using the latest technologies and dive deeper into the world of Blockchain and Artificial Intelligence? Work with great people on great projects that matter Improving social benefit programs supporting (local) government, healthcare and education Helping people and businesses to take control of their personal information and data Sharing W3C Verifiable Credentials like competencies, certificates, diplomas Decentralized finance and Tokenization Improving support and reliability of medical trials Opportunity to work on Blockchain standardization Improving stewardship and

Bekijk vacature »

Netwerkbeheerder / Netwerkspecialist

Werken bij Alter IT Ben jij eindeloos geboeid door IT en zoek je verdieping in het netwerkbeheer? Zin om de spin in het web te zijn voor verschillende bedrijven met 5 tot 500 medewerkers? Als netwerkbeheerder beheer je de netwerken, servers en werkplekken van onze klanten. Je bent verantwoordelijk voor uitdagende projecten die betrekking hebben op koppeling en beveiliging van meerdere vestigingen of IT-netwerken in binnen- en buitenland. Je begrijpt dat security van groot belang is en dit heeft je volle aandacht. Jouw takenpakket bestaat uit 3 elementen: het opzetten van netwerken en systemen, het beheren en optimaliseren van netwerken

Bekijk vacature »

C# .NET Developer

Bedrijfsomschrijving Onze klant bouwt dynamisch en voornamelijk op .NET gebaseerde software voor diverse organisaties die zowel nationaal als internationaal opereren. De vestiging in Apeldoorn vormt onderdeel van een grotere organisatie met meerdere locaties in Nederland. De focus hier is om effectieve software te bouwen om data intensieve processen zo goed en overzichtelijk mogelijk te laten verlopen. Om dit soort processen goed te waarborgen en dat de juiste doelstellingen worden gehaald bieden zij velen oplossingen. Een voorbeeld hiervan is maatwerk mobile apps die gekoppeld worden aan zowel eigen software als die van diverse andere organisaties om de juiste data flows mogelijk

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

21/11/2018 09:03:28
Anchor link
Edit:
Code verwijderd.
Laten we niemand wijzer maken dan ze al zijn bij het ongeoorloofd scrapen van telefoonnummers. Niemand heeft hier baat bij...


De eerste keer krijg ik wel wat html, maar uiteindelijk niet meer, geen fouten ook, maar $html is leeg, wat doe ik nu verkeerd?

Ik heb dat alleen met die url andere urls werken wel,
Gewijzigd op 22/11/2018 00:47:58 door - Ariën -
 
PHP hulp

PHP hulp

02/12/2020 22:31:45
 
Thomas van den Heuvel

Thomas van den Heuvel

21/11/2018 16:27:07
Anchor link
Zet ff bovenstaande code tussen [code][/code] tags, dat leest wat makkelijker...

Mogelijk is dit gerelateerd aan beveiligde sites (https) en mis je wat functionaliteit om hiermee te communiceren.

Of moet je je cURL settings wat veranderen. Daar wordt tevens aangehaald dat het uit veiligheidsoverwegingen een slecht idee is om VERIFYHOST en VERIFYPEER uit te schakelen.

Ook wordt daar een andere mogelijkheid aangehaald: de site in kwestie redirect, dus zorg dat FOLLOWLOCATION aan staat.

Dit alles kostte mij minder dan 5 minuten Googlen met de zoekopdracht "php curl cannot read from secure site", bovenstaand artikel was het eerste resultaat...
 
Daniel van Seggelen

Daniel van Seggelen

21/11/2018 22:22:02
Anchor link
Je snapt het niet, die dingen zijn allemaal al geprobeert, niks te maken met https bijv, dit heeft te maken met :

<div id="distilIdentificationBlock">&nbsp;</div>

Dit krijg ik terug en is een nieuw beveiligingsmechanisme.

Is dit te omzeilen?

Toevoeging op 21/11/2018 22:24:31:

EN zoals ik zei, het werkt de eerste ker , maar bij een aantal refreshes blijkt het weer dezelfde problemen te geven.
 
Ozzie PHP

Ozzie PHP

21/11/2018 22:29:33
Anchor link
Daniel van Seggelen op 21/11/2018 22:22:02:
Je snapt het niet ... dit heeft te maken met :

<div id="distilIdentificationBlock">&nbsp;</div>

Waarom geef je die informatie dan niet meteen in je beginpost in plaats van te gaan klagen dat iemand 'het niet snapt'. Hoe duidelijker je zelf bent in je vraagstelling, een des te duidelijker antwoord je kunt verwachten.

Je moet niet zelf halve informatie geven en vervolgens gaan roepen dat de ander het niet snapt.


>> Dit krijg ik terug en is een nieuw beveiligingsmechanisme.

Dan is het klaarblijkelijk niet de bedoeling dat jij die informatie gaat lopen scrapen.
Gewijzigd op 21/11/2018 22:31:25 door Ozzie PHP
 
- Ariën -
Beheerder

- Ariën -

21/11/2018 22:32:54
Anchor link
Daniel van Seggelen op 21/11/2018 22:22:02:
Je snapt het niet, die dingen zijn allemaal al geprobeert, niks te maken met https bijv, dit heeft te maken met :

<div id="distilIdentificationBlock">&nbsp;</div>

Dit krijg ik terug en is een nieuw beveiligingsmechanisme.
Is dit te omzeilen?

En dan vraag ik me af of we hieraan willen meewerken?
De beveiliging is er immers niet voor niks.

Mijn beste advies: Vraag de beheerders van de website om hulp. Wie weet hebben ze wel een verborgen API die je onder bepaalde omstandigheden mag gebruiken.
 
Daniel van Seggelen

Daniel van Seggelen

21/11/2018 23:34:42
Anchor link
"Waarom geef je die informatie dan niet meteen in je beginpost in plaats van te gaan klagen dat iemand 'het niet snapt'."

Omdat ik die informatie pas in de source terugkreeg en daar onderzoek naar ben gaan doen:
Hier staat er ook meer over:

https://www.reddup.co/r/HowToHack/comments/90hvo7/how_to_scrape_web_pages_which_detect_for_bots

Dus voor de huidige update:
Hij werkt via een nieuw ip wel, maar ook maar van korte duur(5 seconde), via proxies in curl niet, uiteindelijk is het geblokt.

gaat gewoon om de telefoongids, in plaats van alle openbare adressen, telefoonnummers etc invoeren, probeer ik de scraper te maken.
 
Ben van Velzen

Ben van Velzen

22/11/2018 00:23:35
Anchor link
En dat willen ze heel erg niet hebben. Nogal logisch dat je dan daar tegenaan loopt.
Vraag gewoon of ze een API hebben. Anders is het jammer maar helaas. Tenzij je wil dat ze meer stappen gaan ondernemen buiten geautomatiseerd blokkeren.
 
- Ariën -
Beheerder

- Ariën -

22/11/2018 00:33:00
Anchor link
Daniel van Seggelen op 21/11/2018 23:34:42:
gaat gewoon om de telefoongids, in plaats van alle openbare adressen, telefoonnummers etc invoeren, probeer ik de scraper te maken.

En dat willen ze dus voorkomen, ik weet niet wat je doel is, maar zoiets kan ook misbruikt worden voor telefoonoverlast en dergelijke.

Ik brei er maar een eind aan, want dit moeten we gewoon niet faciliteren op PHPhulp.
 
 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.