Instagram crawler

Overzicht

Sponsored by: Vacatures door Monsterboard

Frontend Developer

Functieomschrijving Voor de NIPV zijn wij opzoek naar een Frontend Developer. Als Frontend Developer ga jij aan de slag om dashboards te bouwen vanuit het datawarehouse. Dit stelt NIPV in staat om snel en eenvoudig bij correcte bedrijfsvoeringsinformatie te kunnen. Je ontwikkelt dashboards in PowerBI, publiceert en onderhoud die, verzameld en verwerkt feedback in overleg met het ontwikkelteam. Naast dashboards ontwikkel en onderhoud je een datamodel in Excel waarmee adviseurs, controllers en analisten in staat worden gesteld om de gegevens uit de dashboards te raadplegen en anders te filteren of bepaalde gegevens nader te verfijnen, zodat verdiepende vragen kunnen worden

Bekijk vacature »

PHP developer

Functie omschrijving Voor een klein bedrijf in de buurt van Nieuwegein zijn wij per direct op zoek naar een talentvolle PHP developer. Er wordt veel ruimte geboden voor eigen initiateven, waardoor je een mooie stempel kan drukken op jouw eigen werkzaamheden (zowel operationeel als strategisch). Het bedrijf heeft middels externe programmeurs een multimedia platform ontwikkeld, maar willen geleidelijk de ontwikkeling naar binnen halen. Om die reden zoeken zij een communicatieve interne PHP developer die graag meebouwt aan het succesvolle product. Je gaat de volgende werkzaamheden verrichten: Platform beheren en programmeren (PHP, MySQL, JQuery, Javascript, XML & HTML); Communicatie en aansturing

Bekijk vacature »

Back-End Developer in Laravel / PHP

Functie omschrijving Wij zijn op zoek naar een Medior PHP Laravel Developer voor een gaaf bedrijf in de omgeving van Amsterdam! Voor een enthousiast team die zich graag bezig houdt met softwareontwikkeling zijn wij op zoek naar versterking. Je werkt in een klein ontwikkelteam en bent zeer betrokken bij alle aspecten van de softwareoplossingen. Van het ontwerpen tot de oplevering. Binnen deze functie ga je aan de slag met het aanpassen, verbeteren en vernieuwen van de logistieke oplossingen. Je krijgt veel te maken met koppelingen naar systemen en de verzoeken van de klant. Je komt terecht in een team, waarbij

Bekijk vacature »

Back-End Web Developer

Als Back-End Web Developer bij Coolblue zorg je ervoor dat onze webshops elke dag een beetje beter zijn. Wat doe je als Back-End Web Developer bij Coolblue? Als Back-End Web Developer werk je met andere development teams samen om onze webshop zo optimaal mogelijk te laten werken en onze klanten blij te maken. Als backend developer weet je de weg in PHP, kan je in Typescript een microservice op zetten of ben je bereid om dit te leren. Ook Web Backend Developer worden bij Coolblue? Lees hieronder of het bij je past. Dit vind je leuk om te doen PHP

Bekijk vacature »

UX Writer (m/v/d)

UX Writer (m/v/d) Everything we do, starts with you. Together with you, we build the most human-centric fintech. We have the ambition to create the next. And - with Bertelsmann - a strong foundation to start from. Let’s make it new – for society and for yourself. Wij zijn op zoek naar een UX Writer (m/v/d) Fulltime - Op ons kantoor in Amsterdam of Heerenveen / deels vanuit huis Als UX Writer bij Riverty hou jij je bezig met onze strategie om daar te zijn waar onze gebruikers zijn en op de manier waarop zij ons nodig hebben, terwijl wij

Bekijk vacature »

Creatieve Front-end developer gezocht!

Functie Het front-end team bestaat momenteel uit 4 collega’s en is hard aan het groeien! Samen leveren jullie een essentiële bijdrage aan de applicaties die ze voor hun klanten realiseren. Je werkt in het front-end team samen met de back-end teams en product owners om te zorgen dat de applicaties een fijne gebruikerservaring opleveren. Jouw expertise zorgt ervoor dat de juiste keuzes gemaakt worden qua techniek en ontwerp, van back-end tot aan gebruiker. In samenspraak met je team bepalen jullie de beste keuze voor techniek. Ook is er altijd ruimte om nieuwe technieken te ontdekken. Eisen • Je hebt gedegen

Bekijk vacature »

WordPress & Azure Developer

Dit ga je doen Zowel front- als back-end development aan de online website omgeving; Het up-to-date houden van alle WordPress-sites; Koppelingen maken tussen applicaties; Meedenken en adviseren over verbeteringen; Development door middel van WordPress, Javascript, HTML en CSS; Werken binnen Scrum/Agile team. Hier ga je werken Voor een grote overheidsinstelling in Den Haag zijn wij opzoek naar een WordPress developer, met kennis en ervaring op het gebied van Azure. De organisatie zit in een grote transitie waarbij de gehele website/online omgeving vernieuwd zal gaan worden. Binnen dit Scrum/Agile team ben je verantwoordelijk voor deze grote migratie/ombouw van de omgeving. De

Bekijk vacature »

SQL Database Ontwikkelaar

Functie omschrijving Kan jij goed overweg met complexe algoritmes en het schrijven van procedures in T-SQL? Heb jij al wat ervaring opgedaan met SQL en vind je het tijd voor de volgende stap? Lees dan snel verder! Dit software bedrijf, gespecialiseerd in de ontwikkeling van logistieke software, is op zoek naar een ervaren SQL database developer. Jouw werkzaamheden zullen onder andere bestaan uit: Je houdt je bezig met het ontwerp en de ontwikkeling van MS SQL server databases, dit doe je met T-SQL als programmeer laag. De begeleiding van projecten van A tot Z, je zult aansluiten bij meetings met

Bekijk vacature »

Ervaren Software Developer

Functie omschrijving Ben jij een ervaren Software Developer, en heb je ervaring met technieken zoals C#, MS Access & SQL? Vind jij het leuk om maatwerk software te ontwikkelen voor klanten in een specifieke branche? Dan is dit de baan voor jou! Als ontwikkelaar ben jij samen met een team van 12 collega’s verantwoordelijk voor het bouwen van nieuwe functionaliteiten en het uitbreiden van de core applicatie. Belangrijk is dat je ervaring hebt met C# en MS Access. Je bent flexibel en klantvriendelijk ingesteld, omdat het belangrijk is om de klanten zo goed mogelijk van dienst te kunnen zijn. Thuiswerken

Bekijk vacature »

Medior PHP developer

Functie Het team bestaat inmiddels uit zo’n 25 collega’s met specialisten op het gebied van development, data(analyse), marketing, infrastructuur en finance. Ze hebben een supermodern pand en bieden hiernaast veel vrijheid en verantwoordelijkheid. Ze doen er alles aan om jou op te gemak te stellen. Zo kun je je eigen werkplek inrichten naar persoonlijke wensen, maar gaan ze bijvoorbeeld ook jaarlijks met elkaar wintersporten en zijn er andere leuke uitjes. Als onderdeel van één van de scrumteams ga je aan de slag, samen ben je medeverantwoordelijk voor het doorontwikkelen van hun business applicatie waar het traffic team dagelijks mee werkt.

Bekijk vacature »

Cymer Patch Server Developer

Vacature details Vakgebied: Software/IT Opleiding: Senior Werklocatie: Veldhoven Vacature ID: 12919 Introductie This new patch server will be built on Python and Django ReST and GraphQL services with a React frontend, it will consist of several microservices and run on a Kubernetes cluster. It will be supported by several middleware applications such as ElasticSearch, Redis, RabbitMQ, Oracle and Artifactory. Functieomschrijving The Patch Admin team always aim to deliver software at a high quality, we avoid sacrifices here to maintain our velocity. Practically this means that we practice test driven development and perform end-to-end automated testing on our software. This means

Bekijk vacature »

Senior Front end developer Automotive Angular

Functie Als Senior Front end developer kom je te werken in een team van 11 developers. 9 van de 11 focussen zich op back end, welke is geschreven in Java, en 2 op de front end waarbij er gebruik wordt gemaakt van Typescript en Angular. De focus in deze rol ligt op 2 aspecten; doorontwikkeling van de eigen tooling en gebruik van de tooling t.b.v. klantprojecten. Momenteel zijn ze in de afrondende fase van een project waarbij ze het gehele verkoopproces van nieuwe auto’s anders ingeregeld hebben voor een grote dealer in Nederland. Waarbij Auto’s normaliter pas verkocht werden in

Bekijk vacature »

Senior Front-end Developer

Wordt jij de nieuwe Front end specialist / developer? Dan werk je dagelijks met collega’s aan de mooiste IT-projecten. Sogeti is een organisatie met een goede werksfeer en zo min mogelijk hiërarchische verhoudingen. Deze snelgroeiende groep collega’s krijgt energie van hun vak en dat merk je op de werkvloer. Onze klantenkring is groot en divers, dat vraagt om flexibiliteit van jou. Tegelijkertijd betekent dit dagelijks nieuwe dingen leren én dat geen werkdag hetzelfde is. Natuurlijk krijg jij de mogelijkheid je te certificeren. We organiseren regelmatig technische Meet-ups en doen we veel aan kennisdeling waarbij iedereen welkom is, zowel binnen als

Bekijk vacature »

Database Developer

Functieomschrijving Heb jij ongeveer 3 jaar ervaring als Database Developer met MS SQL of een vergelijkbare database? Wil jij werken voor een ambitieuze werkgever in regio Tilburg waar jij volledig de mogelijkheid krijgt jezelf te ontwikkelen? Lees dan snel verder! Hoe ziet jouw takenpakket eruit? Je gaat projecten gedurende het hele proces begeleiden. Je sluit aan bij afspraken met klanten om hun processen helder te krijgen. Vervolgens voer jij het project uit en zorgt dat dit zo goed mogelijk verloopt; Je werkt aan nieuwe softwareoplossingen die de logistieke processen verbeteren of vernieuwen; Je houdt je bezig met het ontwikkelen van

Bekijk vacature »

SQL Database developer

Functie omschrijving Wil jij meewerken aan het creëren van slimme software om magazijnen als een geoliede machine te laten lopen? Wij zoeken een zorgvuldig persoon, iemand die niet snel de hand omdraait voor complexe algoritmes. Denk jij dat jij de SQL ontwikkelaar bent die wij zoeken? Lees snel verder en wie weet zitten we binnenkort samen aan tafel! Jouw werkzaamheden zullen er als volgt uitzien: Je houdt je bezig met het ontwerpen en ontwikkelen van MS SQL server databases, dit doe je met T-SQL als programmeer laag. Je gaat aan high-end software oplossingen werken, dit doe je voor de optimalisatie

Bekijk vacature »

Pagina: 1 2 volgende »

Milan Milan

Milan Milan

27/01/2015 19:12:08
Anchor link
Dag allemaal,

Het gaat om www.instazip.me.

De bedoeling van de website is dat het een opgegeven instagram-account crawled en van alle (gevonden) Instagram-foto's een zip bestand maakt, dat gedownload kan worden.

Zouden jullie deze website kunnen bekijken en feedback kunnen geven of eventuele verbeteringen opnoemen?

Met vriendelijke groet,

Milan
 
PHP hulp

PHP hulp

29/04/2024 11:28:16
 
- wes  -

- wes -

28/01/2015 11:41:23
Anchor link
nooit opties stacken. resolutie (wat overigens a resolution is) en aantal aparte velden onder elkaar van maken, sowieso meer ruimte ertussen.

Scrape je dit echt van instagram of gebruik je een API?
 
Milan Milan

Milan Milan

28/01/2015 12:15:56
Anchor link
Bedankt voor je reactie,

Van de Instagram API wordt geen gebruik gemaakt. De foto's worden gescraped (via een zelf ontwikkelde scraper) van Instagram zelf.

Ik wil de ruimte zoveel mogelijk beperken omdat ik op een later moment er beeldadvertenties op wil plaatsen.

Wat bedoel je met stacken?

Met vriendelijke groet,

Milan
 
Victor -

Victor -

28/01/2015 13:02:18
Anchor link
Hoe kan ik bijvoorbeeld de volgende 100 afbeeldingen downloaden?
Ik denk dat wes bedoelt dat je pas de kwaliteit kan selecteren als je het aantal fotos hebt geselecteerd.

Check ook even je spelling:
Quote:
Your file will be expire in two days.


Ook dit is een rare zin :
Quote:
You can either download the ZIP-file by clicking the button 'Download' bellow. or?????


Ook vind ik nergens een terug knop als ik de plaatjes eenmaal kan downloaden
 
Milan Milan

Milan Milan

28/01/2015 14:35:04
Anchor link
Dag Victor,

Zouden jullie allebei de opties graag onder elkaar zien?

Aan het Engels moet inderdaad nog gewerkt worden. Backlink naar de hoofdpagina is ook een goede tip. Misschien via het klikken van het logo?

Limiet is nu 100 afbeeldingen, maar dat wordt binnenkort naar Unlimited gezet. De reden dat het nog tot maximaal 100 afbeeldingen kan, is omdat ik nog een beperkt aantal schijfruimte heb. Binnenkort worden de zip-files opgeslagen op Amazon S3.


Bedankt voor de reacties.

Met vriendelijke groet,

Milan
 
- wes  -

- wes -

29/01/2015 09:04:23
Anchor link
Scrapen wordt behoorlijk snel gedetecteerd door sites als instagram, kan zijn dat je hier een harde blokkade op gaat krijgen ooit. Hou daar rekening mee. Instagram heeft gewoon een API voor dit soort dingen.
 
Milan Milan

Milan Milan

05/02/2015 10:43:29
Anchor link
Dag allemaal,

Zouden jullie nog één kritische blik kunnen geven op mijn website.

Alle aanpassingen die hierboven genoemd zijn, zijn verricht.

Elke mening is welkom.

Scrapen gebeurt trouwens niet via de website van Instagram.

Mvg,

Milan
Gewijzigd op 05/02/2015 10:44:02 door Milan Milan
 
Henk de Vriep

Henk de Vriep

05/02/2015 11:07:32
Anchor link
Als het kan zou ik snel overgaan op de API. Ik weet niet precies hoe je je crawler/scraper gebouwd hebt maar als er iets in de structuur van de site veranderd kan je hele script useless worden.

Daarnaast was eerder al vernoemd dat scrapen al gauw opgemerkt gaat worden door het patroon zeker door grotere bedrijven.
 
Milan Milan

Milan Milan

05/02/2015 11:37:06
Anchor link
Hoi Henk,

Het probleem van de Instagram API is het volgende:

You cannot use the Instagram API to crawl or store users' media without their express consent.

Nu je van elk instagram profiel de foto's kunt downloaden en opgeslagen wordt (nu op de Amazon S3 server) kunnen ze me de toegang ontzeggen tot de API, omdat ik dan niet volgens de regels werk.

Nu het scrapen via een andere website gebeurt die wel de API gebruikt, maar de foto's niet download. Kan Instagram zelf mijn IP niet zien, maar alleen dat van de website waar ik het vandaan haal.

Kortom volgens mij wordt het traceren moeilijk, maar kan het mis hebben.

Nu ik inderdaad wel afhankelijk ben van een één website probeer ik nog een script te maken voor.een andere website, dus mocht 1 website het niet meer doen dan heb ik nog een backup

Zijn er nog andere reacties m.b.t. de layout?

Mvg,

Milan
 
Victor -

Victor -

05/02/2015 21:43:46
Anchor link
Quote:
You cannot use the Instagram API to crawl or store users' media without their express consent.


Als dit er staat mag je dit niet legaal gebruiken, stoppen dus!
 
Milan Milan

Milan Milan

05/02/2015 21:53:38
Anchor link
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend.

Met vriendelijke groet,

Milan

Toevoeging op 05/02/2015 21:54:07:

Milan Milan op 05/02/2015 21:53:38:
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend. En zie daarbij dus geen aanleiding om te stoppen.

Met vriendelijke groet,

Milan
 
Victor -

Victor -

05/02/2015 23:27:43
Anchor link
Okee. Je moet even logisch met me meedenken. Er is een bedrijf als Instagram, die bied jou een api aan omdat zij niet willen dat mensen lukraak dingen van hun site gaan aftrekken. Het is dus de bedoeling dat je die api gebruikt. Nu staat er bij de api dat je niet zomaar alle foto's mag downloaden zonder toestemming van de rechtmatige eigenaar. Zit jij dan goed als je via een andere site foto's van Instagram gaat downloaden? Nee is in dit geval het juiste antwoord.

Uit de terms of use:

General Conditionslid 10:
Quote:
We prohibit crawling, scraping, caching or otherwise accessing any content on the Service via automated means, including but not limited to, user profiles and photos (except as may be the result of standard search engine protocols or technologies used by a search engine with Instagram's express consent).
Gewijzigd op 05/02/2015 23:29:34 door Victor -
 
Ozzie PHP

Ozzie PHP

06/02/2015 00:04:33
Anchor link
@Milan Milan

Zoals Victor hierboven dus zegt ... wat jij doet is illegaal. Ik zou óf de API gaan gebruiken, of zsm de site uit de lucht halen. Dit soort bedrijven kunnen zware middelen inzetten om het jou moeilijk te maken. Ik zou het risico niet nemen.
 
Milan Milan

Milan Milan

06/02/2015 08:15:58
Anchor link
Ja die regel is aan mijn aandacht ontglipt :)

Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 08:30:48
Anchor link
Sommatie met juridische consequenties.
 
Ozzie PHP

Ozzie PHP

06/02/2015 13:19:14
Anchor link
>> Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?

Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen. Echt, ik zou het risico niet nemen. Tegen zulke grote bedrijven ben jij juridisch gezien als particulier nooit opgewassen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:03:53
Anchor link
> Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen.

Vier nullen, om precies te zijn: $ 150.000.

Of maar $ 4.000, maar dan wel per foto.
 
Milan Milan

Milan Milan

06/02/2015 14:41:20
Anchor link
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan



Toevoeging op 06/02/2015 14:45:14:

Btw nog 1 dingetje...

Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 14:52:49
Anchor link
Milan Milan op 06/02/2015 14:41:20:
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan

Ik heb wel eens vaker gelezen dat grote bedrijven dergelijke auteursinbreukmakende scripts bij github kunnen laten verwijderen. Ik weet niet tot hoeverre Instagram (is FaceBook niet de eigenaar?) juridisch zijn recht hierop kan uitoefenen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:54:16
Anchor link
>> Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?

Dan is het nog steeds een probleem: een van de Instagram-gebruikers kan je als auteursrechthebbende een proces aandoen.

Er is een berucht Amerikaanse advocatenkantoor dat daarin is gespecialiseerd. Ik zal niet uitleggen hoe ze dat doen, om niemand op ideeën te brengen, maar jouw gebruik van auteursrechtelijk beschermd materiaal is aantrekkelijk voor partijen die op die manier hun brood verdienen.

Het is wel okay als je de app verbouwt: als je de Instagram-API gebruikt en Instagram-gebruikers daarmee kunt laten inloggen (waarbij zij jou toestemming verlenen), dan kan het waarschijnlijk wel door de beugel. Je geeft mensen dan immers toegang tot hun eigen foto's via een systeem dat Instagram daarvoor beschikbaar stelt.
Gewijzigd op 06/02/2015 15:03:21 door Ward van der Put
 
Milan Milan

Milan Milan

06/02/2015 15:14:48
Anchor link
Dit wordt een interessante kwestie jongens :)

Klopt dat Facebook de eigenaar is, maar de voorwaarden horen bij Instagram.

Is het volgende dan niet de oplossing?

Wanneer Instagram-gebruikers niet willen dat ze via mijn website gecrawld worden dat ze dan hun instagram-account geven met opgaaf van een geldige reden (zoals privacybezwaren) dat ik het account dan niet meer laat crawlen via mijn website?

Het gaat trouwens wel om accounts die publiekelijk toegankelijk zijn.

En Ward de laatste alinea. Wat je daar zegt bestaat dus al: instaport.me.

Maar dat is dus alleen voor je eigen account. Bij mij gaat het om iedereens account, maar nogmaals dan moet die nog wel publiekelijk toegankelijk zijn.
 

Pagina: 1 2 volgende »

 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.