Instagram crawler

Overzicht

Sponsored by: Vacatures door Monsterboard

Front-end Developer Magento 2/Wordpress

Voor het aantrekkelijk houden en steeds vernieuwen van de huidige websites en webshops en het meedenken in de marketing zijn wij per direct op zoek naar een ervaren Front-end developer met gedegen kennis van Magento 2 (webshops) en Wordpress (websites). Wat bieden wij jou Mooi salaris! Meteen op contract bij de opdrachtgever! Gezellig, Kempisch bedrijf! 35 uur per week! Auto van de zaak! Wie ben jij Van een front-end developer verwachten wij: Een afgeronde Bachelor ICT opleiding met profiel ICT & Media Design. Dat je in het bezit bent van een Magento 2 professional front-end developer certificaat; Je hebt ruime

Bekijk vacature »

Oracle APEX developer

Wat je gaat doen: Als Oracle APEX ontwikkelaar bij DPA werk je samen met collega’s aan de meest interessante opdrachten. Je zult je ervaring met SQL, PL/SQL, JavaScript, HTML en CSS inzetten om wensen van opdrachtgevers te vertalen naar technische oplossingen. Je werk is heel afwisselend, omdat DPA zich niet beperkt tot een specifieke branche. Zo ben je de ene keer bezig binnen de zorgsector, de andere keer is dit bij de overheid. Wat we vragen: Klinkt goed? Voor deze functie breng je het volgende mee: Je hebt een hbo- of universitaire opleiding afgerond Je hebt 2 tot 5 jaar

Bekijk vacature »

Java/Kotlin Developer

Java/Kotlin Developer Ben jij een ervaren Java/Kotlin developer met een passie voor het automatiseren van bedrijfsprocessen? Wil je graag deelnemen aan uitdagende projecten bij aansprekende klanten? En ben je op zoek naar een professioneel, ambitieus en dynamisch bedrijf om je carrière verder te ontwikkelen? Kom dan ons team bij Ritense in Amsterdam versterken! Zo ziet de functie eruit: Als Java/Kotlin developer bij Ritense ben je verantwoordelijk voor de ontwikkeling en implementatie van applicaties die bedrijfsprocessen automatiseren, zodat onze klanten slimmer, efficiënter en klantgerichter kunnen werken. Als developer ben je in de lead en zorg je voor de correcte oplevering van

Bekijk vacature »

.NET developer

Functie Als junior .NET ontwikkelaar ga jij aan de slag in één van de 5 IT teams van dit bedrijf. Jullie werken op basis van interne klantprojecten aan voornamelijk webapplicaties. Dit betekent dat jij continu uitgedaagd wordt en veelal met verschillende soorten projecten bezig bent. Het gave is dan ook dat jullie als team samen bekijken welke technieken het beste passen bij het project waar jullie verantwoordelijk voor zijn. Zo kan het zijn dat jij als .NET developer gaat werken aan een project, maar dat jullie als team liever gebruik maken van Haskell of F# om de klus te klaren.

Bekijk vacature »

Node.js developer looking for a challenging consul

Functie Under the guidance of 3 account managers, one of whom will be your point of contact within your expertise, you will start working for various clients. He or she will help you find a suitable and challenging assignment. Naturally, they will take your situation, experience and (technical) ambitions into account. The assignments last one to two years on average. This allows you to really commit to a project and make an impact as a consultant. Besides the assignment, you will regularly meet your colleagues from the IT department to share knowledge or discuss new trends, for example. Master classes

Bekijk vacature »

Softwareontwikkelaar Cleopatra

Functieomschrijving Voor de gemeente Amsterdam zijn wij op zoek naar een softwareontwikkelaar Cleopatra. De directie Verkeer en Openbare ruimte van de gemeente Amsterdam beschikt over een softwareapplicatie, "Cleopatra", waarmee geautomatiseerde handhaving plaatsvindt (op basis van kentekenherkenning) van bepaalde gebieden waarin toegangseisen worden gesteld aan het verkeer. Voorbeelden ervan zijn de milieuzones, de zone zwaar verkeer, handhaving van brom- en snorfietser op het fietspad en autoluwe gebieden. Voor de doorontwikkeling en uitbreiding ervan zijn gespecialiseerde softwareontwikkelaars nodig die helpen bij het programmeren van de handhavingsmodules voor nieuwe gebieden en het verbeteren en bijwerken van de bestaande onderdelen van de softwareapplicatie. Functie

Bekijk vacature »

Hands-on Solution Architect / Software Architect (

TenneT is hard groeiend om de onze ambities waar te kunnen maken. Zo nemen wij een leidende rol in het aanjagen van de energietransitie. Het werven van nieuw talent speelt daarin een cruciale rol. Wij zijn op zoek naar een gedreven Solution Architect / Software Architect op onze locatie Arnhem die hieraan wil bijdragen en misschien ben jij dat wel? Jouw bijdrage aan TenneT Je werkt samen met gedreven DevOps teams, bestaande uit frontend, backend en middleware developers, testers, UX-designers. Samen met de teams ben je continu op zoek naar de beste oplossingen voor onze klanten. Als Solution Architect onderzoek

Bekijk vacature »

Ontwikkelaar Centrale Monitoring

Ontwikkelaar centrale Monitoring Functieomschrijving Wil jij een bijdrage leveren aan het onderhoud, opzetten en ontwikkelingen van technologieën van SSC-ICT, een van de grootste ICT-dienstverleners van en voor de Rijksoverheid? Je komt als monitorspecialist te werken bij team Operations Management Services. Dit team werkt aan het stabiliseren en waarborgen van een betrouwbare monitoromgeving voor 7 ministeries. Jij begeleidt het implementatieproces van de te monitoren technologieën, onder andere via management packs, connectoren en API's. Je hebt hiervoor veel contact met interne en externe klanten, die hun wensen op het gebied van monitoring aan jou doorgeven. Je beoordeelt deze wensen en komt met

Bekijk vacature »

Fullstack Software Developer

Bedrijfsomschrijving Functieomschrijving Java ontwerpen, bouwen en testen (T-shaped). Als senior ontwikkelaar ben je bekend in zowel de back-end als de frontend van een applicatie. Angular, Continious Delivery / Integration. Een ervaren iemand die de leiding kan nemen, een weg vindt in nieuwe situaties, en in oude applicaties. Initiatiefrijk, bekend met de (technische) omgevingen die we bij duo gebruiken, niet te beroerd om collega’s te helpen. Als senior programmeur in staat om op te treden als lead programmeur. Ondersteunt de testers bij de testautomatisering en minder ervaren programmeurs bij dagelijks werkzaamheden. Dit laatste met name op het gebied van Angular. Achtergrond

Bekijk vacature »

Ervaren Magento developer gezocht!

Functie Je komt te werken in een zelfsturend team waarin vertrouwen voorop staat en inbreng en ideeën worden gewaardeerd. Ook staat innovatie centraal. Ze bieden jou de mogelijkheid om jezelf door te ontwikkelen. Denk hierbij aan cursussen en een persoonlijk ontwikkelplan. Je komt terecht in het team van momenteel 4 (ervaren) collega’s en zal meewerken aan de doorontwikkeling en nieuwbouw van de Magento platformen van meerdere opdrachtgevers volgens Agile/Scrum. Denk hierbij aan nieuwe functionaliteiten, UX en koppelingen met verschillende back-end systemen. Als ervaren developer zul je hiernaast ook andere developers assisteren en waar nodig de leiding nemen in het project.

Bekijk vacature »

Full Stack Developer/ Applicatie Ontwikkelaar

Wat jij doet Als Applicatie Ontwikkelaar ben je onderdeel van het team die de Rimote omgeving ontwikkeld en onderhoud. Hierbij kan je denk aan de cloud, on premise en webapplicaties welke worden gebruikt in bijvoorbeeld industriële bakkerijen, biogasinstallaties en kwekerijen. Deze applicaties verzorgen (remote) de aansturing en monitoring van processen, machines en robots. Van a tot z ben je betrokken bij projecten. Dit betekent vanaf ontwerp tot oplevering. Je moet samen met jouw team een goed product neer zetten. Dit begint met het opzetten van het ontwerp. De basis van de software moet staan als een huis. Daarvoor moet jij

Bekijk vacature »

Front-end developer E-Commere

Functie E-commerce is een ‘’snelle’’ wereld. Om hierin continu voorop te blijven omarmen ze in een vroeg stadium nieuwe technieken. Een webshop is nooit af en kan altijd beter, sneller en efficiënter. Tegelijkertijd hebben ze vanaf hun oprichting altijd vastgehouden aan kwaliteit boven snelheid, en dit loont. Als front-end developer heb je een adviserende rol en sta je aan het eindpunt van alles wat met designs te maken heeft. Je overlegt met klanten en collega’s, en zet je in om ideeen om te zetten tot unieke concepten. Je bent het aanspreekpunt voor de klant en bewaakt tevens de planning. Eisen

Bekijk vacature »

Airport Developer / System engineer

De functie Als onze nieuwe Airport Developer / System Engineer is je doel om uit nieuwbouw- en onderhoudsprojecten maximale waarde te creëren voor Schiphol Group en haar stakeholders. Vanuit je visie en expertise, maar ook (technologische) ontwikkelingen, wetgeving en beleid vertaal je klantwensen naar een gedegen programma van eisen. In de planontwikkelingsfase werk je nauw samen met Plan Ontwikkelaars om je kennis in te brengen ten behoeve van de kwaliteit van het investeringsvoorstel. Je overlegt met diverse partijen, stelt de vraag achter de vraag en verbindt zo de belangen van de luchthaven, proceseigenaar en asseteigenaar om tot een gedragen ontwikkelopgave

Bekijk vacature »

Fullstack Software Developer

Functieomschrijving Voor een ambitieuze werkgever in regio Roosendaal zijn wij op zoek naar een Full Stack C#.NET Developer. Als software programmeur ben je verantwoordelijk voor het bouwen van webapplicaties, apps en dashboards voor de eigen IOT-oplossingen. Je werkt samen met andere developers en engineers om de sensoren in machines uit te lezen en deze data om te zetten in management informatie voor jullie klanten. Taken en verantwoordelijkheden: Verder ontwikkelen en onderhouden van webapplicaties, dashboards en apps voor de eigen IOT-oplossingen; Testen en goedkeuren van de software; Je gaat aan de slag met de volgende technologieën en frameworks: C#, JS frameworks,

Bekijk vacature »

C# .NET Developer

Functie omschrijving Wij zijn op zoek naar een C# .NET Developer voor een bedrijf in de omgeving van Utrecht! Wil jij werken voor een internationaal bedrijf waar je legio mogelijkheden krijgt als Software Ontwikkelaar? Grijp nu je kans! Je kunt een uitdagende rol gaan vervullen als C#.NET Developer binnen een internationaal bedrijf dat gevestigd is in omgeving van Utrecht. Je zult gaan samenwerken met collega's die over de hele wereld verspreid zitten. Dit bedrijf is zeer vooruitstrevend en werkt met de nieuwste technieken. Als C#.NET Developer ga jij je bezig houden met het volgende: Je blijft op de hoogte van

Bekijk vacature »

Pagina: 1 2 volgende »

Milan Milan

Milan Milan

27/01/2015 19:12:08
Anchor link
Dag allemaal,

Het gaat om www.instazip.me.

De bedoeling van de website is dat het een opgegeven instagram-account crawled en van alle (gevonden) Instagram-foto's een zip bestand maakt, dat gedownload kan worden.

Zouden jullie deze website kunnen bekijken en feedback kunnen geven of eventuele verbeteringen opnoemen?

Met vriendelijke groet,

Milan
 
PHP hulp

PHP hulp

19/05/2025 20:01:08
 
- wes  -

- wes -

28/01/2015 11:41:23
Anchor link
nooit opties stacken. resolutie (wat overigens a resolution is) en aantal aparte velden onder elkaar van maken, sowieso meer ruimte ertussen.

Scrape je dit echt van instagram of gebruik je een API?
 
Milan Milan

Milan Milan

28/01/2015 12:15:56
Anchor link
Bedankt voor je reactie,

Van de Instagram API wordt geen gebruik gemaakt. De foto's worden gescraped (via een zelf ontwikkelde scraper) van Instagram zelf.

Ik wil de ruimte zoveel mogelijk beperken omdat ik op een later moment er beeldadvertenties op wil plaatsen.

Wat bedoel je met stacken?

Met vriendelijke groet,

Milan
 
Victor -

Victor -

28/01/2015 13:02:18
Anchor link
Hoe kan ik bijvoorbeeld de volgende 100 afbeeldingen downloaden?
Ik denk dat wes bedoelt dat je pas de kwaliteit kan selecteren als je het aantal fotos hebt geselecteerd.

Check ook even je spelling:
Quote:
Your file will be expire in two days.


Ook dit is een rare zin :
Quote:
You can either download the ZIP-file by clicking the button 'Download' bellow. or?????


Ook vind ik nergens een terug knop als ik de plaatjes eenmaal kan downloaden
 
Milan Milan

Milan Milan

28/01/2015 14:35:04
Anchor link
Dag Victor,

Zouden jullie allebei de opties graag onder elkaar zien?

Aan het Engels moet inderdaad nog gewerkt worden. Backlink naar de hoofdpagina is ook een goede tip. Misschien via het klikken van het logo?

Limiet is nu 100 afbeeldingen, maar dat wordt binnenkort naar Unlimited gezet. De reden dat het nog tot maximaal 100 afbeeldingen kan, is omdat ik nog een beperkt aantal schijfruimte heb. Binnenkort worden de zip-files opgeslagen op Amazon S3.


Bedankt voor de reacties.

Met vriendelijke groet,

Milan
 
- wes  -

- wes -

29/01/2015 09:04:23
Anchor link
Scrapen wordt behoorlijk snel gedetecteerd door sites als instagram, kan zijn dat je hier een harde blokkade op gaat krijgen ooit. Hou daar rekening mee. Instagram heeft gewoon een API voor dit soort dingen.
 
Milan Milan

Milan Milan

05/02/2015 10:43:29
Anchor link
Dag allemaal,

Zouden jullie nog één kritische blik kunnen geven op mijn website.

Alle aanpassingen die hierboven genoemd zijn, zijn verricht.

Elke mening is welkom.

Scrapen gebeurt trouwens niet via de website van Instagram.

Mvg,

Milan
Gewijzigd op 05/02/2015 10:44:02 door Milan Milan
 
Henk de Vriep

Henk de Vriep

05/02/2015 11:07:32
Anchor link
Als het kan zou ik snel overgaan op de API. Ik weet niet precies hoe je je crawler/scraper gebouwd hebt maar als er iets in de structuur van de site veranderd kan je hele script useless worden.

Daarnaast was eerder al vernoemd dat scrapen al gauw opgemerkt gaat worden door het patroon zeker door grotere bedrijven.
 
Milan Milan

Milan Milan

05/02/2015 11:37:06
Anchor link
Hoi Henk,

Het probleem van de Instagram API is het volgende:

You cannot use the Instagram API to crawl or store users' media without their express consent.

Nu je van elk instagram profiel de foto's kunt downloaden en opgeslagen wordt (nu op de Amazon S3 server) kunnen ze me de toegang ontzeggen tot de API, omdat ik dan niet volgens de regels werk.

Nu het scrapen via een andere website gebeurt die wel de API gebruikt, maar de foto's niet download. Kan Instagram zelf mijn IP niet zien, maar alleen dat van de website waar ik het vandaan haal.

Kortom volgens mij wordt het traceren moeilijk, maar kan het mis hebben.

Nu ik inderdaad wel afhankelijk ben van een één website probeer ik nog een script te maken voor.een andere website, dus mocht 1 website het niet meer doen dan heb ik nog een backup

Zijn er nog andere reacties m.b.t. de layout?

Mvg,

Milan
 
Victor -

Victor -

05/02/2015 21:43:46
Anchor link
Quote:
You cannot use the Instagram API to crawl or store users' media without their express consent.


Als dit er staat mag je dit niet legaal gebruiken, stoppen dus!
 
Milan Milan

Milan Milan

05/02/2015 21:53:38
Anchor link
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend.

Met vriendelijke groet,

Milan

Toevoeging op 05/02/2015 21:54:07:

Milan Milan op 05/02/2015 21:53:38:
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend. En zie daarbij dus geen aanleiding om te stoppen.

Met vriendelijke groet,

Milan
 
Victor -

Victor -

05/02/2015 23:27:43
Anchor link
Okee. Je moet even logisch met me meedenken. Er is een bedrijf als Instagram, die bied jou een api aan omdat zij niet willen dat mensen lukraak dingen van hun site gaan aftrekken. Het is dus de bedoeling dat je die api gebruikt. Nu staat er bij de api dat je niet zomaar alle foto's mag downloaden zonder toestemming van de rechtmatige eigenaar. Zit jij dan goed als je via een andere site foto's van Instagram gaat downloaden? Nee is in dit geval het juiste antwoord.

Uit de terms of use:

General Conditionslid 10:
Quote:
We prohibit crawling, scraping, caching or otherwise accessing any content on the Service via automated means, including but not limited to, user profiles and photos (except as may be the result of standard search engine protocols or technologies used by a search engine with Instagram's express consent).
Gewijzigd op 05/02/2015 23:29:34 door Victor -
 
Ozzie PHP

Ozzie PHP

06/02/2015 00:04:33
Anchor link
@Milan Milan

Zoals Victor hierboven dus zegt ... wat jij doet is illegaal. Ik zou óf de API gaan gebruiken, of zsm de site uit de lucht halen. Dit soort bedrijven kunnen zware middelen inzetten om het jou moeilijk te maken. Ik zou het risico niet nemen.
 
Milan Milan

Milan Milan

06/02/2015 08:15:58
Anchor link
Ja die regel is aan mijn aandacht ontglipt :)

Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 08:30:48
Anchor link
Sommatie met juridische consequenties.
 
Ozzie PHP

Ozzie PHP

06/02/2015 13:19:14
Anchor link
>> Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?

Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen. Echt, ik zou het risico niet nemen. Tegen zulke grote bedrijven ben jij juridisch gezien als particulier nooit opgewassen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:03:53
Anchor link
> Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen.

Vier nullen, om precies te zijn: $ 150.000.

Of maar $ 4.000, maar dan wel per foto.
 
Milan Milan

Milan Milan

06/02/2015 14:41:20
Anchor link
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan



Toevoeging op 06/02/2015 14:45:14:

Btw nog 1 dingetje...

Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 14:52:49
Anchor link
Milan Milan op 06/02/2015 14:41:20:
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan

Ik heb wel eens vaker gelezen dat grote bedrijven dergelijke auteursinbreukmakende scripts bij github kunnen laten verwijderen. Ik weet niet tot hoeverre Instagram (is FaceBook niet de eigenaar?) juridisch zijn recht hierop kan uitoefenen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:54:16
Anchor link
>> Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?

Dan is het nog steeds een probleem: een van de Instagram-gebruikers kan je als auteursrechthebbende een proces aandoen.

Er is een berucht Amerikaanse advocatenkantoor dat daarin is gespecialiseerd. Ik zal niet uitleggen hoe ze dat doen, om niemand op ideeën te brengen, maar jouw gebruik van auteursrechtelijk beschermd materiaal is aantrekkelijk voor partijen die op die manier hun brood verdienen.

Het is wel okay als je de app verbouwt: als je de Instagram-API gebruikt en Instagram-gebruikers daarmee kunt laten inloggen (waarbij zij jou toestemming verlenen), dan kan het waarschijnlijk wel door de beugel. Je geeft mensen dan immers toegang tot hun eigen foto's via een systeem dat Instagram daarvoor beschikbaar stelt.
Gewijzigd op 06/02/2015 15:03:21 door Ward van der Put
 
Milan Milan

Milan Milan

06/02/2015 15:14:48
Anchor link
Dit wordt een interessante kwestie jongens :)

Klopt dat Facebook de eigenaar is, maar de voorwaarden horen bij Instagram.

Is het volgende dan niet de oplossing?

Wanneer Instagram-gebruikers niet willen dat ze via mijn website gecrawld worden dat ze dan hun instagram-account geven met opgaaf van een geldige reden (zoals privacybezwaren) dat ik het account dan niet meer laat crawlen via mijn website?

Het gaat trouwens wel om accounts die publiekelijk toegankelijk zijn.

En Ward de laatste alinea. Wat je daar zegt bestaat dus al: instaport.me.

Maar dat is dus alleen voor je eigen account. Bij mij gaat het om iedereens account, maar nogmaals dan moet die nog wel publiekelijk toegankelijk zijn.
 

Pagina: 1 2 volgende »

 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.