Instagram crawler

Overzicht

Sponsored by: Vacatures door Monsterboard

Back-end developer (Magento2)

Functie E-commerce is een ‘’snelle’’ wereld. Om hierin continu voorop te blijven omarmen ze in een vroeg stadium nieuwe technieken. Een webshop is nooit af en kan altijd beter, sneller en efficiënter. Tegelijkertijd hebben ze vanaf hun oprichting altijd vastgehouden aan kwaliteit boven snelheid, en dit loont. Als back-end developer fungeer je als het verlengstuk van hun klanten. Technisch complexe zaken pak je met liefde op, en hierin werk je samen met o.a. front-end developers en designers. Klanten verwacht hierin kwaliteit van het hoogste niveau en een proactieve, meedenkende rol bij het maken van zowel technische als strategische keuzes. Ga

Bekijk vacature »

Full Stack Java ontwikkelaar

Functieomschrijving Voor de politie zijn wij op zoek naar een Full stack Java ontwikkelaar. Als ervaren full stack Java ontwikkelaar binnen de gewenste deadlines meewerken aan de totstandkoming van de gewenste werkzaamheden. Taken Upgraden van GeoServer, SOLR, Oracle Spatial database, Tomcat Migreren Oracle Spatial naar PostgreSQL/PostGIS Migreren SOLR naar ElasticSearch Geografische gegevens op het interne netwerk beschikbaar maken Doorontwikkelen en actualiseren van de geografische services Het up to date brengen van de CI/CD pipeline, samen met medewerkers die verantwoordelijk zijn voor de CI/CD tooling Aanspreekbaar op de solution architectuur en stemt die met collega's in het cluster Geo De opdracht

Bekijk vacature »

App Developer

Samen werken aan een gezonder Nederland en toekomstbestendige zorg voor iedereen. Dat is de impact die jij kan hebben als App Developer bij VGZ. Wil jij een bijdrage leveren aan een maatschappij waarin iedereen zich thuis voelt? Bekijk dan de vacature. Uit onderzoek van Computable is VGZ verkozen tot ‘beste niet-ICT werkgever voor ICT’ers van Nederland’ Hoe ook jij het verschil maakt Als App developer werk jij aan het belangrijkste communicatiekanaal van VGZ, namelijk de App! Als App developer bij VGZ maak je onderdeel uit van een van onze App-teams. Met een goede mix van kennis en ervaring zet je

Bekijk vacature »

Medior/senior PHP ontwikkelaar E-commerce

Functie Het software development team bestaat momenteel 5 scrum teams . Ieder team heeft een eigen SCRUM Master en eigen tester. Zij werken voornamelijk in PHP en met hun eigen geschreven framework wat Symfony based is . Jij bent samen met je collega’s verantwoordelijk voor het interne softwaresysteem en alle projecten die daar omheen lopen. Alles wat jij ontwikkelt, wordt direct toegepast en uitgerold (wereldwijd). Dit maakt jouw werk tastbaar en uitdagend! Een greep uit jouw werkzaamheden: Toevoegen en ontwikkelen van nieuwe functionaliteiten Logistieke software ontwikkelen voor intern gebruik Tientallen gigabytes aan data inzichtelijk maken Altijd op zoek gaan naar

Bekijk vacature »

OutSystems Developer

Dit ga je doen Het van scratch af aan ontwikkelen van applicaties met OutSystems; Het aanhaken bij diverse projecten binnen de organisatie; Schakelen met de business; Meedenken over de mogelijkheden van het platform binnen de organisatie. Hier ga je werken Deze organisatie is een toonaangevende speler in de vastgoedbranche en telt momenteel ruim 500 medewerkers. Met meer dan 150 applicaties staat er een complex applicatielandschap, bestaande uit standaard- en maatwerkapplicaties. De maatwerkapplicaties worden ontwikkeld door een inhouse development team. Het doel voor de komende periode is het verder vernieuwen en optimaliseren van het huidige applicatielandschap. Zo staat de organisatie aan

Bekijk vacature »

Oracle APEX developer

Wat je gaat doen: Als Oracle APEX ontwikkelaar bij DPA werk je samen met collega’s aan de meest interessante opdrachten. Je zult je ervaring met SQL, PL/SQL, JavaScript, HTML en CSS inzetten om wensen van opdrachtgevers te vertalen naar technische oplossingen. Je werk is heel afwisselend, omdat DPA zich niet beperkt tot een specifieke branche. Zo ben je de ene keer bezig binnen de zorgsector, de andere keer is dit bij de overheid. Wat we vragen: Klinkt goed? Voor deze functie breng je het volgende mee: Je hebt een hbo- of universitaire opleiding afgerond Je hebt 2 tot 5 jaar

Bekijk vacature »

Ervaren Magento developer gezocht!

Functie Je komt te werken in een zelfsturend team waarin vertrouwen voorop staat en inbreng en ideeën worden gewaardeerd. Ook staat innovatie centraal. Ze bieden jou de mogelijkheid om jezelf door te ontwikkelen. Denk hierbij aan cursussen en een persoonlijk ontwikkelplan. Je komt terecht in het team van momenteel 4 (ervaren) collega’s en zal meewerken aan de doorontwikkeling en nieuwbouw van de Magento platformen van meerdere opdrachtgevers volgens Agile/Scrum. Denk hierbij aan nieuwe functionaliteiten, UX en koppelingen met verschillende back-end systemen. Als ervaren developer zul je hiernaast ook andere developers assisteren en waar nodig de leiding nemen in het project.

Bekijk vacature »

Back end developer Digital agency

Functie Heb jij altijd al eens bij een bedrijf willen werken waar jij géén nummertje bent, die alleen maar uitvoerend werk doet? Dan zou je hier perfect passen! Tuurlijk, je werkt aan projecten voor grote of kleine bedrijven… Het enige verschil hier is, jouw mening telt hier écht. Jouw inbreng wordt gewaardeerd, serieus genomen en gebruikt. En vergeet niet, je werkt niet alleen aan deze projecten. Er werken in totaal ruim 20 developers en designers, onderverdeeld over 3 development teams. Voornamelijk bestaande uit Medior en Senior developers, die samen voor een inspirerende en ambitieuze omgeving zorgen. Hun visie is namelijk

Bekijk vacature »

Full stack developer Node.js

Functie Als fullstack JavaScript developer vind jij het uitdagend om op basis van concrete klantvragen nieuwe functionaliteiten te ontwikkelen. Bij voorkeur worden deze functionaliteiten op een bepaalde manier geprogrammeerd, zodat ze door meerdere klanten te gebruiken zijn. Je hebt dus vaak te maken met abstracte vraagstukken. Om dit te kunnen realiseren sta je nauw in contact met de product owner en/of klant. Je bent niet alleen onderdeel van het development team, maar hebt ook vaak contact met de product-owner en/of klanten om daardoor inzichten te verzamelen die leiden tot productverbeteringen. • Inzichten verzamelen bij de klant en/of product owner •

Bekijk vacature »

HBO startersfunctie .NET Ontwikkelaar

Functie omschrijving We are looking for a dutch native speaker Ben je in januari 2023 klaar met je HBO opleiding en zoek je een mooie uitdaging? Wacht niet langer en solliciteer direct! Voor een familiebedrijf in de regio van Boxtel ben ik op zoek naar een C#.NET Ontwikkelaar. Jij gaat aan de slag met de (door)ontwikkeling van de maatwerksoftware projecten en gaat ook nieuwe software bouwen, middels de Microsoft-stack. Het bedrijf maakt gebruik van de volgende technieken: C# & ASP.NET; MVC; MS SQL; Entity Framework; Je krijgt hier veel tijd om te leren en eventueel door te groeien en het

Bekijk vacature »

Back end Node.js developer

Functie Het ontwikkelteam bestaat momenteel uit 5 (back-end) Developers, 2 systeembeheerders, 1 DevOps engineer, 1 Tech Lead en 2 Scrum Masters. Samen wordt er doorontwikkeld aan twee SaaS-platformen die in een hoog tempo doorontwikkeld moeten worden. Omdat innovatie een belangrijk speerpunt binnen de organisatie is, wordt er ook continu naar snellere en slimmere oplossingen te bedenken en realiseren. Als Back-end Developer hou jij je dagelijks bezig met vraagstukken zoals: API-development, high volume datastromen, het ontwikkelen van Bots aan de hand van A.I. Daarnaast denk en werk jij mee aan de onlineapplicaties voor klanten. Er wordt zelfstandig en in teamverband gewerkt

Bekijk vacature »

Medior/senior Back-end developer gezocht!

Functie Vanwege de groei binnen het bedrijf zijn we op zoek naar versterking in het devlopmenttean. Als back-end developer bouw je aan de bedrijfssoftware die ons helpt bij de primaire processen. Een leuk (intern) project dus waarbij je de software continu doorontwikkeld! Je werkt in een klein team, we hebben dagelijks stand-ups en iedere twee weken een scrum-sessie, begeleid door onze Scrum Master. Hierin krijg je uitgebreid de kans om je ideeën te presenteren, en te overleggen met je mede-ontwikkelaars en de Product Owner. Binnen de ontwikkelteams gebruiken we Trello, Gitlab, Jiira, Confluence en Boockstack. Hiernaast werken ze met de

Bekijk vacature »

C#.NET developer

Functieomschrijving Wij zijn op zoek naar een gepassioneerde Full Stack C#.NET Software Developer. Als Software Developer ben je verantwoordelijk voor het ontwikkelen van webapplicaties, apps en dashboards voor de eigen IOT-oplossingen. Je werkt samen met andere ontwikkelaars en engineers om de sensoren in machines uit te lezen en deze data om te zetten in management informatie voor jullie klanten. Taken en verantwoordelijkheden: Testen en valideren van de ontwikkelde software. Ontwikkelen en onderhouden van webapplicaties, apps en dashboards voor de eigen IOT-oplossingen. Je gaat aan de slag met diverse technologieën en frameworks. Denk hierbij aan C#, JS frameworks, HTML, CSS, TypeScript,

Bekijk vacature »

Back-end PHP Software Developer - Juniorfunctie

Functieomschrijving Wij zijn op zoek naar een PHP Software Developer om ons team te versterken en mee te werken aan de ontwikkeling van eigen IOT-oplossingen. In deze functie ben je verantwoordelijk voor het bouwen van webapplicaties, apps en dashboards voor het uitlezen en managen van sensoren in machines. Je werkt nauw samen met een team van ontwikkelaars en engineers om de beste software-oplossingen te creëren. Jouw werkzaamheden zien er als volgt uit: Je bent in deze rol verantwoordelijk voor het ontwerpen, ontwikkelen en onderhouden van webapplicaties en softwaretoepassingen voor in-house ontwikkelde IOT oplossingen. Je werkt aan complexe databases en back-end

Bekijk vacature »

C# developer

Functie Als C# ontwikkelaar ben jij de spin in het web bij deze organisatie. Jij begeleidt en traint de field engineers die bij de klanten machines leveren en installeren. Daarnaast ondersteun jij de field engineers als zij bij de klant vastlopen bij het installeren van de machine m.b.t. software matige vragen. Jouw doel is dan ook om de technische kennis van de field engineers door middel van training zoveel mogelijk uit te breiden. Dit om ervoor te zorgen dat zij zelfstandiger software matige problemen kunnen oplossen. Ook ben jij verantwoordelijk voor het bedenken van software oplossingen voor klanten en dit

Bekijk vacature »

Pagina: 1 2 volgende »

Milan Milan

Milan Milan

27/01/2015 19:12:08
Anchor link
Dag allemaal,

Het gaat om www.instazip.me.

De bedoeling van de website is dat het een opgegeven instagram-account crawled en van alle (gevonden) Instagram-foto's een zip bestand maakt, dat gedownload kan worden.

Zouden jullie deze website kunnen bekijken en feedback kunnen geven of eventuele verbeteringen opnoemen?

Met vriendelijke groet,

Milan
 
PHP hulp

PHP hulp

27/04/2024 00:01:45
 
- wes  -

- wes -

28/01/2015 11:41:23
Anchor link
nooit opties stacken. resolutie (wat overigens a resolution is) en aantal aparte velden onder elkaar van maken, sowieso meer ruimte ertussen.

Scrape je dit echt van instagram of gebruik je een API?
 
Milan Milan

Milan Milan

28/01/2015 12:15:56
Anchor link
Bedankt voor je reactie,

Van de Instagram API wordt geen gebruik gemaakt. De foto's worden gescraped (via een zelf ontwikkelde scraper) van Instagram zelf.

Ik wil de ruimte zoveel mogelijk beperken omdat ik op een later moment er beeldadvertenties op wil plaatsen.

Wat bedoel je met stacken?

Met vriendelijke groet,

Milan
 
Victor -

Victor -

28/01/2015 13:02:18
Anchor link
Hoe kan ik bijvoorbeeld de volgende 100 afbeeldingen downloaden?
Ik denk dat wes bedoelt dat je pas de kwaliteit kan selecteren als je het aantal fotos hebt geselecteerd.

Check ook even je spelling:
Quote:
Your file will be expire in two days.


Ook dit is een rare zin :
Quote:
You can either download the ZIP-file by clicking the button 'Download' bellow. or?????


Ook vind ik nergens een terug knop als ik de plaatjes eenmaal kan downloaden
 
Milan Milan

Milan Milan

28/01/2015 14:35:04
Anchor link
Dag Victor,

Zouden jullie allebei de opties graag onder elkaar zien?

Aan het Engels moet inderdaad nog gewerkt worden. Backlink naar de hoofdpagina is ook een goede tip. Misschien via het klikken van het logo?

Limiet is nu 100 afbeeldingen, maar dat wordt binnenkort naar Unlimited gezet. De reden dat het nog tot maximaal 100 afbeeldingen kan, is omdat ik nog een beperkt aantal schijfruimte heb. Binnenkort worden de zip-files opgeslagen op Amazon S3.


Bedankt voor de reacties.

Met vriendelijke groet,

Milan
 
- wes  -

- wes -

29/01/2015 09:04:23
Anchor link
Scrapen wordt behoorlijk snel gedetecteerd door sites als instagram, kan zijn dat je hier een harde blokkade op gaat krijgen ooit. Hou daar rekening mee. Instagram heeft gewoon een API voor dit soort dingen.
 
Milan Milan

Milan Milan

05/02/2015 10:43:29
Anchor link
Dag allemaal,

Zouden jullie nog één kritische blik kunnen geven op mijn website.

Alle aanpassingen die hierboven genoemd zijn, zijn verricht.

Elke mening is welkom.

Scrapen gebeurt trouwens niet via de website van Instagram.

Mvg,

Milan
Gewijzigd op 05/02/2015 10:44:02 door Milan Milan
 
Henk de Vriep

Henk de Vriep

05/02/2015 11:07:32
Anchor link
Als het kan zou ik snel overgaan op de API. Ik weet niet precies hoe je je crawler/scraper gebouwd hebt maar als er iets in de structuur van de site veranderd kan je hele script useless worden.

Daarnaast was eerder al vernoemd dat scrapen al gauw opgemerkt gaat worden door het patroon zeker door grotere bedrijven.
 
Milan Milan

Milan Milan

05/02/2015 11:37:06
Anchor link
Hoi Henk,

Het probleem van de Instagram API is het volgende:

You cannot use the Instagram API to crawl or store users' media without their express consent.

Nu je van elk instagram profiel de foto's kunt downloaden en opgeslagen wordt (nu op de Amazon S3 server) kunnen ze me de toegang ontzeggen tot de API, omdat ik dan niet volgens de regels werk.

Nu het scrapen via een andere website gebeurt die wel de API gebruikt, maar de foto's niet download. Kan Instagram zelf mijn IP niet zien, maar alleen dat van de website waar ik het vandaan haal.

Kortom volgens mij wordt het traceren moeilijk, maar kan het mis hebben.

Nu ik inderdaad wel afhankelijk ben van een één website probeer ik nog een script te maken voor.een andere website, dus mocht 1 website het niet meer doen dan heb ik nog een backup

Zijn er nog andere reacties m.b.t. de layout?

Mvg,

Milan
 
Victor -

Victor -

05/02/2015 21:43:46
Anchor link
Quote:
You cannot use the Instagram API to crawl or store users' media without their express consent.


Als dit er staat mag je dit niet legaal gebruiken, stoppen dus!
 
Milan Milan

Milan Milan

05/02/2015 21:53:38
Anchor link
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend.

Met vriendelijke groet,

Milan

Toevoeging op 05/02/2015 21:54:07:

Milan Milan op 05/02/2015 21:53:38:
Hoi Victor,

Bedankt voor je reactie.

Deze regel geldt alleen wanneer je de API gebruikt. Of deze regel ook zonder API geldt is (mij) niet bekend. En zie daarbij dus geen aanleiding om te stoppen.

Met vriendelijke groet,

Milan
 
Victor -

Victor -

05/02/2015 23:27:43
Anchor link
Okee. Je moet even logisch met me meedenken. Er is een bedrijf als Instagram, die bied jou een api aan omdat zij niet willen dat mensen lukraak dingen van hun site gaan aftrekken. Het is dus de bedoeling dat je die api gebruikt. Nu staat er bij de api dat je niet zomaar alle foto's mag downloaden zonder toestemming van de rechtmatige eigenaar. Zit jij dan goed als je via een andere site foto's van Instagram gaat downloaden? Nee is in dit geval het juiste antwoord.

Uit de terms of use:

General Conditionslid 10:
Quote:
We prohibit crawling, scraping, caching or otherwise accessing any content on the Service via automated means, including but not limited to, user profiles and photos (except as may be the result of standard search engine protocols or technologies used by a search engine with Instagram's express consent).
Gewijzigd op 05/02/2015 23:29:34 door Victor -
 
Ozzie PHP

Ozzie PHP

06/02/2015 00:04:33
Anchor link
@Milan Milan

Zoals Victor hierboven dus zegt ... wat jij doet is illegaal. Ik zou óf de API gaan gebruiken, of zsm de site uit de lucht halen. Dit soort bedrijven kunnen zware middelen inzetten om het jou moeilijk te maken. Ik zou het risico niet nemen.
 
Milan Milan

Milan Milan

06/02/2015 08:15:58
Anchor link
Ja die regel is aan mijn aandacht ontglipt :)

Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 08:30:48
Anchor link
Sommatie met juridische consequenties.
 
Ozzie PHP

Ozzie PHP

06/02/2015 13:19:14
Anchor link
>> Wat voor consequenties kan dit hebben, mocht dit inderdaad illegaal zijn?

Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen. Echt, ik zou het risico niet nemen. Tegen zulke grote bedrijven ben jij juridisch gezien als particulier nooit opgewassen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:03:53
Anchor link
> Dat je een schadevergoeding aan je broek kunt krijgen van een bedrag met een paar nullen.

Vier nullen, om precies te zijn: $ 150.000.

Of maar $ 4.000, maar dan wel per foto.
 
Milan Milan

Milan Milan

06/02/2015 14:41:20
Anchor link
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan



Toevoeging op 06/02/2015 14:45:14:

Btw nog 1 dingetje...

Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?
 
- Ariën  -
Beheerder

- Ariën -

06/02/2015 14:52:49
Anchor link
Milan Milan op 06/02/2015 14:41:20:
Als 16-jarige ben ik daar inderdaad niet tegen opgewassen.

In ieder geval bedankt voor de reacties/waarschuwingen. Mocht ik het offline halen dan zet ik het op gitbub.

Milan

Ik heb wel eens vaker gelezen dat grote bedrijven dergelijke auteursinbreukmakende scripts bij github kunnen laten verwijderen. Ik weet niet tot hoeverre Instagram (is FaceBook niet de eigenaar?) juridisch zijn recht hierop kan uitoefenen.
 
Ward van der Put
Moderator

Ward van der Put

06/02/2015 14:54:16
Anchor link
>> Instagram zegt dat ze geen recht claimen op de foto's die geüpload zijn door de gebruikers? Hoe kun je dan een juridische procedure beginnen als Instagram zijnde zonder recht op de foto's te hebben/claimen?

Dan is het nog steeds een probleem: een van de Instagram-gebruikers kan je als auteursrechthebbende een proces aandoen.

Er is een berucht Amerikaanse advocatenkantoor dat daarin is gespecialiseerd. Ik zal niet uitleggen hoe ze dat doen, om niemand op ideeën te brengen, maar jouw gebruik van auteursrechtelijk beschermd materiaal is aantrekkelijk voor partijen die op die manier hun brood verdienen.

Het is wel okay als je de app verbouwt: als je de Instagram-API gebruikt en Instagram-gebruikers daarmee kunt laten inloggen (waarbij zij jou toestemming verlenen), dan kan het waarschijnlijk wel door de beugel. Je geeft mensen dan immers toegang tot hun eigen foto's via een systeem dat Instagram daarvoor beschikbaar stelt.
Gewijzigd op 06/02/2015 15:03:21 door Ward van der Put
 
Milan Milan

Milan Milan

06/02/2015 15:14:48
Anchor link
Dit wordt een interessante kwestie jongens :)

Klopt dat Facebook de eigenaar is, maar de voorwaarden horen bij Instagram.

Is het volgende dan niet de oplossing?

Wanneer Instagram-gebruikers niet willen dat ze via mijn website gecrawld worden dat ze dan hun instagram-account geven met opgaaf van een geldige reden (zoals privacybezwaren) dat ik het account dan niet meer laat crawlen via mijn website?

Het gaat trouwens wel om accounts die publiekelijk toegankelijk zijn.

En Ward de laatste alinea. Wat je daar zegt bestaat dus al: instaport.me.

Maar dat is dus alleen voor je eigen account. Bij mij gaat het om iedereens account, maar nogmaals dan moet die nog wel publiekelijk toegankelijk zijn.
 

Pagina: 1 2 volgende »

 

Dit topic is gesloten.



Overzicht

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.