Runescape id/name koppelen

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Javascript Developer (Angular/Node.js)

Bedrijfsomschrijving Ben jij een JavaScript developer en zoek je een nieuwe uitdaging binnen een inspirerende omgeving waarbij innovatie een belangrijke rol speelt? Dan ga je je hier zeker thuisvoelen! Deze organisatie zorgt dat bedrijven efficiënter en commercieel succesvoller worden. Dat doen ze door de combinatie van data en IT optimaal te gebruiken. Je komt terecht in een gepassioneerd team van 12 die allemaal een passie hebben voor data en IT. Je komt terecht in een prettige, informele en flexibele organisatie waar je met veel plezier aan de slag zal gaan. Door het succes zal het team de komende tijd/jaren verder

Bekijk vacature »

Online Marketeer

Om verdere groei van de e-commerce verkoop van onze verzamelaarsproducten te realiseren is de Koninklijke Nederlandse Munt nv per direct op zoek naar een resultaatgerichte en daadkrachtige Online Marketeer (32-40 uur per week) Als Online Marketeer ben je verantwoordelijk voor de e-mailmarketing van onze drie platformen (knm.nl, royaldutchmint.com en herdenkingsmunten.be), social media advertising en aanverwante kanalen. Aan jou de uitdaging om meer traffic en conversies te realiseren. Op basis van data-analyse adviseer je ten aanzien van de inzet van online marketing instrumenten. Als dé expert op gebied van Online Marketing maak je deel uit van volwaardig e-commerce team van een

Bekijk vacature »

Advanced Mendix Developer Order Management Systeme

Advanced Mendix Developer Order Management Systemen (NL) Den Haag HBO/WO IT Professional "Als Advanced Mendix Developer impact maken op de groeiende e-commerce markt? Je doet dit bij PostNL door met je DevOps team onze Mendix applicaties verder te ontwikkelen, waarbij je complexe logistieke business processen vertaalt naar applicaties die ons primaire proces ondersteunen". Wat ga je doen? PostNL wordt een postal tech company We nemen de ontwikkeling van onze IT applicaties in eigen hand door onze eigen software-ontwikkel-capability op te zetten. Als Advanced Mendix Developer ben je onderdeel van een multidisciplinair, agile werkend Business-IT-team. Samen met dit team bouw je onze logistieke IT-applicaties verder

Bekijk vacature »

Database Marketeer

International Campaign for Tibet (ICT) zet zich al 30 jaar in voor behoud van de Tibetaanse cultuur, mensenrechten, democratische vrijheden en zelfbeschikking voor het Tibetaanse volk. Als grootste wereldwijde Tibet-organisatie heeft ICT kantoren in Washington DC, Amsterdam, Brussel, en Berlijn. ICT-Europe is gevestigd in Amsterdam. We onderzoeken en rapporteren de ontwikkelingen in Tibet, lobbyen bij regeringen, benaderen de media, organiseren evenementen en voeren campagnes voor meer aandacht en steun aan Tibet. ICT wordt gevormd door Tibetanen in Tibet die hun leven wagen om informatie met ons te delen, onderzoekers van mensenrechtenschendingen in Tibet, lobbyisten, woordvoerders die de pers te woord

Bekijk vacature »

Infrastructure Specialist

Infrastructure Specialist Hogeweyselaan, 1382 Weesp, Netherlands Full-time Company: DENSO INTERNATIONAL EUROPE B.V. Company Description You probably rely on DENSO’s products every day of your life without even realizing it. In Europe we have more than 16,000 Associates working together to design, produce, and supply the highest quality automotive components and systems for all of the major global car manufacturers and the aftermarket. Our products aim to make cars feel more comfortable and responsive, to interact with the outside world and to reduce the car’s fuel consumption. To do that, our wide product range includes climate control, powertrain control, infotainment, telematics

Bekijk vacature »

ASP.NET CORE developer Fullstack / Intern

Bedrijfsomschrijving Mijn klant houdt zich bezig met alleen maar maatwerk software. Door de flexibiliteit van de developers bedienen ze bijna elke markt; van start-ups tot aan de grotere internationaal georiënteerde bedrijven. Bepaalde applicaties zijn standaard geworden en worden als totaalpakket aan de klant aangeboden. Andere applicaties worden maandelijks onder de loep genomen. Kortom: genoeg uitdaging voor een .NET Developer. Je komt te werken in een gezellig team van ongeveer 20 mensen met een platte structuur. Er wordt veel voor het personeel geregeld en regelmatig ga je met het team op pad. Je collega's zijn IT minded mensen. Het gaat hier

Bekijk vacature »

IT-traineeship Low Code Developer

Vind jij het leuk om veel contact te hebben met een klant en je te verdiepen in een domein? Lijkt het je interessant om enerzijds met de klant mee te denken, maar tegelijkertijd ook zelf een bijdrage te leveren aan de implementatie van een IT oplossing? Wij zijn op zoek naar starters die aan de slag willen als low-code engineer. In deze functie bouw je aan applicaties met behulp van een low-code platform, zoals Outsystems, Blueriq, Mendix of Pega. Dergelijke platformen stellen je in staat om snel een werkende applicatie te ontwikkelen en zijn hierdoor heel geschikt voor maatwerk projecten.

Bekijk vacature »

C/C++ Developer @ Utrecht

2021-05-05 iSense C/C++ Developer Wil jij als C/C++ Developer aan verschillende (inhouse) projecten tegelijk werken voor een organisatie die door slimme oplossingen Nederland steeds leefbaarder maakt? Lees dan nu verder! ISHU48544 Organisatie Als Software ontwikkelaar C/C++ kom je te werken bij een toonaangevende organisatie in de mobiliteitsbranche die door het produceren van slimme producten Nederland steeds leefbaarder maakt! Ze ontwikkelen innovatieve producten die er onder andere voor zorgen dat de infrastructuur in Nederland op de snelste en meeste efficiënte manier kan worden geregeld. Als C/C++ ontwikkelaar kom je te werken op een afdeling met 40 collega's, bestaande uit Engineers, deskundigen

Bekijk vacature »

.NET developer

Wil jij samen met gemotiveerde en slimme collega’s bouwen aan ons geavanceerde landschap in Azure? En vind je het ook nog eens leuk om jouw kennis te delen met junior- en medior devs? Dan heb je wellicht interesse in de positie van: Senior fullstack .NET developer voor ons kantoor in Alkmaar Over de positie: Bij SnelStart werken we in een AGILE-structuur om de productie meer focus en impact te geven. Met je collega’s kom je tot de beste resultaten door onderlinge discussie, goede refinement sessies, reviews en écht teamwork. Je hebt de vrijheid om de dingen te doen zoals jij

Bekijk vacature »

Gedreven front-end ontwikkelaar gezocht!

Bedrijfsomschrijving Dit moderne bedrijf is zeer succesvol en maakt prachtige webapplicaties voor grote A-merken.Vanwege de sterke groei zoeken wij per direct voor dit bedrijf een ervaren front-end ontwikkelaar. Het team bestaat uit een jonge groep enthousiaste specialisten waaronder 6 backend en 5 frontend ontwikkelaars. Omdat de mooie opdrachten zich blijven aandienen zijn ze van plan om weer uit te breiden en het verloop bij deze organisatie is heel laag omdat het er erg prettig werken is.Zo gaan ze bijvoorbeeld heel flexibel om met elkaar en kijkt men hier niet raar op als je eens een middag afwezig bent of later

Bekijk vacature »

Datawarehouse specialist / ETL Ontwikkelaar @ Rott

2021-04-12 iSense Datawarehouse specialist / ETL Ontwikkelaar Datawarehouse ontwikkelaar / ETL ontwikkelaar / DWH ISRA49558 Nieuw Organisatie Onze klant is een semi overheidsinstelling. Ze zijn bezig met het bouwen van een nieuwe BI omgeving. Ze hebben onderzocht hoe het datalandschap en de informatievoorziening geprofessionaliseerd kan worden. Als DWH Ontwikkelaar kun jij hier een belangrijk rol in gaan spelen over hoe je het verder gaat uitvoeren. Het is een informele organisatie met een goede werksfeer. De mensen die er werken zijn ambitieus en werken met de nieuwste technieken. Ben jij toe aan een nieuwe uitdaging als datawarehouse ontwikkelaar waar jij kunt

Bekijk vacature »

Business Intelligence ontwikkelaar

Bedrijfsomschrijving De organisatie is gevestigd in Ede en is gespecialiseerd in het ontwerp en ontwikkeling van financiële software voor een groot aantal instanties in Nederland. Momenteel werken er ruim 40 personen binnen de organisatie. De IT afdeling is momenteel 16 FTE groot, bestaande uit BI specialisten, software ontwikkelaars, informatie analisten en testers. De organisatie is te typeren als informeel maar wel professioneel. Functieomschrijving Ter uitbreiding van het team is de organisatie opzoek naar een Business Intelligence ontwikkelaar. Je werkt aan uitbreiding van het bestaande datawarehouse alsmede een nieuw te bouwen datawarehouse. In de functie ben je bezig met de bouw

Bekijk vacature »

Full Stack Java Developer

Functieomschrijving Wil jij zorgen voor de meest plezierige en efficiënte klant ervaring? Wil jij werken met state-of-the-art-systemen, onze business verbeteren en echt impact maken? Wat ga je doen als Full-stack Java Developer? Met jouw slimme en gave oplossingen breng je mensen en werk dichter bij elkaar. Samen met jouw team uiteraard. Binnenstromende functionele vragen vertalen naar technische creatieve oplossingen. Daar mag jij je in gaan vastbijten. Jouw focus bij ons zal liggen bij het 'self-service portaal' voor klanten, waar onze producten en diensten digitaal worden aangeboden aan onze klanten. Een portaal wat wij continue willen doorontwikkelen en dus ook onze

Bekijk vacature »

Backend .NET Developer @ regio Den Haag

2021-03-09 iSense Backend .NET Developer Ben jij een backend .NET Developer en heb je een passie voor voetbal? Beschik je daarbij ook over ervaring met .NET Core? Neem dan snel contact op voor meer informatie! ISSL47657-2 Nieuw Organisatie Binnen deze organisatie in de regio Den Haag zal je als .NET Developer terecht komen in een multidisciplinair team met 5 andere Programmeurs. In jouw rol ben je verantwoordelijk voor het ontwikkelen en optimaliseren van mobiele applicaties met meer dan 4 miljoen gebruikers wereldwijd. Als Backend Developer zal je dagelijks werken met C#, .NET Core, Kubernetes en een SQL Database. Voor het

Bekijk vacature »

Team Lead Applicatie Developers

UPS zoekt een Team Lead Applicatie Developers *THUISWERKEN IS MOGELIJK VOOR DEZE FUNCTIE Heb jij ruime ervaring als applicatieontwikkelaar? En vind je het leuk om boven op de laatste ontwikkelingen in je vak te zitten, mede-developers aan te sturen en altijd te blijven leren? Als Team Lead C# bij UPS werk je aan projecten die in veel verschillende landen worden gebruikt en maak je deel uit van een grote en internationale gemeenschap van agile teams. Dit ga je doen Je gaat aan de slag met het leveren van functionaliteiten voor zeer complexe IT-systemen. Je werkt samen met verschillende agile teams

Bekijk vacature »
John Doe

John Doe

02/10/2009 20:10:00
Quote Anchor link
Hoi allemaal,
Ik ben bezig met een script dat alle runescape item id's zoekt en koppelt met hun naam om later opgeslagen te kunnen worden.

cURL normaal:
Snelheid 0.5 per item.

cURL_multi met 5 items tegelijk:
Snelheid 0.2 per item.

cURL_multi met 10 items tegelijk:
Snelheid 0.14 per item.

Weet iemand of die sneller/effectiever kan, zoja hoe?

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
<?php
echo 'Started at '.date("H:i:s").'<br />';
flush();
function
name_id($data){
$begin = '<div class="brown_box main_ge_page vertically_spaced">'."\n".'<div class="subsectionHeader">';
$eind = '</div>';
if (preg_match("/Error/i",$data)){
        $result = "Bestaat niet";
    }
else{
        $exploded = explode($begin,$data);
        $exploded = explode($eind,$exploded[1]);
        $result = str_replace('<br />','',nl2br($exploded[0]));
    }

    return trim($result);
}

$getallen = range(0, 100);
$cURL_done = 0;
$last = 0;
// Urls to download
$urls = array();
foreach ($getallen as $value){
    $urls[] = 'http://itemdb-rs.runescape.com/viewitem.ws?obj='.$value;
}

    $threads = 10;
    $timeout = 30;

    $mcurl = curl_multi_init();
    $threadsRunning = 0;
    $urls_id = 0;
for(;;) {
        //de vrije ruimtes vullen
        while ($threadsRunning < $threads && $urls_id < count($urls)) {
            //echo 'Adding download link: '.$urls[$urls_id].'<br>';
            //flush();

            $ch = curl_init();
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
            curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
            curl_setopt($ch, CURLOPT_URL, $urls[$urls_id++]);
            curl_multi_add_handle($mcurl, $ch);
            $threadsRunning++;
        }

        //Als hij klaar is
        if ($threadsRunning == 0 && $urls_id >= count($urls))
        break;
        
        //cURL
        curl_multi_select($mcurl);
        while(($mcRes = curl_multi_exec($mcurl, $mcActive)) == CURLM_CALL_MULTI_PERFORM) usleep(100000);
        if($mcRes != CURLM_OK) break;
        while($done = curl_multi_info_read($mcurl)) {
            $ch = $done['handle'];
            $done_url = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);
            $done_content = curl_multi_getcontent($ch);
            
            if(curl_errno($ch) == 0) {
                //output als er geen errors zijn
                $id = array_search($done_url, $urls);
                $id_name[$id]= name_id($done_content);
                $cURL_done++;
                $cURL_perCent = round($cURL_done / count($urls) * 100);
                $cURL_perDecem = floor($cURL_perCent / 10) * 10;
                if($last != $cURL_perDecem){
                    echo $cURL_perDecem.'% at '.date("H:i:s").'<br />';
                    $last = $cURL_perDecem;
                }

                flush();
                }
else {
                    //output als er een error is
                    echo "Link <a href='$done_url'>$done_url</a> failed: ".curl_error($ch)."<br>\n";
                    flush();
                }

                    curl_multi_remove_handle($mcurl, $ch);
                    curl_close($ch);
                    $threadsRunning--;
        }
    }

curl_multi_close($mcurl);
ksort($id_name);
echo 'Completed. at '.date("H:i:s");

echo '<pre>';
print_r($id_name);
echo '</pre>';
?>
Gewijzigd op 01/01/1970 01:00:00 door John Doe
 
PHP hulp

PHP hulp

13/06/2021 13:15:17
 
Gerard M

Gerard M

02/10/2009 21:43:00
Quote Anchor link
Je kan curl_multi_init gebruiken om veel requests tegelijk uit te voeren.

http://uk3.php.net/manual/en/function.curl-multi-init.php

Je moet wel opletten dat je d'r geen DOS attack van maakt trouwens ;)
Gewijzigd op 01/01/1970 01:00:00 door Gerard M
 
John Doe

John Doe

02/10/2009 22:06:00
Quote Anchor link
Lol je eigen/runescapes server ruïneren ;) Heb het script geupdate. Zie bovenaan.
Gewijzigd op 01/01/1970 01:00:00 door John Doe
 
Gerard M

Gerard M

03/10/2009 14:31:00
Quote Anchor link
Ik weet niet hoe runscape in elkaar zit (ik heb het nooit gespeeld). Maar als ik zo kijk lijkt het er op dat niet elk ID nummer bestaat - dus die nummers kan je overslaan. Daarnaast denk ik niet dat het veel sneller kan gaan met php.

Je kan proberen met nog meer threads te werken? En als runescape maar N connecties toestaat een proxy gebruiken? Draai je het script op een goede internet connectie trouwens?

Als ik wget gebruik zit ik ook rond de 0.3 seconde per item (1 connectie per keer). Dus 0.3 seconde lijkt het minimum per request.

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
<?php
#!/bin/bash

for (( i=1; i<=100; i++ ))
do
    wget http://itemdb-rs.runescape.com/viewitem.ws?obj=${i};
done
?>



Btw, ik neem aan dat je het script niet 'per request' draait maar als een cronjob, en de output in een database steekt?
Gewijzigd op 01/01/1970 01:00:00 door Gerard M
 
John Doe

John Doe

03/10/2009 17:55:00
Quote Anchor link
Het nadeel is dat runescape nog al is wil wisselen van id's vanwege robots. Ik laat het script voorlopig nog even op mijn localhost draaien mbv xxamp zit nu op 0.2 seconde en idd het is een cronjob kijk ff of het allemaal lukt en dan breng ik jullie op de hoogte.

Edit: hij is nu aan het scannen. ongeveer 60%
Gewijzigd op 01/01/1970 01:00:00 door John Doe
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.