URL Shortener algoritme?

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Senior HANA Developer

Want to be part of progress? To develop, coach and guide New Product Development in a dynamic international environment? In the Program Management Office we raise the level of program management within the organization. If you want to be part of a high performing team with a focus on structural improvements, we invite you to read the job description below and let us know if you are the person we are looking for. Functie Job Mission In the Program Management Office (PMO) we are the recognized expert, that drives World-Class Program- and Project Management. In this way PMO is the

Bekijk vacature »

Senior Business Analist Pensioenen

Senior Business Analist Pensioenen Functiebeschrijving: Word jij enthousiast om als bruggenbouwer tussen business en IT ervoor te zorgen, dat de juiste IT-oplossingen worden gerealiseerd voor onze eindklanten? Dan ben je bij ons aan het goede adres! Wij zijn op zoek naar een nieuwe collega om het product team van onze Pensioen Administratie Platform te versterken. Wat ga je doen? Je helpt ons en onze klant om onze toekomststrategie van ons Pensioen Administratie Platform vorm te geven. Je verzamelt, combineert en analyseert business requirements vanuit verschillende interne en externe bronnen. Deze vertaal je naar specificaties voor IT, zodat de ontwikkelaars hier

Bekijk vacature »

Senior Salesforce Developer

Functieomschrijving Do you want to help shape the global Salesforce environment of the world’s largest HR service provider, defining, building and continuously improving the solution 28.000 people will use on a daily basis? Helping shape the working life of over 500 million talented individuals? As part of building a global Salesforce programme we are looking for multiple experienced Salesforce Developers. You work closely with our Technical lead, product owner and other salesforce developers and consultants to implement and integrate a global package of features based on Sales Cloud, Services Cloud, Marketing Cloud and Bullhorn for Salesforce, including but not limited

Bekijk vacature »

Front End Developer

Are you passionate about User Interface (UI)/ User Experience (UX) design and experienced as a front-end developer? We are looking for you! what we offer Possibility to work partially from home Fulltime job during office hours The company is located in Sittard (Limburg, NL) Contract directly by the company who are you We are looking for a pro-active, enthusiastic front-end developer. You are experienced and willing to learn more and more. You can provide us with a portfolio that demonstrates Javascript proficiency and SOLID & DRY design principles understanding. The main language will be English. At least 1 year experience

Bekijk vacature »

Full stack developer

Lijkt het je leuk je ICT-kennis breed toe te passen in projecten die zowel technisch uitdagend als maatschappelijk relevant zijn? We zoeken een full stack developer om ons snel groeiende, internationale team te versterken. Als full stack developer help je mee om applicaties te ontwikkelen en te verbeteren, op zowel de front-end als de backend. Dit kunnen zowel IT oplossingen zijn in onze ingenieursprojecten als interne applicaties waarmee bedrijfsprocessen worden gedigitaliseerd. Je bent betrokken bij het ontwerpen, ontwikkelen en testen van de webapplicaties. Je zal zowel zelfstandig als in teamverband kwalitatief goede software producten realiseren, waarbij je volop ruimte krijgt

Bekijk vacature »

Lead Software Developer

De afdeling ICT is belangrijk binnen onze organisatie. Deze afdeling ontwikkelt zich steeds meer naar een flexibele, innovatieve en zakelijke organisatie, die marktconform werkt en een hoogwaardig aanbod aan diensten biedt. We kennen een grote diversiteit aan systemen (ERP, Warehouse management, Enterprise Service Bus, BI, e-commerce). Onlangs hebben we onze systemen vernieuwd. Ter versterking van deze afdeling zijn we op zoek naar een enthousiaste collega voor de functie van: Lead Software Developer (32 – 40 uur) Als Lead Software Developer geef je vakinhoudelijk leiding aan het ontwikkelteam en ben je samen met jouw teamleden verantwoordelijk voor het verder ontwikkelen van

Bekijk vacature »

Java Bloomreach Developer

Functieomschrijving Flexibility, autonomy and an organisation that prioritises innovation. As java bloomreach developer at Randstad Groep Nederland IT, those things are the foundation of your work. As we continue to take steps in our digital transformation, we are looking for you! Who are we? RGN IT is the central IT department behind randstad, tempo-team and yacht, a department of almost 400 specialists, developing, building and maintaining the systems and solutions we use to impact the working lives of hundreds of thousands of people worldwide. What will you be working on? You will be joining our Online Professionals Team, the team

Bekijk vacature »

Senior SAPUI5 Developer

Our client leads the worldwide development, production and sales of high-end lithography systems for the semiconductor industry. In short, we make the machines that make computer chips, or integrated circuits. We build some of the most amazing, complex machines that you will ever see – and the software to run them – to develop smaller, faster and still more affordable chips. It is because of our machines that the world’s technology has steadily evolved. As a Senior SAPUI5 Developer your goal is to realize front-ends for our business software applications. You will work closely together with the UX specialist to

Bekijk vacature »

DevOps Cybersecurity Engineer

DevOps Cybersecurity Engineer Position Description: Kun je denken als een hacker en problemen oplossen als een engineer? Wil je meewerken aan de veiligheid en weerbaarheid van de software van onze klanten? Wat ga je doen? Als DevOps Cybersecurity Engineer maak je deel uit van een gedreven club professionals. Je bent proactief en je hebt een technische hands-on aanpak. Je bent verantwoordelijk voor het analyseren van de software development van onze klanten, het identificeren van security risico’s en implementeren van verbeteringen. Je bent goed op de hoogde van de laatste ontwikkelingen op het gebied van continuous delivery en deployment, secure code

Bekijk vacature »

Full Stack Java Developer

Functieomschrijving Flexibility, autonomy and an organisation that prioritises innovation. As java developer at Randstad Groep Nederland IT, those things are the foundation of your work. As we continue to take steps in our digital transformation, our talent store team is looking for you! Who are we? RGN IT is the central IT department behind randstad, tempo-team and yacht, a department of almost 400 specialists, developing, building and maintaining the systems and solutions we use to impact the working lives of hundreds of thousands of people worldwide. What will you be working on? You will be an integral part of our

Bekijk vacature »

Information Security Officer (IT)

Information Security Officer (IT) Utrecht Toe aan een internationale uitdaging op het gebied van informatiebeveiliging? Samenwerken met de beste IT specialisten in ons Business Acceleration team? Dan is deze functie van Information Security Officer bij Brink’s de plek voor jou! Jouw verantwoordelijkheden Als informatie functionaris ben je verantwoordelijk voor het vastleggen en onderhouden van de informatiebeveiligings-, IT-compliance en IT-risk programma’s voor Brink’s Nederland en België. Jij zorgt ervoor dat de informatiemiddelen, applicaties van Brink’s en onze systemen afdoende zijn beveiligd en voldoen aan de geldende normen. Ook ga je andere vestigingen van Brink’s in Europa ondersteunen op jouw vakgebied. De

Bekijk vacature »

Senior .NET Ontwikkelaar te hartje Amsterdam

Bedrijfsomschrijving Wij zijn voor deze organisatie op zoek naar een kundige en ervaren Software .NET Ontwikkelaar. De organisatie is sindskort onderdeel van een groot Noors softwarebedrijf, marktleider in Scandinavië. In Nederland zijn zo’n dertig organisaties aangesloten bij het bedrijf. Je krijgt hier de ruimte om je zowel persoonlijk als professioneel te ontwikkelen. Ze helpen diverse klanten dagelijks vooruit met de slimste cloudsoftware. De verschillende afdelingen werken nauw samen om dit te bereiken. Ze gaan snel! De besluitvormingsprocessen zijn kort. En als onderdeel van het development team krijg je vanaf dag één flinke eigen verantwoordelijkheid. Ook is het bedrijf hoofdsponsor binnen

Bekijk vacature »

Senior SAP HANA (Cloud) Developer

At ASML we build some of the most amazing, complex machines that you will ever see – and the software to run them – to develop smaller, faster and still more affordable computer chips. It is because of our machines that the world’s technology has steadily evolved. Data analytics plays a key role in improving our machines and process and that is where you can contribute! Functie In this role you will be responsible to build and maintain data analytics solutions. Together with your DevOps team you will help develop dashboards and reports. All to enable your fellow ASML colleagues

Bekijk vacature »

PHP Developer (junior)

Als Junior PHP developer werk jij mee aan de uitbreiding van onze SaaS applicatie. Je bouwt aan nieuwe functionaliteiten, verbetert ons Content Management Systeem op basis van Symfony en optimaliseert de gebruiksvriendelijkheid. Alles valt te leren als je maar affiniteit hebt met code. We vinden nieuwsgierigheid een groot goed. Ons motto is dan ook: alles valt te leren als je maar nieuwsgierig bent! Je werkt aan een mooi product dat continu uitgebreid wordt en de potentie heeft om de wereld over te nemen! Naast het meewerken aan de uitbreiding van onze SaaS applicatie, werk je ook aan specifieke modules voor

Bekijk vacature »

Traineeship Technisch Applicatiebeheerder

Traineeship Technisch Applicatiebeheerder Position Description: Beschik jij op 1 maart 2022 over een afgeronde Bachelor- of Master- of MBO level 4 opleiding en ben jij op zoek naar een baan om je IT-carrière een vliegende start te geven? Wil jij graag voor een grote organisatie werken die familiair aanvoelt? Dan is ons Traineeship Technisch Applicatiebeheerder iets voor jou. Wij hebben nog een paar plaatsen beschikbaar. Lees snel verder! Wat ga je doen? In het Traineeship Technisch Applicatiebeheerder word jij gedurende een periode van drie maanden klaargestoomd om mee te kunnen draaien op projecten voor onze klanten. Het begin van het

Bekijk vacature »

Pagina: 1 2 volgende »

Wouter De Schuyter

Wouter De Schuyter

18/04/2012 18:05:10
Quote Anchor link
Hallo,

Ik heb onlangs dit domein gekocht en zou dus een persoonlijke url shortener willen maken.

Nu zou ik een algoritme nodig hebben voor de URL's te linken in de DB, dit kan uitraard gewoon met cijfers (id van de url bv) maar dat is niet echt netjes en gaat na verloop van tijd ook niet meer effectief zijn bv meer dan 10000 zijn al meteen 5 characters extra terwijl je met 4 cijfers & letters veel meer mogelijkheden hebt.

Een random string genereren met een lijst characters is een optie, maar dan zou ik voor elke mogelijkheid moeten kijken of dit nog niet in de DB bestaat en dat lijkt mij ook niet de ideale oplossing, stel dat er 100 mogelijke combinaties zijn en 99 zijn er al van gebruikt en het script moet dan telkens een nieuwe string genereren en vergelijken.. Dat kan niet de manier zijn.. Of wel?

Iemand suggesties hoe je dit het best aanpakt?
 
PHP hulp

PHP hulp

26/01/2022 15:23:09
 
Erwin H

Erwin H

18/04/2012 18:22:57
Quote Anchor link
Weet je wat binair is? Wat decimaal is? Wat hexadecimaal is?
En voornamelijk hoe je van een decimaal getal naar bijvoorbeeld een hexadecimaal getal gaat?
Nu, stel dat je nu een stelsel hebt voor 62 (0-9a-zA-Z). Dan worden de decimale getallen in dst stelsel dus:
0 - 0
9 - 9
10 - a
11 - b
60 - Y
61 - Z
62 - 10
63 - 11
123 - 1Z
124 - 20
Zo kan je dus al een heel eind verder gaan en toch gewoon je auto_increment gebruiken in je database.
 
Wouter De Schuyter

Wouter De Schuyter

18/04/2012 18:52:35
Quote Anchor link
Dat heb ik ook net gezien, maar er zijn er die claimen tot 12.000.000 te kunnen gaan met 4 chars, dat kan niet met hexadecimaal :/
 
Erwin H

Erwin H

18/04/2012 19:02:10
Quote Anchor link
Ik had het ook niet over hexadecimaal, maar een stelsel met 62 karakters (sorry, ik heb daar geen naam voor) en 62 tot de 4e = 14.776.336
Dat komt wel aardig in de buurt volgens mij...
 
Jurgen B

Jurgen B

18/04/2012 19:08:14
Quote Anchor link
Dat is inderdaad wat ik ook wilde zeggen (had Erwins reactie ook verkeerd gelezen in eerste instantie). Op die manier ben je wel even bezig voor je aan je 5e character zit.
 
Wouter De Schuyter

Wouter De Schuyter

18/04/2012 19:24:40
Quote Anchor link
Ok nu ben ik mee..
Maar hoe wil je die juist genereren en checken of ze al bestaan?
 
Jurgen B

Jurgen B

18/04/2012 19:44:18
Quote Anchor link
Als je weet hoe je van decimaal naar hexadecimaal (16 tallig stelsel) gaat kan je deze methode ook toepassen op een 62 tallig stelsel. Bij een nieuwe aanvraag voer je een nieuwe regel in de database en zet je het nieuwe id om naar je 62 tallig stelsel. Om te kijken of de url al bestaat zal je denk ik letterlijk op de url moeten zoeken, maar misschien denk ik te moeilijk en is er een efficienter/makkelijker alternatief.
Gewijzigd op 18/04/2012 19:44:45 door Jurgen B
 
Erwin H

Erwin H

18/04/2012 19:44:30
Quote Anchor link
Je kan gewoon een auto_increment laten lopen in je database die je omrekent naar een 4 karakter string. Op zich niet zo moeilijk, hoewel je wel even wat tijd zal moeten besteden aan hoe je van een getal naar de juiste letter gaat.
 
- SanThe -

- SanThe -

18/04/2012 23:02:32
Quote Anchor link
Jurgen B op 18/04/2012 19:44:18:
... kan je deze methode ook toepassen op een 62 tallig stelsel ...


Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<?php
function omrekenen($getal, $soort, $return = '')
{

    $chars = array_merge(range('0','9'),range('a','z'),range('A','Z'));
    switch($soort)
    {
        case
10:    if($getal > 61)
                    {

                        $return .= omrekenen(floor($getal / 62), $soort, $return);
                    }

                    $return .= $chars[($getal) % 62];
                    return $return;
        case
62:    for($i=0; $i<strlen($getal); $i++)
                    {

                        $search = (ord($getal[$i]) < 64) ? ord($getal[$i])-48 : $getal[$i];
                        $return += pow(62, strlen($getal)-$i-1) * array_search($search, $chars, true);
                    }

                    return $return;
        default:
    return 'Error';
    }
}


$random = rand(0,14776335);
$code = omrekenen($random, 10);
$getal = omrekenen($code, 62);
echo $random . ' => ' . $code . ' => ' . $getal . '<br />';
?>
 
Chris -

Chris -

18/04/2012 23:20:41
Quote Anchor link
Netjes SanThe :)
 
Wouter De Schuyter

Wouter De Schuyter

19/04/2012 09:56:05
Quote Anchor link
De oplossing van SanThe is dan nog de beste, want als ik dechex() gebruik op het ID kan je URL voorspellen..

MAAR

Stel ik heb 13.000.000 links gegeneerd met het script van SanThe.. Dan heb je 90% kans dat de URL al bestaat, hoe los je dit op? Elke keer checken of hij al in de DB zit en indien wel opnieuw genereren?



Vb: bij het generen van 10K items heb ik al meteen 6 duplicates http://pastie.org/3815467
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
<?php
    set_time_limit(60);
    error_reporting(E_ALL);

    function
calculate($getal, $soort) {

        $return = '';
        $chars = array_merge(range('0','9'), range('a','z'), range('A','Z'));

        switch($soort) {
            case
10:
                if($getal > 61) {
                    $return .= calculate(floor($getal / 62), $soort, $return);
                }

                $return = $chars[($getal) % 62];

                return $return;
            break;

            case
62:
                for($i = 0; $i < strlen($getal); $i++) {
                    $search = (ord($getal[$i]) < 64) ? ord($getal[$i])-48 : $getal[$i];
                    $return += pow(62, strlen($getal)-$i-1) * array_search($search, $chars, true);
                }

                
                return $return;
            break;

            default:

                return false;
            break;
        }
    }




    $array = $found = array();

    for($j = 0; $j < 10000; $j++) {
        $string = '';
        for($i = 0; $i < 4; $i++) {
            $string .= calculate(rand(0,14776335), 10);
        }


        echo $string . " ";
        if(!in_array($string, $array)) {
            $array[] = $string;
        }

        else {
            $found[] = $string;
        }
    }


    echo "\n\n\n";

    echo "Found " . count($found) . " duplicates (" . round((count($found) / (count($found) + count($array))) * 100, 2) . "%) on " . (count($found) + count($array)) . " items.";
    echo "\n\n";
    echo "Duplicates: \n";

    foreach($found as $item) {
        echo $item . "\n";
    }

?>
Gewijzigd op 19/04/2012 10:44:46 door Wouter De Schuyter
 
- SanThe -

- SanThe -

19/04/2012 11:06:44
Quote Anchor link
@Wouter: Waarom heb je de function niet correct overgenomen? Zoals jij het nu hebt zal ie niet correct werken.
 
Chris -

Chris -

19/04/2012 11:50:53
Quote Anchor link
Je zou eventueel ook 25 miljoen verschillende codes in de database kunnen plaatsen, met een "in gebruik" veld waar je een key op zet. Tijdens het invoeren van een URL voer je een RAND() query uit op de tabel waar "in gebruik" false is.
 
Wouter De Schuyter

Wouter De Schuyter

19/04/2012 12:26:49
Quote Anchor link
SanThe: ziezo met jouw code, maar krijg (logisch) nog steeds duplicates :/

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<?php
    set_time_limit(60);
    
    function
omrekenen($getal, $soort, $return = '')
    {

        $chars = array_merge(range('0','9'),range('a','z'),range('A','Z'));
        switch($soort)
        {
            case
10:    if($getal > 61)
                        {

                            $return .= omrekenen(floor($getal / 62), $soort, $return);
                        }

                        $return .= $chars[($getal) % 62];
                        return $return;
            case
62:    for($i=0; $i<strlen($getal); $i++)
                        {

                            $search = (ord($getal[$i]) < 64) ? ord($getal[$i])-48 : $getal[$i];
                            $return += pow(62, strlen($getal)-$i-1) * array_search($search, $chars, true);
                        }

                        return $return;
            default:
    return 'Error';
        }
    }




    $array = $found = array();
    for($j = 0; $j < 10000; $j++) {
        $string = omrekenen(rand(0,14776335), 10);

        echo $string . " ";
        if(!in_array($string, $array)) {
            $array[] = $string;
        }

        else {
            $found[] = $string;
        }
    }


    echo "\n\n\n";

    echo "Found " . count($found) . " duplicates (" . round((count($found) / (count($found) + count($array))) * 100, 2) . "%) on " . (count($found) + count($array)) . " items.";
    echo "\n\n";
    echo "Duplicates: \n";

    foreach($found as $item) {
        echo $item . "\n";
    }

?>


@Chris: zou dat de correcte oplossing zijn? Zou het zo zijn dat bit.ly het bv doet? Lijkt mij nogal omslachtig..
Gewijzigd op 19/04/2012 12:46:18 door Wouter De Schuyter
 
Kees Schepers

kees Schepers

19/04/2012 12:36:55
Quote Anchor link
Ik zou het ook met noSQL opslaan, met MySQL ga je denk ik wel performance problemen krijgen nadat je een paar tientallen miljoenen url's erin hebt staan ;)
 
- SanThe -

- SanThe -

19/04/2012 14:52:26
Quote Anchor link
Zo krijg je geen duplicates meer:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
10
11
12
13
<?php
    for($j = 0; $j < 10000; $j++) {
        $string = omrekenen(rand(0,14776335), 10);

        echo $string . " ";
        if(!in_array($string, $array)) {
            $array[] = $string;
        }

        else {
            $j--;
        }
    }

?>
Gewijzigd op 19/04/2012 14:52:46 door - SanThe -
 
Wouter De Schuyter

Wouter De Schuyter

19/04/2012 15:25:54
Quote Anchor link
@Kees wat zou dat voor problemen kunnen geven? MySQL?

@SanThe: hehe, dat is waar. Maar ik ga niet alle hashes uit de DB laden in een array en dan kijken of ze in die array zitten of wel? Stel dat je 14 miljoen records hebt kan dat niet echt performant zijn?
 
- SanThe -

- SanThe -

19/04/2012 15:34:04
Quote Anchor link
Als het in een database staat zou ik het zo ongeveer doen:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
<?php
do
{
    // genereer code
    // SELECT code

}
while (mysql_num_rows() == 1);
// INSERT code
?>
 
Gerhard l

gerhard l

19/04/2012 15:34:54
Quote Anchor link
Ik gebruik de manier van Chris Horeweg tot zover loopt het vloeiend (nog maar 900 urls verkort).
Maar ik denk dat de query wel sneller is dan alle bij langs lopen en kijken of ze al bestaan:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
SELECT short_code FROM short_list WHERE used='0'  ORDER BY RAND() LIMIT 1
Gewijzigd op 19/04/2012 15:35:28 door gerhard l
 
Kees Schepers

kees Schepers

19/04/2012 15:40:20
Quote Anchor link
Wouter DS op 19/04/2012 15:25:54:
@Kees wat zou dat voor problemen kunnen geven? MySQL?


Omdat je met MySQL veel sneller en lastiger moet opschalen als je tientallen miljoenen URL's opslaat. Tevens zal het niet goed performen als je over miljoenen URL's stats gaat genereren.
 
Pim -

Pim -

19/04/2012 15:40:27
Quote Anchor link
Je kan evt nog een hash toevoegen aan de string, zodat het moeilijk/lastig wordt URLs te raden.

Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?php
function encode($id, $hashSize = 100)
{

    $privateKey = 16546354324; // Moet je even checken wat de MAX_LONG waarde is
    $num = $id * $hashSize + ($id * $privateKey) % $hashSize;
    return base_convert($num, 10, 62);
}
function
decode($string, $hashSize = 100)
{

    $privateKey = 16546354324;
    $num = (int) base_convert($string, 62, 10);
    $hash = $num % $hashSize;
    $id = ($num - $hash) / $hashSize;
    if($hash != ($id * $privateKey) % $hashSize)
        return false; // Foute hash
    return $id;
}

?>

Door hashSize te variëren kan je je URL veiliger maken. hashSize = 100 betekent dat je max 100 pogingen nodig hebt om de URL te gokken als je het ID weet.

Deze code werkt trouwens niet omdat base_convert maart to base 36 gaat, maar het idee lijkt me duidelijk.


Toevoeging op 19/04/2012 15:41:49:

@Kees,
Maar noSQL is dan toch niet per se de beste vervanging? Een simpele key->value DB lijkt me een stuk nuttiger.
 

Pagina: 1 2 volgende »



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.