Maximaal aantal records in tabel?

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

- -

- -

28/01/2009 23:38:00
Quote Anchor link
Hoi,

Vraagje, hoeveel records kan 1 tabel ongeveer aan? Momenteel heb ik er 50.000.000 maar ik schat dat ik in totaal ongeveer... 2.160.000.000 ga krijgen...

Kan die tabel dat wel aan?

Greetz
 
PHP hulp

PHP hulp

03/12/2024 19:11:12
 
Terence Hersbach

Terence Hersbach

28/01/2009 23:44:00
Quote Anchor link
als jij goed je indexes zet e.d. moet dat lukken, performance zal een ander issue zijn.

ps. wat is dat voor tabel? :\
 
- -

- -

28/01/2009 23:53:00
Quote Anchor link
Een doorzoekbare rainbow tabel, op dit moment heb ik bijna 50 miljoen hashes gecreeerd (de hashes van tekenreeksen, hij kan op dit moment zoeken naar bijvoorbeeld "b05cd52f07a80e25c09d9f152219cf98", uitkomst daarvan is "aaaaaac". In princiepe kan hij de hash van aa + 5 tekens/cijfers (hoofdletter ongevoelig) op dit moment opzoeken. Doorzoeken kan sneller als hij niet als een razende nog steeds querys aan het doen is.. In princiepe heb ik een hash gevonden binnen 1 seconde, en daarbij dus ook een leesbare string :-)

Maar goed, het creeeren van zo'n ding is op zich niet zo heel erg moeilijk (thank god voor de CLI) maar het is gewoon even wachten...

In 7 uur tijd 50.5 miljoen query's :') Komt dus neer op z'n 2000 query's per seconden :') (En dat voor een simpele thuis servert...)
Gewijzigd op 01/01/1970 01:00:00 door - -
 
Frank -

Frank -

29/01/2009 08:13:00
Quote Anchor link
Een beetje database kent geen limieten en kun je onbeperkt veel records in een tabel opslaan. De hardware wordt dan de beperkende factor, je moet wel voldoende schijfruimte hebben.

Performance (bij het zoeken) is een ander verhaal, zonder goede indexen en partionering gaat dit een drama worden. MySQL (dat gebruik je toch?) kent geen functionele indexen waardoor je dus een index op de complete hash moet zetten. Wanneer je een tabel hebt met 2 miljard records en een index met 2 miljard records, voegt die index niet zo heel erg veel toe. Stel dat je een index zet op het eerste karakter van je hash en vervolgens nog een index op de complete hash, dan kun je bij het zoeken eerst de opdracht geven om een vergelijking te maken op het eerste karakter. Daar heb je 16 mogelijkheden, van de 2 miljard records vallen er dan al zo'n 1.875 miljoen records af. De resterende 125 miljoen records ga je dan uitpluizen met de andere index. Zie daar het verschil: Zoeken in een dataset van 125 miljoen records of in een set van 2 miljard records. Dat scheelt een slok op een borrel!

Uiteraard kun je dit nog verbeteren. Maar goed, dan heb je een andere database nodig.
 
- -

- -

29/01/2009 19:57:00
Quote Anchor link
123 miljoen records zijn helaas, blijkbaar te veel records om op te vragen. Zelfs 1 opvragen (de laatste) duurt in PHP te lang..

Lost connection to MySQL server during query
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.