Mod af?

Tommy schreef op 29.12.2009 00:18

Gast, ik ben net 10 minuten bezig en ik heb alle topics al in m'n db zitten. Over een half uurtje heb ik alle berichten er ook bij zitten. Het is alleen dat deze bak niet veel kracht heeft anders had ik het al lang klaar! Was ik nou bezig met een simpele layout om het uit te lezen.

Ik denk dat je die posts inlezen een beetje onderschat. Dit topic heeft ongeveer al veertig posts. Als jij die allemaal gedetailleerd wilt opslaan ben je voor alle topics in het totaal wel een paar uur bezig gok ik.

(Eigenlijk denk ik dat je bluft, want meestal is het zo dat phphulp het niet trekt als er meerdere mensen een flink aantal requests doet. Heb zelfs gehoord dat het door één persoon ook mogelijk is.)

Herjan schreef op 28.12.2009 23:41

Dudes, het is toch van de zotten dat een lid een bot moet gaan bouwen, omdat de beheerder niet even een migratiescriptje (in elkaar) kan draaien? We zijn allemaal PHP'ers en we weten allemaal dat dat misschien even prutsen is met relaties in de database e.d., maar dat kan niet moeilijk zijn. Kortom: houd op met zeuren (...)

Dat vind ik ook.
(Al had hij het al een maand of nog veel langer kunnen doen gok ik.)

Hee, wat mot dat? Ik ben ook geen mod meer!

Is tijdelijk Jan :) ( denk ik )..

Phphulp beetje buggie :o
Was iets gebeurt waardoor de Bas de rechten tijdelijk heeft weggenomen..

Tommy schreef op 29.12.2009 00:18

Gast, ik ben net 10 minuten bezig en ik heb alle topics al in m'n db zitten. Over een half uurtje heb ik alle berichten er ook bij zitten. Het is alleen dat deze bak niet veel kracht heeft anders had ik het al lang klaar! Was ik nou bezig met een simpele layout om het uit te lezen.

Ik zeg ook niet dat het niet kan, maar ik zeg dat de beheerder dat prima kan doen. En dat hij ook helemaal niet heeft gezegd dat hij het niet gaat doen.

Jan Koehoorn schreef op 29.12.2009 09:04

Hee, wat mot dat? Ik ben ook geen mod meer!

"Wat mod dat?" :P

Karl schreef op 29.12.2009 00:28

[quote='Tommy schreef op 29.12.2009 00:18']Gast, ik ben net 10 minuten bezig en ik heb alle topics al in m'n db zitten. Over een half uurtje heb ik alle berichten er ook bij zitten. Het is alleen dat deze bak niet veel kracht heeft anders had ik het al lang klaar! Was ik nou bezig met een simpele layout om het uit te lezen.

Ik denk dat je die posts inlezen een beetje onderschat. Dit topic heeft ongeveer al veertig posts. Als jij die allemaal gedetailleerd wilt opslaan ben je voor alle topics in het totaal wel een paar uur bezig gok ik.

(Eigenlijk denk ik dat je bluft, want meestal is het zo dat phphulp het niet trekt als er meerdere mensen een flink aantal requests doet. Heb zelfs gehoord dat het door één persoon ook mogelijk is.)[/quote]

Sterker nog:

Connected to MySQL
Connected to Database
All topics received
MySQL server has gone away

Dat zegt mijn SSH client. Mijn MySQL server is dus gewoon dood gegaan onder de hoeveelheid posts. Het was dus geen probleem om ze allemaal op te vragen. Ook wordt er steeds een pagina opgevraagd, alle posts verwerkt en dan de volgende pagina, dat verwerken kost mijn homeserver een aantal miliseconde en dus wordt er maar om de paar miliseconde een nieuwe request gedaan. Ik heb hier wel over nagedacht, ik ben niet zo dom als ik me altijd voordoe.

Tommy schreef op 29.12.2009 11:37

[quote='Karl schreef op 29.12.2009 00:28'][quote='Tommy schreef op 29.12.2009 00:18']Gast, ik ben net 10 minuten bezig en ik heb alle topics al in m'n db zitten. Over een half uurtje heb ik alle berichten er ook bij zitten. Het is alleen dat deze bak niet veel kracht heeft anders had ik het al lang klaar! Was ik nou bezig met een simpele layout om het uit te lezen.

Ik denk dat je die posts inlezen een beetje onderschat. Dit topic heeft ongeveer al veertig posts. Als jij die allemaal gedetailleerd wilt opslaan ben je voor alle topics in het totaal wel een paar uur bezig gok ik.

(Eigenlijk denk ik dat je bluft, want meestal is het zo dat phphulp het niet trekt als er meerdere mensen een flink aantal requests doet. Heb zelfs gehoord dat het door één persoon ook mogelijk is.)[/quote]

Sterker nog:

Connected to MySQL
Connected to Database
All topics received
MySQL server has gone away

Dat zegt mijn SSH client. Mijn MySQL server is dus gewoon dood gegaan onder de hoeveelheid posts. Het was dus geen probleem om ze allemaal op te vragen.[/quote]
Heb je er geen tijden bij staan?

Tommy schreef op 29.12.2009 11:37

Ook wordt er steeds een pagina opgevraagd, alle posts verwerkt en dan de volgende pagina, dat verwerken kost mijn homeserver een aantal miliseconde en dus wordt er maar om de paar miliseconde een nieuwe request gedaan. Ik heb hier wel over nagedacht, ik ben niet zo dom als ik me altijd voordoe.

Als je een request per keer doet, dan zie ik niet echt in waarom je mysql server over z'n nek zou moeten gaan.
Oftewel: Je doet iets verkeerd, of je doet bluffen.

Ik ga niet iedere keer een query naar m'n db doen. Ik maak één grote query die ik ineens verstuur:

		$query = "";
		$q = 0;
		foreach ($database as $item) {
			if ($q != 0) $query .= ", "; $q++;
			$query .= "(" . $item[0] . ", '" . $item[1] . "', " . $searchForum . ")";
		}
		
		mysql_connect("localhost", "bot", "stoned") or die(mysql_error());
		echo "Connected to MySQL".PHP_EOL;
		mysql_select_db("phphulp") or die(mysql_error());
		echo "Connected to Database".PHP_EOL;
		
		mysql_query("INSERT INTO topic (id, title, forum) VALUES " . $query) or die(mysql_error());

Die tijden boeit dat? Waarom wil je zo graag mij ongelijk bewijzen? Ik heb vandaag niet zo veel tijd maar anders maak ik morgen een simpel archiefje en dan kun je zien dat ik niet zit te bluffen. Waarom zou ik eigenlijk bluffen, schiet ik toch niks mee op.. Kan ik beter m'n postcount omhoog doen, daar schiet ik nog meer mee op.

Edit:

MySQL documentatie

You can also get these errors if you send a query to the server that is incorrect or too large. If mysqld receives a packet that is too large or out of order, it assumes that something has gone wrong with the client and closes the connection. If you need big queries (for example, if you are working with big BLOB columns), you can increase the query limit by setting the server's max_allowed_packet variable, which has a default value of 1MB. You may also need to increase the maximum packet size on the client end. More information on setting the packet size is given in Section B.5.2.10, “Packet too large”.

Even max_allowed_packet op 5 MB gezet en nu werkt het wel allemaal.

Hopelijk wordt er professioneel gehandeld bij het omzetten. Het verwijderen van oude topics zal de doodsteek van phphulp betekenen. Momenteel is er sprake van een goede indexering (van oude topics). Hier komt waarschijnlijk veel verkeer vandaan.
Tevens mag ik hopen dat er aan redirects van huidige URLs gedacht is, het zou niet de eerste keer zijn dat een website duikelt in de zoekmachines (zie o.a. het AD en Rabobank).
Verhuizen van versie X naar Y heeft meer omhanden dan het op het eerste gezicht lijkt.

@Agirre

Precies dat is waar ik me ook zorgen om maak. Het is nog speculatie totdat Bas heeft gereageerd, maar a.d.h.v. zijn eerdere uitspraken kan ik alleen maar opmaken dat oude topics zullen verdwijnen "i.v.m. een nieuw datamodel dat veel verschilt",maar hebhen nog niet gehoord over het migreren van die oude topics naar het nieuwe model. Als dat niet gebeurt zou dat echt zonde zijn en in mijn ogen een actie die niet gedaan word uit luiheid want erg ingewikkeld hoeft het niet te zijn.

Ik had nog niet stil gestaan bij je andere opmerkingen. De oude url redirecting! Staat nu toch wel op mijn nr 2 van zorgen lijstje. Ook dit is een fluitje van een cent,en lijkt me een prima te doen klusje ten behoeve van de google indexering.

Oftwel, Bas... zou je wat opheldering kunnen geven?

En natuurlijk kan je ook gewoon nog archief.phphulp.nl ofzo maken. Daar dit allemaal lekker neer dumpen. Registratie pagina verwijderen, inlog pagina vernielen en klaar is Bas.