mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

PHP Midlance Developer

Jij hebt al een aantal jaren werkervaring in de PHP wereld en twijfelt over de stap naar freelancer… Want hoe lekker is het als je in overleg met de eindgebruiker je tijden kan bepalen, je veel vrijheid hebt, bij alleen toonaangevende organisaties terecht komt en ook nog eens DIK betaald krijgt? Voor veel ontwikkelaars is dit toch net een stap te ver. Zij willen gewoon lekker code kloppen en zich niet bezig houden met het regelen van opdrachten, administratieve zaken of andere randzaken. Klinkt dit bekend? Wij bieden de middenweg! Wie zijn wij? Wij zijn niet het stereotype organisatie waar

Bekijk vacature »

Als Java developer bouwen aan e-mail platform dat

Vacature Omschrijving Voor een (nu nog) klein bedrijf in Rotterdam, een trotse specialist in de verzending en de aflevering van e-mail, zijn wij momenteel hard op zoek naar een Java ontwikkelaar. De afgelopen tien jaar hebben zij gebouwd aan een zeer gespecialiseerd platform, infrastructuur en software voor de aflevering van e-mail marketing berichten van MailPlus. Denk hierbij aan elektronische facturen, verzekeringspolissen, orderbevestigingen, verzendbevestigingen en allerlei andere serviceberichten die een consument of een bedrijf vandaag de dag per e-mail ontvangt. Ze leveren iedere maand miljoenen berichten die er stuk voor stuk keurig verzorgd uit zien, waarbij zij vele bronsystemen ondersteunen. Het

Bekijk vacature »

Junior .NET developer / Azure / Veenendaal /

In jouw studententijd heb jij altijd dat beetje extra gegeven. Was het geen honours class, dan waren het wel relevante commissies of was jij gewoon heel goed in wat je deed. Tijdens je studie Informatica heb jij laten zien dat jouw passie bij ICT ligt en dat je energie krijgt om hier met leeftijdgenoten over te sparren. Of dit nu binnen-, of buiten de studie was in de vorm van eigen projecten, voor deze functie ben ik op zoek naar een gemotiveerde starter die op zoek is naar een prachtige start van zijn carrière! Dit bedrijf is gelegen in hartje

Bekijk vacature »

.NET developer die ERP software maakt

Organisatie Deze organisatie is al ruim 25 jaar een grote speler als het gaat om ERP oplossingen voor onder meer de bouw- en installatiebranche. Deze organisatie telt meer dan 100 werknemers en is gevestigd in de omgeving van Breda. De klantgerichtheid van deze organisatie maakt het een unieke organisatie. Ze doen er alles aan om een langdurige relatie op de bouwen met de klant. Dit kan alleen als je ook echt in contact bent met de klant. Vergelijkbare bedrijven plaatsen een demo op de website over hoe de software werkt. Deze organisatie doet hier niet aan mee! Ze gaan langs

Bekijk vacature »

Allround developer worden? Dat kan met ons DevOps

Wat ga je doen? DevOps Engineer Als fulltime DevOps Engineer houd jij je bezig met de ontwikkeling (Development) en het beheer (Operations) van software. Je werkt in verschillende fases: ontwikkelen, testen, release, bijschaven en opnieuw ontwikkelen. Je werkt door het flexibele proces, in korte sprints aan ‘kleine stukjes’ van je applicatie, waardoor je met snelle deadlines werkt. Je bent als DevOps engineer dus op een flexibele, efficiente en veel snellere manier bezig met het ontwikkelen van applicaties, websites en software. Als DevOps Engineer word je 'T-Shaped' opgeleid. Jij specialiseert je in programmeren maar daarnaast heb je ook een brede kennis

Bekijk vacature »

Medior ontwikkelaar PHP

Organisatie Stel je voor; je schakelt binnen een van de meest toonaangevende organisaties binnen de zorg- en verzekeringsbranche. De informatie die feilloos door de zeer complexe applicaties stroomt die jij en je team elke dag weer perfectioneren is uiterst betrouwbaar. Jij bent dan ook een absolute PHP-held die zich kan vinden in het gezegde; ‘’onmogelijk bestaat niet, het kost alleen wat meer tijd’’. Je bekleed de rol van PHP developer binnen een team van absolute eindbazen op het gebied van software development. De producten en opdrachten zijn zeer divers, maar dat jij telkens weer diep in de code duikt verandert

Bekijk vacature »

Junior C# .NET developer / Medische sector /

Midden in een bosrijke omgeving ten Noorden van Utrecht ligt het hoofdkantoor van deze organisatie. Een absoluut unieke locatie voor de veeleisende ontwikkelaar die alleen genoegen neemt met het beste. Deze organisatie wordt gekenmerkt als een informele club developers die graag het beste in zichzelf en hun teamgenoot naar boven halen. Van een dagelijkse verse lunch tot uiteenlopende bedrijfsactiviteiten; deze organisatie heeft het allemaal! Ze zijn gespecialiseerd in software om het voor ziekenhuizen inhoudelijk overzichtelijk te maken hoe efficiënt hun processen verlopen. Hierbij ga je te werk in scrumteams van gemiddeld 5 personen, zodat jij met je team elke dag

Bekijk vacature »

Java Developer / Maven / Spring / Big Data

Functieomschrijving Ben jij een ervaren Java Developer en lijkt het jou gaaf om te werken aan innovatieve interne projecten voor een groot aantal aansprekende klanten? Spreekt het jou daarnaast aan om te gaan werken bij de nummer 1 organisatie in Nederland op het gebied van Big Data oplossingen en dat in regio Den Haag? Lees dan snel verder! Werken aan uiteenlopende interne projecten voor grote (internationale) organisaties; Ontwikkelen van diverse (web)applicaties en platformen met technieken als Java, Azure en ASP.NET; Complexe vraagstukken tackelen met jouw expertise en ervaring; Waar nodig help jij je collega's om samen tot de juiste oplossing

Bekijk vacature »

Medior C# developer / Traineeship /

‘Wij willen goede engineers nog beter maken’ is een veelgebruikt gezegde binnen deze organisatie. Vanuit deze organisatie zijn ze op zoek naar de beste top 5% van de markt als het gaat om software ontwikkeling, motivatie en doorzettingsvermogen! Het probleem waar veel banken en verzekeraars tegen aanlopen is dat ze de transitie hebben gemaakt tot softwarehuizen. Om de kwaliteit te waarborgen worden de beste consultants ingehuurd en zijn ze gewend aan de hoge kwaliteit van inhuur. Het probleem is dat dergelijke bedrijven blijven zitten met een gigantisch kennisgat als deze consultants wegvallen. Daar speelt deze organisatie perfect op in door

Bekijk vacature »

Junior .NET C# developer / Consultancy

Organisatie Wil jij je gaan ontwikkelen en écht stappen gaan maken? Wil jij gaan kijken in verschillende keukens én in-house werken bij een snel groeiende organisatie? Bij een bedrijf waar jij niet een nummertje bent maar waar iedereen jouw persoonlijk kent? Dan is dit jouw volgende stap. Onze partner is sinds 2015 hard aan de weg aan het timmeren en is in het afgelopen jaar gegroeid van 10 naar 20 werknemers waarvan 18 IT’ers en ze stoppen niet met groeien. Ze zijn een elite club IT-specialisten in Microsoft .NET en zijn daarom ook één van de sterkere spelers voor het

Bekijk vacature »

Medior Developer

Organisatie Werk jij graag aan de doorontwikkeling van interne en externe applicaties waar bij je met veel nieuwe tools en technieken mag werken? Vind jij ook dat gemak en eenvoud voor de klant het belangrijkst is? Deze dynamische organisatie van bijna honderd man groot, gevestigd in een goed bereikbaar, mooi pand in Amstelveen bevind zich in de telecom branche. Dit bedrijf levert zowel internet als telefonie in de cloud aan bedrijven waarbij het gemak van de klant het belangrijkst is. Dit is een jong bedrijf waarbij de gemiddelde leeftijd van werknemers om en nabij de 30 ligt. Beslissingen worden hier

Bekijk vacature »

Medior Back End C# Developer

Bedrijfsinfo Deze jonge organisatie timmert nu al een tijdje aan de weg en is in een korte tijd gegroeid tot 10 medewerkers. Ze zijn nu hard op zoek naar een uitbreiding van het development team waarin nu zo’n 5 ontwikkelaars actief zijn. Dus wat doen ze nou precies? Dit bedrijf heeft een specialisme ontwikkeld in een bepaalde niché binnen de commerciële sector. Hierin willen zij door middel van een high tech oplossing zorgen voor automatisering op grote schaal. Ze zijn gevestigd in de omgeving van Delft in een gezellig pand. Binnen het kleine team heerst een gezellige, informele sfeer en

Bekijk vacature »

ASP.NET/MVC Developer/Internationaal/Agile-minded

Functieomschrijving Wil jij aan de slag bij één van de meest succesvolle organisaties binnen Europa op het gebied van software die bedrijfsprocedures ondersteunt? Wil jij jezelf ontwikkelen als ASP.NET Developer in een uitdagende omgeving? Lees dan nu verder! Functie-eisen Minimaal HBO werk- en denkniveau; Minimaal 3 jaar werkervaring als ontwikkelaar; Een zeer ruime ervaring met ASP.NET, MVC en C#; Een ruime ervaring met MVC en het Entity Framework is een pré; Ervaring met JSON, Visual Studio, SQL Server, AJAX en web services is een pré; Kennis van Knockout.js en HTML/CSS is een pré. Bedrijfsomschrijving Je komt als ASP.NET Developer te

Bekijk vacature »

ASP.NET Developer Transformatie 35+ vrije dagen

Functieomschrijving Ben jij een ASP.NET Developer en wil jij meer doen dan alleen developen? Ben jij ondernemend ingesteld en denk jij graag mee aan de visie en strategie van een organisatie? Dan is deze baan wat voor jou! Meedenken in de visie en strategie van de organisatie; Concepten ontwikkelen en deze uitdragen binnen de organisatie; Applicaties optimaliseren in ASP.NET; Innovatieve software ontwikkelen met onder andere AngularJS; Functie-eisen HBO werk- en denkniveau; 1 tot 4 jaar ervaring met bijvoorbeeld: ASP.NET, .NET of Java; 1 tot 4 jaar ervaring met: AngularJS of andere JavaScript versies; Bekend met Agile werken; Affiniteit met ondernemen.

Bekijk vacature »

Junior Software Developer .NET

Je kent het wel. Die ene collega die altijd ‘mazzel’ heeft gehad. Die zijn promotie in zijn schoot kreeg geworpen, maar zelf snap je niet waarom. Die collega die jouw droombaan heeft ingepikt, terwijl jij jezelf een veel betere kandidaat vindt voor de functie. Maar hoe komt dit? Heb jij dan pech gehad, of heb je niet juist gehandeld aan de hand van de mogelijkheden en kansen die zich voordeden? Vermoedelijk dat laatste. De meest succesvolle developers zijn namelijk de developers die op het juiste moment de juiste keuze hebben gemaakt. Denk jij dat je al jouw kansen volop hebt

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

25/08/2019 21:17:30
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.