mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Developer Angular & Kotlin

Dit ga je doen Het (door)ontwikkelen van mobiele apps en webapplicaties; Het opstellen van technisch ontwerp en het bespreken van ontwerpen met de software architect; Het uitvoeren van werkzaamheden op het gebied van technisch testen; Het in de gaten houden van nieuwe ontwikkelingen op jouw vakgebied en het adviseren van de organisatie hierover. Hier ga je werken Het gaat om een bekend internationaal handelsbedrijf met ruim 800 medewerkers, verdeeld over verschillende deelbedrijven. Deze organisatie is van oorsprong een familiebedrijf, er wordt hard gewerkt, er heerst een no nonsense en doeners mentaliteit, een informele sfeer en er is een mix van

Bekijk vacature »

Dynamische Oracle/APEX Ontwikkelaar in de logistie

Bedrijfsomschrijving De organisatie in de regio Rotterdam is gespecialiseerd in het ontwikkelen van moderne webbased software voor de ERP branche. In totaal is er 20FTE aan specialisten actief binnen de organisatie. De ICT afdeling bestaat momenteel uit 15FTE. Ze groeien ontzettend hard en daarom zoeken zij een Oracle/APEX Developer die het reeds sterke team nog sterker komt maken. Hier werken ze op projectbasis voor verschillende grote organisaties in de logistieke sector. Het is een informele organisatie waarbinnen een fijne werksfeer heerst. Zoals aangegeven willen ze het team nog sterker maken en daarvoor zoeken ze bij voorkeur medior of senior Oracle/APEX

Bekijk vacature »

.NET Developer

Functie omschrijving .NET developer met ervaring gezocht! Voor een softwarebedrijf in de regio Veenendaal zijn wij op zoek naar een .NET developer met een aantal jaar ervaring. Jij bent zowel zelfstandig als in teamverband verantwoordelijk voor het ontwikkelen en verbeteren van bestaande producten. Verder ben je bezig met nieuwbouw van websites, webapplicaties en mobiele applicaties die zowel intern als extern gebruikt worden. Je werkt hierbij nauw samen met andere developer, productmanagers en productspecialisten om zo mooie producten te creëren. Bedrijfsprofiel De organisatie waar je voor gaat werken is een snelgroeiende softwareleverancier en allround dienstverlener. Deze organisatie heeft zowel klanten die

Bekijk vacature »

Oracle APEX developer

Wat je gaat doen: Als Oracle APEX ontwikkelaar bij DPA werk je samen met collega’s aan de meest interessante opdrachten. Je zult je ervaring met SQL, PL/SQL, JavaScript, HTML en CSS inzetten om wensen van opdrachtgevers te vertalen naar technische oplossingen. Je werk is heel afwisselend, omdat DPA zich niet beperkt tot een specifieke branche. Zo ben je de ene keer bezig binnen de zorgsector, de andere keer is dit bij de overheid. Wat we vragen: Klinkt goed? Voor deze functie breng je het volgende mee: Je hebt een hbo- of universitaire opleiding afgerond Je hebt 2 tot 5 jaar

Bekijk vacature »

.Net Front-end Ontwikkelaar

Wij zoeken een .Net Front-end Ontwikkelaar! Omschrijving Kun jij snel schakelen en ben je stressbestendig? Dan zoeken wij jou! Als .Net Front-end Ontwikkelaar help je mee aan de webapplicatie die over de hele wereld door allerlei bedrijven wordt gebruikt. Je werkt daarnaast mee aan nieuwe en verbeterde functionaliteiten en helpt met het oplossen van bugs. Over de opdrachtgever Je komt te werken in een ambitieus team dat zich blijft ontwikkelen. Dit is alle informatie die we nu kunnen delen over de werkplek. Als jij de .Net Front-end Ontwikkelaar bent voor deze job, vertellen we je snel nóg meer. Eisen Heb

Bekijk vacature »

SAP ABAP Developer

Dit ga je doen Software ontwikkeling met behulp van o.a. ABAP, Sapscript en Smartforms Maatwerk development op SAP ECC 6.0, in de toekomst S/4 HANA Samenwerken met Business Analisten die functioneel en technisch ontwerpen aanleveren Testen van opgeleverde software Bugfixing Ondersteuning van eindgebruikers Hier ga je werken Onze klant, een internationaal gevestigd productiebedrijf dat mensen blij maakt, is ter versterking op zoek naar een ABAP Developer voor hun SAP team. Het team van 4 mensen verzorgt de ontwikkeling van maatwerk voor de SAP omgeving waar wordt gewerkt met modules SD, FI/CO, PM en MM. Momenteel draait het bedrijf op SAP

Bekijk vacature »

Senior Front-end developer (React)

Functie Met een ontwikkelafdeling van ruim 20 collega’s is dit zo ongeveer de helft van alle medewerkers. De software(ontwikkeling) is dan ook de drijvende kracht binnen de organisatie. Ze werken aan het verbeteren dan de bestaande, maar zeker ook nieuwe producten. De software bestaat uit verschillende (React) webapplicaties, maar ook een mobile (React native) app. Hierdoor kom je met verschillende uitdagingen in aanraking en is Mobile kennis natuurlijk mooi meegenomen. De software wordt door vele duizenden professionals dagelijks gebruikt en bevatten grote hoeveelheden data. Aan het team de uitdaging om hierin de best mogelijke gebruiksvriendelijkheid neer te zetten door gebruik

Bekijk vacature »

Software developer

Functieomschrijving Voor een gewaardeerde werkgever in de regio van Middelburg zijn wij op zoek naar een ambitieuze PHP/Symfony Developer. Een enthousiast persoon die het development team komt versterken met het aanpakken van complexe en nieuwe projecten. Ben jij op zoek naar een baan met veel uitdaging binnen een snelgroeiend e-commerce bedrijf, waar je de tijd en ruimte krijgt voor zowel persoonlijke als professionele groei? Lees dan snel verder! Dit ga je doen: Aanpassingssuggesties van collega’s in kaart brengen, vervolgens te analyseren en daarna te concluderen of de aanpassing een verbetering is; Ontwikkeling en beheer van de serviceportal in Symfony en

Bekijk vacature »

Java Developer

Dit ga je doen Het ontwikkelen van nieuwe software; Het ombouwen van de bestaande software; Zowel back- als front-end software ontwikkelen; Het testen; Het implementeren van de volledig geteste software; Het verzorgen van nazorg en het oplossen van bugs; Het opstellen en bijhouden van procesdocumentatie; Je draagt bij aan het agile/scrum processen van het team. Hier ga je werken Ongetwijfeld heb je een of meerdere producten van deze organisatie in huis. Het proces erachter, daar ben je ongetwijfeld minder bekend mee. Deze opdracht geeft je de kans meer over dit proces te weten te komen en een mooie bijdrage te

Bekijk vacature »

Front-end PHP Developer

Dit ga je doen Bouwen van de frontend van een nieuwe applicaties; Verbeteren van de user experience; Opstellen van een style guide; Schakelen met collega developers over de te bouwen oplossing; Je speelt een belangrijke rol in het neerzetten van het nieuwe systeem; Werken met o.a. Symfony 6, API Platform, Twig, Javascript, Redis Automatiseren van processen; Koppelen van verschillende functionaliteiten; Unit tests, integration tests, end-to-end tests; In de toekomst ga je nog werken aan andere projecten. Hier ga je werken Voor onze vaste opdrachtgever in de regio Breda zijn wij op zoek naar een Frontend Developer. Het betreft een organisatie

Bekijk vacature »

.NET Software Developer

Dit ga je doen Als .NET Software Developer zul jij je voornamelijk bezig houden met: Het van scratch af aan bouwen van applicaties (.NET, C#, Bootstrap, KnockoutJs en WebAPI2); Het testen van jouw code d.m.v. het uitvoeren van unittesten; Het oplossen van bugs in de code; Het onderhouden van contact met collega's betreffende de door jouw ontwikkelde applicaties; Het verbeteren en doorontwikkelen van maatwerkapplicaties. Hier ga je werken Jij gaat aan de slag als .NET Software Developer en gaat je focussen op het bedenken, ontwikkelen en testen van maatwerkapplicaties in voornamelijk C#. Dit ga je doen bij een grote, internationale

Bekijk vacature »

Medior/senior front end developer

Functie Vanwege de groei binnen het bedrijf zijn we op zoek naar versterking in het development team. Als back-end developer bouw je aan de bedrijfssoftware die ons helpt bij de primaire processen. Een leuk (intern) project dus waarbij je de software continu doorontwikkeld! Je werkt in een klein team, we hebben dagelijks stand-ups en iedere twee weken een scrum-sessie, begeleid door onze Scrum Master. Hierin krijg je uitgebreid de kans om je ideeën te presenteren, en te overleggen met je mede-ontwikkelaars en de Product Owner. Binnen de ontwikkelteams gebruiken we Trello, Gitlab, Jiira, Confluence en Boockstack. Hiernaast werken ze met

Bekijk vacature »

Oracle APEX developer

Wat je gaat doen: Als Oracle APEX ontwikkelaar bij DPA werk je samen met collega’s aan de meest interessante opdrachten. Je zult je ervaring met SQL, PL/SQL, JavaScript, HTML en CSS inzetten om wensen van opdrachtgevers te vertalen naar technische oplossingen. Je werk is heel afwisselend, omdat DPA zich niet beperkt tot een specifieke branche. Zo ben je de ene keer bezig binnen de zorgsector, de andere keer is dit bij de overheid. Wat we vragen: Klinkt goed? Voor deze functie breng je het volgende mee: Je hebt een hbo- of universitaire opleiding afgerond Je hebt 2 tot 5 jaar

Bekijk vacature »

Traineeship Front-end developer (WO, 0 tot 3 jaar

Functie Zoals beschreven ga je vanaf start aan de slag bij een passende opdrachtgever, hierbij kijken ze echt naar jouw wensen, kennis/ervaring maar ook de reisafstand. Momenteel hebben ze meerdere klanten waarbij ze groepen hebben opgezet wat maakt dat er diverse uitdagende kansen liggen. Naast het werken bij de opdrachtgever, en het volgen van de masterclasses, zul je regelmatig met de andere trainees in contact zijn. Niet alleen op professioneel vlak maar juist ook bij de borrels en kwartaaluitjes! Kortom; een jaar lang hard aan jezelf werken in combinatie met gezelligheid en plezier. Spreek dit jou aan? Dan komen we

Bekijk vacature »

Fullstack developer (NodeJS, React, AWS)

Functie Als Fullstack developer kom je te werken in het ontwikkelteam, maar zoals gezegd komt er veel meer bij kijken dan alleen maar ontwikkelen. Je bent samen met je collega’s continu bezig om de software uit te breiden maar hiernaast doe je doorlopend onderzoek naar de inzet van bijvoorbeeld Machine Learning. Ze willen met hun software echt voorlopen op andere en toegevoegde waarde leveren voor de eindgebruiker. Mede hierom zijn ze erg benieuwd naar iemand zijn persoonlijkheid, of hij graag nieuwe dingen uitzoekt (Google!), en initiatief neemt. Maar waar staan ze nu? Na een onderzoeksfase van ruim een jaar zijn

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

28/03/2024 19:06:13
 
- Ariën  -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën  -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën  -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.