mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Medior C# developer/ .NETcore /

Deins jij niet terug voor een uitdaging? Heb jij passie voor het vak en zit je het liefst de hele dag met de vingers aan de knoppen? Ben je communicatief vaardig en wil je werken met de nieuwste technieken in een proactief team van enthousiaste developers? Dan ben ik op zoek naar jou! De organisatie Deze organisatie is gespecialiseerd in de ontwikkeling van hypotheeksoftware. Het is jouw doel om het voor de eindgebruiker zo makkelijk mogelijk te maken om alles te regelen omtrent zijn/haar hypotheek. Zo heeft de klant de behoefte om veilig in te kunnen loggen op de online

Bekijk vacature »

BIG DATA ENGINEER (SR.) CONSULTANT

BIG DATA ENGINEER (SR.) CONSULTANT Disrupt the way the world works by using your skills to transform Accenture clients in the digital businesses of tomorrow. Unleash your talent and bring business closer to the people they serve via cutting edge digital solutions developed by you. Leave your digital mark on the world. Does the world of Big Data excite you? Do you want to help our clients become high performance and data-driven businesses? If so, we would love to meet you! Your job As a Big Data Engineer Consultant, you will be part of the Digital Analytics team in Amsterdam.

Bekijk vacature »

Junior .NET Ontwikkelaar

Organisatie De organisatie bestaat al sinds 2003 en sinds 2011 onder een nieuwe naam. In de schaduw van Delft heeft dit bedrijf zich ontpopt tot waardige speler. Door de kansen in de markt is dit bedrijf aan het groeien en willen zij internationaal steeds meer landen veroveren met de SaaS oplossing en tijdbesparende producten (Continues Delevery) die zij onder andere aanbieden. Volgend jaar zullen zij de 1000 klanten aan tikken en zul jij jouw te gekke oplossingen tot leven wekken voor internationaal publiek. Het bedrijf is een Marketplace Integrator. Ze koppelen grote en kleine internationale verkopers aan marktplaatsen zoals Beslist.nl,

Bekijk vacature »

.NET developer

Organisatie Wat ooit opgezet is als een eenmanszaak vanuit een idee van de eigenaar, is inmiddels uitgegroeid tot één van de technische wereldleiders op het gebied van automatiseringsoplossingen. Tijdens zijn studententijd is de eigenaar bezig geweest met het bouwen van zijn eigen robotica. Dit idee besloot hij op de markt te gaan zetten en zo heeft hij in 2008 bedacht. Waar voor velen de recessie in 2009 als een klap kwam, groeide dit bedrijf juist en in 2011 werd het eerste personeelslid aangenomen. De organisatie bestaat inmiddels elf jaar en hierbij staat innovatie en de hoogste kwaliteit leveren voorop. Dit

Bekijk vacature »

RPA Developer

Ben jij technisch onderlegd? Wil jij meewerken aan de implementatie van RPA binnen de Van Ameyde Group en het bouwen aan de virtuele workforces? (Zero)70 IT Services zoekt voor het hoofdkantoor in Rijswijk een nieuwe collega die hierin het verschil kan maken! Wat ga je doen? Je zult werkzaam zijn binnen het Center of Excellence (CoE) van (Zero)70, het IT development bedrijf binnen de Van Ameyde Group. Het CoE ondersteunt de business in het bereiken van procesautomatisering door Robotic Process Automation (RPA). Je maakt deel uit van en bouwt mee aan een nieuwe jonge afdeling die vanuit Rijswijk de verschillende

Bekijk vacature »

PHP ontwikkelaars gezocht voor een leuk jong en dy

Vacature Omschrijving Deze ambitieuze partij is dertien jaar geleden opgericht en heeft twee jaar geleden een ander MKB-bedrijf overgenomen. Het is een jong en dynamisch informeel team van vijftig medewerkers en ze hebben een work hard, play hard mentaliteit. Bij dit bedrijf gaan ze alleen voor de allerbeste resultaten en dit zie je ook terug in hun trouwe klanten, zoals een groot Rotterdam openbaarvervoersbedrijf. De visie is dat design en technologie de mens verder brengt. Dat digital in dienst staat van de mens. Met hun ontwerpen daaraan bijdragen is wat hen drijft en hun werk zin geeft. In 2005 begon

Bekijk vacature »

Medior PHP Developer (Laravel)

Niet elke goede developer heeft volgens de regels eerst zijn middelbare diploma behaald om vervolgens af te studeren aan WO Computer Science. De weg die je voor ogen had toen je jong was is anders gelopen en dat is niet erg! Want via hard werken en een ijzersterke motivatie ben je alsnog gekomen waar je wilt zijn. Jij werkt om te leven en niet andersom. Je hebt duidelijk voor ogen wat je doel is en bent gefocust om dit doel te bereiken. Zoek je een organisatie de dezelfde waarde als jou deelt zoals hierboven beschreven? Dan heb je op de

Bekijk vacature »

Senior/Lead Front-end ontwikkelaar

Organisatie Ben jij het ook beu om iedere ochtend weer in de file te staan? Lees dan nu verder. Voor een van mijn opdrachtgevers ben ik opzoek naar een senior Front-end ontwikkelaar die zelfstandig kan werken maar ook ambities heeft om de kar te trekken. De organisatie bestaat uit 30 FTE en ja iedereen werkt vanuit huis! Het ontwikkel team bestaat uit 10 ontwikkelaars verdeeld over front-end en back-end. Ondanks dat je vanuit huis werkt is er wel echt een wij gevoel. Er gaat geen dag voorbij dat je niet gebeld wordt door een collega die met jou wil sparren

Bekijk vacature »

Progress Developer / Internationale markt

Functieomschrijving Wil jij in een toonaangevende organisatie werken met de ambitie om de (inter-)nationale markt te bewerken? Reageer dan nu! Uitvoeren van analyses ter bevordering van de betrouwbaarheid en performance van de applicatie; Implementeren van functionaliteiten in eigen Back Office pakket; Meedenken over de architectuur en tevens waarborgen van de architectuur; Programmeren van functionele en technische wijzigingen; Bijwerken van documentatie; Troubleshooten van complexe incidenten; Aanroepen van webservices, message handling; Functie-eisen Minimaal HBO werk en denkniveau; 6+ jaar ervaring in software ontwikkeling; Ruime ervaring met Progress / OpenEdge; Zeer sterk analytisch vermogen; Je bent communicatief en je gaat proactief te werk;

Bekijk vacature »

Lead Ruby Developer

Organisatie 5 jaar geleden zijn 3 jonge ondernemers deze start-up begonnen. De organisatie bestaat inmiddels uit 20 medewerkers en wil de komende jaren minimaal jaarlijks met 20% gaan groeien. Kwaliteit staat hoog in het vaandel en ze willen alleen met de beste mensen dit gaan realiseren. De klanten waarvoor ze werken gaat van IJsland tot aan Spanje en blijven steeds hun netwerk verder groeien. Je gaat werken aan gepassioneerde slimme applicaties voor het onderwijs die wereld wijdt zowel leraren als studenten het leven een stukje makkelijker kunnen maken doordat deze technieken er voor zorgen dat alles sneller en efficiënter kan.

Bekijk vacature »

Medior C# ontwikkelaar met affiniteit met de autob

Bedrijfsinfo Voor een van onze businesspartners ben ik momenteel op zoek naar een ervaren medior ontwikkelaar met ruime ervaring in C# ASP.NET en webservices. De organisatie heeft zich de afgelopen 15 jaar gespecialiseerd in het ontwikkelen van software voor de autobranche. Zij focussen zich op voornamelijk op de aftersales. Denk hierbij aan het ontwikkelen van platformen voor dealers en schademaatschappijen. De organisatie telt momenteel 25 werknemers waarvan er 7 werkzaam zijn op de ontwikkelafdeling. Binnen deze organisatie heerst een zeer informele sfeer, zo zijn er jaarlijks uitjes naar het buitenland waar de sfeer heerst van een ‘vriendenweekend’. Naast deze leuke

Bekijk vacature »

Shipping Analyst

Dynamar B.V. helps shipping companies steer the best course in business. Our services are always in demand and we are looking for a talented Shipping Analyst to join our team as a: Shipping Analyst With offices in the Netherlands (Amsterdam Area), China, Turkey and presences in Romania and India , Dynamar is a leading independent provider of Business Information Risk Reports, covering companies in the maritime, energy and commodities trading sectors. What kind of Shipping Analyst are we looking for? A high level of integrity and trustworthiness An interest and preferably experience in shipping Excellent English language skills, written and

Bekijk vacature »

PHP / Symfony developer

Organisatie In 2000 zijn zij gestart en inmiddels beheren ze ruim tienduizenden websites en zijn zij met ruim 200.000 domeinnamen een van de grootste cloud en hostingproviders van Nederland. Hun missie is om de online ambities van klanten waar te maken en werkt met het gehele team aan een zo goed mogelijke klantbeleving. En met succes! Met ruim een 9,2 worden zij beoordeeld voor webhosting, webdesign, VPS server en hun nazorg. Zij leveren domeinnamen, shared webhosting, Virtual Private Servers, e-mailhosting en online back up aan zzp-ers en MKB bedrijven. Op dit moment zorgen zij met hun team van 25 medewerkers

Bekijk vacature »

Front-end developer

Organisatie Al meer dan 30 jaar maakt dit bedrijf complexe applicaties die wereldwijd gebruikt worden. Deze organisatie is uitgegroeid tot een belangrijke niche speler in de markt van kennisintensieve maatwerk oplossingen waarbij ze zowel start-ups als multinationals bedienen in binnen- en buitenland. Multinationals zoals Unilever, Mars maar ook start-ups zoals Mobility Concept waar ze software voor ontwikkelen. Zo hebben ze voor een klant een mobiliteitsplatform gebouwd om CO2-uitstoot en brandstof af te rekenen. Dit wordt voornamelijk gebruikt door lease rijders of bijvoorbeeld Capgemini om mensen proberen te bewegen, zoals auto’s delen of op de fiets te gaan. Functie Deze organisatie

Bekijk vacature »

Senior .NET Developer

Organisatie Deze organisatie is al 15 jaar actief met haar eigen ERP systeem binnen de wereld van E-commerce en is een van de snelst groeiende bedrijven binnen deze markt. Het bedrijf bestaat uit zo’n 200 enthousiaste werknemers die op de logistieke afdeling werken of bij het software development team horen. Binnen het software development team heb je onder andere te maken met het ERP systeem dat miljoenen orders per jaar verwerkt en maken jullie koppelingen met de webwinkels. Voor de webwinkels neemt het bedrijf veel werk uit handen: order ontvangen, pakket inpakken, label aanmaken, versturen, Track & Trace code koppelen,

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

21/09/2019 16:08:18
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.