mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Medior Full-Stack C# ASP.NET developer

Organisatie Wil jij in een leuk en sociaal team werken? Waar gewerkt wordt aan één product? Ben jij die sociale IT’er die mee kan denken over de innoverende uitbreidingen van de software? Dan is dit jouw volgende stap. Deze partner is een volwassen bedrijf die zich bezig houdt met het ontwikkelen van taxatiesoftware ten behoeve van de Wet WOZ en taxatiebedrijven. Het is een bedrijf van 40 werknemers waarvan 10 IT’ers. Het bedrijf heeft 3 kantoren verspreid over Nederland met de IT afdeling op 10 minuutjes lopen van station Ipenburg in Nijmegen. Deze IT’ers werken als 1 team samen voor

Bekijk vacature »

Drupal/ PHP developer

Organisatie Direct bij binnenkomst word je gegroet door baliemedewerkster. Jij loopt voorbij de twee StarWars figuren door naar de tweede verdieping. Hier staat de koffieautomaat al warm te draaien zodat jij samen met jou team eerst kan genieten van een lekker bakje! Samen met 23 andere ontwikkelaars is deze gezellige, ruime en lichte kantoor jullie plekje. Verdeeld over 5 scrumteams bestaande uit backend developers, een front-end developer en een tester maken jullie er dagelijks weer een gezellige dag van waar hard werken beloond wordt. Samen met jouw team bekijken jullie dagelijks de prioriteiten en schatten jullie het werk in van

Bekijk vacature »

Medior/Senior Full-stack developer/ Impact maak je

Wat vertel jij op een verjaardag als iemand aan je vraagt waar je werkt? “Ik werk bij een bedrijf waar heel Nederland mee te maken heeft maar dit zelf niet eens weet.” Dit doet jouw bedrijf al 25 jaar Het toffe is dat jij binnen deze organisatie ook nog eens deel uit maakt van het innovatie team. Innovatie staat namelijk op nummer 1 voor jou en je vindt het super tof om hier mee bezig te zijn. Iedere ochtend kom je tussen 7:30 en 10:00 uur binnen lopen op kantoor en pak je allereerst in de jaren ‘70 keuken een

Bekijk vacature »

Medior Full-Stack Developer (1 platform, duizenden

Organisatie Je komt te werken in een bedrijf wat nu 15 jaar bestaat. Wat begon als een studentproject van 4 man is inmiddels uitgegroeid tot een organisatie waar 40 mensen werken. Ze zijn gespecialiseerd in het ontwikkelen voor software voor de accountancy. Inmiddels maakt 8% van alle MKB bedrijven in Nederland gebruik van hun software die zowel op de desktop als mobiel werkt. Doordat alles binnen dit bedrijft wordt ontwikkeld en ontworpen wordt alle feedback en input gewaardeerd. Binnen het bedrijf hangt een open en gezellige sfeer. Zo wordt er samen geluncht en als je zin hebt kan je daarnaa

Bekijk vacature »

Fullstack C# .NET Developer Mobile Applications

Functieomschrijving Wil je een verschil maken als .NET ontwikkelaar waar je in een relatief kleine organisatie werkt aan diverse uitdagende software oplossingen? Is een uitdagende baan in regio Apeldoorn je wens, waar jij jezelf verder kan ontplooien als .NET Developer met diverse focus gebieden zoals front-, back-end en mobile oplossingen? Klink dit interessant? Dan hoor ik graag van jou. Omgeving Je komt terecht in een team van 10 Developers, waarvan 7 zich dagelijks bezighouden met .NET Software projecten. Ze passen SCRUM toe in vele projecten. Op dit moment zijn bijvoorbeeld twee SCRUM teams bezig met het ontwikkelen van een tweetal

Bekijk vacature »

Junior C# developer gezocht voor Marktleider

Bedrijfsinformatie: Modern, innovatief en klantgericht. Dit zijn de kernwaardes van deze marktleider in de Retail branche. Deze organisatie uit Utrecht houdt zich bezig met het ontwikkelen van kassasystemen en winkel optimalisatie. Al meer dan 20 jaar zijn ze marktleider en zijn ze inmiddels ook internationaal actief. Je komt te werken bij een innovatieve organisatie met echte vakidioten. De medewerkers die hier werken hebben ieder een unieke achtergrond en diversiteit is een gegeven ideologie wat steeds terug komt. Daarnaast zijn ze erg flexibel en krijg je enorm veel vrijheid om jezelf te focussen op hetgeen wat je wil doen. Het is

Bekijk vacature »

Senior SQL Developer/Beheerder/Financiële ins

Functieomschrijving Ben jij een Senior SQL Developer/Beheerder die houdt van een uitdaging? Zie jij mogelijkheden die anderen niet zien en word jij graag uitgedaagd? Wil jij de verantwoordelijkheid dragen om bestaande processen te verbeteren, nieuwe applicaties op te leveren en migratie trajecten te begeleiden? Lees dan snel verder! Verantwoordelijk voor operationele werking database omgeving (SQL en Oracle); Queries schrijven; Beantwoorden complexe integratie vraagstukken; Vormgeven aan organisatiebrede migratie trajecten; Requirements opstellen; Fungeren als sparringspartner voor de business; Sturende rol in de projecten. Functie-eisen Minimaal HBO werk- en denkniveau; Minimaal drie jaar ervaring in een soortgelijke functie; Diepgaande kennis van Microsoft SQL

Bekijk vacature »

Ervaren front-end developer

Vacature Omschrijving Voor een sterk groeiend detacheringsbureau in Rotterdam zijn wij op zoek naar een gedreven en vakkundige front-end developer. Dit jonge bedrijf is sterk groeiend en doet projecten voor onder andere Rabobank en Schiphol. Ondanks dat de werknemers op uiteenlopende projecten werken bij de klant, wordt er veel aandacht besteed aan de onderlinge binding. Er worden met regelmaat borrels en uitjes georganiseerd en er wordt gewerkt onder het motto: de klant maakt niet enkel gebruik van die ene persoon, maar van de volledige expertise van het detacheringsbureau. De sfeer is informeel en persoonlijke aandacht vindt men erg belangrijk. Functieomschrijving

Bekijk vacature »

Junior PHP Developer Projecten Voor A-merken

Organisatie Je komt te werken in een creatief bedrijf wat in 2007 is opgericht door een online marketeer en een developer. Inmiddels zijn ze uitgegroeid tot een organisatie waar 25 mensen werkzaam zijn. Dagelijks wordt hier gewerkt aan verschillende projecten die zeer uiteenlopen. Je hebt de creatieve marketing duizendpoten die hele campagnes van A tot Z uitdenken en die voor hun klanten opzetten. Je kunt dan denken aan bekendere A-merken maar bijvoorbeeld ook bedrijven in het MKB+ segment. Hiervoor doen ze ook de audio en visuele producties in house maar bijvoorbeeld ook de development. Binnen het bedrijf hangt een frisse

Bekijk vacature »

Junior/ Medior PHP backend developer

Organisatie Dit jonge en informele bedrijf is opgericht in 2012 en gevestigd in Den Haag. Vanuit hun mooie pand bouwen zij hier websites, webshops en webapplicaties op maat. Dit doen zij voor MKB bedrijven die meer willen dan alleen een website. Projecten waarvoor een eigen extensie, plugin of applicatie nodig is? Moet er een niet zo kant en klare integratie met 10 verschillende API’s worden geschreven? Of dient er een eigen Big Data applicatie ontwikkeld te worden? Hier ben je aan het juiste adres! Met een klein compact maar zeer technisch team van 8 man ontwikkelen zij hier projecten voor

Bekijk vacature »

Medior/Senior PHP Developer/ SAAS oplossing / Rela

Ben jij een ervaren medior/senior PHP programmeur en staat kwaliteit bij jou op één? Word jij gemotiveerd door gedreven en slimme collega’s die elkaar telkens naar een hoger niveau willen tillen? Wil je werken in een informele organisatie waar een relaxte werksfeer heerst? Dan neem ik je graag mee in het verhaal van deze organisatie. Organisatie Je komt te werken in een organisatie waar een relaxte werksfeer op één staat. De klanten van dit bedrijf sluiten een overeenkomst voor de lange termijn. Hierdoor is vooraf duidelijk wat de inkomsten zijn waarop jaarlijks een planning wordt gemaakt voor het Development team.

Bekijk vacature »

Front-end Developer (Medior) gezocht voor internat

Vacature Omschrijving Ervoor zorgen dat klanten maximaal profiteren van hun digitale gegevens. Dat is de grote missie van deze organisatie. Wanneer het gaat om het vergroten van het rendement van online initiatieven, zijn zij expert. Of het nu gaat om specifieke mobiele apps of complete klantomgevingen met vele interacties, deze organisatie levert met hun pragmatische aanpak succesvolle oplossingen voor grote klanten als Vodafone, ING, Rabobank en Robeco. Op dit moment bestaan ze 15 jaar en veroveren ze de wereld als echte ontdekkingsreizigers. Met kantoren in o.a. Nederland, Engeland en Frankrijk wordt de groei hard doorgezet en bouwen ze met hun

Bekijk vacature »

Medior .NET developer / Unieke locatie in de zorgs

Midden in een bosrijke omgeving ten Noorden van Utrecht ligt het hoofdkantoor van deze organisatie. Een absoluut unieke locatie voor de veeleisende ontwikkelaar die alleen genoegen neemt met het beste. Deze organisatie wordt gekenmerkt als een informele club developers die graag het beste in zichzelf en hun teamgenoot naar boven halen. Van een dagelijkse verse lunch tot uiteenlopende bedrijfsactiviteiten; deze organisatie heeft het allemaal! Ze zijn gespecialiseerd in software om het voor ziekenhuizen inhoudelijk overzichtelijk te maken hoe efficiënt hun processen verlopen. Hierbij ga je te werk in scrumteams van gemiddeld 5 personen, zodat jij met je team elke dag

Bekijk vacature »

Een ervaren PHP Developer in de financiële se

Vacature Omschrijving Onze klant is gespecialiseerd in technologie die het mogelijk maakt veilig, snel en zonder gedoe te betalen op het internet. Je kunt hierbij denken aan verschillende soorten manieren van online betalen, zoals via iDEAL, creditcard, per telefoon, maar ook specifiek voor evenementen. Vanuit verschillende soorten locaties in Nederland werk je met een jong en hecht team aan een zelfontwikkelde systeem. Hiermee maakt de organisatie jaarlijks miljoenen betalingen mogelijk voor duizenden webshops en websites. Interessant? Lees dan snel verder wat de functie verder inhoudt. Functieomschrijving In een hecht team ga je samen van ontwikkelaars producten onderhouden, ontwikkelen en optimaliseren.

Bekijk vacature »

Senior PHP Developer Amazon, AliExpress, Zalando

Organisatie Je komt te werken in een bedrijf dat in de begindagen van het internet een kans zag, die heeft gegrepen en inmiddels is uitgegroeid tot het grootste online cashback platform van Nederland. Daar blijft het niet bij ze zitten buiten Nederland namelijk ook in: België, Polen, Frankrijk en Duitsland. Ze werken ook niet met de minste namen. Ondertussen zijn er meer dan 2000 webshops door heel Europa bij ze aangesloten waaronder: Amazon, Zalando, booking.com en AliExpres. In Nederland alleen zijn deze al goed voor zo’n 10.000 transacties per dag. Op dit moment zijn er 20 mensen dagelijks werkzaam om

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

20/06/2019 14:13:56
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.