mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Medior .NET developer Backend / Utrecht /

Yes! Je mag weer naar kantoor! Je rijdt de snelweg af en je parkeert je auto direct op het parkeerterrein. Geen lange reistijden, want je bent letterlijk in 2 minuten van de snelweg bij kantoor. Je stapt je auto uit en loopt het moderne pand naar binnen. Iedereen loopt in spijkerbroek en de sfeer is gemoedelijk en informeel. Je loopt naar je ruime bureau en groet je collega’s die met een bak koffie het weekend nabespreken. Jullie zijn dit weekend samen naar de Ardennen gegaan om gezellig met je collega’s een paar dagen ertussen uit te gaan! Je collega’s moeten

Bekijk vacature »

Junior Full-Stack Developer

Organisatie Het bedrijf is volledig gefocust op het bouwen van merken voor kleine en grote bedrijven in de foodsector. Dan kan je denken aan websites voor bijvoorbeeld de frietzaak op de hoek. Maar bijvoorbeeld ook lichte CRM systemen voor de kleine horeca ondernemer en leadgeneratie campagnes. Daarnaast hebben ze ook grote projecten lopen op het gebied van duurzaamheid. Je kunt zeggen dat dit bedrijf goed is voor lekker eten en de wereld. Het bedrijf is 3 jaar geleden ontstaan nadat 2 ervaren reclamemakers de handen ineen hebben gesloten om samen hun passie voor eten toe te passen in de reclamewereld.

Bekijk vacature »

Junior .NET C# developer gezocht

Organisatie Voor een marktleider in de omgeving van Waalwijk ben ik op zoek naar een Junior .NET developer. Het bedrijf is de grootste speler op het gebied van koeltechnieken. Er heerst een informele bedrijfscultuur waarbij je genoeg vrijheid en mogelijkheden hebt om je eigen ideeën te uiten en om je ideeën ook daadwerkelijk door te voeren. De organisatie heeft diverse wisselende projecten. Denk aan projecten variërend van 3 maanden of meer, maar ook projecten van 2 weken. Je zult samen gaan werken met 1 senior .net engineer en 2 medior ASP.net, C# ontwikkelaars. Het team bestaat uit pure liefhebben op

Bekijk vacature »

.NET C# web developer gezocht, inhouse project dev

Ben je een ervaren .NET C# web developer en op zoek naar een leuke baan in het zuiden van Zuid-Holland? Een inhouse functie maar met de afwisseling van verschillende projecten en klanten? Projecten die uitdagend zijn door de complexiteit van de systemen? Lees dan verder! Voor een bedrijf in Goeree-Overflakkee zijn we momenteel op zoek naar een ervaren .NET C# web developer. Het bedrijf bestaat uit iets meer dan 20 werknemers en verschillende ervaren software developers. De software projecten zijn uiteenlopend, maar altijd maatwerk oplossingen en veelal complex en bedrijfskritisch van karakter. De bedrijven waarvoor je software ontwikkeld kunnen variëren

Bekijk vacature »

Front-end Developer / Machinebouw / Marktleider

Functieomschrijving Ben jij een Front-end Developer met affiniteit voor machinebouw? Lijkt het jou gaaf om samen met collega-ontwikkelaars te werken aan userinterfaces voor deze machines? Lees dan snel verder! Werken aan een zeer veeleisende omgeving en continu veranderende applicaties; Je participeert in diverse projecten ter bevordering van de kwaliteit en gebruikersgemak; Het ontwikkelen en onderhouden van userinterfaces; Het werken in een multidsciplinair scrumteam; Het analyseren van klantwensen om zo tot ontwerpeisen te komen; Het verlenen van service voor de ontwikkelde software. Functie-eisen Hbo werk- en denkniveau; Minimaal 2 jaar ervaring als Front-end Developer, Javascript Developer of Full-stack Developer; Je hebt

Bekijk vacature »

.NET ontwikkelaar die communicatie tot leven laat

Vacature Omschrijving Bij deze organisatie komt communicatie tot leven en dat laten ze je merken ook! Alle soorten grafische vraagstukken worden behandeld. Van flyers en visitekaartjes tot slimme marketingtools en oplossingen, niets is te gek voor deze partij. Met een geschiedenis van ruim 120 jaar is er veel specialistische kennis verzameld en zijn zij de koploper op het snijvlak van ICT, print en media. Wat deze organisatie belangrijk vindt is het gevoel dat je hier thuiskomt. Dat je iedere dag met veel zin naar je werk komt, waarbij samenwerking en saamhorigheid voorop staat. Functieomschrijving Ga als .NET ontwikkelaar aan de

Bekijk vacature »

Junior PHP Developer

Organisatie Dit ambitieuze bedrijf is 16 jaar geleden gestart en heeft zich sindsdien ontwikkelt van website ontwikkelaar tot het maken van complexe maatwerk oplossingen. Ze hebben een groot klantenbestand en ze maken bij voorbeeld de website voor een grote supermarktketen, koppelingen voor de overheid en zo hebben ze zelf ook eigen webshops in beheer, gewoon omdat het kan. Dit maken ze met ontzettend veel passie en “state of the art” soft en hardware. Wanneer een deadline is gehaald of een project goed is afgerond wordt er zeker een feestje gevierd. Deze organisatie vindt het ook belangrijk om te investeren in

Bekijk vacature »

Lead Salesforce Solution Architect

Lead Salesforce Solution Architect is responsible for delivering Salesforce solution designs to projects. These solutions need to be fit for purpose within the portfolio, have technical integrity, the right TCO (total cost of ownership) through its life cycle and a good fit with the IT technology direction of Shell, specifically related to Salesforce. Responsibilities of the Lead Salesforce Solution Architect include: 1. Lead the Salesforce solution architecture development, a consultancy and assurance to projects. 2. Hold the overall accountability for the architecture of Salesforce solutions being developed and implemented until the successful deployment of the solution. This includes: a. Being

Bekijk vacature »

Medior / Senior PHP Developer / Symfony / Fintech

Organisatie Het bedrijf is 2 jaar geleden ontstaan om de brug te zijn tussen de financiële dienstverlener en de particulier. Dat doen ze door verschillende websites en tools te ontwikkelen waardoor het makkelijker wordt om bijvoorbeeld een verzekering of een hypotheek te kiezen. Zo maken ze ook maatwerk CRM pakketten en CMS systemen voor de financiële dienstverlener zelf. Hun legacy zit in Laravel maar ze willen alle nieuwe software in Symfony 3 ontwikkelen. Dit doen ze nu met een team van 5 man tussen de 25 en de 28 jaar oud, je kunt dus zeggen dat dit een jong team

Bekijk vacature »

PHP Developer

Jij draagt bij aan het vlaggenschip platform binnen deze organisatie. Dit platform draagt bij aan het selecteren van de juiste mediakanalen om zowel passieve als actieve kandidaten te bereiken. Hun doel is om het platform voor de klanten zo gebruiksvriendelijk mogelijk te maken. Je werkt in een agile (scrum) omgeving waarin jij je bijdrage levert applicaties en diensten van hoge kwaliteit. Hierbij ga je proactief ontwikkelingsplannen leiden voor nieuwe productinitiatieven en functieontwikkelingen. Samen met jou team ondersteun je het DevOps team bij het gebruiken van werkwijzen zoals CI, CD en geautomatiseerde releasemanagement. Je werkt in een team met ervaren webontwikkelaars

Bekijk vacature »

DESKTOP SUPPORT ENGINEER

IMC– Where Technology drives Trading Trading nowadays happens in a highly competitive technological landscape; the best trading idea alone doesn’t cut it anymore. Instead, only the best trading ideas that are enabled via robust, scalable and fast technology win. Do you enjoy the process of problem solving, a process where you recognize areas of improvement and iterate and innovate to improve? Does your curiosity and desire to learn drive you? Driven to be the best, our Desktop Engineers are responsible for maintaining the systems that enable IMC to compete at the highest level. They possess a forward thinking attitude required

Bekijk vacature »

Junior / Medior Magento developer

Organisatie De wintermaanden komen eraan. Gelukkig kun jij lekker met je auto naar het werk want er is parkeerplek zat! Na de spits rij jij aan naar kantoor en parkeer jij de auto voor de deur. Jouw collega’s staan bij binnenkomst al aan de koffietafel en bespreken hun dag van gisteren na. Jij neemt een lekkere bak XXL koffie om jouw dag vol energie weer goed te beginnen. Nadat iedereen weer op de hoogte is van elkaars verhalen lopen jij naar je sta/zit plek en bespreek je samen met het team de prioriteiten. Je werkt samen met vakidioten aan de

Bekijk vacature »

Medior PHP programmeur gezocht

Medior PHP programmeur met ruime Symfony ervaring gezocht voor grote webshop in Breda Wil jij aan de slag als PHP programmeur bij een grote webshop om je daar te richten op de backend taken? Werken in een dynamische organisatie waarbij je de andere afdelingen binnen de organisatie ook te zien krijgt? Je komt te werken in een jong team in een ontspannen sfeer waar niets moet en veel kan. Bedrijfsinfo De webshop heeft in totaal ruim 75 werknemers en is gevestigd in het centrum van Breda. Deze webshop valt in de top 5 van zijn categorie. Naast de webshop zijn

Bekijk vacature »

C# / .NET Developer / SiteCore

Functieomschrijving Ben jij een Developer met kennis van C# / .NET en wil jij je graag specialiseren op het gebied van Sitecore? Wil jij daarnaast werken aan uitdagende Inhouse projecten voor grote en bekende partijen in Nederland? Dan is dit de rol waarnaar jij op zoek bent! Binnen deze rol zal jij je als C# / .NET Developer (met de focus op SiteCore) aan de slag gaan voor een van de meest bekende bureaus op het gebied online platformen, een rol met veel afwisseling en voldoende technische uitdaging! Werken aan diverse en uiteenlopende projecten, waarbij je meer dan eens pionierswerk

Bekijk vacature »

Business Intelligence developer

Jij ben niet bang om hard te werken. Uitdagingen zijn welkom. En problemen? Die zijn er om opgelost te worden of, nog beter, om voorkomen te worden! Voor jij aan de slag gaat met het ontwerpen van BI- en DWH-oplossingen, leg je eerst je oor te luister bij de klant. Zo weet jij wat de klant wil, en hoe jouw ontwerp eruit moet komen te zien. Simpel! Althans… met jouw Developer-kwaliteiten wel! Over deze BI vacature Als Business Intelligence Developer ga je zowel op locatie bij de klant aan de slag, als op een van de Sogeti-locaties. Je analyseert de

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

19/09/2019 05:27:12
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.