mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

System engineer infrastructure & cloud

Heb jij ervaring als system engineer? Heb je kennis van en interesse in Cloud, networking en VMware? Dan heb je wellicht belangstelling in de functie voor: System engineer infrastructure & cloud voor ons kantoor in Zwolle Over de positie: Voor je aan de slag gaat als system engineer staat je een mooi inwerktraject te wachten waarin je alle in- en outs van het bedrijf en onze cloud services leert kennen. Je volgt trainingen en certificeert je voor Azure Fundamentals en Office Fundamentals. Ook ga je naar de Microsoft Ignite in Amsterdam, waar je deelneemt aan technische trainingen van de experts

Bekijk vacature »

Technisch Ontwerper / Applicatieontwikkelaar max.

ICT Professional Event De komende maanden organiseert CIMSOLUTIONS op diverse locaties in Nederland het ICT Professional Event. Tijdens deze avond kun je naast een hapje en een drankje onze sfeer komen proeven. Maak kennis met CIMSOLUTIONS, onze collega’s en beleef de ervaringen van onze ICT specialisten én de projecten waar zij het verschil maken. Data en locaties Donderdag 27 februari – Groningen Woensdag 4 maart – Best Woensdag 18 maart – Maastricht Donderdag 19 maart – Rotterdam Woensdag 15 april – Deventer Woensdag 27 mei – Amsterdam Woensdag 27 mei – Vianen Kijk voor meer informatie en/of aanmelden op: https://www.cimsolutions.nl/ict-professional-event

Bekijk vacature »

Web Developer

Help jij graag mee met het optimaliseren van ons platform? Solliciteer dan naar de functie Web Developer. Op ons hoofdkantoor in Amsterdam krijg je alle ruimte om je kwaliteiten te tonen. Jouw baan ChipSoft maakt breed gebruik van webtechnologie voor de ondersteuning van administratieve processen. Als ontwikkelaar ben je verantwoordelijk voor het onderhouden en verbeteren van de applicaties op ons platform. Jij richt je met name op het ontwikkelen van nieuwe applicaties en het onderhouden van de gebruikte programmatuur op ons platform. Denk hierbij aan e-learning en projectplanning. Jouw team Je komt op de 25ste verdieping van ons hoofdkantoor in

Bekijk vacature »

Systeembeheerder Microsoft 365

Systeembeheerder Microsoft 365 Als systeembeheerder kun je bakken met geld verdienen maar … dan moet je wel de juiste opleidingen en certificaten hebben! Bij T2 zorgen wij dat werkervaring en opleidingen hand in hand gaan en daar plukken wij samen de vruchten van. Onze samenwerking Een boost in je loopbaan dat is wat je van ons mag verwachten. Stilstaan is nooit een optie en dat geldt zeker in de IT. Als systeembeheerder kan je op dit moment overal werken dus is het belangrijk om een werkgever te kiezen die samen met jou energie wil steken in je ontwikkeling. Je bent

Bekijk vacature »

PHP developer

Heb jij uitgebreide kennis van PHP, Linux en front-end? En hou je van een dynamische omgeving, waarin jouw baan er toe doet, jouw ideeën worden gehoord en waar je werkelijk het verschil kan maken voor jouw collega’s en het bedrijf? Zo ja, dan zijn wij op zoek naar jou in de positie van: PHP developer voor onze locatie in Veghel Over de positie: Als PHP programmeur bouw je aan diverse webbased applicaties in nauwe samenwerking met collega’s van IT, E-commerce en externe partners. Jouw taken omvatten, maar zijn niet gelimiteerd tot: gave internationale (web) applicaties bedenken, ontwerpen, maken en implementeren;

Bekijk vacature »

Java Developer Internationaal complexe calculaties

Functieomschrijving Kom jij het best tot je recht in een creatieve omgeving en heb jij een pragmatisch instelling? Denk jij graag vijf stappen vooruit en neem je andere daarin mee? Dan pas je zeker bij dit bedrijf. Lees dus snel verder. Ontwikkelen van applicaties en nieuwe functionaliteiten in Java; Aanpassingen maken in bestaande code; Overleggen en samenwerken met architecten en Product Owners; Werken binnen een multidisciplinair Scrumteam met betrekking tot analyse, design en ontwikkeling; Samenwerken en ondersteunen van testers in het proces van automatische regressietesten. Functie-eisen Je hebt minimaal een afgeronde HBO of WO opleiding in de richting van de

Bekijk vacature »

Technisch Architect

Online studeren overal in Nederland en Vlaanderen De Open Universiteit (OU) is de deeltijduniversiteit van Nederland. Studenten volgen er online activerend onderwijs en binnen de verschillende wetenschapsgebieden wordt disciplinair onderzoek verricht. Studenten kunnen universitaire bachelor- en masteropleidingen in zeven vakgebieden doorlopen. Kenmerken van het onderwijs zijn openheid, flexibiliteit en kwaliteit. Er is veel aandacht voor verbetering van het studiesucces van studenten. Aan de OU studeren ruim 14.000 studenten en werken bijna 700 medewerkers. De OU heeft vestigingen in Nederland en België (zie https://www.ou.nl/studiecentra). De hoofdvestiging bevindt zich in Heerlen. De nieuwste technologieën en onderwijskundige inzichten worden toegepast, zowel in de

Bekijk vacature »

Systeembeheerder gezocht

Vacature Systeembeheerder Nieuw-Vennep (intern bij 3ICT) Ben jij servicegericht, klantvriendelijk, communicatief vaardig en kun je goed overweg met verschillende mensen? Dan ben jij misschien wel de nieuwe Systeembeheerder die wij zoeken! Functie In deze functie ga jij onze diverse klanten helpen met hun issues en calls op het gebied van Hardware, Software en VoIP. Samen met een team ben je verantwoordelijk voor het oplossen, analyseren van incidenten en het ondersteunen van eindgebruikers. Je ondersteunt de klant met het afhandelen van al zijn hulpvragen (voornamelijk 2e en 3e lijns). Daarin ben je behulpzaam en assertief. In deze functie wordt er een

Bekijk vacature »

ETL Developer Datawarehouse

Wil jij je ETL-ontwikkelexpertise inzetten binnen de zorg? Dan is dit jouw baan! Je werkt vanuit de Crystal Tower in Amsterdam met de nieuwste Microsoft-technieken aan slimme oplossingen die zorgorganisaties helder inzicht geven in hun verbeterpunten. Jouw baan Onze datamodellen geven ziekenhuizen meer inzicht in hun huidige activiteiten en verwachte ontwikkelingen. Jij gaat deze complexe modellen verder uitbouwen én ontwikkelt en verbetert daarbij proactief de ETL in C# en SQL. Hierbij heb je alle ruimte om te sparren met (ervaren) collega-ETL-ontwikkelaars en werk je samen met onze BI-ontwikkelaars, software developers en consultants technische implementatie. Jouw team Je versterkt het Datawarehouse

Bekijk vacature »

.NET Developer

.NET Developer De uitgebreide versie Jij hebt ruim twee jaar ervaring als developer. Nu wil je graag je tanden zetten in nog complexere projecten. Samen met je team bereik je nieuwe hoogtes en zelfstandig maak je meters. Je hebt behoefte aan collegae die jou alles leren op het gebied van technologie maar wilt tegelijkertijd ook graag je eigen opgedane kennis delen. Alles wat vandaag nog onbekend is, moet je morgen toepassen in de volgende uitdaging en dàt is wat jou scherp houdt. Je hebt geen zin in een 60-urige werkweek maar haalt wel plezier uit zo nu en dan een

Bekijk vacature »

Ervaren C# developer gezocht, Barendrecht

Voor een bedrijf in Barendrecht zijn we momenteel op zoek naar een ervaren C# developer. Het bedrijf heeft een webapplicatie ontwikkeld waarmee hun doelgroep bepaalde administratieve processen makkelijk kan afhandelen. Met hun systeem zijn ze binnen hun sector koploper op het gebied van innovatie en gebruiksvriendelijkheid. Door het succes van hun product en de mogelijkheid deze verder op te schalen, zijn ze momenteel op zoek naar een verdere uitbreiding van hun team. Het huidige team bestaat uit circa 20 mensen waarvan 7 .NET developer. Ondanks dat het een relatief jong team is, bezitten de meeste mensen behoorlijk wat kennis en

Bekijk vacature »

JAVASCRIPT DEVELOPER - VUE.JS

Our client is the founder of digital testing in the Dutch market. They have distinguished themselves with excellent technology and expertise in the field of digital testing. Our client has created a platform in a robust, safe and user-friendly environment that has ultimately grown into a platform with more than one million users per year. Innovative, reliable and high-quality test software is what our client is all about. They make sure that they are able to create the optimal test experience, at any place, at any time, together with their customers. You work together with attention to each other in

Bekijk vacature »

Software Developer C#

ucntie: Software Developer (C#) Opleiding HBO/WO Locatie: Roermond/Sittard area Startdatum: 1 februari Contract: vast dienstverband Uren per week: Fulltime, 40 uur per week Bedrijf: Als innovatieve voorloper binnen de digitale informatiestromen in de medische sector hechten we belang aan het ontwikkelen en implementeren van nieuwe technologieën. We zijn op zoek naar creatieve geesten die energie halen uit het werken met een verscheidenheid aan technologieën, aan de hand van hun eigen ontwerpvrijheid en professionele ontwikkeling. De afdeling Research & Development is verantwoordelijk voor het onderhouden, vernieuwen en installeerbaar opleveren van de applicaties voor de professionele (eerstelijns) gezondheidszorg. Afdeling: Binnen de afdeling

Bekijk vacature »

Webdeveloper

VACATURE WEB DEVELOPER (JUNIOR/MEDIOR) 24-40 UUR PER DIRECT SALARIS IN OVERLEG LANGERE TIJD DOORGROEIMOGELIJKHEDEN OSPEL, , Houd je van ICT-vraagstukken en wil je graag online portalen voor de producten ontwikkelen? Je werkt hierbij nauw samen met de marketing- en salesafdeling. Communicatief ben je sterk en goed in staat om commerciële processen te vertalen naar digitale oplossingen. Ben je nieuwsgierig en sterk analytisch? Dan is deze vacature misschien wel wat voor jou!, , HET BEDRIJF, Het bedrijf is al 25 jaar leverancier van kwalitatief hoogwaardige meststoffen. Ze staan voor kwaliteit, en dat merken hun klanten ook. Ze verkopen hun producten namelijk

Bekijk vacature »

Front-end developer (React) voor klein en sterk te

Functieomschrijving Jij bent volledig zelfstandig verantwoordelijk voor de Front-end en dat brengt voordelen met zich mee. Je krijgt veel zelfstandigheid en je krijgt veel ruimte voor initiatieven waardoor je jouw geest de vrije loop kan laten als het gaat over creativitieit. Voor het project ligt een plan klaar maar die is nog niet van A-tot-Z uitgestippeld ofwel, jij mag zelf de kleuren bepalen van de kleurplaat. Hoe tof is het dat straks klanten gebruik maken van de software die jij hebt ontwikkeld! Op de Front-end werken ze hier me React, HTML, CSS, Redux en Webpack. Mocht jij interesse om een

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

26/02/2020 17:04:10
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.