mysql has gone away

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Java Developer / Java 8 / Angular / Docker / Autom

Functieomschrijving Wil jij als Java Developer aan de slag bij een internationaal bedrijf die cutting edge applicaties ontwikkeld voor de automotive branche? Ga je graag aan de slag met technieken als Java 8, Java EE7, Docker, Angular en wil je graag direct een lease auto krijgen? Lees dan snel verder! Ontwikkelen van cutting edge applicaties met o.a. Java 8, Java EE7, Angular en Docker; Verantwoordelijk vanaf het in kaart brengen van requirements tot de daadwerkelijke technische oplossing; Meedenken over architectuur; Assisteren van technische implementaties bij klanten; Overleggen met analisten, testers, architecten en consultants. Functie-eisen Minstens 2 jaar ervaring als Java

Bekijk vacature »

Solution Consultant (m/f/d) - Netherlands

Assima is a leading global technology and services company whose solutions specialise in increasing the adoption and performance of users using digital applications deployed by Global Fortune 500 businesses. To strengthen our Dutch team, we are looking for a highly efficient customer focused consultant who enjoys managing projects, building positive relationships with clients, solving problems and working in an international, innovative and fast-growing software company based in Amsterdam. You will contribute to delivering and maintaining high quality solutions within a highly skilled small team. Key Responsibilities: Assist the implementation & installation of Assima solutions at client sites Meet clients to

Bekijk vacature »

Senior Front-end Developer vacature

Jij weet wat er nodig is. Jouw hart gaat sneller kloppen van techniek. Jij wil vooruit. Ben jij de Front-end Developer die we zoeken? Je bent creatief, thuis in gebruikersinteractie en een gedreven engineer in hart en nieren. Daarnaast heb jij een klantgerichte en proactieve houding. Precies de kwaliteiten die een Front-end Developer nodig heeft. Wat doe je als Developer? Als Front-end Developer werk je aan de technische realisatie van front-end (web)applicaties in de verschillende uitdagende opdrachten voor Sogeti’s klanten. Dit kan zowel op klantlocatie zijn, als binnen het Center of Excellence van Sogeti. Jij houdt van het uitdenken en

Bekijk vacature »

.NET Developer Medicatie / Apotheek

Jij krijgt een kick van het ontwikkelen van complexe software. Voor onze vestiging in Hoogeveen zoeken wij een .NET Developer Medicatie / Apotheek die graag met de laatste Microsoft-tools en -technieken wilt werken, interessant? Jouw baan Je bent verantwoordelijk voor het ontwerpen, ontwikkelen, ondersteunen en onderhouden van de module Medicatie / Logistiek & Apotheek. Je gaat nauw samen werken met zowel interne als externe klant om nieuwe functionaliteiten te ontwikkelen om onze klanten te ondersteunen in hun werkproces. Het gaat om complexe ICT-producten die feilloos moeten functioneren binnen de complexe omgeving van een zorgorganisatie. ChipSoft maakt gebruik van een zelf

Bekijk vacature »

allround software ontwikkelaar

Allround software ontwikkelaar. We zoeken een medior of senior allround software man/vrouw die klaar is om aan de leuke projecten aan te pakken die al klaar liggen voor je. De projecten zullen variëren van klein tot groot en is dus veel afwisseling. Voor ons is er geen dag hetzelfde als die van gisteren. Gisteren bouwde je nog een complexe applicatie, vandaag integreren we tussen systemen, morgen ben je een applicatie aan het schrijven. Wat ga jij doen? Je bent verantwoordelijk voor het hele proces, van de architectuur tot de database en de gebruiksvriendelijkheid van de systemen. We hebben een kleine

Bekijk vacature »

Functioneel Beheerder Bedrijfsvoering

Ben jij de enthousiaste en professionele Functioneel Beheerder die gericht is op samenwerking en die vernieuwing omarmt? De KB zoekt voor de sector Bedrijfsvoering een functioneel beheerder met gedegen kennis van de ‘Functionele Beheer’-processen op het gebied van bedrijfsvoering. Beschik je nog niet helemaal over de kennis en ervaring die wij vragen? Wij helpen je om daarnaartoe te groeien. Wat ga je bij ons doen? Als Functioneel Beheerder Bedrijfsvoering zorg je er gezamenlijk met 2 collega’s voor dat onze bedrijfsvoeringsapplicaties optimaal werken. Je moet hierbij denken aan applicaties als Exact (financieel en HRM), Join (zaaksysteem en documentmanagement) en Planon (bedrijfsvoeringsprocessen

Bekijk vacature »

BI Consultant / Architect

Do you want to make a huge impact within the digital world by means of BI and big data architecture? Can you advise customers on how to achieve business value with an effective BI or big data solution? Then this job opening is what you are looking for! We need your expertise You are responsible for various (cloud) data solutions across our customer base. You act from tactical to strategic level – but can handle the operational level as well. Activities Participate in data use case workshops / proof of value sessions with customers Advise customers on business and future

Bekijk vacature »

OPERATIONAL TECHNOLOGY SECURITY CONSULTANT

OPERATIONAL TECHNOLOGY SECURITY CONSULTANT Amsterdam Security 13th month pay & Holiday allowance Bonus Program 26 holidays Training & Learning opportunities Laptop & Smartphone 32-40 hours p.w. Transform the world around you by unleashing your skills and crafting the next generation of technology. Put your expertise to work as part of the world’s largest independent technology services provider and lead the way as a trendsetter in your field. We’re ready if you are. Your job As an Operational Technology Security Consultant at Accenture you ensure the highest level of security, protection and control of our client’s sites. You create conceptual and

Bekijk vacature »

BI Developer

Kijken, kijken, niet kopen! Je kijkt automatisch om als je een verkoper op een lokale markt in Marrakesh dit hoort roepen naar twee passerende Nederlandse toeristen. Zal deze verkoper zich wel eens afvragen waarom de toerist zijn stalletje voorbij loopt? Dit is een vraag die een business analyst onlangs ook aan jou stelde. “Hoe kan het toch dat een klant wel iets in z’n winkelwagentje legt, maar vervolgens niets koopt?” Super trots ben je dan ook op de tool die jij hebt gemaakt waarmee Kruitbosch nu het gedrag van de klant kan meten. Kruitbosch heeft een mooi en vooruitstrevend IT-landschap

Bekijk vacature »

PHP developer gezocht voor brandveiligheid!

Functieomschrijving We zoeken een ervaren PHP ontwikkelaar die door wil groeien naar een rol als team-lead. De eigenaar is zelf geen techneut en we zoeken iemand die de collega ontwikkelaars mee kan nemen bij het nog beter maken van de huidige en toekomstige systemen. Je krijgt uiteraard veel inbreng in met welke technologie jullie in de toekomst verder gaan. Er is een bestaande applicatie en die kan helemaal opnieuw gemaakt worden en dan gericht op het verwerken van heel veel data. De brandveiligheidsystemen geven namelijk steeds informatie door en elke storing en melding moet opgemerkt worden. Het is een uitdagende

Bekijk vacature »

Technisch Consultant

Heb jij een passie voor IT? Is het vertalen van klantvragen naar werkende softwareoplossingen iets waar jij energie van krijgt? Misschien is de functie van Technisch Consultant jou dan wel op het lijf geschreven. Technisch Consultant Thinkwise is een wereldwijde speler met een unieke kijk op de wereld van techniek. De komende jaren hopen we samen met jouw kennis en kunde verder te groeien, zodat we nog meer klanten kunnen voorzien van software die hun business op een eenvoudige, inzichtelijke en duurzame manier ondersteunt. Wat doet een Technisch Consultant? Als Technisch Consultant breng je bedrijfsprocessen en requirements van onze klanten

Bekijk vacature »

Senior Front-end Developer vacature

Jij weet wat er nodig is. Jouw hart gaat sneller kloppen van techniek. Jij wil vooruit. Ben jij de Front-end Developer die we zoeken? Je bent creatief, thuis in gebruikersinteractie en een gedreven engineer in hart en nieren. Daarnaast heb jij een klantgerichte en proactieve houding. Precies de kwaliteiten die een Front-end Developer nodig heeft. Wat doe je als Developer? Als Front-end Developer werk je aan de technische realisatie van front-end (web)applicaties in de verschillende uitdagende opdrachten voor Sogeti’s klanten. Dit kan zowel op klantlocatie zijn, als binnen het Center of Excellence van Sogeti. Jij houdt van het uitdenken en

Bekijk vacature »

Data Engineer - (Spark/Kafka/Python/Azure) Big dat

Anchormen is one of the leading Dutch companies in Data Consultancy with solid partnerships. We shape the future by activating data,an engaging and inspiring environment where we value innovation, quality reliability and fun. As an employer, we encourage an entrepreneurial mindset and drive; we don’t believe in micro-management and share responsibility with our staff focusing in adding value to the business and clients. We have weekly knowledge sharing sessions, tech Talks and trainings in which the best practices during projects are shared among colleagues.Learning from the best and becoming better is what we aim for. You will be easily abletobenefit

Bekijk vacature »

C# Developer

De uitgebreide versie Jij hebt ruim twee jaar ervaring als developer. Nu wil je graag je tanden zetten in nog complexere projecten. Samen met je team bereik je nieuwe hoogtes en zelfstandig maak je meters. Je hebt behoefte aan collegae die jou alles leren op het gebied van technologie maar wilt tegelijkertijd ook graag je eigen opgedane kennis delen. Alles wat vandaag nog onbekend is, moet je morgen toepassen in de volgende uitdaging en dàt is wat jou scherp houdt. Je hebt geen zin in een 60-urige werkweek maar haalt wel plezier uit zo nu en dan een technische meeting,

Bekijk vacature »

Senior iOS Developer vacature

Je bent innovatief. Je bent creatief. Jij gaat voor een topbaan. Mobile apps ontwerpen, uitwerken en realiseren, dat is jouw passie! Met grote toewijding richt jij je dan ook op een app waarmee consumenten met een gezichtsscan betalen. Of je stort je je op een app die de temperatuur in huis op afstand kan regelen. Het spreekt voor zich dat jouw apps top of the bill zijn als het gaat om gebruiksvriendelijkheid en veiligheid. Ze hebben impact. Je voelt je als een vis in het water in een iOS-omgeving maar, veelzijdig als je bent, kun je ook met andere platforms

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 14:58:08
Quote Anchor link
Sinds ik al mijn mysql databases /lib/mysql heb verplaatst naar mijn externe bigstorage schijf op ee centos machine, krijg ik bij een cronjob wat datafeeds importeerd met LOAD DATA LOCAL INFILE de volgende foutmelding:

"mysql has gone away"

Ik heb in my.cnf de timeouts en inno_db_log verhoogt, maar dat lijkt het probleem niet te zijn.

Weet iemand wat dit probleem hier kan zijn?
 
PHP hulp

PHP hulp

23/02/2020 11:51:01
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 15:13:08
Quote Anchor link
Ik vermoed dat de waarde van 'max_allowed_packet' in my.cnf te klein is dan je in te laden CSV-file.
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 17:33:27
Quote Anchor link
In de server logs zie ik veel over InnoDB - roll back all transactions for connection.
starting crash recovery
InnoDB: To roll back : 1 transactions, 194949 rows
etc etc

Ok ik heb max_allowed_packet = 128M gedaan
kijken wat hij nu doet
 
- Ariën -
Beheerder

- Ariën -

06/05/2019 19:20:44
Quote Anchor link
En?
 
Daniel van Seggelen

Daniel van Seggelen

06/05/2019 19:29:17
Quote Anchor link
Nog steeds hetzelfde helaas. Net de cronjob weer geladen.

Transip gaat een migratie doen van Big Storage naar een andere Big Storage server te kunnen migreren om uit te sluiten dat de server de crash veroorzaakt.

Wel heel toevallig dat het net gebeurd, wanneer ik de database verplaatst heb naar big storage. Daarvoor werke alles perfect.

De error in de log begint zo met:
Quote:
PHP warning: Empty row packet body in /pad/naar/bestand/ line 340:

Dat verwijst naar een mysql query:

$o = mysqli_query($DBD->conn(),"select * from prijzen_temp pt, producten_temp prt where prt.ean = pt.ean AND prt.category != 0 ");

dan..

Quote:
PHP warning: Mysqli_query(): Mysql server has gone away in /pad/naar/bestand/ line 370:


Dan bij regel 370
$uplaatst = mysqli_query($DBD->conn(),"UPDATE datafeed SET last_cron = '".date('Y-m-d')."' WHERE id = '".$q['id']."' ");





Toevoeging op 06/05/2019 19:30:50:

TOEVOEGING:

elke keer als ik de cronjob weer laad, dan doet hij weer een aantal feeds en dat krijg ik weer hetzelfde.
Het is geen code fout iig. Het heeft altijd zonder deze fouten gewerkt.
 
Thomas van den Heuvel

Thomas van den Heuvel

06/05/2019 22:36:29
Quote Anchor link
> Het heeft altijd zonder deze fouten gewerkt.

Mja, maar de opstelling is veranderd, en je database wordt waarschijnlijk ook elke keer groter.

Heb je al gekeken of er brakke queries in zitten of dingen die veel geheugen kosten? Is het echt nodig om *alles* te selecteren (SELECT * FROM prijzen_temp)? Staan er ook indexen op relevante kolommen? Mogelijk kosten dingen teveel tijd. Loop je toevallig tegen andere limieten aan (auto increment index toevallig)?

En, heb je de foutmelding al in Ome Goegel gegooid? Het eerste resultaat geeft bijvoorbeeld al veel info.
Gewijzigd op 06/05/2019 22:37:40 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 11:40:17
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 12:58:39
Quote Anchor link
Ik heb de queries aangepast, nu ook de innodb_lock_wait_timeout aangepast, want dat is de volgende fout die eraan komt.

IK denk ergens toch dat de mysql database corrupt is.

Ik heb mysql gestopt met service mysqld stop en toen de migratie van alle databases gedaan naar de bigstorage externe schijf.

Kan het dan toch zo zijn dat hier iets niet goedgegaan is zonder foutmeldingen?
Als ik het geheel weer terugzet incl de config files aanpas naar de dafault locatie en het weer probeer, zal het dan zeker goed gaan?

Ik kreeg van transip het volgende bericht:

- er toch nog statische verwijzingen naar de directory van MariaDB zijn
- je voordat je de database hebt over gekopieerd de MySQL service hebt gestopt om corruptie te voorkomen
- de MySQL service dubbel actief is met het commando 'htop'
- er voldoende schijfruimte vrij is op de Big Storage met het commando 'df -h'
- de Big Storage partitie in Read Only modus is gemount
 
- SanThe -

- SanThe -

07/05/2019 15:24:45
Quote Anchor link
Daniel van Seggelen op 07/05/2019 12:58:39:

- de Big Storage partitie in Read Only modus is gemount


Read Only?
 
- Ariën -
Beheerder

- Ariën -

07/05/2019 15:29:28
Quote Anchor link
Eh, ja.... Dat kan bewust of onbewust met partities op Linux.
 
Daniel van Seggelen

Daniel van Seggelen

07/05/2019 16:36:01
Quote Anchor link
Hoe dan ook, het werkt niet, totaal niet, zelfde problemen. Mysql is helemaal van slag lijkt het wel. Ik zal alle database files maar weer terugzetten naar de dafault locatie, waar alles nog netjes werkte.
 
Thomas van den Heuvel

Thomas van den Heuvel

07/05/2019 16:57:34
Quote Anchor link
Ben je echt met fysieke mysql-bestanden gaan schuiven? Waarom geen dumps vanaf de oude locatie en imports op de nieuwe locatie, waarbij je tussendoor in de configuratie de data-directories aanpast?

EDIT: op die manier had je ook terug gekund naar een werkende situatie. Alles zomaar verplaatsen lijkt mij inderdaad een nogal linke actie, je hebt dan geen echte exit-strategie mocht het misgaan.
Gewijzigd op 07/05/2019 16:58:38 door Thomas van den Heuvel
 
Aad B

Aad B

07/05/2019 21:14:52
Quote Anchor link
Met fysieke mysql-bestanden schuiven op het moment dat de mysql service gestopt is moet kunnen. Ik heb ook al eens zo'n actie uitgevoerd en dat werkt. Google op Move MySQL database en je vindt deze oplossing meerdere keren terug. Ben wel met Thomas eens dat backup dumps en imports op nieuwe locatie veiliger is.
Wat is hier fout gegaan? Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?
Wie is owner/group van die data files en filestructuur? CHMOD -R 777 is knoeiwerk. Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?? Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???
Is MySQL deamon opgestart met een totaal andere conf? Kortom er is nogal wat mis en het beste is inderdaad om helemaal terug te gaan naar de oude situatie en een werkende migratie te ontwerpen.
Gewijzigd op 07/05/2019 21:46:02 door Aad B
 
Daniel van Seggelen

Daniel van Seggelen

08/05/2019 03:49:41
Quote Anchor link
Quote:
Hoe is de nieuwe big storage fysiek in het systeem geplaatst? USB of IP of anders?


dit lees ik erover:

Because Big Storage uses (Enterprise grade) HDD-disks and not the SSD's that the regular storage uses, the write- and read-speeds of this disk will be somewhat lower.

Quote:
Is er misschien een my.cnf of my.ini aangepast die niet hoort bij de actuele MySQL service?


Nee, alleen de /etc/my.cnf is aangepast.

Quote:
Verder het 127.0.0.1 of localhost probleem kan bijna niet gerelateerd zijn aan MySQL tenzij hiervoor ook iets aangepast is in de conf, namelijk het adres waarop MySQL deamon "luistert". Wat staat er in de conf bij: bind-address???

bind is defauld aar 127.0.0.1 zie mijn my.cnf hieronder. Het heeft er wel zeker mee te maken gehad, angezien, het daarvoor goed werkte met localhost.

Mijn my.cnf hieronder hoe het nu is.


Quote:

[client]
local-infile=1
#loose-local-infile = 1 // added this
socket=/mnt/bigstorage/mysql/mysql.sock


[mysqld]
#mysql.allow_local_infile=On
#local-infile=1
max_allowed_packet = 128M
innodb_lock_wait_timeout = 100
wait_timeout=600
interactive_timeout = 600
innodb_log_file_size= 128M
bind-address = 127.0.0.1
datadir=/mnt/bigstorage/mysql
socket=/mnt/bigstorage/mysql/mysql.sock
#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d

loose-local-infile = 1


Ik heb een secondary my.cnf voor diretadmin hier:

/usr/local/directadmin/conf/my.cnf

dat is gewoon een extentie, en staat alleen een gebruikersnaam/wachtwoord en geen overige informatie.



Ik ga nu helemaal weer terug

Toevoeging op 08/05/2019 04:47:23:

En een update,

alles if weer terug gezet, incl de config naar:

#datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock


phpmyadmin werkt weer, localhost en dus het had er hoe dan ook ZEKER welmee te maken.
de cronjob gaat nu weer niet door tot het einde en mysql verdwijnt. Ik denk omdat er niet genoeg ruimte is op de schijf.

Alleen nu is de schijf 99% vol, dus ik probeer deze maar uit te breiden. een externe schijf raad ik dus niet aan uit deze ervaring.



Toevoeging op 08/05/2019 05:15:13:

update log:

Quote:
May 08 05:12:16 ivomedia.nl mysqld[15462]: pthread_create.c:0(start_thread)[0x7f98db43ddd5]
May 08 05:12:16 ivomedia.nl mysqld[15462]: /lib64/libc.so.6(clone+0x6d)[0x7f98d95abead]
May 08 05:12:16 ivomedia.nl mysqld[15462]: The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
May 08 05:12:16 ivomedia.nl mysqld[15462]: information that should help you find out what is causing the crash.
May 08 05:12:16 ivomedia.nl abrt-hook-ccpp[15580]: Process 15462 (mysqld) of user 993 killed by SIGABRT - dumping core
May 08 05:12:18 ivomedia.nl abrt-hook-ccpp[15580]: Failed to create core_backtrace: waitpid failed: No child processes
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service: main process exited, code=killed, status=6/ABRT
May 08 05:12:18 ivomedia.nl systemd[1]: Unit mariadb.service entered failed state.
May 08 05:12:18 ivomedia.nl systemd[1]: mariadb.service failed.
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Package 'MariaDB-server' isn't signed with proper key
May 08 05:12:18 ivomedia.nl abrt-server[15668]: 'post-create' on '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462' exited with 1
May 08 05:12:18 ivomedia.nl abrt-server[15668]: Deleting problem directory '/var/spool/abrt/ccpp-2019-05-08-05:12:16-15462'
May 08 05:12:23 ivomedia.nl systemd[1]: mariadb.service holdoff time over, scheduling restart.
May 08 05:12:23 ivomedia.nl systemd[1]: Stopped MariaDB database server.
-- Subject: Unit mariadb.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit mariadb.service has finished shutting down.
May 08 05:12:23 ivomedia.nl systemd[1]: Starting MariaDB database server...
-- Subject: Unit mariadb.service has begun start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
Gewijzigd op 08/05/2019 04:49:59 door Daniel van Seggelen
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.