Mysql Database downtimes

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Android (mobile) Developer met JAVA in de regio Al

Bedrijfsomschrijving Mobile Development en Ops Engineering gaan hand in hand bij deze organisatie dat een hoog verantwoordelijkheidsgevoel draagt. Als organisatie ontwikkelt zij dan ook veelal mobiele applicaties ter inspiratie en ondersteuning van belangrijke sectoren in Nederland. Met het technische team van gepassioneerde developers en engineers voeren ze dagelijks veelal diverse, inspirerende en complexe werkzaamheden uit. Door gebruik van innovatieve software en de nieuwste platformen binnen de sector is deze klant dan ook zeker als vooruitstrevend te betitelen waar zijn enorm veel waarde aan hecht. De organisatie is momenteel zeer succesvol en zet mooie stappen richting de toekomst en daarom kunnen

Bekijk vacature »

Java-ontwikkelaar

Java-ontwikkelaar De Douane ondersteunen met nieuwe applicaties en goed werkende bestaande applicaties; daar draag jij als Java-ontwikkelaar aan bij. Binnen de keten Toezicht, Goederen en Risico in Apeldoorn help je de zo Douane om de risico’s af te dekken die er zijn als goederen de grens over gaan. Dit doe je bij de Belastingdienst Volgens de SAFe-methode ontwikkel je nieuwe applicaties en onderhoud je bestaande applicaties, waarbij jouw multidisciplinaire team zelf verantwoordelijk is voor het resultaat. Je werkt agile samen met ontwikkelaars, een scrummaster en de productowner. In overleg met de productowner en de businessowner wordt tijdens het PI-event bepaald

Bekijk vacature »

Software Ontwikkelaar Zorg

Wie wordt jouw werkgever?: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Wij ontwikkelen medische apps. Ben jij een ambitieuze Software Developer? Heb je kennis van PHP en Laravel? Vaste baan: Software Ontwikkelaar Zorg Laravel 2.400 - 3.700 Software Engineer Deze werkgever is een mobiele app ontwikkelaar die uitsluitend applicaties ontwikkelt in de zorgsector. Zij bieden jouw verschillende doorgroeimogelijkheden. Daarnaast werken we op een mooie werkplek met een leuke werksfeer. Bij bij hun werk je aan onze eigen bedrijfsapplicaties. Je ontwikkelt met ons de meest nieuwe software. Wij blinken uit

Bekijk vacature »

Medior Senior .NET Developer Software

Over de werkgever: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Wij faciliteren data gedreven innovatie in het onderwijs. Ben jij een enthousiaste .NET / fullstack developer? Heb je ervaring met .NET? Vaste baan: Medior Senior .NET Developer Software HBO WO 3.200 - 4.800 .NET Developer We helpen organisaties om technologie in te zetten om sneller en succesvoller data gedreven producten en diensten te ontwikkelen, aan te bieden en te implementeren. Deze werkgever is een veelzijdige organisatie. Je werkt voor de eigen IT organisatie. Zij werken met moderne technologie en

Bekijk vacature »

Mendix Ontwikkelaar Bedrijfsapplicaties

Bij welk bedrijf je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Wij ontwikkelen bedrijfsapplicaties. Ben jij een ervaren mendix ontwikkelaar? Ben jij gecertificeerd als Advanced Developer? Vaste baan: Mendix Ontwikkelaar Bedrijfsapplicaties HTML CSS 4.000 - 5.000 Mendix Ontwikkelaar Wij ontwikkelen innovatieve softwareoplossingen voor deze klanten. Dat zijn klanten in het MKB+ of software-ondernemers. Ons low-code team groeit in medewerkers en in het aantal nieuwe projecten. Bij bij hun werk je aan onze eigen bedrijfsapplicaties. Je ontwikkelt met ons de meest nieuwe software. Wij blinken uit als het

Bekijk vacature »

Front-End Software Developer

You are a talented Front-End Software Developer who is motivated to combine the art of design with the art of programming. Bedrijfsomschrijving We believe in a bolder future. An open world where people, businesses and capital can move freely to form a truly global marketplace. A world wherein each business idea and personal belief can reach its full potential whilst at the same time respecting local customs, traditions and laws. We support ideas, ambitions, growth and acceleration, because we truly believe the potential of globalisation for businesses and professionals is unlimited. As a corporate & fund service provider, we guide

Bekijk vacature »

Java Software Ontwikkelaar

Over het bedrijf: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Zij bieden producten en diensten aan op het gebied van web intelligence. Ben jij een ervaren software developer? Heb je ervaring met Java? Vaste baan: Java Software Ontwikkelaar Big Data 3.200 - 4.800 Software Developer Deze werkgever is een snelgroeiend softwarebureau, dat actief is op het vlak van web intelligence. Wij ontwikkelen vernieuwende technische oplossingen voor de websites en -shops van onze klanten. Bij bij hun werk je aan onze eigen bedrijfsapplicaties. Je ontwikkelt met ons de meest nieuwe

Bekijk vacature »

.NET Developer ICT

Voor wie je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Deze werkgever is een full service digital agency bedrijf. Ben jij een .NET Developer? Heb je ervaring met Embrace of Episerver? Vaste baan: .NET Developer ICT Agile Scrum 3.000 - 4.800 .NET Developer Deze werkgever is de Drupal specialist in Nederland. Deze werkgever heeft meerdere vestigingen door Nederland en België heen. Deze werkgever is een veelzijdige organisatie. Je werkt voor de eigen IT organisatie. Zij werken met moderne technologie en staan open voor innovatie. Wat wordt er

Bekijk vacature »

Sr Frontend Developer Javascript React

Bij welk bedrijf je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Wij helpen bedrijven digitaal vooruit. Van online platforms tot digitale transformaties. Ben jij geschikt als Senior Frontend Developer? Heb je ervaring met Javascript? Vaste baan: Sr Frontend Developer Javascript HBO 3.000 - 4.500 Senior Frontend Developer Deze werkgever levert online marketing- en communicatieoplossingen en maatwerksoftware. Wij houden van een informele werksfeer met uitstekende teamspirit. Het verschil binnen de branche willen wij maken met winnende, innovatieve technologie en door een zeer betrokken, betrouwbare en klantgerichte ICT-partner te

Bekijk vacature »

Java Software Ontwikkelaar Linux

Over de werkgever: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Deze werkgever is een cybertechbedrijf voor overheden, inlichtingendiensten en telecomoperatoren. Ben jij een software engineer? Heb je ervaring met Java? Vaste baan: Java Software Ontwikkelaar Linux HBO 3.300 - 4.500 Software Engineer Deze werkgever is leverancier van IT-security oplossingen. Onze aanpak en oplossingen helpen overheden, veiligheidsdiensten, Telecom en Internet Service Providers om landelijke communicatie en beveiligingheidskwesties op te lossen. Zij werken sterk internationaal. Zij werken voor grote klanten. Zij doen omvangrijke projecten die we bij ons op kantoor realiseren

Bekijk vacature »

JavaScript Frontend Developer HTML

Bij welk bedrijf je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Wij bouwen digitale platformen. Wil jij werken als Frontend Developer? Heb jij ervaring met HTML? Vaste baan: JavaScript Frontend Developer HTML CSS 3.000 - 4.200 Frontend Developer Samen met de klant ontwikkelen wij de mooiste websites, die makkelijk vindbaar zijn. Zij werken voor MKB bedrijven en het grootbedrijf. Zij doen omvangrijke projecten die we bij deze werkgever op kantoor realiseren (geen detachering). Zij werken met state-of-the-art technologie en lopen daarin voorop. Wil jij de diepte in

Bekijk vacature »

Software Ontwikkelaar .NET

Over de werkgever: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Zij bieden innovatieve oplossingen die bedrijven efficiënter en wendbaarder maken. Ben jij een enthousiaste software developer? Heb je ervaring met C#, C++, Java, Javascript of Python? Vaste baan: Software Ontwikkelaar .NET HBO 3.000 - 4.500 Software Developer Zij bieden innovatieve oplossingen die bedrijven efficiënter en wendbaarder maken, waardoor onze klanten zich net zo snel kunnen ontwikkelen als de business van hen vraagt. Bij bij hun werk je aan onze eigen bedrijfsapplicaties. Je ontwikkelt met ons de meest nieuwe software.

Bekijk vacature »

WO Business Developer Robotica

Bij welk bedrijf je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Deze werkgever is gespecialiseerd in robots. Wil jij werken als Business Developer? Heb jij ervaring met Robot? Vaste baan: WO Business Developer Robotica Hightech 3.800 - 5.500 Business Developer Deze werkgever is een pionier in de wereld van mobiele robotica. Deze werkgever is een veelzijdige organisatie. Je werkt voor de eigen IT organisatie. Zij werken met moderne technologie en staan open voor innovatie. Welke taken horen bij een WO Business Developer Robotica: Voor de vacature als

Bekijk vacature »

C# .NET Software Ontwikkelaar Full Stack

Voor wie je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Deze werkgever is wereldwijd partner voor producten en diensten op het gebied van reiniging en opruimen. Ben je eerder werkzaam geweest als software engineer? Heb je ervaring met full stack software engineering? Vaste baan: C# .NET Software Ontwikkelaar Full Stack JavaScript 3.600 - 5.300 Software Engineer Wij ontwikkelen en produceren slimme machines voor de gladheidbestrijding. Hiermee hebben wij een leidende positie op de Europese markt. Het gaat om materieel op het gebied van sneeuwruimen, gladheidbestrijding, straatreiniging en

Bekijk vacature »

Senior Software Ontwikkelaar Java of .Net

Voor wie je gaat werken: WR zoekt voor een vaste medewerker voor de volgende werkgever, je treedt gelijk in dienst bij deze werkgever: Wij geven advies over de vernieuwingen in de online wereld. Wil jij ICT oplossingen analyseren, beschrijven en beheren? Heb je ruime ervaring als .Net / Java developer? Vaste baan: Senior Software Ontwikkelaar Java of .Net HBO WO 4.300 - 5.500 Senior Software Engineer Deze werkgever is een fullservice online bedrijf dat grote klanten adviseert over de vernieuwingen in de online wereld en dat advies ook direct kan realiseren. Onze creatie-afdeling is volledig geïntegreerd met sales en consultancy

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

08/02/2021 08:53:21
Quote Anchor link
`Hallo,

Ik heb een dedicated server

64GB RAM

Nu heb ik een grote database met 70GB aan indexen.

Als ik de waarde van innodb_buffer_pool_size in /etc/my.cnf wil berekenen gebruiki ik:
Quote:
SELECT CEILING(Total_InnoDB_Bytes*1.6/POWER(1024,3)) RIBPS FROM (SELECT SUM(data_length+index_length) Total_InnoDB_Bytes FROM information_schema.tables WHERE engine='InnoDB') A;


Komt uit op 104

Dus dit is min my.cnf


Quote:
[mysqld]
performance_schema = ON
local-infile=1
skip-name-resolve

#join_buffer_size=2M
read_buffer_size=2M
tmp_table_size=1G
max_heap_table_size=1G
#sort_buffer_size = 2M
read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

innodb_buffer_pool_size=104G
innodb_log_file_size=512M
innodb_buffer_pool_instances=4
innodb_flush_log_at_trx_commit = 2
innodb_flush_method= O_DIRECT
max_allowed_packet=100M
open_files_limit=40000
default-storage-engine=InnoDB
innodb_file_per_table=1
#innodb-thread-concurrency=8
#innodb_lock_wait_timeout = 100
max_connections=200
query_cache_type=1
query_cache_size=50M
query_cache_limit=1G
# thread_concurrency= 32
thread_cache_size= 8
key_buffer_size=156M
#Slow Query Log
slow_query_log = ON
slow-query_log_file = /var/log/mysql-slow.log
long_query_time = 2
table_open_cache=3000
[mysqldump]
max_allowed_packet=4G


Ik krijg downtimes wanneer de cronjob word uitgevoerd die datafeeds van affiliate sites binnenhaalt.

Weet iemand wat er mis is met deze configuratie?
 
PHP hulp

PHP hulp

01/07/2022 18:08:44
 
- Ariën  -
Beheerder

- Ariën -

08/02/2021 09:03:08
Quote Anchor link
Wat meldt de log?
Staat die niet aan, omdat ik hem niet tegenkom in je configuratie?

/var/log/mysql/mysql.log
 
Thom nvt

Thom nvt

08/02/2021 09:07:11
Quote Anchor link
Ik zou eens beginnen met een realistische hoeveelheid geheugen toewijzen, grote kans dat de out-of-memory (OOM) killer van het besturingssysteem de boel afschiet. (dat zou zichtbaar moeten zijn in je syslog of kernel log)
Innodb poolsize moet maximaal 80% van het beschikbare geheugen zijn (swapspace niet meegeteld):
Quote:
On a dedicated database server, you might set the buffer pool size to 80% of the machine's physical memory size. Be aware of the following potential issues when configuring buffer pool size, and be prepared to scale back the size of the buffer pool if necessary.

https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html#sysvar_innodb_buffer_pool_size
 
Daniel van Seggelen

Daniel van Seggelen

08/02/2021 11:04:05
Quote Anchor link
Er staat idd niks in deze log. waaraan zie je dat hij niet aan staat?

Quote:
slow_query_log = ON
slow-query_log_file = /var/log/mysql-slow.log


Ik lees dus uit andere bronnen dat deze size 1.6 x hde totale indexwaarde moet zijn.
En elders idd 80% van het RAM.

Ik denk idd dat ik het laatste zal instellen en weer eens proberen.

Maar waarom zie ik niks in de logs?
 
- Ariën  -
Beheerder

- Ariën -

08/02/2021 11:14:37
Quote Anchor link
Slow log is wat anders dan de normale log.
 
Thom nvt

Thom nvt

08/02/2021 11:15:08
Quote Anchor link
Het slow_query_log gaat alleen over langzame queries, niet over de logging van de database engine (dat is meestal /var/log/mysql/mysql.log, zoals Ariën aangaf).
Ik denk dat in je /var/log/syslog (of /var/log/messages of journalctl -xe, afhankelijk van je distro en versie) of in /var/log/dmesg wel e.e.a. staat over het crashen/killen van de database engine.

Als het over het tweaken van dit soort parameters gaat moet je altijd eerst de x% (in dit geval 80%) van RAM aanhouden, dan pas de andere min/max waarden.
RAM is, ander dan CPU, een uitputbare resource. Er is niet meer te krijgen dan dat er is. Ga je meer claimen dan grijpt het OS in uit zelfbescherming en killt het proces wat zich misdraagt.
(n.b.: CPU kan natuurlijk ook "op" raken alleen gedraagt en manifesteert zich dat heel anders dan met RAM)
 
Daniel van Seggelen

Daniel van Seggelen

08/02/2021 11:32:02
Quote Anchor link
ahh,

Dus dit erbij zal de normale log moeten werken.

general_log_file = /var/log/mysql/mysql.log
general_log = 1
 
Thom nvt

Thom nvt

08/02/2021 11:34:47
Quote Anchor link
Dat zou inderdaad het normale log moeten inschakelen en wegschrijven naar /var/log/mysql/mysqld.log.
Zorg er wel voor dat de folder /var/log/mysql bestaat en dat daar de juiste group/owner en permissions op staan ingesteld (te vinden in de MySQL documentatie)
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.