Mysql Database downtimes

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

Traineeship Technisch Applicatiebeheerder

Traineeship Technisch Applicatiebeheerder Position Description: Beschik jij op 1 maart 2022 over een afgeronde Bachelor- of Master- of MBO level 4 opleiding en ben jij op zoek naar een baan om je IT-carrière een vliegende start te geven? Wil jij graag voor een grote organisatie werken die familiair aanvoelt? Dan is ons Traineeship Technisch Applicatiebeheerder iets voor jou. Wij hebben nog een paar plaatsen beschikbaar. Lees snel verder! Wat ga je doen? In het Traineeship Technisch Applicatiebeheerder word jij gedurende een periode van drie maanden klaargestoomd om mee te kunnen draaien op projecten voor onze klanten. Het begin van het

Bekijk vacature »

DevOps Engineer

Keesing Technologies offers cutting-edge identity verification that allows you to establish an individual’s identity from anywhere in the world and protect your business from fraud. Our unique technologies are built on our long-standing expertise, extensive ID knowledge and the world’s most comprehensive ID document database. In short, we offer identity verification you can trust. To support our ambitious global growth, we are looking for a Senior DevOps Engineer Job Description As DevOps at Keesing Technologies you will be joining an ambitious international team in Amsterdam whose objective it is - with your support - to meet and exceed its growth

Bekijk vacature »

Lead Mendix Developer

Heb jij passie voor software ontwikkeling en vind je het leuk om eindgebruikers snel te helpen door het realiseren van web en mobiele applicaties? Vind jij het leuk om junior ontwikkelaars te begeleiden en te enthousiasmeren door het delen van je kennis? Heb jij de ambitie om door te ontwikkelen naar een Full Stack ontwikkelaar? Dan is dit jouw topbaan! Met meer dan 100 bedrijven in verschillende product-marktcombinaties is geen dag hetzelfde bij VDL. Als Lead Low Code Developer ontwikkel je met Mendix nieuwe functionaliteiten voor bestaande applicaties. Applicaties waar eindgebruikers graag mee werken. Daarnaast zijn er tal van nieuwe

Bekijk vacature »

Java ontwikkelaars gezocht met interesse in Securi

Bedrijfsomschrijving Onze klant is actief binnen het security domein en bedient klanten in de gehele BeNeLux. Er werken ongeveer 10 technische mensen verschillend van consultants tot interne ontwikkelaars. Je collega's zijn stuk voor stuk gedreven technici met passie voor het gehele security vlak. Je werkt binnen projecten samen met collega's op kantoor en zal ook in nauw contact staan met de consultants. De sfeer is hier uitstekend, ze groeien hard en zijn ook internationaal hard aan de weg aan het timmeren. Je zal dit als ontwikkelaar ook zeker gaan merken, er is veel mogelijk om je zowel op persoonlijk als

Bekijk vacature »

Servicedesk medewerker

Wil jij impact hebben op onze snelgroeiende business in meer dan 12 landen als Servicedesk medewerker? En werken voor een bedrijf dat bijdraagt aan het duurzaam gebruik van onze schaarse waterbronnen? Het ondersteunen van onze mensen met IT gerelateerde vragen, zodat ze iedere dag kunnen excelleren in hun werk? Zo ja, dan zoeken we jou! Servicedesk medewerker Jij zorgt er als Servicedesk medewerker voor dat de tickets, welke door onze snelgroeiende organisatie worden ingeschoten, worden opgelost. Kun je ze zelf niet oplossen, dan zorg je ervoor dat de tickets worden opgevolgd en opgelost door de verschillende technische teams. Dit kan

Bekijk vacature »

Java Algorithms Developer

In the Applications Algorithms group we are responsible for the development and implementation of the common algorithms that are then used by other teams to develop applications to optimize the production process of our customers. We are a group of experts on mathematics, algorithms, numerical methods and software engineering. Functie Job Mission Collaborate with our experts developing or improving algorithms / mathematical models and contribute to the development from a software point of view; Create a solid software design for algorithms or parts of it, where speed and memory usage should be optimized; Write quality code that is easy to

Bekijk vacature »

Java Ontwikkelaar

Wie zijn wij? Als ervaren leverancier van oplossingen voor industriële technologie wil ICT Netherlands de wereld elke dag een stap slimmer maken. Onze toegewijde technische professionals voorzien klanten van diensten op het gebied van consultancy, softwareontwikkeling, projectmatige oplossingen en managed services. In het kort Als ervaren Java ontwikkelaar binnen onze business unit Machine & Systems werk je aan complexe projecten voor de machine- en apparatenbouw, die vaak een flinke bedrijf kritische impact hebben. Je doorgrondt dan ook feilloos de consequenties van beslissingen voor de architectuur. En je bent verantwoordelijk voor de vertaling van de architectuur naar een technisch ontwerp. In

Bekijk vacature »

Applicatiebeheerder Data platform (Stibo Step)

Wil jij als Applicatiebeheerder, binnen een DevOps team, werken aan & met misschien wel het belangrijkste software pakket binnen onze organisatie? Lees dan snel verder. Wat ga je doen? Als Applicatiebeheerder houd jij je bezig met de datamanagement van de gehele organisatie. Het MDM systeem is samengebracht in het toonaangevende software pakket van Stibo Systems, STEP. MDM staat voor Master Data Management, wat betekent dat het MDM systeem dé plek is waar alle masterdata van de gehele organisatie verzameld wordt. De rest van de systemen die onze organisatie draaiende houden halen deze data op vanuit het MDM systeem, bijvoorbeeld voor

Bekijk vacature »

Business Analyst

Business Analyst Utrecht Toe aan een internationale uitdaging in een nieuw IT team met veel ontwikkelingsmogelijkheden? Kom werken als Business Analyst bij Brink’s Nederland! Jouw verantwoordelijkheden Je komt te werken in het enthousiaste team van Software Development (6-8 collega’s) welke onderdeel uitmaakt van ons Brink’s Acceleration Centre. Het Brink’s Acceleration Centre is recent opgericht en is nog steeds groeiende. Vanuit je team ga je werken aan het centraliseren van grote hoeveelheden informatie. Dit vereist samenwerking met (lokale) IT- en bedrijfsteams van Brink’s, samenwerking met collega’s in andere Europese landen of de US is daarbij vaak nodig. Je gaat nauw samenwerken

Bekijk vacature »

Agile Test Engineer - Digitale Overheid

Agile Test Engineer - Digitale Overheid Functiebeschrijving: Heb jij ervaring met testautomatisering en testen van kritische applicaties? Wil je graag het verschil maken voor onze projecten binnen de sector overheid en daarmee direct maatschappelijke impact maken ? Wat ga je doen? Als ervaren Test Engineer ben je verantwoordelijk voor het opzetten en onderhouden van een Test Automation Framework en de integratie ervan in het Development- en Deliveryproces. Jij bent testtooling specialist in SoapUI, Postman, Selenium, FitNesse en/of Robot Framework. Jij deinst niet terug van coding in een IDE, SQL Query’s richting de database en het gebruik van state-of-the-art test tools.

Bekijk vacature »

Medior .NET Developer Werken tussen de beste devel

Bedrijfsomschrijving Deze organisatie, opgericht in 2015, richt zich op het bouwen van oplossingen op het gebied van software development voor haar klanten, onderscheidt zich van haar concurrenten door haar ontzettend heldere en persoonlijke werkwijze. De sfeer binnen het bedrijf is informeel en medewerkers staan centraal. Er wordt hier niet van je verwacht dat je elke dag in pak bij de eindklant zit, maar er wordt van je verwacht dat jij samen met de eindklant werkt naar een oplossing, op de manier die volgens jou het beste is. Verder staat deze partij voor heldere communicatie met haar klanten, korte lijnen, snel

Bekijk vacature »

Algorithms Developer (Java)

We are looking for a new colleague who brings solid mathematical and industrial (Java based) software engineering expertise with a strong drive to deliver results and a fundamental interest in continuously building a stronger and better performing team by challenging and coaching. Could this be your next job? Functie In the Applications Algorithms group we are responsible for the development and implementation of the common algorithms that are then used by other teams to develop applications to optimize the production process of our customers. We are a group of experts on mathematics, algorithms, numerical methods and software engineering. Collaborate with

Bekijk vacature »

IT-traineeship Low Code Developer

Vind jij het leuk om veel contact te hebben met een klant en je te verdiepen in een domein? Lijkt het je interessant om enerzijds met de klant mee te denken, maar tegelijkertijd ook zelf een bijdrage te leveren aan de implementatie van een IT oplossing? Wij zijn op zoek naar starters die aan de slag willen als low-code engineer. In deze functie bouw je aan applicaties met behulp van een low-code platform, zoals Outsystems, Blueriq, Mendix of Pega. Dergelijke platformen stellen je in staat om snel een werkende applicatie te ontwikkelen en zijn hierdoor heel geschikt voor maatwerk projecten.

Bekijk vacature »

Oracle APEX Developer centraal in het land

Bedrijfsomschrijving Mijn opdrachtgever kan per direct versterking gebruiken van een Medior en/of Senior Oracle Apex specialist. Deze organisatie is in een rap tempo uitgegroeid tot een professionele organisatie met informeel karakter waardoor jij je als werknemer ook echt gewaardeerd voelt. Deze organisatie is het type bedrijf waar je als ondernemende developer graag voor wil werken omdat je zo veel kanten op kunt gaan. Het team van ongeveer 15 specialisten werken samen aan projecten middels de nieuwste Oracle technieken. Functieomschrijving Als Oracle/Apex developer werk je hier voor opdrachten in verschillende sectoren. In feite zorg jij voor de implementatie van de Oracle

Bekijk vacature »

Technisch Applicatiebeheerder – Publieke Org

Technisch Applicatiebeheerder – Publieke Organisatie Functiebeschrijving: Ben jij een bevlogen specialist die applicaties tot in het diepste weet te doorgronden en die snel en adequaat reageert bij verstoringen? Wat ga je doen? Als Technisch Applicatiebeheerder zorg je voor het continue beschikbaar zijn van applicaties. Je houdt je bezig met het inrichten, monitoren, analyseren en verbeteren van de technische infrastructuur en de procedures rondom de beheerde applicaties. Je test de werking van de aangeboden wijzigingen en lost problemen en verstoringen op. Daarnaast analyseer je de risico’s en impact van nieuwe applicaties of wijzigingen. Je zorgt daarbij altijd dat de systeemdocumentatie op

Bekijk vacature »
Daniel van Seggelen

Daniel van Seggelen

08/02/2021 08:53:21
Quote Anchor link
`Hallo,

Ik heb een dedicated server

64GB RAM

Nu heb ik een grote database met 70GB aan indexen.

Als ik de waarde van innodb_buffer_pool_size in /etc/my.cnf wil berekenen gebruiki ik:
Quote:
SELECT CEILING(Total_InnoDB_Bytes*1.6/POWER(1024,3)) RIBPS FROM (SELECT SUM(data_length+index_length) Total_InnoDB_Bytes FROM information_schema.tables WHERE engine='InnoDB') A;


Komt uit op 104

Dus dit is min my.cnf


Quote:
[mysqld]
performance_schema = ON
local-infile=1
skip-name-resolve

#join_buffer_size=2M
read_buffer_size=2M
tmp_table_size=1G
max_heap_table_size=1G
#sort_buffer_size = 2M
read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

innodb_buffer_pool_size=104G
innodb_log_file_size=512M
innodb_buffer_pool_instances=4
innodb_flush_log_at_trx_commit = 2
innodb_flush_method= O_DIRECT
max_allowed_packet=100M
open_files_limit=40000
default-storage-engine=InnoDB
innodb_file_per_table=1
#innodb-thread-concurrency=8
#innodb_lock_wait_timeout = 100
max_connections=200
query_cache_type=1
query_cache_size=50M
query_cache_limit=1G
# thread_concurrency= 32
thread_cache_size= 8
key_buffer_size=156M
#Slow Query Log
slow_query_log = ON
slow-query_log_file = /var/log/mysql-slow.log
long_query_time = 2
table_open_cache=3000
[mysqldump]
max_allowed_packet=4G


Ik krijg downtimes wanneer de cronjob word uitgevoerd die datafeeds van affiliate sites binnenhaalt.

Weet iemand wat er mis is met deze configuratie?
 
PHP hulp

PHP hulp

29/01/2022 01:44:49
 
- Ariën -
Beheerder

- Ariën -

08/02/2021 09:03:08
Quote Anchor link
Wat meldt de log?
Staat die niet aan, omdat ik hem niet tegenkom in je configuratie?

/var/log/mysql/mysql.log
 
Thom nvt

Thom nvt

08/02/2021 09:07:11
Quote Anchor link
Ik zou eens beginnen met een realistische hoeveelheid geheugen toewijzen, grote kans dat de out-of-memory (OOM) killer van het besturingssysteem de boel afschiet. (dat zou zichtbaar moeten zijn in je syslog of kernel log)
Innodb poolsize moet maximaal 80% van het beschikbare geheugen zijn (swapspace niet meegeteld):
Quote:
On a dedicated database server, you might set the buffer pool size to 80% of the machine's physical memory size. Be aware of the following potential issues when configuring buffer pool size, and be prepared to scale back the size of the buffer pool if necessary.

https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html#sysvar_innodb_buffer_pool_size
 
Daniel van Seggelen

Daniel van Seggelen

08/02/2021 11:04:05
Quote Anchor link
Er staat idd niks in deze log. waaraan zie je dat hij niet aan staat?

Quote:
slow_query_log = ON
slow-query_log_file = /var/log/mysql-slow.log


Ik lees dus uit andere bronnen dat deze size 1.6 x hde totale indexwaarde moet zijn.
En elders idd 80% van het RAM.

Ik denk idd dat ik het laatste zal instellen en weer eens proberen.

Maar waarom zie ik niks in de logs?
 
- Ariën -
Beheerder

- Ariën -

08/02/2021 11:14:37
Quote Anchor link
Slow log is wat anders dan de normale log.
 
Thom nvt

Thom nvt

08/02/2021 11:15:08
Quote Anchor link
Het slow_query_log gaat alleen over langzame queries, niet over de logging van de database engine (dat is meestal /var/log/mysql/mysql.log, zoals Ariën aangaf).
Ik denk dat in je /var/log/syslog (of /var/log/messages of journalctl -xe, afhankelijk van je distro en versie) of in /var/log/dmesg wel e.e.a. staat over het crashen/killen van de database engine.

Als het over het tweaken van dit soort parameters gaat moet je altijd eerst de x% (in dit geval 80%) van RAM aanhouden, dan pas de andere min/max waarden.
RAM is, ander dan CPU, een uitputbare resource. Er is niet meer te krijgen dan dat er is. Ga je meer claimen dan grijpt het OS in uit zelfbescherming en killt het proces wat zich misdraagt.
(n.b.: CPU kan natuurlijk ook "op" raken alleen gedraagt en manifesteert zich dat heel anders dan met RAM)
 
Daniel van Seggelen

Daniel van Seggelen

08/02/2021 11:32:02
Quote Anchor link
ahh,

Dus dit erbij zal de normale log moeten werken.

general_log_file = /var/log/mysql/mysql.log
general_log = 1
 
Thom nvt

Thom nvt

08/02/2021 11:34:47
Quote Anchor link
Dat zou inderdaad het normale log moeten inschakelen en wegschrijven naar /var/log/mysql/mysqld.log.
Zorg er wel voor dat de folder /var/log/mysql bestaat en dat daar de juiste group/owner en permissions op staan ingesteld (te vinden in de MySQL documentatie)
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.