Foute karakters

Overzicht Reageren

Sponsored by: Vacatures door Monsterboard

.NET Developer E-Learning Amsterdam

WE’RE CURRENTLY WORKING WITH AN IMPACTFUL AND INNOVATIVE E-LEARNING COMPANY BASED IN AMSTERDAM WHO ARE LOOKING FOR AN EXCEPTIONAL .NET DEVELOPER TO JOIN THEIR TEAM. You will be joining a global team of 220+ who provide a userbase of over one million with the resources they need to strengthen their skillsets and develop themselves to the highest extent. Working with a number of market leaders, there has never been a more exciting time to get involved. WHAT TO EXPECT Writing and testing code to ensure it is the highest quality possible Researching and contributing to the implementation of new tech

Bekijk vacature »

Business Intelligence Developer vacature

Jij ben niet bang om hard te werken. Uitdagingen zijn welkom. En problemen? Die zijn er om opgelost te worden of, nog beter, om voorkomen te worden! Voor jij aan de slag gaat met het ontwerpen van BI- en DWH-oplossingen, leg je eerst je oor te luister bij de klant. Zo weet jij wat de klant wil, en hoe jouw ontwerp eruit moet komen te zien. Simpel! Althans… met jouw Developer-kwaliteiten wel! Over deze BI vacature Als Business Intelligence Developer ga je zowel op locatie bij de klant aan de slag, als op een van de Sogeti-locaties. Je analyseert de

Bekijk vacature »

.NET Lead Developer / High Security en Availabilit

Functieomschrijving Ben jij een .NET Lead Developer met veel ervaring in complexe high-availability omgevingen? Coach jij graag andere .NET ontwikkelaars? Zorg jij ervoor dat je samen met je team het uiterste haalt uit de techniek? Solliciteer dan direct! Coachen van andere ontwikkelaars; Begeleiden van het team, Product Owner en Stakeholders; Waarborgen van de SCRUM principes; Wegnemen van impediments voor het team; Programmeren van high-availability en high-security applicaties in C#; Samen met je teamgenoten nieuwe applicaties/diensten ontwikkelen in .NET; Overleggen met de informatie analisten en testers; Ontwikkelen van webservices (WCF); 20 % van je tijd besteden aan innovatie; Deelnemen aan projecten

Bekijk vacature »

PHP Developer

PHP Developer Wegens groei van deze klant en het gebruik van de software, zijn ze op zoek naar één of meerdere ervaren PHP developers. Zie jij jezelf werken voor een bedrijf dat impact heeft om de ontwikkeling van de mensen? Dan kunnen ze jou hulp gebruiken bij het uitbouwen van SaaS-platforms met duizenden gebruikers, uitdagende technische vraagstukken en aansprekende klanten! Mijn klant is een ambitieuze ontwikkelaar van vijf SaaS-platforms die worden ingezet voor onder andere digitaal toetsen, online leertrajecten en het opbouwen van digitale portfolio's. Met mooie en bekende klanten, waaronder hogescholen en universiteiten, exameninstellingen, uitgevers en bedrijven in allerlei

Bekijk vacature »

.NET Developer / C# / miljarden berichten / Zorgse

Functieomschrijving Zit jij aan je plafond als .NET C# Developer? Wil jij de stap maken naar dé .NET software organisatie van Tilburg? Lees dan nu verder! Bedrijfsomschrijving werken bij een organisatie waar je met het volgende in aanraking komt: High-intensity dataverkeer, meer dan 2,7 miljard berichten per jaar; Development aan .NET applicaties die maandelijks miljoenen euro's verwerken; Salaris als developer tot bijna 70.000 euro op jaarbasis; Geen partij in de omgeving van Tilburg die zo'n complex .NET applicatielandschap heeft; Werken aan meer dan 50 diensten, verdeeld over 10 Scrum teams; Focus op o.a.: C# en ASP.NET in een Agile organisatie;

Bekijk vacature »

Software Engineer (C#.NET)

Als software engineer bij DEVENTit ben je bezig met het volledige software-traject. Van analyse van vraagstukken tot ontwerp en ontwikkeling. Onze software is volledig webbased waarbij wij ons richten op de back-end software, ontwikkeld in C#/.NET. Voor de front-end werken wij samen met partners in Nederland en India. Je gaat werken in een team met ervaren collega’s die het als een uitdaging zien om nieuwe standaarden en technieken in onze oplossingen een plaats te geven. Complexiteit is daarbij een uitdaging die niet uit de weg wordt gegaan. Recentelijk zijn wij gestart met het herontwerpen en -ontwikkelen van onze software zodat

Bekijk vacature »

ABAP Developer

Functieomschrijving Heb jij de nodige ervaring met ABAP en ben jij toe aan een nieuwe uitdaging? Werk je graag in een internationaal bedrijf met een informele sfeer en flexibiliteit? Dan is deze vacature iets voor jou! Je richt je op SAP development werkzaamheden die voort komen uit optimalisatie-, migratie-, integratie- en innovatie trajecten; Je werkt met o.a. ABAP Eclipse, OOP, Webservices en HANA; Je hebt nauw contact met de functionele SAP specialisten om de wensen helder te krijgen waarna je dit vertaalt naar de technische oplossing; Je werkt in een Agile / Scrum werkomgeving; Je adviseert de organisatie op jouw

Bekijk vacature »

Back-end developer (Python/Django)

Organisatie Waar kom je te werken? Je gaat werken bij een informeel bedrijf wat al bijna 20 jaar actief is in de sector transport en logistiek. We hebben een voorliefde voor OpenSource. De klanten bevinden zich voornamelijk in Nederland en België, van klein familiebedrijf tot grote multinational. Je gaat werken met enthousiaste collega’s die passie hebben voor ICT en open staan voor jouw inbreng, kennis en ervaring! Buiten dat we hard werken belangrijk vinden, vinden we humor en een goede werksfeer ook heel belangrijk. We zijn een gezond bedrijf met een interessante toekomstvisie met een no nonsense mentaliteit. Functie Wat

Bekijk vacature »

Junior Java Developer / DevOps / Cloud / Financi&e

Functieomschrijving Wil jij graag aan de slag als Java Developer? Heb jij affiniteit met de financiële branche? Wil jij systemen ontwikkelen die een grote impact hebben en binnen de gehele organisatie gebruikt worden? Solliciteer dan nu! Als Developer ben je primair verantwoordelijk voor het ontwerpen, bouwen en testen van software in al zijn facetten: Het designen en developen/ontwikkelen in Java van nieuwe software en nieuwe features op bestaande functionaliteiten; Het reviewen en overzien van de geschreven code; Het continu verbeteren van de richtlijnen en standaarden voor het geleverde werk binnen het team; Het bijdragen aan het verder automatiseren van de

Bekijk vacature »

Software ontwikkelaar, Nationale Nederlanden

Locatie DEN HAAG Functieomschrijving Heb jij altijd al jouw programmeervaardigheden nog verder willen ontwikkelen en wil jij graag aansluiten bij mooi project? Bij Nationale Nederlanden bieden ze jou nu die kans. Meer weten? Lees dan snel verder! Het is een nieuwe werkdag bij Nationaale Nederlanden. Voor het Financiële team van Sparklab ben jij bezig om een applicatie te ontwikkelen die innovatie stimuleert voor de financiële afdeling. Jij bent goed met codeerprogramma’s en kan het team goed helpen om de innovatie door te zetten. Gisteren heb je thuisgewerkt en vandaag kom je op kantoor om even met je collega’s te overleggen.

Bekijk vacature »

SAP Developer

Discipline Information Technology Location Venlo (NL) Hours a week 40 Our SAP Developer is a team player vidaXL is a rapidly growing international organization where IT plays a key part. SAP is a crucial component of vidaXL’s extensive IT landscape. In order to maintain continuous growth and improvement of processes we are looking for an experienced SAP Developer. This role focuses mainly on developing, managing and optimizing new and existing processes within SAP, in relation to supply chain management (SCM). In addition, we expect our SAP Developer to function as a back-up and a sparring partner for fellow SAP Developers.

Bekijk vacature »

.NET Developer Financieel

Werk jij als software developer het liefst met uitdagende systemen? Dan kun jij je bij onze vestiging in Amsterdam volledig uitleven als .NET Developer Financieel. Wanneer begin je? Jouw baan Je ontwerpt, ontwikkelt, ondersteunt en onderhoudt je eigen financiële module binnen HiX, onze ICT-totaaloplossing voor de zorg. Je schrijft objectgeoriënteerde code, speurt naar verbeteringen, werkt aan vernieuwende projecten, doet code reviews en voert testen uit. Een uiterst verantwoordelijke job, want dankzij jouw software kunnen zorginstellingen hun zorg factureren, voldoen aan afspraken met zorgverzekeraars, verplichte landelijke aanleveringen van financiële data doen en nog veel meer. Je brainstormt regelmatig met collega’s hoe

Bekijk vacature »

Business Intelligence Developer vacature

Jij ben niet bang om hard te werken. Uitdagingen zijn welkom. En problemen? Die zijn er om opgelost te worden of, nog beter, om voorkomen te worden! Voor jij aan de slag gaat met het ontwerpen van BI- en DWH-oplossingen, leg je eerst je oor te luister bij de klant. Zo weet jij wat de klant wil, en hoe jouw ontwerp eruit moet komen te zien. Simpel! Althans… met jouw Developer-kwaliteiten wel! Over deze BI vacature Als Business Intelligence Developer ga je zowel op locatie bij de klant aan de slag, als op een van de Sogeti-locaties. Je analyseert de

Bekijk vacature »

Senior Software Engineer

Wil jij als Java Software Engineer jouw ervaring inzetten voor missie kritische software in het OV? Wil jij jezelf verder ontwikkelen als software engineer en in een dynamisch team de kans krijgen om nieuwe technieken te introduceren? Senior Software Engineer - Public Transport Wat ga je doen? Zelfstandig en in teamverband bedenk je oplossingen, ontwikkel je software en test je deze ook. Hiermee boek jij succes. Mede dankzij jouw drang om altijd te blijven verbeteren en doorzettingsvermogen ben jij van onschatbare waarde bij het: Vertalen van gebruikerswensen en non-functionalrequirements naar werkende software. Denk hierbij aan het bedenken, opstellen en toetsen

Bekijk vacature »

Software Developer / C#

Functieomschrijving Heb jij ervaring als Software Developer en is C# jou zeer bekend? Zou jij graag de stap willen zetten richting de industriële automatisering binnen een bedrijf waar je werkt aan software gericht op machine besturing? Lees dan deze vacature! Je werkt als Software Developer aan industriële software / software gericht op machine besturing en maakt gebruik van C# en C; Je denkt mee over de architectuur en het design; Je weet requirements te vertalen naar de technische oplossing; Je onderzoekt issues en lost storingen op waar nodig; Je denkt mee over de doorontwikkeling van de software en adviseert de

Bekijk vacature »
Aad B

Aad B

02/12/2019 12:12:34
Quote Anchor link
Na complete migratie/upgrade van het OS (Debian) en dus naar MariaDB en php7 worden bijzondere karakters niet meer juist getoond op de webpagina. Het gaat hier om de simpele e-trema zoals in: België
In de database is het nog steeds okee, althans voor zover ik kan inschatten. Een select van de tabel, vanuit een ascii terminal (putty) geeft dit:

MariaDB [vaarweginfo]> select distinct land from vaarweginfo;

land
+-----------+
Nederland
België
Frankrijk

(als ik code tags hier omheen zet verdwijnt de ë compleet??)

De webpagina haalt het land op uit een tabel en toont België dan als België
Heeft onder MySQL en php5 tot dan toe goed gewerkt. Waar moet ik dit zoeken?
Gewijzigd op 02/12/2019 12:20:38 door Aad B
 
PHP hulp

PHP hulp

26/01/2020 12:22:13
 
- Ariën -
Beheerder

- Ariën -

02/12/2019 12:24:18
Quote Anchor link
In de wereld van UTF-8 moet je dit zoeken.
Hoe heb je dit ingesteld in je site?
Gewijzigd op 02/12/2019 12:25:00 door - Ariën -
 
Aad B

Aad B

02/12/2019 12:33:55
Quote Anchor link
Ariën, wat bedoel je met ingesteld in je site?? Iets in het OS of Apache config of iets in de html pagina's zelf??
Gewijzigd op 02/12/2019 12:34:07 door Aad B
 
- SanThe -

- SanThe -

02/12/2019 12:43:51
Quote Anchor link
In <head> <meta charset="utf-8">
 
- Ariën -
Beheerder

- Ariën -

02/12/2019 13:03:10
Quote Anchor link
Ik heb het over je site, en niet over je OS (Linux, Windows) of Apache (Webserver).
Ik neem aan dat je daar ook netjes UTF-8 afdwingt? Of gebruik je nog het beperkte iso-8859-X? En hoe staan de collaties van je databasetabellen?
Gewijzigd op 02/12/2019 13:04:22 door - Ariën -
 
Aad B

Aad B

02/12/2019 13:40:05
Quote Anchor link
SanThe en Ariën dank voor de tips, het was inderdaad charset=iso-8859-1 in plaats van utf-8 in de gegenereerde HTML pagina. Probleem opgelost.
 
- Ariën -
Beheerder

- Ariën -

02/12/2019 13:43:24
Quote Anchor link
Maar de vraag is: Hie kan dit opeens aangepast zijn? Een verhuizing hoort niet te zorgen voor een verandering van je charset. Ik kan me wel indenken de encoding van je database aangepast kan zijn toen deze gedumpt werd, maar dat zou niet mogen.

Als ik jouw was zou ik het toch even goed uitzoeken voordat je allemaal rotzooi in je database staat te pompen en je nog verder van huis bent....
Gewijzigd op 02/12/2019 13:54:45 door - Ariën -
 
Thomas van den Heuvel

Thomas van den Heuvel

02/12/2019 14:30:48
Quote Anchor link
Wat @Ariën zegt.

NB: het volgende verhaal gaat uit van een database(tabel) met een utf8(mb4) encodering. Idealiter lopen alle character encoderingen (HTML document, database-connectie, database, database-tabel, database-kolom en last but not least de encodering van de data in deze kolom zelf) alle in de pas. GA DIT NA. Je kunt niet zomaar ergens "UTF-8" neerzetten in plaats van "ISO-whatever" en dan doen alsof daarmee de kous af is :p. Dit is echt het onheil over je afroepen.

---

De makkelijkste manier om na te gaan of alles ok is is door een check te doen hoe dit op byteniveau staat opgeslagen. Dit is namelijk een test die niet afhankelijk is van een specifieke character encoding en onafhankelijk van een ingestelde character encodering altijd hetzelfde resultaat oplevert. Dit stelt je dus in staat afwijkingen te constateren op het moment dat er op verschillende plekken verschillende encoderingen worden gebruikt. Dit is onwenselijk.

In MySQL doe je dit met de functie HEX() en in PHP is dit bin2hex().

Het is zaak dat je dit zowel in MySQL als PHP controleert. Het kan namelijk zo zijn dat je niet op de goede manier met de database communiceert. MySQL compenseert dit achter de schermen, maar dit kan dus inderdaad wel resulteren in het wegschrijven van verkeerd geëncodeerde data. Dit komt dan pas naar buiten op het moment dat er wijzigingen (die mogelijk reparaties zijn omdat je dus voorheen op een verkeerde manier met je database sprak) worden aangebracht in de communicatie met je database. Of wanneer je je tabellen exporteert/migreert.

Om dit alles goed te simuleren is het dus ook zaak dat als je deze tests aan de PHP-kant uitvoert dat je op dezelfde manier een verbinding maakt met je database zoals je dat ook in je applicatie/website zou doen.

Wat je doet is het volgende: haal de kolom waarin de landnaam België staat opgeslagen als volgt op:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
SELECT land, HEX(land) AS hex_land
FROM <tabelnaam>


Vervolgens controleer je de waarden in PHP. Hierbij geef je de hex-waarde uit de database weer en tevens het aan de PHP-kant gegenereerde equivalent met de oorspronkelijke land-kolom. Als het goed is komen deze twee waarden overeen. Indien dit niet het geval is houdt dit in dat de database zich genoodzaakt zag om vertalingen uit te voeren omdat de character encoding van de connectie afweek van de character encoding van de database-, tabel- of kolom-definitie.

Als $row het (associatief) record bevat toon je dit als volgt:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
2
3
4
<?php
echo 'waarde in MySQL: '.$row['land_hex'].'<br>';
echo 'waarde in PHP: '.strtoupper(bin2hex($row['land']));
?>

Beide waarde zouden -met een utf8(mb4) encodering- gelijk moeten zijn aan:
Code (php)
PHP script in nieuw venster Selecteer het PHP script
1
42656C6769C3AB

Hierbij gaat het eigenlijk uitsluiten om de laatste 4 karakters.

Mochten de waarden die uit worden gespuugd hiervan verschillen, of als de waarden onderling afwijken, dan zou ik je met klem aanraden om wat verder te graven om te zien waar deze verschillen vandaan komen.

En misschien loont het ook de moeite om de tabel "vaarweginfo" verder uit te normaliseren. Het lijkt mij beter om één landentabel aan te houden en hier middels id's aan te refereren, in plaats van letterlijke landnamen in de vaarweginfo-tabel op te slaan.

Aad B op 02/12/2019 12:12:34:
(als ik code tags hier omheen zet verdwijnt de ë compleet??)

Dit is waarschijnlijk een bug in deze website (interne link).

**snip**
Gewijzigd op 05/12/2019 08:31:27 door - Ariën -
 
Aad B

Aad B

04/12/2019 11:21:19
Quote Anchor link
Thomas, dank voor je uitgebreide toelichting, ik ga ermee aan de slag. Ik krijg sowieso al een andere uitkomst op de eerste query: 42656C6769EB. Het is me duidelijk dat er ergens wat discrepantie is in het traject database laden en presenteren met html/php. De (enige) tabel in de database wordt 2x per dag geladen vanuit een API van Rijkswaterstaat (middels lokale linux cron/mysql scripting, geen php). Het gaat om ongeveer 750 records per keer en vooraf wordt de tabel ge-truncate. Je opmerking om te normaliseren (land-landcode) is uiteraard juist maar gezien deze kleine tabel die alleen voor presentatie wordt gebruikt voor +/- 3 gebruikers niet nodig. Ik ga in ieder geval op zoek om de encoding in de hele keten consistent te krijgen. Best interessant en nogmaals dank!
 
Thomas van den Heuvel

Thomas van den Heuvel

04/12/2019 16:32:09
Quote Anchor link
42656C6769EB (dus EB in plaats van C3AB) is de latin1 encoding van de ë.

Als je dit vervolgens encodeert als UTF-8 dan resulteert dit in België.

Het is waarschijnlijk interessant om deze import verder onder de loep te nemen. Vraag is wat de character encoding is van de aangeleverde data (A), wat de charset is van de tabel(len) waarin je deze data wegschrijft (B), en welke character encoding wordt verondersteld bij het maken van de connectie (C).

Stel dat je doel is om alles weg te schrijven als UTF-8 (utf8(mb4) in MySQL) omdat je applicatie en tabeldefinities (B) van UTF-8 gebruik maken. Maar tegelijkertijd weet je dat de aangeleverde data (A) een of andere ISO-encodering heeft. Dit kun je dan automatisch laten vertalen naar UTF-8 door bij het maken van de verbinding aan te geven (C) dat er data met een ISO-encodering over de lijn dient te gaan. Dit doe je met set_charset().

set_charset() vormt in wezen een contract tussen jouw applicatie en de database. Dit contract valt in twee delen uiteen:
- jij moet er voor zorgen dat alle data die je aanlevert aan de database van deze character encoding is
- de database draagt er zorg voor dat deze, naar beste vermogen, data teruggeeft in deze voorgeschreven character encoding

En dit staat los van de character encoding die wordt gebruikt in de database, tabel of kolom van deze data. Dit houdt in dat als er een discrepantie bestaat tussen de ingestelde character encoding van de verbinding en de definities van de database MySQL zelf vertalingen uitvoert. Dit geldt zowel voor het uitlezen als het wegschrijven. Dit kun je bij een import in jouw voordeel gebruiken.

Maar wat dus heel belangrijk is is dat je weet (met name bij het wegschrijven dus) welke character encoding deze data heeft (en deze wat mij betreft altijd expliciet instelt, om geen enkele ruimte open te laten voor een andere interpretatie). Als de data ISO-whatever is (is min of meer equivalent met latin1) en je middels set_charset() utf8 of equivalent instelt, en de tabel waarin je dit wegschrijft dezelfde charset heeft als in de connectie is ingesteld, dan gaat MySQL dus geen vertalingen uitvoeren en wordt je data weggeschreven als latin1 in een utf8 tabel.

Dit is ook hetgene wat waarschijnlijk is veranderd. Voorheen had je mogelijk geen set_charset() ingesteld, de default van MySQL (en zelfs MariaDB) was een hele tijd -en is dit misschien nog steeds- latin1. Dus de hierboven beschreven automatische vertaling verliep automatisch. De default character encoderingen in Debian zijn mogelijk al utf8(mb4), dus dan worden die vertalingen dus niet meer uitgevoerd omdat die al gelijk lopen met je database. Dit zou een verklaring kunnen zijn voor wat er nu gebeurt.

Dus omdat de defaults zijn veranderd werkt dit niet meer. Dit onderstreept wat mij betreft het belang om altijd expliciet een character encoding in te stellen bij het maken van een database-connectie.
Gewijzigd op 04/12/2019 16:36:40 door Thomas van den Heuvel
 
Aad B

Aad B

04/12/2019 21:15:24
Quote Anchor link
Thomas, dank voor je wijze les. Mijn doel is nu om om alles weg te schrijven als UTF-8 (utf8(mb4) in MySQL.
In het huidige script, dat overigens geheel naar wens werkt, kan ik geen set_charset() doen. Het ophaalscript is geen php. De methode van ophalen van de data via de Rijksawaterstaat API is in een bash script, een eenvoudige wget met wat parameters in .wgetrc
Wellicht kan ik daar nog een parameter opgeven zoals --header='Accept-Charset:
Ik ontvang een .csv file en als ik in linux in vi of cat de file bekijk zie ik netjes: België
Lokaal ben ik nu alles aan het afstemmen op UTF-8 (utf8(mb4)

De presentatie, een middels php gegenereerde web pagina, is sinds gisteren al in orde nadat ik de tip van SanThe en Arien kreeg om de header aan te passen.
Gewijzigd op 04/12/2019 21:17:21 door Aad B
 
Thomas van den Heuvel

Thomas van den Heuvel

05/12/2019 01:36:01
Quote Anchor link
@Aad hm, maar je kiept dat middels een bashscript wel de database in denk ik? Mogelijk kun je daar dus wat dingen aanpassen. Als dit een LOAD DATA ... commando is dan kun je hierbij een CHARACTER SET opgeven als je weet wat de character encoding van de bron is. Uit de documentatie:
Quote:
If the contents of the input file use a character set that differs from the default (noot: die van de server), it is usually preferable to specify the character set of the file by using the CHARACTER SET clause.


*knip*
Edit:
Zo, en hier stopt de discussie over deze site. Dit is dus geen aanwinst voor andermans topic. Dat iets niet werkt kan je melden op de juiste plek, maar een hele discussie of negatieve off-topic hierover hoort hier NIET!
Gewijzigd op 05/12/2019 08:30:31 door - Ariën -
 
Aad B

Aad B

05/12/2019 09:39:36
Quote Anchor link
Thomas, het werkt inderdaad via een load data configuratie. De parameter [CHARACTER SET charset_name] staat er niet in, ik neem dat ook mee. Nogmaals dank voor de uitgebreide toelichting over charset issues.

@Ariën: De "knip" en edit????
Gewijzigd op 05/12/2019 09:40:27 door Aad B
 
- Ariën -
Beheerder

- Ariën -

05/12/2019 09:50:56
Quote Anchor link
Dat was enkel een discussie die niks hiermee te maken had.
 



Overzicht Reageren

 
 

Om de gebruiksvriendelijkheid van onze website en diensten te optimaliseren maken wij gebruik van cookies. Deze cookies gebruiken wij voor functionaliteiten, analytische gegevens en marketing doeleinden. U vindt meer informatie in onze privacy statement.