encoding

Welke encoding wordt in de HTTP-headers van de API-response genoemd?

zou utf-8 moeten zijn
als ik Ø=ÜM google kom ik hierop uit: http://boards.straightdope.com/sdmb/showthread.php?t=782750

en daar zeggen ze: It is a UTF-8 version of an emoticon coding. If you write it out in hexadecimal is D83D DC4D, which is the thumbs up character. https://apps.timwhitlock.info/unicode/inspect?s=%F0%9F%91%8D

Het zou dus om een UTF-8 encoding gaan van ????
Maar dat lijkt me raar, want ???? in UTF-8 geeft gewoon ????

edit: hier in het forum gaat er dus duidelijk ook iets mis met unicode karakters. :-)

De opmerking over encoding op dit forum is mij ook opgevallen. Bij de advertenties valt het ook op.

Klopt, dat moet inderdaad verholpen worden.

Mja, dat heb ik al heel lang geleden gemeld :p.

@r dc zorg dat je zelf de data ook presenteert/opslaat als UTF-8, oftewel, zorg dat je een meta tag en/of PHP-header gebruikt, maar ook dat je een character encoding instelt als je je data wegschrijft naar je database.

EDIT: en als je database tabellen latin1 zijn, dan worden speciale karakters gedowngrade naar ???? omdat latin1 deze karakters niet kent. Mogelijk moet je ook utf8mb4 gebruiken om alle multibyte karakters te laten passen in je database, utf8 (de encoding in MySQL) bestrijkt niet dezelfde set als UTF-8.

@Thomas Dit is geen database probleem. De foute encoding is extern en buiten bereik. Ik kan deze niet aanpassen. Ik wil ze op mijn platform wel ongedaan maken.

Heel concreet heb ik dus een string in php die volgende letters bevat: Ø=ÜM
En hiervan wil ik het unicode karakter 'thumbsup' maken (in UTF-8: F0 9F 91 8D)

Hoe doe ik dit?

Kun je iets met deze functies?

http://php.net/manual/en/ref.iconv.php

@ivo p: zie eerste post "Heb al allerlei combinatie geprobeerd met iconv in php, maar lukt me niet..."

R dc op 16/01/2018 11:34:33

@Thomas Dit is geen database probleem. De foute encoding is extern en buiten bereik. Ik kan deze niet aanpassen. Ik wil ze op mijn platform wel ongedaan maken.

Dit lijkt mij iets wat mogelijk aan die kant opgelost moet worden. Ik zie ook niet hoe je van jouw input naar een thumbs-up emoji zou moeten gaan. Mogelijk is er iets lost in translation in welk geval je simpelweg niet van A naar B kunt komen...

... aan de andere kant: misschien ligt dit ook niet aan de API zelf maar aan een station ervoor? Misschien wordt er al corrupte data gevoerd aan de API? Ik bedoel, is de bron van de data die voor problemen zorgt elke keer dezelfde? Of zijn er meerdere bronnen die via die API werken en levert dat allemaal corrupte data op? In het laatste geval is het misschien waarschijnlijker dat de API roet in het eten gooit, maar anders? Mogelijk valt er niets op te lossen omdat het probleem niet in de API zelf zit?

Kun je dit mogelijk zelf testen? Je geeft ook bar weinig informatie over de API, wat het voor ons redelijk onmogelijk maakt om ons een voorstelling te maken van hoe dat ding werkt. Zijn er misschien andere gebruikers/API-afnemers die dezelfde problemen hebben? Heeft dat ding een FAQ/support forum et cetera.

het is zeker mogelijk, de juiste bytes zijn er, er is geen info verloren gegaan.

als ik Ø=ÜM omzet naar utf-16 code units krijg ik: 00D8 003D 00DC 004D
de Ø=ÜM code points in hex geven: D8 3D DC 4D

het thumbsup karakter omzetten naar utf-16 code units: D83D DC4D

Het is dus perfect mogelijk om op byte niveau de omzetting te doen. Maar ik geraak er niet in php, omdat ik de syntax onvoldoende beheers.