LPR (OCR voor kentekens)

Hallo jongens,

Voor een nieuw project moet ik een LPT-systeem (License Plate Recognition) hebben. Dat is OCR (Optical Character Recignition) voor kentekenplaten. Vertaald naar mensentaal is het idee dat het script een foto binnenkrijgt, het kenteken wat op de foto staat uitleest en dat teruggeeft.

Ik weet het, het is dom om hiervoor PHP te gebruiken, bla, bla, bla, maar ik wil het nu (eerst) in PHP maken. Ik heb al wat lopen denken, op zich is het niet enorm moeilijk, maar er is één punt wat me (te) moeilijk lijkt.

Hier even mijn idee van de werking:

1. Kleuren (geel van het kenteken, zwart van de letters en blauw van het stukje met het land) worden gezocht en opgeslagen.
2. Aan de hand van de kleuren wordt naar vormen gezocht en opgeslagen.
3. Binnen de vormen wordt naar een geelkleurig rechthoek (kentekenplaats) met zwart erin (letters) en aan de linkerkant een blauw stukje (land) gezocht.
4. Dit stuk wordt rechtgetrokken (voor als de foto schuin is genomen).
5. Dan worden de letters uit elkaar gehakt en netjes bijgesneden.
6. Dan wordt letter voor letter gekeken nar de bestaande bestanden met losse letters of 'ie matcht.

Op zich is het grootste deel redelijk simpel, alleen voor stap twee en drie zou ik zo geen oplossing hebben. Een rechthoek detecteren moet (met veel bloed, zweet en tranen) wel lukken, maar zeker als de foto schuin wordt genomen zou ik niet goed weten hoe ik dat moet doen.

Ik weet dat de volgende punten nog niet goed uitgewerkt zijn:
- Gele auto's hebben een probleem (maar wie koopt er nou een gele auto).
- Auto's met een speciaal kenteken (blauw voor taxi's etc.) hebben een probleem, maar dat is relatief makkelijk op te lossen.
- Auto's met een echt enorm vies kenteken hebben een probleem (maar ik zorg dat het begrip 'geel' redelijk ruim genomen wordt).

Ik hoop dat er hier een aantal mensen zijn die het leuk lijkt even mee te denken, en tijdens het ontwikkeltraject misschien nog eens wat te bekijken.

Groeten,
Jonathan

Wow, dat is wel vrij ambitieus.

Analyseren van een afbeelding, in c++ zou ik misschien eens kunnen proberen.

Mijn eerste gedachte:

- je kiest een aantal kleuren:
bv. #000000, #ffffff, #ff0000, #00ff00, #0000ff

- Voor elke pixel bekijk je welk van de gekozen kleuren het dichts komen bij de kleur van de pixel. Je geeft de pixel dan ook die kleur.
Zo zou je dus een vereenvoudigde foto bekomen.

-Daarmee zou je wel rechthoeken kunnen detecteren. Aaneengesloten rand van de zelfde kleur, een bepaalde verhouding hoogte - breedte...

-Binnen die rechthoek: tussen elk karakter heb je een verticale streep, van boven tot onder. Zo kan je karakters onderscheiden.

- Dan de karakters herkennen...

Ik ben gewoon even luidop aan het denken.
Mocht ik hier nog iets over vinden, laat ik iets weten.

Een rechthoek vanuit perspectief gezien, blijft een vierhoek.
Dat wordt dan (zo ongeveer) een parallellogram of trapezium. Dat moet ook wel te doen zijn om dat te berekenen.

Met de hoek van de basis tov. de horizontale lijn, kan je ook wel de verhouding breedte- hoogte corrigeren.

Ik kan je zeggen, dit gaat niet lukken... Daarnaast is PHP hier niet voor gemaakt.
Kijk eens naar Java of Flash.. (JAVA is een stuk sneller), deze kan je eventueel op de achtergrond laten draaien.

Ik denk dat het wel (gedeeltelijk) mogelijk is om het in PHP te maken echter zal het een stuk sneller zijn in talen als C++ of Java.
Ik neem aan dat de iPhone gewoon JVM heeft dat je gewoon een java applicatie kan schrijven?

Dit lijkt zo makkelijk, maar het is zo lastig...

Ik zou de stap met PHP overslaan. PHP is gewoon te langzaam hiervoor, zelfs om een testscript mee te maken.

Misschien kan je dezelfde algoritmen gebruiken als die die mensen gebruiken om captcha's automatisch te kraken. Die zijn gemaakt voor letter-herkenning, en werken ook redelijk goed bij vervorming en veel ruis. Ik meende dat ik ooit een redelijk succesvol project op sourceforge ben tegengekomen, in C.

Aangezien Obj-C puur een uitbreiding is op C, kan je binnen Obj-C ook gewoon C functies aanroepen en gebruiken. Er is dus een redelijke kans dat je zo'n bibliotheek in C op de iPhone aan de praat zou kunnen krijgen.

edit: bedenk je wel dat dit terrein is waar nog wetenschappelijk onderzoek wordt verricht. Dat betekent dat het waarschijnlijk behoorlijk lastig is, maar ook dat er een heleboel (onbegrijpelijke) literatuur over is, en waarschijnlijk ook een hele stapel implementaties. Wat termen die mij te binnen schieten van een college van een paar maanden terug over zo'n soort onderwerp (objecten herkennen in 2d plaatjes) zijn connected filters en max-trees. Deze persoon gaf het college, en heeft er heel wat onderzoek naar gedaan. Misschien heb je er wat aan.

Maak dan een simpele App waar de gebruiker gewoon het kenteken in kan voeren. XML naar de server, kenteken gegevens ophalen van de RDW en weer terugsturen naar de iPhone.

- Sneller / geen serverresources
- Het maken van een foto kost -veel- meer tijd dan het intikken van een kenteken.
- Volgens mij mag de camera niet door een iPhone App aangesproken worden (wellicht in de nieuwe 3.0 SDK)
- de kwaliteit van de iPhone camera is ruk, succes met het op de snelweg fotograferen van een kenteken...

Offtopic:
Wat een meesterlijke kentekenplaat! :)

Nee, de enige mogelijke taal is Objective-C.


Klopt!


Hmm, ik wil het gewoon, en ik wil er echt voor gaan! Ik hoop dus dat het wel lukt...


Oke, dat is al wat inderdaad. Verder dan dit ben je dus niet gekomen?


Op zich heb je wel gelijk, alleen die apps zijn er al. Ik heb een aantal nieuwe ideeën, waaronder dit dus. Ik snap verder prima dat dit meer tijd kost, alleen dit vinden mensen cool, zeker ook om te laten zien. Dan komt er iemand op visite, je neemt een foto van z'n auto, en je laat hem van alles zien wat 'ie nog niet wist.


Geweldig, hier kan ik wat mee! Ik kan geen JAVA, maar ik ga wel proberen dit een beetje aan te passen, dat ik het via de command-prompt kan gebruiken. Dan denk ik dat ik PHP ertussen zet (sorry), die JAVA aanstuurt. Of ik moet een JAVA-server hebben, maar daar heb ik totaal geen verstand van...

Weet iemand toevallig hoe ingewikkeld dat is? Ik heb op mijn shared server gewoon SSH-toegang, dus ik kan best een JAVA-server installeren, maar ik zou bij God niet weten hoe ik dat moet doen...

Ah, het is voor een iphone. Ik kan geen softwere schrijven voor Mac (en ik ken geen java). Wat ik in c++ doe, kan - veronderstel ik - wel vertaald worden zodat het op Mac kan compileren, maar daar weet ik dus niet veel van

Alle kleuren verwijderen behalve geel-zwart, lukt wel, maar dan heb je enkel de nummerplaten van landen met enkel die kleurencombinatie.

Misschien kun je hier iets mee?Klik