DE102013210478B4 - Geometrische vorkorrektur zur automatischen nummernschilderkennung - Google Patents
Geometrische vorkorrektur zur automatischen nummernschilderkennung Download PDFInfo
- Publication number
- DE102013210478B4 DE102013210478B4 DE102013210478.2A DE102013210478A DE102013210478B4 DE 102013210478 B4 DE102013210478 B4 DE 102013210478B4 DE 102013210478 A DE102013210478 A DE 102013210478A DE 102013210478 B4 DE102013210478 B4 DE 102013210478B4
- Authority
- DE
- Germany
- Prior art keywords
- matrix
- correction
- image
- determining
- ideal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 81
- 239000011159 matrix material Substances 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 238000003702 image correction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010008 shearing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Character Input (AREA)
- Geometry (AREA)
Abstract
Description
- Die vorliegende Offenbarung betrifft ein Verfahren und Gerät zum automatischen Einstellen eines Nummernschildes, das in einem aufgenommenen Bild erkannt wird, so dass die Zulassungsnummer analysiert und identifiziert werden kann. Es versteht sich, dass die vorliegenden Ausführungsbeispiele auch für andere ähnliche Anwendungen abänderbar sind.
- Ein System zur automatischen Nummernschilderkennung (ALPR) ist ein verkehrstechnisches Überwachungssystem, das unter Verwendung einer Standbild- oder Videokamera Bilder von fahrenden oder parkenden Fahrzeugen aufnimmt. Das System lokalisiert ein Nummernschild in dem Bild und verwendet die optische Zeichenerkennung (OCR), um die Nummer des Nummernschildes zu bestimmen. Das ALPR-System funktioniert häufig als Kernmodul für ein intelligentes Transportinfrastruktursystem, da seine zahlreichen Verwendungen die Überwachung des Verkehrsflusses, die Einhaltung von Verkehrsregeln und die Verfolgung von verdächtigen Kriminellen umfassen kann.
- Das Dokument „An efficient method for correcting vehicle license plate tilt“; DEB, Kaushik; VAVILIN, Andrey; JO, Kang-Hyun; In: 2010 IEEE International Conference on Granular Computing, IEEE, 2010. S. 127-132 beschreibt, dass die Segmentierung und Erkennung von Zeichen wichtige Schritte in der automatischen Nummernschilderkennung (ALPR) sind. Ein schiefes Nummernschild hat einen großen Einfluss auf die genaue Zeichensegmentierung und -erkennung. Um dieses Problem zu lösen, wird ein effizienter Ansatz zur Schräglagekorrektur von Nummernschildern vorgeschlagen. Zunächst wird das Kennzeichenbild in einen Satz von 5x5 nicht überlappenden Blöcken unterteilt. Die lokale Ausrichtung jedes Blocks wird anhand der Gradienten der Pixel im Block geschätzt. Der horizontale Neigungswinkel des Nummernschilds wird anhand des lokalen Maximums des Richtungswinkelhistogramms ermittelt. Das Kennzeichenbild wird gemäß diesem Winkel gedreht. Anschließend wird die vertikale Verzerrung des Kennzeichenbildes korrigiert.
- Eine Herausforderung für die ALPR-Technology ist ihre Robustheit gegen geometrische Variationen. Die Position einer Kamera, wie etwa der Einfallswinkel zwischen der Kamera und einer angestrebten Aufnahmefläche, und die Parameter der Kamera können die Qualität des aufgenommenen Bildes auf Grund einer Verformung beeinträchtigen. Das Nummernschild in dem Bild kann durch einen anderen Maßstab, einen anderen Drehwinkel oder eine andere geometrische Verformung beeinträchtigt werden. Obwohl die meisten ALPR-Kameras sorgfältig positioniert sind, um eine perspektivische Verformung zu minimieren, ist eine starke Scherung immer noch ein übliches Ergebnis.
- Eine mögliche Lösung für die Verformung besteht darin, einen ALPR-Algorithmus zu entwerfen, der für geometrische Änderungen unveränderlich ist. Eine derartige Lösung wird jedoch häufig durch höhere rechnerische Kosten und andere Bedingungen verhindert, wie beispielsweise eine reduzierte Genauigkeit bei der Detektion. Im Allgemeinen sind die inhärente rechnerische Komplexität und die rechnerischen Kosten eines Systems proportional zum Produkt des Suchbereichs für jeden geometrischen Parameter.
- Für viele ALPR-Anwendungen, wie etwa die Überwachung von Mautschlagbäumen auf Mautstraßen, ist die geometrische Konfiguration gewöhnlich feststehend oder weist eine beschränkte Variation für jede Kamera auf. Daher sind herkömmliche ALPR-Systeme auf eine Benutzereingabe angewiesen, um einen Suchbereich zu reduzieren. Beispielsweise kann das System einen Benutzer auffordern, die erwartete minimale und maximale Höhe der Nummernschilder in den Eingabebildern vorzugeben. Das System verwendet die empfangenen Informationen als Benutzereingaben, um den Maßstab zu bestimmen. Das System kann auch einen erwarteten maximalen Schildwinkel als Benutzereingabe empfangen.
- Es gibt mehrere Nachteile und Einschränkungen für die Umsetzung des Empfangs von Benutzereingaben zu Analysezwecken. Die Benutzer müssen eine gewisse Bildverarbeitungskenntnis besitzen, um die Plattenhöhe und den Drehwinkel zu messen, die in den Bildern enthalten sind, während gewisse Parameter, wie etwa die Scherung, nicht ohne Weiteres von den Benutzern zu erzielen sind. Diese Vorgehensweise erfordert auch eine erhebliche Menge Arbeit, welche die Benutzer ausführen müssen. Ferner können die manuellen Eingaben, die von den Benutzern bereitgestellt werden, falsch oder ungenau sein. Das System kann daher auf ungenaue Messungen angewiesen sein, um seine Analyse auszuführen. Daher besteht ein Bedarf an einem Verfahren und einem Gerät, welche die Bilder der Nummernschilder, die in aufgenommenen Bildern erkannt werden, automatisch anpassen.
- Ein anderer Nachteil der herkömmlichen Vorgehensweise besteht darin, dass die eigentlichen geometrischen und Kameraparameter im Verlauf der Zeit abweichen können. Beispielsweise kann die Kamera aus ihrer ursprünglichen Position heraus kippen. Entsprechend werden ein Verfahren und Gerät benötigt, welche die Parameter einer ALPR-Kamera automatisch kalibrieren, um die Verschiebung im Verlauf der Zeit auszugleichen. Auf diese Art und Weise ist das System dazu geeignet, um im Voraus automatisch das Ausmaß der Scherung zu schätzen, das von einem aufgenommenen Bild zu erwarten ist, bevor ein Fahrzeug an der Bildaufnahmevorrichtung ankommt. Entsprechend wird ein System benötigt, das dazu geeignet ist, um Scherungsmuster in einer Bildaufnahmevorrichtung zu schätzen.
- Das Problem der vorliegenden Erfindung wird durch ein Verfahren zum Einstellen eines Nummernschildes gemäß Anspruch 1 und ein System zum Einstellen eines Eingabebildes gemäß Anspruch 7 gelöst.
- Es zeigen:
-
1 eine schematische Abbildung eines ALPR-Korrektursystems gemäß einer Ausführungsform. -
2 ein Ablaufschema, das ein Verfahren zum Korrigieren eines Bildes eines Nummernschildes beschreibt. -
3 ein hinten montiertes Schild, das in einem Bild verformt wurde. -
4 eine Scherungstransformation zum Nähern der Verformung des in3 gezeigten Schildes. -
5 ein Schild, das in einer im Allgemeinen geraden Orientierung an einem Fahrzeug montiert ist. -
6 ein Schild, das in einer im Allgemeinen schrägen Orientierung an einem Fahrzeug montiert ist. -
7 ein Ablaufschema, das die Kalibrierungsphase beschreibt, die verwendet wird, um die mindestens eine Korrekturmatrix zu bestimmen. -
8 ein Ablaufschema, das die Betriebsphase beschreibt, welche die mindestens eine Korrekturmatrix zum Einstellen eines aufgenommenen Bildes verwendet. -
9 Bilder von Schildern vor und nach der Korrektur. -
10A-B aufgenommene Bilder, die als Eingabe für eine Versuchsumsetzung der Betriebsphase verwendet wurden. -
11A-B die korrigierten Bilder aus10A-B , nachdem sie dem in der Offenbarung beschriebenen Vorgang unterzogen wurden. - Die vorliegende Offenbarung betrifft ein ALPR-Korrektursystem und ein Verfahren zum automatischen Kalibrieren einer Kamera und zum automatischen Verarbeiten und/oder Korrigieren von Bildern, die von der Kamera aufgenommen werden. Die Eingabebilder erfahren Vorgänge des automatischen Skalierens und Scherens, um die geometrische Verformung zu reduzieren. Das ALPR-Korrektursystem betrifft ALPR-Anwendungen, die eine feste Kamerakonfiguration verwenden, wie etwa bei Mauterhebungsvorgängen. Das Verfahren wird in zwei Phasen ausgeführt: eine Kalibrierungsphase und eine Betriebsphase. Während der Kalibrierungsphase funktioniert das ALPR-Korrektursystem in einem vollen Bereich, der alle möglichen Skalierungs- und Scherungsparameter abdeckt, wobei eine Drehung als Sonderfall der Scherung angesehen wird. Aus der Geometrie eines erkannten Nummernschildes schätzt das ALPR-Korrektursystem die Skalierungs- und Scherungscharakteristiken, die mit der Korrektureinstellung verknüpft sind. Das ALPR-Korrektursystem bestimmt dann eine optimale Korrekturmatrix. Während der Betriebsphase werden die Korrekturmatrizen, die aus der Kalibrierung erlernt wurden, auf ein aufgenommenes Bild eines Nummernschildes angewendet. Die Korrekturmatrizen werden verwendet, um die Scherungsverformung zu korrigieren und das erkannte Nummernschild auf eine vorherbestimmte Größe zu skalieren. Die ALPR-Korrekturkamera ist dann dazu geeignet, um in einem reduzierten Bereich zu funktionieren, der die Schilder ungefähr in der gleichen Größe und in der gleichen rechteckigen Form erkennt.
-
1 ist eine schematische Abbildung eines ALPR-Korrektursystems 100 in einem Ausführungsbeispiel. Das ALPR-Korrektursystem umfasst eine Trainingsvorrichtung 102, eine Speichervorrichtung 104 und eine Korrekturvorrichtung 106, die über Kommunikationsverbindungen, die hier als Netzwerk bezeichnet werden, miteinander verbunden sein können. Diese Komponenten werden nachstehend ausführlicher beschrieben. - Die Trainingsvorrichtung 102, die in
1 abgebildet ist, umfasst einen Controller 108, der Teil der Trainingsvorrichtung 102 oder damit verknüpft ist. Der beispielhafte Controller 108 ist dazu geeignet, um eine Trainingsphase des ALPR-Systems 100 zu steuern, indem er Korrekturmatrizen bildet, die man später auf die erkannten Bilder anwenden kann. Der Controller 108 umfasst einen Prozessor 110, der den gesamten Betrieb der Trainingsvorrichtung 102 durch die Ausführung von Verarbeitungsanweisungen steuert, die in einem Speicher 112 gespeichert sind, der an den Prozessor 110 angeschlossen ist. - Der Speicher 112 kann eine beliebige Art eines materiellen computerlesbaren Mediums sein, wie etwa ein Arbeitsspeicher (RAM), ein Festspeicher (ROM), eine Magnetplatte oder ein Magnetband, eine optische Platte, ein Flash-Speicher oder ein holographischer Speicher. Bei einer Ausführungsform umfasst der Speicher 112 eine Kombination aus Arbeitsspeicher und Festspeicher. Der digitale Prozessor 110 kann unterschiedlich ausgebildet sein, wie etwa als Einzelkernprozessor, als Doppelkernprozessor (oder noch allgemeiner als Mehrkernprozessor), als digitaler Prozessor und als mitwirkender mathematischer Coprozessor, als digitaler Controller oder dergleichen. Zusätzlich zum Steuern des Betriebs der Trainingsvorrichtung 102 führt der digitale Prozessor Anweisungen aus, die in dem Speicher 112 gespeichert sind, um die Teile des Verfahrens auszuführen, die in
2 und7 zusammengefasst sind. Bei einigen Ausführungsformen kann man den Prozessor 110 und den Speicher 112 in einem einzigen Chip kombinieren. - Die Trainingsvorrichtung 102 kann in einer vernetzten Vorrichtung ausgebildet sein, obwohl es ebenfalls in Betracht gezogen wird, dass sich die Trainingsvorrichtung 102 an einer anderen Stelle in einem Netzwerk befindet, an welches das ALPR-Korrektursystem 100 angeschlossen ist, wie etwa auf einem Server, einem vernetzten Computer oder dergleichen, oder dass es auf das ganze Netzwerk verteilt ist oder dafür anderweitig zugänglich ist. Die hier offenbarte Trainingsphase wird von dem Prozessor 110 gemäß den Anweisungen ausgeführt, die in dem Speicher 112 enthalten sind. Insbesondere speichert der Speicher 112 ein Modul zum Erstellen einer Korrekturmatrix 114, das eine Reihe Musterschildbilder empfängt, eine Matrix bestimmt, die Merkmalssätze für jedes der Musterbilder enthält, eine ideale Geometrie bestimmt, indem es ideale Merkmalssätze für Höhe und Breite für die Schilder vorgibt, und eine Korrekturmatrix unter Verwendung der Matrix und der idealen Geometrie verwendet. Es werden Ausführungsformen in Betracht gezogen, bei denen diese Anweisungen in mehreren Modulen gespeichert sein können. Das Modul zum Erstellen einer Korrekturmatrix 114 wird später mit Bezug auf das beispielhaften Verfahren beschrieben.
- Die Software-Module, wie sie hier beschrieben werden, sind dazu gedacht, eine beliebige Sammlung oder einen beliebigen Satz von Anweisungen einzubeziehen, die von der Trainingsvorrichtung 102 oder einem anderen digitalen System ausführbar sind, um den Computer oder ein anderes digitales System zu konfigurieren, damit er bzw. es die Aufgabe ausführt, für welche die Software gedacht ist. Der Begriff „Software“, wie er hier verwendet wird, ist dazu gedacht, Anweisungen von der Art einzubeziehen, die in einem Speichermedium gespeichert ist, wie etwa einem RAM, einer Festplatte, einer optischen Platte oder dergleichen, und ist auch dazu gedacht, so genannte „Firmware“ einzubeziehen, wobei es sich um Software handelt, die in einem ROM oder dergleichen gespeichert ist. Eine derartige Software kann verschiedenartig organisiert sein und kann Software-Komponenten umfassen, die als Bibliotheken, internetbasierte Programme, die auf einem entfernt aufgestellten Server oder dergleichen gespeichert sind, Source-Code, interpretativer Code, Objektcode, direkt ausführbarer Code und dergleichen organisiert sind. Es wird in Betracht gezogen, dass die Software Code oder Aufrufe an andere Software, die sich auf einem Server (nicht gezeigt) oder an einer anderen Stelle befindet, abrufen kann, um bestimmte Funktionen auszuführen.
- Weiter mit Bezug auf
1 umfasst die Trainingsvorrichtung 102 auch eine oder mehrere Kommunikationsschnittstellen, wie etwa Netzwerkschnittstellen, um mit externen Vorrichtungen zu kommunizieren. Die Kommunikationsschnittstellen 116, 118 können beispielsweise ein Modem, einen Router, ein Kabel und und/oder einen Ethernet-Anschluss usw. umfassen. Eine erste Kommunikationsschnittstelle 116 ist dazu geeignet, um Musterbilder 120 als Eingabe zu empfangen. Eine zweite Kommunikationsschnittstelle 118 ist dazu geeignet, um mindestens eine Korrekturmatrix 122 als Ausgabe bereitzustellen. Bei den in Betracht gezogenen Ausführungsformen kann eine Kommunikationsschnittstelle die Eingabe empfangen und die Ausgabe bereitstellen. Die diversen Komponenten der Trainingsvorrichtung 102 können alle über einen Bus 124 angeschlossen sein. - Die Trainingsvorrichtung 102 kann eine oder mehrere spezielle oder universelle Computervorrichtungen umfassen, wie etwa einen Servercomputer oder ein digitales Frontend (DFE) oder eine beliebige andere Computervorrichtung, die in der Lage ist, Anweisungen auszuführen, um das beispielhafte Verfahren auszuführen.
-
1 bildet ferner die Trainingsvorrichtung 102 ab, wie sie an eine Bildquelle 126 angeschlossen ist, um Musterbilder in einem elektronischen Format einzugeben und/oder zu empfangen. Die Bildquelle 126 kann eine Bildaufnahmevorrichtung 144 umfassen, wie etwa eine Kamera, die ausgewählt wird, um kalibriert zu werden, oder es kann sich um eine Vorrichtung handeln, die dazu geeignet ist, um Bilder, die von der Kamera aufgenommen werden, an die Trainingsvorrichtung weiterzugeben und/oder zu übertragen. Beispielsweise kann die Bildquelle 126 einen Scanner, einen Computer oder dergleichen umfassen. Bei einer anderen Ausführungsform können die Bilddaten 120 von einer beliebigen geeigneten Quelle eingegeben werden, wie etwa von einer Arbeitsstation, einer Datenbank, einer Speichervorrichtung, wie etwa einer Platte oder dergleichen. Die Bildquelle 126 steht in Kommunikation mit dem Controller 106, der den Prozessor 110 und die Speicher 112 enthält. - Weiter mit Bezug auf
1 umfasst das ALPR-Korrektursystem 100 eine Speichervorrichtung 104 in Kommunikation mit der Trainingsvorrichtung 102. Bei einer in Betracht gezogenen Ausführungsform kann die Trainingsvorrichtung 102 in Kommunikation mit einem (nicht gezeigten) Server stehen, der eine Verarbeitungsvorrichtung und einen Speicher umfasst, wie etwa die Speichervorrichtung 104, oder der Zugriff auf eine Speichervorrichtung 104 hat, um Korrekturmatrizen zu speichern, die von der Korrekturvorrichtung 106 verwendet werden können. Die Speichervorrichtung 104 umfasst ein Korrekturmatrizenarchiv 128, das mindestens eine Korrekturmatrix 122 speichert, die von der Trainingsvorrichtung 102 bereitgestellt wird. - Weiter mit Bezug auf
1 umfasst das ALPR-Korrektursystem 100 ferner die Bildkorrekturvorrichtung 106 in Kommunikation mit der Speichervorrichtung 104, die dazu geeignet ist, um das Verfahren auszuführen, das in2 und8 zusammengefasst ist. Die beispielhafte Bildkorrekturvorrichtung 104 umfasst beispielsweise einen Computer oder Mikrocomputer. Die Bildkorrekturvorrichtung 104 kann als Teil einer Bildaufnahmevorrichtung 142 enthalten sein oder kann in Kommunikation mit der Bildaufnahmevorrichtung 142 stehen. Die Bildkorrekturvorrichtung 106 umfasst einen Prozessor 130, wie etwa eine CPU, und einen Speicher 132 zum Speichern von Software-Modulen, die auf dem Prozessor der CPU ausführbar sind, und mindestens eine Kommunikationsschnittstelle 134, die Hardware und/oder Software umfasst, die dazu geeignet ist bzw. sind, um eine drahtlose Datenkommunikation mit der Speichervorrichtung 104 bereitzustellen, eine Bildaufnahmevorrichtung 136 und ein Display 138. Der Speicher 132, der Prozessor 130 und die Kommunikationsschnittstelle(n) 134 können ähnlich konfiguriert sein wie der Speicher 112, der Prozessor 110 und die Kommunikationsschnittstellen 116, 118 der Trainingsvorrichtung 102. Das beispielhafte Software-Modul umfasst ein Bildanpassungsmodul 140, das ein aufgenommenes Bild 142 empfängt, das von einer Eingabevorrichtung 144 übertragen wird, und als Reaktion auf den Empfang des Eingabebildes 142 das Eingabebild 142 automatisch anpasst, um ein korrigiertes Bild 146 zu erzielen, indem die mindestens eine Korrekturmatrix 122 angewendet wird. Dieses Modul 140 wird später mit Bezug auf das beispielhafte Verfahren beschrieben. Die diversen Komponenten der Bildkorrekturvorrichtung 106 können alle über einen Bus 150 angeschlossen sein. - Weiter mit Bezug auf
1 können die tatsächlichen Daten eine Verarbeitung durch die Bildkorrekturvorrichtung 106 erfahren und können für den Benutzer in geeigneter Form auf einer GUI 148 in Kommunikation mit der Bildkorrekturvorrichtung 106 angezeigt werden. Die GUI 148 kann ein Display umfassen, um für die Benutzer Informationen anzuzeigen, wie etwa das korrigierte Bild 146 oder die Zulassungsnummer in dem korrigierten Bild, und kann eine Benutzereingabevorrichtung, wie etwa eine Tastatur oder einen Berührungs- oder beschreibbaren Bildschirm, um Anweisungen als Eingabe zu empfangen, und/oder eine Cursor-Steuerungsvorrichtung, wie etwa eine Maus, einen Trackball oder dergleichen, um dem Prozessor 130 Benutzereingabeinformationen und Befehlsauswahlen mitzuteilen, umfassen. -
2 ist ein Ablaufschema, das ein Verfahren 200 zum Korrigieren eines Bildes eines Nummernschildes beschreibt. Die Verfahren beginnt in Schritt S202. Das Verfahren umfasst das Trainieren (hier ebenfalls als „Kalibrieren“ bezeichnet) einer Kamera in Schritt S204 in einer ersten Phase und das Korrigieren der Bilder von der Kamera in Schritt S206 (hier auch als „Bedienen der Kamera“ bezeichnet) in einer zweiten Phase. Das Trainieren S202 umfasst das automatische Bestimmen in Schritt S208 eines ersten Satzes von Korrekturparametern, die einem Nummernschild entsprechen. Das Nummernschild umfasst ein schräg orientiertes Schild, was bedeutet, dass das Nummernschild im Stoßstangenbereich eines Fahrzeugs in einer im Allgemeinen geneigten Orientierung montiert ist. Das Trainieren S202 umfasst auch das automatische Bestimmen in Schritt S210 eines zweiten Satzes von Korrekturparametern, die einem gerade orientierten Schild entsprechen, was bedeutet, dass das Nummernschild im Stoßstangenbereich eines Fahrzeugs in einer im Allgemeinen senkrechten Position montiert ist. Im Allgemeinen sind vordere Nummernschilder gerade orientiert, während hinten montierte Nummernschilder schräg oder gerade orientiert sein können. - Weiter mit Bezug auf
2 umfasst das Korrigieren in Schritt S204 das Empfangen eines Eingabebildes in Schritt S212. Das Eingabebild umfasst ein Bild eines aufgenommenen Fahrzeug- oder Stoßstangenbereichs an dem Fahrzeug. Das Verfahren umfasst das Bestimmen, ob ein Nummernschild in dem Bild erkannt wird. Das Verfahren umfasst das automatische Verwenden des ersten Satzes Korrekturparameter, um das Bild in Schritt S214 einzustellen. Unter Verwendung der Parameter umfasst das Verfahren das Bestimmen in Schritt S216, ob das erkannte Bild ein schräg orientiertes Schild ist. Wenn die Bestimmung angibt, dass das erkannte Nummernschild kein schräg orientiertes Schild ist, dann umfasst das Verfahren das automatische Verwenden des zweiten Satzes von Korrekturparametern, um das Bild in Schritt S218 einzustellen. Das Verfahren endet in Schritt S220. - Geometrische Verformung
- Nahezu alle Nummernschilder sind rechteckig. In den meisten Bundesländern in den USA haben normale Autoschilder ähnliche Modelle, Gestaltungen und Dimensionen. Ferner sind schräge Schilder im Allgemeinen etwa im gleichen Winkel montiert.
- Wenn Bilder von Schildern von der ALPR-Kamera aufgenommen werden, erfahren die Bilder eine perspektivische Verformung.
3 zeigt ein Beispiel eines hinten montierten Schildes 302, das in einem Bild 300 verformt ist, das ein aufgenommener hinterer Stoßstangenbereich an einem Fahrzeug 304 ist. Bei vielen ALPR-Anwendungen, wie etwa bei der Mauterhebung, kann man die Verformung 400 durch eine Scherungstransformation nähern, die in4 gezeigt wird. Die Scherung kann mathematisch als zweidimensionale Matrix dargestellt werden: - In der Scherungsmatrix SH sind shx und shy die Scherungsfaktoren jeweils in den Richtungen X und Y. Jede Scherungsmatrix weist eine Umkehrfunktion auf, und die Umkehrfunktion ist einfach eine Scherungsmatrix, deren Scherungselement negiert ist, was eine Scherungstransformation in der entgegengesetzten Richtung darstellt. Daraufhin kann die Scherung und/oder Verformung des Nummernschildes in dem aufgenommenen Bild durch Scherung des Schildes in die entgegengesetzte Richtung korrigiert werden.
- Da vordere Schilder typischerweise gerade und rechtwinklig zu der Richtung, in der das Fahrzeug fährt, montiert sind, geht man davon aus, dass alle vorderen Schilder etwa in die gleiche Richtung zeigen. Eine Scherung der vorderen Schilder kann unter Verwendung einer einzigen Matrix genähert werden.
- Wie erwähnt können jedoch hinten montierte Schilder entweder gerade oder schräg nach innen montiert sein.
5 zeigt ein Bild 500 eines hinteren Stoßstangenbereichs 502, der ein gerade orientiertes Schild 504 umfasst. Ähnlich zeigt6 ein Bild 600 eines hinteren Stoßstangenbereichs 602, der ein schräg orientiertes Schild 604 umfasst. Für jede Orientierung wird eine andere Scherungsmatrix benötigt. Eine erste Korrekturmatrix (d.h. eine erste Scherungsmatrix) wird benötigt, um eine Scherungstransformation des schrägen Schildes darzustellen, und eine zweite Korrekturmatrix (d.h. eine zweite Scherungsmatrix) wird benötigt, um eine Scherungstransformation des geraden Schildes darzustellen. -
- Die Werte sx und sy sind die Skalierungsfaktoren in den Richtungen X und Y. Eine Kombination der Scherung und Skalierung kann man durch D=S SH darstellen.
- Ziel der vorliegenden Offenbarung ist es, die durchschnittliche Verformung zu minimieren. Ziel der Offenbarung ist es, unter Verwendung einer Anzahl von Musterbildern mindestens einen Satz Korrekturparameter automatisch zu bestimmen. Die Korrekturparameter werden in einer Speichervorrichtung gespeichert, bis die Korrekturparameter anschließend auf ein Bild angewendet werden können. Im Allgemeinen werden die Korrekturparameter während der Trainingsphase in Schritt S202 bestimmt, die nachstehend auch als „Kalibrierungsphase“ bezeichnet wird.
- Trainingsphase
- Mit Bezug auf
7 wird ein Ablaufschema gezeigt, um die Kalibrierungsphase zu beschreiben, die verwendet wird, um die mindestens eine Korrekturmatrix zu bestimmen. Die Kalibrierung kann entweder rechnerabhängig oder rechnerunabhängig erfolgen. Das Verfahren beginnt mit Schritt S700. Eine Anzahl Musterbilder wird in Schritt S702 an der Trainingsvorrichtung empfangen (siehe 102 in1 ). Die Bilder werden bevorzugt mit der Kamera aufgenommen, die kalibriert werden soll. Wie bereits erwähnt, können die Musterbilder der Trainingsvorrichtung in einem elektronischen Format bereitgestellt werden. Die Musterbilddaten können der Trainingsvorrichtung als Eingabe aus einer beliebigen geeigneten Quelle bereitgestellt werden. Die Musterbilder umfassen jeweils ein Musternummernschild und/oder einen Stoßstangenbereich, der das Musternummernschild umfasst. - Die ALPR-Kamera, die in Schritt S702 zum Kalibrieren ausgewählt wird, kann über den gesamten Bereich betätigt werden, wenn die Musterschildbilder aufgenommen werden. Mit anderen Worten kann die Kamera nach Musterschildern suchen, die alle möglichen Scherungs- und Skalierungsparameter umfassen. Es werden jedoch Ausführungsformen in Betracht gezogen, bei denen die ALPR-Kamera mit einem eingeschränkten Suchbereich funktioniert. Wenn die Musterbilder von einer ALPR-Kamera bereitgestellt werden, die in einem beschränkten Suchbereich funktioniert, kann der Bereich in Schritt S704 ausgedehnt werden, indem man das Eingabebild voreinstellt.
- Für eine ALPR-Kamera, die nur einen Maßstab in einem ersten Bereich handhabt, kann das Eingabebild um einen Faktor vorskaliert werden, der es der Kamera ermöglicht, mit einem Maßstab eines geänderten Bereichs zu funktionieren. Der geänderte Bereich kann niedrigere und höhere Werte aufweisen, die Produkte des Faktors und die jeweiligen unteren und oberen Werte des ersten Bereichs sind. Die Ergebnisse des ersten Bereichs und des geänderten Bereichs können kombiniert werden, um einen größeren Bereich zu erzeugen, der einen unteren Wert aufweist, welcher der untere Wert des ersten Bereichs ist, und der einen oberen Wert aufweist, welcher der obere Wert des geänderten Bereichs ist. Bei einem erläuternden Beispiel, das eine ALPR-Kamera verwendet, die nur einen Maßstab im Bereich von 0,8 bis 1,2 handhabt, kann es eine Vorskalierung des Eingabebildes um einen gewissen Faktor, beispielsweise um 2/3, der Kamera ermöglichen, mit einem Maßstab von 1,2 bis 1,8 zu funktionieren. Durch die Kombination der Ergebnisse, die in dem Originalbild und dem vorskalierten Bild erkannt werden, beträgt der effektive Bereich 0,8 bis 1,8.
- Die Vorskalierung in Schritt S704 kann bei einem anderen Beispiel um einen Faktor 4/9 eingestellt werden. In diesem Fall kann ein ursprünglicher Maßstab im Bereich von 0,8 bis 1,2 ausgedehnt werden, um im Bereich von 0,8 bis 2,7 zu funktionieren. Durch Voreinstellen des Eingabebildes unter Verwendung unterschiedlicher Skalierungs- und Scherungsparameter kann der Bereich der ALPR-Kamera erheblich ausgedehnt werden.
- Weiter mit Bezug auf
7 werden die Koordinaten jeder der vier Ecken jedes Musternummernschildes in einer ersten der Gruppen für die Musterbilder in Schritt S708 bestimmt. Die Koordinaten umfassen die XY-Koordinaten für die Ecke unten links (xi1,yi1), die Ecke unten rechts (xi2,yi2), die Ecke oben links (xi3,yi3) und die Ecke oben rechts (xi4,yi4) jeder i. Platte. Diese Ecken kann man als Teil der Zwischen- oder End-ALPR-Ausgaben erzielen. Bei einer anderen Ausführungsform können die Koordinaten jedoch bestimmt werden, indem die vier Grenzen des Musterschildes erkannt werden und dann die Schnittpunkte der Grenzen berechnet werden. Zum Erkennen der Grenzen, kann eine Hough-Transformation verwendet werden. -
- Weiter mit Bezug auf
7 werden die berechneten Differenzen verwendet, um in Schritt S712 einen Merkmalssatz Vi für jedes Musternummernschild zu bestimmen. Genauer gesagt verwendet die Bestimmung dxijdyij, was in Gleichung (3) als Merkmalssatz definiert ist, wobei i der Bildindex und j = 1-4 ist. Der Merkmalssatz Vi ist eine 2x4-Matrix, welche die Geometrie des i. Musterschildes vorgibt. Der Merkmalssatz für ein i. Schild wird wie folgt definiert: - Die Merkmale messen das Ausmaß der Scherung. Für hintere Schilder werden die Messungen in zwei Gruppen zusammengefasst. Die Cluster-Bildung kann unter Verwendung bestehender Verfahren erzielt werden, wie beispielsweise anhand eines K-Means-Algorithmus.
-
- Weiter mit Bezug auf
7 wird in Schritt S716 eine korrigierte Schildgeometrie CVi für jedes Musterschild bestimmt, wobei C die Matrix ist und Vi der Merkmalssatz ist, der die ursprüngliche Schildgeometrie beschreibt. Die korrigierte Schildgeometrie wird durch Matrixmultiplikation erzielt. Anschließend wird in Schritt S718 ein Abstand zwischen der korrigierten Schildgeometrie und der idealen Schildgeometrie bestimmt, und wird durch ||CVi-D|| dargestellt. Das mathematische Symbol „||“ bezeichnet die Frobeniusnorm, welche die Quadratsumme aller Matrixelemente ist, die für die Anzahl der Musterschilder bestimmt werden. - Weiter mit Bezug auf
7 wird in Schritt 720 eine Korrekturmatrix bestimmt. Die Korrekturmatrix ist eine zweidimensionale Korrekturmatrix, die durch die Gleichung: - Weiter mit Bezug auf
7 wird eine 4x8N-Matrix V' gebildet, die Schildinformationen für eine Anzahl N von Musternummernschildern in Schritt S720 enthält. Genauer gesagt wird die Matrix V' nur unter Verwendung von Schildern, die zu demselben Cluster gehören, aufgebaut. Die Matrix V' wird durch folgende Gleichung dargestellt: -
-
- Anschließend wird die Korrekturmatrix C1, C2 für das zweite Cluster bestimmt. Das Verfahren endet in Schritt S726.
- Betriebsphase
- Die Korrekturmatrizen C1, C2, die in der Trainingsphase bestimmt wurden, werden in der Speichervorrichtung gespeichert, bis die kalibrierte Kamera in Betrieb genommen wird. Im Allgemeinen wird die kalibrierte Kamera an einer ausgewählten Stelle in einer Transportinfrastruktur positioniert, um es der Kamera zu ermöglichen, Bilder von Nummernschildern zu lokalisieren und/oder aufzunehmen. Die Kamera wird verwendet, um den Fahrzeugverkehrsfluss zu überwachen, und das Bild wird verwendet, um die Nummern der Nummernschilder an den Fahrzeugen zu identifizieren.
-
8 zeigt ein Ablaufschema, das einen Vorgang zum Korrigieren eines Bildes 800 beschreibt, das von der Kamera aufgenommen wird, und genauer gesagt zum Identifizieren der Nummer eines Nummernschildes, das in dem Bild enthalten ist. Das Verfahren beginnt in Schritt S802. Die Bildaufnahmevorrichtung, die unter Verwendung des Prozesses kalibriert wurde, der in7 beschrieben wurde, wird in Schritt S804 bereitgestellt. Ein Eingabebild (nachstehend als „wirkliches Bild“ bezeichnet) wird in Schritt S806 an der Bildkorrekturvorrichtung (siehe 106 in1 ) von der kalibrierten Kamera empfangen. - Weiter mit Bezug auf
8 kann das wirkliche Bild in Schritt S808 eingestellt werden, wenn die kalibrierte Kamera einen Maßstab in einem eingeschränkten Bereich handhabt. Das Verfahren des Einstellens des wirklichen Bildes ist analog zu dem Vorgang der Vorskalierung, der als Schritt S704 in7 beschrieben wurde. Die Korrektur fährt mit der Verwendung der Korrekturmatrix fort, die in der Trainingsphase bestimmt wurde, um das Bild einzustellen. Die Einstellung wird folgendermaßen vorgenommen - Wenn mindestens einer der Werte x' und y' keine Ganzzahl ist, wird v(x', y') aus seinen nächsten Nachbarn bestimmt, beispielsweise unter Verwendung einer linearen Interpolation.
- Für die hinteren Schilder wird die Matrix zum Korrigieren der schrägen Schilder zuerst in Schritt S810 angewendet. Wenn die ALPR kein Schild erkennt, wird das Eingabebild in Schritt S812 wieder unter Verwendung der Matrix für die geraden Schilder eingestellt. Dieser Prozess ermöglicht es dem System, die Schilder für beide Fälle zu erkennen. Das Verfahren endet in Schritt S814.
-
9 zeigt eine Reihe Bilder von Schildern, bevor und nachdem die Korrektur auf das aufgenommene Bild angewendet wird bzw. wurde. Die durchsichtig gezeigten Bilder umfassen die Umrisse der ursprünglichen Schilder, die von der Bildaufnahmevorrichtung empfangen werden. Die ersten dreizehn Schilder definieren schräge Schilder. Die letzten sieben Schilder definieren gerade orientierte Schilder. Die Originalbilder sind den korrigierten Bildern überlagert, die mit durchgezogenen Linien gezeigt werden. Es ist ersichtlich, dass die Korrekturen dazu neigen, die Orientierung des Schildes zu einem im Wesentlichen idealen Rechteck zu korrigieren. - Ausgleich für Abweichung
- Nach der anfänglichen Kalibrierung kann das System die ALPR-Ergebnisse weiter überwachen und eine Parameterabweichung erkennen. Nach einem vorherbestimmten Zeitraum, wie beispielsweise alle 24 Stunden oder alle fünf Minuten, kann das System den in
7 beschriebenen Prozess wiederholen, um die Korrekturmatrizen unter Verwendung der neuesten ALPR-Detektionsdaten neu zu berechnen und zu aktualisieren. Das System kann auch eine Warnung senden, wenn die Abweichung eine voreingestellte Schwelle oder Grenze überschreitet. - Ein Aspekt der vorliegenden Offenbarung ist eine deutliche Reduzierung des Suchbereichs für die ALPR. Das vorliegende System reduziert die rechnerischen Kosten, die mit der Schildkorrektur verknüpft sind. Das System verbessert ferner die Fehlerquote, die mit falschen Positivmeldungen verknüpft ist. Ein weiterer Aspekt des Systems ist eine Bildaufnahmevorrichtung, die dazu geeignet ist, um die Vorbereitungsparameter im Verlauf der Zeit selber einzustellen, um eine Abweichung der geometrischen und Kameraparameter auszugleichen.
- Beispielhafte Umsetzung
- Eine beispielhafte Umsetzung der Betriebsphase wird als aufgenommene Bilder und Ergebnisse in
10A-B und11A-B abgebildet.10A und10B zeigen zwei Eingabebilder, die von einer kalibrierten Bildaufnahmevorrichtung aufgenommen wurden.10A zeigt ein Bild eines ursprünglichen Nummernschildes, das aufgenommen wurde und eine gerade Montage aufweist. Wie es aus der Figur hervorgeht, ist das Schild gerade montiert, doch das Fahrzeug, an dem das Schild montiert ist, ist mit Bezug auf die Bildaufnahmevorrichtung in einem Winkel positioniert. Auf diese Art und Weise wird das Schild an seinen waagerechten Achsen entlang in einem Winkel aufgenommen. -
10B zeigt ein Bild eines ursprünglichen Nummernschildes, das aufgenommen wurde und eine schräge Montage aufweist. Wie es aus der Figur hervorgeht, ist das Schild mit einer Neigung montiert, so dass es mit Bezug auf die Kamera entlang seinen senkrechten Achsen angewinkelt ist. Wie es ferner in der Figur zu sehen ist, ist das Fahrzeug, an dem das Schild montiert ist, mit Bezug auf die Bildaufnahmevorrichtung in einem Winkel positioniert. Auf diese Art und Weise wird das Schild ebenfalls an seinen waagerechten Achsen entlang in einem Winkel aufgenommen. - Diese Bilder wurden unter Verwendung des Vorgangs getestet, der für
8 beschrieben wird.11A und11B entsprechen dem korrigierten Bild, nachdem es dem Prozess unterzogen wurde.11A zeigt das korrigierte Schild für das in10A gezeigte gerade Bild. Wie ersichtlich, wird das korrigierte Schild als ein im Allgemeinen rechteckiges Ausgabebild mit vier Ecken bereitgestellt, die jeweils einen Winkel von im Wesentlichen 90 Grad aufweisen. Ähnlich wird das in11 B gezeigte korrigierte Bild für das schräge Schild aus10B auch mit einer im Allgemeinen rechteckigen, d.h. idealen, Form gezeigt und mit vier Winkeln von im Wesentlichen 90 Grad.
Claims (7)
- Verfahren zum Einstellen eines Nummernschildes, das in einem aufgenommenen Bild (142) erkannt wird, wobei das Verfahren folgende Schritte umfasst: automatisches Bestimmen mindestens einer ersten Korrekturmatrix C (122) mit einem ersten Satz Korrekturparameter, die einem schräg orientierten Schild entsprechen; umfassend: Empfangen von Bildern (120) einer Anzahl N von Nummernschildern, die von der Bildaufnahmevorrichtung (144) aufgenommen werden; Bestimmen der XY-Koordinaten für jede der vier Ecken jedes Nummernschildes, das in den Bildern aufgenommen wird; Bestimmen eines Merkmalssatzes durch Berechnen der Differenzen zwischen den XY-Koordinaten der vier Ecken; Bestimmen einer Originalschild-Geometriematrix Vi aus dem Merkmalssatz; Bestimmen einer idealen Schildgeometrie D, wobei die Vektoren der Matrix D durch die Höhe und Breite eines idealen rechteckigen Schildes definiert sind; Bestimmen einer korrigierten Schildgeometrie CVi; Bestimmen eines Abstandes zwischen der korrigierten Schildgeometrie und der idealen Schildgeometrie durch Subtrahieren der idealen Schildgeometrie von der korrigierten Schildgeometrie (CVi-D); und Bestimmen der ersten Korrekturmatrix C (122) durch Quadrieren einer Summe aller Matrixelemente für die Nummernschilder, wobei die erste Korrekturmatrix C (122), die den ersten Satz von Korrekturparametern enthält, die dem schräg orientierten Schild entsprechen; Empfangen eines Eingabebildes (142), das ein erkanntes Nummernschild darstellt; als Reaktion auf den Empfang des Eingabebildes, automatisches Einstellen des Eingabebildes, das die Verwendung der ersten Korrekturmatrix C (122) umfasst, um den mindestens einen Satz der Korrekturparameter anzuwenden, um ein korrigiertes Bild zu erzielen.
- Verfahren nach
Anspruch 1 , wobei das Einstellen ferner Folgendes umfasst: Bestimmen, ob ein schräg orientierte Schild erkannt wurde, nachdem die erste Korrekturmatrix C (122) mit dem ersten Satz Korrekturparameter angewendet wurde; und als Reaktion darauf, dass das schräg orientierte Schild nicht erfasst wurde, Anwenden mindestens einer zweiten Korrekturmatrix mit einem zweiten Satzes Korrekturparameter, die einem gerade orientierten Schild entsprechen. - Verfahren nach
Anspruch 1 , wobei das Einstellen ferner umfasst: Skalieren des erkannten Schildes in dem Eingabebild auf eine vorherbestimmte Größe. - Verfahren nach
Anspruch 1 , wobei das Bestimmen der ersten Korrekturmatrix ferner Folgendes umfasst: Bestimmen einer Matrix V', welche die Schildinformationen für die Anzahl N von Schildern enthält; Bestimmen einer idealen Schildgeometrie D'; und Berechnen eines Vektors c' unter Verwendung der Matrix V' und der Matrix D', wobei der Vektor c' die Einträge der Matrix C enthält. - Verfahren nach
Anspruch 4 , wobei die Anzahl N von Schildern alle eines von einem gerade orientierten und einem schräg orientierten Schild umfassen. - Verfahren nach
Anspruch 4 , wobei das Bestimmen der idealen Schildgeometrie D' Folgendes umfasst: Vorgeben einer idealen Höhe und Breite der Anzahl N von Nummernschildern. - System (100) zum Einstellen eines Eingabebildes, wobei das System Folgendes umfasst: eine Trainingsvorrichtung (102), die geeignet ist zum: Empfangen von Bildern (120) von einer Anzahl N von Schildern, Bestimmen einer Matrix V', die Merkmalssätze für jedes der Anzahl N von Schildern enthält, Bestimmen einer idealen Geometriematrix D' durch Vorgeben von Merkmalssätzen für Höhe und Breite von N idealen Schildern, und Berechnen einer ersten Korrekturmatrix (122) unter Verwendung der Matrix V' und der idealen Geometrie D'; eine Speichervorrichtung (104) in Kommunikation mit der Trainingsvorrichtung (102), wobei die Speichervorrichtung (104) dazu geeignet ist, um die erste Korrekturmatrix (122) zu speichern; eine Eingabevorrichtung (144), die dazu geeignet ist, um ein Bild eines erkannten Nummernschildes aufzunehmen; eine Korrekturvorrichtung (106) in Kommunikation mit der Eingabevorrichtung und der Speichervorrichtung, wobei die Korrekturvorrichtung geeignet ist zum: Empfangen des aufgenommenen Bildes (142), das von der Eingabevorrichtung übertragen wird, und als Reaktion auf das Empfangen des Eingabebildes, automatisches Einstellen des Eingabebildes v[(x',y')], um ein korrigiertes Bild v'(x,y) (146) durch Anwenden mindestens einer Korrekturmatrix zu erzielen, wobei die mindestens eine Korrekturmatrix die erste Korrekturmatrix (122) aufweist; eine Schnittstelle (148) in Kommunikation mit der Korrekturvorrichtung, wobei die Schnittstelle dazu geeignet ist, um das korrigierte Bild anzuzeigen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/494,302 | 2012-06-12 | ||
US13/494,302 US9020200B2 (en) | 2012-06-12 | 2012-06-12 | Geometric pre-correction for automatic license plate recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102013210478A1 DE102013210478A1 (de) | 2013-12-12 |
DE102013210478B4 true DE102013210478B4 (de) | 2023-10-26 |
Family
ID=49626057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013210478.2A Active DE102013210478B4 (de) | 2012-06-12 | 2013-06-05 | Geometrische vorkorrektur zur automatischen nummernschilderkennung |
Country Status (3)
Country | Link |
---|---|
US (1) | US9020200B2 (de) |
JP (1) | JP6091325B2 (de) |
DE (1) | DE102013210478B4 (de) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9818154B1 (en) | 2014-06-27 | 2017-11-14 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US9607236B1 (en) | 2014-06-27 | 2017-03-28 | Blinker, Inc. | Method and apparatus for providing loan verification from an image |
US9754171B1 (en) | 2014-06-27 | 2017-09-05 | Blinker, Inc. | Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website |
US9589201B1 (en) | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle value from an image |
US10515285B2 (en) | 2014-06-27 | 2019-12-24 | Blinker, Inc. | Method and apparatus for blocking information from an image |
US9594971B1 (en) | 2014-06-27 | 2017-03-14 | Blinker, Inc. | Method and apparatus for receiving listings of similar vehicles from an image |
US9600733B1 (en) | 2014-06-27 | 2017-03-21 | Blinker, Inc. | Method and apparatus for receiving car parts data from an image |
US10540564B2 (en) | 2014-06-27 | 2020-01-21 | Blinker, Inc. | Method and apparatus for identifying vehicle information from an image |
US9760776B1 (en) | 2014-06-27 | 2017-09-12 | Blinker, Inc. | Method and apparatus for obtaining a vehicle history report from an image |
US10867327B1 (en) | 2014-06-27 | 2020-12-15 | Blinker, Inc. | System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate |
US10572758B1 (en) | 2014-06-27 | 2020-02-25 | Blinker, Inc. | Method and apparatus for receiving a financing offer from an image |
US9589202B1 (en) | 2014-06-27 | 2017-03-07 | Blinker, Inc. | Method and apparatus for receiving an insurance quote from an image |
US9779318B1 (en) | 2014-06-27 | 2017-10-03 | Blinker, Inc. | Method and apparatus for verifying vehicle ownership from an image |
US9773184B1 (en) | 2014-06-27 | 2017-09-26 | Blinker, Inc. | Method and apparatus for receiving a broadcast radio service offer from an image |
US10733471B1 (en) | 2014-06-27 | 2020-08-04 | Blinker, Inc. | Method and apparatus for receiving recall information from an image |
US9558419B1 (en) | 2014-06-27 | 2017-01-31 | Blinker, Inc. | Method and apparatus for receiving a location of a vehicle service center from an image |
US10579892B1 (en) | 2014-06-27 | 2020-03-03 | Blinker, Inc. | Method and apparatus for recovering license plate information from an image |
US9563814B1 (en) | 2014-06-27 | 2017-02-07 | Blinker, Inc. | Method and apparatus for recovering a vehicle identification number from an image |
US9892337B1 (en) | 2014-06-27 | 2018-02-13 | Blinker, Inc. | Method and apparatus for receiving a refinancing offer from an image |
US10323450B2 (en) * | 2015-10-20 | 2019-06-18 | Hi-Tech Solutions Ltd. | Cloud-base ANPR management |
US10198954B2 (en) | 2015-12-30 | 2019-02-05 | Motorola Solutions, Inc. | Method and apparatus for positioning an unmanned robotic vehicle |
US10068146B2 (en) | 2016-02-25 | 2018-09-04 | Conduent Business Services, Llc | Method and system for detection-based segmentation-free license plate recognition |
CN106127248A (zh) * | 2016-06-24 | 2016-11-16 | 平安科技(深圳)有限公司 | 基于深度学习的车牌分类方法及*** |
CN106127206B (zh) * | 2016-06-28 | 2019-04-05 | 北京智芯原动科技有限公司 | 一种车牌的竖直角度检测方法及装置 |
EP3874401A4 (de) * | 2018-12-29 | 2021-11-03 | Zhejiang Dahua Technology Co., Ltd. | Systeme und verfahren zur erkennung von kennzeichenschildern |
CN110427937B (zh) * | 2019-07-18 | 2022-03-22 | 浙江大学 | 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法 |
CN111339846B (zh) * | 2020-02-12 | 2022-08-12 | 深圳市商汤科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
TWI818535B (zh) * | 2022-05-04 | 2023-10-11 | 博遠智能科技股份有限公司 | 車牌辨識系統及方法 |
CN114882489B (zh) * | 2022-07-07 | 2022-12-16 | 浙江智慧视频安防创新中心有限公司 | 一种对旋转车牌进行水平校正方法、装置、设备及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07114689A (ja) * | 1993-10-18 | 1995-05-02 | Nippon Signal Co Ltd:The | 車両登録番号認識方法 |
JPH08320990A (ja) * | 1995-05-26 | 1996-12-03 | Japan Radio Co Ltd | 車番読み取り装置 |
JP4187458B2 (ja) * | 2002-04-23 | 2008-11-26 | 池上通信機株式会社 | 画像処理におけるアフィン変換係数算出方法および画像処理装置 |
US20120275653A1 (en) * | 2011-04-28 | 2012-11-01 | Industrial Technology Research Institute | Method for recognizing license plate image, and related computer program product, computer-readable recording medium, and image recognizing apparatus using the same |
-
2012
- 2012-06-12 US US13/494,302 patent/US9020200B2/en active Active
-
2013
- 2013-05-20 JP JP2013105848A patent/JP6091325B2/ja not_active Expired - Fee Related
- 2013-06-05 DE DE102013210478.2A patent/DE102013210478B4/de active Active
Non-Patent Citations (3)
Title |
---|
DEB, Kaushik; VAVILIN, Andrey; JO, Kang-Hyun. An efficient method for correcting vehicle license plate tilt. In: 2010 IEEE International Conference on Granular Computing. IEEE, 2010. S. 127-132 |
MARTINSKY, Ondrej. Algorithmic and mathematical principles of automatic number plate recognition systems. B.Sc. Thesis, Brno University of technology, 2007 |
PAN, Renlong; MA, Xiaojuan; WANG, Lin. An efficient method for skew correction of license plate. In: 2010 Second International Workshop on Education Technology and Computer Science. IEEE, 2010. S. 90-93 |
Also Published As
Publication number | Publication date |
---|---|
US20130329961A1 (en) | 2013-12-12 |
JP2013257864A (ja) | 2013-12-26 |
US9020200B2 (en) | 2015-04-28 |
DE102013210478A1 (de) | 2013-12-12 |
JP6091325B2 (ja) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013210478B4 (de) | Geometrische vorkorrektur zur automatischen nummernschilderkennung | |
DE102015207676B4 (de) | Verfahren und Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera | |
DE102013205810B4 (de) | System und verfahren zum einschätzen von verfügbaren parkplätzen zum parken auf der strasse mit mehreren plätzen | |
DE69625423T2 (de) | Vorrichtung zur Erkennung eines Objektes, in welchem die Position eines ebenen Objektes mit Hilfe einer Houghtransformation geschätzt wird | |
DE102011106050B4 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads | |
DE102008053460B4 (de) | Objekterfassungssystem | |
DE102015121339B4 (de) | Systeme und verfahren zum ermitteln eines zustands einer fahrbahn | |
DE102016120775A1 (de) | System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem | |
DE102020216406A1 (de) | Inspektionssystem und verfahren für fahrzeugunterboden | |
DE102014211948A1 (de) | System und Verfahren zur selektiven Bestimmung von Punktwolken | |
DE102016013274A1 (de) | Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten | |
DE60217589T2 (de) | Vorrichtung und Verfahren zur Detektion von weissen Linien | |
DE102015121387B4 (de) | Hinderniserkennungseinrichtung und Hinderniserkennungsverfahren | |
DE102017201280A1 (de) | Vorrichtung und verfahren zur fahrspur-abschätzung | |
DE102019106277A1 (de) | Bildanalysevorrichtung, -verfahren und -programm | |
DE102013102153A1 (de) | Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren | |
DE102005063199A1 (de) | Vorrichtung und Verfahren zur Erkennung von Straßenmarkierungen | |
DE102019124810A1 (de) | Bildverarbeitungsgerät und Bildverarbeitungsverfahren | |
DE102011106072A1 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte kamera erfassten bild unter verwendung einer optimierten ausgerichteten linearen achse | |
DE112020005377T5 (de) | Systeme und verfahren zur automatischen kamerainstallationsführung (cig) | |
DE112020005223T5 (de) | Objektverfolgungseinrichtung und Objektverfolgungsverfahren | |
DE102019104310A1 (de) | System und Verfahren zur simultanen Betrachtung von Kanten und normalen bei Bildmerkmalen durch ein Sichtsystem | |
DE102011106052A1 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns | |
DE102021107333A1 (de) | 3d-stellungsabschätzung mit einer 2d-kamera | |
DE102022102934A1 (de) | Ereignisbasierte fahrzeugposenschätzung unter verwendung monochromatischer bildgebung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R082 | Change of representative |
Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US Owner name: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. ST, US Free format text: FORMER OWNER: XEROX CORPORATION, NORWALK, CONN., US |
|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R081 | Change of applicant/patentee |
Owner name: CONDUENT BUSINESS SERVICES, LLC, FLORHAM PARK, US Free format text: FORMER OWNER: CONDUENT BUSINESS SERVICES, LLC (N.D.GES.D. STAATES DELAWARE), DALLAS, TEX., US |
|
R082 | Change of representative |
Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06V0030190000 Ipc: G06V0020540000 |
|
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division |