DE102014113372B4

DE102014113372B4 - Filtervorrichtung

Info

Publication number: DE102014113372B4
Application number: DE102014113372.2A
Authority: DE
Inventors: Hiroyuki Ono
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2013-09-30
Filing date: 2014-09-17
Publication date: 2021-03-04
Anticipated expiration: 2034-09-18
Also published as: JP5955292B2; DE102014113372A1; JP2015069568A; CN104512334B; CN104512334A; US9659376B2; US20150092990A1

Abstract

Filtervorrichtung, umfassend:ein Evaluationswertherleitemodul (160), das, für ein Paar von Vergleichszielen (200, 210) mit wechselseitiger Relevanz, mehrere Evaluationswerte herleitet, die Korrelationen anzeigen zwischen Referenz-Extraktionsteilen (204), extrahiert von einem (200) in dem Paar der Vergleichsziele, und mehreren Vergleichs-Extraktionsteilen (214), extrahiert von dem anderen (210) in dem Paar der Vergleichsziele, wobei die Referenz-Extraktionsteile (204) ein erstes Referenz-Extraktionsteil (204a) und ein zweites Referenz-Extraktionsteil (204b) umfassen,ein Positionsverhältnisinformationherleitemodul (162), dasein Vergleichs-Extraktionsteil mit der höchsten Korrelation (214a) mit jedem (204a, 204b) der Referenz-Extraktionsteile und ein anderes Vergleichs-Extraktionsteil mit der zweithöchsten Korrelation (214b) mit jedem (204a, 204b) der Referenz-Extraktionsteile (204) von den mehreren Vergleichs-Extraktionsteilen (214) extrahiert;die Ordnung von Korrelationen der mehreren Vergleichs-Extraktionsteile (214) einschließlich des Vergleichs-Extraktionsteils mit der höchsten Korrelation (214a) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) und dem anderen Vergleichs-Extraktionsteil mit der zweithöchsten Korrelation (214b) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) und Positionsverhältnisinformation einschließlich einer ersten Position (Pa+Fa) des Vergleichs-Extraktionsteils mit der höchsten Korrelation (214a) und einer zweiten Position (Pa+Sa) des anderen Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation (214b) herleitet; unddie Ordnung der Korrelationen und der Positionsverhältnisinformation den Referenz-Extraktionsteilen zuordnet; undein Positionsverhältnisaustauschmodul (164), dasdie Ordnung der Korrelationen der Vergleichs-Extraktionsteile (214) mit dem ersten Referenz-Extraktionsteil und die Positionsverhältnisinformation der Ordnung der Korrelationen mit der Ordnung der Korrelationen der Vergleichs-Extraktionsteile mit dem zweiten Referenz-Extraktionsteil und der Positionsverhältnisinformation der Ordnung der Korrelationen vergleicht;relative Positionen (Fa, Fb) der Vergleichs-Extraktionsteile mit der höchsten Korrelation (214a) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) und relative Positionen (Sa, Sb) der Vergleichs-Extraktionsteile mit der zweithöchsten Korrelation (214b) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) herleitet; undbestimmt, ob eine erste Bedingung erfüllt ist, wobei die erste Bedingung dahingehend definiert ist, dass die Differenz zwischen der Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Pa+Fa) und der Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Pb+Fb) kleiner ist als ein erster vorbestimmter Grenzwert und die Differenz zwischen der Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Pa+Sa) und der Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Pb+Sb) kleiner ist als ein zweiter vorbestimmter Grenzwert; und des Weiteren bestimmt, wenn die erste Bedingung erfüllt ist, ob eine zweite Bedingung erfüllt ist, wobei die zweite Bedingung dahingehend definiert ist, dass die Differenz zwischen der relativen Position des Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation zu dem ersten Referenz-Extraktionsteil (Sa) und die relative Position des Vergleichs-Extraktionsteils mit der höchsten Korrelation zu dem zweiten Referenz-Extraktionsteil (Fb) kleiner ist als ein dritter vorbestimmter Grenzwert; unddie Ordnung der Korrelationen der Vergleichs-Extraktionsteile, die dem ersten Referenz-Extraktionsteil entsprechen, miteinander vertauscht, wenn die zweite Bedingung erfüllt ist.

Description

Die vorliegende Erfindung betrifft eine Filtervorrichtung, die in geeigneter Weise einen Differenzwert (Parallaxe) eines Objektes in mehreren Vergleichszielen herleitet.
Bekannt sind eine Technologie wie beispielsweise eine Kollisionsvermeidungssteuerung, die spezifische Objekte einschließlich eines anderen Fahrzeugs vor einem Fahrzeug detektiert und eine Kollision mit einem vorausfahrenden Fahrzeug vermeidet, sowie eine Technologie wie beispielsweise eine Fahrtsteuerung, die derart steuert, dass ein Zwischenfahrzeugabstand zu einem vorausfahrenden Fahrzeug auf einem sicheren Abstand beibehalten wird (siehe zum Beispiel japanisches Patent (JP-B) Nr. 3,349,060 ).
Solch eine Kollisionsvermeidungssteuerung und eine Fahrtsteuerung leiten Parallaxen her durch Verwendung von sogenanntem Musterabgleich, um einen relativen Abstand von dem Fahrzeug zu einem vor dem Fahrzeug befindlichen Objekt zu akquirieren. Der Musterabgleich akquiriert Bilddaten von beispielsweise jeder von zwei Bildaufnahmevorrichtungen, deren Perspektiven voneinander differieren. Der Musterabgleich extrahiert dann einen von Blöcken (im Folgenden als „der Referenzblock“ bezeichnet) von einem Bild (im Folgenden als „das Referenzbild“ bezeichnet), basierend auf den Bilddaten, die erzeugt werden von einer der Bildaufnahmevorrichtungen, und sucht einen in hohem Maße korrelierenden Block (im Folgenden bezeichnet als „der Vergleichsblock“) in einem Bild (im Folgenden bezeichnet als „das Vergleichsbild“), basierend auf den Bilddaten, die erzeugt werden von der anderen Bildaufnahmevorrichtung. Der Musterabgleich nimmt daraufhin Bezug auf Bildaufnahmeparameter wie beispielsweise installierte Positionen und Brennweiten der Bildaufnahmevorrichtungen, verwendet ein sogenanntes Stereoverfahren oder ein Triangulationsverfahren, um den relativen Abstand des Objekts in Bezug auf die Bildaufnahmevorrichtungen zu berechnen, basierend auf der hergeleiteten Parallaxe, und konvertiert den berechneten relativen Abstand in dreidimensionale (3D) Positionsinformation, welche einen horizontalen Abstand und eine Höhe des Objektes zusätzlich zu den berechneten relativen Abständen enthält. Des Weiteren werden verschiedene Erkennungsprozesse durchgeführt unter Verwendung der 3D-Positionsinformation. Es ist zu beachten, dass der Begriff „horizontal“, wie er hierin verwendet wird, sich auf die transversale oder Breitenrichtung des Bildes bezieht, und der Begriff „vertikal“ (später beschrieben), wie er hierin verwendet wird, sich auf die Vertikalrichtungen des Bildes bezieht, welche senkrecht sind zu den Horizontalrichtungen .
Der Musterabgleich berechnet eine Korrelation eines Blocks in dem Vergleichsbild mit jedem Block in dem Referenzbild, wobei der Block in dem Vergleichsbild horizontal verschoben wird, und verwendet eine Differenz (Differenzwerte) in Koordinaten zwischen dem Vergleichsbild des am meisten korrelierenden Blockes und dem korrespondierenden Block in den Referenzbildern als die Parallaxe. Es existieren jedoch verschiedene Objekte vor dem Fahrzeug und die Bilder können mehrere ähnliche Objekte enthalten und/oder ein Objekt kann ähnliche Subjektteile enthalten. Typische Beispiele der ähnlichen Objekte und ähnlicher Subjektteile schließen ein eine Reihe von Pylonen, Beleuchtungsmasten oder Telegraphenmasten auf der Straße und vorbestimmte Teile eines Fahrzeugs. Wenn solche ähnlichen Objekte und/oder ähnlichen Subjektteile horizontal angeordnet sind, kann ein Objekt und/oder Subjektteil mit einem anderen ähnlichen Objekt und/oder Subjektteil abgeglichen werden, was zu einer irrtümlichen Herleitung der Parallaxe führt.
Aus diesem Grund offenbart beispielsweise die JP-B Nr. 3,287,465 eine Technologie des Musterabgleichs, die, wenn bestimmt wird, dass ein Vergleichsblock des Vergleichsbildes die höchste Korrelation mit mehreren Referenzblöcken des Referenzbildes aufweist (dieser Fall wird einfach als „Paarung“ bezeichnet), bestimmt, dass nur eine Parallaxe bezüglich eines der Referenzblöcke, der die minimale Parallaxe aufweist, gültig ist.
Da jedoch die in der JP-B Nr. 3,287,465 offenbarte Technologie die Parallaxe (Differenzwert) bezüglich des Referenzblockes, der nicht als gültig bestimmt wird, ausschließt, wird der Vergleichsblock, der dem betroffenen Referenzblock entspricht, dahingehend verarbeitet, nicht existent zu sein, obwohl der Vergleichsblock tatsächlich existiert. Des Weiteren, wenn mehrere Vergleichsblöcke, die mehreren Referenzblöcken entsprechen, zufällig miteinander abgeglichen wurden, das heißt, wenn ein Referenzblock abgeglichen wurde mit einem Vergleichsblock, der einem anderen Referenzblock entspricht, und ein Vergleichsblock entsprechend dem einen Referenzblock dem anderen Referenzblock zugeordnet wird (dieser Fall wird einfach als „Kreuzpaarung“ bezeichnet), kann die in der JP-B Nr. 3,287,465 offenbarte Technologie diesen irrtümlichen Abgleich beziehungsweise dieses irrtümliche Matching nicht korrigieren.
Die DE 10 2004 004 528 A1 offenbart eine Stereobildverarbeitung mit Stereokorrespondenzsuche zwischen einem Referenzbild und mehreren Vergleichsbildern, bei der die Gefahr falscher Parallaxenbestimmung durch eine Bewertungswertverteilung vermindert werden soll.
Aus Z. Zhang et al.: A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry. In: Artificial Intelligence 78 (1995) 87 119, ist es bekannt, bei der Stereokorrespondenzsuche durch Bildkorrelation zweitbeste Übereinstimmungskandidaten zu berücksichtigen.
Die vorliegende Erfindung wurde im Hinblick auf die oben beschriebenen Umstände gemacht und ihr liegt eine Aufgabe zugrunde, eine Filtervorrichtung bereitzustellen, die in geeigneter Weise einen Differenzwert eines Objektes herleiten kann durch Evaluieren von relativen Positionsbeziehungen von Referenzblöcken und relativen Positionsbeziehungen von Vergleichsblöcken.
Diese Aufgabe wird gelöst durch eine Filtervorrichtung gemäß Patentanspruch 1. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Die Filtervorrichtung kann angewandt werden bei einem Stereobildaufnahmesystem, das ein Paar Bilder mit wechselseitiger Relevanz erzeugt. Das Paar Vergleichsziele kann aufweisen ein Referenzbild, aufgenommen von einer der Kameras des Stereobildaufnahmesystems, und ein Vergleichsbild, aufgenommen von der anderen Kamera.
Die Filtervorrichtung kann angewandt werden auf eine monokulare Bildaufnahmevorrichtung mit einer monokularen Kamera und das Paar Vergleichsziele kann umfassen ein Paar von Bildern, die zu unterschiedlichen Zeitpunkten aufgenommen wurden.
Die Filtervorrichtung kann angewandt werden auf eine monokulare Bildaufnahmevorrichtung mit einer Monokularkamera und das Paar Vergleichsziele kann umfassen ein Bild, aufgenommen von der Kamera, und ein Musterbild, das zuvor angefertigt wurde.
Die vorliegende Erfindung wird nachfolgend beispielhaft, und nicht zum Zwecke der Einschränkung, erläutert unter Bezug auf die beigefügten Zeichnungen, in denen gleiche Bezugszeichen gleiche Elemente anzeigen, und in denen

1 ein Blockschaubild ist, das eine Verbindungsbeziehung eines Umgebungserkennungssystems zeigt,
2 ein funktionales Blockschaubild ist, das schematisch Funktionen einer Fahrzeugaußenumgebungerkennungsvorrichtung zeigt,
3 ein Schaubild ist, das ein Referenzbild und ein Vergleichsbild zeigt,
4 ein Flussdiagramm ist, das einen Arbeitsablauf eines Musterabgleichprozesses zeigt,
5A bis 5C einen Durchschnittswertdifferenzabgleich zeigen,
6 ein Schaubild ist, das Positionsverhältnisinformation zeigt,
7A bis 7D Haltebereiche zeigen,
8 eine Darstellung ist, die den Arbeitsablauf des
Positionsverhältnisaustauschmoduls zeigt,
9A bis 9D Haltebereiche zeigen,
10A bis 10D Haltebereiche zeigen,
11.A bis 11D Haltebereiche zeigen,
12A bis 12D Haltebereiche zeigen,
13 ein Schaubild ist, das einen anderen Arbeitsablauf des
Positionsverhältnisaustauschmoduls zeigt,
14A bis 14D Haltebereiche zeigen,
15A bis 15D Haltebereiche zeigen, und
16A bist 16D Haltebereiche zeigen.

Im Folgenden wird ein geeignetes Ausführungsbeispiel der vorliegenden Erfindung im Detail beschrieben unter Bezug auf die beigefügten Zeichnungen. Dimensionen, Materialien, konkrete numerische Werte und dergleichen, die in diesem Beispiel dargestellt sind, dienen lediglich dem leichteren Verständnis der vorliegenden Erfindung und, soweit nicht anderweitig speziell ausgeführt, dienen diese Beispiele nicht zur Beschränkung der vorliegenden Erfindung. Es ist zu beachten, dass in dieser Beschreibung und den beigefügten Zeichnungen Elemente, die im Wesentlichen die gleiche Funktion und Konfiguration aufweisen, mit den gleichen Bezugszeichen bezeichnet sind, um redundante Erläuterungen wegzulassen, und jegliche andere Elemente, die nicht direkt zu der vorliegenden Erfindung Bezug haben, in den beigefügten Zeichnungen nicht dargestellt sind.
In den letzten Jahren sind Fahrzeuge, die eine sogenannte Kollisionsvermeidungsfunktion (adaptive Fahrtsteuerung: ACC) aufweisen, verbreitet worden. Diese Funktion bildet die Straßenumgebung vor dem Fahrzeug ab, wenn Onboardkameras montiert sind, identifiziert ein Objekt wie beispielsweise ein vorausfahrendes Fahrzeug basierend auf Farbinformation und/oder Positionsinformation, erhalten von den Bildern (Vergleichsziel), und vermeidet hierdurch eine Kollision mit dem identifizierten Objekt und/oder hält einen Zwischenfahrzeugabstand zu dem vorausfahrenden Fahrzeug auf einem sicheren Abstand.
Die Kollisionsvermeidungsfunktion verwendet beispielsweise ein Paar Bildaufnahmevorrichtungen, deren Perspektiven voneinander differieren (ein Stereobildaufnahmesystem), um einen relativen Abstand von dem Fahrzeug zu einem Objekt, das sich vor dem Fahrzeug befindet, zu akquirieren, vergleicht ein Bild, das von einer der Bildaufnahmevorrichtungen akquiriert wurde, mit einem anderen Bild, das von der anderen Bildaufnahmevorrichtung akquiriert wurde, um hochkorrelierende Blöcke (Extraktionsteile) unter Verwendung von sogenanntem Musterabgleich zu extrahieren. Diese Bilder werden hierin verwendet als ein Paar von Vergleichszielen und eines wird ein „Referenzbild“ und das andere wird ein „Vergleichsbild“ genannt. Wenn jedoch mehrere ähnliche Objekte oder ähnliche Subjektteile in einem Objekt horizontal angeordnet sind, assoziiert ein Objekt oder ein Subjektteil mit einem anderen ähnlichen Objekt oder ähnlichem Subjektteil, was zu einer fehlerhaften Herleitung einer Parallaxe (Differenzwert) führt. Der Zweck des vorliegenden Ausführungsbeispiels besteht darin, die Parallaxe des Objekts in geeigneter Weise herzuleiten durch Evaluieren eines relativen Positionsverhältnisses zwischen Referenzblöcken (Referenz-Extraktionsteile) und eines relativen Positionsverhältnisses zwischen Vergleichsblöcken (Vergleichs-Extraktionsteile), genauer gesagt, Positionsverhältnissen mit höheren Korrelationen unter Evaluationswerten zwischen den Referenzblöcken und den Vergleichsblöcken. Es ist zu beachten, dass der Block einen Teil anzeigt, der ein oder mehrere Pixel in einem Bild umfasst. Im Folgenden wird ein Umgebungserkennungssystem zum Erreichen eines derartigen Zweckes beschrieben sowie eine Filtervorrichtung, die bei einer Fahrzeugaußenumgebungerkennungsvorrichtung vorgesehen ist, welche eine spezielle Komponente des Umgebungserkennungssystems ist, wird ebenfalls detailliert beschrieben.
(Umgebungserkennungssystem 100)
1 ist ein Blockschaubild, das eine Verbindungsbeziehung des Umgebungserkennungssystems 100 zeigt. Das Umgebungserkennungssystem 100 weist auf ein Paar Bildaufnahmevorrichtungen 110, die in einem Fahrzeug 1 (im Folgenden einfach bezeichnet als „das Fahrzeug“) angebracht sind, eine Fahrzeugaußenumgebungerkennungsvorrichtung 120 und eine Fahrzeugsteuerungsvorrichtung 130 (die typischerweise eine elektronische Steuereinheit (ECU) umfasst).
Jede Bildaufnahmevorrichtung 110 verfügt über Bildaufnahmeelemente wie beispielsweise ladungsgekoppelte Fotoelemente (CCDs) oder komplementäre Metalloxid-Halbleiter (CMOSs). Jede Bildaufnahmevorrichtung 110 kann die Umgebung vor dem Fahrzeug 1 aufnehmen, um ein Farbbild zu erzeugen, das aus drei Farben (R (rot), G (grün) und B (blau)) besteht, oder ein monochromes Bild. Es ist zu beachten, dass das Farbbild, das von der Bildaufnahmevorrichtung 110 aufgenommen wird, als ein Luminanzbild angenommen wird, was zu unterscheiden ist von einem Abstandsbild, das später beschrieben wird.
Die zwei Bildaufnahmevorrichtungen 110 sind zudem so angeordnet, dass sie in im Wesentlichen lateraler oder horizontaler Richtung voneinander beabstandet sind, so, dass sie in der Fahrtrichtung des Fahrzeugs 1 ausgerichtet sind, damit ihre optischen Achsen im Wesentlichen parallel zueinander ausgerichtet sind. Jede Bildaufnahmevorrichtung 110 erzeugt sukzessive Bilddaten, die erhalten werden durch Abbilden von Objekten, die sich in einem Detektionsbereich vor dem Fahrzeug 1 befinden, pro Bild (frame), beispielsweise alle 1/60 Sekunden (60 fps (Bild pro Sekunde)). Es ist zu beachten, dass der Begriff „Objekt“, so wie er hierin verwendet wird, dahingehend zu verstehen ist, dass er nicht nur ein festes Objekt betrifft, das unabhängig existiert, wie beispielsweise ein Fahrzeug, ein Fußgänger, eine Verkehrslichtzeichenanlage (Ampel), eine Straßenoberfläche (Fahrtweg), eine Leitplanke und ein Gebäude, sondern auch ein Objekt, das identifiziert werden kann als ein Teil des festen Objektes, wie beispielsweise ein Hecklicht, ein Blinklicht, jedes leuchtende Teil der Verkehrslichtzeichenanlage (Ampel). Jedes funktionale Modul, das nachfolgend beschrieben wird, führt Prozesse aus für jedes Bild, getriggert durch Erneuern solcher Bilddaten.
Die Fahrzeugaußenumgebungerkennungsvorrichtung 120 akquiriert die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110, leitet die Parallaxe her unter Verwendung von sogenanntem Musterabgleich und ordnet die hergeleitete Parallaxeinformation (entsprechend einem relativen Abstand, der später beschrieben wird) den Bilddaten zu, um das Abstandsbild zu erzeugen. Der Musterabgleich wird später im Detail beschrieben. Des Weiteren verwendet die Fahrzeugaußenumgebungerkennungsvorrichtung 120 die Luminanzen, basierend auf dem Luminanzbild, und dreidimensionale (3D) Positionsinformation im realen Raum, enthaltend den relativen Abstand in Bezug auf das Fahrzeug 1, basierend auf dem Abstandsbild, um Blöcke zu gruppieren, deren Luminanzen gleich sind und deren 3D-Positionsinformationen nahe beieinander sind, als ein einheitliches Objekt, und identifiziert dann ein spezifisches Objekt, mit dem das Objekt in dem Detektionsbereich vor dem Fahrzeug 1 korrespondiert.
Wenn das spezifische Objekt identifiziert ist, leitet die Fahrzeugaußenumgebungerkennungsvorrichtung 120 eine Relativgeschwindigkeit und dergleichen des spezifischen Objektes her (zum Beispiel eines vorausfahrenden Fahrzeugs), während sie das spezifische Objekt nachverfolgt, und bestimmt dann, ob eine Möglichkeit der Kollision des Fahrzeugs 1 mit dem spezifischen Objekt groß ist. Wenn die Fahrzeugaußenumgebungerkennungsvorrichtung 120 hierbei bestimmt, dass die Möglichkeit einer Kollision hoch ist, informiert die Fahrzeugaußenumgebungerkennungsvorrichtung 120 daraufhin einen Fahrer des Fahrzeugs und gibt eine Warnanzeige durch eine Anzeigeeinheit 122, die vor dem Fahrer installiert ist, aus und gibt Informationen aus, die eine Warnung anzeigen, an die Fahrzeugsteuerungsvorrichtung 130.
Die Fahrzeugsteuerungsvorrichtung 130 empfängt Betätigungseingänge des Fahrers durch ein Lenkrad 132, ein Beschleunigungspedal beziehungsweise Gaspedal 134 und ein Bremspedal 136 und überträgt die Eingänge auf einen Lenkmechanismus 142, einen Antriebsmechanismus 144 und einen Bremsmechanismus 146, um das Fahrzeug 1 zu steuern. Die Fahrzeugsteuerungsvorrichtung 130 steuert auch den Antriebsmechanismus 144 und den Bremsmechanismus 146 entsprechend Befehlen von der Fahrzeugaußenumgebungerkennungsvorrichtung 120.
Als Nächstes wird die Konfiguration der Fahrzeugaußenumgebungerkennungsvorrichtung 120 im Detail beschrieben. Es ist zu beachten, dass der Prozess der Filtervorrichtung zum Berechnen der Parallaxe des Objektes, der ein Merkmal dieses Ausführungsbeispiels ist, im Detail beschrieben wird, und somit Beschreibung von anderen Konfigurationen, die nicht auf dieses Merkmal dieses Ausführungsbeispiels bezogen sind, hierbei weggelassen wird.
(Fahrzeugaußenumgebungerkennungsvorrichtung 120)
2 ist ein funktionales Blockschaubild, das schematisch Funktionen der Fahrzeugaußenumgebungerkennungsvorrichtung 120 darstellt. Wie in 2 dargestellt, weist die Fahrzeugaußenumgebungerkennungsvorrichtung 120 eine I/F-Einheit 150, eine Datenhalteeinheit 152 und eine Zentralsteuereinheit 154 auf.
Die I/F-Einheit 150 ist eine Schnittstelle, die bidirektionale Information austauscht mit den Bildaufnahmevorrichtungen 110 und der Fahrzeugsteuerungsvorrichtung 130. Die Datenhalteeinheit 152 weist auf ein oder mehrere RAMs, einen oder mehrere Flashspeicher, einen oder mehrere HDDs, etc., um verschiedene Informationen zu halten, die erforderlich sind für den Prozess von jedem funktionalen Modul, das nachfolgend beschrieben wird, und um temporär Bilddaten zu halten, die von den Bildaufnahmevorrichtungen 110 empfangen werden.
Die Zentralsteuereinheit 154 weist auf einen oder mehrere integrierte Schaltkreise, die eine oder mehrere zentrale Prozessoreinheiten (CPUs) enthalten, ein oder mehrere ROMs, in denen ein oder mehrere Programme und dergleichen gespeichert sind, und ein oder mehrere RAMs als Arbeitsbereiche, und steuert die I/F-Einheit 150, die Datenhalteeinheit 152, etc. durch einen Systembus 156. In diesem Ausführungsbeispiel funktioniert die Zentralsteuereinheit 154 ebenfalls als ein Evaluationswertherleitemodul 160, ein Positionsverhältnisinformationherleitemodul 162, ein Positionsverhältnisaustauschmodul 164 und ein Differenzwertbestimmungsmodul 166. Zusätzlich funktionieren das Evaluationswertherleitemodul 160, das Positionsverhältnisinformationherleitemodul 162, das Positionsverhältnisaustauschmodul 164 und das Differenzwertbestimmungsmodul 166 ebenfalls als die Filtervorrichtung. Als Nächstes wird jedes funktionale Modul beschrieben, wobei das Referenzbild und das Vergleichsbild dargestellt sind.
3 ist ein Schaubild, das ein Referenzbild 200 und ein Vergleichsbild 210 zeigt. Der obere Teil (a) von 3 zeigt das Bild von einer der Bildaufnahmevorrichtungen 110, die auf der rechten Seite angeordnet ist, während der untere Teil (b) das entsprechende Bild von der anderen Bildaufnahmevorrichtung 110 zeigt, die auf der linken Seite angeordnet ist. In diesem Beispiel wird das rechte Bild verwendet als das Referenzbild 200 und das linke Bild wird verwendet als das Vergleichsbild 210.
Wenn das Evaluationswertherleitemodul 160 den Evaluationswert herleitet, basierend auf dem Referenzbild 200 und dem Vergleichsbild 210, beispielsweise in einem Bereich, der eingeschlossen ist mit einer Ellipse in der Mitte eines Lastwagens in dem oberen Teil (a) und dem unteren Teil (b) von 3, erscheinen zwei ähnliche Kanten beziehungsweise Ränder 230, die sich im Wesentlichen senkrecht erstrecken, und die Referenzblöcke sind wechselseitig ähnlich und die Vergleichsblöcke sind wechselseitig ähnlich an den zwei Rändern beziehungsweise Kanten 230. In diesem Beispiel, wenn die Referenzblöcke ähnlich zueinander sind, soll daher vermieden werden, dass ein Vergleichsblock, der nicht einem der Referenzblöcke zugeordnet werden sollte, in unbeabsichtigter Weise dem Referenzblock zugeordnet wird. In anderen Worten, es wird vermieden, dass ein Referenzblock falsch oder in nicht korrekter Weise einem Vergleichsblock zugeordnet wird, der dem korrekten Vergleichsblock ähnlich ist. Dies kann wie folgt erreicht werden.
Wenn beispielsweise mehrere Referenzblöcke ähnlich zueinander sind, ist die gleiche Anzahl von Vergleichsblöcken, die den Referenzblöcken entsprechen, ähnlich zueinander. Das heißt, Korrelationen der mehreren Vergleichsblöcke tendieren dazu, hoch zu sein bezüglich einem Referenzblock. Aus diesem Grunde wird in diesem Ausführungsbeispiel nicht nur der Vergleichsblock extrahiert, der die höchste Korrelation hat, sondern es werden mehrere Vergleichsblöcke mit relativ hohen Korrelationen, von denen angenommen wird, dass sie dem einen Referenzblock ähnlich sind, ebenfalls extrahiert. Dann wird aus all den extrahierten Vergleichsblöcken ein Vergleichsblock identifiziert, der dem Referenzblock zugeordnet werden sollte.
Des Weiteren, obwohl die zwei Bildaufnahmevorrichtungen 110 nur in der Perspektive differieren, da sie die gleichen fotografischen Objekte abbilden, sind die positionalen Verhältnisse beziehungsweise Positionsverhältnisse basierend auf den relativen Abständen der Objekte im Wesentlichen wechselseitig identisch in dem Referenzblock und dem Vergleichsblock. Das heißt, wenn die mehreren Referenzblöcke zueinander ähnlich sind, werden die Positionsverhältnisse der mehreren Vergleichsblöcke, die den mehreren Referenzblöcken entsprechen, im Wesentlichen wechselseitig ähnlich zu dem Positionsverhältnis der Referenzblöcke. Aus diesem Grunde werden in diesem Ausführungsbeispiel die Vergleichsblöcke, die zumindest einem der Referenzblöcke entsprechen, neu arrangiert oder ausgetauscht, so dass das Positionsverhältnis der Referenzblöcke und das Positionsverhältnis der Vergleichsblöcke identisch werden.
Das Evaluationswertherleitemodul 160 leitet somit für zwei Bilder, basierend auf den zwei Sätzen von Bilddaten, akquiriert von den zwei Bildaufnahmevorrichtungen 110, mehrere Evaluationswerte her, die die Korrelationen anzeigen zwischen irgendeinem von Referenzblöcken, extrahiert von einem der Bilder (dem Referenzbild 200), und mehreren Vergleichsblöcken, extrahiert von dem anderen Bild (dem Vergleichsbild 210). Als Nächstes identifiziert das Positionsverhältnisinformationherleitemodul 162 eine vorbestimmte Anzahl von Evaluationswerten mit höheren Korrelationen von den mehreren Evaluationswerten, die von dem Evaluationswertherleitemodul 160 hergeleitet werden. Das Positionsverhältnisinformationherleitemodul 162 leitet dann Positionsverhältnisinformation her (Korrelationen der Vergleichsblöcke, die dem Referenzblock entsprechen), die die Ordnung der Korrelationen der identifizierten höher korrelierenden Evaluationswerte und ein Positionsverhältnis der Ordnung von Korrelationen anzeigt, und ordnet die Positionsverhältnisinformation dem Referenzblock zu. Hierbei werden eine Ordnung der Korrelationen und ein temporäres wechselseitiges Positionsverhältnis der Ordnung von Korrelationen bestimmt.
Wenn die Positionsverhältnisinformation mit einer vorbestimmten Relation mit der hergeleiteten Positionsverhältnisinformation nicht in der Datenhalteeinheit 152 gespeichert ist, ordnet das Positionsverhältnisaustauschmodul 164 die hergeleitete Positionsverhältnisinformation dem Referenzblock zu und speichert sie in der Datenhalteeinheit 152. Die vorbestimmte Relation wird später im Detail beschrieben. Es ist zu beachten, dass, wenn der Referenzblock den Vergleichsblöcken nicht in geeigneter Weise entspricht, die neu hergeleitete Positionsverhältnisinformation die vorbestimmte Relation mit der Positionsverhältnisinformation werden kann, die bereits in der Datenhalteeinheit 152 gespeichert ist. Wenn daher die Positionsverhältnisinformation, die die vorbestimmte Relation mit der hergeleiteten Positionsverhältnisinformation aufweist, in der Datenhalteeinheit 152 gespeichert ist, ändert das Positionsverhältnisaustauschmodul 164 die Positionsverhältnisinformation in beziehungsweise bezüglich zumindest einem der Referenzblöcke und identifiziert den Vergleichsblock, der dem Referenzblock entspricht (eine Position der höchsten Korrelation), von den mehreren Vergleichsblöcken, so dass das Positionsverhältnis der mehreren Vergleichsblöcke identisch wird mit dem Positionsverhältnis der aufeinanderfolgenden Referenzblöcke, basierend auf dem Referenzblock entsprechend der hergeleiteten Positionsverhältnisinformation, wobei der Referenzblock der gespeicherten Positionsverhältnisinformation entspricht, und die Positionsverhältnisinformation. Somit wird die Positionsverhältnisinformation (die Ordnung von Korrelationen und das Positionsverhältnis hiervon) aktualisiert auf einen Zustand, in dem es sein sollte. Daraufhin bestimmt das Differenzwertbestimmungsmodul 166 die Position der höchsten Korrelation der Positionsverhältnisinformation bezüglich des Referenzblocks, identifiziert durch das Positionsverhältnisaustauschmodul 164, als eine Parallaxe des Referenzblocks. Als Nächstes wird der Musterabgleichprozess im Detail beschrieben.
(Musterabgleichprozess)
4 ist ein Flussdiagramm, das den Arbeitsablauf des Musterabgleichprozesses zeigt. Es ist zu beachten, dass der Musterabgleichprozess als ein Interruptprozess durchgeführt wird jedes Mal, wenn Bilddaten von den Bildaufnahmevorrichtungen 110 erzeugt werden. Darüber hinaus wird zum Zwecke der Erläuterung ein Beispiel beschrieben, bei dem zwei Evaluationswerte als die höchsten identifiziert werden. Die Ordnung von Korrelationen umfasst daher zwei Werte, „Erster“ und „Zweiter“.
(Schritt S300)
Das Evaluationswertherleitemodul 160 setzt jeden Haltebereich (einen Parallaxekandidathaltebereich, einen Referenzhaltebereich, einen zweiten Haltebereich, einen zweiten Parallaxehaltebereich, die später beschrieben werden), der in der Datenhalteeinheit 152 gehalten wird, zurück. Daraufhin akquiriert das Evaluationswertherleitemodul 160 die Bilddaten von jeder der zwei Bildaufnahmevorrichtungen 110 und extrahiert einen Referenzblock von dem Referenzbild 200, der beziehungsweise das als eine Referenz dient, von dem Paar von Bildern, die wechselseitige Relevanz aufweisen, basierend auf den zwei akquirierten Sätzen von Bilddaten.
(Schritt S302)
Das Evaluationswertherleitemodul 160 leitet die mehreren Evaluationswerte, die die Korrelationen des extrahierten Referenzblockes mit den mehreren Vergleichsblöcken anzeigen, die von dem Vergleichsbild 210 extrahiert werden, welches ein Vergleichsziel ist, her, durch sogenannten Musterabgleich.
Der Musterabgleich kann ein Vergleich sein der Luminanz (Y-Farbdifferenzsignal) pro Block zwischen dem Paar von Bildern. Der Musterabgleich beinhaltet beispielsweise Ansätze wie eine Summe von absoluten Differenzen (SAD), bei der eine Differenz in der Luminanz berechnet wird, eine Summe von quadrierten Intensitätsdifferenzen (SSD), die Werte verwendet, die erhalten werden durch Quadrieren der Differenzen, und eine normalisierte Kreuzkorrelation (NCC), die Ähnlichkeiten von Varianzen verwendet, erhalten durch Subtrahieren eines Durchschnittswerts der Luminanz von Pixeln von der Luminanz von jedem Pixel. Unter diesen Ansätzen wird SAD speziell hierin beschrieben als ein Beispiel. In diesem Beispiel wird Durchschnittswertdifferenzabgleich ebenfalls durchgeführt. Dieser Durchschnittswertdifferenzabgleich berechnet einen Durchschnittswert von Luminanz von Pixeln um einen Block in dem Referenzbild 200 beziehungsweise dem Vergleichsbild 210 und subtrahiert jeden Durchschnittswert von der Luminanz der Pixel innerhalb des Blocks, um Evaluationswerte herzuleiten. Als Nächstes wird der Durchschnittswertdifferenzabgleich beschrieben.
Die 5A bis 5C zeigen den Durchschnittswertdifferenzabgleich. Wie in 5A gezeigt, extrahiert das Evaluationswertherleitemodul 160 zuerst einen Block 204 (im Folgenden bezeichnet als „der Referenzblock“), der eine Matrix von Pixeln 202 umfasst, beispielsweise bestehend aus 4 Pixel in den horizontalen Richtungen x 4 Pixel in den vertikalen Richtungen, von dem Referenzbild 200. Das Evaluationswertherleitemodul 160 wiederholt sequentiell den Prozess pro Block durch Extrahieren eines anderen Referenzblocks 204 und Herleiten der Parallaxe für jeden extrahierten Referenzblock 204. Obwohl der Referenzblock 204 in diesem Ausführungsbeispiel 4 Pixel in den horizontalen Richtungen x 4 Pixel in den vertikalen Richtungen aufweist, kann jegliche Anzahl von Pixeln für den Referenzblock 204 gewählt werden.
Ein Referenzblock 204 wird so extrahiert, dass er nicht mit einem anderen angrenzenden Referenzblock 204 überlappt. In diesem Ausführungsbeispiel werden nebeneinanderliegende Referenzblöcke 204 extrahiert und somit werden alle 6.750 Blöcke (150 Blöcke in den horizontalen Richtungen x 45 Blöcke in den vertikalen Richtungen) sequentiell als der Referenzblock 204 extrahiert für alle die Pixel 202, die in dem Detektionsbereich gezeigt sind (zum Beispiel 600 Pixel in den horizontalen Richtungen x 180 Pixel in den vertikalen Richtungen).
Da, wie zuvor beschrieben, in diesem Ausführungsbeispiel der Durchschnittswertdifferenzabgleich angewandt wird, berechnet das Evaluationswertherleitemodul 160, wie in 5B gezeigt, einen Durchschnittswert Ab der Luminanz Rb(i, j) von den Pixeln 202 in einem Bereich 206, dargestellt durch 8 Pixel in den horizontalen Richtungen x 8 Pixel in den vertikalen Richtungen um den Referenzblock 204, wobei der Referenzblock 204 in der Mitte liegt, basierend auf der folgenden Gleichung 1: $Ab = \sum Rb (i,j) / 64$
Es ist zu beachten, dass „i“ eine horizontale Pixelposition in der Fläche 206 (i = 1 bis 8) und „j“ eine vertikale Pixelposition in der Fläche 206 (j = 1 bis 8) ist. Wenn die Fläche 206 teilweise außerhalb des Referenzbildes 200 liegt (das heißt die Fläche 206 teilweise an einem Ende des Referenzbildes 200 fehlt), wird der Durchschnittswert Ab berechnet, wobei der fehlende Teil weggelassen wird.
Daraufhin subtrahiert das Evaluationswertherleitemodul 160 den oben beschriebenen Durchschnittswert Ab von den Luminanzen Eb(i, j) von jedem der Pixel 202 in dem Referenzblock 204, um Durchschnittswertdifferenzluminanzen EEb(i, j) herzuleiten, wie die folgende Gleichung 2: $EEb (i,j) = Eb (i,j) - Ab$
Es ist zu beachten, dass „i“ eine horizontale Pixelposition in dem Referenzblock 204 (i = 1 bis 4) und „j“ eine vertikale Pixelposition in dem Referenzblock 204 (j = 1 bis 4) ist.
Das Evaluationswertherleitemodul 160 extrahiert dann einen Block 214 (im Folgenden bezeichnet als „der Vergleichsblock“), dargestellt durch die Matrix von Pixeln 212, beispielsweise von 4 Pixel in den horizontalen Richtungen x 4 Pixel in den vertikalen Richtungen aus dem Vergleichsbild 210, wie in 5C gezeigt. Es ist zu beachten, dass das Evaluationswertherleitemodul 160 für jeden der Referenzblöcke 204 mehrere Vergleichsblöcke 214 sequentiell extrahiert und die Evaluationswerte, die Korrelationen mit den entsprechenden Referenzblöcken 204 anzeigen, herleitet.
Der Vergleichsblock 214 wird um, beispielsweise, 1 Pixel jedes Mal in der horizontalen Richtung verschoben und dann extrahiert und die Pixel der angrenzenden Vergleichsblöcke 214 überlappen somit. In diesem Beispiel wird die Gesamtzahl von 128 Vergleichsblöcken 214 zu der linken und rechten horizontalen Richtung hin extrahiert für jeden der Referenzblöcke 204 in Bezug auf eine Position 216 entsprechend dem Referenzblock 204. Der Extraktionsbereich (Suchbereich) weist daher 131 Pixel (= 128 + 3 Pixel) in den horizontalen Richtungen x 4 Pixel in den vertikalen Richtungen auf. Das Positionsverhältnis zwischen der Position 216 entsprechend dem Referenzblock 204 und dem Extraktionsbereich wird gesetzt entsprechend dem Erscheinungsmuster der Parallaxen zwischen dem Referenzbild 200 und dem Vergleichsbild 210.
Da der Durchschnittswertdifferenzabgleich angewandt wird bei diesem Ausführungsbeispiel, wie zuvor beschrieben, berechnet das Evaluationswertherleitemodul 160 einen Durchschnittswert Ac der Luminanz Rc(i, j) der Pixel innerhalb eines Bereichs, dargestellt durch 8 Pixel in den horizontalen Richtungen x 8 Pixel in den vertikalen Richtungen um den Vergleichsblock 214, wobei der Vergleichsblock 214 zentriert ist, basierend auf der folgenden Gleichung 3, ähnlich dem Referenzblock 204: $Ac = \sum Rc (i,j) / 64$
Es ist zu beachten, dass „i“ eine horizontale Pixelposition innerhalb der Fläche (i = 1 bis 8) und „j“ eine vertikale Pixelposition innerhalb der Fläche (j = 1 bis 8) ist.
Das Evaluationswertherleitemodul 160 subtrahiert dann den zuvor beschriebenen Durchschnittswert Ac von einer Luminanz Ec(i, j) von jedem der Pixel innerhalb des Vergleichsblocks 214, um eine Durchschnittswertdifferenzluminanz EEc(i, j) herzuleiten, wie die folgende Gleichung 4: $EEc (i,j) = Ec (i,j) - Ac$
Es ist zu beachten, dass „i“ eine horizontale Pixelposition in dem Vergleichsblock 214 (i = 1 bis 4) und „j“ eine vertikale Pixelposition in dem Vergleichsblock 214 (j = 1 bis 4) ist.
Als Nächstes subtrahiert das Evaluationswertherleitemodul 160 von den Durchschnittswertdifferenzluminanzen EEb(i, j) von jedem Pixel 202 des Referenzblocks 204 die Durchschnittswertdifferenzluminanzen EEc(i, j) von jedem Pixel 212 entsprechend der gleichen Position in dem Vergleichsblock 214 und integriert die Subtraktionsresultate, um einen Evaluationswert T herzuleiten, wie in der folgenden Gleichung 5 gezeigt: $T = \sum (EEb (i,j) - EEc (i,j))$
Die mehrfach hergeleiteten Evaluationswerte T haben daher höhere Korrelationen, während die Evaluationswerte T selbst kleinere Werte haben, das heißt kleinere Differenzen. Unter den mehreren Evaluationswerten (hier 128 Evaluationswerte) von einem Referenzblock 204 mit den Vergleichsblöcken 214 dient die Position des minimalen Evaluationswerts (Minimalwert) als ein Kandidat der Position, die ein Ende der Parallaxen anzeigt.
Es ist zu beachten, dass nicht nur der minimale Evaluationswert, sondern auch der zweitkleinste Evaluationswert ausgewählt wird als die Kandidaten der Position, die das Ende der Parallaxe anzeigen, in diesem Beispiel. Das heißt, zwei Evaluationswerte, der minimale Evaluationswert und der zweitkleinste Evaluationswert, werden Prozessziele.
Der oben beschriebene Durchschnittswertdifferenzabgleich verwendet nur Hochfrequenzkomponenten des Bildes für den Abgleich und kann niederfrequentes Rauschen entfernen, da es über eine zu einem Hochpassfilter equivalente Funktion verfügt. Zusätzlich verfügt der Abgleich über eine hohe Exaktheit des Identifizierens der Parallaxen und kann somit die Exaktheit des Herleitens der Parallaxen verbessern, selbst bei Effekten von geringfügigen Ungleichgewichten der Luminanzen zwischen dem Referenzbild 200 und dem Vergleichsbild 210 und den Effekten von Verstärkungsvariation in Folge von Alterung der Kameras (Bildaufnahmevorrichtungen) und/oder analogen Schaltkreiskomponenten.
(Schritt S304)
Das Positionsverhältnisinformationherleitemodul 162 identifiziert die vorbestimmte Anzahl von Evaluationswerten (zwei Werte in diesem Beispiel) unter den mehreren Evaluationswerten von dem kleinsten Wert (das heißt von den Werten mit höchsten Korrelationen) und leitet die Positionsverhältnisinformation her, die die Ordnung von Korrelationen anzeigt, in der die identifizierten Evaluationswerte in aufsteigender Ordnung sind (absteigende Ordnung in der Korrelation), und die Positionsverhältnisse der Ordnung von Korrelationen.
6 ist ein Schaubild, das die Positionsverhältnisinformation zeigt. Es sei beispielsweise, wie in 6 gezeigt, angenommen als ein Ergebnis des Durchführens des Durchschnittswertdifferenzabgleichs mit einem Referenzblock 204a, dass der Evaluationswert der Minimalwert wird bei einem Vergleichsblock 214a und der Evaluationswert der zweitkleinste Wert wird bei einem Vergleichsblock 214b. In einem solchen Fall werden die zwei Vergleichsblöcke 214a und 214b der Ordnung von Korrelationen („Erster“ beziehungsweise „Zweiter“) zugeordnet. Daraufhin werden die Positionen der zwei Vergleichsblöcke 214a und 214b in dem Vergleichsbild 210 (Positionsverhältnis) hergeleitet. In dem Fall von 6 ist beispielsweise für eine Blockposition Da des Referenzblocks 204a der Vergleichsblock 214a des Ersten in der Ordnung von Korrelationen bei Pa + Fa angeordnet, der Vergleichsblock 214b des Zweiten in der Ordnung von Korrelationen ist bei Pa + Sa angeordnet und diese dienen als die Positionsverhältnisinformation. Nachdem die Ordnung von Korrelationen und die Positionsverhältnisse der Ordnung von Korrelationen hergeleitet sind, werden die Evaluationswerte selbst somit nicht länger benötigt. Es ist zu beachten, dass Dx („x“ entspricht einem Identifizierer des Referenzblocks 204) eine Blockposition in dem Referenzbild 200 ist und Px, Fx und Sx Pixelpositionen in dem Vergleichsbild 210 sind.
(Schritt S306)
Als Nächstes bestimmt das Positionsverhältnisaustauschmodul 164 die vorbestimmte Relation mit der hergeleiteten Positionsverhältnisinformation, in anderen Worten, ob die Positionsverhältnisinformation, deren Positionsverhältnisse der Ordnung von Korrelationen identische Relation haben, in der Datenhalteeinheit 152 gespeichert ist. Es ist zu beachten, dass der Ausdruck „Positionsverhältnisse der Ordnungen von Korrelationen identische Relation haben“, wie er hierin verwendet wird, auf die Positionen der Ordnung von Korrelationen der Vergleichsblöcke 214 bezogen ist, die der hergeleiteten Positionsverhältnisinformation (zum Beispiel der ersten Position Pa + Fa und der zweiten Position Pa + Sa) entsprechen, identisch oder im Wesentlichen identisch sind mit den Positionen der Ordnung von Korrelationen des Vergleichsblocks 214, die der gespeicherten Positionsverhältnisinformation entsprechen (zum Beispiel der ersten Position Px + Fx und der zweiten Position Px + Sx). In einem solchen Fall kann evaluiert werden, dass ein Fehler aufgetreten ist in der Korrelation (Positionsverhältnisinformation) von einem des Vergleichsblocks 214, der den Referenzblöcken 204 entspricht.
(Schritt S308)
Wenn die Positionsverhältnisinformation, deren Positionsverhältnis die identische Relation zu der Ordnung von Korrelationen der hergeleiteten Positionsverhältnisinformation aufweist, nicht in der Datenhalteeinheit 152 gespeichert ist, in einer vergleichsweise frühen Phase des Musterabgleichs (NEIN in S306), bestimmt das Positionsverhältnisaustauschmodul 164 dann die vorherbestimmte Relation mit der hergeleiteten Positionsverhältnisinformation, genauer gesagt, ob die Positionsverhältnisinformation, wo die Positionsverhältnisse der Ordnung von Korrelationen wechselweise ausgetauschte Relationen aufweisen, in der Datenhalteeinheit 152 gespeichert ist. Es ist zu beachten, dass der Ausdruck „Positionsverhältnisse der Ordnungen von Korrelationen, die eine wechselweise ausgetauschte Relation aufweisen“, wie er hierin verwendet wird, eine Relation betrifft, in der die ersten und zweiten Positionen wechselweise ausgetauscht sind zwischen der Position der Ordnung der Korrelationen des Vergleichsblocks 214 entsprechend der hergeleiteten Positionsverhältnisinformation (zum Beispiel der ersten Position Pa + Fa, der zweiten Position Pa + Sa) und der Position der Ordnung von Korrelationen des Vergleichsblocks 214 entsprechend der gespeicherten Positionsverhältnisinformation (zum Beispiel der ersten Position Px + Fx, der zweiten Position Px + Sx). In einem solchen Fall kann bewertet beziehungsweise abgeschätzt werden, dass ein Fehler aufgetreten sein kann in den Korrelationen (Positionsverhältnisinformation) von beiden Vergleichsblöcken 214, die dem Referenzblock 204 entsprechen.
(Schritt S310)
Wenn die Positionsverhältnisinformation, deren Positionsverhältnisse der Ordnung der Korrelationen die wechselseitig ausgetauschte Relation mit der hergeleiteten Positionsverhältnisinformation aufweist, nicht in der Datenhalteeinheit 152 gespeichert ist, in einer vergleichsweise frühen Phase des Musterabgleichs (NEIN in S308), ordnet das Positionsverhältnisaustauschmodul 164 die hergeleitete Positionsverhältnisinformation dem Referenzblock 204a zu, speichert sie in jedem Haltebereich der Datenhalteeinheit 152 und geht dann weiter zu dem Prozess zu Schritt S332.
Die 7A bis 7D zeigen Haltebereiche. Genauer gesagt, 7A zeigt einen Parallaxekandidathaltebereich, 7B zeigt einen Referenzhaltebereich, 7C zeigt einen zweiten Haltebereich und 7D zeigt einen zweiten Parallaxehaltebereich. Wenn beispielsweise die in 6 gezeigte Positionsverhältnisinformation zu halten ist, wird eine Parallaxe des Referenzblocks 204a, das heißt eine Differenz (relative Position) Fa zwischen einer Pixelposition Pa entsprechend der Blockposition Da und der ersten Position Pa + Fa, an der Blockposition Da in dem Parallaxekandidathaltebereich in 7A gespeichert. Des Weiteren wird die Blockposition Da zum Identifizieren des Referenzblocks 204a, die als Original verwendet wird, an der ersten Position Pa + Fa in dem Referenzhaltebereich in 7B gespeichert. An der ersten Position Pa + Fa des zweiten Haltebereichs in 7C wird eine zweite Position Pa + Sa des Referenzblocks 204a entsprechend zu der ersten Position gespeichert. An der ersten Position Pa + Fa des zweiten Parallaxehaltebereichs in 7D wird eine Differenz (relative Position) Sa, wenn die zweite Position Pa + Sa des Referenzblocks 204a entsprechend der ersten Position als die Parallaxe ausgewählt wird, gespeichert. Somit wird die Positionsverhältnisinformation in der Datenhalteeinheit 152 gespeichert. Bezüglich dem Haltebereich kann bestimmt werden, ob irgendein Vergleichsblock 214 bereits als die erste Position mit Bezug auf den Referenzhaltebereich extrahiert wurde und, wenn der Vergleichsblock 214 als die erste Position extrahiert wurde, kann die Information zur zweiten Position akquiriert werden unter Bezug auf den zweiten Haltebereich oder den zweiten Parallaxehaltebereich.
(Paarung)
8 ist ein Schaubild, das den Arbeitsablauf des Positionsverhältnisaustauschmoduls 164 zeigt. Wie zuvor beschrieben, wenn die Positionsverhältnisinformation in der Datenhalteeinheit 152 gespeichert ist, kann die Positionsverhältnisinformation (Db, Pb, Fb und Sb) zu nachfolgenden Referenzblöcken (zum Beispiel 204b) eine Relation aufweisen, die identisch ist zu der Ordnung von Korrelationen der gespeicherten Positionsverhältnisinformation (Da, Pa, Fa und Sa). In Schritt S306 bestimmt das Positionsverhältnisaustauschmodul 164 daher, ob die Positionsverhältnisinformation, deren Ordnung von Korrelationen eine identische Relation aufweist, in der Datenhalteeinheit 152 gespeichert ist, basierend auf den folgenden Gleichungen 6 und 7: $| (Pa+Fa) - (Pb+Fb) | < Grenzwert$
$| (Pa+Sa) - (Pb+Sb) | < Grenzwert$
Gleichung 6 zeigt an, dass die ersten Positionen wechselseitig identisch sind oder im Wesentlichen wechselseitig identisch sind, wenn die Differenz der ersten Positionen geringer ist als der Grenzwert, und Gleichung 7 zeigt an, dass die zweiten Positionen wechselseitig identisch sind oder im Wesentlichen wechselseitig identisch sind, wenn die Differenz der zweiten Positionen geringer ist als der Grenzwert. Wenn die Gleichungen 6 und 7 erfüllt sind, ist eine Möglichkeit, dass die Ordnung von Korrelationen für einen von den Referenzblöcken 204 nicht richtig sein kann, hoch.
(Schritt S312)
Wenn die Positionsverhältnisinformation, deren Ordnung von Korrelationen eine identische Relation zu der hergeleiteten Positionsverhältnisinformation aufweist, in der Datenhalteeinheit 152 gespeichert ist, das heißt, wenn die Konditionen von Gleichung 6 und 7 erfüllt sind (JA in S306), bestimmt das Positionsverhältnisaustauschmodul 164, ob die folgende Gleichung 8 erfüllt ist: $| Fb - Sa | < Grenzwert$
Durch Verwendung von Gleichung 8 kann bestimmt werden, ob eine Differenz (relative Position) Fb entsprechend der ersten Parallaxe des Referenzblocks 204b identisch oder im Wesentlichen identisch ist zu der Differenz (relative Position) Sa entsprechend der zweiten Parallaxe des Referenzblocks 204a.
(Schritt S314)
Wenn Gleichung 8 erfüllt ist (JA in S312), tauscht das Positionsverhältnisaustauschmodul 164 die Ordnungen von Korrelationen für die Referenzblöcke 204a aus, da beschlossen werden kann, dass die Ordnung von Korrelationen unrichtig ist für einen der Referenzblöcke (Referenzblock 204a), und speichert die Positionsverhältnisinformation für die Referenzblöcke 204a in der Datenhalteeinheit 152 und geht dann weiter zum Prozess zu Schritt S332.
Die 9A bis 9D und die 10A bis 10D zeigen Haltebereiche. Genauer gesagt, das Positionsverhältnisaustauschmodul 164 tauscht die Ordnung von Korrelationen (erste und zweite) des Referenzblocks 204a, wie in den 9A bis 9D gezeigt, für die Positionsverhältnisinformation für den bereits gespeicherten Referenzblock 204a. Das bedeutet, die Differenz Sa zwischen der Pixelposition Pa, entsprechend der Blockposition Da, und der zweiten Position Pa + Sa wird neu gespeichert an der Blockposition Da in dem Parallaxekandidathaltebereich in 9A. Des Weiteren wird die Blockposition Da gespeichert an der zweiten Position Pa + Sa in dem Referenzhaltebereich in 9B. Die erste Position Pa + Fa des Referenzblocks 204a wird gespeichert in der zweiten Position Pa + Sa in dem zweiten Haltebereich in 9C. Die Differenz Fa entsprechend der Parallaxe wird gespeichert an der zweiten Position Pa + Sa in dem zweiten Parallaxehaltebereich in 9D. Somit wird die Positionsverhältnisinformation für den Referenzblock 204a aktualisiert und ist nunmehr bereit für eine Paarung, die stattfinden kann.
Des Weiteren speichert das Positionsverhältnisaustauschmodul 164 die Differenz Fb zwischen einer Pixelposition Pb entsprechend einer Blockposition Db und der ersten Position Pb + Fb an der Blockposition Db in dem Parallaxekandidathaltebereich in 10A für die hergeleitete Positionsverhältnisinformation bezüglich des Referenzblocks 204b. Des Weiteren wird die Blockposition Db zum Identifizieren des Referenzblocks 204b, die original wird, gespeichert an der ersten Position Pb + Fb in dem Referenzhaltebereich in 10B. Eine zweite Position Pb + Sb wird gespeichert an der ersten Position Pb + Fb in dem zweiten Haltebereich in 10C. Eine Differenz Sb entsprechend der Parallaxe wird gespeichert an der ersten Position Pb + Fb in dem zweiten Parallaxehaltebereich in 10D. Somit wird die Positionsverhältnisinformation für den Referenzblock 204b in der Datenhalteeinheit 152 gespeichert.
(Schritt S316)
Wenn Gleichung 8 nicht erfüllt ist (NEIN in S312), bestimmt das Positionsverhältnisaustauschmodul 164 dann, ob die folgende Gleichung 9 erfüllt ist. $| Fa - Sb | < Grenzwert$
Durch Verwendung von Gleichung 9 kann bestimmt werden, ob die Differenz (relative Position) Fa entsprechend der ersten Parallaxe des Referenzblocks 204a identisch oder im Wesentlichen identisch ist zu der Differenz (relative Position) Sb entsprechend der zweiten Parallaxe des Referenzblocks 204b.
(Schritt S318)
Wenn Gleichung 9 erfüllt ist (JA in S316), ersetzt das Positionsverhältnisaustauschmodul 164 wechselseitig die Ordnung von Korrelationen (erste und zweite) des Referenzblocks 204b, ohne die Positionsverhältnisinformation bezüglich des Referenzblocks 204a zu aktualisieren, da beschlossen werden kann, dass die Ordnung von Korrelationen für den anderen Referenzblock (Referenzblock 204b) nicht korrekt ist, speichert die ausgetauschte Positionsverhältnisinformation in der Datenhalteeinheit 152 und geht dann weiter zum Prozess zu Schritt S332.
Die 11A bis 11D zeigen Haltebereiche. Genauer gesagt, das Positionsverhältnisaustauschmodul 164 speichert die Differenz Sb zwischen einer Pixelposition Pb entsprechend der Blockposition Db und der zweiten Position Pb + Sb an der Blockposition Db in dem Parallaxekandidathaltebereich in 11A für die hergeleitete Positionsverhältnisinformation bezüglich des Referenzblocks 204b. Des Weiteren wird die Blockposition Db an der zweiten Position Pb + Sb in dem Referenzhaltebereich in 11B gespeichert. Eine erste Position Pb + Fb des Referenzblocks 204a wird gespeichert an der zweiten Position Pb + Sb in dem zweiten Haltebereich in 11C. Die Differenz Fb entsprechend der Parallaxe wird gespeichert an der zweiten Position Pb + Sb in dem zweiten Parallaxehaltebereich in 11D. Somit wird die Positionsverhältnisinformation bezüglich des Referenzblocks 204b gespeichert in der Datenhalteeinheit 152 und ist nunmehr bereit für eine neue Paarung, die auftreten kann.
(Schritt S320)
Wenn Gleichung 9 nicht erfüllt ist (NEIN in S316), wird nur die Parallaxe bezüglich einer der zwei Referenzblöcke 204 (204a und 204b), deren Parallaxe das Minimum wird (die Relativposition mit dem Vergleichsblock 214 wird das Minimum), akzeptiert als eine gültige Parallaxe, während der andere Referenzblock 204, dessen Parallaxe nicht das Minimum wird, als eine ungültige Parallaxe zurückgewiesen wird, und es wird dann weitergegangen zum Prozess zu Schritt S332.
Die 12A bis 12D zeigen Haltebereiche. Wenn der Referenzblock 204a zu löschen ist, setzt das Positionsverhältnisaustauschmodul 164 die Positionsverhältnisinformation zu dem bereits gespeicherten Referenzblock 204a, wie in 12A bis 12D gezeigt, zurück. Das heißt, der Wert Fa an der Blockposition Da in dem Parallaxekandidathaltebereich in 12A wird in Null umgewandelt. Des Weiteren werden alle Werte an der ersten Position Pa + Fa in den entsprechenden Haltebereichen in 12B bis 12D zurückgesetzt. Somit ist die Positionsverhältnisinformation für den Referenzblock 204a ungültig. Da die existierenden Technologien, die beispielsweise offenbart sind in dem japanischen Patent (JP) Nr. 3,287,465 B2 , auf den Invalidierungsprozess des Referenzblocks 204, dessen Parallaxe nicht das Minimum wird, anwendbar sind, wird deren detaillierte Erläuterung hier weggelassen.
(Kreuzpaarung)
13 ist ein Schaubild, das einen anderen Arbeitsablauf des Positionsverhältnisaustauschmoduls 164 zeigt. Zuvor wurde der Fall beschrieben, in dem die Positionsverhältnisinformation (Db, Pb, Fb und Sb) bezüglich des Referenzblocks (zum Beispiel 204b) identisch ist in der Ordnung von Korrelationen zu der gespeicherten Positionsverhältnisinformation (Da, Pa, Fa und Sa). Als Nächstes wird ein Fall, in dem die Ordnungen von Korrelationen von beiden Positionsverhältnisinformationen die wechselseitig ausgetauschte Relation aufweisen, genau beschrieben. In Schritt S308 bestimmt das Positionsverhältnisaustauschmodul 164, ob die Positionsverhältnisinformation, deren Ordnung von Korrelationen die wechselseitig ausgetauschte Relation aufweist, in der Datenhalteeinheit 152 gespeichert ist, basierend auf den folgenden Gleichungen 10 und 11: $| (Pa+Fa) - (Pb+Sb) | < Grenzwert$
$| (Pa+Sa) - (Pb+Fb) | < Grenzwert$
Wenn die Differenz zwischen der ersten Position des Referenzblocks 204a und der zweiten Position des Referenzblocks 204b geringer ist als der Grenzwert, zeigt Gleichung 10 an, dass die erste Position und die zweite Position identisch oder im Wesentlichen identisch zueinander sind. Wenn die Differenz zwischen der zweiten Position des Referenzblocks 204a und der ersten Position des Referenzblocks 204b geringer ist als der Grenzwert, zeigt Gleichung 11 an, dass die erste Position und die zweite Position identisch oder im Wesentlichen identisch zueinander sind. Wenn die Gleichungen 10 und 11 erfüllt sind, können die Ordnungen von Korrelationen für beide Referenzblöcke 204 unrichtig sein.
(Schritt S322)
Wenn die Positionsverhältnisinformation, deren Ordnung von Korrelationen die wechselseitig ausgetauschte Relation zu der hergeleiteten Positionsverhältnisinformation aufweist, in der Datenhalteeinheit 152 gespeichert ist, das heißt, wenn die Bedingungen von Gleichung 10 und 11 erfüllt sind (JA in S308), bestimmt das Positionsverhältnisaustauschmodul 164 dann, ob die folgende Gleichung 12 erfüllt ist: $| Sa - Sb | < Grenzwert$
Durch Verwendung von Gleichung 12 kann bestimmt werden, ob die zweite Parallaxe (relative Position) des Referenzblocks 204a identisch oder im Wesentlichen identisch ist zu der zweiten Parallaxe (relative Position) des Referenzblocks 204b.
(Schritt S324)
Wenn Gleichung 12 erfüllt ist (JA in S322), kann beschlossen werden, dass die Ordnungen der Korrelationen unrichtig sind für beide Referenzblöcke 204a und 204b und somit tauscht das Positionsverhältnisaustauschmodul 164 wechselweise die Ordnung von Korrelationen für den Referenzblock 204a aus und tauscht wechselweise aus die Ordnung von Korrelationen für den Referenzblock 204b, speichert die ausgetauschte Positionsverhältnisinformation in der Datenhalteeinheit 152 und geht dann weiter zu dem Prozess zu Schritt S332.
Die 14A bis 14D und die 15A bis 15D sind Darstellungen, die Haltebereiche zeigen. Genauer gesagt, bezüglich der bereits gespeicherten Positionsverhältnisinformation zu dem Referenzblock 204a tauscht das Positionsverhältnisaustauschmodul 164 die Ordnung von Korrelationen für den Referenzblock 204a aus, wie in den 14A bis 14D gezeigt. Das heißt, die Differenz Sa zwischen der Pixelposition Pa entsprechend der Blockposition Da und der zweiten Position Pa + Sa wird neu gespeichert an der Blockposition Da in dem Parallaxekandidathaltebereich in 14A. Die Blockposition Da wird gespeichert an der zweiten Position Pa + Sa in dem Referenzhaltebereich in 14B. Die erste Position Pa + Fa des Referenzblocks 204a wird gespeichert an der zweiten Position Pa + Sa in dem zweiten Haltebereich in 14C. Eine Differenz Fa entsprechend der Parallaxe wird gespeichert an der zweiten Position Pa + Sa in dem zweiten Parallaxehaltebereich in 14D. Somit wird die Positionsverhältnisinformation bezüglich des Referenzblocks 204a aktualisiert.
Des Weiteren tauscht das Positionsverhältnisaustauschmodul 164 die Ordnung von Korrelationen der hergeleiteten Positionsverhältnisinformation bezüglich des Referenzblocks 204b aus und speichert die Differenz Sb zwischen der Pixelposition Pb entsprechend der Blockposition Db und der zweiten Position Pb + Sb an der Blockposition Db in dem Parallaxekandidathaltebereich in 15A. Des Weiteren wird die Blockposition Db zum Identifizieren des Referenzblocks 204b, die original wird, gespeichert an der zweiten Position Pb + Sb in dem Referenzhaltebereich in 15B. Die erste Position Pb + Fb wird gespeichert an der zweiten Position Pb + Sb in dem zweiten Haltebereich in 15C. Die Differenz Fb entsprechend der Parallaxe wird gespeichert an der zweiten Position Pb + Sb in dem zweiten Parallaxehaltebereich in 15D. Somit wird die Positionsverhältnisinformation bezüglich des Referenzblocks 204b korrekt aktualisiert und in der Datenhalteeinheit 152 gespeichert.
(Schritt S326)
Wenn Gleichung 12 nicht erfüllt ist (NEIN in S322), bestimmt das Positionsverhältnisaustauschmodul 164, ob die folgende Gleichung 13 erfüllt ist: $| Fa - Fb | < Grenzwert$
Durch Verwendung von Gleichung 13 kann bestimmt werden, ob die erste Parallaxe (relative Position) des Referenzblocks 204a identisch oder im Wesentlichen identisch ist zu der ersten Parallaxe (relative Position) des Referenzblocks 204b.
(Schritt S328)
Wenn Gleichung 13 erfüllt ist (JA in S326), kann beschlossen werden, dass die Ordnungen der Korrelationen korrekt sind für sowohl den Referenzblock 204a als auch den Referenzblock 204b und somit speichert das Positionsverhältnisaustauschmodul 164 die Positionsverhältnisinformation bezüglich des Referenzblocks 204b in der Datenhalteeinheit 152, ohne die Positionsverhältnisinformation bezüglich des Referenzblocks 204a zu aktualisieren, und geht dann weiter zum Prozess zu Schritt S332.
Die 16A bis 16D sind Schaubilder, die Haltebereiche zeigen. Genauer gesagt, für die hergeleitete Positionsverhältnisinformation bezüglich des Referenzblocks 204b speichert das Positionsverhältnisaustauschmodul 164 die Differenz Fb zwischen der Pixelposition Pb entsprechend der Blockposition Db und die erste Position Pb + Fb wird gespeichert an der Blockposition Db in dem Parallaxekandidathaltebereich in 16A. Des Weiteren wird die Blockposition Db gespeichert an der ersten Position Pb + Fb in dem Referenzhaltebereich in 16B. Die zweite Position Pb + Sb bezüglich des Referenzblocks 204a wird gespeichert an der ersten Position Pb + Fb in dem zweiten Haltebereich in 16C. Die Differenz Sb entsprechend der Parallaxe wird gespeichert an der ersten Position Pb + Fb in dem zweiten Parallaxehaltebereich in 16D. Somit wird die Positionsverhältnisinformation bezüglich des Referenzblocks 204b in der Datenhalteeinheit 152 gespeichert.
(Schritt S330)
Wenn Gleichung 13 nicht erfüllt ist (NEIN in S326), validiert das Positionsverhältnisaustauschmodul 164 nur die Parallaxe von einem der Referenzblöcke 204 (204a und 204b), dessen Parallaxe das Minimum wird (die relative Position mit dem Vergleichsblock 214 wird das Minimum), während es die Parallaxe des anderen Referenzblocks 204, dessen Parallaxe nicht das Minimum wird, löscht, und geht dann weiter zum Prozess zu Schritt S332. Da dieser Prozess bereits beschrieben wurde unter Verwendung der 12A bis 12D, wird eine detaillierte Erläuterung hier weggelassen.
(Schritt S332)
Als Nächstes bestimmt das Positionsverhältnisaustauschmodul 164, ob die Verarbeitung der Schritte S302 bis S330 für alle Zielreferenzblöcke 204 abgeschlossen ist.
(Schritt S334)
Wenn der Prozess noch nicht für alle Zielreferenzblöcke 204 abgeschlossen ist (NEIN in S332), extrahiert das Positionsverhältnisaustauschmodul 164 erneut einen Referenzblock 204 von dem Referenzbild als eine Referenz und wiederholt dann den Prozess von Schritt S302 ab.
(Schritt S336)
Wenn der Prozess für alle Zielreferenzblöcke 204 abgeschlossen ist (JA in S332), bestimmt das Differenzwertbestimmungsmodul 166 als die Parallaxe des Referenzblocks 204 die Position der höchsten Ordnung der Korrelation (das heißt die erste Position) in der Positionsverhältnisinformation entsprechend dem Referenzblock 204, die identifiziert wird von dem Positionsverhältnisaustauschmodul 164, und beendet dann den Musterabgleichprozess.
Wie zuvor beschrieben, selbst wenn ein Vergleichsblock 214 des Vergleichsbildes 210 der höchste wird in der Korrelation mit den mehreren Referenzblöcken 204 des Referenzbildes 200 in dem Musterabgleich, kann die Parallaxe des Objekts in geeigneter Weise hergeleitet werden durch Evaluieren des relativen Positionsverhältnisses zwischen den Referenzblöcken und des relativen Positionsverhältnisses zwischen den Vergleichsblöcken und Ersetzen und Korrigieren der Ordnung beziehungsweise Ordnungen von Korrelationen der Positionsverhältnisinformation, die nicht in der korrekten Ordnung von Korrelationen ist, ohne einfaches Löschen von einem der Referenzblöcke 204. Somit werden das Positionsverhältnis zwischen den Referenzblöcken 204 und das Positionsverhältnis zwischen den Vergleichsblöcken 214 klarer einander zugeordnet.
Die vorliegende Erfindung kann bereitgestellt werden in der Form von einem oder mehreren Computerprogrammen, welche bewirken, dass ein oder mehrere Computer als die oben beschriebene Filtervorrichtung oder das oben beschriebene Umgebungserkennungssystem 100 funktionieren, oder einem oder mehrerer Speichermedien, die das Programm beziehungsweise die Programme speichern und gelesen werden können von dem beziehungsweise den Computern, wie beispielsweise flexible Scheiben, magnetooptische Scheiben, ROMs, CDs, DVDs oder BDs. Es ist zu beachten, dass der Begriff „Programm“, wie er hierin verwendet wird, sich auf Datensätze bezieht, die in irgendeiner Sprache und/oder irgendeinem beschreibenden Verfahren geschrieben sind.
Wie zuvor beschrieben, obwohl das geeignete Ausführungsbeispiel der vorliegenden Erfindung beschrieben wurde unter Bezug auf die beigefügten Zeichnungen, ist nicht beabsichtigt, die vorliegende Erfindung auf dieses Ausführungsbeispiel zu begrenzen. Es versteht sich für einen Fachmann, dass verschiedene Arten von Änderungen oder Modifikationen durchgeführt werden können, ohne dass von dem Umfang der beigefügten Patentansprüche abgewichen wird, und es versteht sich, dass derartige Abweichungen von dem technischen Inhalt der vorliegenden Erfindung umfasst sind.
Obwohl beispielsweise in dem obigen Ausführungsbeispiel das Paar Bilder, das gleichzeitig aufgenommen wird von den zwei Bildaufnahmevorrichtungen 110 mit unterschiedlichen Perspektiven, als die Vergleichsziele verwendet wird, kann eine große Bandbreite von Bildpaaren mit wechselseitiger Relevanz ebenfalls anwendbar sein auf das Konzept der vorliegenden Erfindung, ohne jegliche Begrenzungen. Ein solches Paar von Bildern mit wechselseitiger Relevanz kann beispielsweise einschließen zwei Bilder, die zu unterschiedlichen Zeitpunkten von einer einzelnen Bildaufnahmevorrichtung (Monokularbildaufnahmevorrichtung) aufgenommen wurden, und ausgegeben wurden in einer zeitlichen Reihenfolge, die Prozessziele sind eines sogenannten optischen Flusses, oder eine Kombination von einem Bild, das aufgenommen wurde von einer Bildaufnahmevorrichtung, und einem anderen Bild (Musterbild), was vorab aufbereitet wurde, welches Prozessziele sind von sogenanntem template matching beziehungsweise Mustererkennung. Des Weiteren, obwohl die „Parallaxe“ zwischen den Paar Bildern, die von den zwei Bildaufnahmevorrichtungen 110 mit unterschiedlichen Perspektiven gleichzeitig aufgenommen wurden, als der Differenzwert in dem obigen Beispiel verwendet wurden, kann der Differenzwert, ohne hierauf begrenzt zu sein, jegliche Differenz sein zwischen korrespondierenden extrahierten Teilen, wie beispielsweise eine Differenz zwischen Referenzblöcken in dem Paar von Bildern mit wechselseitiger Relevanz.
Weiterhin, obwohl in dem obigen Ausführungsbeispiel die Luminanzbilder verwendet werden als die Vergleichsziele und die Evaluationswerte hergeleitet werden basierend auf den Luminanzen der Luminanzbilder, können andere Informationen als die Luminanzen, beispielsweise Wärmeverteilungen, akquiriert von einer oder mehreren Fern-Infrarotkameras, oder Verteilungen von Reflexionsintensitäten, akquiriert von einem Laserradar, einem Millimeterwellenradar und dergleichen, ebenfalls als Vergleichsziele verwendet werden, und die Evaluationswerte können hergeleitet werden basierend auf den Verteilungen. Auch in solch einem Fall können Differenzwerte in gleicher Weise die Differenz zwischen den korrespondierenden extrahierten Teilen sein, wie zuvor beschrieben.
Des Weiteren, obwohl, wie in 3 gezeigt, in dem obigen Ausführungsbeispiel der in der Mitte der Fahrspur angeordnete Bereich beschrieben ist, kann der Bereich ebenfalls anwendbar sein auf eine Reihe von Pylonen, Leuchten, Telegraphenmasten an einer Straße oder ein vorbestimmtes Teil eines Fahrzeugs, wie beispielsweise ein Hecklicht.
Des Weiteren, obwohl in dem obigen Ausführungsbeispiel bei dem Prozess zwei Differenzwerte, „erster“ und „zweiter“, als die Kandidaten verwendet werden, können mehr als zwei Differenzwerte als die Kandidaten für ähnliches Paaren und Kreuzpaaren verwendet werden durch Hinzufügen eines entsprechenden Haltebereichs in der Datenhalteeinheit 152.
Es ist zu beachten, dass der Prozess des Musterabgleichs nicht in der zeitlichen Reihenfolge oder der Ordnung abgearbeitet werden kann, wie er in dem Flussdiagramm gezeigt ist, und dass das Paaren und Kreuzpaaren stattdessen beispielsweise ausgeführt werden kann in parallelen Prozessen oder Unterprogrammen. Wenn das Paaren und das Kreuzpaaren parallel ausgeführt werden, können beide Phänomene zum gleichen Zeitpunkt hergestellt werden. In einem solchen Fall kann einer der Prozesse zuerst ausgeführt werden und der andere Prozess kann dann ausgeführt werden, um durch Verwenden der Prozessergebnisse zu bestimmen, ob einer der Prozesse korrekt ist.
Die vorliegende Erfindung kann verwendet werden für die Filtervorrichtung, die in geeigneter Weise den Differenzwert (Parallaxe) des Objekts in den mehreren Bildern herleitet.
ZUSAMMENFASSUNG DER OFFENBARUNG
Es wird eine Filtervorrichtung bereitgestellt. Wenn ein Positionsverhältnis zwischen Referenzblöcken von einem Positionsverhältnis zwischen Vergleichsblöcken differiert, tauscht die Filtervorrichtung die entsprechenden Vergleichsblöcke aus, um Positionsverhältnisinformation zu aktualisieren (Ordnung von Korrelationen und das Positionsverhältnis hiervon) in einen Zustand, in dem die Information sein sollte, und leitet somit in geeigneter Weise einen Differenzwert von einem Objekt her, so dass das Positionsverhältnis zwischen den Referenzblöcken identisch wird mit dem Positionsverhältnis zwischen den Vergleichsblöcken.

Claims

Filtervorrichtung, umfassend: ein Evaluationswertherleitemodul (160), das, für ein Paar von Vergleichszielen (200, 210) mit wechselseitiger Relevanz, mehrere Evaluationswerte herleitet, die Korrelationen anzeigen zwischen Referenz-Extraktionsteilen (204), extrahiert von einem (200) in dem Paar der Vergleichsziele, und mehreren Vergleichs-Extraktionsteilen (214), extrahiert von dem anderen (210) in dem Paar der Vergleichsziele, wobei die Referenz-Extraktionsteile (204) ein erstes Referenz-Extraktionsteil (204a) und ein zweites Referenz-Extraktionsteil (204b) umfassen, ein Positionsverhältnisinformationherleitemodul (162), das ein Vergleichs-Extraktionsteil mit der höchsten Korrelation (214a) mit jedem (204a, 204b) der Referenz-Extraktionsteile und ein anderes Vergleichs-Extraktionsteil mit der zweithöchsten Korrelation (214b) mit jedem (204a, 204b) der Referenz-Extraktionsteile (204) von den mehreren Vergleichs-Extraktionsteilen (214) extrahiert; die Ordnung von Korrelationen der mehreren Vergleichs-Extraktionsteile (214) einschließlich des Vergleichs-Extraktionsteils mit der höchsten Korrelation (214a) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) und dem anderen Vergleichs-Extraktionsteil mit der zweithöchsten Korrelation (214b) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) und Positionsverhältnisinformation einschließlich einer ersten Position (Pa+Fa) des Vergleichs-Extraktionsteils mit der höchsten Korrelation (214a) und einer zweiten Position (Pa+Sa) des anderen Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation (214b) herleitet; und die Ordnung der Korrelationen und der Positionsverhältnisinformation den Referenz-Extraktionsteilen zuordnet; und ein Positionsverhältnisaustauschmodul (164), das die Ordnung der Korrelationen der Vergleichs-Extraktionsteile (214) mit dem ersten Referenz-Extraktionsteil und die Positionsverhältnisinformation der Ordnung der Korrelationen mit der Ordnung der Korrelationen der Vergleichs-Extraktionsteile mit dem zweiten Referenz-Extraktionsteil und der Positionsverhältnisinformation der Ordnung der Korrelationen vergleicht; relative Positionen (Fa, Fb) der Vergleichs-Extraktionsteile mit der höchsten Korrelation (214a) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) und relative Positionen (Sa, Sb) der Vergleichs-Extraktionsteile mit der zweithöchsten Korrelation (214b) mit dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) herleitet; und bestimmt, ob eine erste Bedingung erfüllt ist, wobei die erste Bedingung dahingehend definiert ist, dass die Differenz zwischen der Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Pa+Fa) und der Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Pb+Fb) kleiner ist als ein erster vorbestimmter Grenzwert und die Differenz zwischen der Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Pa+Sa) und der Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Pb+Sb) kleiner ist als ein zweiter vorbestimmter Grenzwert; und des Weiteren bestimmt, wenn die erste Bedingung erfüllt ist, ob eine zweite Bedingung erfüllt ist, wobei die zweite Bedingung dahingehend definiert ist, dass die Differenz zwischen der relativen Position des Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation zu dem ersten Referenz-Extraktionsteil (Sa) und die relative Position des Vergleichs-Extraktionsteils mit der höchsten Korrelation zu dem zweiten Referenz-Extraktionsteil (Fb) kleiner ist als ein dritter vorbestimmter Grenzwert; und die Ordnung der Korrelationen der Vergleichs-Extraktionsteile, die dem ersten Referenz-Extraktionsteil entsprechen, miteinander vertauscht, wenn die zweite Bedingung erfüllt ist.
Filtervorrichtung nach Anspruch 1, wobei, wenn die erste Bedingung nicht erfüllt ist, das Positionsverhältnisaustauschmodul (164) bestimmt, ob eine dritte Bedingung erfüllt ist, wobei die dritte Bedingung dahingehend definiert ist, dass die Differenz zwischen der Position des Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Pa+Fa) und dem Vergleichs-Extraktionsteil mit der zweithöchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Pb+Sb) kleiner ist als ein vierter vorbestimmter Grenzwert und die Differenz zwischen der Position des Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Pa+Sa) und dem Vergleichs-Extraktionsteil mit der höchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Pb+Fb) kleiner ist als ein fünfter vorbestimmter Grenzwert und weiterhin bestimmt, wenn die dritte Bedingung erfüllt ist, ob eine vierte Bedingung erfüllt ist, wobei die vierte Bedingung dahingehend definiert ist, dass die Differenz zwischen der relativen Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit einem ersten Referenz-Extraktionsteil (Sa) und der relativen Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit einem zweiten Referenz-Extraktionsteil (Sb) kleiner ist als ein sechster vorbestimmter Grenzwert, und die Ordnung der Vergleichs-Extraktionsteile entsprechend den beiden Referenz-Extraktionsteilen miteinander vertauscht, wenn die vierte Bedingung erfüllt ist.
Filtervorrichtung nach Anspruch 1, wobei das Positionsverhältnisaustauschmodul (164) weiterhin bestimmt, wenn die zweite Bedingung nicht erfüllt ist, ob eine fünfte Bedingung erfüllt ist, wobei die fünfte Bedingung dahingehend definiert ist, dass die Differenz zwischen der relativen Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Fa) und der relativen Position eines Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Sb) kleiner ist als ein siebter vorbestimmter Grenzwert und wenn die fünfte Bedingung erfüllt ist, die Ordnung der Korrelationen der Vergleichs-Extraktionsteile entsprechend dem zweiten Referenz-Extraktionsteil vertauscht, und wenn die fünfte Bedingung nicht erfüllt ist, das Vergleichs-Extraktionsteil validiert, dessen relative Position zu einem von dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) die kleinste ist, und die relativen Positionen der anderen Vergleichs-Extraktionsteile invalidiert.
Filtervorrichtung nach Anspruch 2, wobei das Positionsverhältnisaustauschmodul (164) weiterhin bestimmt, wenn die zweite Bedingung nicht erfüllt ist, ob eine fünfte Bedingung erfüllt ist, wobei die fünfte Bedingung dahingehend definiert ist, dass die Differenz zwischen der relativen Position des Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Fa) und der relativen Position des Vergleichs-Extraktionsteils mit der zweithöchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Sb) kleiner ist als ein siebter vorbestimmter Grenzwert und wenn die fünfte Bedingung erfüllt ist, die Ordnung der Korrelationen der Vergleichs-Extraktionsteile entsprechend dem zweiten Referenz-Extraktionsteil vertauscht, und wenn die fünfte Bedingung nicht erfüllt ist, das Vergleichs-Extraktionsteil validiert, dessen relative Position zu einem von dem ersten Referenz-Extraktionsteil (204a) und dem zweiten Referenz-Extraktionsteil (204b) die kleinste ist, und die relativen Positionen der anderen Vergleichs-Extraktionsteile invalidiert.
Filtervorrichtung nach Anspruch 2 oder 4, wobei das Positionsverhältnisaustauschmodul (164) eine relative Position (Fa, Fb) der mehreren Vergleichs-Extraktionsteile (214), die das Vergleichs-Extraktionsteil mit der höchsten Korrelation (214a) zu dem ersten Referenz-Extraktionsteil (204a) beziehungsweise dem zweiten Referenz-Extraktionsteil (204b) und das andere Vergleichs-Extraktionsteil mit der zweithöchsten Korrelation (214b) zu dem ersten Referenz-Extraktionsteil (204a) beziehungsweise dem zweiten Referenz-Extraktionsteil (204b) einschließen, herleitet, und des Weiteren bestimmt, wenn die vierte Bedingung nicht erfüllt ist, ob eine sechste Bedingung erfüllt ist, wobei die sechste Bedingung dahingehend definiert ist, dass die Differenz zwischen der relativen Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem ersten Referenz-Extraktionsteil (Fa) und der relativen Position eines Vergleichs-Extraktionsteils mit der höchsten Korrelation mit dem zweiten Referenz-Extraktionsteil (Fb) kleiner ist als ein achter vorbestimmter Grenzwert, und wenn die sechste Bedingung nicht erfüllt ist, das Vergleichs-Extraktionsteil validiert, dessen relative Position die kleinste wird in Bezug auf das erste Referenz-Extraktionsteil (204a) und das zweite Referenz-Extraktionsteil (204b), und die relativen Positionen der anderen Vergleichs-Extraktionsteile invalidiert.
Filtervorrichtung nach einem der Ansprüche 1 bis 5, wobei die Filtervorrichtung angewandt wird auf ein Stereobildaufnahmesystem, das ein Paar Bilder mit wechselseitiger Relevanz erzeugt, und das Paar von Vergleichszielen ein Referenzbild, aufgenommen von einer der Kameras des Stereobildaufnahmesystems, und ein Vergleichsbild, aufgenommen von der anderen Kamera, umfasst.
Filtervorrichtung nach einem der Ansprüche 1 bis 6, wobei die Filtervorrichtung angewandt ist auf eine Monokularbildaufnahmevorrichtung mit einer Monokularkamera und das Paar von Vergleichszielen ein Paar Bilder umfasst, die zu unterschiedlichen Zeitpunkten aufgenommen sind.
Filtervorrichtung nach einem der Ansprüche 1 bis 7, wobei die Filtervorrichtung angewandt ist auf eine Monokularbildaufnahmevorrichtung mit einer Monokularkamera und das Paar von Vergleichszielen ein Bild umfasst, das von der Kamera aufgenommen ist, und ein Musterbild, das vorab aufbereitet wurde.