DE102009005861A1 - Fahrzeugumgebungs-Erkennungssystem - Google Patents

Fahrzeugumgebungs-Erkennungssystem Download PDF

Info

Publication number
DE102009005861A1
DE102009005861A1 DE102009005861A DE102009005861A DE102009005861A1 DE 102009005861 A1 DE102009005861 A1 DE 102009005861A1 DE 102009005861 A DE102009005861 A DE 102009005861A DE 102009005861 A DE102009005861 A DE 102009005861A DE 102009005861 A1 DE102009005861 A1 DE 102009005861A1
Authority
DE
Germany
Prior art keywords
image
distance
basis
detection result
distance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102009005861A
Other languages
English (en)
Other versions
DE102009005861B4 (de
Inventor
Yasushi Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK, Fuji Heavy Industries Ltd filed Critical Fuji Jukogyo KK
Publication of DE102009005861A1 publication Critical patent/DE102009005861A1/de
Application granted granted Critical
Publication of DE102009005861B4 publication Critical patent/DE102009005861B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Ein Fahrzeugumgebungs-Erkennungssystem (1) weist Folgendes auf: eine Stereobild-Aufnahmeeinrichtung (2) zum Aufnehmen von Bildern von einer Umgebung um ein betreffendes Fahrzeug sowie zum Abgeben der Bilder als Referenzbild (TO) und als Vergleichsbild (TC); eine erste Stereoabgleichseinrichtung (7a) zum Bilden eines ersten Distanzbildes (TZ1) auf der Basis des Referenzbildes (TO) und des Vergleichsbildes (TC) oder auf der Basis von zwei Bildern, die durch Vorverarbeitung des Referenzbildes (TO) und des Vergleichsbildes (TC) gebildet werden; eine zweite Stereoabgleichseinrichtung (7b) zum Bilden eines zweiten Distanzbildes (TZ2) auf der Basis von zwei Bildern, die durch ein in einer anderen Weise erfolgenden Vorverarbeitung des Referenzbildes (TO) und des Vergleichsbildes (TC) gebildet werden; eine Erfassungseinrichtung (11) zum Erfassen von Objekten in dem Referenzbild (TO) auf der Basis des ersten und des zweiten Distanzbildes (TZ1, TZ2); sowie eine Auswähleinrichtung (12) zum Auswählen von einem der Erfassungsresultate auf der Basis des ersten und des zweiten Distanzbildes (TZ1, TZ2).

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung befaßt sich mit Fahrzeugumgebungs-Erkennungssystemen und betrifft insbesondere ein Fahrzeugumgebungs-Erkennungssystem, das eine Umgebung durch Stereoabgleich von zwei Bildern erkennt, die mittels einer Stereobild-Aufnahmeeinrichtung aufgenommen werden, die in einem Fahrzeug installiert ist.
  • 2. Beschreibung des einschlägigen Standes der Technik
  • Im allgemeinen werden zum Messen der Distanz zu einem Objekt mittels einer Stereokamera ein Paar Bilder mittels eines Paares von Kameras, d. h. einer rechten und einer linken Kamera aufgenommen, die auf der gleichen Höhe angebracht sind, und eines der aufgenommenen Bilder, das für Referenzzwecke verwendet wird (und im folgenden als Referenzbild T0 bezeichnet wird), wird mit dem anderen Bild verglichen (das im folgenden als Vergleichsbild TC bezeichnet wird).
  • Durch den Vergleich wird eine Differenz zwischen entsprechenden Positionen des gleichen Objekts auf den Bildern, d. h. eine Parallaxe, berechnet, und die Distanz zu dem Objekt wird anhand der Parallaxe berechnet. Die Positionen in dem Referenzbild und dem Vergleichsbild, an denen ein Bild von dem gleichen Objekt aufgenommen ist, werden typischerweise durch Stereoabgleich lokalisiert (vgl. z. B. ungeprüfte japanische Patentanmeldungsveröffentlichung JP-A-5-114 099 ).
  • Bei einem Stereoabgleich, wie er in 17 veranschaulicht ist, wird ein Referenzbild T0 in kleine Regionen unterteilt (die im folgenden als Referenz-Pixelblöcke PB0 bezeichnet werden), die durch eine vorbestimmte Anzahl von Pixeln definiert sind, wie z. B. 3 mal 3 Pixel oder 4 mal 4 Pixel. Eine Epipolarlinie EPL wird an der vertikalen Position in dem Vergleichsbild TC entsprechend jedem Pixelblock PB0 vorgegeben, und ein Helligkeitsmuster jedes Referenz-Pixelblocks PB0 wird mit einem Helligkeitsmuster jedes Vergleichs-Pixelblocks PBC verglichen, der auf der Epipolarlinie EPL vorhanden ist und die gleiche Formgebung wie der Referenz-Pixelblock PB0 aufweist.
  • Hierbei wird ein SAD-Wert (wobei SAD für Summe der absoluten Differenz steht) als Differenz in dem Helligkeitsmuster gemäß dem nachfolgenden Ausdruck (1) berechnet:
    Figure 00020001
  • Dabei bezeichnet p1s,t die Helligkeit des Pixels in dem Referenz-Pixelblock PB0 in dem Referenzbild T0, und p2s,t bezeichnet die Helligkeit des Pixels in dem Vergleichs-Pixelblock PBC in dem Vergleichsbild TC.
  • In dem vorstehend genannten Ausdruck (1) wird z. B. ein SAD-Wert für alle Pixel in einer Region berechnet, in der 1 ≤ s ≤ 3 und 1 ≤ t ≤ 3 beträgt, wenn der Referenz-Pixelblock PB0 und der Vergleichs-Pixelblock PBC jeweils als Region vorgegeben sind, die durch 3 mal 3 Pixel definiert ist, sowie für alle Pixel in einer Region berechnet, in der 1 ≤ s ≤ 4 und 1 ≤ t ≤ 4 beträgt, wenn der Referenz-Pixelblock PB0 und der Vergleichs-Pixelblock PBC jeweils als Region vorgegeben sind, die durch 4 mal 4 Pixel definiert ist.
  • Aus den SAD-Werten, die gemäß dem Ausdruck (1) berechnet werden und die geringer als oder gleich einem vorbestimmten Schwellenwert sind, wird ein Vergleichs-Pixelblock PBC, der den niedrigsten SAD-Wert ergibt, in dem Vergleichsbild TC, das ein Bild des gleichen Objekts wie des in dem Referenz-Pixelblock PB0 enthaltenen Objekts beinhaltet, als Vergleichs-Pixelblock spezifiziert.
  • Unter Verwendung des Resultats des Stereoabgleichs wird eine Parallaxe dp zwischen dem in dem Vergleichsbild TC spezifizierten Vergleichs-Pixelblock PBC und dem ursprünglichen Referenz-Pixelblock PB0 in dem Referenzbild T0 berechnet, und die Distanz Z zu dem Objekt bei dem Referenz-Pixelblock PB0 wird auf der Basis der Parallaxe dp gemäß dem Triangulationsprinzip berechnet.
  • Die 18A und 18B veranschaulichen teilweise ein Referenzbild T0 bzw. ein Vergleichsbild TC. Bei dem Referenzbild T0 und dem Vergleichsbild TC handelt es sich um Bilder eines vorausfahrenden Fahrzeugs, das sich vor einem betreffenden Fahrzeug bewegt, wobei die Bilder von Stereokameras aufgenommen werden, die in einem betreffenden Fahrzeug in einem von hinten beleuchteten Zustand angebracht sind.
  • Dabei tritt Hintergrundlicht in eine Kamera zum Aufnehmen des Referenzbildes T0 ein, und das Referenzbild T0 ist insgesamt weißlich. Dagegen wird Hintergrundlicht von irgendeinem Objekt (in diesem Fall von einem nicht dargestellten Gebäude) blockiert, und es gelangt nicht in eine Kamera zum Aufnehmen des Vergleichsbildes TC. Aus diesem Grund ist das Vergleichsbild TC insgesamt dunkel.
  • Wenn das Helligkeits-Gleichgewicht zwischen einem Kamerapaar auf diese Weise beeinträchtigt ist, nimmt eine Differenz zwischen der Helligkeit p1s,t des Pixels in dem Pixelblock PB0 in dem Referenzbild T0 und der Helligkeit p2s,t des Pixels in dem Pixelblock PB0 in dem Vergleichsbild TC in dem vorstehend genannten Ausdruck (1) zu. Daher wird der gemäß Ausdruck (1) berechnete SAD-Wert höher, und dieser ist manchmal nicht geringer als oder gleich dem vorgenannten Schwellenwert. In diesem Fall kann ein Pixelblock PBC, der einem Pixelblock PB0 in dem Referenzbild T0 entspricht, in dem Vergleichsbild TC nicht spezifiziert werden.
  • Aus diesem Grund wird ein in 19 dargestelltes Datenbild durch Zuordnen von berechneten Parallaxen dp zu den Pixelblöcken PB0 in dem Referenzbild T0 berechnet (das im folgenden als Distanzbild TZ bezeichnet wird), wobei man nur wenig Information über die Parallaxen dp des vorausfahrenden Fahrzeugs erhält. In dem in 19 gezeigten Distanzbild TZ zeigen sich Pixelblöcke, deren Parallaxe dp nicht berechnet wird, da der SAD-Wert nicht geringer als oder gleich dem Schwellenwert ist, als weiße Pixelblöcke.
  • Wenn z. B. effektive Information über die Parallaxen dp des vorausfahrenden Fahrzeugs sowie anhand der Parallaxen dp berechnete Information über die Distanzen Z zu dem vorausfahrenden Fahrzeug somit nicht durch Stereoabgleich ermittelt wird, d. h. bei Verlust des vorausfahrenden Fahrzeugs, ist eine wirksame Ausführung einer automatischen Nachfolgesteuerung in bezug auf das vorausfahrende Fahrzeug unmöglich.
  • In dieser Hinsicht schlagen die ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-2001-043 377 und JP-A-2003-255 430 eine Technik vor, bei der festgestellt wird, ob ein aufgenommenes Bild angemessen ist oder nicht, oder dann, wenn das aufgenommene Bild nicht angemessen ist, eine Erkennungssteuerung des vorausfahrenden Fahrzeugs unterbrochen wird. Diese Veröffentlichungen machen jedoch keine Angaben dahingehend, wie die Erkennung des vorausfahrenden Fahrzeugs in einer solchen Situation fortgesetzt wird.
  • Wenn ein vorausfahrenden Fahrzeug, das als zu erkennendes Objekt dient, verloren geht, kann automatisch die Feststellung getroffen werden, daß kein vorausfahrendes Fahrzeug vorhanden ist, und das betreffende Fahrzeug kann im schlimmsten Fall mit dem vorausfahrenden Fahrzeug kollidieren. Während das zu erkennende Objekt bei der vorliegenden Erfindung nicht auf ein vorausfahrendes Fahrzeug beschränkt ist, besteht ein Bedarf für die Entwicklung einer Technik zum wirksamen Erkennen einer Umgebung um das betreffende Fahrzeug herum durch Bildverarbeitung, selbst wenn das Helligkeits-Gleichgewicht zwischen einem Paar von Kameras der Stereokameraeinrichtung gestört ist, wie dies vorstehend beschrieben worden ist.
  • KURZBESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung ist in anbetracht dieser Umstände erfolgt, und ein Ziel der Erfindung besteht in der Schaffung eines Fahrzeugumgebungs-Erkennungssystems, das eine Umgebung um ein betreffendes Fahrzeug selbst dann durch wirksame Ausführung eines Stereoabgleichs erkennen kann, wenn das Helligkeits-Gleichgewicht zwischen einem Kamerapaar gestört ist.
  • Zum Lösen der vorstehend geschilderten Probleme weist ein Fahrzeugumgebungs-Erkennungssystem gemäß einem Gesichtspunkt der vorliegenden Erfindung folgendes auf:
    eine Stereobild-Aufnahmeeinrichtung zum gleichzeitigen Aufnehmen von Bildern von einer Umgebung um ein betreffendes Fahrzeug mittels eines Paares von Kameras sowie zum Abgeben der Bilder als Referenzbild und als Vergleichsbild;
    eine erste Stereoabgleichseinrichtung zum Berechnen von ersten Parallaxen oder ersten Distanzen durch Stereoabgleich auf der Basis des Referenzbildes oder des Vergleichsbildes oder auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild und das Vergleichsbild einem vorbestimmten ersten Vorverarbeitungsvorgang unterzogen werden, sowie zum Bilden eines ersten Distanzbildes durch Zuordnen der berechneten ersten Parallaxen oder ersten Distanzen zu Pixelblöcken in dem Referenzbild;
    eine zweite Stereoabgleichseinrichtung zum Berechnen von zweiten Parallaxen oder zweiten Distanzen durch Stereoabgleich auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild und das Vergleichsbild einem vorbestimmten zweiten Vorverarbeitungsvorgang unterzogen werden, der von dem ersten Vorverarbeitungsvorgang verschieden ist, sowie zum Bilden eines zweiten Distanzbildes durch Zuordnen der berechneten zweiten Parallaxen oder zweiten Distanzen zu den Pixelblöcken in dem Referenzbild;
    eine Erfassungseinrichtung zum Erfassen von Objekten in dem Referenzbild auf der Basis des ersten Distanzbildes und des zweiten Distanzbildes; sowie
    eine Auswähleinrichtung zum Auswählen von einem von dem Erfassungsresultat der Objekte auf der Basis des ersten Distanzbildes und von dem Erfassungsresultat der Objekte auf der Basis des zweiten Distanzbildes.
  • Wenn hierbei eine Umgebung um ein betreffendes Fahrzeug durch Erfassen von Objekten in dem Referenzbild erkannt wird, werden zwei Stereoabgleichseinrichtungen verwendet, d. h. die Einrichtung zum Bilden eines ersten Distanzbildes durch Stereoabgleich auf der Basis des Referenzbildes und des Vergleichsbildes oder auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild und das Vergleichsbild einer vorbestimmten ersten Vorverarbeitung unterzogen werden, sowie die Einrichtung zum Bilden eines zweiten Distanzbildes durch Stereoabgleich auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild und das Vergleichsbild einer vorbestimmten zweiten Vorverarbeitung unterzogen werden, die sich von der ersten Vorverarbeitung unterscheidet.
  • Auf der Basis der ersten und der zweiten Distanzbilder, die durch die verschiedenen Einrichtungen gebildet werden, werden Objekte, wie z. B. ein vorausfahrendes Fahrzeug, erfaßt. Die Auswähleinrichtung wählt ein angemessenes Erfassungsresultat aus.
  • In einem Fall, in dem ein in 18A gezeigtes Referenzbild und ein in 18B gezeigtes Vergleichsbild verwendet werden, können somit selbst in einer Umgebung, in der Objekte, wie z. B. ein vorausfahrendes Fahrzeug, aufgrund eines gestörten Helligkeits-Gleichgewichts zwischen einem Paar von Kameras nicht erfaßt werden können, Objekte dennoch in exakter Weise erfaßt werden und die Umgebung um das betreffende Fahrzeug herum zuverlässig erkannt werden, indem die Distanzbilder verwendet werden, die man durch die verschiedenen Vorverarbeitungsvorgänge erhält, und ein wirksamer Stereoabgleich mit den verschiedenen Stereoabgleichseinrichtungen ausgeführt wird.
  • Selbst in einer Umgebung, in der Hintergrundlicht nur in eine der Kameras eintritt, kann somit die Erfassung ohne Verlust des vorausfahrenden Fahrzeugs fortgesetzt werden. Dies erlaubt eine wirksame Nachfolgesteuerung in bezug auf das vorausfahrende Fahrzeug.
  • Vorzugsweise führt die Auswähleinrichtung die Auswahl auf der Basis eines bestimmten Objekts von den mittels der Erfassungseinrichtung in dem Referenzbild erfaßten Objekten durch.
  • In diesem Fall kann zusätzlich zu den vorstehend beschriebenen Vorteilen, da die Auswahl auf der Basis eines bestimmten Objekts, wie z. B. eines vorausfahrenden Fahrzeugs, von den mittels der Erfassungseinrichtung in dem Referenzbild erfaßten Objekten ausgeführt wird, das bestimmte Objekt exakt erfaßt werden, ohne verloren zu gehen.
  • Vorzugsweise vergleicht die Auswähleinrichtung eine in einem aktuellen Objekterfassungsresultat erfaßte, aktuelle laterale Breite des Objekts mit einer vorherigen lateralen Breite des bestimmten Objekts, die auf der Basis des in der vorherigen Objekterfassung ausgewählten Objekterfassungsresultats berechnet worden ist, und verwirft das aktuelle Erfassungsresultat, wenn die aktuelle lateral Breite um mindestens einen ersten vorbestimmten Schwellenwert kleiner ist als die vorherige laterale Breite.
  • Zusätzlich zu den vorstehend beschriebenen Vorteilen wird in diesem Fall bei Erfüllung der vorstehend genannten Bedingung sowie dann, wenn die aktuell erfaßte laterale Breite des Objekts kleiner als die zuvor erfaßte laterale Breite des Objekts ist, das aktuelle Erfassungsresultat verworfen. Infolgedessen ist es möglich, das Objekt zu erfassen, ohne von dem Erfassungsresultat mit geringer Zuverlässigkeit abhängig zu sein, sowie die Zuverlässigkeit des Stereoabgleichs des Fahrzeugumgebungs-Erkennungssystems und die Zuverlässigkeit der Information hinsichtlich des durch Stereoabgleich erfaßten Objekts zu erhöhen.
  • Vorzugsweise vergleicht die Auswahleinrichtung eine aktuelle Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug, die in einem aktuellen Objekt erfassungsresultat erfaßt wird, mit einer vorherigen Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug, die auf der Basis des in einer vorherigen Objekterfassung ausgewählten Objekterfassungsresultats berechnet wird, und verwirft das aktuelle Objekterfassungsresultat, wenn die aktuelle Distanz um mindestens einen vorbestimmten zweiten Schwellenwert von der vorherigen Distanz verschieden ist.
  • Wenn die vorstehende Bedingung erfüllt ist und sich die aktuell erfaßte Distanz zwischen dem Objekt und dem betreffenden Fahrzeug von der zuvor erfaßten Distanz zwischen den Objekt und dem betreffenden Fahrzeug stark unterscheidet, wird in diesem Fall das aktuelle Erfassungsresultat verworfen. Somit ist es möglich, das Objekt zu erfassen, ohne daß man auf das Erfassungsresultat mit geringer Zuverlässigkeit angewiesen ist, sowie die Zuverlässigkeit des Stereoabgleichs des Fahrzeugumgebungs-Erkennungssystems und der durch Stereoabgleich erfaßten Information über das Objekt zu steigern.
  • Vorzugsweise verwirft die Auswähleinrichtung sowohl das Objekterfassungsresultat auf der Basis des ersten Distanzbildes und als auch das Objekterfassungsresultat auf der Basis des zweiten Distanzbildes, wenn das bestimmte Objekt in einem von den Objekterfassungsresultaten erfaßt wird und in dem anderen Objekterfassungsresultat an einer Erfassungsposition in dem Referenzbild, an der das Objekt in dem einen Erfassungsresultat erfaßt worden ist, nicht erfaßt wird und wenn die Anzahl von Daten über die ersten oder zweiten Parallaxen oder die ersten oder die zweiten Distanzen, die an der Erfassungsposition des bestimmten Objekts in dem ersten oder dem zweiten Distanzbild in dem einen Objekterfassungsresultat vorhanden sind, geringer ist als ein vorbestimmter dritter Schwellenwert.
  • Wenn in diesem Fall die vorstehend genannte Bedingung erfüllt ist und ein Objekt in dem einen der Erfassungsresultate erfaßt wird, während es in einer Position in dem Referenzbild in dem anderen Erfassungsresultat, an der das Objekt in dem einen Erfassungsresultat erfaßt worden ist, nicht erfaßt wird und wenn die Anzahl von Daten über effektive Parallaxen oder dergleichen, die an der Erfassungsposition des Objekts in dem Distanzbild vorhanden sind, in dem einen Erfassungsresultat gering ist, so ist man selbst dann, wenn das Objekt in einer derartigen Situation in dem einen Erfassungsresultat erfaßt wird, der Ansicht, daß die Zuverlässigkeit der Information über das erfaßte Resultat gering ist.
  • Aus diesem Grund wird in diesem Fall das Erfassungsresultat mit geringer Zuverlässigkeit nicht ausgegeben, sondern es werden beide Erfassungsresultate verworfen. Somit kann die Zuverlässigkeit des Stereoabgleichs des Fahrzeugumgebungs-Erkennungssystems und der Information über das durch Stereoabgleich erfaßte Objekt verbessert werden, und die vorstehend beschriebenen Vorteile der Erfindung werden in angemessener Weise erzielt.
  • Vorzugsweise bildet die erste Stereoabgleichseinrichtung das erste Distanzbild durch Ausführen des Stereoabgleichs auf der Basis des Referenzbildes und des Vergleichsbildes und bildet die zweite Stereoabgleichseinrichtung das zweite Distanzbild durch Ausführen des Stereoabgleichs auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild und das Vergleichsbild einer Randerfassung unterzogen werden.
  • In diesem Fall bildet die erste Stereoabgleichseinrichtung das Distanzbild durch Stereoabgleich auf der Basis des Referenzbildes und des Vergleichsbildes, und die zweite Stereoabgleichseinrichtung bildet das zweite Distanzbild durch Stereoabgleich auf der Basis des Referenzbildes und des Vergleichsbildes, nachdem das Referenzbild und das Vergleichsbild einer Randerfassung unterzogen worden sind.
  • Daher werden z. B. ein in 18A dargestelltes Referenzbild T0 und ein in 18B gezeigtes Vergleichsbild TC verwendet, wobei selbst in einer Umgebung, in der ein Objekt, wie z. B. ein vorausfahrendes Fahrzeug, aufgrund eines gestörten Helligkeits-Gleichgewichts zwischen einem Kamerapaar nicht erfaßt werden kann, das Objekt dennoch exakt erfaßt werden kann, die Umgebung um das betreffende Fahrzeug zuverlässig erkannt werden kann und die vorstehend geschilderten Vorteile der vorliegenden Erfindung angemessen erzielt werden können.
  • Vorzugsweise verwirft die Auswähleinrichtung das Objekterfassungsresultat auf der Basis des ersten Distanzbildes, wenn eine auf der Basis des ersten Distanzbildes berechnete Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug geringer ist als eine auf der Basis des zweiten Distanzbildes berechneten Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug, wenn die Anzahl von Daten über die ersten Parallaxen oder die ersten Distanzen Z1 an einer Erfassungsposition des bestimmten Objekts in dem ersten Distanzbild geringer ist als ein vorbestimmter vierter Schwellenwert, und wenn die Anzahl von Daten über die zweiten Parallaxen oder die zweiten Distanzen an einer Erfassungsposition des bestimmten Objekts in dem zweiten Distanzbild höher ist als ein vorbestimmter fünfter Schwellenwert.
  • Wenn die vorstehende Bedingung erfüllt ist, wird in diesem Fall das Objekterfassungsresultat auf der Basis des ersten Distanzbildes, das auf der Basis des Referenzbildes und des Vergleichsbildes gebildet wird, verworfen. Nach der Bestätigung, daß das Objekterfassungsresultat auf der Basis des ersten Distanzbildes falsch ist, wird das Objekterfassungsresultat verworfen, und das Objekt kann erfaßt werden, ohne daß man sich auf das Erfassungsresultat mit geringer Zuverlässigkeit stützen muß.
  • Die Zuverlässigkeit des Stereoabgleichs des Fahrzeugumgebungs-Erkennungssystems und der Information über das durch Stereoabgleich erfaßte Objekt läßt sich somit steigern, und die vorstehend geschilderten Vorteile der vorliegenden Erfindung lassen sich in angemessener Weise erzielen.
  • Vorzugsweise wird dann, wenn keines von dem Objekterfassungsresultat auf der Basis des ersten Distanzbildes und dem Objekterfassungsresultat auf der Basis des zweiten Distanzbildes verworfen wird, von der Auswähleinrichtung dasjenige von den Objekterfassungsresultaten verworfen, das eine geringere Anzahl von Daten über die ersten oder zweiten Parallaxen oder über die ersten oder zweiten Distanzen an einer Position aufweist, an der das bestimmte Objekt in dem ersten Distanzbild oder in dem zweiten Distanzbild erfaßt wird.
  • Wenn die vorstehend genannten Bedingungen erfüllt werden und keines von dem Objekterfassungsresultat auf der Basis des ersten Distanzbildes und dem Objekterfassungsresultat auf der Basis des zweiten Distanzbildes verworfen wird, das eine der Erfassungsresultate, das eine geringere Anzahl von effektiven Daten aufweist, verworfen, während das andere Erfassungsresultat, das eine größere Anzahl effektiver Daten aufweist, aufgegriffen wird.
  • Auf diese Weise können die Wirksamkeit und die Zuverlässigkeit des Stereoabgleichs des Fahrzeugumgebungs-Erkennungssystems sowie der Information über das durch Stereoabgleich erfaßte Objekt verbessert werden, und die vorstehend beschriebenen Vorteile der vorliegenden Erfindung lassen sich in angemessener Weise erzielen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • In den Zeichnungen zeigen:
  • 1 ein Blockdiagramm zur Erläuterung einer Konfiguration eines Fahrzeugumgebungs-Erkennungssystems gemäß einem Ausführungsbeispiel;
  • 2 ein Beispiel eines Referenzbildes;
  • 3 ein erstes Distanzbild, das auf der Basis des in 2 gezeigten Referenzbildes gebildet wird;
  • 4A ein Photo zur Erläuterung eines Referenz-Randbildes, das man aus einem in 18A dargestellten Referenzbild erhält;
  • 4B ein Photo zur Erläuterung eines Vergleichs-Randbildes, das man aus einem in 18B dargestellten Vergleichsbild erhält;
  • 5 ein Photo zur Erläuterung eines zweiten Distanzbildes, das auf der Basis des in 4A dargestellten Referenz-Randbildes und des in 4B dargestellten Vergleichs-Randbildes gebildet wird;
  • 6 eine Darstellung von streifenförmigen Segmenten des Distanzbildes;
  • 7 eine Darstellung eines Histogramms, das für jedes der Segmente der 6 gebildet wird;
  • 8 eine Darstellung von Punkten, die durch Auftragen von Distanzen in den Segmenten im realen Raum gebildet sind;
  • 9 eine Darstellung von Gruppen, die anhand der in 8 dargestellten Punkte gebildet sind;
  • 10 eine Darstellung von Beispielen von Objekten, die durch lineare Approximation der Punkte in den in 9 dargestellten Gruppen erfaßt werden;
  • 11 eine Darstellung von erfaßten Objekten, die von Rahmen in dem Referenzbild umgeben sind;
  • 12 eine Darstellung eines Bewegungsortes und einer Bewegungsbahn eines betreffenden Fahrzeugs und eines vorausfahrenden Fahrzeugs im realen Raum;
  • 13 eine Darstellung einer Region, die durch das vorausfahrende Fahrzeug im realen Raum verdeckt ist;
  • 14 ein Photo, das einen Rahmen beinhaltet, der das in dem Referenzbild der 18A erfaßte vorausfahrende Fahrzeug umgibt;
  • 15 ein Photo, in dem der in 14 dargestellte Rahmen bei dem in 5 gezeigten zweiten Distanzbild Anwendung findet;
  • 16A eine Darstellung eines vorausfahrenden Fahrzeugs, das in einer Position nahe dem Nullpunkt erfaßt wird;
  • 16B eine Darstellung eines vorausfahrenden Fahrzeugs, das in einer weiter entfernten Position als der in 16A dargestellten Position erfaßt wird;
  • 17 eine Darstellung zur Erläuterung, wie ein Stereoabgleich ausgeführt wird;
  • 18A ein Photo zur Erläuterung eines Beispiels eines Referenzbildes, und
  • 18B ein Photo zur Erläuterung eines Vergleichsbildes, das insgesamt dunkler ist als das in 18A dargestellte Referenzbild; und
  • 19 ein Photo zur Erläuterung eines Distanzbildes, das man durch Stereoabgleich des in 18A dargestellten Referenzbildes und des in 18B dargestellten Vergleichsbildes erhält.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
  • Ein Fahrzeugumgebungs-Erkennungssystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung wird im folgenden unter Bezugnahme auf die Zeichnungen beschrieben.
  • Die nachfolgende Beschreibung bezieht sich auf einen Fall, in dem das Fahrzeugumgebungs-Erkennungssystem ein vorausfahrendes Fahrzeug erkennt. Ein zu erken nendes Objekt ist jedoch nicht auf ein vorausfahrendes Fahrzeug beschränkt, und es können auch andere Fahrzeuge, Fußgänger, Hindernisse oder alle von diesen erkannt werden.
  • Unter Bezugnahme auf 1 beinhaltet ein Fahrzeugumgebungs-Erkennungssystem 1 gemäß dem Ausführungsbeispiel eine Stereobild-Aufnahmeeinrichtung 2, eine Wandlereinrichtung 3 und eine Erkennungseinrichtung 10. Weiterhin weist das Fahrzeugumgebungs-Erkennungssystem 1 auch zwei Bildverarbeitungseinrichtungen 6a und 6b auf.
  • Die Konfiguration, die die Stereobild-Aufnahmeeinrichtung 2, die Wandlereinrichtung 3, eine Bildkorrektureinheit 4, einen Bilddatenspeicher 5 sowie die erste und die zweite Bildverarbeitungseinrichtung 6a bzw. 6b aufweist, welche eine erste und eine zweite Stereoabgleichseinrichtung 7a bzw. 7b sowie einen ersten und einen zweiten Distanzdatenspeicher 8a bzw. 8b beinhalten, ist in den ungeprüften japanischen Patentanmeldungsveröffentlichungen JP-A-5-114 099 , JP-A-5-265 547 , JP-A-6-266 828 , JP-A-10-283 461 , JP-A-10-283 477 und JP-A-2006-072 495 , die von der vorliegenden Anmelderin zu einem früheren Zeitpunkt eingereicht worden sind, bereits ausführlich beschrieben worden. Daher wird diese Konfiguration im folgenden nur kurz erläutert.
  • Bei dem vorliegenden Ausführungsbeispiel ist die Stereobild-Aufnahmeeinrichtung 2 von einer Stereokamera gebildet, die eine Hauptkamera 2a und eine Zusatzkamera 2b beinhaltet, die innenseitig von der Frontscheibe eines Fahrzeugs angebracht sind. Die Hauptkamera 2a und die Zusatzkamera 2b sind mit einer vorbestimmten Beabstandung voneinander in Fahrzeugbreitenrichtung, d. h. in Querrichtung, angeordnet. Die Hauptkamera 2a und die Zusatzkamera 2b beinhalten jeweilige Bildsensoren, wie CCDs oder CMOS-Sensoren, die miteinander synchronisiert sind.
  • Die Hauptkamera 2a und die Zusatzkamera 2b sind auf der gleichen Höhe relativ zu der Straßenoberfläche angebracht und nehmen gleichzeitig Bilder von der Umgebung des betreffenden Fahrzeugs mit einer vorbestimmten Abtastfrequenz auf und geben Information über die aufgenommenen Bilder ab. Die in der Nähe des Fahrers angebrachte Hauptkamera 2a gibt Daten über ein in 2 dargestelltes Referenzbild T0 ab, und die von dem Fahrer entfernt angebrachte Zusatzkamera 2b gibt Bilddaten über ein nicht dargestelltes Vergleichsbild TC ab.
  • Von der Hauptkamera 2a und der Zusatzkamera 2b abgegebene Bilddaten werden mittels in der Wandlereinrichtung 3 vorgesehenen A/D-Wandlern 3a und 3b von analogen Bildern in digitale Bilder umwandelt, bei denen jedes Pixel eine Helligkeit mit einer vorbestimmten Anzahl von Stufen hat, beispielsweise 256 Stufen. Die digitalen Bilder werden durch die Bildkorrektureinheit 4 einer Bildkorrektur unterzogen, bei der zum Beispiel Verzerrungen und Rauschen eliminiert werden. Nach der Bildkorrektur werden die Bilddaten in dem Bilddatenspeicher 5 gespeichert und ferner zu der ersten Bildverarbeitungseinrichtung 6a und der zweiten Bildverarbeitungseinrichtung 6b übertragen.
  • Die erste Bildverarbeitungseinrichtung 6a beinhaltet die erste Stereoabgleichseinrichtung 7a, wie z. B. einen Bildprozessor, sowie den ersten Distanzdatenspeicher 8a.
  • In der ersten Bildverarbeitungseinrichtung 6a werden das Referenzbild T0 und das Vergleichsbild TC ohne Vorverarbeitung direkt einem Stereoabgleich unterzogen. Zwei Bilder, die durch Vorverarbeitung des Referenzbildes T0 und des Vergleichsbildes TC gebildet werden, können jedoch auch einem Stereoabgleich in der ersten Bildverarbeitungseinrichtung 6a unterzogen werden, in ähnlicher Weise wie bei der zweiten Bildverarbeitungseinrichtung 6b, wie dies im folgenden noch beschrieben wird. In diesem Fall werden zwei durch unterschiedliche Verfahren vorverarbeitete Bilder in die jeweilige erste Bildverarbeitungseinrichtung 6a bzw. zweite Bildverarbeitungseinrichtung 6b eingegeben.
  • Die erste Stereoabgleichseinrichtung 7a führt einen Stereoabgleich mit dem in 17 veranschaulichten Verfahren aus. Insbesondere gibt die erste Stereoabgleichseinrichtung 7a einen Referenz-Pixelblock PB0, der durch eine vorbestimmte Anzahl von Pixeln, beispielsweise 3 mal 3 Pixel oder 4 mal 4 Pixel, definiert ist, in einem Referenzbild T0 vor, gibt eine Epipolarlinie EPL an einer vertikalen Position in einem Vergleichsbild TC entsprechend dem Referenz-Pixelblock PB0 vor und sucht nach Pixelblöcken PBC in dem Vergleichsbild TC unter Verschiebung der Vergleichs-Pixelblöcke PBC auf der Epipolarlinie EPL jeweils Pixel für Pixel, beispielsweise von links nach rechts.
  • Die erste Stereoabgleichseinrichtung 7a berechnet dann SAD-Werte gemäß dem vorstehend beschriebenen Ausdruck (1) und spezifiziert einen Pixelblock PBC, dessen SAD-Wert kleiner als oder gleich einem Schwellenwert ist und der am niedrigsten ist.
  • Während bei dem vorliegenden Ausführungsbeispiel somit der SAD-Wert verwendet wird, kann z. B. ein Stereoabgleich auf der Basis der Summe von Quadraten der Differenz zwischen einem Pixel-Helligkeitswert p1s,t in dem Referenz-Pixelblock PB0 und einem Pixel-Helligkeitswert p2s,t in dem Vergleichs-Pixelblock PBC verwendet werden. Alternativ hierzu kann ein Stereoabgleich auf der Basis von gemäß anderen Ausdrücken bzw. Gleichungen berechneten Differenzen durchgeführt werden, solange die Differenz in dem Helligkeitsmuster zwischen dem Referenz-Pixelblock PB0 und dem Vergleichs-Pixelblock PBC korrekt berechnet werden kann.
  • Die erste Stereoabgleichseinrichtung 7a berechnet auch erste Parallaxen dp aus den durch den Stereoabgleich spezifizierten Positionen der Vergleichs-Pixelblöcke PBC in dem Vergleichsbild TC sowie aus den Positionen der ursprünglichen Referenz-Pixelblöcke PB0 in dem Referenzbild T0. Die vorstehend beschriebenen Vorgänge werden für alle Referenz-Pixelblöcke PB0 in dem Referenzbild T0 berechnet, und es wird eine erste Parallaxe dp1 für jeden Referenz-Pixelblock PB0 berechnet.
  • Durch Zuordnen der berechneten ersten Parallaxen dp1 zu den Referenz-Pixelblöcken PB0 in dem Referenzbild T0 wird ein erstes Distanzbild TZ1 gebildet, wie dies in 3 gezeigt ist. Auf diese Weise berechnet die erste Stereoabgleichseinrichtung 7a die ersten Parallaxen dp1 durch Stereoabgleich und bildet das erste Distanzbild TZ1.
  • Der Punkt (X1, Y1, Z1) im realen Raum, die erste Parallaxe dp1 sowie der Punkt (i1, j1) in dem ersten Distanzbild TZ1 können nach dem Triangulationsprinzip durch Koordinatenumwandlung in eindeutiger Weise korreliert werden, wie dies durch die nachfolgenden Ausdrücke (2) bis (4) veranschaulicht wird: X1 = CD/2 + Z1 × PW × (i1 – IV) (2) Y1 = CH + Zi × PW × (j1 - JV) (3) Z1 = CD/(PW × (dp1 – DP)) (4);dabei wird ein Punkt auf der Straßenoberfläche unmittelbar unter dem Mittelpunkt zwischen der Hauptkamera 2a und der Zusatzkamera 2b als Null- bzw. Ausgangspunkt bezeichnet, die X-Achse stellt die Breitenrichtung, d. h. die Querrichtung, des betreffenden Fahrzeugs dar, die Y-Achse stellt die Richtung der Fahrzeughöhe dar, und die Z-Achse stellt die Fahrzeuglängsrichtung, d. h. die Richtung von vorne nach hinten dar.
  • In diesen Ausdrücken stellt CD die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar, PW stellt den Betrachtungswinkel für ein Pixel dar, CH stellt die Montagehöhe der Hauptkamera 2a und der Zusatzkamera 2b dar, IV und JV stellen die Koordinaten i bzw. j des Unendlichkeitspunktes vor dem betreffenden Fahrzeug in dem ersten Distanzbild TZ1 dar, und DP stellt die Fluchtpunkt-Parallaxe dar.
  • Da die erste Parallaxe dp1 und die erste Distanz Z1 auf diese Weise in einzigartiger Weise korreliert sind, kann die erste Stereoabgleichseinrichtung 7a berechnete erste Parallaxen dp1 in erste Distanzen Z1 gemäß dem vorstehend genannten Ausdruck (4) umwandeln und ein erstes Distanzbild TZ1 bilden, indem die ersten Distanzen Z1 den Pixelblöcken PB0 in dem Referenzbild T0 zugeordnet werden.
  • Die erste Stereoabgleichseinrichtung 7a speichert Information über das gebildete erste Distanzbild TZ1 an dem ersten Distanzdatenspeicher 8a.
  • Die erste Stereoabgleichseinrichtung 7a bildet ein in 19 gezeigtes erstes Distanzbild TZ1 an einem Ort, in dem ein in 18A gezeigtes Referenzbild T0 und ein in 18B gezeigtes Vergleichsbild TC mittels der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden.
  • Im Gegensatz dazu werden zwei Bilder, die durch Unterziehen des Referenzbildes T0 und des Vergleichsbildes TC einer vorbestimmten Vorverarbeitung mittels einer Vorverarbeitungseinrichtung 9 (vgl. 1) gebildet werden, in die zweite Bildverarbeitungseinrichtung 6b eingegeben.
  • Bei dem vorliegenden Ausführungsbeispiel bildet die Vorverarbeitungseinrichtung 9 ein Referenz-Randbild und ein Vergleichs-Randbild, indem das Referenzbild T0 und das Vergleichsbild TC einer Randerfassung als vorbestimmter Vorverarbeitung unterzogen werden.
  • Nach der Bildkorrektur, wie z. B. der Eliminierung von Verzerrungen und Rauschen, werden Daten über die Helligkeiten p1i,j und p2i,2 der Pixel in dem Referenzbild T0 und dem Vergleichsbild TC von der Bildkorrektureinheit 4 nacheinander in die Vorverarbeitungseinrichtung 9 in jeder horizontalen Linie, d. h. jeder Epipolarlinie mit einer einem Pixel in dem Referenzbild T0 und dem Vergleichsbild TC entsprechenden Breite eingegeben. Die Helligkeiten p1i,j und p2i,j stellen die Helligkeiten eines Pixels bei den Koordinaten (i, j) in dem Referenzbild T0 und dem Vergleichsbild TC dar.
  • Die Vorverarbeitungseinrichtung 9 führt die Randerfassung dadurch aus, daß die Daten über die Helligkeiten p1i,j und p2i,j der Pixel, die in jeder horizontalen Linie in dem Referenzbild T0 und dem Vergleichsbild TC eingegeben werden, einem Filtervorgang mittels eines primären partiellen Differentialoperators (1/0/+1) (genauer gesagt einem Operator mit dem doppelten Wert des primären partiellen Differentialoperators (–0,5/01+0,5) unterzogen werden.
  • Mit anderen Worten, es führt die Vorverarbeitungseinrichtung 9 eine Randerfassung an den Daten über die Helligkeiten p1i.j und p2i,j der Pixel, die in jeder horizontalen Linie in dem Referenzbild T0 eingegeben werden, gemäß dem nachfolgenden Ausdruck (5) aus und bildet dadurch ein Referenz-Randbild TEE, bei dem berechneten Randwerte p3i,j die Helligkeiten der Pixel an den Koordinaten (i, j) darstellen: p3i,j = p1i – 1,j + p1i + 1,j (5).
  • Die Vorverarbeitungseinrichtung 9 führt auch eine Randerfassung an den Daten über die Helligkeiten p2i,j der Pixel, die in jeder horizontalen Linie in das Vergleichsbild TC eingegeben werden, gemäß dem nachfolgenden Ausdruck (6) aus und bildet dadurch ein Vergleichs-Randbild TEC, in dem berechnete Randwerte p4i,j die Helligkeiten der Pixel bei den Koordinaten (i, j) darstellen: p4i,j = p2i – 1,j + p2i + 1,j (6).
  • An dem vorstehend beschriebenen Ort, an dem ein in 18A gezeigtes Referenzbild T0 und ein in 18B gezeigtes Vergleichsbild TC von der Hauptkamera 2a und der Zusatzkamera 2b aufgenommen werden, erhält man durch die Randerfassung der Vorverarbeitungseinrichtung 9 ein in 4A gezeigtes Referenz-Randbild TEE und ein in 4B gezeigtes Vergleichs-Randbild TEC.
  • Auf diese Weise bildet die Vorverarbeitungseinrichtung 9 das Referenz-Randbild TE0 und das Vergleichs-Randbild TEC, die durch die Pixel mit den Helligkeiten (Randwerten) p3i,j und p4i,j definiert sind, und sie überträgt diese Bilder zu der zweiten Bildverarbeitungseinrichtung 6b.
  • Die zweite Bildverarbeitungseinrichtung 6b hat eine ähnliche Konfiguration wie die vorstehend beschriebene erste Bildverarbeitungseinrichtung 6a. Die zweite Stereoabgleichseinrichtung 7b in der zweiten Bildverarbeitungseinrichtung 6b führt ebenfalls einen Stereoabgleich durch das in 17 veranschaulichte Verfahren aus. Die zweite Stereoabgleichseinrichtung 7b führt jedoch einen Stereoabgleich an dem Referenz-Randbild TE0 und dem Vergleichs-Randbild TEC aus.
  • Ähnlich der ersten Stereoabgleichseinrichtung 7a berechnet auch die zweite Stereoabgleichseinrichtung 7b zweite Parallaxen dp2 für Pixelblöcke in dem Referenz-Randbild TE0, und sie bildet ein zweites Distanzbild TZ2 durch Zuordnen der berechneten zweiten Parallaxen dp2 zu dem Pixelblöcken in dem Referenz-Randbild TE0.
  • Da die Pixelblöcke in dem Referenz-Randbild TE0 an den gleichen Pixelpositionen vorgegeben sind wie bei den Pixelblöcken PB0, die durch die erste Stereoabgleichseinrichtung 7a in dem Referenzbild T0 vorgegeben sind, kann man auch sagen, daß das zweite Distanzbild TZ2 durch Zuordnen der berechneten zweiten Parallaxen dp2 zu den Pixelblöcken PB0 in dem Referenzbild T0 gebildet wird.
  • Ein in 5 gezeigtes zweites Distanzbild TZ2 wird auf der Basis des in 4A gezeigten Referenz-Randbildes TE0 und des in 4B gezeigten Vergleichs-Randbildes TEC gebildet.
  • In ähnlicher Weise, wie vorstehend erläutert, können ein Punkt (X2, Y2, Z2) im realen Raum, der aus der zweiten Parallaxe dp2 berechnet wird, die zweite Parallaxe dp2 sowie ein Punkt (i2, j2) in dem zweiten Distanzbild TZ2 nach dem Triangulationsprinzip durch Koordinatenumwandlung in eindeutiger Weise korreliert werden, wie dies durch die nachfolgenden Ausdrücke (7) bis (9) veranschaulicht wird: X2 = CD/2 + Z2 × PW × (i2 – IV) (7) Y2 = CH + Z2 × PW × (j2 – JV) (8) Z2 = CD/(PW × (dp2 – DP)) (9);dabei sind der Ausgangspunkt, die X-Achse, die Y-Achse und die Z-Achse in ähnlicher Weise wie vorstehend erwähnt vorgegeben, und CD stellt die Distanz zwischen der Hauptkamera 2a und der Zusatzkamera 2b dar.
  • Da die zweite Parallaxe dp2 und die zweite Distanz Z2 in eindeutiger Weise korreliert sind, kann die zweite Stereoabgleichseinrichtung 7b die berechneten zweiten Parallaxen dp2 in zweite Distanzen Z2 gemäß dem vorstehend genannten Ausdruck (9) umwandeln und kann ein zweites Distanzbild TZ2 bilden, indem die zweiten Distanzen Z2 den Pixelblöcken PB0 in dem Referenz-Randbild TE0 (Referenzbild T0) zugeordnet werden.
  • Die zweite Stereoabgleichseinrichtung 7b speichert Information über das auf diese Weise gebildete zweite Distanzbild TZ2 in dem zweiten Distanzdatenspeicher 8b.
  • Die Erkennungseinrichtung 10 (vgl. 1) ist durch einen Mikrocomputer gebildet, in dem eine CPU, ein ROM, ein RAM, eine Eingangs/Ausgangs-Schnittstelle usw. (nicht gezeigt) mit einem Bus verbunden sind. Ferner sind Sensoren Q, wie ein Fahrzeuggeschwindigkeitssensor, ein Gierratensensor und ein Lenkwinkelsensor zum Messen des Lenkwinkels des Lenkrades mit der Erkennungseinrichtung 10 verbunden. Der Gierratensensor kann durch eine Vorrichtung ersetzt werden, die die Gierrate beispielsweise anhand der Fahrzeuggeschwindigkeit des betreffenden Fahrzeugs abschätzt.
  • Die Erkennungseinrichtung 10 beinhaltet eine Erfassungseinrichtung 11, eine Auswähleinrichtung 12 und einen Speicher (nicht gezeigt).
  • Die Erfassungseinrichtung 11 erfaßt Objekte in dem Referenzbild T0 auf der Basis des ersten Distanzbildes TZ1 und des zweiten Distanzbildes TZ2, wie diese vorstehend beschrieben worden sind. Bei dem vorliegenden Ausführungsbeispiel basiert die Erfassungseinrichtung 11 z. B. auf der Fahrzeugumgebungs-Überwachungsvorrichtung, die in der ungeprüften japanischen Patentanmeldungsveröffentlichung JP-A-10-283 461 offenbart ist. Da in der Veröffentlichung ausführliche Beschreibungen angegeben sind, wird im folgenden die Konfiguration der Erfassungseinrichtung 11 nur kurz beschrieben.
  • Die Erfassungseinrichtung 11 führt eine Objekterfassung auf der Basis des ersten Distanzbildes TZ1 und eine Objekterfassung auf der Basis des zweiten Distanzbildes TZ2 in der gleichen Verarbeitungsweise aus. Daher wird davon ausgegangen, daß ein in 6 gezeigtes Distanzbild TZ als erstes Distanzbild TZ1 und zweites Distanzbild TZ2 gebildet wird, wobei die Objekterfassung auf der Basis des ersten Distanzbildes TZ1 und die Objekterfassung auf der Basis des zweiten Distanzbildes TZ2 im folgenden kollektiv beschrieben werden.
  • Als erstes liest die Erfassungseinrichtung 11 das Distanzbild TZ aus dem ersten Distanzdatenspeicher 8a und dem zweiten Distanzdatenspeicher 8b aus und unterteilt das Distanzbild TZ in vertikale Streifensegmente Dn mit einer jeweiligen vorbestimmten Pixelbreite, wie dies in 6 gezeigt ist. Anschließend bildet die Erfassungseinrichtung 11 ein Histogramm Hn für jedes Streifensegment Dn, wie dies in 7 gezeigt ist, und gibt zu dem Segment Dn zugehörige Parallaxen dp (erste Parallaxen dp1, zweite Parallaxen dp2) in das Histrogramm Hn des Segments Dn ein. Eine Klasse mit der höchsten Häufigkeit Fn wird als Objekt-Parallaxe dpn des Streifensegments Dn bestimmt. Dieser Vorgang wird für alle Segmente Dn in dem ersten Distanzbild TZ1 und dem zweiten Distanzbild TZ2 ausgeführt.
  • Anschließend substituiert die Erfassungseinrichtung 11 die Parallaxen dpn der Segmente Dn in dp1 und dp2 in den vorstehend genannten Ausdrücken (4) und (9), um dadurch die den Parallaxen dpn entsprechenden Distanzen Zn (erste Distanzen Z1, zweite Distanzen Z2) der Segmente Dn im realen Raum zu berechnen. Die berechneten Distanzen Zn werden im realen Raum aufgetragen, wie dies in 8 gezeigt ist, und einander benachbarte aufgetragene Punkte werden in Gruppen G1, G2, G3, ... auf der Basis der Distanzen zwischen den aufgetragenen Punkten und der Richtungsabhängigkeit klassifiziert, wie dies in 9 gezeigt ist.
  • Bei dem vorliegenden Ausführungsbeispiel nimmt die Erfassungseinrichtung 11 eine lineare Approximation der jeder Gruppe zugehörigen Punkte vor, wie dies in 10 gezeigt ist. Die Erfassungseinrichtung 11 bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Breitenrichtung des betreffenden Fahrzeugs A, d. h. der X-Achsen-Richtung, angeordnet sind, mit ”Objekt” O und bezeichnet eine Gruppe, in der die Punkte im wesentlichen parallel zu der Längsrichtung des betreffenden Fahrzeugs A, d. h. der Z-Achsen-Richtung, angeordnet sind, mit ”Seitenwand” S. Ein Punkt, der als Schnittpunkt eines ”Objekts” und einer ”Seitenwand” des gleichen Objekts betrachtet werden kann, ist als Eckpunkt C bezeichnet.
  • In dem in 10 gezeigten Beispiel erfaßt die Erfassungseinrichtung 11 als ein Objekt jeweils [Seitenwand S1], [Objekt O1], [Seitenwand S2], [Objekt O2, Eckpunkt C, Seitenwand S3], [Seitenwand S4], [Objekt O3], [Objekt O4], [Seitenwand S5, Eckpunkt C, Objekt O5], [Objekt O6] und [Seitenwand S6]. Während ”Objekt” und ”Seitenwand” aus Gründen der Vereinfachung als Bezeichnungen verwendet werden, wird die ”Seitenwand” auch als Objekt erfaßt.
  • Die Erfassungseinrichtung 11 umgibt die erfaßten Objekte mit rechteckigen Rahmen in dem Referenzbild T0, wie dies in 11 gezeigt ist. Auf diese Weise erfaßt die Erfas sungseinrichtung 11 Objekte in dem Referenzbild T0 und erkennt die Umgebung um das betreffende Fahrzeug A.
  • Die Erfassungseinrichtung 11 führt die vorstehend beschriebenen Vorgänge jeweils für das erste Distanzbild TZ1 und das zweite Distanzbild TZ2 aus. Aus diesem Grund erhält man zwei Resultate der Erfassung von Objekten in dem Referenzbild T0 jeweils auf der Basis des ersten Distanzbildes TZ1 bzw. des zweiten Distanzbildes TZ2.
  • Bei dem vorliegenden Ausführungsbeispiel erfaßt die Erfassungseinrichtung 11 auch ein vorausfahrendes Fahrzeug Aus den erfaßten Objekten.
  • Insbesondere schätzt die Erfassungseinrichtung 11 zuerst als einen Bewegungsort Lest einen Ort, den das betreffende Fahrzeug A während der weiteren Fahrt bildet, auf der Basis des Verhaltens des betreffenden Fahrzeugs A, wie dies in 12 gezeigt ist. Anschließend erfaßt die Erfassungseinrichtung 11 als Bewegungsweg Rest des betreffenden Fahrzeugs A einen Bereich, dessen Breite gleich der Breite des betreffenden Fahrzeugs A ist und der den Bewegungsort Lest in seinem Zentrum aufweist.
  • Der Bewegungsort Lest des betreffenden Fahrzeugs A kann aus der Kurvenkrümmung Cua des betreffenden Fahrzeugs A berechnet werden. Die Kurvenkrümmung Cua wird gemäß dem nachfolgenden Ausdruck (10) oder den nachfolgenden Ausdrücken (11) und (12) auf der Basis der Fahrzeuggeschwindigkeit V und der Gierrate γ des betreffenden Fahrzeugs, dem Lenkwinkel δ des Lenkrads usw. berechnet: Cua = γ/V (10) Re = (1 + Asf·V2)·(Lwb/δ) (11) Cua = 1/Re (12).
  • Dabei bezeichnet Re den Kurvenradius, Asf stellt den Stabilitätsfaktor des Fahrzeugs dar, und Lwb stellt den Radstand dar.
  • Die Erfassungseinrichtung 11 erfaßt als vorausfahrendes Fahrzeug Vah, das vor dem betreffenden Fahrzeug A fährt, ein dem betreffenden Fahrzeug A am nächsten befindliches Fahrzeug Aus den Fahrzeugen, die auf dem Bewegungsweg Rest des betreffenden Fahrzeugs A vorhanden sind. Beispielsweise wird ein Fahrzeug O3 in den 11 und 12 als vorausfahrendes Fahrzeug Vah erfaßt. Die Erfassungseinrichtung 11 berechnet auch die laterale Breite des vorausfahrenden Fahrzeugs Vah im realen Raum auf der Basis der im realen Raum aufgetragenen Punkte für das erfaßte vorausfahrende Fahrzeug Vah.
  • Die Erfassungseinrichtung 11 führt den vorstehend beschriebenen Vorgang des Erfassens des vorausfahrenden Fahrzeugs Vah für jedes von dem ersten Distanzbild TZ1 und dem zweiten Distanzbild TZ2 aus. Aus diesem Grund erhält man jeweils zwei Erfassungsresultate für das vorausfahrende Fahrzeug Vah auf der Basis des ersten Distanzbildes TZ1 bzw. des zweiten Distanzbildes TZ2.
  • Ferner kann die Erfassungseinrichtung 11 einen Wechsel zwischen vorausfahrenden Fahrzeugen erfassen, beispielsweise wenn ein erfaßtes vorausfahrendes Fahrzeug Vah vor dem betreffenden Fahrzeug A seine Position verläßt und ein vor dem erfaßten vorausfahrenden Fahrzeug befindliches Fahrzeug zu dem neuen vorausfahrenden Fahrzeug wird, oder wenn ein anderes Fahrzeug zwischen dem betreffenden Fahrzeug A und dem vorausfahrenden Fahrzeug Vah einschert und dadurch zu dem neuen vorausfahrenden Fahrzeug wird.
  • Die Auswähleinrichtung 12 wählt eines von dem Objekterfassungsresultat, das auf dem ersten Distanzbild TZ1 basiert, und dem Objekterfassungsresultat, das auf dem zweiten Distanzbild TZ2 basiert, aus, wobei die Objekterfassungsresultate in der vorstehend beschriebenen Weise von der Erfassungseinrichtung 11 ermittelt werden.
  • Die Auswähleinrichtung 12 nimmt die Auswahl auf der Basis eines bestimmten Objekts von den mittels der Erfassungseinrichtung 11 erfaßten Objekten in dem Referenzbild T0 vor. Bei dem vorliegenden Ausführungsbeispiel findet die Auswahl auf der Basis des vorausfahrenden Fahrzeugs Vah statt. Jedoch kann die Auswahl auch auf der Basis von anderen Fahrzeugen als dem vorausfahrenden Fahrzeug Vah oder anderen Objekten stattfinden.
  • Die Auswähleinrichtung 12 verwirft eines oder beide der Objekterfassungsresultate, die auf dem ersten Distanzbild TZ1 bzw. dem zweiten Distanzbild TZ2 basieren, unter vier Bedingungen, die im folgenden beschrieben werden. Wenn keines der Erfassungsresultate verworfen wird, dann wird eines der Resultate unter einer fünften Bedingung ausgewählt, die nachfolgend beschrieben wird. Diese Auswahl unter der fünften Bedingung wird nun ausführlich beschrieben.
  • Bei dem vorliegenden Ausführungsbeispiel verfolgt die Auswähleinrichtung 12 das vorausfahrende Fahrzeug Vah in konsistenter Weise, beispielsweise durch Berechnen der Wahrscheinlichkeit, daß ein in der vorherigen Abtastperiode erfaßtes vorausfahrendes Fahrzeug und ein in der aktuellen Abtastperiode erfaßtes Fahrzeug das gleiche dreidimensionale Objekt darstellen.
  • Die Auswähleinrichtung 12 speichert Information über Objekte und das vorausfahrende Fahrzeug Vah in dem auf diese Weise ausgewählten Erfassungsresultat in dem Speicher und gibt die Information von dem Fahrzeugumgebungs-Erkennungssystem 1 nach Bedarf ab.
  • Im folgenden wird die Arbeitsweise des Fahrzeugumgebungs-Erkennungssystems 1 gemäß dem vorliegenden Ausführungsbeispiel erläutert.
  • Wie vorstehend beschrieben, erfaßt die Erfassungseinrichtung 11 der Erkennungseinrichtung 10 in dem Fahrzeugumgebungs-Erkennungssystem 1 Objekte, die ein vorausfahrendes Fahrzeug Vah beinhalten, in dem Referenzbild T0 auf der Basis eines ersten Distanzbildes TZ1, das dadurch gebildet wird, daß ein Referenzbild T0 und ein Vergleichsbild TC, die mittels der Stereobild-Aufnahmeeinrichtung 2 aufgenommen werden, einem Stereoabgleich durch die erste Stereoabgleichseinrichtung 7a unterzogen werden. Das in diesem Fall erfaßte vorausfahrende Fahrzeug Vah wird als vorausfahrendes Fahrzeug Vah1 bezeichnet.
  • Ferner erfaßt die Erfassungseinrichtung 11 Objekte, die ein vorausfahrendes Fahrzeug Vah beinhalten, in dem Referenzbild T0 auf der Basis eines zweiten Distanzbildes TZ2, das dadurch gebildet wird, daß ein Referenz-Randbild TE0 und ein Vergleichs-Randbild TEC, die durch Randerfassung des mittels der Stereobild-Aufnahmeeinrichtung 2 aufgenommen Referenzbildes T0 und Vergleichsbildes TC einem Stereoabgleich durch die zweite Stereoabgleichseinrichtung 7b unterzogen werden. Das in diesem Fall erfaßte vorausfahrende Fahrzeug Vah wird als vorausfahrendes Fahrzeug Vah2 bezeichnet.
  • In einer normalen Bildaufnahmeumgebung, d. h. in einem Normalzustand, in dem Bilder von Objekten in dem in 2 gezeigten Referenzbild T0 und dem Vergleichsbild TC beispielsweise in einer sonnigen, wolkigen oder regnerischen Umgebung oder in der Nacht aufgenommen werden, kann die Erfassungseinrichtung 11 das vorausfahrende Fahrzeug Vah und andere Objekte in dem Referenzbildes T0 auf der Basis des ersten Distanzbildes TZ1 und des zweiten Distanzbildes TZ2 korrekt erfassen, wie dies in 11 gezeigt ist.
  • In einer Bildaufnahmeumgebung jedoch, in der Hintergrundlicht nur in eine von der Hauptkamera 2a und der Zusatzkamera 2b eintritt, wie dies vorstehend beschrieben worden ist, wird das Helligkeits-Gleichgewicht zwischen der Hauptkamera 2a und der Zusatzkamera 2b gestört. Beispielsweise wird im allgemeinen eine Helligkeitsdifferenz zwischen dem Referenzbild T0 und dem Vergleichsbild TC gebildet, wie dies in 18A und 18B gezeigt ist.
  • Wenn die erste Stereoabgleichseinrichtung 7a in diesem Fall einen Stereoabgleich unter Verwendung des Referenzbildes T0 und des Vergleichsbildes TC ausführt, wird der gemäß dem vorstehend beschriebenen Ausdruck (1) berechnete SAD-Wert zu einem hohen Wert, wobei er jedoch nicht geringer als der oder gleich dem Schwellenwert ist. Aus diesem Grund wird ein erstes Distanzbild TZ1 mit wenig Daten über die Parallaxe dp gebildet, wie dies in 19 gezeigt ist. Die Erfassungseinrichtung 11 kann kein vorausfahrendes Fahrzeug Vah (Vah1) auf der Basis des ersten Distanzbildes TZ1 erfassen.
  • Im Gegensatz dazu erhält man dann, wenn die Vorverarbeitungseinrichtung 9 (vgl. 1) das Referenzbild T0 und das Vergleichsbild TC, die in den 18A und 18B gezeigt sind, einer Randerfassung unterzieht, ein Referenz-Randbild TE0, wie es in 4A gezeigt ist, sowie ein Vergleichs-Randbild TEC, wie es in 4B gezeigt ist. Wenn die zweite Stereoabgleichseinrichtung 7b einen Stereoabgleich unter Verwendung des Referenz-Randbildes TE0 und des Vergleichs-Randbildes TEC ausführt, wird ein zweites Distanzbild TZ2 gebildet, in dem Randbereiche des vorausfahrenden Fahrzeugs Vah exakt extrahiert werden, wie dies in 5 gezeigt ist. Die Erfassungseinrichtung 11 kann das vorausfahrende Fahrzeug Vah (Vah2) auf der Basis dieses zweiten Distanzbildes TZ2 exakt erfassen.
  • Auf diese Weise kann durch einen Stereoabgleich unter Verwendung des Referenz-Randbildes TE0 und des Vergleichs-Randbildes TEC ein bestimmtes Objekt, wie z. B. ein vorausfahrendes Fahrzeug, exakt erfaßt werden, selbst wenn das Helligkeits-Gleichgewicht zwischen der Hauptkamera 2a und der Zusatzkamera 2b beispielsweise durch den Einfluß von Hintergrundlicht gestört ist. Leider bestehen bei diesem Stereoabgleich folgende Probleme:
    • (a) Rauschkomponenten in dem Referenzbild T0 und dem Vergleichsbild TC werden durch die Randerfassung verstärkt. Wenn die Verstärkung der Stereobild-Aufnahmeeinrichtung 2 während der Nacht erhöht wird, nehmen aus diesem Grund Rauschkomponenten in dem Referenzbild T0 und dem Vergleichsbild TC zu. Da die Rauschkomponenten durch die Randerfassung verstärkt werden, kann es beim Stereoabgleich häufig zu einem Fehlabgleich kommen.
    • (b) Durch Randerfassung ermittelte Information beinhaltet Information über die Pixel-Helligkeiten in dem Referenzbild T0 und dem Vergleichsbild TC sowie Information über Helligkeitsunterschiede zwischen benachbarten Pixeln in dem gleichen Bild oder diesen benachbarten Pixeln. Wenn die Helligkeitsdifferenz bei den Helligkeitsstufen von 0 bis 255 den Wert 20 hat, ist es somit unklar, ob die Differenz von 20 eine Änderung in der Helligkeit von 100 nach 120 oder von 230 nach 250 zeigt. Mit anderen Worten, es geht Information über den Versetzungsbetrag der Helligkeit in dem jeweiligen Bild verloren. Da ferner die Helligkeitsänderung nur über eine Breite aufgefunden wird, die ein oder zwei Pixeln entspricht, geht ferner Information über einen Niedrigfrequenzanteil in der Frequenzkomponente verloren. Infolgedessen kommt es leicht zu einem Fehlabgleich. Wie in 13 gezeigt ist, tritt ein Fehlabgleich besonders leicht in einer Region S auf, in der Ansichten von der Hauptkamera 2a und der Zusatzkamera 2b in dem betreffenden Fahrzeug A unterschiedlich sind, beispielsweise weil das betreffende Fahrzeug A durch das vorausfahrende Fahrzeug Vah verdeckt ist.
    • (c) Da die Informationsmenge in der vorstehend beschriebenen Weise geringer wird, ist es schwierig, effektive Information über eine Wand, die in ihrem Aufbau und ihrer Struktur nicht charakteristisch ist, sowie über eine Asphalt-Straßenoberfläche zu erhalten.
  • Da der Stereoabgleich unter Verwendung des Referenz-Randbildes TE0 und des Vergleichs-Randbilds TEC die vorstehend geschilderten Probleme beinhaltet, ist es besser, die Erfassung des vorausfahrenden Fahrzeugs Vah unter alleiniger Verwendung des zweiten Vergleichsbildes TZ2 immer zu vermeiden. Wie vorstehend beschrieben worden ist, kann in einer normalen Bildaufnahmeumgebung das vorausfahrende Fahrzeug Vah unter Verwendung des ersten Distanzbildes TZ1, das durch Stereoabgleich auf der Basis des Referenzbildes T0 und des Vergleichsbildes TC gebildet wird, in ausreichender und exakter Weise erfaßt werden.
  • Bei dem vorliegenden Ausführungsbeispiel, bei dem die vorstehend erläuterten Vorteile und Nachteile der Objekterfassung unter Verwendung des ersten Distanzbildes TZ1 und der Objekterfassung unter Verwendung des zweiten Distanzbildes TZ2 bestehen, verwirft die Auswähleinrichtung 12 somit eines oder beide von der Objekterfassungsresultaten, die auf dem ersten Distanzbild TZ1 bzw. dem zweiten Distanzbild TZ2 basieren, unter den vier nachfolgend geschilderten Bedingungen. Wenn keines der Erfassungsresultate verworfen wird, wird eines der Resultate gemäß der fünften Bedingung selektiv aufgegriffen.
  • Erste Bedingung
  • Wenn die in der aktuellen Objekterfassung erfaßte laterale Breite des Objekts (des vorausfahrenden Fahrzeugs Vah bei dem vorliegenden Ausführungsbeispiel) um mindestens einen vorbestimmten ersten Schwellenwert TH1 geringer ist als die laterale Breie des Objekts, die auf der Basis des in der vorherigen Objekterfassung ausgewählten Erfassungsresultats berechnet worden ist, wird das aktuelle Erfassungsresultat verworfen.
  • Mit anderen Worten, es wird z. B. dann, wenn das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 in der vorherigen Objekterfassung ausgewählt wird, von der Auswähleinrichtung 12 eine von der Erfassungseinrichtung 11 erfaßte laterale Breite Wold im realen Raum des vorausfahrenden Fahrzeugs Vah1 in dem Speicher gespeichert.
  • Wenn eine laterale Breite W1 im realen Raum des vorausfahrenden Fahrzeugs Vah1, die von der Erfassungseinrichtung 11 auf der Basis des ersten Distanzbildes TZ1 bei der aktuellen Objekterfassung erfaßt wird, um mindestens den ersten Schwellenwert TH1 kleiner ist als die vorherige laterale Breite Wold, d. h. wenn die nachfolgend genannte Bedingung erfüllt ist, verwirft die Auswahleinrichtung 12 das aktuelle Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1: Wold – W1 ≥ TH1 (13).
  • Der Grund hierfür besteht darin, daß die Zuverlässigkeit des Objekterfassungsresultats auf der Basis des ersten Distanzbildes TZ1 in diesem Fall gering ist.
  • In ähnlicher Weise erfolgt dann, wenn eine von der Erfassungseinrichtung 11 auf der Basis des zweiten Distanzbildes TZ2 bei der aktuellen Objekterfassung erfaßte laterale Breite W2 im realen Raum des vorausfahrenden Fahrzeugs Vah2 um mindestens den ersten Schwellenwert TH1 kleiner ist als die vorherige laterale Breite Wold, d. h. wenn die nachfolgend genannte Bedingung erfüllt ist, ein Verwerfen des aktuellen Objekterfassungsresultats auf der Basis des zweiten Distanzbildes TZ2 durch die Auswähleinrichtung 12: Wold – W2 ≥ TH1 (14).
  • Der Grund hierfür besteht darin, daß die Zuverlässigkeit des Objekterfassungsresultats auf der Basis des zweiten Distanzbildes TZ2 in diesem Fall gering ist.
  • Unter der ersten Bedingung gibt es drei Fälle, d. h. einen Fall, in dem sowohl das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 als auch das Objekterfassungsresultat auf des Basis des zweiten Distanzbildes TZ2 verworfen werden; einen Fall, in dem nur eines von den Objekterfassungsresultaten verworfen wird; sowie einen Fall, in dem keines der Objekterfassungsresultate verworfen wird.
  • Zweite Bedingung
  • Wenn die Distanz von dem aktuell erfaßten Objekt zu dem betreffenden Fahrzeug A sich mindestens um einen vorbestimmten zweiten Schwellenwert TH2 gegenüber der Distanz von dem Objekt zu dem betreffenden Fahrzeug A, die auf der Basis des bei der vorherigen Objekterfassung ausgewählten Erfassungsresultats berechnet worden ist, verändert, wird das aktuelle Erfassungsresultat verworfen.
  • Mit anderen Worten, wenn die Auswähleinrichtung 12 ein Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 bei der vorherigen Objekterfassung auswählt, speichert sie eine von der Erfassungseinrichtung 11 erfaßte erste Distanz Z1 von dem vorausfahrenden Fahrzeug Vah1 zu dem betreffenden Fahrzeug A in dem Speicher als vorherige Distanz Zold.
  • Wenn sich bei der aktuellen Objekterfassung die von der Erfassungseinrichtung 11 auf der Basis des ersten Distanzbildes TZ1 erfaßte erste Distanz Z1 von dem vorausfahrenden Fahrzeug Vah1 zu dem betreffenden Fahrzeug A um mindestens den zweiten Schwellenwert TH2 gegenüber der vorherigen Distanz Zold ändert, d. h. wenn die nachfolgende Bedingung erfüllt wird, wird das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 in der aktuellen Objekterfassung verworfen: Zold – Z1|≥ TH2 (15).
  • Der Grund hierfür besteht darin, daß die Zuverlässigkeit des Objekterfassungsresultats auf der Basis des ersten Distanzbildes TZ1 in diesem Fall gering ist.
  • In ähnlicher Weise erfolgt dann, wenn eine von der Erfassungseinrichtung 11 auf der Basis des zweiten Distanzbildes TZ2 erfaßte zweite Distanz Z2 von dem vorausfahrenden Fahrzeug Vah2 zu dem betreffenden Fahrzeug A sich bei der aktuellen Objekterfassung mindestens um den zweiten Schwellenwert TH2 gegenüber der vorherigen Distanz Zold ändert, d. h. wenn die nachfolgende Bedingung erfüllt ist, verwirft die Auswähleinrichtung 12 das Objekterfassungsresultat auf der Basis des zweiten Distanzbildes TZ2 bei der aktuellen Objekterfassung: |Zold – Z2| ≥ TH2 (16).
  • Der Grund hierfür besteht darin, daß die Zuverlässigkeit des Objekterfassungsresultats auf der Basis des zweiten Distanzbildes TZ2 in diesem Fall gering ist.
  • Unter der zweiten Bedingung kann es ebenfalls drei Fälle geben, d. h. einen Fall, in dem sowohl das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 als auch das Objekterfassungsresultat auf des Basis des zweiten Distanzbildes TZ2 verworfen werden; einen Fall, in dem nur eines von den Objekterfassungsresultaten verworfen wird; sowie einen Fall, in dem keines der Objekterfassungsresultate verworfen wird.
  • Dritte Bedingung
  • In einem Fall, in dem ein an einer Position in dem Referenzbild T0 in einem von dem Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 und dem Objekterfassungsresultat auf der Basis des zweiten Distanzbildes TZ2 erfaßtes Objekt in dem jeweils anderen Objekterfassungsresultat nicht an dieser Position erfaßt wird, wenn Daten über eine Anzahl von Parallaxen dp oder Distanzen Z, die größer als oder gleich einem vorbestimmten dritten Schwellenwert TH3 sind, nicht an einer Position in dem Distanzbild vorhanden sind, an der das Objekt in dem einen Objekterfassungsresultat erfaßt wird, werden beide Objekterfassungsresultate verworfen.
  • Das heißt, es wird davon ausgegangen, daß ein in 5 dargestelltes zweites Distanzbild TZ2 durch Objekterfassung auf der Basis des Referenz-Randbildes TE0 und des Vergleichs-Randbildes TEC in der aktuellen Objekterfassung gebildet wird und daß ein vorausfahrendes Fahrzeug Vah2 in dem Referenzbild T0 der 18A erfaßt wird, wie dies in 14 dargestellt ist.
  • Ferner wird davon ausgegangen, daß ein in 19 dargestelltes erstes Distanzbild TZ1 durch Objekterfassung auf der Basis des Referenzbildes T0 und des Vergleichsbildes TC gebildet wird und daß ein vorausfahrendes Fahrzeug Vah1 nicht an einer Position in dem in 14 dargestellten Referenzbild T0, an der das vorausfahrende Fahrzeug Vah2 erfaßt worden ist, erfaßt wird.
  • In diesem Fall wendet die Auswähleinrichtung 12 die Erfassungsposition (Rahmen) des in 14 dargestellten vorausfahrenden Fahrzeugs Vah2 in dem zweiten Distanzbild TZ2 an, wie dies in 15 gezeigt ist, und zählt die Anzahl von zweiten Parallaxen dp2, die als effektive Daten in dem Rahmen vorhanden sind (die Anzahl der zweiten Distanzen Z2, wenn das zweite Distanzbild TZ2 durch Zuordnen der effektiven zweiten Distanzen Z2 gebildet wird).
  • Wenn die Anzahl der effektiven zweiten Parallaxen dp2 (zweiten Distanzen Z2) größer als der oder gleich dem dritten Schwellenwert TH3 ist, wird nur das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 verworfen, und das Objekterfassungsresultat auf der Basis des zweiten Distanzbildes TZ2 bleibt. Wenn die Anzahl der effektiven zweiten Parallaxen dp2 (zweiten Distanzen Z2) geringer ist als der dritte Schwellenwert TH3, werden sowohl das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 als auch das Objekterfassungsresultat auf der Basis des zweiten Distanzbildes TZ2 verworfen.
  • Das Verwerfen findet aus folgendem Grund statt. Selbst wenn ein Objekt (vorausfahrendes Fahrzeug Vah) in nur einem der Erfassungsresultate erfaßt wird, ist dann, wenn effektive Daten über die Parallaxen dp oder die Distanzen Z in dem Distanzbild TZ, welches als Basis für die Erfassung dient, unzulänglich sind, die Zuverlässigkeit der Information über das erfaßte Objekt gering.
  • Vierte Bedingung
  • In einem Fall, in dem das erste Distanzbild TZ1 auf der Basis des Referenzbildes T0 und des Vergleichsbildes TC gebildet wird, das zweite Distanzbild TZ2 auf der Basis des Referenz-Randbildes TE0 und des Vergleichsbildes TEC gebildet wird und die aus dem ersten Distanzbild TZ1 berechnete Distanz Z zwischen dem Objekt und dem betreffenden Fahrzeug A geringer ist als die aus dem zweiten Distanzbild TZ2 berechnete Distanz zwischen dem Objekt und dem betreffenden Fahrzeug A, so wird dann, wenn die Anzahl von Parallaxen dp oder ersten Distanzdaten an der Position, an der das Objekt in dem ersten Distanzbild TZ1 detektiert wird, geringer als der oder gleich einem vorbestimmten vierten Schwellenwert TH4 ist und die Anzahl der Parallaxen dp oder Daten über die Distanz Z an der Position, an der das Objekt in dem zweiten Distanzbild TZ2 detektiert wird, größer als ein vorbestimmter fünfter Schwellenwert TH5 ist, wird das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 verworfen.
  • Wenn das erste Distanzbild TZ1 auf der Basis des Referenzbildes T0 und des Vergleichsbildes TC gebildet wird und das zweite Distanzbild TZ2 auf der Basis des Referenz-Randbildes TE0 und des Vergleichs-Randbildes TEC gebildet wird, tritt in seltenen Fällen das nachfolgend geschilderte Phänomen auf. Wie in den 16A und 16B gezeigt ist, wird ein aus dem ersten Distanzbild TZ1 (16A) erfaßtes vorausfahrendes Fahrzeug Vah1 an dem Ausgangspunkt 0 manchmal näher bei dem betreffenden Fahrzeug A erfaßt als ein aus dem zweiten Distanzbild TZ2 (16B) erfaßtes vorausfahrendes Fahrzeug Vah2.
  • In diesem Fall wendet die Auswähleinrichtung 12 in ähnlicher Weise wie bei dem in 15 veranschaulichten Fall die Erfassungsposition (Rahmen) des vorausfahrenden Fahrzeugs Vah2 in dem zweiten Distanzbild TZ2 an, zählt die Anzahl von zweiten Parallaxen dp2, die als effektive Daten in dem Rahmen vorhanden sind (die Anzahl der zweiten Distanzen Z2, wenn das zweite Distanzbild TZ2 durch Zuordnen von effektiven zweiten Distanzen Z2 gebildet wird), und stellt fest, ob die Anzahl von effektiven zweiten Parallaxen dp größer ist als der fünfte Schwellenwert TH5 oder nicht. Ist die Anzahl kleiner als oder gleich dem fünften Schwellenwert TH5, wird die fünfte Bedin gung nicht angewendet, und das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 wird nicht verworfen.
  • Wenn die Anzahl der effektiven zweiten Parallaxen dp2 größer als der fünfte Schwellenwert TH5 ist, wendet die Auswähleinrichtung 12 die Erfassungsposition des vorausfahrenden Fahrzeugs Vah1 in ähnlicher Wiese in dem ersten Distanzbild TZ1 an, zählt die Anzahl der ersten Parallaxen dp1, die als effektive Daten in dem Rahmen vorhanden sind (die Anzahl von ersten Distanzen Z1, wenn das erste Distanzbild TZ1 durch Zuordnen von effektiven ersten Distanzen Z1 gebildet wird), und stellt fest, ob die Anzahl von effektiven ersten Parallaxen dp1 geringer ist als der vierte Schwellenwert TH4.
  • Wenn die Anzahl größer als der oder gleich dem vierten Schwellenwert TH4 ist, wird die fünfte Bedingung nicht angewendet, und das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 wird nicht verworfen.
  • Der Grund für das Vorstehende ist folgender: in einem Fall, in dem die vierte Bedingung erfüllt wird und angenommen wird, daß das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 korrekt ist, so ist dies konsistent damit, daß ein Objekt, wie das vorausfahrende Fahrzeug Vah, sich an einer Position nahe bei dem betreffenden Fahrzeug A befindet, wobei jedoch Ränder des Objekts weiter entfernt als die Position erfaßt werden. Daher ist die Annahme korrekt, daß es falsch ist, das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 zu bestimmen, in dem die Anzahl der effektiven ersten Parallaxen dp1 gering ist.
  • Fünfte Bedingung
  • Wenn keines von dem Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 und dem Objekterfassungsresultat auf der Basis des zweiten Distanzbildes TZ2 unter den vorstehend beschriebenen Bedingungen 1 bis 4 verworfen wird, wird eines der Erfassungsresultate, in dem die Anzahl der Daten über Parallaxen dp oder Distanzen Z an der Erfassungsposition in dem ersten Distanzbild TZ1 oder dem zweiten Distanzbild TZ2 geringer ist, verworfen.
  • Mit anderen Worten, es wird dann, wenn sowohl das Objekterfassungsresultat auf der Basis des ersten Distanzbildes TZ1 als auch das Objekterfassungsresultat auf der Basis des zweiten Distanzbildes TZ2 die Bedingungen 1 bis 4 erfüllt sind, eines der Objekt erfassungsresultate aufgegriffen, bei dem die Anzahl von Daten über effektive Parallaxen dp an der Erfassungsposition des vorausfahrenden Fahrzeugs Vah, die in dem Distanzbild TZ angewendet werden (die Anzahl von Distanzen Z, wenn das Distanzbild TZ durch Zuordnen von effektive Distanzen Z gebildet wird), größer ist, während das andere Erfassungsresultat, bei dem die Anzahl geringer ist, verworfen wird.
  • Anstatt der fünften Bedingung kann z. B. dann, wenn die Objekterfassung unter Verwendung des ersten Distanzbildes TZ1 und die Objekterfassung unter Verwendung des zweiten Distanzbildes TZ2 die vorstehend beschriebenen Bedingungen 1 bis 4 erfüllen, vorzugsweise das Objekterfassungsresultat unter Verwendung des ersten Distanzbildes TZ1 aufgegriffen wird, d. h. das Objekterfassungsresultat, das von dem zweiten Distanzbild TZ2 Gebrauch macht, kann verworfen werden.
  • Wie vorstehend beschrieben, sind bei dem Fahrzeugumgebungs-Erkennungssystem 1 des vorliegenden Ausführungsbeispiels zum Erkennen einer Umgebung um ein betreffendes Fahrzeugs A durch Erfassen von Bildern von Objekten in einem Referenzbild T0 beispielsweise zwei Stereoabgleichseinrichtungen vorhanden, d. h. die erste Stereoabgleichseinrichtung 7a zum Bilden eines ersten Distanzbildes TZ1 durch Stereoabgleich auf der Basis des Referenzbildes T0 und eines Vergleichsbildes TC sowie die zweite Stereoabgleichseinrichtung 7b zum Bilden eines zweiten Distanzbildes TZ2 durch Stereoabgleich auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild T0 und das Vergleichsbild TC einer Vorverarbeitung, wie z. B. einer Randerfassung unterzogen werden.
  • Auf der Basis des ersten und des zweiten Distanzbildes TZ1 und TZ2, die durch die verschiedenen Einrichtungen gebildet werden, werden Objekte, wie z. B. ein vorausfahrendes Fahrzeug Vah, erfaßt. Die Auswähleinrichtung 12 wählt dabei ein geeignetes Erfassungsresultat aus.
  • Aus diesem Grund kann in einem Fall, in dem ein in 18A gezeigtes Referenzbild T0 und ein in 18B gezeigtes Vergleichsbild TC verwendet werden, selbst in einer Umgebung, in der Objekte, wie ein vorausfahrendes Fahrzeug Vah, nicht erfaßt werden können, da das Helligkeits-Gleichgewicht zwischen den Kameras 2a und 2b gestört ist, eine exakte Erfassung von Objekten stattfinden und die Umgebung um das betreffende Fahrzeug in zuverlässiger Weise erkannt werden, indem ein Distanzbild TZ verwendet wird, das man durch Vorverarbeitung und wirksamen Stereoabgleich mittels verschiedener Stereoabgleichseinrichtungen erhält.
  • In einer Umgebung, in der Hintergrundlicht in nur eine der Kameras 2a und 2b eintritt, kann somit die Erfassung fortgesetzt werden, ohne daß man das vorausfahrende Fahrzeug Vah verliert. Dies gestattet eine effektive automatische Nachfolgesteuerung in bezug auf das vorausfahrende Fahrzeug Vah.
  • Ferner wird eines der Erfassungsresultate auf der Basis des ersten und des zweiten Distanzbildes TZ1 und TZ2, die durch verschiedene Einrichtungen gebildet werden, aufgegriffen, und zwar dasjenige Erfassungsresultat, das die vorstehend beschriebenen Bedingungen 1 bis 5 erfüllt. Dadurch läßt sich die Zuverlässigkeit des Stereoabgleichs des Fahrzeugumgebungs-Erkennungssystems 1 und der Information über die durch Stereoabgleich erfaßten Objekte steigern.
  • Während das Referenzbild T0 und das Vergleichsbild TC, die keiner Vorverarbeitung durch die erste Stereoabgleichseinrichtung 7a unterzogen werden, bei dem vorstehend beschriebenen Ausführungsbeispiel einem Stereoabgleich unterzogen werden, können zwei Bilder, die durch Vorverarbeitung des Referenzbildes T0 und des Vergleichsbildes TC gebildet werden, in die erste Stereoabgleichseinrichtung 7a eingegeben werden.
  • In diesem Fall ist es notwendig, die Vorverarbeitung des Referenzbildes T0 und des Vergleichsbildes TC mittels der ersten Stereoabgleichseinrichtung 7a und der zweiten Stereoabgleichseinrichtung 7b in unterschiedlicher Weise vorzunehmen.
    • 1
    Fahrzeugumgebungs-Erkennungssystem
    2
    Stereobild-Aufnahmeeinrichtung
    2a
    Hauptkamera
    2b
    Zusatzkamera
    3
    Wandlereinrichtung
    3a, 3b
    A/D-Wandler
    4
    Bildkorrektureinheit
    5
    Bilddatenspeicher
    6a, 6b
    Bildverarbeitungseinrichtung
    7a
    erste Stereoabgleichseinrichtung
    7b
    zweite Stereoabgleichseinrichtung
    8a
    erster Distanzdatenspeicher
    8b
    zweiter Distanzdatenspeicher
    9
    Vorverarbeitungseinrichtung
    10
    Erkennungseinrichtung
    11
    Erfassungseinrichtung
    12
    Auswähleinrichtung
    T0
    Referenzbild
    TC
    Vergleichsbild
    PB0
    Referenz-Pixelblöcke
    PBC
    Vergleichs-Pixelblöcke
    dp1
    erste Parallaxe
    dp2
    zweite Parallaxen
    TZ1
    erstes Distanzbild
    TZ2
    zweites Distanzbild
    i1, jI
    Punkt
    Z
    Distanzen
    Z1
    erste Distanz
    Z2
    zweite Distanz
    Q
    Sensoren
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 5-114099 A [0003, 0067]
    • - JP 2001-043377 A [0015]
    • - JP 2003-255430 A [0015]
    • - JP 5-265547 A [0067]
    • - JP 6-266828 A [0067]
    • - JP 10-283461 A [0067, 0100]
    • - JP 10-283477 A [0067]
    • - JP 2006-072495 A [0067]

Claims (8)

  1. Fahrzeugumgebungs-Erkennungssystem (1), das folgendes aufweist: – eine Stereobild-Aufnahmeeinrichtung (2) zum gleichzeitigen Aufnehmen von Bildern von einer Umgebung um ein betreffendes Fahrzeug mittels eines Paares von Kameras sowie zum Abgeben der Bilder als Referenzbild (T0) und als Vergleichsbild (TC); – eine erste Stereoabgleichseinrichtung (7a) zum Berechnen von ersten Parallaxen (dp1) oder ersten Distanzen (Z1) durch Stereoabgleich auf der Basis des Referenzbildes (T0) oder des Vergleichsbildes (TC) oder auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild (T0) und das Vergleichsbild (TC) einem vorbestimmten ersten Vorverarbeitungsvorgang unterzogen werden, sowie zum Bilden eines ersten Distanzbildes (TZ1) durch Zuordnen der berechneten ersten Parallaxen (dp1) oder ersten Distanzen (Z1) zu Pixelblöcken in dem Referenzbild (T0); – eine zweite Stereoabgleichseinrichtung (7b) zum Berechnen von zweiten Parallaxen (dp2) oder zweiten Distanzen (Z2) durch Stereoabgleich auf der Basis von zwei Bildern, die dadurch gebildet werden, daß das Referenzbild (T0) und das Vergleichsbild (TC) einem vorbestimmten zweiten Vorverarbeitungsvorgang unterzogen werden, der von dem ersten Vorverarbeitungsvorgang verschieden ist, sowie zum Bilden eines zweiten Distanzbildes (TZ2) durch Zuordnen der berechneten zweiten Parallaxen (dp2) oder zweiten Distanzen (Z2) zu den Pixelblöcken in dem Referenzbild (T0); – eine Erfassungseinrichtung (11) zum Erfassen von Objekten in dem Referenzbild (T0) auf der Basis des ersten Distanzbildes (TZ1) und des zweiten Distanzbildes (TZ2); sowie – eine Auswähleinrichtung (12) zum Auswählen von einem des Erfassungsresultats der Objekte auf der Basis des ersten Distanzbildes (TZ1) und des Erfassungsresultats der Objekte auf der Basis des zweiten Distanzbildes (TZ2).
  2. System nach Anspruch 1, wobei die Auswähleinrichtung (12) die Auswahl auf der Basis eines bestimmten Objekts von den mittels der Erfassungseinrichtung (11) in dem Referenzbild (T0) erfaßten Objekten durchführt.
  3. System nach Anspruch 1 oder 2, wobei die Auswähleinrichtung (12) eine in einem aktuellen Objekterfassungsresultat erfaßte, aktuelle laterale Breite des bestimmten Objekts mit einer vorherigen lateralen Breite des bestimmten Objekts, die auf der Basis des in der vorherigen Objekterfassung ausgewählten Objekterfassungsresultats berechnet worden ist, vergleicht und das aktuelle Erfassungsresultat verwirft, wenn die aktuelle laterale Breite um mindestens einen ersten vorbestimmten Schwellenwert kleiner ist als die vorherige laterale Breite.
  4. System nach einem der Ansprüche 1 bis 3, wobei die Auswähleinrichtung (12) eine aktuelle Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug, die in einem aktuellen Objekterfassungsresultat erfaßt wird, mit einer vorherigen Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug, die auf der Basis des in einer vorherigen Objekterfassung ausgewählten Objekterfassungsresultats berechnet worden ist, vergleicht und das aktuelle Objekterfassungsresultat verwirft, wenn die aktuelle Distanz um mindestens einen vorbestimmten zweiten Schwellenwert von der vorherigen Distanz verschieden ist.
  5. System nach einem der Ansprüche 1 bis 4, wobei die Auswähleinrichtung (12) sowohl das Objekterfassungsresultat auf der Basis des ersten Distanzbildes (TZ1) als auch das Objekterfassungsresultat auf der Basis des zweiten Distanzbildes (TZ2) verwirft, wenn das bestimmte Objekt in einem von den Objekterfassungsresultaten erfaßt wird und in dem anderen Objekterfassungsresultat an einer Erfassungsposition in dem Referenzbild (T0), an der das Objekt in dem einen Erfassungsresultat erfaßt worden ist, nicht erfaßt wird, und wenn die Anzahl von Daten über die ersten oder zweiten Parallaxen (dp1, dp2) oder die ersten oder zweiten Distanzen (Z1, Z2), die an der Erfassungsposition des bestimmten Objekts in dem ersten oder dem zweiten Distanzbild (TZ1, TZ2) in dem einen Objekterfassungsresultat vorhanden sind, geringer ist als ein vorbestimmter dritter Schwellenwert.
  6. System nach einem der Ansprüche 1 bis 5, wobei die erste Stereoabgleichseinrichtung (7a) das erste Distanzbild (TZ1) durch Ausführen des Stereoabgleichs auf der Basis des Referenzbildes (T0) und des Vergleichsbildes (TC) bildet, und wobei die zweite Stereoabgleichseinrichtung (7b) das zweite Distanzbild (TZ2) durch Ausführen des Stereoabgleichs auf der Basis von zwei Bildern bildet, die dadurch gebildet werden, daß das Referenzbild (T0) und das Vergleichsbild (TC) einer Randerfassung als zweiten Vorverarbeitungsvorgang unterzogen werden.
  7. System nach Anspruch 6, wobei die Auswähleinrichtung (12) das Objekterfassungsresultat auf der Basis des ersten Distanzbildes (TZ1) verwirft, wenn eine auf der Basis des ersten Distanzbildes (TZ1) berechnete Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug geringer ist als eine auf der Basis des zweiten Distanzbildes (TZ2) berechnete Distanz zwischen dem bestimmten Objekt und dem betreffenden Fahrzeug, wenn die Anzahl von Daten über die ersten Parallaxen (dp1) oder die ersten Distanzen (Z1) an einer Erfassungsposition des bestimmten Objekts in dem ersten Distanzbild (TZ1) geringer ist als ein vorbestimmter vierter Schwellenwert, und wenn die Anzahl von Daten über die zweiten Parallaxen (dp2) oder die zweiten Distanzen (Z2) an einer Erfassungsposition des bestimmten Objekts in dem zweiten Distanzbild (TZ2) größer ist als ein vorbestimmter fünfter Schwellenwert.
  8. System nach einem der Ansprüche 1 bis 7, wobei dann, wenn keines von dem Objekterfassungsresultat auf der Basis des ersten Distanzbildes (TZ1) und dem Objekterfassungsresultat auf der Basis des zweiten Distanzbildes (TZ2) verworfen wird, von der Auswähleinrichtung (12) dasjenige von den Objekterfassungsresultaten verworfen wird, das eine geringere Anzahl von Daten über die ersten oder zweiten Parallaxen (dp1, dp2) oder über die ersten oder zweiten Distanzen (Z1, Z2) an einer Position aufweist, an der das bestimmte Objekt in dem ersten Distanzbild (TZ1) oder in dem zweiten Distanzbild (TZ2) erfaßt wird.
DE102009005861.3A 2008-01-25 2009-01-23 Fahrzeugumgebungs-Erkennungssystem Active DE102009005861B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-014552 2008-01-25
JP2008014552A JP4956452B2 (ja) 2008-01-25 2008-01-25 車両用環境認識装置

Publications (2)

Publication Number Publication Date
DE102009005861A1 true DE102009005861A1 (de) 2009-10-08
DE102009005861B4 DE102009005861B4 (de) 2023-04-20

Family

ID=40899274

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009005861.3A Active DE102009005861B4 (de) 2008-01-25 2009-01-23 Fahrzeugumgebungs-Erkennungssystem

Country Status (3)

Country Link
US (1) US8244027B2 (de)
JP (1) JP4956452B2 (de)
DE (1) DE102009005861B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209849A1 (de) * 2019-07-04 2021-01-07 Robert Bosch Gmbh Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät
DE102009005860B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Umgebungs-Erkennungssystem

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2236980B1 (de) * 2009-03-31 2018-05-02 Alcatel Lucent Verfahren zur Bestimmung der relativen Position einer ersten und einer zweiten Bildgebungsvorrichtung und Vorrichtungen dafür
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
EP2502115A4 (de) 2009-11-20 2013-11-06 Pelican Imaging Corp Aufnahme und verarbeitung von bildern mittels eines monolithischen kameraarrays mit heterogenem bildwandler
US8917929B2 (en) * 2010-03-19 2014-12-23 Lapis Semiconductor Co., Ltd. Image processing apparatus, method, program, and recording medium
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
JP5251927B2 (ja) * 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
US10397544B2 (en) 2010-08-19 2019-08-27 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
JP5691547B2 (ja) * 2010-08-20 2015-04-01 富士ゼロックス株式会社 画像の変更箇所抽出装置、画像の変更箇所表示装置及びプログラム
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法
CN103765864B (zh) 2011-05-11 2017-07-04 派力肯影像公司 用于传送和接收阵列照相机图像数据的***和方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
JP5639024B2 (ja) * 2011-09-27 2014-12-10 富士重工業株式会社 画像処理装置
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP5863105B2 (ja) * 2011-12-13 2016-02-16 アルパイン株式会社 車両移動量推定装置および障害物検出装置
JP5840022B2 (ja) * 2012-02-17 2016-01-06 キヤノン株式会社 立体画像処理装置、立体画像撮像装置、立体画像表示装置
EP2817955B1 (de) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systeme und verfahren zur manipulation von bilddaten aus einem erfassten lichtfeld
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2873028A4 (de) 2012-06-28 2016-05-25 Pelican Imaging Corp Systeme und verfahren zur erkennung defekter kamera-arrays, optischer arrays und sensoren
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CA2881131A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP4307659A1 (de) 2012-09-28 2024-01-17 Adeia Imaging LLC Erzeugung von bildern aus lichtfeldern mithilfe virtueller blickpunkte
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (de) 2013-11-26 2018-06-13 FotoNation Cayman Limited Zeilenkamerakonfigurationen mit mehreren zeilenkameras
US10303242B2 (en) 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US10409079B2 (en) 2014-01-06 2019-09-10 Avegant Corp. Apparatus, system, and method for displaying an image using a plate
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
JPWO2015162910A1 (ja) * 2014-04-24 2017-04-13 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN107077743B (zh) 2014-09-29 2021-03-23 快图有限公司 用于阵列相机的动态校准的***和方法
US9823474B2 (en) 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US9995857B2 (en) 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN107615334B (zh) * 2015-06-10 2020-11-06 株式会社日立制作所 物体识别装置以及物体识别***
KR101714896B1 (ko) * 2015-09-09 2017-03-23 중앙대학교 산학협력단 지능형 운전자 보조 시스템을 위한 광량 변화에 강건한 스테레오 정합 장치 및 방법
US9805274B2 (en) * 2016-02-03 2017-10-31 Honda Motor Co., Ltd. Partially occluded object detection using context and depth ordering
JP6654999B2 (ja) * 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
JP6867487B2 (ja) * 2017-06-26 2021-04-28 日立Astemo株式会社 撮像装置
KR101920159B1 (ko) * 2017-07-07 2018-11-19 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2020161646A2 (en) * 2019-02-05 2020-08-13 Rey Focusing Ltd. Focus tracking system
DE102019212022B4 (de) * 2019-08-09 2021-03-04 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren
EP3821267A4 (de) 2019-09-17 2022-04-13 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung mittels polarisationsauslösern
EP4042101A4 (de) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. Systeme und verfahren zur erfassung von oberflächennormalen mit polarisation
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
EP4081933A4 (de) 2020-01-29 2024-03-20 Intrinsic Innovation Llc Systeme und verfahren zur charakterisierung von objektposenerfassung und messsysteme
EP4085424A4 (de) 2020-01-30 2024-03-27 Intrinsic Innovation Llc Systeme und verfahren zum synthetisieren von daten für das trainieren von statistischen modellen auf verschiedenen bildgebenden modalitäten, einschliesslich polarisierter bilder
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113705501B (zh) * 2021-09-02 2024-04-26 浙江索思科技有限公司 一种基于图像识别技术的海上目标检测方法和***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH10283477A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2001043377A (ja) 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2003255430A (ja) 2002-02-28 2003-09-10 Toshiba Corp 映像診断装置、車載型映像監視装置の映像診断システム
JP2006072495A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 立体物監視装置

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04331311A (ja) * 1991-01-24 1992-11-19 Mitsubishi Electric Corp 車間距離検出装置
JP3569926B2 (ja) * 1993-03-03 2004-09-29 株式会社デンソー 車両走行制御装置
US5519618A (en) * 1993-08-02 1996-05-21 Massachusetts Institute Of Technology Airport surface safety logic
JPH07120256A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH0887324A (ja) * 1994-09-16 1996-04-02 Nikko Denki Kogyo Kk 自動誘導・追尾装置
JP3571828B2 (ja) * 1995-10-27 2004-09-29 本田技研工業株式会社 車両用環境認識装置
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP4005679B2 (ja) * 1997-11-19 2007-11-07 富士重工業株式会社 自律走行車の周囲環境認識装置
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
JP3596314B2 (ja) * 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP4573977B2 (ja) 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP2003512112A (ja) * 1999-10-21 2003-04-02 アーチ・デベロップメント・コーポレーション 弾性的照合を用いる対側性および時間的な減法画像のコンピュータ化処理のための方法、システムおよびコンピュータ可読媒体
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US20010031068A1 (en) * 2000-04-14 2001-10-18 Akihiro Ohta Target detection system using radar and image processing
JP2001324305A (ja) * 2000-05-17 2001-11-22 Minolta Co Ltd 画像対応位置検出装置および該装置を備える測距装置
JP4953498B2 (ja) * 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
WO2002097535A2 (en) * 2001-05-30 2002-12-05 Nptest, Inc. Sub-resolution alignment of images
US7573939B2 (en) * 2002-01-11 2009-08-11 Sony Corporation Memory cell circuit, memory device, motion vector detection device, and motion compensation prediction coding device
JP4019736B2 (ja) * 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
JP3649327B2 (ja) * 2002-02-27 2005-05-18 富士重工業株式会社 フェールセーフ機能を有するステレオ式車外監視装置
JP3797949B2 (ja) * 2002-03-28 2006-07-19 株式会社東芝 画像処理装置及びその方法
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US7251346B2 (en) * 2002-11-19 2007-07-31 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP2004226197A (ja) * 2003-01-22 2004-08-12 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2004234069A (ja) * 2003-01-28 2004-08-19 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、及びプログラム
US6690451B1 (en) * 2003-02-06 2004-02-10 Gerald S. Schubert Locating object using stereo vision
IL155034A0 (en) * 2003-03-23 2004-06-20 M A M D Digital Data Proc Syst Automatic aerial digital photography and digital data processing systems
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
US7966327B2 (en) * 2004-11-08 2011-06-21 The Trustees Of Princeton University Similarity search system with compact data structures
US8045782B2 (en) * 2004-12-07 2011-10-25 Ge Healthcare Niagara, Inc. Method of, and apparatus and computer software for, implementing image analysis protocols
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US7389041B2 (en) * 2005-02-01 2008-06-17 Eastman Kodak Company Determining scene distance in digital camera images
JP2006260527A (ja) * 2005-02-16 2006-09-28 Toshiba Corp 画像マッチング方法およびこれを用いた画像補間方法
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
US8147503B2 (en) * 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
JP2007072665A (ja) * 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
EP1932117A2 (de) * 2005-09-29 2008-06-18 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zur automatischen bestimmung des schusstyps eines bildes (nahschuss oder langschuss)
US7684647B2 (en) * 2005-11-16 2010-03-23 Accuray Incorporated Rigid body tracking for radiosurgery
JP4916723B2 (ja) * 2006-01-16 2012-04-18 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US8325979B2 (en) * 2006-10-30 2012-12-04 Tomtom Global Content B.V. Method and apparatus for detecting objects from terrestrial based mobile mapping data
JP4839183B2 (ja) * 2006-11-07 2011-12-21 オリンパス株式会社 画像処理装置
JP2008128673A (ja) * 2006-11-16 2008-06-05 Omron Corp 測定システムおよび方法、測定装置および方法、並びに、情報処理装置および方法
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
JP4937844B2 (ja) 2007-06-12 2012-05-23 富士重工業株式会社 歩行者検出装置
US20090060256A1 (en) * 2007-08-29 2009-03-05 White Timothy J Method of advertisement space management for digital cinema system
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
JP2009133753A (ja) * 2007-11-30 2009-06-18 Toshiba Corp 画像処理装置及びその方法
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH10283477A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2001043377A (ja) 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2003255430A (ja) 2002-02-28 2003-09-10 Toshiba Corp 映像診断装置、車載型映像監視装置の映像診断システム
JP2006072495A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 立体物監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009005860B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Umgebungs-Erkennungssystem
DE102019209849A1 (de) * 2019-07-04 2021-01-07 Robert Bosch Gmbh Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät
DE102019209849B4 (de) 2019-07-04 2021-08-05 Robert Bosch Gmbh Verfahren und Steuergerät zur abstandsmessenden Bildverarbeitung für eine Stereokameraeinrichtung für ein Fahrzeug und Stereokamerasystem mit einer Stereokameraeinrichtung und einem Steuergerät

Also Published As

Publication number Publication date
US8244027B2 (en) 2012-08-14
DE102009005861B4 (de) 2023-04-20
JP4956452B2 (ja) 2012-06-20
US20090190800A1 (en) 2009-07-30
JP2009176087A (ja) 2009-08-06

Similar Documents

Publication Publication Date Title
DE102009005861B4 (de) Fahrzeugumgebungs-Erkennungssystem
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE102008030555B4 (de) Vorrichtung zur Verarbeitung von Stereobildern
DE102008053472B4 (de) Objekt-Erfassungssystem
DE102008053460B4 (de) Objekterfassungssystem
DE102010020867B4 (de) Strassenform-Erkennungsvorrichtung
DE4410064C2 (de) Verfahren und Vorrichtung zur Abstandserkennung
DE4411179B4 (de) Bildeinfangvorrichtung
DE4235619C2 (de) Entfernungsbestimmungseinrichtung für Automobile
DE102009015142B4 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
DE4130010C2 (de) Vorrichtung zur laufenden Beobachtung eines Fahrzeuges und zur Messung seines Abstandes
DE102014209137A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102008012840A1 (de) Objekterfassungssystem
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE102010012262A1 (de) Bildverarbeitungsvorrichtung
DE102009005184A1 (de) Fahrzeugabtastsystem
DE102012101014A1 (de) Fahrzeugdetektionsvorrichtung
DE102008025723A1 (de) Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
DE102008063122A1 (de) Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
DE102017117593A1 (de) Fahrzeugfahrassistenzvorrichtung
DE102018121753A1 (de) Reflexionsbestimmungsvorrichtung
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
EP2736017A2 (de) Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs
WO2014009406A1 (de) VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20150313

R081 Change of applicant/patentee

Owner name: SUBARU CORPORATION, JP

Free format text: FORMER OWNER: FUJI JUKOGYO KABUSHIKI KAISHA, TOKYO, JP

R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R016 Response to examination communication
R084 Declaration of willingness to licence
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020560000

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final