-
Diese
Anmeldung basiert auf der
japanischen
Patentanmeldung Nr. 2008-069956 vom 18. März 2008;
auf den dortigen Offenbarungsgehalt wird vollinhaltlich Bezug genommen.
-
Die
vorliegende Erfindung betrifft eine in ein Fahrzeug eingebaute Hinderniserkennungsvorrichtung
(wobei das Fahrzeug, in welches die Hinderniserkennungsvorrichtung
eingebaut ist, nachfolgend als „Eigenfahrzeug” oder „Eigenfahrzeug” bezeichnet wird),
wobei mit dieser Hinderniserkennungsvorrichtung Hindernisse auf
der Grundlage des Bildinhalts aufgenommener Bilder in einem Bereich
vorderhalb des Fahrzeugs erkannt werden.
-
Es
ist eine Technologie bekannt, bei der Bilder, die als Daten einer
elektronischen Kamera in einem Fahrzeug aufgenommen worden sind,
verarbeitet werden können, um das Vorhandensein eines vorausfahrenden
Fahrzeugs oder eines festen Hindernisses vorderhalb des Eigenfahrzeugs
zu erkennen. Eine solche Vorrichtung kann auch zur Erkennung der
Fahrspur verwendet werden, auf der sich das Eigenfahrzeug bewegt,
indem Fahrbahnmarkierungen auf der Straßenoberfläche
erkannt werden. Es ist auch eine Technologie bekannt, bei der Informationen
betreffend die Positionen von Hindernissen (beispielsweise anderen
Fahrzeugen) und betreffend den Fahrbahnzustand (d. h. zum Beispiel
Kurvenkrümmung, Neigung etc.) durch eine Kommunikation mit
anderen Fahrzeugen erlangt werden können (nachfolgend als „Zwischenfahrzeugkommunikation” bezeichnet)
oder durch eine Kommunikation mit Anlagen entlang der Straße,
entlang der sich das Eigenfahrzeug bewegt und welche derartige Informationen erzeugen
und senden (nachfolgend als „Straße/Fahrzeug-Kommunikation” bezeichnet).
-
Eine
derart erlangte Information kann zur Definition eines Bereichs beschränkter
Größe innerhalb eines aufgenommenen Bildes verwendet
werden, das von der Kamera des Eigenfahrzeugs erhalten wird (d.
h. als ein Bereich, in welchem wahrscheinlich Objekte enthalten
sind, die zu erkennen sind). Durch Anwendung einer Bildverarbeitung
auf einen solchen beschränkten Bereich kann die Erkennungsgenauigkeit
erhöht wer den und die Prozesslast verringert werden. Die
obige Technologie ist beispielsweise in den
japanischen Patentveröffentlichungen
Nr. 8-167092 und
2007-34477 beschrieben.
-
Eine
solche Technologie ermöglicht jedoch nur eine Verringerung
der benötigten Menge an Bildverarbeitung und eine Zunahme
der Erkennungsverlässlichkeit von Hindernissen oder Fahrbahnmarkierungen
auf einer Straßenoberfläche etc., sowie eine Erhöhung
der Erkennungsgeschwindigkeit. Um jedoch ein Fahrzeug zu steuern,
so dass Zusammenstöße mit vorausfahrenden Fahrzeugen
etc. verhindert sind und um Sicherheit für den Fall zu
bieten, dass ein Zusammenstoß auftritt, ist es notwendig, eine
präzise Echtzeitdistanz und Information hinsichtlich der
Relativlage oder Relativposition zu Hindernissen zu erlangen, die
vorderhalb des Eigenfahrzeugs liegen. Bislang war es notwendig,
einige separate Vorrichtungen zu verwenden, beispielsweise eine
Radarvorrichtung, um eine solche präzise Messung von Positionen
und Distanzen zu haben.
-
Ein
weiteres Problem ist, dass, wenn es eine Fahrbahnneigung (Steigung
oder Gefälle) der Straße vorderhalb des Eigenfahrzeugs
gibt, dann es schwierig wird, Hindernisse basierend auf dem Inhalt
aufgenommener Bilder korrekt zu identifizieren (d. h. gefährliche
Hindernisse von anderen Gegenständen zu unterscheiden). 4(a) der beigefügten Zeichnungen soll
dies näher erläutern. Eine Straßen- oder Fahrbahnoberfläche 10 habe
einen horizontalen Abschnitt, an den sich eine Steigung 11 anschließt,
wobei sich eine Fahrbahnoberflächenlackierung 13 (z. B.
eine Fahrspurmarkierung) auf dieser Steigungsstrecke 11 befindet.
Man kann aus 4(b) erkennen, dass, wenn ein
die Markierung 13 enthaltendes Bild entlang der Richtung
aufgenommen wird, die durch den Pfeil dargestellt ist, d. h. durch
eine Kamera eines Fahrzeugs auf dem Straßenabschnitt 10,
es nicht möglich ist, zu bestimmen, ob ein Bereich in dem
Bild, wo die Markierung 13 dargestellt ist, tatsächlich
ein solches zweidimensionales Objekt wiedergibt oder ein dreidimensionales
Bild 14 (d. h. ein tatsächliches Hindernis). Auf ähnliche
Weise hat gemäß 4(c) die
Straßenoberfläche einen Gefälleabschnitt 12,
auf welchem sich ein tatsächliches Hindernis 15 (dreidimensionales
Objekt) befindet, wie dargestellt. In diesem Fall ist es gemäß 4(d) nicht möglich, basierend auf einer
Bildverarbeitung zu bestimmen, ob ein Bereich im Bild, wo das Hindernis 15 vorhanden
ist, tatsächlich ein solches dreidimensionales Objekt darstellt
oder ein ungefährliches Objekt 16, beispielsweise
eine Fahrbahnmarkierung. Man erkannt hieraus, dass, wenn eine Hinderniserkennung
alleine aufgrund von Formen und Positionen von Bereichen innerhalb
eines aufgenommenen Bilds durchgeführt wird, dann eine
zuverlässige Unterscheidung zwischen tatsächlichen
Hindernissen und Straßenmarkierungen oder dergleichen nicht möglich
ist.
-
Es
ist demnach Aufgabe der vorliegenden Erfindung, die obigen Mängel
zu beseitigen, und eine Hinderniserkennungsvorrichtung zum Einbau
in ein Fahrzeug zu schaffen, bei der verbesserte Genauigkeit bei
der Erkennung der Lagebeziehung oder Positionsbeziehung zwischen
besagtem Fahrzeug und einem Hindernis erreicht werden kann, indem
eine Straßen/Fahrzeug-Information verwendet wird, die von
einer straßenseitigen oder fahrbahnseitigen Vorrichtung
kommt und/oder eine Zwischenfahrzeuginformation, die von einem vorausfahrenden
Fahrzeug (durch Fahrzeug/Fahrzeug-Kommunikation) kommt.
-
Es
ist eine weitere Aufgabe, eine Hinderniserkennungsvorrichtung der
genannten Art zu schaffen, mit der eine zuverlässige Unterscheidung
zwischen erkannten Objekten, die die Gefahr eines Zusammenstoßes
darstellen und erkannten Objekten (z. B. zweidimensionalen Fahrbahnmarkierungen etc.)
erlaubt, welche keine derartige Gefahr darstellen.
-
Zur
Lösung der genannten Aufgaben ermöglicht gemäß einem
ersten Aspekt die vorliegende Erfindung die genaue Berechnung der
Distanz zu einem bestimmten Hindernis, beispielsweise einem vorausfahrenden
Fahrzeug, welches vorderhalb des Fahrzeugs befindlich ist, in welchem
die Hinderniserkennungsvorrichtung eingebaut ist. Insbesondere umfasst
die Hinderniserkennungsvorrichtung eine elektronische Kamera (z.
B. eine Videokamera), die zur Bildaufnahme in der Szenerie vorderhalb
des Fahrzeugs angeordnet ist und eine Bildverarbeitungsschaltung,
welche von der Kamera erzeugte Daten verarbeiten kann, welche jedes
aufgenommene Bild ausdrücken, um Objekte zu erkennen, die vorderhalb
des Fahrzeugs liegende Hindernisse bilden können. Die Vorrichtung
umfasst auch einen Speicher (z. B. ein ROM), in welchem vorab Bildparameterinformationen
speziell für die Kamera gespeichert sind (beispielsweise
Brennweite und Lage des Auslöschungspunkts in der Bildebene).
Die Hinderniserkennungsvorrichtung weist weiterhin eine Kommunikationsschaltung,
eine Informationserzeugungs schaltung, eine Informationserlangungsschaltung
und eine Distanzberechnungsschaltung auf.
-
Die
Kommunikationsschaltung führt eine Fahrzeug/Fahrzeug-Kommunikation
mit einem vorausfahrenden Fahrzeug durch, um Größeninformation
betreffend das vorausfahrende Fahrzeug zu empfangen und/oder eine
Straße/Fahrzeug-Kommunikation mit einer am Straßen-
oder Fahrbahnrand eingebauten Vorrichtung, die Informationen betreffend
Positionen, Formen etc. feste Hindernisse seitens der Straße
oder Fahrbahn senden, sowie von Positionen und Formen von Bereichen,
welche besondere Aufmerksamkeit erfordern, wie beispielsweise Fußgängerüberwege.
Die Informationserzeugungsschaltung erlangt aufgenommene Bildgrößeninformationen, welche
eine Größendimension (z. B. Breite) eines Objekts
ausdrücken, das von der Bildverarbeitungsschaltung erkannt
wurde, wobei der Größenwert als in der Bildebene
der Kamera gemessen vorliegt. Die Informationserlangungsschaltung
dient zum Erlangen von Informationen (mittels der Kommunikationsschaltung),
welche eine tatsächliche Größenabmessung
eines bestimmten Hindernisses vorderhalb des Fahrzeugs ausdrücken.
Die Distanzberechnungsschaltung berechnet genau die Distanz oder
den Abstand vom Fahrzeug zu dem bestimmten Hindernis, wobei die
Berechnung basierend auf dem Größenabmessungswert
durchgeführt wird, wie wir in einem aufgenommenen Bild
gemessen wird, sowie dem momentanen Größenabmessungswert
und der Bildparameterinformation.
-
Wenn
das bestimmte Hindernis ein vorausfahrendes Fahrzeug ist, kann die
Größenabmessung als der Abstand zwischen zwei
Heckleuchten eines vorausfahrenden Fahrzeugs bestimmt werden.
-
Die
Informationserlangungsschaltung kann so ausgelegt sein, dass sie
zusammen mit der tatsächlichen Größendimensionsinformation
eine Höhe über Grund-Information betreffend das
bestimmte Hindernis erlangt, wobei die Höhe über
Grund-Information die tatsächliche Höhe eines
Zielobjekts (z. B. des Heckleuchtenpaars) über der Fahrbahnoberfläche
ausdrückt. In diesem Fall weist die Hinderniserkennungsvorrichtung
auch eine Höhe über Grund-Differenzberechnungsschaltung
auf, um einen Höhe über Grund-Differenzwert für
das bestimmte Hindernis zu berechnen. Hierbei ist die „Höhe über Grund-Differenz” die
Höhendifferenz zwischen der Fahrbahnoberfläche,
auf der sich das Eigenfahrzeug befindet und der Fahrbahnoberfläche,
auf der sich das bestimmte Hindernis befindet. Die Berechnung erfolgt
basierend auf der oben genannten berechneten genauen Distanz des
bestimmten Hindernisses, der Höhe über Grund-Information
von der Informationserlangungsschaltung und der Bildparameterinformation.
-
Da
es somit möglich wird, korrekt die Höhe über
Grund-Differenz zwischen der Fahrbahnoberfläche, auf der
sich das Eigenfahrzeug bewegt und der Fahrbahnoberfläche
zu erhalten, die in einer bestimmten Distanz vorderhalb des Eigenfahrzeugs liegt,
wird es möglich, die Vorrichtung mit einer Unterscheidungsschaltung
auszustatten, um zu beurteilen, ob in einem aufgenommenen Bild erkannte
Objekte (d. h. als separate Bereiche innerhalb des Bilds) tatsächlich
Hindernisse mit wesentlicher Höhenbildung oder beispielsweise
zweidimensionale Markierungen sind, die sich auf der Fahrbahnoberfläche
befinden. Somit kann das oben unter Bezug auf die 4(a) bis 4(d) beschriebene
Problem wirksam beseitigt werden.
-
Von
einem anderen Aspekt her betrachtet kann die Informationserlangungsschaltung
so ausgestaltet sein, dass sie auch Positionsinformation betreffend
ein bestimmtes Hindernis erlangt, beispielsweise durch die Fahrzeug/Fahrzeug-Kommunikation oder
die Straße/Fahrzeug-Kommunikation wie oben beschrieben.
In diesem Fall kann die Bildverarbeitungsschaltung so ausgelegt
sein, dass sie einen bestimmten Bereich innerhalb eines aufgenommenen Bilds
als einen Bildverarbeitungsbereich begrenzt, und basierend auf der
Positionsinformation und eine Objekterkennung durch Verarbeitung
von Daten entsprechend dem Bildverarbeitungsbereich durchführt. Damit
kann die Bildverarbeitungsbelastung verringert werden.
-
Mit
dem Gegenstand der vorliegenden Erfindung ist eine genaue und zuverlässige
Erkennung der Distanz zu einem gefährlichen Hindernis,
beispielsweise bei einem vorausfahrenden Fahrzeug erlangbar, ohne
dass die Verwendung einer Radarerkennung oder anderer Arten genauer
Distanzerkennungsvorrichtungen notwendig ist. Zusätzlich
kann eine zuverlässige Unterscheidung zwischen gefährlichen
Hindernissen und nicht gefährlichen erkannten Hindernissen
(beispielsweise Fahrbahnmarkierungen) erlangt werden, indem die
berechnete Differenz in der Höhenlage zwischen der Fahrbahnober fläche, auf
der sich das Eigenfahrzeug befindet und einem Teil der Fahrbahnoberfläche
in einem bestimmten Abstand vorderhalb des Fahrzeugs verwendet wird. Da
weiterhin erkannte Objekte, welche keine Zusammenstoßgefahr
in sich bergen, aus der Betrachtung beseitigt werden können,
kann eine unnötige Datenverarbeitung an aufgenommenen Bildern
verringert werden.
-
Weitere
Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben
sich besser aus der nachfolgenden Beschreibung anhand der Zeichnung.
-
Es
zeigt:
-
1 ein
Blockdiagramm des Gesamtaufbaus einer Ausführungsform einer
Hinderniserkennungsvorrichtung zum Einbau in ein Fahrzeug;
-
2 ein
Flussdiagramm einer Hinderniserkennungsverarbeitung, die von einem
Bildverarbeitungs- und Berechnungsabschnitt der Ausführungsform
durchgeführt wird;
-
3(a), 3(b) jeweils
Darstellungen zur Veranschaulichung von Grundüberlegungen,
die verwendet werden, um genaue Distanzwerte und Höhe über
Grund-Werte eines vorausfahrenden Fahrzeugs bei der Ausführungsform
zu berechnen; und
-
4(a) bis 4(d) schematische
Darstellungen zur Erläuterung von Problemen, die bei einer Hinderniserkennung
auftreten, wenn es eine Höhendifferenz zwischen einer Fahrbahnoberfläche,
auf der eine Hinderniserkennungsvorrichtung liegt und einer Fahrbahnoberfläche
vorhanden ist, auf der sich ein erkanntes Objekt befindet.
-
Bevor
eine konkrete Ausgestaltung einer Ausführungsform einer
Hinderniserkennungsvorrichtung beschrieben wird, sollen die Grundprinzipien, die
von dieser Vorrichtung angewendet werden, dargelegt werden.
-
Bezug
nehmend auf das Beispiel von 3(a) sei
eine Größenabmessung (z. B. Breite) eines erkannten
Objekts, gemessen als ein von der Kamera einer fahrzeugseitigen
Hinderniserkennungsvorrichtung aufgenommenes Bild, als Ls bezeichnet. Genauer
gesagt, wenn Ls als eine Anzahl von Bildelementen in einem Bild
gemessen wird, wird die äquivalente Anzahl von Pixeln des
Kamerabildsensors mit der Pixelgröße multipliziert,
um den Wert von Ls zu erhalten. Die entsprechende tatsächliche
Größenabmessung des Zielobjekts (z. B. über
die Fahrzeug/Fahrzeug-Kommunikation erhalten) wird mit Lt bezeichnet.
Die Brennweite der Kamera wird mit f bezeichnet (d. h. ein Wert,
der als Bildparameter von der Hinderniserkennungsvorrichtung gespeichert
ist). Die Distanz von der Kamera zum Zielobjekt (d. h. die Distanz
vom Eigenfahrzeug zum Zielobjekt) ist mit D bezeichnet, welche unter
Verwendung folgender Gleichung (1) berechnet wird: D = f × (Lt/Ls) (1)
-
Durch
Erlangen einer Information, die tatsächliche Größenabmessungen
eines bestimmten Hindernisses ausdrückt, beispielsweise
durch Fahrzeug/Fahrzeug-Kommunikation und durch Verwenden dieser
Information zusammen mit entsprechenden Größendimensionsinformationen
aus einem aufgenommen Bild wird es möglich, den Abstand
D vom Eigenfahrzeug zum Hindernis genau zu erhalten, ohne dass eine
separate Vorrichtung für eine genaue Distanzmessung nötig
ist, beispielsweise eine Radarvorrichtung.
-
Wenn
das erkannte Hindernis ein vorausfahrendes Fahrzeug ist, ist die
Größenabmessung bevorzugt der Abstand zwischen
zwei Hecklampen dieses Fahrzeugs.
-
Die
erlangte Information betreffend ein bestimmtes Hindernis, beispielsweise
ein vorausfahrendes Fahrzeug, enthält bevorzugt auch die
Höhe (Höhe über der Boden oder Fahrbahnoberfläche)
eines Zielobjekts in dem bestimmten Hindernis, d. h., wenn das Zielobjekt
ein Paar von Hecklampen eines vorausfahrenden Fahrzeugs ist, ist
der Höhenwert die Höhe der Hecklampen über
Grund. In diesem Fall wird es möglich, genau die Grundhöhendifferenz
zwischen dem Eigenfahrzeug und einem vorderhalb dieses Fahrzeugs
liegenden Hindernisses zu berechnen.
-
Genauer
gesagt, und wie in 3(b) dargestellt, ist unter
der Annahme, dass die Distanz D zu einem bestimmten Hindernis unter
Verwendung obiger Gleichung (1) genau berechnet worden ist, dann die
Höhe über Grund der Kamera des Eigenfahrzeugs
mit Hs bezeichnet, die tatsächliche Höhe über Grund
eines Zielobjekts an dem be stimmten Hindernis als Ht bezeichnet
(z. B. aus einer Fahrzeug/Fahrzeug-Information erlangt) und die
Zielobjekthöhe, gemessen in der Bildebene der Kamera als
Hs bezeichnet (d. h. wie Ls weiter oben gemessen) und schließlich
sei f die Kamerabrennweite. Die Grundhöhendifferenz Hr
kann dann aus folgender Gleichung (2) berechnet werden: Hr = Hc – Ht + D × (Hs/f) (2)
-
Hs
wird als die vertikale Distanz zwischen dem Zielobjekt und einer
horizontalen Linie in der Bildebene gemessen, die durch den Auslöschungspunkt
des Bildes verläuft.
-
Der
Begriff „Auslöschungspunkt” bezeichnet eine
Position in der Bildebene, an der gerade Linien, die sich begrenzungsfrei
vorderhalb der Kamera ausdehnen, als auf einem einzelnen Punkt konvergieren erscheinen.
Im Beispiel der 3(a) und 3(b) und
der Berechnung gemäß Gleichung (2) wird angenommen,
dass die optische Achse der Kamera parallel zur Fahrbahnoberfläche
verläuft, auf der sich das Eigenfahrzeug befindet, d. h.
entlang einer Linie 50 ausgerichtet ist, die durch den
Auslöschungspunkt verläuft.
-
Durch
Berechnen einer solchen Höhe über Grund-Differenzinformation
kann die Hinderniserkennungsvorrichtung so ausgelegt werden, dass
sie zwischen einem Objekt unterscheidet, das in einem aufgenommenen
Bild erkannt wird und keine Zusammenstoßgefahr darstellt,
beispielsweise eine Markierung, die sich auf der Fahrbahnoberfläche
befindet (siehe 4(a)) und ein Objekt, das eine
derartige Gefahr darstellt, beispielsweise gemäß 4(c).
-
Der
allgemeine Aufbau einer Ausführungsform einer derartigen
in ein Fahrzeug einbaubaren Hinderniserkennungsvorrichtung 1 ist
in Blockdiagrammform in 1 gezeigt. Die Hinderniserkennungsvorrichtung 1 enthält
Sensoren 3 zum Erlangen von Umgebungsinformationen, Sensoren 4 zum
Erlangen von Fahrinformationen, einen Kommunikationsabschnitt 5,
einen Bildverarbeitungs- und Berechnungsabschnitt 6 und
einen Mitteilungsabschnitt 7. Die Sensoren 3 zur
Erlangung von Umgebungsinformationen dienen zur Informationsaufnahme
betreffend die äußere Umgebung des Eigenfahr zeugs
und beinhalten eine nach vorne gerichtete Kamera 3(a) (d.
h. eine elektronische Kamera in Form einer Videokamera oder dergleichen),
die so ausgelegt und ausgerichtet ist, dass sie aufeinanderfolgende
Bilder der Szenerie vorderhalb des Eigenfahrzeuges als entsprechende
Sätze von digitalen Daten aufnimmt. Die Sensoren 4 zum
Erlangen von Fahrtinformationen erlangen Informationen betreffend
die Fahrbedingungen oder Fahrzustände des Eigenfahrzeugs, einschließlich
wenigstens die momentane Position dieses Fahrzeugs und beinhalten
beispielsweise Fahrzeuggeschwindigkeitssensor, Gierratensensor, Lenkwinkelsensor,
GPS-Empfänger (Global Positioning System) etc. Der Kommunikationsabschnitt 5 umfasst
verschiedene Arten von Kommunikationsvorrichtungen für
eine drahtlose Kommunikation mit Fahrzeugen, welche dem Orts- oder
Eigenfahrzeug folgen oder vorausfahren (Fahrzeug/Fahrzeug-Kommunikation)
und fahrbahnseitige Vorrichtungen, welche ortsfest entlang der Fahrbahn
oder Straße eingebaut sein können, entlang der
das Eigenfahrzeug fährt (Straße/Fahrzeug-Kommunikation).
-
Der
Bildverarbeitungs-Berechnungsabschnitt 6 führt
eine Bildverarbeitung an erkannten Hindernissen vorderhalb des Eigenfahrzeugs
durch und führt Berechnungen zur Erzeugung von Informationen
durch, welche solche Hindernisse betreffen, und zwar basierend auf
Umgebungsbedingungsinformationen von den Sensoren 3 für
die Umgebungsinformationen, von Fahrzustandsinformationen von den
Sensoren 4 für Fahrinformationen und von extern
erhaltenen Informationen von dem Kommunikationsabschnitt 5 (einschließlich
wenigstens einer Fahrzeug/Fahrzeug-Information, die über
eine Kommunikation mit einem vorausfahrenden Fahrzeug erhalten wird).
Der Mitteilungsabschnitt 7 überträgt
die aufgenommenen Bilder und die Verarbeitungsergebnisse von dem
Bildverarbeitungs-Berechnungsabschnitt 6 an andere Ausstattungen
im Fahrzeug (nicht gezeigt) zur Verwendung bei der Fahrzeugsteuerung,
der Erzeugung von Warnanzeigen und zu Bildanzeigezwecken.
-
Kommunikationsabschnitt
-
Der
Kommunikationsabschnitt 5 führt eine Fahrzeug/Fahrzeug-Kommunikation
mit einem vorausfahrenden Fahrzeug durch, um Informationen (z. B.
Position, Größe, Höhe über Grund)
betreffend das vorausfahrende Fahrzeug zum empfangen, welche vor
die sem Fahrzeug gesendet werden. Der Kommunikationsabschnitt 5 führt
auch eine Fahrzeug/Fahrzeug-Kommunikation zur Übertragung ähnlicher
Daten betreffend das Eigenfahrzeug an ein nachfolgendes Fahrzeug
durch. Die so übertragenen Informationen beinhalten zumindest
die Lage des sendenden Fahrzeugs und fahrzeugspezifische Informationen wie
Abstand zwischen den Hecklampen und Höheninformation (z.
B. Höhe über Grund der Hecklampen) des sendenden
Fahrzeugs und können auch den Typ oder die Form des Fahrzeugs
enthalten (z. B. Lkw, Pkw etc.).
-
Der
Kommunikationsabschnitt 5 vermag auch eine Straße/Fahrzeug-Information
von einer beliebigen straßen- oder fahrbahnseitigen Vorrichtung zu
empfangen, welche benachbart der Straße liegt, auf der
sich das Fahrzeug bewegt und welche eine solche Information überträgt.
Die so erhaltene Straße/Fahrzeug-Information kann feste
Hindernisse betreffen oder kann Bereiche betreffen, welche besondere
Aufmerksamkeit vom Fahrzeugfahrer fordern und welche nachfolgend
auch „Vorsichtbereiche” genannt werden. Ein Beispiel
hiervon sind Fußgängerüberwege (wo es „bewegliche
Hindernisse” geben kann, also Fußgänger
oder Radfahrer). Die erhaltene Information kann aus Lage, Größe
(z. B. Abmessung), Form etc. eines solchen festen Hindernisses oder
Vorsichtbereichs bestehen.
-
Der
Mitteilungsabschnitt 7 vermag die Verarbeitungsergebnisse,
erhalten von dem Bildverarbeitungs- und Berechnungsabschnitt 6 und
aufgenommene Bilder an andere Ausstattungen des Fahrzeugs zu übertragen,
welche beispielsweise sichtbare oder hörbare Warnungen
an den Fahrzeugfahrer basierend auf den Verarbeitungsergebnissen
ausgeben.
-
Der
Bildverarbeitungs- und Berechnungsabschnitt 6 dieser Ausführungsform
ist ein Mikrocomputer, basierend auf einer CPU 6a, einem
ROM 6b und RAM 6c, zusammen mit einem A/D-Wandler,
einem digitalen Signalprozessor etc. (nicht dargestellt). Das ROM 6b hat
wenigstens ein Steuerprogramm zur Durchführung einer Verarbeitung
durch die CPU 6 gespeichert, sowie Informationen, die spezifisch
für das Eigenfahrzeug sind (d. h. die oben erwähnte Fahrzeug/Fahrzeug-Information,
die vom Kommunikationsabschnitt 5 einem nachfolgenden Fahrzeug übertragen
wird) und Bildparameter. Die Bildparameterinformation umfasst zumindest
die Brennweite der Vorwärtssichtkamera 3a, die
Höhe über Grund der Kamera 3a und die
Lage des Auslöschungspunkts innerhalb der Bildebene.
-
Die
CPU 6 führt eine Prozessabfolge zur Erkennung
eines tatsächlichen Hindernisses und fahrbahnoberflächenseitigen
Markierungen etc. basierend auf einem aufgenommen Bild durch, das
von der Kamera 3a erhalten wird, sowie eine extern erlangte
Information, wenn diese zur Verfügung steht, wie nachfolgend
noch unter Bezugnahme auf das Flussdiagramm von 2 beschrieben
wird.
-
Verarbeitung
-
Zuerst
(Schritt S110) wird das aufgenommen Bild (d. h. eine Folge digitaler
Werte, welche jeweilige Bildelemente ausdrücken) analysiert,
um in entsprechende Bereiche unterteilt zu werden, von denen angenommen
wird, dass sie jeweilige Objekte wiedergeben, von denen einige tatsächliche
Hindernisse sein können, die vorderhalb des Eigenfahrzeugs
liegen. Eine bekannte Art von Bildverarbeitung wird dann an das
Bild angelegt, um jeweilige Abstandswerte entsprechend dieser Bildbereiche
(erkannte Objekte) abzuschätzen. Diese geschätzten
Distanz- oder Abstandswerte werden nachfolgend als „Grobdistanzen” bezeichnet.
-
Nachfolgend
(Schritt S120) wird eine Entscheidung gemacht, ob eine Fahrzeug/Fahrzeug-Information
von dem Kommunikationsabschnitt 5 neu von einem vorausfahrenden
Fahrzeug erlangt oder erhalten worden ist. Wenn dies der Fall ist,
geht der Ablauf zum Schritt S130, wohingegen, wenn keine Fahrzeug/Fahrzeug-Information
empfangen worden ist, Schritt S180 durchgeführt wird.
-
In
Schritt S130 wird ein Bereich begrenzter Erstreckung innerhalb des
aufgenommenen Bilds definiert, der ein Bereich sein soll, an welchem
eine detaillierte Verarbeitung angewendet wird. Dieser Bereich begrenzter
Erstreckung wird basierend auf den Inhalt der empfangenen Fahrzeug/Fahrzeug-Information
bestimmt, d. h. der Information, welche anzeigt, dass es ein Zielobjekt
bestehend aus einem vorausfahrenden Fahrzeug gibt und eine Information betreffend
dieses Fahrzeugs, einschließlich seiner momentanen Position.
Nachfolgend wird im Schritt S140 ein Bereich, der das vorausfah rende
Fahrzeug darstellt, aus dem Bereich begrenzter Erstreckung extrahiert,
der in dem aufgenommenen Bild definiert ist. Genauer gesagt, wenn
die empfangene Fahrzeug/Fahrzeug-Information eine Information enthält, welche
die Form des vorausfahrenden Fahrzeugs ausdrückt, wird
eine Schablone oder Vorlage entsprechend dieser Form erzeugt und
eine Schablonenanpassung wird durchgeführt, um das vorausfahrende
Fahrzeug aus dem aufgenommenen Bild zu extrahieren.
-
Unter
der Annahme, dass ein Paar von Hecklampen des vorausfahrenden Fahrzeugs
als ein Zielobjekt zu erkennen ist, wie oben beschrieben, und dass
die empfangene Fahrzeug/Fahrzeug-Information die tatsächliche
Distanz Lt zwischen diesen Hecklampen und die tatsächliche
Höhe über Grund Ht der Hecklampen spezifiziert,
wie oben gemäß der 3(a) und 3(b) beschrieben, wird die offensichtliche oder
augenscheinliche Zielobjektgrößenabmessung Ls
(Abstand zwischen den Hecklampen) und die offensichtliche oder augenscheinliche Objekthöhe
Hs (Höhe über Grund der Hecklampen), wie in dem
aufgenommen Bild gemessen, entsprechend erhalten, und zwar basierend
auf dem Inhalt des oben erwähnten begrenzten Bearbeitungsbereichs
innerhalb des aufgenommenen Bilds. Der Wert von Hs wird in Bezug
zu der Auslöschpunktposition in der Bildebene erhalten,
wie oben unter Bezug auf 3(b) beschrieben.
-
Nachfolgend
werden in Schritt S150 die Abmessung Ls aus Schritt S140 und die
Brennweite f (ausgelesen aus dem ROM 6b als Bildparameter) verwendet,
um die Distanz D zum vorausfahrenden Fahrzeug zu berechnen. Dieser
derart berechnete Abstand D wird als präziser Abstand oder
präzise Distanz bezeichnet.
-
Es
wird ein Schritt S160 durchgeführt, wo basierend auf dem
Höhenwert Hs aus Schritt S140, der präzisen Distanz
D aus Schritt S150, der tatsächlichen Höhe über
Grund Ht der Hecklampen des vorausfahrenden Fahrzeugs (aus der Fahrzeug/Fahrzeug-Information),
der Brennweite f (von ROM 6b) und der obigen Höhe über
Grund Hc der Kamera 3a (ebenfalls als Bildparameter aus
dem ROM 6b ausgelesen) unter Verwendung der obigen Gleichung
(2) die Höhe über Grund-Differenz Hr berechnet
wird, d. h. die Höhendifferenz zwischen der Fahrbahnoberfläche,
auf der sich das Eigenfahrzeug befindet und der Fahrbahnoberfläche,
auf der sich das vorausfahrende Fahrzeug befindet (siehe obige Beschreibung
von 3(b)).
-
Die
Verarbeitungsabfolge der Schritte S130 bis S160 wird jedes Mal dann
durchgeführt, wenn eine Fahrzeug/Fahrzeug-Information erlangt
wird, d. h. wird aufeinanderfolgend für jedes von einem
oder mehreren Fahrzeugen durchgeführt, welche momentan
vorderhalb des Eigenfahrzeugs fahren und welche jeweils eine Fahrzeug/Fahrzeug-Information übertragen.
-
Nachfolgend
wird in Schritt S170 basierend auf dem Höhe über
Grund-Differenzbetrag Hr aus Schritt S160 und den Werten der Grobdistanz,
die jeweils für unterschiedliche Objekte in S110 erhalten wurden
(d. h. als jeweilige Bildbereiche erkannt wurden) die jeweiligen
Höhe über Grund-Werte für diejenigen
erkannten Hindernisse berechnet, welche innerhalb des Bearbeitungsbereichs
oder Verarbeitungsbereichs liegen, der im Schritt S140 bestimmt wurde.
Die erkannten Objekte werden somit ermittelt, um zwischen denjenigen
zu unterscheiden, die unterhalb eines bestimmten Schwellenwertes
der Höhe über Grund liegen und somit keine tatsächlichen
Hindernisse sind (z. B. Fahrbahnmarkierungen etc. auf der Fahrbahnoberfläche)
und Objekten, die oberhalb des Schwellenwerts der Höhe
liegen und somit eine Gefahr (Zusammenstoßgefahr) bilden.
-
Nachfolgend
wird im Schritt S180 eine Entscheidung gemacht, ob die Straße/Fahrzeug-Kommunikation
eine neue Straße/Fahrzeug-Information erlangt oder erhalten
worden ist. Wenn eine solche Information erlangt worden ist, wird
Schritt S190 durchgeführt, während ansonsten der
Schritt zu S210 weitergeht. Die Straße/Fahrzeug-Information kann
die Lagen, Abmessungen etc. von einem oder mehreren festen Hindernissen
und/oder einem oder mehrerer Vorsichtsbereiche, beispielsweise Fußgängerüberwege
spezifizieren. Im Schritt S190 wird ein Bereich begrenzter Erstreckung
innerhalb des aufgenommenen Bildes als Bearbeitungsbereich definiert. Dies
erfolgt basierend auf den Inhalt der empfangenen Straße/Fahrzeug-Information,
d. h. basierend auf Position und Größe eines festen
Hindernisses oder Vorsichtsbereichs, wie in der empfangenen Information
eingegeben.
-
Nachfolgend
werden in Schritt S200 jegliche Objekte entsprechend festen Hindernissen,
die innerhalb des Bearbeitungsbereichs liegen, der in Schritt S190
bestimmt wurde, oder jegliche Objekte entsprechend beweglichen Hindernissen
(z. B. Fußgän ger, Fahrradfahrer) innerhalb eines
jeden Vorsichtbereichs (beispielsweise Fußgängerüberweg) innerhalb
des Verarbeitungsbereichs aus dem Bild extrahiert. Dies erfolgt
durch Anlegen oder Anwenden einer Schablonenanpassung an das Bild
unter Verwendung von Schablonen, welche gemäß dem Inhalt
der Straße/Fahrzeug-Information gewählt werden.
Die Position der Größe jeglicher fester und/oder beweglicher
Hindernisse innerhalb des Verarbeitungsbereichs werden somit erhalten.
-
Wenn
beispielsweise die Straße/Fahrzeug-Information einen Fußgängerüberweg
anzeigt, werden Schablonen entsprechend von Fußgängern und
Fahrradfahrern (d. h. beweglichen Hindernissen, von denen es eine
hohe Wahrscheinlichkeit gibt, dass sie sich innerhalb eines derartigen
Vorsicht- oder Gefahrenbereichs befinden) zur Verwendung ausgewählt.
-
Der
Ablauf der Schritte S190 bis S200 wird aufeinanderfolgend für
jedes der entsprechenden festen Hindernisse und jeden der Vorsichtsbereiche durchgeführt,
welche in der empfangenen Straße/Fahrzeug-Information spezifiziert
sind.
-
In
Schritt S210 erfolgt eine Bildverarbeitung, um aus dem verbleibenden
Bildbereich außerhalb der Verarbeitungsbereiche, der in
den Schritten S130 und S190 bestimmt wurde, jegliche Objekte zur
Extrahierung, die Fahrzeugen und/oder festen Hindernissen entsprechen.
Schließlich werden im Schritt S220 die erhaltenen Erkennungsergebnisse
dem Mitteilungsabschnitt 7 mitgeteilt.
-
Übertragen
auf die beigefügten Ansprüche entspricht die Verarbeitung
im obigen Schritt S140 einer Funktion, die von einer Informationserzeugungsschaltung
gemäß den Ansprüchen durchgeführt
wird; die Verarbeitung von Schritt S150 entspricht einer Funktion,
die von einer Distanzberechnungsschaltung durchgeführt
wird; die Verarbeitung von Schritt S160 entspricht einer Funktion,
die von einer Höhe über Grund-Differenzberechnungsschaltung
durchgeführt wird; und die Verarbeitung von Schritt S170 entspricht
einer Funktion, die von einer Unterscheidungsschaltung durchgeführt
wird. Es versteht sich, dass, obgleich die obige Ausführungsform
diese Funktionen aufgrund einer Durchführung eines Steuerprogramms
durch einen Mikrocomputer durchgeführt werden, es gleichermaßen
möglich ist, wenigstens einen Teil dieser Funktionen durch
eine entsprechend ausgelegte Hardwareschaltung umzusetzen.
-
Erhaltene Ergebnisse
-
Wie
oben beschrieben, verwendet die Hinderniserkennungsvorrichtung 1 die
Gleichung (1) zur Berechnung der präzisen Distanz D zwischen
dem Orts- oder Eigenfahrzeug und einem vorausfahrenden Fahrzeug
basierend auf einer Fahrzeug/Fahrzeug-Information, die vom vorausfahrenden
Fahrzeug übertragen oder gesendet wird (insbesondere tatsächliche
Größenabmessung Lt des vorausfahrenden Fahrzeugs,
z. B. Abstand zwischen den Hecklampen), dem entsprechenden Größenabmessungswert
Ls, wie er in dem aufgenommenen Bild von der Kamera 3a gemessen
wird und der Brennweite f der Kamera 3a (als Bildparameter
gespeichert). Eine derartig präzise Messung des Abstand zu
einem vorausfahrenden Fahrzeug erfolgt somit ohne die Notwendigkeit
einer eigenen Distanzmessvorrichtung, beispielsweise einer Radarvorrichtung.
-
Da
weiterhin die Hinderniserkennungsvorrichtung 1 den Größenabmessungswert
Lt als Abstand zwischen den Heckleuchten eines vorausfahrenden Fahrzeugs
erhalten kann, kann eine genaue Messung des Abstands D auch während
der Nacht erreicht werden.
-
Weiterhin
kann die Hinderniserkennungsvorrichtung 1 die Höhe über
Grund-Differenz Hr zwischen der Fahrbahnoberfläche, auf
der sich das eigene Fahrzeug befindet und der Fahrbahnoberfläche, auf
der ein vorausfahrendes Fahrzeug fährt unter Verwendung
der obigen Gleichung (2) basierend auf der tatsächlichen
Höhe Ht über Grund des vorausfahrenden Fahrzeugs
(oder der obigen Höhe über Grund der Fahrzeughecklampen), übertragen
von der Fahrzeug/Fahrzeug-Information vom vorausfahrenden Fahrzeug,
dem entsprechenden Höhenwert Hs, wie er in dem aufgenommenen
Bild von der Kamera 3a gemessen wird und der Brennweite
f und der obigen Höhe Hs über Grund der Kamera 3a (als
jeweilige Bildparameter gespeichert) und den exakten oder präzisen
Abstand D zum vorausfahrenden Fahrzeug (berechnet unter Verwendung
der Gleichung (1)) genau berechnen.
-
Basierend
auf dieser Höhe über Grund-Differenz Hr kann die
Hinderniserkennungsvorrichtung 1 jeweilige Objekte, die
in einem aufgenommenen Bild erscheinen (d. h. erkannte Objekte,
von denen einige Hindernisse sind oder sein können) als
Objekte, welche keine Gefahr darstellen (z. B. Fahrbahnmarkierungen)
und dreidimensionale Objekte unterscheiden, die tatsächliche
Hindernisse sind, d. h. eine Zusammenstoßgefahr bilden
können.
-
Somit
kann eine erhöhte Zuverlässigkeit bei der Fahrzeugsteuerung
basierend auf Ergebnissen einer derartigen Erkennung externer Objekte
erreicht werden oder bei der Bereitstellung von Warnungen für
den Fahrzeugfahrer basierend auf derartigen Erkennungsergebnissen.
Zusätzlich wird es möglich, unnötige
Bearbeitungen betreffend dieser erkannten Objekte wegzulassen, welche
keine Gefahr darstellen, so dass die Gesamtbearbeitungslast verringert werden
kann.
-
Eine
in ein Fahrzeug einbaubare Hinderniserkennungsvorrichtung umfasst
insoweit zusammenfassend eine Kamera und verarbeitet sich ergebende Bilddaten,
um Objekte als mögliche Hindernisse zu erkennen. Ein Größenwert,
beispielsweise der Abstand von zwei Hecklampen, gesendet von einem
vorausfahrenden Fahrzeug, und ein entsprechender Größenwert,
wie er in einem von der Kamera aufgenommen Bild gemessen wird, werden
verwendet, um den Abstand zu dem vorausfahrenden Fahrzeug zu berechnen.
Dieser Wert wird zusammen mit dem Höhenwert, der von dem
vorausfahrenden Fahrzeug gesendet wird und einem entsprechenden
Höhenwert, der in dem aufgenommenen Bild gemessen wird,
verwendet, eine relative Höhendifferenz zwischen den Fahrzeugen
zu berechnen, welche dann wiederum verwendet wird, um zwischen erkannten Objekten
zu unterscheiden, welche tatsächliche Hindernisse darstellen
und Objekten, welche keine Hindernisse sind, beispielsweise Fahrbahnmarkierungen.
-
Es
sei festzuhalten, dass die Erfindung natürlich nicht auf
die Verwendung eines Paars von Hecklampen eines vorausfahrenden
Fahrzeugs als ein Zielobjekt bei der präzisen Distanzberechnung beschränkt
ist, wie oben beschrieben. Es wäre gleichermaßen
möglich, einen Abstand zwischen zwei beliebigen anderen,
sichtlich unterscheidbaren Teilen eines vorausfahrenden Fahrzeugs
oder eines anderen Objekts zu verwenden, d. h. Teile, welche in
einem aufgenommenen Bild aufscheinen und sich in einer ausreichenden
Höhe über der Fahrbahnoberfläche befinden.
-
Andere Ausführungsformen
-
Es
sei weiterhin festzuhalten, dass die vorliegende Erfindung nicht
auf die obige Ausführungsform beschränkt ist,
sondern dass eine Vielzahl von anderen Ausführungsformen
gleichermaßen möglich ist.
-
Beispielsweise
werden bei obiger Ausführungsform Werte des präzisen
Abstands D und der Höhe über Grund-Differenz Hr
für ein vorausfahrendes Fahrzeug basierend auf einer Fahrzeug/Fahrzeug-Information
bestimmt, welche von diesem Fahrzeug erhalten wird. Es wäre
jedoch gleichermaßen möglich, die erfindungsgemäße
Vorrichtung so auszulegen, dass der präzise Abstand D zu
einem festen Hindernis (und falls nötig die Höhe über
Grund-Differenz Hr bezüglich dem festen Hindernis) basierend auf
einer Straße/Fahrzeug-Information zum Bestimmen (d. h.
Lage, tatsächlichen Wert einer Größenabmessung,
Höhe über Grund etc. des festen Hindernisses zu
spezifizieren), wobei die Straße/Fahrzeug-Information von
einer straßenseitigen Vorrichtung übertragen oder
gesendet wird.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - JP 2008-069956 [0001]
- - JP 8-167092 [0004]
- - JP 2007-34477 [0004]