DE4332612A1

DE4332612A1 - Außenansichts-Überwachungsverfahren für Kraftfahrzeuge

Info

Publication number: DE4332612A1
Application number: DE4332612A
Authority: DE
Inventors: Masato Nakajima; Takahiro Fujishiro; Norio Kitamura; Kazuyuki Sasaki; Takahiro Oikawa; Kouji Ishii
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1992-09-25
Filing date: 1993-09-24
Publication date: 1994-04-07
Anticipated expiration: 2013-09-25
Also published as: DE4332612C2; US5521633A

Description

Die Erfindung betrifft ein Überwachungsverfahren für Beobachtungen in Vorder-, Seiten- oder Rückrichtung eines Kraftfahrzeuges, wobei das Verfahren einen Fahrer alarmieren kann, unter Verwendung von Bildern, die von einer Videokamera aufgenommen werden, die auf dem Vorderteil, Seitenteil oder Rückteil eines Kraftfahrzeugs, wie beispielsweise eines Autos, angebracht ist, und ein Kraftfahrzeug oder ein Hindernis vor dem eigenen Fahrzeug des Fahrers während einer Fahrt ermittelt.

Ein konventionelles Verfahren dieser Art ist in der Veröffentlichung der japanischen ungeprüften Patentanmeldung Nr. 241855/1990 beschrieben. Das in dieser Veröffentlichung beschriebene Verfahren umfaßt folgende Schritte: Aufnahme einer Beobachtung in Vorderrichtung von dem sich bewegenden, eigenen Kraftfahrzeug des Fahrers; Erkennen einer Bewegung eines einzigen Punktes in der aufgenommenen Vorderansicht als optischer Fluß zu jedem vorbestimmten Zeitpunkt; Sammeln von Information, also der Position eines voraus fahrenden Kraftfahrzeugs in Bezug auf das eigene Kraftfahrzeug des Fahrers und die Relativgeschwindigkeit, auf der Grundlage des optischen Flusses, und auf der Grundlage eines Abstandsensors zum Messen der Entfernung zum vorausfahrenden Kraftfahrzeug; und Warnen des Fahrers bezüglich einer Gefahr, wenn das Vorhandensein einer Gefahr festgestellt wird.

Zur Berechnung des optischen Flusses wurde bislang ein Verfahren eingesetzt, welches als Anpassungsverfahren bezeichnet wird. Das Anpassungsverfahren stellt einen korrespondierenden Punkt in zwei Bildern fest. Das Anpassungsverfahren umfaßt folgende Schritte: Einstellen eines Fensters W1 für einen Zielbildpunkt (Target-Pixel) P in einem Bild zu einem Zeitpunkt t, wie in Fig. 10(a) gezeigt; Berechnen eines Korrelationswertes, während das Fenster über den gesamten Teil des Bildes oder einen Nachbarbereich bewegt wird; und Auffinden eines korrespondierenden Punktes in einem Fenster W2, definiert zum Zeitpunkt, an welchem der Korrelationswert ein Maximum annimmt, also eines Pixels Q gemäß Fig. 10(b). Ein Pfeil PQ bezeichnet einen optischen Fluß. Zur Berechnung des voran stehend erwähnten Korrelationswertes wird die nachstehende Gleichung verwendet.

Σ(W1_(x,y)×W2_(x,y)/(ΣW1² _(x,y)×ΣW2² _(x,y)1/2 (1)

hierbei sind W1(x,y), W2(x,y) die Ausgangswerte der Koordinaten (x, y) innerhalb der Fenster W1, W2.

Zur Beurteilung einer Gefahr erfordert das konventionelle Verfahren allerdings einen Abstandssensor zum Messen der Entfernung zu einem vorausfahrenden Kraftfahrzeug, um die Position des vorausfahrenden Kraftfahrzeugs in Bezug auf das eigene Kraftfahrzeug des Fahrers festzustellen, zusätzlich zur Videokamera zur Aufnahme des Bildes in Vorwärtsrichtung.

Zur Berechnung des optischen Flusses muß der Vorgang der Ermittlung des korrespondierenden Punktes in einem Bild durchgeführt werden. Wie voranstehend erläutert, umfaßt ein derartiger Vorgang die Ermittlung sämtlicher Bildpunkte (Pixel) in dem gesamten Teil oder einem Nachbarbereich des Bildes in Bezug auf einen einzigen Bildpunkt innerhalb des Bildes, um einen einzigen, korrespondierenden Punkt aufzufinden. Zur Erfassung des korrespondierenden Punktes über den gesamten Teil des Bildes muß dieser Vorgang für sämtliche Bildpunkte durchgeführt werden. Zusätzlich ist die Durchführung einer großen Anzahl von Berechnungen erforderlich, um Korrelationswerte zu finden, die als Suchindizes verwendet werden sollen.

Daher führt der große Umfang der Berechnungen dazu, daß eine Bearbeitung in Echtzeit unmöglich ist. Zur Durchführung einer Bearbeitung in Echtzeit ist ein Hochgeschwindigkeitsprozessor erforderlich, was die Hardwarekosten erhöht. Es ist nicht einfach, die Quelle eines optischen Flusses zu unterscheiden; also ob der optische Fluß von dem voraus fahrenden Kraftfahrzeug herrührt oder von Szenen außerhalb der Straße, oder von Zeichen, Symbolen oder weißen Linien auf der Straßenoberfläche, oder dergleichen.

Die Erfindung wurde unter Berücksichtigung der voranstehenden Umstände entwickelt. Daher besteht ein Vorteil der Erfindung in der Bereitstellung eines Überwachungsverfahrens für Beobachtungen in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung für ein Kraftfahrzeug, welches automatisch die Gefahrenrate bezüglich eines voraus fahrenden Kraftfahrzeugs oder anderer Hindernisse in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung beurteilen kann, während Bilder in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung verwendet werden, die von einer Videokamera überwacht werden, die am Vorderteil, Seitenteil oder Rückteil des Kraftfahrzeugs angebracht ist, ohne die Entfernung zwischen dem voraus fahrenden Kraftfahrzeug und dem eigentlichen Kraftfahrzeug des Fahrers zu messen.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines Überwachungsverfahrens für Beobachtungen in Vorderrichtung, Seitenrichtung oder Rückrichtung für ein Kraftfahrzeug, welches schnell eine Bewegung desselben Punktes in Vorderrichtung, Seitenrichtung oder Rückrichtung bei einer Bildaufnahme durch die Videokamera für jeden vorbestimmten Zeitpunkt als optischen Fluß identifizieren kann.

Zur Erzielung der voranstehenden Vorteile wird gemäß einer ersten Zielrichtung der Erfindung ein Überwachungsverfahren für ein Kraftfahrzeug mit Beobachtungen in Vorderrichtung, Seitenrichtung oder Rückrichtung zur Verfügung gestellt, welches sich durch folgende Schritte auszeichnet: Aufnehmen einer Beobachtung in Vorderrichtung, Seitenrichtung oder Rückrichtung von einem sich bewegenden, eigenen Kraftfahrzeug des Fahrers; Ermittlung einer Bewegung eines einzigen Punktes in zwei Bildern als ein optischer Fluß, wobei das eine Bild dieser beiden Bilder zu einer vorherigen Zeit und das andere Bild dieser beiden Bilder bei einem nachfolgenden Zeitpunkt aufgenommen wird; und Überwachen einer Korrelation des eigenen Kraftfahrzeugs des Fahrers bezüglich einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf einer Straße. Bei einem derartigen Überwachungsverfahren für Beobachtungen in Vorderrichtung, Seitenrichtung oder Rückrichtung wird eine Gefahrenrate abhängig von der Größe und dem Ort eines Vektors eines optischen Flusses beurteilt, der von einem Punkt auf dem vorausfahrenden Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird.

Gemäß einer zweiten Zielrichtung der Erfindung wird ein Überwachungsverfahren für Beobachtungen in Vorderrichtung, Seitenrichtung oder Rückrichtung eines Kraftfahrzeugs zur Verfügung gestellt, welches sich weiterhin durch folgende Schritte auszeichnet: Einstellen eines langen und engen Fensters in demjenigen Bild der beiden Bilder, welches an dem vorherigen Zeitpunkt aufgenommen wurde, wobei sich das lange und enge Fenster in einer Radialrichtung relativ zu einem einzelnen Zielpunkt von einem Punkt im Unendlichen entsprechend einem einzigen Punkt erstreckt, welcher eine Vorwärtsrichtung des sich bewegenden, eigenen Kraftfahrzeugs des Fahrers angibt; Berechnung einer Summe von Absolutwerten von Differenzen der Leuchtstärke (Luminanz) zwischen dem langen und engen Fenster des Bildes, welches an dem vorherigen Zeitpunkt aufgenommen wurde, und eines Bereiches des anderen Bildes, welches bei dem nachfolgenden Zeitpunkt aufgenommen wurde, wobei der Bereich des anderen Bildes das lange und enge Fenster überlappt, während das lange und enge Fenster in der Radialrichtung von dem Punkt im Unendlichen in dem anderen Bild bewegt wird, welches an dem nachfolgenden Zeitpunkt aufgenommen wird; und Definieren eines Pfeils als optischer Fluß für den einzelnen Zielpunkt, wobei der Pfeil einen Mittelpunkt eines Ortes eines Fensters, welches zu dem Zeitpunkt erhalten wurde, an welchem die Summe minimalisiert wurde, und einen Mittelpunkt eines Ortes des langen und engen Fensters verbindet, welches in dem Bild eingestellt wurde, das an dem vorherigen Zeitpunkt aufgenommen wurde.

Gemäß einer dritten Zielrichtung der Erfindung werden bei dem voranstehend erwähnten Überwachungsverfahren für Beobachtungen in Vorderrichtung, Seitenrichtung oder Rückrichtung eines Kraftfahrzeuges weiterhin folgende Schritte vorgenommen: Berechnung von Leuchtdichtedifferenzen der jeweiligen Punkte zwischen den beiden Bildern; und Berechnung optischer Flüsse nur solcher Punkte, für welche die Leuchtdichtedifferenzen eine vorbestimmte Schwelle überschreiten.

Gemäß einer vierten Zielrichtung der Erfindung werden bei dem voranstehend erwähnten Überwachungsverfahren für Beobachtungen in Vorderrichtung, Seitenrichtung oder Rückrichtung für ein Kraftfahrzeug weiterhin folgende Schritte vorgenommen: Entfernen optischer Flüsse, die von Szenen abgeleitet werden, die außerhalb der Straße liegen, von Straßenunterteilungslinien, von Zeichen, Symbolen oder dergleichen, die auf eine Straßenoberfläche aufgemalt sind, bei der Berechnung eines optischen Flusses.

Gemäß einer fünften Zielrichtung der Erfindung werden folgende Schritte durchgeführt: Voreinstellung von Bereichen, entsprechend Szenen einer Straße; und Unterdrücken der Bearbeitung der vorbestimmten Bereiche, wenn ein optischer Fluß berechnet wird.

Eine sechste Zielrichtung der Erfindung zeichnet sich durch folgende Schritte aus: Berechnung einer Höhe von einer Straßenunterteilungslinie, einem Zeichen, einem Symbol oder dergleichen auf einer Straßenoberfläche, von welcher ein optischer Fluß zu einer Videokamera abgeleitet wird, auf der Grundlage optischer Flußdaten unter Verwendung der Videokamera zur Aufnahme einer Beobachtung in Vorderrichtung, Seitenrichtung oder Rückrichtung von dem eigenen Fahrzeug des Fahrers, welches sich bewegt; und Entfernen eines optischen Flusses, für welchen die Höhe von der Straßenoberfläche mit der Höhe der Videokamera zusammenfällt.

Eine siebte Zielrichtung der Erfindung zeichnet sich durch folgende Schritte aus: Unterteilung einer vorbestimmten Fläche in mehrere Zonen; Gewichtung einer Summe von Längen optischer Flußvektoren, die in jeder Zone vorhanden sind, auf einer Zonenbasis; und Beurteilung einer Gefahrenrate auf der Grundlage einer Größe des gewichteten Wertes.

Bei einer achten Zielrichtung der Erfindung werden folgende Schritte vorgenommen: Einstellen einer vorbestimmten Schwelle für jede der zugehörigen Zonen; und Beurteilung, daß eine Zone gefährlich ist, in welcher die Summe der Längen der optischen Flußvektoren die vorbestimmte Schwelle überschreitet.

Eine neunte Zielrichtung der Erfindung zeichnet sich durch folgende Schritte aus: Beurteilung eines Pegels der Gefahrenrate auf der Grundlage von Pegeln jeder Schwelle, welche die Summe der Längen optischer Flußvektoren überschritten hat, durch Einstellung mehrerer Pegel für die Schwelle.

Eine zehnte Zielrichtung der Erfindung zeichnet sich durch folgende Schritte aus: Abgabe eines Alarms entsprechend der berechneten Größe der Gefahrenrate.

Berücksichtigt man die Tatsache, daß der optische Fluß desto größer wird, je kleiner die Entfernung zwischen dem eigenen Fahrzeug des Fahrers und dem voraus fahrenden Kraftfahrzeug oder Hindernis ist, oder je größer die Relativgeschwindigkeit ist, so ist das erfindungsgemäße Verfahren so ausgelegt, daß die Gefahr von der Größe eines optischen Flusses her beurteilt wird, der von einem Punkt auf einem voraus fahrenden Kraftfahrzeug oder einem Hindernis auf der Straße abgeleitet wird. Daher ist es nicht besonders erforderlich, ein Abstandsmeßgerät anzubringen, um die Entfernung zum vorausfahrenden Kraftfahrzeug zu messen.

Berücksichtigt man die Tatsache, daß optische Flüsse in Radialrichtungen von einem Punkt im Unendlichen ausgebildet werden, der einem einzigen Punkt entspricht, der eine Vorwärtsbewegungsrichtung des eigenen Kraftfahrzeuges eines Fahrers anzeigt, so ist das Verfahren gemäß der Erfindung so ausgelegt, daß es folgende Schritte umfaßt: Einstellen eines langen und engen Fensters in demjenigen der beiden Bilder, welches an dem vorherigen Zeitpunkt aufgenommen wurde, wobei sich das lange und enge Fenster in einer Radialrichtung in Bezug auf einen einzelnen Zielpunkt von einem Punkt im Unendlichen aus erstreckt, entsprechend einem einzigen Punkt, der eine Vorwärtsbewegungsrichtung des eigenen Kraftfahrzeugs des Fahrers anzeigt, welches sich bewegt; Berechnen einer Summe von Absolutwerten von Differenzen der Leuchtdichte (Leuchtstärke oder Helligkeit) zwischen dem langen und engen Fenster des Bildes, welches an dem vorherigen Zeitpunkt aufgenommen wurde, und einem Bereich des anderen Bildes, welches zu dem nachfolgenden Zeitpunkt aufgenommen wurde, wobei der Bereich des anderen Bildes das lange und enge Fenster überlappt, während das lange und enge Fenster in der Radialrichtung von dem Punkt im Unendlichen aus in dem anderen Bild bewegt wird, welches an dem nachfolgenden Zeitpunkt aufgenommen wird, und Definieren eines Pfeils als optischer Fluß für den einzelnen Zielpunkt, wobei der Pfeil einen Mittelpunkt eines Ortes eines Fensters, welches erhalten wird, wenn die Summe minimalisiert wird, mit einem Mittelpunkt eines Ortes des langen und engen Fensters verbindet, welches in dem Bild eingestellt wird, das an dem vorherigen Zeitpunkt aufgenommen wurde. Daher kann der Umfang der Berechnung verringert werden, was zur Ausführung einer Hochgeschwindigkeitsverarbeitung beiträgt.

Berücksichtigt man die Tatsache, daß es Orte gibt, deren Helligkeit oder Lichtstärke sich zeitlich nicht ändert, beispielsweise der Himmel und eine Straßenoberfläche, die in einem Bild enthalten sind, so ist das Verfahren gemäß der Erfindung so ausgelegt, daß es folgende Schritte umfaßt: Berechnen von Differenzen der Helligkeit oder Leuchtstärke der jeweiligen Punkte zwischen den beiden Bildern; und Berechnung optischer Flüsse nur von Punkten, für welche die Helligkeitsdifferenzen eine vorbestimmte Schwelle überschreiten. Daher wird die Anzahl der Punkte innerhalb des Bildes, für welche optische Flüsse berechnet werden müssen, wesentlich verringert, was dazu beiträgt, überflüssige Bearbeitungsvorgänge einzusparen, und auf diese Weise zur Einführung einer Hochgeschwindigkeitsverarbeitung beiträgt.

Bei der Berechnung eines optischen Flusses ist das erfindungsgemäße Verfahren so ausgelegt, daß es den Schritt der Voreinstellung von Bereichen entsprechend Szenen außerhalb einer Fahrspur umfaßt, in welcher sich das Fahrzeug bewegen soll, wobei die vorbestimmten Bereiche nicht bearbeitet werden. Daher läßt sich eine Hochgeschwindigkeitsverarbeitung ausführen.

Das Verfahren der Erfindung ist so ausgelegt, daß es folgende Schritte umfaßt: Berechnung einer Höhe von einer Spurenunterteilungslinie, einem Zeichen, einem Symbol oder dergleichen auf einer Straßenoberfläche, von welcher ein optischer Fluß zu einer Videokamera abgeleitet wird, auf der Grundlage optischer Flußdaten unter Verwendung der Videokamera zur Bildaufnahme einer Beobachtung in Vorderrichtung, Seitenrichtung oder Rückrichtung von dem sich bewegenden, eigenen Kraftfahrzeug des Fahrers; und Entfernen eines optischen Flusses, für welchen die Höhe von der Straßenoberfläche mit einer Höhe der Videokamera zusammenfällt. Daher kann der optische Fluß bearbeitet werden, der nur von dem vorausfahrenden Kraftfahrzeug oder Hindernis herrührt, wodurch nicht nur die Erfassung der Gefahrenrate auf der Grundlage des optischen Flusses ermöglicht wird, sondern auch ein Beitrag zu einer Hochgeschwindigkeitsverarbeitung geleistet wird.

Das erfindungsgemäße Verfahren ist so ausgelegt, daß es folgende Schritte umfaßt: Unterteilung eines vorbestimmten Bereiches in mehrere Zonen; Gewichtung einer Summe von Längen optischer Flußvektoren, die in jeder Zone vorhanden sind, auf zonaler Basis; und Beurteilung einer Gefahrenrate aus einer Größe des gewichteten Wertes. Daher läßt sich der spezifische Ort ermitteln, in welchem eine Gefahr vorliegt. Weiterhin ist das erfindungsgemäße Verfahren so ausgelegt, daß es folgende Schritte umfaßt: Einstellen einer vorbestimmten Schwelle für jede der zugehörigen Zonen; und Beurteilen, daß eine Zone gefährlich ist, in welcher die Summe der Längen der optischen Flußvektoren die vorbestimmte Schwelle überschreitet. Daher kann die Gefahrenrate auf einer Zonenbasis ermittelt werden. Weiterhin ist das erfindungsgemäße Verfahren so ausgelegt, daß es folgende Schritte umfaßt: Beurteilung eines Pegels der Gefahrenrate aus Pegeln jeder Schwelle, welche die Summe der Längen optischer Flußvektoren überschritten haben, durch Einstellung mehrerer Pegel für die Schwelle; und Abgabe eines Alarms entsprechend der berechneten Größe der Gefahrenrate.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:

Fig. 1 ein Blockschaltbild einer beispielhaften Vorrichtung zur Ausführung eines Verfahrens gemäß der Erfindung;

Fig. 2(a) bis 2(b) Diagramme mit einer Darstellung einer Beobachtung in Vorwärtsrichtung und von Bildern, die durch eine Videokamera aufgenommen werden sollen, und erhaltenen optischen Flüssen;

Fig. 3 ein Diagramm, welches erläutert, wie ein Hindernis oder dergleichen durch das erfindungsgemäße Verfahren erfaßt wird;

Fig. 4(a) und 4(b) Diagramme zur Erläuterung, wie ein optischer Fluß durch das erfindungsgemäße Verfahren berechnet wird;

Fig. 5 ein Diagramm mit einer Darstellung eines beispielhaften Bereiches, der so eingestellt ist, daß der optische Fluß durch das erfindungsgemäße Verfahren berechnet werden kann;

Fig. 6 ein Diagramm zur Erläuterung, wie der optische Fluß, der von einer Spurunterteilungslinie auf einer Straßenoberfläche abgeleitet ist, durch das erfindungsgemäße Verfahren eliminiert wird;

Fig. 7 ein Diagramm mit einer Darstellung beispielhafter Zonen, die so definiert sind, daß die Gefahrenrate durch das erfindungsgemäße Verfahren beurteilt werden kann;

Fig. 8 ein Diagramm mit einer Darstellung einer Reihe von Verarbeitungsschritten, die bei dem erfindungsgemäßen Verfahren vorgesehen sind;

Fig. 9(a) bis 9(d) Diagramme mit einer Darstellung einer Beobachtung in Vorderrichtung und von Bildern, die von einer Videokamera aufgenommen werden sollen, sowie von erhaltenen optischen Flüssen; und

Fig. 10(a) und 10(b) Diagramme zur Erläuterung von Problemen, die bei einem konventionellen Verfahren auftreten.

Fig. 1 zeigt den Aufbau einer Vorrichtung, in welcher das erfindungsgemäße Verfahren verwirklicht ist. In Fig. 1 bezeichnet die Bezugsziffer 1 eine Videokamera zur Aufnahme einer Beobachtung in Vorderrichtung, 2 bezeichnet eine Arithmetik- und Logikeinheit zur Durchführung einer Bildbearbeitung (die nachstehend beschrieben wird) durch Empfang eines Bildes, welches von der Videokamera 1 erhalten wird; 3 bezeichnet einen Tachometer zur Messung der Geschwindigkeit des eigenen Fahrzeugs des Fahrers; 4 bezeichnet eine Arithmetik- und Logikeinheit zur Ausführung einer Gefahrenbeurteilungsverarbeitung durch Empfang des Bildbearbeitungsergebnisses, welches von der Arithmetik- und Logikeinheit 2 erhalten wird, und der Geschwindigkeit des eigenen Kraftfahrzeugs des Fahrers, welche von dem Tachometer 3 erhalten wird; und 5 bezeichnet eine Alarmvorrichtung.

Die Fig. 2(a) bis (d) stellen Diagramme zur Erläuterung einer Änderung eines Bildes in Vorwärts-Beobachtungsrichtung dar, welches von der Videokamera 1 erhalten wird. Ein Teil (b) ist ein Bild, welches von der Videokamera 1 zu einem Zeitpunkt t in einer Situation aufgenommen wird, die im Teil (a) gezeigt ist, einschließlich des eigenen Kraftfahrzeugs des Fahrers; und Teil (c) ist ein Bild, welches zu einem Zeitpunkt t + Δt aufgenommen wird.

Es wird nunmehr angenommen, daß sich das eigene Kraftfahrzeug des Fahrers geradeaus auf einer flachen Straße bewegt. Wenn die Videokamera auf ein Straßenverkehrszeichen und ein Gebeuge fokussiert ist, wie in Fig. 2(a) gezeigt, dann werden im Verlauf der Zeit die in Fig. 2(b) und 2(c) gezeigten Bilder zu einem Zeitpunkt t und zu einem Zeitpunkt t + Δt aufgenommen. Wenn entsprechende Punkte in diesen beiden Bildern aufgesucht und verbunden werden, lassen sich Geschwindigkeitsvektoren erhalten, die in Fig. 2(d) gezeigt sind. Diese Vektoren stellen das dar, was als "optische Flüsse" bezeichnet wird.

Diese optischen Flüsse erscheinen radial von einem einzigen Punkt aus, der als ein Expansionsbrennpunkt (FOE) innerhalb eines Bildes bezeichnet wird. Der Begriff FOE bezeichnet auch einen Punkt im Unendlichen oder einen verschwindenden Punkt, und entspricht einem einzigen Punkt auf dem Bild, wobei der einzige Punkt die Vorwärtsbewegungsrichtung des eigenen Kraftfahrzeugs des Fahrers angibt, wenn sich das Kraftfahrzeug geradeaus bewegt. Daher befinden sich die optischen Flüsse, die erhalten werden, wenn das eigene Kraftfahrzeug des Fahrers fährt, von dem FOE aus in Radialrichtungen. Optische Flüsse, die von einem vorausfahrenden Kraftfahrzeug abgeleitet werden, umfassen Information wie beispielsweise die Entfernung des voraus fahrenden Kraftfahrzeuges zum eigenen Kraftfahrzeug des Fahrers, und die Relativgeschwindigkeit. Es wird angenommen, daß das Ausmaß der Gefahr desto größer wird, je länger die optischen Flüsse sind.

Einzelheiten des Verfahrens werden unter Bezug auf Fig. 3 beschrieben. Nimmt man an, daß bei der optischen Anordnung von Fig. 3 die Bezugsziffer 11 eine Linse der Videokamera bezeichnet; 12 eine Bildebene der Videokamera bezeichnet; f eine Entfernung von der Linse 11 zu der Bildebene 12 bezeichnet; P (X, Y, Z) eine willkürlichen Punkt auf einem voraus fahrenden Kraftfahrzeug oder auf einem Hindernis bezeichnet; und p einen Punkt auf der Bildebene 12 entsprechend dem Punkt P bezeichnet, dann gilt

x = f·X/Z (2)

und zwar aus dem Ähnlichkeitsverhältnis zwischen Dreiecken.

Wird Gleichung (2) umgeschrieben und nach der Zeit differenziert, so erhält man

X′ = (ΔX/δt·Z+x·Z′)/f (3).

Da eine Komponente u in der Richtung von x des optischen Flusses gegegeben ist durch

u = Δx/Δt (4)

ergibt sich unter Verwendung von Gleichung (4),

Z = (f·X′-X-Z′)/u (5)

da Z′ gleich einer Relativgeschwindigkeit zwischen dem voraus fahrenden Kraftfahrzeug oder dem Hindernis und dem eigenen Kraftfahrzeug des Fahrers ist, und zwar gleich -α (6) kann die voranstehende Gleichung (5) folgendermaßen umgeschrieben werden

Z = (f·X′+xα)/u (7).

Daher ergibt sich die Komponente u in der X-Richtung des optischen Flusses als

u = (f·X′+xα)/Z (8).

Das gleiche gilt für Y.

Aus der voranstehenden Gleichung (8) sieht man, daß die x-Komponente des optischen Flusses desto größer wird, je kleiner Z ist (also je geringer die Entfernung zum vorausfahrenden Kraftfahrzeug oder zum Hindernis ist), oder je größer α ist (also je größer die Relativgeschwindigkeit in Bezug auf das voraus fahrende Kraftfahrzeug ist). Das gleiche gilt für die Y-Richtung.

Daher wird der optische Fluß länger bei kleineren Entfernungen zum voraus fahrenden Kraftfahrzeug oder dergleichen, oder bei größeren Relativgeschwindigkeiten. Dies führt dazu, daß angenommen wird, daß die Gefahrenrate in Bezug auf das voraus fahrende Fahrzeug oder auf das Hindernis relativ desto größer wird, je länger der optische Fluß ist.

Die Erfindung ist so ausgelegt, daß optische Flüsse mit hoher Geschwindigkeit berechnet werden, während von der Tatsache Gebrauch gemacht wird, daß optische Flüsse in Radialrichtungen von dem FOE aus aufgefunden werden können. Nachstehend wird unter Bezug auf Fig. 4 ein Verfahren zur Berechnung eines optischen Flusses beschrieben.

Fig. 4(a) und (b) sind Diagramme zur Erläuterung eines beispielhaften Verfahrens zur Berechnung eines optischen Flusses mit hoher Geschwindigkeit. Zuerst wird ein langes und enges Fensters in einer Radialrichtung von dem FOE aus eingestellt, in Bezug auf einen einzigen Punkt, der als Ziel in einem Bild zu einem Zeitpunkt t genommen wird (Fig. 4(a)). Dann wird in einem Bild zum Zeitpunkt t + Δt die Summe von Absolutwerten der Differenz der Helligkeit zwischen dem Fenster zum Zeitpunkt t und dem Fenster zum Zeitpunkt t + Δt berechnet, während das Fenster zum Zeitpunkt t in der Radialrichtung bewegt wird, und zwar punktweise von dem FOE aus. Eine Fensterbewegungsentfernung zu dem Zeitpunkt, an welchem die Summe den Minimalwert annimmt, wird als ein Geschwindigkeitsvektor des Zielpunktes berechnet (Fig. 4(b)). Die Helligkeitsdifferenzen treten zwischen den jeweiligen Bildpunkten auf, welche das Fenster bilden, also beispielsweise zwischen den Bildpunkten, die in den Fig. 4(a) und (b) von Kreisen umschlossen sind. Die optischen Flüsse des gesamten Teils des Bildes können dadurch erhalten werden, daß die voranstehend geschilderte Bearbeitung für sämtliche Punkte auf dem Bild zum Zeitpunkt t wiederholt wird.

Ein konventionelles Verfahren verwendet gegenseitige Korrelationswerte beim Vergleich der entsprechenden Fenster. Im Gegensatz hierzu kann das erfindungsgemäße Verfahren, welches sich dadurch auszeichnet, daß die Summe der Absolutwerte der Differenzen der Helligkeit verwendet wird, den Umfang der Berechnung verringert, wodurch die Bearbeitungsgeschwindigkeit verbessert wird.

In Bezug auf den Geschwindigkeitsvektor zeichnet sich die erfindungsgemäße Bearbeitung dadurch aus, daß zuerst Differenzen der Helligkeit zwischen einem Bild zum Zeitpunkt t und einem Bild zum Zeitpunkt t + Δt berechnet werden, und dann nur Punkte bearbeitet werden, für welche derartige Differenzen eine vorbestimmte Schwelle überschreiten, anstatt die Geschwindigkeitsvektoren für sämtliche Punkte innerhalb des Bildes aufzufinden.

Im allgemeinen weisen Beobachtungen in Vorderrichtung, die von einer Videokamera aufgenommen werden, während ein Kraftfahrzeug fährt, in den meisten Fällen Orte auf, bei denen wenige Änderungen der Helligkeit in einem bestimmten Zeitraum auftreten, beispielsweise den Himmel und eine Straße. Es ist grundsätzlich unmöglich, an solchen Orten optische Flüsse festzustellen. Daher trägt das erfindungsgemäße Verfahren dazu bei, überflüssige Bearbeitungsvorgänge entbehrlich zu machen, und daher Zeit zu sparen, da sich das Verfahren nämlich dadurch auszeichnet, daß bei der Bearbeitung Helligkeitsdifferenzen zwischen einem Bild zum Zeitpunkt t und einem Bild zum Zeitpunkt t + Δt berücksichtigt werden.

Durch das voranstehend geschilderte Verfahren lassen sich schnell optische Flüsse erhalten. Die hier erhaltenen optischen Flüsse umfassen solche, die von anderen Objekten als Hindernisse abgeleitet werden, beispielsweise von Szenen außerhalb der Straße und von Spurunterteilungslinien auf der Straßenoberfläche. Daher ist es schwierig, das Vorhandensein eines Hindernisses in Vorwärtsrichtung zu bewerten, oder die Gefahrenrate, die durch ein derartiges Hindernis hervorgerufen wird, wenn derartige optische Flüsse verwendet werden. Daher ist es erforderlich, die optischen Flüsse zu entfernen, die von den Szenen außerhalb der Straße und der Spurunterteilungslinien auf der Straßenoberfläche abgeleitet werden. Nachstehend wird ein Verfahren zur Durchführung einer derartigen Bearbeitung beschrieben.

Fig. 5 zeigt ein beispielhaftes Verfahren zum Entfernen optischer Flüsse, die von Szenen außerhalb der Straße abgeleitet werden. In Fig. 5 bezeichnet der schraffierte Bereich einen Ort auf der Straße, und es wird angenommen, daß an anderen Orten als an diesem Ort keine Bearbeitung durchgeführt wird. Dies ist ein Verfahren zum Isolieren optischer Flüsse, die von Szenen außerhalb der Straße abgeleitet sind, seit dem Beginn der Bearbeitung. Ein derartiges Verfahren mit einer Begrenzung des Bereichs, welcher bearbeitet wird, dient dem Zweck der Verkürzung der Bearbeitungszeit.

Nachstehend wird unter Bezug auf Fig. 6 ein Verfahren zum Ausschalten von Markierungen auf der Straßenoberfläche beschrieben. Fig. 6 zeigt ein beispielhaftes Verfahren. Zuerst wird die optische Anordnung beschrieben. Fig. 6 ist so dargestellt, daß angenommen wird, daß die gesamte Straßenoberfläche einem Kraftfahrzeug entgegenkommt, welches mit einer Videokamera ausgerüstet ist, statt das ein derartiges Kraftfahrzeug geradeaus fährt. Die Bezugsziffer 11 bezeichnet eine Linse der Videokamera zur Abbildung einer Beobachtung in Vorwärtsrichtung; 12 bezeichnet eine Bildebene der Videokamera; und 13 und 14 bezeichnen Spurenunterteilungs-Linienabschnitte vor und nach einer Bewegung des Kraftfahrzeuges. Sowohl dreidimensionale Koordinaten mit dem Zentrum der Linse als Ursprung, als auch zweidimensionale Koordinaten mit dem voranstehend erwähnten FOE als Ursprung werden betrachtet.

Falls angenommen wird, daß ein Ort des Spurenunterteilungs-Linienabschnitts vor der Bewegung P (X, Y, Z + ΔZ) ist, und daß dessen Ort nach einer Bewegung um ΔZ in der Z-Richtung gleich groß Q (X, Y, Z) ist, dann ergibt sich aus dem Ähnlichkeitsverhältnis zwischen zwei Dreiecken die Höhe zwischen der Spurunterteilungslinie, von welcher ein optischer Fluß abgeleitet wird, und der Videokamera aus der nachstehende Gleichung (9).

Y = y²ΔZ/fΔy (9)

Unter Verwendung der auf diese Weise erhaltenen Höhendaten können optische Flüsse gelöscht werden, die von Makierungen oder dergleichen auf der Straßenoberfläche abgeleitet sind, deren Höhen gleich der Höhe der Videokamera sind.

Hierbei ist ΔZ die Entfernung, um welche sich das Kraftfahrzeug während eines Zeitintervalls Δt zwischen den beiden Bildern vorwärts bewegt hat. Diese Daten können berechnet werden, wenn die Geschwindigkeit des Kraftfahrzeugs bekannt ist. Durch die voranstehend beschriebene Verarbeitung können die optischen Flüsse entfernt werden, die von Objekten abgesehen von Hindernissen in Vorwärtsrichtung abgeleitet sind. Daher kann die Gefahrenrate, welche das Ausmaß der Gefahr eines Hindernisses in Vorwärtsrichtung angibt, aus den Positionen und Längen optischer Flüsse berechnet werden, die nach dem Entfernen verblieben sind.

Nachstehend wird ein Verfahren zur Berechnung der Gefahrenrate beschrieben. Fig. 7 zeigt ein beispielhaftes Verfahren. Zuerst wird der Aufbau geschildert. Die Bezugszeichen I bis IV stellen Zonen dar, die jeweils den nächsten Teil der Spur des Fahrers anzeigen, deren entfernten Teil, und den nahen Teil einer benachbarten Spur. Die Gefahrenrate wird beurteilt unter Verwendung des Wertes, der durch Gewichtigung auf Zonenbasis der Summe der Längen optischer Flüsse erhalten wird, die in jeder Zone vorhanden sind. Weiterhin wird für jede Zone eine vorbestimmte Schwelle festgelegt, so daß dann, wenn die Summe der Längen der in einer Zone vorhandenen optischen Flüsse die Schwelle überschreitet, eine derartige Zone als gefährlich beurteilt wird. Die Gefahr kann durch den Pegel bewertet werden, wenn mehrere Pegel von Schwellen eingestellt werden.

Im letzten Schritt kann der Fahrer auf das Vorhandensein einer Gefahr durch eine Alarmvorrichtung aufmerksam gemacht werden, entsprechend der Größe der ermittelten Gefahrenrate. Die Gefahrenrate kann auf einer Anzeigevorrichtung durch die Zone angezeigt werden. Abhängig von dem Gefahrenpegel kann der Alarmton geändert werden.

Fig. 8 faßt das Verfahren der voranstehend erwähnten Bildbearbeitung mit dem erfindungsgemäßen Verfahren zusammen. Im Schritt S1 wird ein Bild zum Zeitpunkt t gelesen, und im Schritt S2 wird ein Bild zum Zeitpunkt t + Δt gelesen. Dann wird im Schritt S3 ein FOE eingestellt, und im Schritt S4 ein Bearbeitungsbereich eingestellt. Daraufhin werden im Schritt S5 Zonen herausgezogen, in welchen die Helligkeits- oder Leuchtdichtedifferenzen zwischen den Bildern zum Zeitpunkt t und zum Zeitpunkt t + Δt eine vorbestimmte Schwelle überschritten haben. Im Schritt S6 werden in jeder herausgezogenen Zone optische Flüsse berechnet, und im Schritt S7 werden optische Flüsse eliminiert, die von Objekten abgesehen von Hindernis sen auf der Straße abgeleitet sind. Im Schritt S8 wird die Gefahrenrate unter Verwendung des auf der Grundlage der Zone gewichteten Wertes berechnet.

Bei der voranstehend geschilderten Ausführungsform der vorliegenden Erfindung wird ein Beispiel für das Überwachungsverfahren für Beobachtungen in Vorwärtsrichtung für ein Kraftfahrzeug beschrieben. Allerdings kann die vorliegende Erfindung auch für ein entsprechendes Überwachungsverfahren für Beobachtungen in Seitenrichtung oder Rückwärtsrichtung für Kraftfahrzeuge eingesetzt werden, wenn eine Videokamera zur Bildaufnahme einer Beobachtung in Seitenrichtung oder Rückwärtsrichtung vorgesehen wird. Fig. 9(a) bis (d) sind Diagramme zur Erläuterung einer Änderung eines Bildes in Rückwärtsbeobachtungsrichtung, welches von der Videokamera 1 erhalten wird. Ein Teil (b) ist ein Bild, welches von der Videokamera 1 zu einem Zeitpunkt t in einer Situation aufgenommen wird, die im Teil (a) gezeigt ist, und das eigene Kraftfahrzeug des Fahrers einschließt, und Teil (c) ist ein Bild, welches zu einem Zeitpunkt t + Δt aufgenommen wird.

Nunmehr wird angenommen, daß das eigene Kraftfahrzeug des Fahrers sich in Geradeausrichtung auf einer flachen Straße vorwärtsbewegt. Ist die Videokamera auf ein Verkehrsschild und ein Gebäude fokussiert, wie beispielsweise in Fig. 2(a) gezeigt ist, dann werden Bilder wie in Fig. 2(b) und (c) gezeigt zu einem Zeitpunkt t und einem Zeitpunkt t + Δt in Verlauf der Zeit aufgenommen. Wenn korrespondierende Punkte in diesen beiden Bildern aufgesucht und verbunden werden, können solche Geschwindigkeitsvektoren erhalten werden, wie sie in Fig. 2(d) gezeigt sind. Diese Vektoren stellen die sogenannten "optischen Flüsse" dar. Wie aus Fig. 9(d) hervorgeht, ergibt sich eine Richtung des Geschwindigkeitsvektors in Gegenrichtung, verglichen mit der in Fig. 2 gezeigten Ausführungsform, wenn ein hinterherfahrendes Fahrzeug sich nahe am eigenen Kraftfahrzeug des Fahrers befindet. Das übrige Verfahren zur Berechnung der Gefahrenrate verläuft ebenso wie bei der vorherigen Ausführungsform, so daß eine entsprechende Beschreibung unterbleiben kann.

Wie auf den voranstehenden Seiten beschrieben kann die Erfindung das Vorliegen eines Hindernisses in Vorwärtsrichtung, Seitenrichtung oder Rückwärtsrichtung oder die Gefahrenrate automatisch beurteilen, wodurch ein sicheres Fahren eines Kraftfahrzeuges sichergestellt wird.

Insbesondere zeichnet sich die Erfindung dadurch aus, daß die Gefahrenrate durch die Größe eines optischen Flusses beurteilt wird, der von einem Punkt auf einem voraus fahrenden Kraftfahrzeug oder auf einem Hindernis abgeleitet wird. Daher ist eine Videokamera zur Abbildung einer Beobachtung in Vorwärtsrichtung, Seitenrichtung oder Rückrichtung von einem sich bewegenden, eigenen Kraftfahrzeug des Fahrers vorgesehen, welches keine Abstandsmeßvorrichtung zum Messen der Entfernung zu einem vorausfahrenden Kraftfahrzeug benötigt. Dies führt dazu, daß eine kostengünstige Vorrichtung erhalten werden kann.

Weiterhin tragen die Merkmale, wie beispielsweise die Verringerung des Berechnungsaufwands, die Ausschaltung unnötiger Bearbeitung, und die Begrenzung der Bearbeitungszonen zur Erhöhung der Bearbeitungsgeschwindigkeit bei, wodurch eine Verarbeitung in Echtzeit ermöglicht wird.

Darüber hinaus lassen sich Vorteile in der Hinsicht erzielen, daß bei Kenntnis einer gefährlichen Zone ein geeigneter Alarm abgegeben werden kann, und die Gefahrenrate angegeben werden kann.

Die voran stehende Beschreibung bevorzugter Ausführungsformen der Erfindung erfolgte zum Zwecke der Erläuterung und Beschreibung. Hierdurch soll die Erfindung nicht auf die exakte, beschriebene Form erschöpft oder begrenzt werden, und es wird darauf hingewiesen, daß Änderungen und Variationen angesichts der voranstehend geschilderten Lehre möglich sind, oder sich bei der Praktizierung der Erfindung ergeben können. Die Ausführungsformen wurden zu dem Zweck ausgewählt oder beschrieben, um die Grundlagen der Erfindung zu erläutern, sowie deren praktische Umsetzbarkeit, damit ein Fachmann auf diesem Gebiet die Erfindung in unterschiedlichen Ausführungsformen und mit verschiedenen Modifikationen einsetzen kann, wie sich dies für einen bestimmten Einsatzzweck als erforderlich erwesen kann.

Claims

1. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug,
gekennzeichnet durch folgende Schritte:
Aufnahme einer Außenansicht vom eigenen Kraftfahrzeug des Fahrers aus, welches sich bewegt;
Erfassung einer Bewegung eines einzelnen Punktes in zwei Bildern als ein optischer Fluß, wobei eines der beiden Bilder zu einem früheren Zeitpunkt und das andere der beiden Bilder zu einem späteren Zeitpunkt aufgenommen wird; und
Überwachung einer Korrelation des eigenen Kraftfahrzeugs des Fahrers bezüglich zumindest entweder einem vorausfahrenden Kraftfahrzeug, einem hinterherfahrenden Kraftfahrzeug, oder einem Hindernis auf einer Straße,
wobei eine Gefahrenrate beurteilt wird in Abhängigkeit von einer Größe und einem Ort eines Vektors eines optischen Flusses, der von einem Punkt auf zumindest entweder dem vorausfahrenden Kraftfahrzeug, dem hinterherfahrende Kraftfahrzeug oder dem Hindernis auf der Straße abgeleitet wird.

2. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 1,
gekennzeichnet durch folgende Schritte:
Einstellen eines langen und engen Fensters in dem Bild unter den beiden Bildern, welches an dem früheren Zeitpunkt aufgenommen wird, wobei sich das lange und enge Fenster in einer Radialrichtung relativ zu einem einzelnen Zielpunkt von einem Punkt im Unendlichen entsprechend einem einzigen Punkt erstreckt, der eine Vorwärtsbewegungsrichtung des eigenen Kraftfahrzeugs des Fahrers anzeigt, welches sich bewegt;
Berechnung einer Summe von Absolutwerten von Differenzen der Helligkeit zwischen dem langen und engen Fenster des Bildes, welches an dem früheren Zeitpunkt aufgenommen wird, und eines Bereiches des anderen Bildes, welches an dem späteren Zeitpunkt aufgenommen wird, wobei der Bereich des anderen Bildes das lange und enge Fenster überlappt, während das lange und enge Fenster in der Radialrichtung von dem Punkt im Unendlichen in dem anderen Bild bewegt wird, welches an dem späteren Zeitpunkt aufgenommen wird; und
Festlegung eines Pfeils als ein optischer Fluß für den einzelnen Zielpunkt, wobei der Pfeil einen Mittelpunkt eines Ortes eines Fensters, welches erhalten wird, wenn die Summe minimalisiert wird, mit einem Mittelpunkt eines Ortes des langen und engen Fensters verbindet, welches in dem Bild eingestellt ist, das an dem früheren Zeitpunkt aufgenommen wird.

3. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 1,
gekennzeichnet durch folgende Schritte:
Berechnen von Helligkeitsdifferenzen der jeweiligen Punkte zwischen den beiden Bildern; und
Berechnung optischer Flüsse nur von Punkten, für welche die Helligkeitsdifferenzen eine vorbestimmte Schwelle überschreiten.

4. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 1,
gekennzeichnet durch folgenden Schritt:
Entferner optischer Flüsse, die von Szenen außerhalb der Straße abgeleitet sind, von Spurunterteilungslinien, von Zeichen, Symbolen oder dergleichen, die auf eine Straßenoberfläche aufgemalt sind, bei der Berechnung eines optischen Flusses.

5. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 1,
gekennzeichnet durch folgende Schritte:
Voreinstellung von Bereichen entsprechend Szenen außerhalb einer Spur, in welcher gefahren werden soll; und
Behandlung nur eines Bereiches abgesehen von den voreingestellten Bereichen bei der Berechnung eines optischen Flusses.

6. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 4,
gekennzeichnet durch folgende Schritte:
Berechnung einer Höhe gegenüber einer Spurunterteilungslinie, einem Zeichen, einem Symbol oder dergleichen auf einer Straßenoberfläche, von welcher ein optischer Fluß zu einer Videokamera abgeleitet wird, auf der Grundlage optischer Flußdaten unter Verwendung der Videokamera zur Bildaufnahme einer Außenbeobachtung von dem sich bewegenden, eigenen Kraftfahrzeugs des Fahrers; und
Entfernen eines optischen Flusses, für welchen die Höhe gegenüber der Straßenoberfläche mit der Höhe der Videokamera zusammenfällt.

7. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 1,
gekennzeichnet durch folgende Schritte:
Unterteilung eines vorbestimmten Bereiches in mehrere Zonen;
Gewichtung einer Summe von Längen optischer Flußvektoren, die in jeder Zone vorhanden sind, auf einer Zonen-Grundlage; und
Beurteilung einer Gefahrenrate aus einer Größe des gewichteten Wertes.

8. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 7,
gekennzeichnet durch folgende Schritte:
Einstellung einer vorbestimmten Schwelle für jede der entsprechenden Zonen; und
Beurteilung, daß eine Zone gefährlich ist, in welcher die Summe der Längen der optischen Flußvektoren die vorbestimmte Schwelle überschreitet.

9. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 7,
gekennzeichnet durch folgenden Schritt:
Beurteilung eines Pegels der Gefahrenrate aus Pegeln jeder Schwelle, welche die Summe der Längen optischer Flußvektoren überschritten haben, durch Einstellung mehrerer Pegel für die Schwelle.

10. Außenbeobachtungs-Überwachungsverfahren für ein Kraftfahrzeug nach Anspruch 9,
gekennzeichnet durch folgenden Schritt:
Abgabe eines Alarms entsprechend der berechneten Größe der Gefahrenrate.