DE4109159C2

DE4109159C2 - Verfahren und Vorrichtung zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs

Info

Publication number: DE4109159C2
Application number: DE4109159A
Authority: DE
Inventors: Tatsuji Irie
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-03-20
Filing date: 1991-03-20
Publication date: 1995-06-01
Anticipated expiration: 2011-03-21
Also published as: KR930004883B1; KR910017166A; US5257022A; DE4109159A1; JPH07119606B2; JPH03269314A

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs, um einen geeigneten Abstand zwischen den Fahrzeugen einhalten zu können.

Aus der JP 63-38085 B2 und der JP 63-46363 B2 sind Fahrzeugabstandsmeßvorrichtungen bekannt, die für diesen Zweck einsetzbar sind und die den in Fig. 4 gezeigten grundsätzlichen Aufbau besitzen. Die bekannten Vorrichtungen weisen ein erstes und ein zweites paralleles optisches System mit zwei konvexen Linsen 101 und 102 auf, die horizontal ausgerichtet in einem vorgegebenen Abstand L voneinander angeordnet sind. Jeweils einer von zwei getrennt vorgesehenen Bildsensoren 103 und 104 ist einem der optischen Systeme zugeordnet und im Brennpunkt der konvexen Linsen angeordnet, um Bildsignale zu erzeugen, die von den Bildsensoren einem Signalprozessor 120 zugeführt werden. Das Aufnehmen von Bildern, die zumindest jeweils eine Abbildung eines vorausfahrenden Fahrzeugs enthalten, erfolgt demnach von zwei unterschiedlichen Punkten an dem nachfolgenden Fahrzeug aus, an dem die Vorrichtung angebracht ist. Der Signalprozessor 120 verschiebt die Bildsignale und verlagert sie elektrisch, so daß der Abstand R zwischen den beiden Fahrzeugen auf der Grundlage der aufgenommenen Bilder mit Hilfe der folgenden Formel berechnet wird (Prinzip der Dreiecksmessung)

R=(f×L)/d (1)

Dabei ist d der Verschiebeabstand, um den die Bildsignale vom Signalprozessor 120 verschoben werden, um die beste Übereinstimmung zwischen den Bildern zu erzielen.

Aus der JP 60-33352 B2 ist eine weitere Vorrichtung bekannt, bei der ein Bildsensor verwendet wird, um ein vorausfahrendes Fahrzeug zu verfolgen. Der Benutzer muß unter Beobachtung eines Anzeigebildschirms einen Ausschnitt auf dem Anzeigebildschirm einstellen, der das zu verfolgende Fahrzeug einschließt. Dazu steht dem Benutzer eine Zeigevorrichtung, beispielsweise ein Steuerknüppel (joy stick), eine Steuerkugel (track ball) oder eine Mauszeigevorrichtung (mouse) zur Verfügung.

Aus der US 4 652 803 ist ein Führungssystem für einen mobilen Roboter bekannt, bei dem zur Fahrzeugsteuerung durch eine Fernsehkamera Bildfolgen der Umgebung, die verschiedene Objekte enthält, aufgenommen werden. In diesen Bildfolgen werden die verschiedenen Objekte erkannt, ausgebildet und zur Steuerung herangezogen.

Im Hinblick auf die Fahrsicherheit erscheint es unmöglich, die aus der JP 63-38085 B2 und der JP 63-46363 B2 bekannten Vorgehensweisen mit der aus der JP 60-3352 B2 bekannten Vorgehensweise zu kombinieren.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs zu schaffen, mit dem ohne Eingreifen des Fahrzeuglenkers eine zuverlässige Messung des Abstands zwischen den beiden Fahrzeugen auf der Grundlage einer optischen Abstandsmeßmethode durchgeführt werden kann.

Gelöst wird die oben beschriebene Aufgabe durch ein Verfahren mit den Schritten a) bis k) gemäß Patentanspruch 1. Vorteilhafte Ausgestaltungen des Verfahrens ergeben sich aus den Unteransprüchen 2 und 3. Eine Vorrichtung zur Durchführung des Verfahrens ist angegeben im Patentanspruch 4; vorteilhafte Ausgestaltungen der Vorrichtung ergeben sich aus den Unteransprüchen 4 bis 7.

Die Eigenschaften und Vorteile der vorliegenden Erfindung gehen aus der folgenden detaillierten Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung in Verbindung mit den beiliegenden Zeichnungen genauer hervor, in denen zeigt:

Fig. 1 ein Blockdiagramm einer Vorrichtung gemäß der vorliegenden Erfindung;

Fig. 2a) eine erläuternde Darstellung, die ein Referenzbild eines vorausfahrenden Fahrzeugs in einem Fahrzeugfolgefenster in einem Speicher 5 von Fig. 1 zeigt, das am Beginn der Fahrzeugverfolgung durch die Vorrichtung aus Fig. 1 zuerst gebildet wird;

Fig. 2b) eine erläuternde Darstellung, die einen Bildbereich in einem Speicher 6 von Fig. 1 zeigt, der mit dem Referenzbild aus Fig. 2a) zu vergleichen ist;

Fig. 2c) eine erläuternde Darstellung, die ein neu eingestelltes Fenster in dem Speicher 5 zeigt, basierend auf dem Abstand zu dem vorausfahrenden Fahrzeug, wie unmittelbar nach dem Start der Fahrzeugverfolgung gemessen;

Fig. 3a) eine erläuternde Darstellung, die ein Fahrzeugfolgefenster, das während der Fahrzeugverfolgung durch die Vorrichtung aus Fig. 1 nacheinander eingestellt wird;

Fig. 3b) eine erläuternde Darstellung, die die Justierung des Fensters während der Fahrzeugverfolgung durch die Vorrichtung aus Fig. 1 darstellt; und

Fig. 4 ein schematisches Blockdiagramm des generellen Aufbaus einer bekannten Abstandsmeßvorrichtung.

Fig. 1 zeigt den schematischen Aufbau einer Vorrichtung zum Verfolgen eines vorausfahrenden Fahrzeuges gemäß der vorliegenden Erfindung. Die dargestellte Vorrichtung umfaßt erste und zweite parallele optische Systeme mit zwei konvexen Linsen 1, 2, die in einem horizontal ausgerichteten Verhältnis zueinander in einem vorgegebenen Abstand L voneinander entfernt angeordnet sind. Zwei getrennte erste und zweite (oder linke und rechte) Bildsensoren 3, 4 sind horizontal in den Brennpunkten der Linsen 1, 2 in einem Abstand f von den Orten der entsprechenden Linsen 1, 2 angeordnet zur Erzeugung entsprechender Bildsignale jeweils in Form eines Analogsignals, das einem 2-dimensionalen Bildabbild entspricht, zu einem Paar von entsprechenden ersten und zweiten Speichern 5, 6. Ein dritter Speicher 7 speichert Bilder vom ersten Speicher 5, die von einem Mikrocomputer 8 verarbeitet werden und dorthin über einen Bus übertragen werden. Ein Bildprozessor 9 ist mit den ersten bis dritten Speichern 5 bis 7, dem Mikrocomputer 8 und einer Anzeige 10 verbunden, zur Durchführung einer Bildverarbeitung der Daten, die in den Speichern 5 bis 7 abgespeichert sind, unter Steuerung des Mikrocomputers 8. Die Anzeige 10 ist mit dem Bildprozessor 9 und dem Mikrocomputer 8 zur Anzeige eines Bildes eines vorausfahrenden Fahrzeugs 13 verbunden, das durch den Bildprozessor 9 unter der Steuerung des Mikrocomputers 8 gebildet wird. Die Vorrichtung umfaßt ferner eine Bildfolgefenster- Bildungseinrichtung 11, die mit dem Mikrocomputer 8 verbunden ist und einen Bildfolgeschalter 12, der von dem Fahrer des Fahrzeugs betätigt wird, zum Ein- und Ausschalten der Bildfolgefenster-Bildungseinrichtung 11.

Der Betrieb der zuvor beschriebenen Vorrichtung wird nun unter besonderem Bezug auf die Fig. 2a) bis 2c) und die Fig. 3a) und 3b) beschrieben. Zuerst wird ein Bild eines vorausfahrenden Fahrzeugs 13 durch die Bildsensoren 3, 4 aufgenommen und in die Speicher 5, 6 eingegeben. Das derart eingegebene Bild des vorausfahrenden Fahrzeugs 13 wird dann von den Speichern 6, 7 zu der Anzeige 10 übertragen, wo es auf einem Bildschirm einer Kathodenstrahlröhre angezeigt wird.

Wenn der Fahrer den Bildfolgeschalter 12 einschaltet wird die Bildfolgefenster-Bildungseinrichtung 11 betätigt, um zuerst ein Bildfolgefenster mit einer vorgegebenen Größe oder Abmessung einzustellen, so daß Bilder von Objekten innerhalb des Fensters durch den Mikrocomputer 8 ausgelesen und auf dem Bildschirm der Anzeige 10 angezeigt werden. Gleichzeitig damit bestimmt der Mikrocomputer 10 entsprechende Adressen der Bilder von Gegenständen in den Speichern 5, 6.

Das Verfahren zum Verfolgen eines vorausfahrenden Fahrzeugs und zum Messen des Abstandes dorthin während der Einstellung eines Bildfolgefensters im Zeitpunkt t₀ wird im folgenden im einzelnen unter besonderer Bezugnahme auf die Fig. 2a) bis 2c) beschrieben. In diesen Figuren sind die vertikale Richtung und die horizontale Richtung des vorausfahrenden Fahrzeugs gekennzeichnet durch Bezugszeichen q bzw. p.

Wenn der Bildfolgeschalter 12 durch den Fahrer eingeschaltet wird, stellt die Bildfolgefenster- Bildungseinrichtung 11 ein Fenster 14, wie in Fig. 2a) dargestellt ist, ein, das einen rechteckigen Bereich aufweist, der eine vertikale Länge von s₀ und eine horizontale Länge von t₀ (das durch Schraffur gekennzeichnet ist und auf das im folgenden Bezug genommen wird als Abmessungen von s₀×t₀) mit dem Punkt (p₀, q₀) als Referenzpunkt oder Ursprung der Koordinaten aufweist. Dann bestimmt der Mikrocomputer korrespondierende Adressen des Fensters 14 im Speicher 5.

Darauf folgend liest der Mikrocomputer 8, wie in Fig. 2b) dargestellt, nacheinander aus einem Bereich 15 im Speicher 6, der sich vom Punkt (p₀) bis zum Punkt (p₀+s₀) erstreckt, einen Bildbereich aus, der den Abmessungen von s₀×t₀ des Fensters 14 entspricht, zum Vergleich mit dem Fenster 14 im Speicher 5. Das heißt, unter der Annahme, daß linke und rechte Bildsignale vom ersten und zweiten Speicher 5, 6 durch S_{i, j} und T_{i, j} repräsentiert werden, daß eine Gesamtsumme A_k der absoluten Werte der Differenzen zwischen den linken und rechten Bildsignalen (S_{i, j}-T_{i, j}) berechnet wird durch den Bildprozessor 9 wie folgt:

Als Ergebnis dieser Berechnung wird der Betrag der Verschiebung a aus Formel (1) gleich der Differenz zwischen k und p₀, wobei k einen Wert annimmt, der den Absolutwert A_k minimiert. Unter Verwendung der derart berechneten Größe der Verschiebung a berechnet der Mikrocomputer 8 den Abstand R zum vorausfahrenden Fahrzeug 13.

Basierend auf dem Abstand R bestimmt der Mikrocomputer 8 danach die Größe oder Abmessungen des Fensters 14. Es sei angenommen, daß der Brennpunktabstand f der ersten und zweiten Linse 1, 2 konstant ist und daß ein Fenster 14 mit den Abmessungen s₀×t₀ für einen Zwischenfahrzeugsabstand (d. h. den Abstand zu dem vorausfahrenden Fahrzeug 13) R₀ eingestellt ist. In diesem Fall wird, falls ein neuer momentan gemessener Abstand zwischen den Fahrzeugen gleich R ist, die Größe des Fensters 14 dann auf die Abmessungen von (s₀× R₀/R)×(t₀×R/₀R) zurückgesetzt. Diese Berechnung wird durch den Mikrocomputer 8 durchgeführt.

Für den Fall der Messung des Abstandes zu einem Automobil wird danach ein Objekt, das in Bezug auf seine Längs-Mittellinie in Bezug auf andere Objekte, die von den Bildsensoren 3, 4 abgebildet werden, am meisten symmetrisch ist, angenommen, daß es sich um das Bild eines vorausfahrenden Fahrzeugs handelt, da derartige Fahrzeuge im allgemeinen symmetrisch in bezug auf ihre Längs-Mittellinie sind, wenn sie von hinten gesehen werden. Demnach wird das am meisten symmetrische Bild gesucht und aus den vielen Bildern, die in dem Speicher 5 abgespeichert sind zur Bestimmung einer geeigneten Einstellung der Fensterstellung gefunden. Das heißt, unter der Annahme, daß die Größe des auf die zuvor beschriebenen Art bestimmten Fensters s×t ist, wird der Referenzpunkt oder der Ursprung der Koordinaten B_kl für das Fenster durch die folgende Formel gegeben:

wobei r=1+t/2 ist. Durch aufeinander folgendes Verändern von k und l in Gleichung (3) berechnet der Bildprozessor 9 B_kl. Als Ergebnis dieser Berechnungen ergeben die Werte von k und l, die B_kl minimieren, das symmetrischste Bild. Demnach wird unter der Annahme, daß die Werte k und l, die ein Minimum für B_kl ergeben, p bzw. q sind, wie in Fig. 2c) dargestellt, ein neues Fenster 14a in dem Speicher 5 mit dem Punkt (p, q) als Referenzpunkt eingestellt.

Darauf folgend werden Bildsignale vom Speicher 5 zum Speicher 7 übertragen und dann nach Ablauf einer bestimmten vorgegebenen Zeit nach der Signalübertragung (ein Zeitpunkt t₁ kurz nach dem Zeitpunkt t₀) werden Bildsignale von den Bildsensoren 1, 2 in die Speicher 5, 6 aufgenommen. Die Bilder von Objekten, die derart in den Speicher 5 aufgenommen wurden, werden mit dem Bild des vorausfahrenden Fahrzeugs 13 innerhalb des Fensters 14a verglichen, das zum Zeitpunkt t₀ eingestellt und im Speicher 7 abgespeichert wurde, um so das ähnlichste zu finden. Auf diese Art kann die Position des vorausfahrenden Fahrzeugs innerhalb der Bilder in dem Speicher 5 zum Zeitpunkt t₁ bestimmt werden. Das bedeutet, daß unter der Annahme, daß die neuen Bildsignale im Speicher 5 zum Zeitpunkt t₁ S_{i, j} sind, das zuvor eingestellte Fenster 14a einen Referenzpunkt (p, q) und die Größe von s×t besitzt, so daß ein neuer Referenzpunkt C_kl durch die folgende Formel erzielt wird:

Bei Gleichung (4) berechnet der Bildprozessor 9 C_kl durch aufeinander folgendes Verändern von k und l. Die Werte von k und l, die C_kl minimieren, geben die Größe der Fensterverschiebung an. Demnach wird zum Zeitpunkt t₁ ein Fenster 14a vorläufig eingestellt, das einen Referenzpunkt (p+k), (q+l) und die Größe von s×t besitzt, wie in Fig. 3a) dargestellt ist.

Ferner wird das Fenster 14a nacheinander Stück für Stück um diese ursprünglich eingestellte Position in horizontaler und vertikaler Richtung bewegt, so daß die Symmetrie des Bildes darin in Bezug auf dessen Longitudinale (vertikal in dem dargestellten Beispiel) Mittellinie in jeder der derart bewegten Fensterpositionen auf die oben beschriebene Art, basierend auf Gleichung (3) bestimmt wird, um so den geeignetsten Bezugspunkt (p₁, q₁) zu finden. Auf diese Art wird die Einstellung des Fensters 14a geeignet justiert und Punkt (p₁, q₁) zum neuen Bezugspunkt gemacht. Als Ergebnis kann ein genaues Verfolgen des vorausfahrenden Fahrzeugs 13 durchgeführt werden.

Nachdem das neue Fenster 14a auf diese Art eingestellt wurde, wird der Abstand R zum vorausfahrenden Fahrzeug 13 erneut gemessen unter Verwendung des Abstandsmeßverfahrens, das durch Gleichung (2) ausgedrückt wird.

Obwohl im obigen Ausführungsbeispiel zwei optische Systeme in horizontal symmetrischem Verhältnis angeordnet sind, ist nicht beabsichtigt, die optischen Systeme auf eine derartige Anordnung zu beschränken. Tatsächlich können sie statt dessen in einem vertikal symmetrischen Verhältnis angeordnet werden, in einem schräg verlaufend symmetrischem Verhältnis oder auf andere Art, solange sie im wesentlichen dieselben Ergebnisse wie oben erwähnt, bereitstellen können.

Ferner kann, obwohl in dem obigen Ausführungsbeispiel zwei getrennte Bildsensoren 3, 4 wie in Fig. 1 dargestellt, eingesetzt werden, kann ein einzelner Bildsensor verwendet werden, der zwei Bilderfassungsbereiche oder einen einzelnen Bilderfassungsbereich aufweist, der in zwei Teile geteilt ist.

Wie zuvor beschrieben, wird gemäß der vorliegenden Erfindung ein Fenster innerhalb von Abbildungen von Objekten eingestellt, die durch eine Bilderfassungseinrichtung erfaßt werden, und die Bilder von Objekten innerhalb des Fensters zu einem bestimmten Zeitpunkt werden fortlaufend mit solchen zu einem späteren Zeitpunkt verglichen, um so gegenseitig entsprechende Bildabbildungen zu finden. Dann wird die Symmetrie von jedem der gefundenen Bilder gesucht, so daß eines, das die beste Symmetrie besitzt, bestimmt wird, um ein vorausfahrendes Fahrzeug zu sein. Basierend auf dieser Bestimmung wird ein neues Fenster für die Verfolgung des vorausfahrenden Fahrzeugs eingestellt. Als Ergebnis ist es möglich, dem vorausfahrenden Fahrzeug auf automatische Art zu folgen, während der Abstand dazu gemessen wird.

Zusätzlich wird beim Start der Fahrzeugverfolgung der Abstand zu einem vorausfahrenden Fahrzeug, das sich bereits zuvor vor der Bilderfassungseinrichtung und somit an einer Stelle in der Nähe des Mittelpunktes eines Folgefensters befindet, provisorisch gemessen. Ein Bildfolgefenster wird zuerst eingestellt, das eine Größe besitzt, die auf der Grundlage des derart gemessenen vorläufigen Abstandes bestinmt wird, um darauf folgend ein symmetrisches Bild unter den anderen verschiedenen Bildern von Objekten zu finden, von denen angenommen wird, daß sie dem vorausfahrenden Fahrzeug entsprechen. Auf diese Art wird das vorausfahrende Fahrzeug automatisch gefunden, so daß der Fahrer nur einen Bildfolgeschalter zu betätigen hat zur Einstellung eines geeigneten Fahrzeugfolgefensters. Das reduziert wesentlich die Möglichkeit, daß die Einstellung eines geeigneten Folgefensters durch den Fahrer das sichere Fahren beeinträchtigen könnte.

Claims

1. Verfahren zum Verfolgen eines einem Fahrzeug vorausfahrenden Fahrzeugs mit den folgenden Schritten:

a) Aufnehmen von Bildern, die zumindest jeweils eine Abbildung des vorausfahrenden Fahrzeugs (13) enthalten, von zwei unterschiedlichen Punkten an dem nachfolgenden Fahrzeug aus;
b) Messen des Abstandes (R) zwischen den beiden Fahrzeugen auf der Grundlage der aufgenommenen Bilder;
c) Bestimmung der Größe (s×t) eines Ausschnitts (14) in zumindest einem der aufgenommenen Bilder basierend auf dem gemessenen Abstand (R) nach Einschaltung eines Bildfolgeschalters (12) durch den Fahrer;
d) Finden der Abbildung des vorausfahrenden Fahrzeugs (13) unter den verschiedenen Abbildungen von Objekten in dem zumindest einen aufgenommenen Bild;
e) Positionieren (p, q) des Ausschnitts (14) des zumindest einen aufgenommenen Bildes derart, daß der Ausschnitt die gefundene Abbildung des vorausfahrenden Fahrzeugs (13) enthält;
f) zeitweises Abspeichern des derart positionierten Ausschnitts (14a; s×t; p, q);
g) erneutes Aufnehmen von Bildern, die zumindest jeweils eine Abbildung des vorausfahrenden Fahrzeugs (13) enthalten, von den zwei unterschiedlichen Punkten an dem nachfolgenden Fahrzeug aus;
h) Erfassen einer Abbildung in einem der erneut aufgenommenen Bilder, die der Abbildung des vorausfahrenden Fahrzeugs (13) in dem zeitweise abgespeicherten Ausschnitt (14a) am meisten entspricht;
i) Positionieren des Ausschnitts (14) in einem der erneut aufgenommenen Bilder derart, daß der Ausschnitt die erfaßte Abbildung enthält;
j) Positionieren des Ausschnitts (14) durch schrittweises Verschieben derart, daß die beste Symmetrie des Bildes innerhalb des Ausschnitts erzielt wird; und
k) Wiederholen der Schritte b) bis k).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß Schritt d) das Finden einer Abbildung eines Objektes umfaßt, das in bezug auf eine vertikale Mittellinie am symmetrischsten ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß Schritt b) umfaßt:

b1) Vergleichen der beiden Abbildungen des vorausfahrenden Fahrzeugs, die an den beiden unterschiedlichen Punkten aufgenommen wurden, miteinander, um so einen Verschiebeabstand zu erhalten, um den eines der Bilder zum anderen hin bewegt wird, um vollständig diesem überlagert zu werden; und
b2) Berechnen des Abstandes zum vorausfahrenen Fahrzeug basierend auf dem derart erhaltenen Verschiebeabstand.

4. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 3 mit

- zwei optischen Systemen (1, 2), die in einem vorgegebenen Abstand zueinander angeordnet sind,
- zumindest einem Bildsensor (3, 4), der zur Erfassung der Bilder den optischen Systemen zugeordnet ist,
- zwei Bildspeichern (5, 6), in denen die von dem Bildsensor abgegebenen Bildsignale in Form von Bilddaten der optischen Systeme abgespeichert werden,
- einem Bildprozessor (9) zur Verarbeitung der in den Bildspeichern abgespeicherten Bilddaten, und
- einem Mikroprozessor (8), der über einen Bus mit den Bildspeichern und dem Bildprozessor verbunden ist, zur Verarbeitung der Bilddaten.

5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, daß zwei getrennte Bildsensoren (3, 4) vorgesehen sind, die jeweils einem der optischen Systeme (1, 2) zugeordnet sind.

6. Vorrichtung nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß ein dritter Bildspeicher (7) vorgesehen ist, in dem die vom Mikroprozessor verarbeiteten Bilddaten des einen Bildspeichers (5) abgespeichert werden.

7. Vorrichtung nach einem der Ansprüche 4, 5 oder 6, dadurch gekennzeichnet, daß eine Anzeige (10) vorgesehen ist, der die Bilddaten von dem Mikroprozessor (8) zugeführt werden.