DE4444593A1 - Entfernungsmeßvorrichtung - Google Patents

Description

Die Erfindung betrifft eine Vorrichtung zum Messen einer Entfernung zu einem Gegenstand durch Verarbeiten eines von einer Stereokamera aufgenommenen Bilds.

Eine wohlbekannte Art von Entfernungsmeßvorrichtung mißt eine Entfernung zu einem Gegenstand durch Aufteilen einer Bildebene in kleine Quadrate und Ermitteln der Parallaxe jedes der Quadrate in Stereovision, wie das beispielsweise in "Measurement of Distance between Cars in Stereovision Using Matching for Each Region", Institute of Television Engineering Technical Report, 24. Juni 1988, angegeben ist.

Außerdem zeigt die JP-OS 2-232 512 eine Vorrichtung, die ein einziges breites Fenster vorgibt und sukzessive die Einstel­ lung des Fensters aktualisiert, um einen Gegenstand in dem Fenster zu verfolgen.

Fig. 6 erläutert das Prinzip der Messung einer Entfernung R mittels Triangulation unter Verwendung eines Paars von opti­ schen Systemen, die ein Paar von Linsen 1 und 11 mit einer Brennweite f und ein Paar von Bildsensoren 2 und 12 aufwei­ sen. Die optischen Achsen der Linsen 1 und 11 sind voneinan­ der um eine Grundlänge L entfernt, und die Bildsensoren 2 und 12 befinden sich jeweils in einer der Brennweite f ent­ sprechenden Entfernung von den Linsen 1 und 11. Wenn man annimmt, daß das Maß einer Verlagerung zwischen einem ersten Bild eines Gegenstands in einer ersten Bildebene, das von dem oberen Bildsensor 2 aufgenommen wird, und einem zweiten Bild des Gegenstands in einer zweiten Bildebene, das von dem unteren Bildsensor 12 aufgenommen wird, durch a+b gegeben ist, kann die Entfernung R wie folgt geschrieben werden:

R = f · L/(a+b).

Bei einer solchen Entfernungsmeßvorrichtung werden Bildsi­ gnale durch A/D-Wandler 3 und 13 geleitet und in Speichern 4, 5 und 14 gespeichert, und Entfernungsberechnungen werden von einer Recheneinheit in Form eines Computers 6 durchge­ führt.

Insbesondere wird eine Verlagerung zwischen dem ersten und dem zweiten Bild des Gegenstands detektiert, indem das erste Bild in einem Fenster eingerahmt wird und das erste Bild in dem Fenster mit dem zweiten Bild in der zweiten Bildebene verglichen wird, wie Fig. 7 zeigt.

Wenn man annimmt, daß die Position des Fensters in Pixel­ positionen in dem oberen Bildsensor ausgedrückt wird, wird das Fenster aus einer Matrix von Pixeln mit m Reihen und n Spalten gebildet, die mit einem Punkt in der i-ten Reihe und der j-ten Spalte beginnt und mit einem Punkt in der (i+m)- ten Reihe und der (j+n)-ten Spalte endet.

Wenn man annimmt, daß ein Bildsignalpegel an einem Punkt (u,v) in der ersten Bildebene S¹u,v und ein Bildsignalpegel an einem Punkt (u,v) in der zweiten Ebene S²u,v ist, wird ein Bild in der ersten Bildebene, das am besten an ein Bild in der zweiten Bildebene angepaßt ist, aus einem schraffier­ ten Bereich in der zweiten Ebene gemäß dem folgenden Aus­ druck gefunden:

S(q) = ΣΣ|S¹u₁v-S²u₁v+q|

wobei q = eine Variable; v = ein Wert im Bereich von j bis j+n; und u = ein Wert im Bereich von i bis i+m.

Fig. 8 ist ein Diagramm, das den Wert von S(q) zeigt, wenn der Wert q in dem obigen Ausdruck geändert wird. In diesem Diagramm entspricht ein Wert q₀, der den kleinsten Wert von S(q) angibt, einem Wert der Verlagerung des ersten Bilds relativ zu dem zweiten Bild.

Wenn man annimmt, daß die Pixelteilung P ist, wird die Ent­ fernung R zu dem Gegenstand wie folgt bestimmt:

R = f · L/P · q₀.

Fig. 9 zeigt eine andere herkömmliche Entfernungsmeßvor­ richtung zur Durchführung einer Entfernungsmessung unter Verwendung einer Vielzahl von Unterfenstern, die durch Aufteilen einer Bildebene in eine Vielzahl von Quadraten gleicher Größe gebildet sind.

Es sei angenommen, daß das in Horizontalrichtung x-te und das in Vertikalrichtung y-te Quadrat gegeben ist durch (x,y) und die Entfernung zu einem Gegenstand in dem Quadrat gege­ ben ist durch R(x,y). In diesem Fall kann R(x,y) auf die gleiche Weise wie oben bestimmt werden.

Wenn also jedes Quadrat aus einer Matrix mit m Reihen und n Spalten gebildet ist, entspricht das Quadrat (x,y) einem Fenster, das mit einem Punkt in der m(x-1)-ten Reihe und der n(y-1)-ten Spalte beginnt und mit einem Punkt in der mx-ten Reihe und der ny-ten Spalte endet. Daher kann die Entfernung R(x,y) zu einem Objekt in jedem Quadrat auf die gleiche Wei­ se, wie es bei dem obigen Stand der Technik gesagt wurde, gefunden werden.

Da die Entfernungen zu jeweiligen Teilen des Gegenstands bei diesem Verfahren gefunden werden können, können die Umrisse des Gegenstands auf der Basis der Information in bezug auf R(x,y) bestimmt werden.

Wenn bei der oben beschriebenen herkömmlichen Entfernungs­ meßvorrichtung, bei der die Größe eines Unterfensters fest­ gelegt ist, die Fläche jedes Unterfensters so groß ist, daß auch andere Gegenstände, die nicht der Zielgegenstand sind, in das weite Unterfenster gelangen können, ist es häufig schwierig, einen Zielgegenstand wie etwa ein vorausfahrendes Fahrzeug zu erkennen, und eine genaue Entfernung zu dem Zielgegenstand kann nicht gemessen werden.

Wenn andererseits jedes Unterfenster so klein ist, daß ein Bild eines Zielgegenstands in dem Unterfenster die Gesamt­ fläche des Unterfensters einnimmt (d. h. wenn die Fläche des Zielbilds gleich wie oder größer als diejenige des Unter­ fensters ist), erhält man keinen brauchbaren Kontrast in den jeweiligen Bereichen des Unterfensters, und daher wird die Erkennung des Gegenstands erschwert, wodurch die Messung der Entfernung zum Zielgegenstand unmöglich ist. Außerdem ist in diesem Fall die Menge von effektiven Daten, die in einem so kleinen Unterfenster enthalten ist, derart begrenzt, daß die Entfernungsmessung, wenn sie überhaupt möglich ist, dem schädlichen Einfluß von Störsignalen bzw. Rauschen unterlie­ gen kann, wodurch große Meßfehler eingeführt werden.

Aufgabe der Erfindung ist die Bereitstellung einer Entfer­ nungsmeßvorrichtung, die die Gestalt eines Gegenstands er­ kennen kann, ohne daß erhebliche Fehler bei der Entfernungs­ messung auftreten.

Zur Lösung der vorgenannten Aufgabe wird gemäß der Erfindung eine Entfernungsmeßvorrichtung angegeben, die gekennzeichnet ist durch Bildaufnahmeeinrichtungen zum optischen Aufnehmen eines Gegenstands an zwei verschiedenen Stellen, um ein erstes und ein zweites Bild zu erzeugen; eine Fensterein­ stelleinrichtung zum Bilden eines Fensters, das das erste Bild enthält, und zum aufeinanderfolgenden wiederholten Aufteilen des Fensters in eine Vielzahl von Unterfenstern, so daß ein Kontrast jedes zuletzt aufgeteilten Unterfensters einen vorbestimmten Wert überschreitet, aber sein Kontrast bei der nächsten Aufteilung den vorbestimmten Wert unter­ schreitet; und eine Entfernungsrecheneinrichtung zum Be­ rechnen einer Entfernung zu dem Gegenstand nach dem Triangu­ lationsprinzip auf der Grundlage einer Abweichung zwischen dem ersten und dem zweiten Bild.

Eine bevorzugte Ausführungsform der Erfindung sieht vor, daß die Fenstereinstelleinrichtung die Aufteilung der Unterfen­ ster beendet, wenn eine Größe jedes zuletzt aufgeteilten Unterfensters kleiner als ein vorgegebener Wert wird.

Gemäß einer weiteren bevorzugten Ausführungsform der Erfin­ dung findet die Fenstereinstelleinrichtung eine Differenz zwischen einem Bild des Gegenstands, das von der Bildaufnah­ meeinrichtung zuletzt aufgenommen wurde, relativ zu einem vorhergehenden Bild davon und aktualisiert nur diejenigen Unterfenster, die innerhalb eines Bereichs existieren, in dem die Differenz einen vorgegebenen Wert überschreitet.

Da bei der obigen Entfernungsmeßvorrichtung der Erfindung eine Vielzahl von Unterfenstern so eingestellt wird, daß jedes Unterfenster einen Kontrastwert hat, der höher als ein vorbestimmter Wert ist, ist es möglich, die Umrisse eines Zielgegenstands zu dessen präziser Identifikation zu be­ stimmen sowie die Entfernung zu dem Gegenstand auf exakte Weise zu messen.

Wenn ferner das gesamte Fenster in einem vorbestimmten Zyklus aufeinanderfolgend aktualisiert wird, wird nur ein Teil von Unterfenstern, die in einem Bereich liegen, in dem der momentane Kontrast jedes Unterfensters von dem vorherge­ henden erheblich abweicht, aktualisiert oder aufgefrischt, und der Fenstereinstell- oder -aktualisierungsvorgang kann nacheinander innerhalb kurzer Zeit durchgeführt werden, so daß eine Hochgeschwindigkeits-Verfolgung des Gegenstands erreicht werden kann.

Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile anhand der Beschreibung von Ausfüh­ rungsbeispielen und unter Bezugnahme auf die bei liegenden Zeichnungen näher erläutert. Die Zeichnungen zeigen in:

Fig. 1 ein Blockdiagramm einer ersten Ausführungsform der Erfindung;

Fig. 2 ein Flußdiagramm, das einen Fenstereinstellvorgang bei der ersten Ausführungsform zeigt;

Fig. 3 eine Darstellung, die den Fenstereinstellvorgang in einer Bildebene bei der ersten Ausführungsform zeigt;

Fig. 4 eine Darstellung, die einen Vorgang zum Einstellen eines Fensters in zeitlicher Folge gemäß einer zweiten Ausführungsform der Erfindung zeigt;

Fig. 5 ein Flußdiagramm, das den Vorgang zum Einstellen eines Fensters in zeitlicher Folge bei der zweiten Ausführungsform zeigt;

Fig. 6 ein Blockdiagramm einer herkömmlichen Entfernungs­ meßvorrichtung;

Fig. 7 eine Darstellung, die den Betrieb der herkömm­ lichen Entfernungsmeßvorrichtung zeigt;

Fig. 8 eine Darstellung, die eine Methode zum Berechnen einer Entfernung zu einem Gegenstand zeigt; und

Fig. 9 eine Darstellung zur Erläuterung eines herkömm­ lichen Entfernungsmeßverfahrens unter Anwendung eines Fensters, das in eine Vielzahl von Unter­ fenstern mit jeweils unveränderlicher Größe auf­ geteilt ist.

Ausführungsform 1

Das Blockdiagramm von Fig. 1 zeigt den allgemeinen Aufbau einer Entfernungsmeßvorrichtung gemäß der ersten Ausfüh­ rungsform. Diese Entfernungsmeßvorrichtung gleicht im wesentlichen der vorgenannten herkömmlichen Vorrichtung mit Ausnahme von Aufbau und Betrieb einer Recheneinheit. Die Recheneinheit in Form eines Rechners 6A umfaßt funktions­ mäßig einen Entfernungsberechnungsbereich 6a und einen Fen­ stereinstellbereich 6b. Das Prinzip von Entfernungsberech­ nungen durch den Entfernungsberechnungsbereich 6a ist das gleiche wie bei dem vorgenannten Stand der Technik, der unter Bezugnahme auf die Fig. 6-9 erläutert wurde. Insbeson­ dere liegt hier das Wesentliche in einem Fenstereinstell­ vorgang, der von dem Fenstereinstellbereich 6b des Rechners 6A wie folgt durchgeführt wird.

Das Flußdiagramm von Fig. 2 zeigt den Fenstereinstellvor­ gang, und Fig. 3 erläutert den Ablauf unter Verwendung einer Bildebene. Dabei werden beispielsweise zuerst vier relativ breite Fenster in einer Bildebene wie etwa einem Anzeige­ bildschirm in Schritt S1 gebildet. Selbstverständlich ist aber die Zahl der Fenster nicht auf vier beschränkt, sondern kann jede gewünschte Zahl sein. Die Zahl der Fenster ist so vorgegeben, daß ein Kontrastwert jedes Fensters einen vorbe­ stimmten Wert überschreitet. Dabei ist zu beachten, daß der Kontrast eines Fensters definiert ist als das Verhältnis der Helligkeit des hellsten Punkts (Pixels) zu demjenigen des dunkelsten Punkts (Pixels) innerhalb des Fensters oder als ein Verhältnis der Helligkeit des hellsten Punkts innerhalb des Fensters zu einer mittleren Helligkeit des Fensters.

Anschließend wird in Schritt S2 jedes Fenster in Vertikal­ richtung in zwei Unterfenster 15, 16 unterteilt, um die Größe jedes Fensters beispielsweise zu halbieren. Dabei sei angenommen, daß der Kontrast jedes so aufgeteilten Unter­ fensters 15, 16 höher als der vorbestimmte Wert ist.

In diesem Fall wird in Schritt S3 jedes Unterfenster 15, 16 in Horizontalrichtung weiter in zwei Unterfenster 15a, 15a oder 16a, 16a aufgeteilt, so daß seine Größe jeweils hal­ biert wird. Wenn jedoch der Kontrastwert eines so gebildeten Unterfensters 15a oder 16a den vorbestimmten Wert unter­ schreitet, wird eine weitere horizontale Unterteilung eines solchen Unterfensters mit unzureichendem Kontrast abgebro­ chen, und die zuletzt durchgeführte Unterteilung wird auf­ gehoben.

Wenn dabei beispielsweise ein Unterfenster 15 in Horizontal­ richtung aufgeteilt oder in zwei Unterfenster 16a, 16b in Schritt 53 unterteilt wird, wie in Strichlinien gezeigt ist, und wenn wenigstens eines dieser Unterfenster 16a, 16b keinen gültigen Kontrast aufweist (d. h. wenn der Kontrast des wenigstens einen Unterfensters 16a den vorbestimmten Wert unterschreitet), wird eine weitere horizontale Auf­ teilung solcher Unterfenster 16a, 16b abgebrochen.

Anschließend wird in Schritt S4 jedes Unterfenster 15, 16a, 16b, das Kontrastwerte hat, die den vorbestimmten Wert über­ schreiten, in Vertikalrichtung in zwei Unterfenster 17a, 17b oder 17a, 18b unterteilt, wodurch die Größe jedes Unterfen­ sters weiter halbiert wird. Wenn zu diesem Zeitpunkt wenig­ stens eines der so gebildeten Unterfenster einen Kontrast­ wert hat, der den vorbestimmten Wert unterschreitet, wird keine weitere vertikale Unterteilung wie in Schritt S3 durchgeführt. Wenn dagegen die Unterfenster 15 und 16 gemäß Schritt S3, nachdem sie in Vertikalrichtung unterteilt wur­ den, gültige Kontrastwerte haben (d. h. wenn der Kontrast jedes dieser Unterfenster den vorbestimmten Wert überschrei­ tet), werden sie weiter in Unterfenster aufgeteilt.

Anschließend wird eine gleichartige Aufteilung in den fol­ genden Schritten wiederholt, bis der Kontrastwert jedes der zuletzt unterteilten Unterfenster den vorbestimmten Wert unterschreitet. In Fig. 3 sind bis zu Schritt S8 zwar nur acht Schritte gezeigt, aber die Zahl der Schritte kann höher als acht sein. Mit zunehmender Zahl der Unterfenster verrin­ gert sich die Größe jedes Unterfensters. Es wird jedoch, wie nachstehend beschrieben wird, bevorzugt, daß das kleinste Unterfenster aus einigen zehn Pixeln gebildet ist.

Dabei ist zu beachten, daß zu kleine und zu viele Unter­ fenster nur in einer entsprechend längeren Rechen- oder Verarbeitungszeit resultieren, ohne daß sie zu einer ver­ besserten Erkennung der Gestalt des Gegenstands beitragen.

Wenn die nachstehende Gleichung mit einer zu kleinen Zahl von Pixeln, die in jedem Unterfenster enthalten sind, be­ rechnet wird, ist eine Änderung einer Funktion S(q) relativ zu einer Änderung einer Variablen q aufgrund von kleinen Werten von m und n begrenzt, so daß die Auflösung oder Genauigkeit der aus S(q₀) erhaltenen Entfernung entsprechend vermindert ist. Außerdem besteht die Gefahr, daß unter dem Einfluß von Rauschen Fehler in die Entfernungsberechnungen eingeführt werden.

S(q) = ΣΣ|S¹u₁v-S²u₁v+q|

mit u = i bis i+m und v = j bis j+n.

Da, wie oben beschrieben, jedes zuletzt erhaltene Unterfen­ ster einen Kontrast hat, der einen vorbestimmten Wert über­ schreitet, und die Fenstergröße so vorgegeben ist, daß sie wenigstens einige zehn Pixel enthält, ist es möglich, mit hoher Präzision und hoher Auflösung die Gestalt eines Gegen­ stands zu erkennen und die Entfernung davon zu messen.

Ausführungsform 2

Die Fig. 4 und 5 zeigen eine zweite Ausführungsform, bei der ein bewegter Gegenstand in Form eines vorausfahrenden Fahr­ zeugs sukzessive verfolgt wird. Fig. 4 zeigt unterteilte Be­ reiche in einer Bildebene, und Fig. 5 ist ein Flußdiagramm, das einen Fenstereinstellablauf der zweiten Ausführungsform zeigt.

In Schritt S1 wird die Vorrichtung initialisiert, um eine geeignete Zahl von Unterfenstern für ein Bild eines Zielge­ genstands zu bilden, das von der Kamera zum Zeitpunkt t=t0 auf die gleiche Weise wie bei der ersten Ausführungsform aufgenommen wird.

Zum Zeitpunkt t=t0+Δt nach Ablauf einer kurzen Zeit Δt seit dem Zeitpunkt t0 hat sich das Bild des von der Kamera aufge­ nommenen bewegten Gegenstands bewegt oder seine Position in einem ersten Bildfenster geändert, während sich Gegenstand und Kamera relativ zueinander bewegen. Es sei angenommen, daß der Wert der Änderung oder Bewegung des Gegenstands re­ lativ zu der Kamera begrenzt ist, wenn die Dauer Δt klein ist. Es scheint daher, daß, wenn alle Unterfenster zum Zeitpunkt t=t0+Δt in dem gleichen Ablauf wie bei der ersten Ausführungsform erneuert oder aktualisiert werden, eine lange Zeit benötigt wird, um sämtliche Unterfenster zu aktualisieren, was reine Verschwendung ist, weil die so aktualisierten Unterfenster denjenigen, die zum Zeitpunkt t=t0 eingestellt wurden, sehr nahekommen oder ihnen gleichen.

Es wird daher bevorzugt, zum Zeitpunkt t=t0+Δt eine Diffe­ renz oder Abweichung des Bilds des Gegenstands, die zum Zeitpunkt t=t0+Δt erfaßt wird, gegenüber demjenigen zum Zeitpunkt t=t0 zu finden (Schritt S52) und zu bestimmen, ob die Größe jedes Unterfensters in einem Bereich, in dem die Abweichung einen vorbestimmten Wert überschreitet, geeignet ist.

Dabei wird beispielsweise der Kontrast jedes Unterfensters, das in einem Bereich existiert, in dem die Abweichung den vorbestimmten Wert überschreitet, detektiert (Schritt S53, Schritt S54). Wenn der Kontrast den vorbestimmten Wert nicht überschreitet, wird ein vorhergehendes Fenster, das eine Kombination von nunmehr aufgeteilten zwei Unterfenstern aufweist, genutzt. Das heißt, die Größe jedes Unterfensters innerhalb des vorgenannten Bereichs wird beispielsweise zweifach vergrößert (Schritt S55, Schritt S56). Wenn der Kontrast des vergrößerten Unterfensters den vorbestimmten Wert immer noch nicht überschreitet, wird ein noch früheres Unterfenster, das eine Kombination aus zwei vorher aufge­ teilten Unterfenstern innerhalb des obigen Bereichs auf­ weist, genutzt (Schritt S57, Schritt S56). Auf diese Weise wird die Größe jedes Unterfensters schrittweise vergrößert.

Wenn dagegen der Kontrast eines Unterfensters in einem Be­ reich, in dem die Abweichung größer als der vorgeschriebene Wert ist, den vorbestimmten Wert überschreitet und wenn das Unterfenster größer als die vorbestimmte kleinste Größe ist, wird das Aufteilen so oft wie möglich wiederholt, bis der Kontrast eines so aufgeteilten Unterfensters gleich wie oder kleiner als der vorbestimmte Wert wird. Auf diese Weise wird die Größe von Unterfenstern innerhalb des obigen Bereichs nacheinander auf einen geeigneten kleinsten Wert vermindert (Schritt S59, Schritt S60).

Danach wird die Berechnung der Entfernung zu einem Gegen­ stand in jedem Unterfenster in Schritt S58 durchgeführt, und nur die Unterfenster innerhalb des obigen Bereichs werden in einem vorbestimmten Zyklus aktualisiert, d. h. bei t=t0+2Δt, t=t0+3Δt usw. Somit kann die zur Aktualisierung der Unter­ fenster benötigte Zeit verkürzt und der Gegenstand leicht verfolgt werden. In dieser Beziehung können in Schritt S58 Entfernungsmessungen nur für die Unterfenster innerhalb des obigen Bereichs, jedoch nicht für die außerhalb dieses Be­ reichs liegenden Unterfenster durchgeführt werden, so daß die zur Entfernungsmessung benötigte Zeit entsprechend ver­ kürzt werden kann.

Die Vorrichtung der oben beschriebenen Ausführungsform ist geeignet zur Messung der Entfernung zwischen Fahrzeugen, zur Verfolgung eines voraus fahrenden Fahrzeugs und zur Detektie­ rung eines Fahrzeugs, das zwischen zwei Fahrzeuge kommt.

Claims (3)

1. Entfernungsmeßvorrichtung, gekennzeichnet durch
Bildaufnahmeeinrichtungen zum optischen Aufnehmen eines Gegenstands an zwei verschiedenen Punkten, um ein erstes und ein zweites Bild zu erzeugen;
eine Fenstereinstelleinrichtung (6b) zum Einstellen eines Fensters, das das erste Bild enthält, und zum sukzessiven wiederholten Aufteilen dieses Fensters in eine Vielzahl von Unterfenstern (z. B. 15, 16) derart, daß ein Kontrast jedes zuletzt aufgeteilten Unterfensters einen vorgegebenen Wert überschreitet, aber sein Kontrast bei der nächstfolgenden Aufteilung den vorgegebenen Wert unterschreitet; und
eine Entfernungsberechnungseinrichtung (6a) zum Berechnen einer Entfernung zu dem Gegenstand nach dem Triangulations­ prinzip auf der Basis einer Abweichung des ersten und des zweiten Bilds.

2. Entfernungsmeßvorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Fenstereinstelleinrichtung das Aufteilen der Unterfenster abbricht, wenn eine Größe jedes zuletzt aufge­ teilten Fensters kleiner als ein vorgeschriebener Wert wird.

3. Entfernungsmeßvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Fenstereinstelleinrichtung eine Abweichung eines Bilds des Gegenstands, das von den Bildaufnahmeeinrichtungen zuletzt aufgenommen wurde, relativ zu einem vorhergehenden Bild davon findet und nur diejenigen Unterfenster aktuali­ siert, die innerhalb eines Bereichs liegen, in dem die Ab­ weichung einen vorgegebenen Wert überschreitet.