DE102016106298A1

DE102016106298A1 - Fusionsverfahren für eine Querverkehr-Applikation unter Verwenden von Radargeräten und einer Kamera

Info

Publication number: DE102016106298A1
Application number: DE102016106298.7A
Authority: DE
Inventors: Shuqing Zeng; Wei Tong
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2015-04-06
Filing date: 2016-04-06
Publication date: 2016-10-06
Anticipated expiration: 2036-04-07
Also published as: DE102016106298A9; CN106054174B; US20160291149A1; DE102016106298B4; US9599706B2; CN106054174A

Abstract

Ein Verfahren und ein System zum Verfolgen von Objekten, welche hinter einem Host-Fahrzeug kreuzen, werden offenbart. Zieldaten von einem optischen System und von zwei Radarsensoren werden für ein Objektdetektionsfusionssystem bereitgestellt. Auffällige Punkte auf dem Zielobjekt werden identifiziert und unter Verwenden der Daten des optischen Systems verfolgt. Die visuell auffälligen Punkte werden mit entsprechenden Radarpunkten assoziiert, wobei die Radarpunkte radiale Doppler-Geschwindigkeitsdaten bereitstellen. Eine Fusionsberechnung wird an den visuell auffälligen Punkten und den Radarpunkten durchgeführt, wodurch eine genaue Abschätzung der Geschwindigkeit des Zielobjekts erhalten wird, einschließlich seiner lateralen Komponente, welche allein unter Verwenden von Radarpunkten oder durch herkömmliche Verfahren mit optischen Systemen schwierig zu erhalten ist. Die Position und Geschwindigkeit des Zielobjekts werden verwendet, um Warnungen oder ein automatisches Bremsen in einem System zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-System) auszulösen.

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Diese Erfindung betrifft im Allgemeinen ein Objektdetektionssystem mit mehreren Eingängen und insbesondere ein System zur Vermeidung einer Kollision mit rückwärtigem Querverkehr, welches kamerabasierte und radarbasierte Objektdaten zum Verfolgen von Objekten in einem rückwärtigem Querverkehr kombiniert, einschließlich einer genaueren Abschätzung einer lateralen Geschwindigkeit der Objekte, als es mit Radardaten allein möglich wäre.
Diskussion der relevanten Technik
Objektdetektionssysteme, welche auch als Objekterfassungssysteme bekannt sind, werden zunehmend in modernen Fahrzeugen üblich. Objektdetektionssysteme können eine Warnung vor einem Objekt in der Fahrspur eines Fahrzeugs an einen Fahrer ausgeben. Objektdetektionssysteme können auch Eingaben für aktive Fahrzeugsysteme bereitstellen – wie etwa eine adaptive Geschwindigkeitsregelung, welche eine Fahrzeuggeschwindigkeit derart steuert, dass ein angemessener Längsabstand zu einem vorherfahrenden Fahrzeug aufrecht erhalten wird, und Systeme zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-Systeme), welche sowohl Warnungen als auch ein automatisches Bremsen bereitstellen können, um eine Kollision mit einem Objekt hinter einem Host-Fahrzeug zu vermeiden, wenn das Host-Fahrzeug zurücksetzt.
Objektdetektionssysteme verwenden einen oder mehrere Sensoren, welche Radar-, Lidar-, Kamera- oder andere Technologien sein können, um die Anwesenheit eines Objekts in der Fahrspur oder nahe der Fahrspur eines Host-Fahrzeugs zu detektieren. Software wird verwendet, um die relative Bewegung von Objekten zeitlich zu verfolgen und zu bestimmen, ob die Objekte sich bewegen oder stationär sind, zu bestimmen was jedes Objekt sein könnte (ein anderes Fahrzeug, ein Fußgänger, ein Baum usw.) und zu bestimmen, ob das jeweilige Objekt eine Kollisionsgefahr für das Hostfahrzeug darstellt.
Selbst mit mehreren Objekterfassungseingaben, wie Radar und Kamera, ist es jedoch nicht immer möglich, die Richtung eines entfernten Fahrzeugs oder Objekts genau abzuschätzen, insbesondere wenn sich das entfernte Fahrzeug oder Objekt in einer hauptsächlich lateralen oder tangentialen Richtung, relativ zu dem Host-Fahrzeug, bewegt. Darüber hinaus ist es in einigen Situationen schwierig, die Radarpunkdaten mit den Kamerabilddaten genau zu korrelieren. Fusionsverfahren werden benötigt, welche eine genaue zweidimensionale Geschwindigkeit der entfernten Fahrzeuge und Objekte, unter Verwenden von Objektdaten von einer Kamera und zwei Radarsensoren bereitstellen.
Zusammenfassung der Erfindung
Gemäß den Lehren der vorliegenden Erfindung, werden ein Verfahren und ein System zum Verfolgen von Objekten, welche hinter einem Host-Fahrzeug kreuzen, offenbart. Zieldaten von einem optischen System und von zwei Radarsensoren werden für ein Objektdetektionsfusionssystem bereitgestellt. Auffällige Punkte auf dem Zielobjekt werden identifiziert und unter Verwenden der Daten des optischen Systems verfolgt. Die visuell auffälligen Punkte werden mit entsprechenden Radarpunkten assoziiert, wobei die Radarpunkte radiale Doppler-Geschwindigkeitsdaten bereitstellen. Eine Fusionsberechnung wird an den visuell auffälligen Punkten und den Radarpunkten durchgeführt, wodurch einer genauen Abschätzung der Geschwindigkeit des Zielobjekts erhalten wird, einschließlich seiner lateralen Komponente, welche unter Verwenden von Radarpunkten allein oder durch herkömmliche Verfahren optischer Systeme schwierig zu erhalten ist. Die Position und Geschwindigkeit des Zielobjekts werden verwendet, um Warnungen oder ein automatisches Bremsen in einem System zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-System) auszulösen.
Zusätzliche Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den anhängenden Ansprüchen, in Verbindung mit den begleitenden Zeichnungen gesehen, deutlich.
Kurze Beschreibung der Zeichnungen
1 ist ein schematisches Diagramm eines Host-Fahrzeugs, welches eine Mehrzahl von Objektdetektionssensoren einschließt;
2 ist eine Darstellung eines Host-Fahrzeugs der 1, zusammen mit einem entfernten Fahrzeug, welches zeigt, wie sich der Geschwindigkeitsvektor des entfernten Fahrzeugs auf sein Eindringen in eine Warnzone oder eine Bremsumgrenzungslinie des Host-Fahrzeugs auswirkt;
3 ist eine Darstellung des Host-Fahrzeugs und des entfernten Fahrzeugs der 2, welche weiterhin die Schwierigkeit darstellt, eine genaue 2-D Geschwindigkeit des entfernten Fahrzeugs zu erhalten;
4 ist eine andere Darstellung des Host-Fahrzeugs und des entfernten Fahrzeugs, welche visuell auffällige Punkte und Radarpunkte, welche durch ein Objekterfassungsfusionssystem auf dem Host-Fahrzeug zum Bestimmen der Geschwindigkeit des entfernten Fahrzeugs verwendet werden, zeigt;
5 ist ein Flussdiagramm eines Verfahrens zum Berechnen einer Geschwindigkeit eines entfernten Objekts, relativ zu einem Host-Fahrzeug, unter Verwenden einer Fusion der visuell auffälligen Punkte mit Radarpunkten;
6 ist ein Flussdiagramm eines Verfahrens zum Verfolgen visuell auffälliger Punkte an einem entfernten Objekt durch Kameraabbildungen;
7 ist ein Flussdiagramm eines Verfahrens zum Assoziieren visuell auffälliger Punkte mit Radarpunkten in einem Objektverfolgungssystem;
8 ist ein schematisches Diagramm eines Host-Fahrzeugs, einschließlich mehrerer Objektdetektionssensoren in einer Seitenansichtskonfiguration;
9 ist eine Darstellung des Host-Fahrzeugs, wie in 8 gezeigt, entlang einem entfernten Fahrzeug, wobei das entfernte Fahrzeug allgemein längsseits von dem Host-Fahrzeug gefahren wird;
10 ist eine Seitenansichtsdarstellung eines Reifens und eines Rades, welches auf dem Untergrund abrollt, welches die Basisbewegungseigenschaften zeigt, welche verwendet werden können, um Räder in Radarsensordaten zu identifizieren;
11 und 12 sind Draufsichtdiagramme des Host-Fahrzeugs und des entfernten Fahrzeugs der 9, welche die Prinzipien und geometrischen Relationen, auf denen Raddetektion, Verfolgung eines entfernten Fahrzeuges und Radarsensor-Kalibrierung basieren, darstellen;
13 ist ein Flussdiagramm eines Verfahrens zur Detektion der Räder eines entfernten Fahrzeugs basierend auf dem Messverfahren, welches in den 11 und 12 beschrieben und gezeigt wird; und
14 ist Flussdiagramm eines Verfahrens für ein gleichzeitiges Verfolgen des entfernten Fahrzeugs und Kalibrieren der Ausrichtungswinkel der Radarsensoren unter Verwenden einer Detektion von Rädern eines entfernten Fahrzeuges.
Detaillierte Beschreibung der Ausführungsbeispiele
Die folgende Diskussion der Ausführungsbeispiele der Erfindung, welche auf ein Verfahren und eine Vorrichtung zum Verfolgen von Objekten in der Nähe eines Host-Fahrzeugs unter Verwenden einer Fusion von visuell auffälligen Punkten und Radarpunkten gerichtet ist, ist nur exemplarischer Natur und es ist in keiner Weise beabsichtigt, die Erfindung oder ihre Anwendungen oder ihren Gebrauch zu begrenzen.
Viele moderne Fahrzeuge umfassen ein Objekterfassungssystem zum Detektieren von Objekten in der Fahrspur des Fahrzeugs. Das Objekterfassungssystem kann ein Warnen eines Fahrers bereitstellen oder selbst andere Systeme zum Ausführen einer Aktion veranlassen, um eine Fahrzeugkollision zu vermeiden. Einige Fahrzeuge umfassen auch ein Objekterfassungsfusionssystem, welches numerisch die Daten von zwei und mehr Detektionssensoren ”fusioniert” und dann seine Objektdatendetektionslogik auf den fusionierten Objektdaten basiert. Ein derartiges Fusionssystem wird in dem US Patent Nr. 7,460,951 , mit dem Titel ”System and method of target tracking using sensor fusion” beschrieben, welches dem Anmelder der vorliegenden Anmeldung zugeordnet ist und welches hierin durch Bezugnahme in seiner Vollständigkeit übernommen wird.
1 ist ein schematisches Diagramm eines Host-Fahrzeugs 10, welches mehrere Objektdetektionssensoren einschließt. Das Host-Fahrzeug 10 schließt ein Objekterfassungsfusionssystem 12 ein, welches Daten von einer Kamera 20 und einem Paar von Radarsensoren 32 und 34 empfängt. Das Fusionssystem 12 umfasst ein Gerät, welches einen Mikroprozessor und ein Speichermodul aufweist, wobei das Gerät derart mit Software ausgestaltet ist, dass es eine Objekterfassungsfusion – wie sie im Detail unten beschrieben wird – ausführt. Andere Anwendungen neben der Objekterfassungsfusion können auch auf dem gleichen Mikroprozessor wie das Fusionssystem 12 laufen.
Die Kamera 20 stellt dem Fusionssystem 12 (oder einem gekennzeichneten optischen System, welches nicht separat gezeigt ist) Bilder zur Verfügung, wobei die Bilder verarbeitet werden, um Objekte zu detektieren, zu identifizieren und zu verfolgen. Auf ähnliche Weise stellen Radarsensoren 32/34 ihre Radarrücklaufdaten dem Fusionssystem 12 (oder einem gekennzeichneten optischen System, welches nicht separat gezeigt ist) zur Verfügung, wobei die Radarpunkte verarbeitet werden, um entfernte Objekte zu detektieren, zu identifizieren und zu verfolgen. Die Kamera 20 und die Radarsensoren 32/34 kommunizieren typischerweise mit dem Fusionssystem 12 und stellen ihre Daten dem Fusionssystem 12 durch verdrahtete Verbindungen oder einen Fahrzeug-Bus zur Verfügung, aber diese Kommunikation könnte auch drahtlos sein.
Die Kamera 20 weist ein Sichtfeld 22 auf. Die Radarsensoren 32/34 weisen Abdeckungsbereiche 36 beziehungsweise 38 auf. In der Darstellung der 1 sind die Kamera 20 und die Radarsensoren 32/34 in eine rückwärtige Richtung orientiert und die folgende Diskussion ist auf eine Applikation zur Detektion von rückwärtigem Querverkehr ausgerichtet. Die Verfahren könnten jedoch auch für vorwärts oder seitwärts gerichtete Ausrichtungen und Applikationen angewendet werden. Es ist anzumerken, dass nur entfernte Fahrzeuge oder Objekte für eine Objektfusion verwendet werden können, welche an Orten existieren, an denen das Kamerasichtfeld 22 die Radarabdeckungsbereiche 36 oder 38 überlappt. Dieser überlappende Abdeckungsbereich, in dem sowohl die Kamera 20 als auch einer der Radarsensoren 32/34 ein Ziel detektieren können, wird in 1 durch ein Oval 40 gezeigt. Die Größen und Formen des Sichtfeldes 22, der Radarabdeckungsbereiche 36/38 und des überlappenden Abdeckungsovals 40 werden konzeptionell alle in 1, wie es von dem Fachmann der Technik verstanden wird, gezeigt.
Selbst mit zwei oder mehr Objektsensoren kann es jedoch für ein herkömmliches Objekterfassungsfusionssystem schwierig sein, die zweidimensionale (2-D) Geschwindigkeit eines entfernten Fahrzeugs oder Objekts genau zu bestimmen, insbesondere wenn sich das entfernte Fahrzeug oder Objekt in einer hauptsächlich lateralen (oder tangentialen) Richtung, relativ zu dem Host-Fahrzeug, bewegt. Die Natur dieses Problems wird in den 2 und 3 dargestellt.
2 ist eine Darstellung des Host-Fahrzeugs 10 der 1, zusammen mit einem entfernten Fahrzeug 50. 2 zeigt eine typische Parkplatzszene, in der das Host-Fahrzeug 10 zurücksetzt, wie es durch den Geschwindigkeitspfeil 18 gezeigt wird, und das entfernte Fahrzeug 50 vorwärts fährt in einer Position hinter dem Host-Fahrzeug 10, was einen Konflikt verursachen kann. In Systemen zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-Systemen) kann das Host-Fahrzeug 10 eine Bremsumgrenzungslinie 14, welche um es herum definiert ist, aufweisen, wobei die Bremsen des Host-Fahrzeugs 10 automatisch genutzt werden können, wenn das Host-Fahrzeug 10 bewegt wird und ein Objekt in die Bremsumgrenzungslinie 14 eindringt. Das Host-Fahrzeug 10 kann auch eine Warnzone definiert haben, wobei ein hörbares und/oder sichtbares Warnen an den Fahrer des Host-Fahrzeugs 10 ausgegeben wird, wenn ein Objekt in die Warnzone 16 eintritt.
Die Geschwindigkeit des entfernten Fahrzeugs 50 ist ein wichtiger Parameter, welcher dem RCTA-System bekannt sein sollte. Dies ist nötig, weil das RCTA-System die Geschwindigkeit des entfernten Fahrzeugs 50 benötigt, um eine geschätzte ”Eintrittszeit” in die Warnzone 16 und/oder Bremsumgrenzungslinie 14 zu bestimmen. Zusätzlich kann die Position der Warnzone 16 auf der Geschwindigkeit des entfernten Fahrzeugs 50 basieren. Es kann deutlich in 2 gesehen werden, dass das Warnen und die Aktionen, welche durch das RCTA-System getätigt werden, sehr unterschiedlich sein würden, wenn das entfernte Fahrzeug 50 eine erste Geschwindigkeit 52 aufweist, als wenn das entfernte Fahrzeug 50 eine zweite Geschwindigkeit 54 aufweist. Somit wird deutlich, dass eine genaue 2-D Geschwindigkeit des entfernten Fahrzeugs 50 benötigt wird.
3 ist eine Darstellung des Host-Fahrzeugs 10 und des entfernten Fahrzeugs 50, welches weiter die Schwierigkeit beim Erhalten einer genauen 2-D Geschwindigkeit des entfernten Fahrzeugs 50 darstellt. In 3 weist das entfernte Fahrzeug 50 eine aktuelle Geschwindigkeit ν auf, welche durch den Pfeil 60 gekennzeichnet ist. Die aktuelle Geschwindigkeit ν kann als zusammengesetzt aus zwei orthogonalen Komponenten – einer radialen Geschwindigkeit, gekennzeichnet durch den Pfeil 62, und einer tangentialen Geschwindigkeit, gekennzeichnet durch den Pfeil 64 – betrachtet werden. Die Radarsensoren 32/34 umfassen typischerweise Doppler-Fähigkeiten, wobei die Radarreflexion nicht nur den Ort eines Objektpunktes anzeigt, sondern auch die radiale Geschwindigkeit r . des Punktes. Somit kann die radiale Geschwindigkeit r . der Punkte auf dem entfernten Fahrzeug 50 aus den Radarsensordaten genau bestimmt werden. Es ist jedoch schwierig, die tangentiale Geschwindigkeit durch konventionelle Zielverfolgung abzuschätzen. Dies liegt daran, weil das entfernte Fahrzeug 50 ein großes Objekt ist und nicht als Punktziel betrachtet werden kann. Da die Radarsensoren 32/34 viele Radarrücklaufpunkte von dem entfernten Fahrzeug detektieren werden und jede Abtastung verschiedene Punkte reflektiert, ist eine Azimut-Winkel-Messung unsicher. Dies führt umgekehrt zu einer Ungewissheit der tangentialen Geschwindigkeit.
Bildbasierte Objektdetektionssysteme sind besser zum Schätzen der tangentialen Geschwindigkeit eines Ziels durch Berechnen der Bewegung des Ziels in der Bildebene über eine Zeitspanne geeignet. In dem Fall eines Fahrzeugs wie dem entfernten Fahrzeug 50 sind jedoch die herkömmlichen Verfahren, um dies auszuführen, oft nicht zufriedenstellend, weil die auftretende laterale Bewegung des Ziels in der Bildebene durch die radiale Geschwindigkeit beeinflusst werden kann (was verursacht, dass das Ziel in nachfolgenden Einzelbildern größer oder kleiner erscheint) oder durch Unterschiede von Einzelbild zu Einzelbild beim Abschneiden der Fahrzeugkontur.
Aus der obigen Diskussion wird deutlich, dass ein verbessertes Fusions/Verfolgungsverfahren notwendig ist, welches die 2-D Geschwindigkeit des entfernten Fahrzeugs 50 genau abschätzen kann. Ein derartiges Verfahren kann durch Fusion von Kamerabilddaten (nämlich optischen Daten) mit Radarrücklaufdaten realisiert werden. In dem Fusionsverfahren, welches unten erörtert wird, stellen die Radarrücklaufdaten eine genaue radiale Geschwindigkeit, wie oben beschrieben, bereit. Zur gleichen Zeit können auffällige Punkte (nämlich hervorragende oder charakteristische Punkte) in den Kamerabilddaten eine genaue laterale oder tangentiale Geschwindigkeit bereitstellen. Das liegt daran, dass, anstatt das entfernte Fahrzeug 50 lediglich als ein einzelnes Objekt für Verfolgungszwecke zu behandeln, mehrere Merkmale von dem entfernten Objekt 50 individuell in den Bildern verfolgt werden. Um die Qualität und Zuverlässigkeit der Ergebnisse zu verbessern, können visuell auffällige Punkte mit den Radarpunkten assoziiert werden, unter Verwenden einer positionellen Nähe in der Bildebene und unter Verwenden vorher geschätzter Objektgeschwindigkeiten als darauf hinweisende Informationen. Visuell auffällige Punkte mit unterschiedlicher lateraler Geschwindigkeit als erwartet, basierend auf laufenden und vorherigen Messungen, können aus der Berechnung entfernt werden.
In dem Verfahren, welches hier offenbart wird, können die visuell auffälligen Punkte auf dem entfernten Fahrzeug 50 Harris-Ecken (Orte mit lokaler maximaler Intensitätsvariation, wie etwa eine Fahrzeug-A-Säule, welche auf eine Abdecklinie/Türlinie stößt), Räder, Frontlichter, Hecklichter, Türgriffe, Außenspiegel und eine beliebige Maximally Stable Extremal Region (MSER) oder andere hervorragende Merkmale einschließen. Scale Invariant Feature Transform Verfahren (SIFT-Verfahren) können auch verwendet werden, um visuell auffällige Punkte in den Bildern zu detektieren und zu beschreiben. Merkmale von Accelerated Segment Tests (FAST), eines Eckendetektionsverfahrens, könnten verwendet werden, um auffällige Punkte zu extrahieren, um sie später zum Verfolgen und zur Geschwindigkeitsabschätzung zu verwenden. Binary Robust Independent Elementary Features (BRIEF) und orientierte FAST und rotierte BRIEF (ORB) können zum Detektieren der Merkmalspunkte für Objekte verwendet werden.
4 ist eine andere Darstellung des Host-Fahrzeugs 10 und des entfernten Fahrzeugs 50, welche visuell auffällige Punkte und Radarpunkte zeigt, welche in der hierauf folgenden Diskussion verwendet werden können. In 4 weist das entfernte Fahrzeug 50 wieder eine Geschwindigkeit ν auf, welche durch den Pfeil 60 repräsentiert wird. Die Radarsensoren 32/34 an Bord des Host-Fahrzeugs 10 detektieren eine Anzahl von Radarpunkten, welche als Kreise 80 gezeigt werden, und die Kamera 20 detektiert eine Anzahl von visuell auffälligen Punkten, welche als Quadrate 90 gezeigt werden. Wie durch die kurzen Pfeile gezeigt wird, werden die Radarpunkte Doppler-radiale-Geschwindigkeits-(r .)Daten einschließen und die visuell auffälligen Punkte werden einen offensichtlichen Bewegungsfluss über die Bildebene aufweisen, welcher mit der lateralen Geschwindigkeit korreliert. Ein Verfahren zum Assoziieren der visuell auffälligen Punkte mit den Radarpunkten und ein Fusionieren der Daten, um eine genaue Abschätzung der Geschwindigkeit ν zu erzeugen, wird im Detail unten erörtert.
5 ist ein Flussdiagramm 100 eines Gesamtverfahrens zur Berechnung einer Geschwindigkeit eines entfernten Objekts, relativ zu einem Host-Fahrzeug, unter Verwenden einer Fusion von visuell auffälligen Punkten mit Radarpunkten. Bei Block 102 werden Daten durch die Kamera 20 und durch die Sensoren 32/24 bereitgestellt. Zum Zweck dieser Diskussion werden die Daten des Blocks 102 auch dem Fusionssystem 12 bereitgestellt und alle nachfolgenden Berechnungen werden auf dem Fusionssystem 12 – welches einen Mikroprozessor und ein Speichermodul einschließt, wie es vorhergehend erörtert wurde – ausgeführt. In der aktuellen Ausführung auf einem Fahrzeug könnten die Berechnungen durch ein beliebiges geeignetes Steuergerät oder einen Prozessor ausgeführt werden oder könnten über mehr als einen Prozessor verteilt werden.
Beim Block 104 werden die Radardaten zum Hinweisen oder Triggern der nachfolgenden Berechnungen verwendet. Das bedeutet, wenn ein Objekt durch die Radarsensoren 32/34 in einem Bereich von Interesse (ROI) hinter dem Host-Fahrzeug 10 detektiert wird, wird dies für den Prozess den Hinweis geben mit der Geschwindigkeitsfusionsberechnung fortzusetzen. Beim Block 106 werden visuell auffällige Punkte identifiziert und unter Verwenden der Kamerabilddaten verfolgt. 6 ist ein Flussdiagramm 140 eines Verfahrens zum Verfolgen der auffälligen Punkte auf einem entfernten Objekt durch die Kamerabilder. Das Verfahren der 6 wird bei dem Block 106 der 5 ausgeführt. Beim Block 142 werden visuell auffällige Punkte in dem Bereich von Interesse von dem Einzelbild detektiert. Wie oben erörtert, sind die visuell auffälligen Punkte bedeutende Merkmale des Objekts (in diesem Fall des entfernten Fahrzeugs 50)- wie Säulenenden, Räder, Frontlichter usw..
Beim Block 144 wird eine Korrespondenz zwischen zwei zeitlich aufeinander folgenden Einzelbildern gebildet. Das bedeutet, visuell auffällige Punkte, welche in einem ersten Einzelbild identifiziert werden können, werden in dem nächsten Einzelbild notiert. Natürlich werden die auffälligen Punkte in der Bildebene von einem Bild zu dem nächsten Bild bewegt und sie werden aus vielen Gründen – einschließlich einer Änderung der Perspektive, einer Änderung der Beleuchtung/Reflexion usw. – nicht identisch (Pixel für Pixel) erscheinen. Beim Block 146 werden die visuell auffälligen Punkte, welche quer über die Einzelbilder stabil sind (das bedeutet, sie werden in einer vorhersehbaren Weise bewegt), detektiert. Ein Verfahren zum Detektieren räumlich temporär stabiler visuell auffälliger Punkte unter Verwenden eines minimalen Aufwandflussnetzwerks werden in der U. S. Patentanmeldung, Seriennr. 13/535,538 (Anwaltsaktennr. P019555-RD-SDJ), mit dem Titel ”Wide baseline binocular object matching method using minimal cost flow network”, eingereicht am 28. Juni 2012, beschrieben, welches dem Anmelder der vorliegenden Anmeldung zugeordnet ist und welches hierin durch Bezugnahme eingeschlossen ist.
Beim Block 148 wird der Bewegungsfluss für jeden stabilen auffälligen Punkt festgelegt. Der Bewegungsfluss ist keine aktuelle Geschwindigkeit; vielmehr ist er eine Bewegung des auffälligen Punktes in der Bildebene der Kamera 20 von einem Einzelbild zu dem nächsten. Die Ablaufzeit zwischen den Einzelbildern kennend, kann der Bewegungsfluss somit beispielsweise in Pixeln pro Sekunde identifiziert werden. Für die folgende Diskussion kann der Bewegungsfluss der auffälligen Punkte transformiert werden und in einer Fusionsberechnung verwendet werden, welche die Geschwindigkeit des detektierten Objekts ergibt.
Zu 5 zurückkehrend, sind die Bewegungsflussdaten des auffälligen Punktes aus dem Flussdiagramm 140 nun im Block 106 verfügbar. Beim Block 108 werden die visuell auffälligen Punkte von dem Block 106 mit Radarpunkten assoziiert. 7 ist ein Flussdiagramm 180 eines Verfahrens zum Assoziieren visuell auffälliger Punkte mit Radarpunkten in einem Objektverfolgungssystem. Das Verfahren der 7 wird bei dem Block 108 der 5 ausgeführt. Beim Block 182 wird jeder Radarpunkt p_i auf die Bildebene projiziert. Das bedeutet u ~_i = H(p_i), wobei H die homografische Transformation von dem x–y Rahmen auf der Bildebene ist und u ~_i der projizierte Radarpunkt ist, unter der Annahme, dass diese Radarpunkte auf der Grundebene liegen. Beim Block 184 wird eine vorhergesagte Objektgeschwindigkeit ν (von einem vorhergehenden Zeitschritt) in die Bildebene als Bewegungsfluss F projiziert. Das bedeutet F = ∂H|_pν, wenn sich das Objekt an einem Ort p in dem x-y-Rahmen befindet, wobei ∂H|_p die Jacobinische Matrix der Transformation H, berechnet als Ort p, ist. Beim Block 186 werden die visuell auffälligen Punkte mit einem Bewegungsfluss, welcher sich von dem Erwarteten unterscheidet, gelöscht oder aus den nachfolgenden Berechnungen entfernt. Das bedeutet ein j-ter visuell auffälliger Punkt wird aus den Berechnungen entfernt, wenn ||f_j – F|| > T ist, wobei f_j der geschätzte Bewegungsfluss des j-ten visuell auffälligen Punktes ist und T eine Schwellenwertbewegungsflussdifferenz ist, wobei T entweder ein fester Wert oder ein prozentualer Wert von F sein kann.
Beim Block 188 wird jeder der verbliebenen visuell auffälligen Punkte u_j (solche, welche nicht bei dem Block 186 entfernt wurden) seinem nächsten Radarpunkt (der auf die Bildebene übertragen ist) u ~_i zugeordnet, wobei die Entfernung (zum Bestimmen des Nächstliegenden) in Bildpixelstreifen gemessen wird. Als ein Ergebnis dieser Zuordnung ist q_j = p_i in dem x-y-Rahmen, wobei q_j die Projektion des visuell auffälligen Punktes u_j von der Bildebene auf den x-y-Rahmen, unter Verwenden der homografischen Transformation H ist, und p_i der nächstliegende Radarpunkt ist.
Zu 5 zurückkehrend, sind die visuell auffälligen Punkte (Nummerierung M) nun zu den Radarpunkten (Nummerierung N) bei dem Block 108 zugeordnet worden. Beim Block 110 – mit den visuell auffälligen Punkten und ihrem Bewegungsfluss (u_j, f_j) und den Radarpunkten und ihrer radialen Geschwindigkeit (p_i, r ._i), welche wie oben beschrieben identifiziert und assoziiert sind – kann die Geschwindigkeit ν des entfernten Fahrzeugs 50 (das Objekt, welches durch die visuell auffälligen Punkte und die Radarpunkte gemessen wurde) durch Minimieren des wie folgt bestimmt werden:
wobei alle Variablen in der Gleichung (1) oben definiert und erörtert wurden.
Beim Block 112 wird die Geschwindigkeit ν des entfernten Fahrzeugs 50 in einer Fahrerassistenzapplikation wie einem System zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-System) verwendet. Wie vorhergehend erörtert, kann die Geschwindigkeit ν des entfernten Fahrzeugs 50 verwendet werden, um eine ”Eintrittszeit” in die Warnzone 16 und/oder in die Bremsumgrenzungslinie 14 zu berechnen, und die Position der Warnzone 16 kann auf der Geschwindigkeit ν des entfernten Fahrzeugs 50 basieren. Der Prozess des Flussdiagramms 100 wird fortgesetzt und die Geschwindigkeit des entfernten Fahrzeugs 50 wird kontinuierlich unter Verwenden der Fusionsberechnung der Gleichung (1) aktualisiert, solange bis ein Objekt in dem Bereich von Interesse hinter dem Host-Fahrzeug 10 detektiert wird.
Die Geschwindigkeitsberechnung, welche eine Fusion von visuell auffälligen Punkten und Radarpunkten verwendet – wie oben beschrieben – stellt eine genauere Abschätzung der Geschwindigkeit des entfernten Fahrzeugs zur Verfügung als herkömmliche Objekterfassungsverfahren. Die genaue Geschwindigkeit des entfernten Fahrzeugs kann vorteilhaft in einem System zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-System) verwendet werden. Dieses gleiche Fusionsverfahren kann auch verwendet werden, um andere Arten von Objekten – wie Fahrräder und Einkaufswagen – zu verfolgen und um Objekte in Frontansicht- oder Seitenansicht-Applikationen zu verfolgen, wo auch immer sich ein Kamerasichtfeld mit einem Radarabdeckungsbereich überlappt. Alle diese Fähigkeiten sind ohne die Notwendigkeit eines langwierigen Trainings von Objekt-Klassifizierern möglich.
Während das Verfahren, welches oben beschrieben wird, sehr wirkungsvoll für ein Detektieren und Verfolgen von einem beliebigen allgemeinen Objekt in der Nähe des Host-Fahrzeugs ist, insbesondere in einer Applikation zur Vermeidung einer Kollision mit rückwärtigem Querverkehr, können andere Verfahren zum Verfolgen entfernter Fahrzeuge in spezifischer Weise angewendet werden. Ein derartiges Verfahren nutzt den Vorteil der einzigartigen Bewegungssignatur der Räder eines entfernten Fahrzeugs und stellt eine verbesserte Berechnung der entfernten Fahrzeugposition, Geschwindigkeit und Fahrtrichtung bereit.
8 ist ein schematisches Diagramm eines Fahrzeugs 300, welches mehrere Objektdetektionssensoren in einer Seitenansichtskonfiguration aufweist. Das Host-Fahrzeug 300 umfasst ein Objekterfassungsfusionssystem 302, welches Daten von einer Kamera 304 und einem Paar Radarsensoren 306 und 308 empfängt. Das Fusionssystem 302 umfasst ein Gerät, einschließlich eines Mikroprozessors und eines Speichermoduls, wobei die Geräte derart mit Software ausgestaltet sind, dass sie eine Objekterfassungsfusion ausführen, wie sie im Detail unten beschrieben wird. Andere Applikationen, neben der Objekterfassungsfusion, können auf dem gleichen Mikroprozessor wie das Fusionssystem 302 laufen.
Die Kamera 304 und die Radarsensoren 306/308 weisen überlappende Abdeckungsbereiche auf und stellen ihre Daten dem Fusionssystem 302, in einer ähnlichen Weise zur Verfügung wie jene, welche vorhergehend mit Bezug auf das Host-Fahrzeug 10 der 1 erörtert wurden. Wie im Fall der 1, werden die Größen und Formen eines Kamerasichtfeldes 314, die Radarabdeckungsbereiche 316/318 und ein überlappendes Abdeckungsoval 320 (innerhalb welches ein entferntes Fahrzeug durch die Kamera 304 und wenigstens einen der Radarsensoren 306/308 detektiert werden kann) alle konzeptionell in 8 gezeigt, wie es für einen Fachmann des Standes der Technik verständlich ist.
Wie vorhergehend erörtert, kann es selbst mit zwei oder mehr Objektsensoren für ein herkömmliches Objekterfassungsfusionssystem schwierig sein, genau die zweidimensionale (2-D) Geschwindigkeit eines entfernten Fahrzeugs zu bestimmen, insbesondere wenn sich das entfernte Fahrzeug hauptsächlich in einer lateralen (oder tangentialen) Richtung, relative zu dem Host-Fahrzeug 300, bewegt. Die Natur dieses Problems, wie es sich in einer Seitenansicht oder einer lateralen Kollisionsvermeidungssituation manifestiert, wird in 9 dargestellt.
9 ist eine Darstellung des Host-Fahrzeugs 300, wie in 8 gezeigt, zusammen mit einem entfernten Fahrzeug 400. 9 stellt eine typische Mehrspurstraßen-Fahrtszene dar, auf der das Host-Fahrzeug 300 fährt, wie es durch den Geschwindigkeitspfeil 330 angezeigt wird, und das entfernte Fahrzeug 400 fährt im allgemeinen Längsseits von dem Host-Fahrzeug 300, driftet aber potentiell in eine Richtung zu dem Host-Fahrzeug 300, welche einen Konflikt verursachen kann. In lateralen Kollisionsverhinderungs-(LCP, lateral collision prevention)Systemen kann das Host-Fahrzeug 300 eine Warnung an den Fahrer ausgeben, ob das entfernte Fahrzeug 400 in eine Warnzone eindringt oder kann eine verhindernde Aktion (Bremsen und/oder Lenken) tätigen, wenn bestimmt wird, dass sich das entfernte Fahrzeug 400 in eine unmittelbar bevorstehende bzw. imminente Kollisionsgefahr begibt.
Die Geschwindigkeit des entfernten Fahrzeugs 400 ist ein wichtiger Parameter, welcher durch das LCP-System bekannt sein sollte. Es kann deutlich in 9 gesehen werden, dass die Warnung und/oder Aktionen, welche durch das LCP-System zu tätigen sind, sehr unterschiedlich sein würden, wenn das entfernte Fahrzeug 400 eine erste Geschwindigkeit 402 aufweist, als wenn das entfernte Fahrzeug 400 eine zweite Geschwindigkeit 404 aufweist. Somit wird es deutlich, dass eine genaue 2-D Geschwindigkeit des entfernten Fahrzeugs 400 benötigt wird. Im Fall eines lateral positionierten entfernten Fahrzeugs ist es möglich, welche entfernten Fahrzeugräder genau zu identifizieren und die entfernten Fahrzeugrädermessungen zu verwenden, um die 2-D Geschwindigkeit des entfernten Fahrzeugs zu bestimmen und simultan den zielenden Winkel des Radarsensors zu kalibrieren.
10 ist eine Seitenansichtsdarstellung eines Reifens eines Rades, welcher auf dem Untergrund abrollt, welche die grundlegenden Bewegungseigenschaften zeigt, welche verwendet werden können, um die Radarsensordaten der Räder zu identifizieren. In 10, rollen ein Reifen 260 mit einem Rad 270 auf dem Untergrund. Das Rad 270 hat einen Radius r 272 und der Reifen 260 hat eine Dicke H 262. Ein Außenradius des Reifens, R, wird definiert als r + H. Eine Analyse von drei Punkten auf dem Rad 270 – einem Radfußpunkt 274, einem Radzentrumspunkt 276 und einem Radspitzenpunkt 278 – stellt dar, wie das Rad durch die Radarrücklaufdaten genau identifiziert werden kann. Zur Visualisierung, relativ zu 9, wird angenommen, dass der Reifen 260 und das Rad 270 auf der rechten Seite des entfernten Fahrzeugs 400 sind.
Der Radzentrumspunkt 276 bewegt sich natürlich mit der gleichen Geschwindigkeit ν (gekennzeichnet durch den Pfeil 286) wie das entfernte Fahrzeug 400. Der Radspitzenpunkt 278 bewegt sich aufgrund der Radrotation mit einer Geschwindigkeit: ν₂₇₈ = (1 + R – H / R)ν (2)
Oder mit anderen Worten bewegt sich der Radspitzenpunkt 278 mit einer Geschwindigkeit (gekennzeichnet durch den Pfeil 288), welche ungefähr das Zweifache der Geschwindigkeit des entfernten Fahrzeugs ν beträgt Auf ähnliche Weise bewegt sich der Radfußpunkt 274, aufgrund der Radrotation, mit einer Geschwindigkeit: ν₂₇₄ = (1 – R – H / R)ν (3)
Oder mit anderen Worten bewegt sich der Radfußpunk 274 mit einer absoluten Geschwindigkeit (gekennzeichnet durch den Pfeil 284), welche ein wenig größer als Null ist.
Räder sind gute Radarreflektoren, somit können viele Radarpunkte wahrscheinlich von dem Rad 270 reflektiert werden. Angenommen, dass das Rad 270 nicht perfekt senkrecht zu der Sichtlinie des Radarsensors 306/308 angeordnet ist, werden verschiedene Geschwindigkeiten der Punkte auf dem Rad – wie durch die Punkte 274/276/278 dargestellt – unterschiedliche Doppler-Bereichsratenmessungen durch die Radarsensoren 306/308 ergeben. Somit können, wenn die Sensoren 306/308 vielfache Radarpunkte für im Wesentlichen den gleichen Ort detektieren, mit dramatisch unterschiedlichen Bereichsratenwerten, diese Gruppierungen von Punkten betrachtet werden, als wären sie ein Rad auf dem entfernten Fahrzeug 400.
Um entfernte Fahrzeugradorte zu verwenden, um das entfernte Fahrzeug 400 zu verfolgen und die Radarsensor ausgerichteten Winkel zu kalibrieren, müssen die Orte auf den Rädern der entfernten Fahrzeuge 400 zuerst durch die Radardaten identifiziert werden. Die 11 und 12 sind Draufsichtdiagramme des Host-Fahrzeugs 300 und des entfernten Fahrzeugs 400, welche die Prinzipien und die Geometrieverhältnisse darstellen, auf denen die folgenden Diskussion und die Berechnungen – welche die Raddetektion, Verfolgung eines entfernten Fahrzeuges und Radarsensor-Kalibrierung beschreiben – basieren.
Das Host-Fahrzeug 300 weist einen Flächenschwerpunktradius 332 auf, welcher als Ursprung von einem X-Y-Koordinatenrahmen wie gezeigt dient. Die Radarsensoren 306 und 308 sind jeweils an einer Position p_l in dem Host-Fahrzeugrahmen positioniert, wobei l = 0,1 ist. Somit kann der Radarsensor 306 als R₀ bezeichnet werden, welcher an der Position p₀ (gekennzeichnet durch den Vektor 342) angeordnet ist und der Radarsensor 308 kann als R₁ bezeichnet werden, welcher an der Position p_i (gekennzeichnet durch den Vektor 352) angeordnet ist. Auf ähnliche Weise hat der Radarsensor 306 (R₀) eine Sichtlinie 344, welche in einem Winkel φ₀ (Winkelmessung 346) von der geradeaus (X) Richtung des Host-Fahrzeugs 300 angeordnet ist, und der Radarsensor 308 (R₁) hat eine Sichtlinie 354, welche in einem Winkel φ₁ (Winkelmessung 356) von der geradeaus (X) Richtung des Host-Fahrzeugs 300 angeordnet ist.
Das entfernte Fahrzeug 400 hat einen Flächenschwerpunktradius 406 und bewegt sich mit einer Geschwindigkeit ν entlang dem Vektor 402, welcher in einem Winkel θ (Winkelmessung 408) von der geradeaus (X) Richtung des Host-Fahrzeugs 300 liegt. Das entfernte Fahrzeug 400 hat rechtsseitige Räder 410 und 412. Für den Zweck dieser Diskussion ist das entfernte Fahrzeug 400 ein Auto oder ein Lastwagen mit vier Rädern (zwei auf jeder Seite); das Raddetektionsverfahren ist jedoch genauso anwendbar für ein entferntes Fahrzeug mit zwei Rädern (Motorrädern) und entfernte Fahrzeuge mit mehr als vier Rädern (Lastwagen und Busse). Jedes der Räder des entfernten Fahrzeugs 400 ist in einer Position q_k (gekennzeichnet durch Vektor 414) in dem entfernten Fahrzeugrahmen angeordnet, wobei k = 0, ..., 3. Ist.
Wie oben erörtert, ist die erste Aufgabe, die Räder 410 und 412 auf dem entfernten Fahrzeug 400 zu detektieren, welches durch Identifizieren der Gruppierungen von Radarpunkten an dem gleichen Ort mit Doppler-Bereichs-(Bereichsrate)Messungen gemacht wird. Für das Rad 270 der 10 kann die relative Geschwindigkeit des Radspitzenpunktes 278 mit Bezug auf das Host-Fahrzeug 300, bei einer Komponente davon die gleich der Bereichsrate des Punktes 278 ist, welcher durch die Radarsensoren 306/308 detektiert wird, definiert werden als:
Wobei r der Radradius ist, R der Reifenradius ist, ν die Geschwindigkeit des entfernten Fahrzeugs 400 ist, θ der Fahrtrichtungswinkel des entfernten Fahrzeugs 400 ist und ν_H die Geschwindigkeit des Host-Fahrzeugs 300 ist.
Auf ähnliche Weise bewegt sich der Radfußpunkt 274 bei einer relativen Geschwindigkeit mit Bezug auf das Host-Fahrzeugs 300, welches durch Verwenden einer Variation der Gleichung (4) erhalten werden kann, wobei der (1 + r/R) Faktor durch (1 – r/R) ersetzt wird. In den meisten Umständen wird sich der Radfußpunkt 274 weg von dem Host-Fahrzeug 300 bewegen.
Für den Radarsensor 306 (R₀), welcher eines der Räder des entfernten Fahrzeugs 400 misst, wie in den 11 und 12 gezeigt, kann ein radialer Einheitsvektor n → definiert werden als: n → = [cos(φ + φ₀)sin(φ + φ₀)]^T (5)
Wobei φ, wie in 12 gezeigt, der Azimut-Messungswinkel des entfernten Fahrzeugrades relativ zu der Sichtlinie 344 des Radarsensors ist (gekennzeichnet durch Winkelmessung 360 und gezeigt als –φ, weil er im Uhrzeigersinn von der Sichtlinie 344 aus gemessen wird, während φ₀ entgegen dem Uhrzeigersinn gemessen wird).
Die relative Geschwindigkeit ν → eines Punktes eines entfernten Fahrzeugrades (aus der Gleichung 4) und dem Radialstrahl-Einheitsvektor n → von dem Radarsensor zu dem Rad (aus der Gleichung 5) kennend, kann die erwartete Doppler-Messung D des Punktes auf dem Rad des entfernten Fahrzeugs bestimmt werden als: D = ν → n → (6)
13 ist ein Flussdiagramm 500 eines Verfahrens zum Detektieren von Rädern eines entfernten Fahrzeugs basierend auf der oben erörterten Messtechnik. Beim Block 502 werden Sensorpunkte für die Radarsensoren 306 und 308 gewonnen. Jeder Sensorunkt i weist einen Bereich, eines Doppler- und eines Azimut-Winkels auf. Das bedeutet, jeder Sensorpunkt umfasst (r_i, D_i, α_i) für i = 1, ..., N. Beim Block 504 werden Radarpunkte in Gruppen zusammengefasst basierend auf einer positionelle Nähe (Bereich r und Azimuth-Winkel α). Ein Verfahren zum Zusammenfassen von Radarpunkten in Gruppen, um Punkte i und j zuzuordnen, erfolgt falls und nur falls:
Ist, wobei σ_r und σ_α anpassbare Kalibrierungswerte sind und der Bereich r und der Winkel α wurden oben beschrieben.
Beim Block 506 wird der Doppler-Wert von allen Radarpunkten in jeder der Gruppierungen, welche in der Gleichung (7) identifiziert wurden, bewertet. Wenn eine Gruppierung von Punkten Doppler-Werte in einem Bereich, wie er durch die Gleichungen (4)–(6) beschrieben wird (einschließlich einigen Punkten, welche sich in Richtung des Host-Fahrzeugs 300 bewegen, und einigen Punkten, welche sich von dem Host-Fahrzeug 300 wegbewegen), aufweist, dann wird die Gruppierung als ein Rad auf dem entfernten Fahrzeug 400 identifiziert. Beim Block 508 wird ein Radabstand W des entfernten Fahrzeugs 400 berechnet, wenn zwei Räder des entfernten Fahrzeugs 400 detektiert werden, höchstwahrscheinlich die beiden Räder auf der Seite, welche am nächsten zu dem Host-Fahrzeug 300 liegen. Der Radabstand W wird als der Abstand zwischen den Zentren der zwei detektierten Räder berechnet. Die Zentren der Räder können als Radarpunkte identifiziert werden, welche am nächsten am geometrischen Zentrum der Punkte, welche in der Radgruppierung enthalten sind, liegen. Die Orte der Radzentrumspunkte aus dem Bereich r und den Azimuth-Winkel α kennend, ist ein Berechnen eines Abstands zwischen den zwei Punkten unkompliziert. Beim Block 510 wird der Ausrichtungswinkel θ des entfernten Fahrzeugs 400 (Winkelmessung 408) berechnet, wenn zwei Räder auf dem entfernten Fahrzeug 400 detektiert werden. Die Berechnung des Ausrichtungswinkels θ ist auch unkompliziert, bei angegebenen Orten der zwei Radzentrumspunkte.
14 ist ein Flussdiagramm 540 eines Verfahrens, um gleichzeitig das entfernte Fahrzeug 400 zu verfolgen und die Ausrichtungswinkel der Radarsensoren 306/308 unter Verwenden einer Detektion von Rädern eines entfernten Fahrzeuges zu kalibrieren. Die Verfahrensschritte des Flussdiagramms 540 können durch das Objekterfassungsfusionssystem 302 auf dem Host-Fahrzeug 300 ausgeführt werden. Beim Block 542 werden durch die Radarsensoren 306/308 Radarpunktdaten bereitgestellt. Zum Zweck dieser Diskussion, werden die Daten vom Block 542 dem Objekterfassungsfusionssystem 302 – welches einen Mikroprozessor und ein Speichermodul, wie vorhergehend erörtert, umfasst – bereitgestellt und alle folgenden Berechnungen werden darauf ausgeführt. Beim Block 544 werden die Räder auf dem entfernten Fahrzeug 400 in den Radarpunktdaten der Sensoren 306/308 identifiziert. Wenn zwei Räder identifiziert werden, wird der Ausrichtungswinkel θ ebenfalls bei dem Block 544 berechnet. Details der Schritte, welche am Identifizieren der Räder des entfernten Fahrzeugs 400 und am Berechnen des Ausrichtungswinkels θ beteiligt sind, werden in 13, wie oben erörtert, bereitgestellt.
Beim Block 546 werden die Position, Ausrichtung und Geschwindigkeit des entfernten Fahrzeugs 400 unter Verwenden der Räder, welche durch die Radarsensoren 306 und 308 detektiert wurden, verfolgt. Der Zustand des entfernten Fahrzeugs 400 wird modelliert als s = (x, y, ν_x, ν_y), welcher die Zentrumsposition r = (x, y)^T und Geschwindigkeit über Grund ν = (ν_x, ν_y)^T des entfernten Fahrzeugs 400 darstellt. Der Fahrtrichtungs- oder Ausrichtungswinkel θ des entfernten Fahrzeugs 400 wird auf die x und y Geschwindigkeiten durch θ = tan^–1(ν_y, ν_x) bezogen.
Wie oben in der Diskussion der 11 und 12 beschrieben, können die Räder des entfernten Fahrzeugs 400 durch eine Anzahl k = 0, ..., 3 identifiziert werden, wobei jedes Rad an einer Position q_k in dem entfernten Fahrzeugrahmen angeordnet ist. Wie ebenfalls oben beschrieben, können die Radarsensoren 306/308 an dem Host-Fahrzeug 300 durch eine Zahl l = 0,1, identifiziert werden, wobei jeder Sensor an einer Position p_l in dem Host-Fahrzeugbezugsrahmen liegt und einen Blicklinienwinkel φ_l von der gradlinigen (X) Richtung des Host-Fahrzeugs 300 aufweist.
Gemäß dem oben Vorgegebenen, kann eine allgemeine Bezeichnung definiert werden, wo die Position des k-ten Rades, welches durch den l-ten Radarsensor gemessen wurde, als m_lk bekannt ist.
Als nächstes wird eine Rotationsmatrix Rot definiert, wobei Rot verwendet wird, um Rotationspunktkoordinaten zu verwenden, wie es basierend auf den Winkeln θ und φ notwendig ist. Die Matrix Rot wird definiert als.
Die Messgleichung für das k-te Rad, welches durch den l-ten Radarsensor gemessen wird (für k = 0, ..., 3 und l = 0,1) basierend auf dem Zustand s des entfernten Fahrzeugs 400 wird dann definiert als: h_lk(s) ≡ Rot(–φ_l)(r + Rot(θ)q_k – p_l = m_lk (9)
Wobei h_lk eine Funktion des entfernten Fahrzeugzustands s ist und die anderen Variablen in der obigen Diskussion beschrieben wurden. Gleichung (9) kann rekursiv gelöst werden, um optimal den Zustand s basierend auf jeder neuen Radpositionsmessung m_lk zu schätzen. In einem nichtbegrenzenden Ausführungsbeispiel wird die Gleichung (9) in einer Kalman-Filter-Routine programmiert, um den Zustand s zu lösen.
Durch kontinuierliches Lösen der Gleichung (9) unter Verwenden aller verfügbaren Radmessungen, kann der Zustand des entfernten Fahrzeugs 400 (x, y, ν_x, ν_y, θ) durch das Host-Fahrzeug 300 beim Block 546 solange verfolgt werden, wie das entfernte Fahrzeug 400 innerhalb des Bereichs von Interesse bleibt.
Beim Block 548 werden die Ausrichtungswinkel der Radarsensoren 306/308 basierend auf den identifizierten Orten der Räder des entfernten Fahrzeugs 400 kalibriert. Wie in den 11 und 12 gezeigt, kann das Rad 410 auf dem entfernten Fahrzeug 400 sowohl durch den Radarsensor 306 als auch durch den Radarsensor 308 detektiert werden, somit werden redundante Messdaten bereitgestellt. Das gleiche trifft auf das Rad 412 zu. Diese redundanten Messdaten können vorteilhaft für eine Sensorausrichtungskalibrierung verwendet werden.
Wenn die bekannten Positionen der Radarsensoren 306 und 308 (p₀ beziehungsweise p₁) und ihre entsprechenden Blicklinienwinkel (φ₀ und φ₁) bekannt sind, sollte die Gleichung (9) den gleichen Ort q für das Rad 410 ergeben, ob durch den Radarsensor 306 oder den Radarsensor 308 gemessen. In Wirklichkeit kann es jedoch sein, dass die redundanten Messungen des Rades 410 nicht übereinstimmen und eine beliebige Differenz auf eine Sensorfehlausrichtung zurückzuführen ist. Wenn zum Beispiel angenommen wird, dass der Ausrichtungswinkel φ₀ des Sensors 306 korrekt ist, dann kann der Ausrichtungswinkel φ₁ des Sensors 308 basierend auf den Messdaten kalibriert werden, um der Position r und Ausrichtung θ des entfernten Fahrzeugs 400 und den Ort q des Rades 410 genauer anzupassen.
Unter Extrahieren des zweiten Faktors von Gleich (9) oben, kann ein berechneter Ausdruck β_t definiert werden als: β_t = (r_t + Rot(θ_t)q_k – p₁) (10)
Wobei t ein Zeitfolgeidentifizierer, t = 1, ..., N ist und die N letzten Werte des berechneten Ausdrucks β_t und die Radarmessungen m_t in einem Puffer gespeichert werden.
Eine Rotationsausrichtungsmatrix R kann definiert werden als R ≡ Rot(–φ₁) und kann durch Minimieren der folgenden Funktion der kleinsten Fehlerquadrate gelöst werden: Σ N / t=1||Rβ_t – m_t||² (11)
Das folgende Verfahren kann verwendet werden, um die Gleichung (11) zu lösen. Lasse die Matrizen P = [β₁, ..., β_N] und M = [m₁, ..., m_N] sein. Die Matrix U, V und S werden durch eine einzige Wertezerlegung von PM^T erhalten. Das bedeutet USV^T = svd(PM^T). Die Lösung der Gleichung (11) der kleinsten Fehlerquadrate ist R = UCV^T, wobei
und det der Determinanten-Operator ist.
Mit der Matrix R, welche oben gelöst wird, ist der geschätzte Ausrichtungswinkel für den Radarsensor 308 φ₁ = tan^–1(R₁₂, R₁₁). Der Ausrichtungswinkel für die Radarsensoren 306 oder 308 kann kontinuierlich beim Block 548 der 14 kalibriert werden. Der Ausrichtungswinkel kann, um zukünftige Messwerte von den Radarsensoren 306 oder 308 anzupassen verwendet werden. Das Verfolgen des entfernten Fahrzeugs 400 und der gleichzeitigen Kalibrierung der Radarsensorausrichtung wird durch die redundante und wiederholte Messung der Räder des entfernten Fahrzeugs 400 durch die Radarsensoren 306/308 an dem Host-Fahrzeug 300 und durch die oben erörterten Fusionsberechnungen möglich.
Das Objekterfassungssystem 302 kann auch optische Daten von der Kamera 304 in den Fusionsberechnungen, welche oben erörtert werden, umfassen, um weiter die Verfolgung des entfernten Fahrzeugs 400 und die gleichzeitige Kalibrierung der Radarsensorausrichtung zu verfeinern. Das kann durch Identifizieren der Räder als auffällige Punkte in den optischen Daten und dem Fusionieren der visuell auffälligen Punkte mit entsprechenden Radarpunkten vorgenommen werden, wie es oben mit Bezug auf die Applikation zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA) erörtert wurde.
Die Verfolgung eines entfernten Fahrzeugessberechnung, welche eine Radar-Raddetektion – wie oben beschrieben – verwendet, stellt eine genauere Abschätzung der entfernten Fahrzeugposition, Ausrichtung und Geschwindigkeit bereit als herkömmliche Objekterfassungsverfahren. Die genaue entfernte Verfolgung kann vorteilhaft in einem lateralen Kollisionsverhinderungs-(LCP)System verwendet werden, bei dem ein genaues Wissen der 2-D Geschwindigkeit des entfernten Fahrzeugs kritisch ist. Beim Verwenden dieses gleichen Fusionsverfahrens stellt das virtuelle Kalibrieren der Radarsensorausrichtung zusätzliche Vorteile sowohl für den Fahrzeughersteller als auch für den Fahrzeugeigentümer/Fahrer zur Verfügung.
Die vorhergehende Diskussion offenbart und beschreibt nur exemplarische Ausführungsbeispiele der vorliegenden Erfindung. Ein Fachmann der Technik erkennt bereits aus dieser Diskussion und aus den begleitenden Zeichnungen und Ansprüchen, dass verschiedene Änderungen, Modifikationen und Variationen darin ausgeführt werden können, ohne von dem Geist und dem Rahmen der Erfindung, wie er in den folgenden Ansprüchen definiert ist, abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7460951 [0021]

Claims

Ein Verfahren zum Verfolgen eines Zielobjekts, welches sich in einem Bereich von Interesse in der Nähe eines Host-Fahrzeugs bewegt, wobei das Verfahren folgende Schritte umfasst: – Bereitstellen von Bildern von einer Kamera an Bord des Host-Fahrzeugs, wobei die Bilder ein Sichtfeld relativ zu dem Host-Fahrzeug abdecken; – Bereitstellen von Daten von zwei Radarsensoren an Bord des Host-Fahrzeugs, wobei die Radarsensoren Abdeckungsbereiche aufweisen, welche das Sichtfeld der Kamera überlappen, so dass das Zielobjekt durch die Kamera und wenigstens einen der Radarsensoren erfasst wird, und wobei die Daten von den Radarsensoren Radarpunkte einschließen, welche eine Zielobjektposition und eine radiale Geschwindigkeit des Zielobjektes identifizieren; – Bestimmen, dass das Zielobjekt in einem Bereich von Interesse vorhanden ist, basierend auf einer Information von einem der Radarsensoren; – Analysieren der Bilder von der Kamera, um visuell auffällige Punkte an dem Zielobjekt zu identifizieren und zu verfolgen, wobei die visuell auffälligen Punkte Orte mit örtlich maximaler Intensitätsvariation in den Bildern einschließen; – Assoziieren der visuell auffälligen Punkte mit den Radarpunkten, einschließlich einer Transformation zwischen Radarpunktposition und Abbildungsort des visuell auffälligen Punktes, wobei Assoziationen auf Position und Bewegung der visuell auffälligen Punkte und der Radarpunkte basieren; und – Berechnen, unter Verwenden eines Mikroprozessors, einer Geschwindigkeit des Zielobjekts relativ zu dem Host-Fahrzeug unter Verwenden einer Fusionsberechnung, welche die Position und die radiale Geschwindigkeit der Radarpunkte, und einen Bewegungsflusses der visuell auffälligen Punkte einschließt.
Das Verfahren nach Anspruch 1, wobei das Analysieren der Bilder von der Kamera, um visuell auffällige Punkte zu identifizieren und zu verfolgen, ein Detektieren der visuell auffälligen Punkte einem Bild, ein Bilden einer Korrespondenz zwischen den visuell auffälligen Punkten in zwei zeitlich aufeinander folgenden Bildern, ein Detektieren von räumlich-zeitlich stabilen visuell auffälligen Punkten und ein Festlegen eines Bewegungsflusses der visuell auffälligen Punkte einschließt.
Das Verfahren nach Anspruch 2, wobei der Bewegungsfluss in dem Bild in Pixeln pro Sekunde gemessen wird.
Das Verfahren nach einem der Ansprüche 1 bis 3, wobei das Assoziieren der visuell auffälligen Punkte mit den Radarpunkten ein Projizieren der Radarpunkte in eine Bildebene der visuell auffälligen Punkte, ein Projizieren einer vorhergesagten Geschwindigkeit der Radarpunkte in die Bildebene, um eine Basislinie des Bewegungsflusses zu bestimmen, ein Entfernen von visuell auffälligen Punkten mit einem Bewegungsfluss, welcher im Wesentlichen unterschiedlich von der Basislinie des Bewegungsflusses ist, aus der Betrachtung und ein Zuordnen der verbliebenen visuell auffälligen Punkte zu einem nächstliegenden Radarpunkt, einschließt.
Das Verfahren nach Anspruch 4, wobei das Entfernen visuell auffälliger Punkte mit einem Bewegungsfluss, welcher im Wesentlichen unterschiedlich von der Basislinie des Bewegungsflusses ist, ein Identifizieren und Entfernen von visuell auffälligen Punkten umfasst, deren Bewegungsfluss sich von der Basislinie des Bewegungsflusses durch eine Größe, welche einen vorbestimmten Schwellenwert übersteigt, unterscheidet.
Das Verfahren nach Anspruch 4 oder Anspruch 5, wobei das Zuordnen der verbliebenen visuell auffälligen Punkte zu einem nächstliegenden Radarpunkt ein Identifizieren des nächstliegenden Radarpunktes umfasst, basierend auf einem Abstand, welcher in horizontalen Pixeln in der Bildebene gemessen wird.
Das Verfahren nach einem der Ansprüche 1 bis 6, wobei das Zielobjekt ein entferntes Fahrzeug ist, welches in dem Bereich von Interesse gefahren wird.
Das Verfahren nach Anspruch 7, wobei die visuell auffälligen Punkte an dem entfernten Fahrzeug Räder, Türgriffe, Frontlichter, Hecklichter, Außenspiegel und Übergänge zwischen Säulen und Karosserieplatten einschließen.
Das Verfahren nach Anspruch 7 oder Anspruch 8, weiter umfassend, ein Verwenden der Geschwindigkeit des entfernten Fahrzeugs in einem System zur Vermeidung einer Kollision mit rückwärtigem Querverkehr (RCTA-System), wobei der Bereich von Interesse rückwärtig von dem Host-Fahrzeug gelegen ist und das RCTA-System eine Warnung ausgibt, wenn das entfernte Fahrzeug wahrscheinlich unmittelbar in eine Warnzone eindringt, und die Bremsen des Host-Fahrzeugs einsetzt, wenn das entfernte Fahrzeug voraussichtlich unmittelbar in eine Bremsumgrenzungslinie eindringt.
Ein Objektdetektionssystem für ein Host-Fahrzeug, wobei das System umfasst: – eine Kamera an Bord des Host-Fahrzeugs, wobei die Kamera Bilder bereitstellt, welche ein Sichtfeld, relativ zu dem Host-Fahrzeug, abdecken; – zwei Radarsensoren an Bord des Host-Fahrzeugs, wobei die Radarsensoren Abdeckungsbereiche aufweisen, welche das Sichtfeld der Kamera derart überlappen, dass ein Zielobjekt durch die Kamera und wenigstens einen der Radarsensoren erfasst wird, und wobei die Radarsensoren Radarpunkte bereitstellen, welche eine Position und eine radiale Geschwindigkeit des Zielobjektes identifizieren; und – einen Objektdetektionsprozessor, welcher einen Mikroprozessor und ein Speichermodul einschließt, wobei der Prozessor programmiert ist zum: – Bestimmen, dass das Zielobjekt in einem Bereich von Interesse vorhanden ist, basierend auf einer Information von einem der Radarsensoren; – Analysieren der Bilder von der Kamera, um visuell auffällige Punkte auf dem Zielobjekt zu identifizieren und zu verfolgen, wobei die visuell auffälligen Punkte Orte mit örtlich maximaler Intensitätsvariation in den Bildern einschließen; – Assoziieren der visuell auffälligen Punkte mit den Radarpunkten, einschließlich einer Transformation zwischen Radarpunktposition und Abbildungsort des visuell auffälligen Punktes, wobei die Assoziationen auf Position und Bewegung der visuell auffälligen Punkte und der Radarpunkte basieren; und – Berechnen einer Geschwindigkeit des Zielobjekts, relativ zu dem Host-Fahrzeug, unter Verwenden einer Fusionsberechnung, welche die Position und die radiale Geschwindigkeit der Radarpunkte, und einen Bewegungsfluss der visuell auffälligen Punkte einschließt.