DE102012023746A1

DE102012023746A1 - Verfahren zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs durch Fusion von Bilddaten mit anderen Sensordaten, Fahrerassistenzeinrichtung und Kraftfahrzeug

Info

Publication number: DE102012023746A1
Application number: DE201210023746
Authority: DE
Inventors: Sean Finn; Ciaran Hughes; Jan Thomanek; Hadj Hamma Tadjine
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2012-12-04
Filing date: 2012-12-04
Publication date: 2014-06-05

Abstract

Die Erfindung betrifft ein Verfahren zum Verfolgen eines Zielobjekts (3) in einem Umgebungsbereich (4) eines Kraftfahrzeugs (1) mittels einer Fahrerassistenzeinrichtung (2) des Kraftfahrzeugs (1) durch Fusion von Bilddaten einer Kamera (5) mit Sensordaten eines von der Kamera (5) verschiedenen Sensors (6, 7, 8, 9) der Fahrerassistenzeinrichtung (2), gekennzeichnet durch folgende Schritte:
– Bereitstellen eines Bilds des Umgebungsbereichs (4) mittels der Kamera (5),
– Detektieren des Zielobjekts (3) und Bestimmen einer relativen Position des Zielobjekts (3) bezüglich des Kraftfahrzeugs (1) als erstes Positionsergebnis (K) anhand des Bildes mittels einer Bildverarbeitungseinrichtung (17) und unabhängig davon:
– Bestimmen der relativen Position des Zielobjekts (3) als zweites Positionsergebnis (U) anhand der Sensordaten des Sensors (6, 7, 8, 9) und
– Zuführen des ersten und des zweiten Positionsergebnisses (K, U) einem gemeinsamen Verfolgungsfilter zum Verfolgen des Zielobjekts (3).

Description

Die Erfindung betrifft ein Verfahren zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Fahrerassistenzeinrichtung des Kraftfahrzeugs durch Fusion von Bilddaten einer Kamera mit Sensordaten eines von der Kamera verschiedenen Sensors. Die Erfindung betrifft außerdem eine Fahrerassistenzeinrichtung, welche zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einer solchen Fahrerassistenzeinrichtung.
Das Interesse richtet sich vorliegend auf eine Kameraeinrichtung für ein Kraftfahrzeug, bei welcher mittels einer Kamera Bilder eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt werden. Solche Kameraeinrichtungen für Kraftfahrzeuge sind bereits Stand der Technik. Anhand von Bildern der Kamera kann dann ein Zielobjekt – etwa ein Fußgänger oder ein anderes Fahrzeug oder aber ein anderes Hindernis – in dem Umgebungsbereich des Kraftfahrzeugs detektiert werden. Zu diesem Zwecke werden die Bilder beispielsweise einer Mustererkennung unterzogen, und das Zielobjekt wird mittels der Mustererkennung identifiziert. Es ist außerdem Stand der Technik, das einmal detektierte Zielobjekt in der zeitlichen Sequenz der Bilder und somit über der Zeit zu verfolgen. Eine derartige Verfolgung bedeutet, dass anhand jedes Bildes der Kamera jeweils die relative Position des Zielobjekts bezüglich des Kraftfahrzeugs bestimmt wird. Mit anderen Worten wird die aktuelle relative Position des Zielobjekts anhand der Bilder bestimmt.
Zum Stand der Technik gehören auch solche Verfahren, bei denen zur Detektion eines Zielobjekts sowohl die Bilder einer Kamera als auch Sensordaten eines separaten Sensors zusammengefasst werden. Eine solche Sensorfusion sieht üblicherweise so aus, dass die Detektion des Zielobjekts in den Bildern zusätzlich noch durch die Sensordaten des separaten Sensors unterstützt oder plausibilisiert wird. Die Sensorfusion beschränkt sich somit darauf, zur Detektion des Zielobjekts in den Bildern der Kamera auch die Sensordaten des separaten Sensors zu verwenden, sodass das Identifizieren des Zielobjekts in den Bildern zuverlässiger erfolgt. Diese Detektion des Zielobjekts im Bild unter Berücksichtigung der Sensordaten des separaten Sensors ist nämlich präziser als alleine anhand der Bilddaten. In manchen Fällen kann das Zielobjekt in den Bildern nämlich nicht oder nur mit einem großen Aufwand detektiert werden. Wird das Objekt in diesem Falle zusätzlich noch durch den separaten Sensor detektiert, so kann die Detektion in dem Bild unterstützt werden.
Die oben beschriebene Vorgehensweise ermöglicht zwar eine zuverlässige Detektion des Zielobjekts in einem Bild, jedoch hat diese Methode auch ein Weiterentwicklungspotential, nämlich hinsichtlich der präzisen Bestimmung der aktuellen Position des Zielobjekts relativ zum Kraftfahrzeug.
Es ist Aufgabe der Erfindung, eine Lösung aufzuzeigen, wie bei einem Verfahren der eingangs genannten Gattung die Bestimmung der aktuellen relativen Position des Zielobjekts bezüglich des Kraftfahrzeugs und somit das Verfolgen des Zielobjekts im Vergleich zum Stand der Technik noch präziser erfolgen kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Fahrerassistenzeinrichtung sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Verfolgen eines Zielobjekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels einer Fahrerassistenzeinrichtung des Kraftfahrzeugs durch Fusion von Bilddaten einer Kamera der Fahrerassistenzeinrichtung mit Sensordaten eines von der Kamera verschiedenen Sensors der Fahrerassistenzeinrichtung. Es wird ein Bild des Umgebungsbereichs mittels der Kamera bereitgestellt. Eine Bildverarbeitungseinrichtung detektiert dann das Zielobjekt in dem Bild und bestimmt eine relative Position des Zielobjekts bezüglich des Kraftfahrzeugs als erstes Positionsergebnis anhand des Bildes. Unabhängig von dem ersten Positionsergebnis wird die relative Position des Zielobjekts als zweites Positionsergebnis zusätzlich auch anhand der Sensordaten des separaten Sensors bestimmt. Das erste und das zweite Positionsergebnis werden dann einem gemeinsamen Verfolgungsfilter zugrunde gelegt, mittels welchem die aktuelle relative Position des Zielobjekts bestimmt und das Zielobjekt verfolgt wird.
Erfindungsgemäß wird die relative Position des Zielobjekts somit auf zwei verschiedene und voneinander unabhängige Arten bestimmt, und die voneinander unabhängigen Messwerte werden dann einem gemeinsamen Verfolgungsfilter (zum Beispiel Kalman-Filter) zugeführt, welches das Zielobjekt anhand der unabhängigen Messwerte verfolgt. Einerseits wird die relative Position des Zielobjekts anhand des Bildes der Kamera bestimmt und als erstes Positionsergebnis abgespeichert. Andererseits wird die relative Position des Zielobjekts auch unabhängig von dem Bild anhand der Sensordaten des separaten Sensors bestimmt und als zweites Positionsergebnis abgespeichert. Diese unterschiedlichen Positionsergebnisse werden dann dem Verfolgungsfilter zugrunde gelegt. Das erfindungsgemäße Verfahren hat den Vorteil, dass die Bestimmung der tatsächlichen aktuellen Position des Zielobjekts relativ zum Kraftfahrzeug besonders präzise und höchst genau erfolgen kann. Die beiden Sensorarten liefern nämlich voneinander unabhängige Positionsergebnisse, welche dann mittels des Verfolgungsfilters zur Verfolgung des Objekts verwendet werden. Ein weiterer Vorteil besteht darin, dass das erste Positionsergebnis und das zweite Positionsergebnis nicht miteinander synchronisiert werden müssen und die relative Position auch zu unterschiedlichen Zeitpunkten angeben können. Diese voneinander unabhängigen Positionsergebnisse können nämlich in Form einer zeitlichen Folge von Messwerten dem Verfolgungsfilter zugeführt werden, welches die tatsächliche aktuelle Position fortlaufend in Abhängigkeit von dem aktuell empfangenen Positionsergebnis anpasst. Die Erfindung basiert dabei auf der Erkenntnis, dass die Bestimmung der relativen Position alleine anhand der Bilder mit einem Fehler versehen ist, weil die Entfernung des Zielobjekts von der Kamera anhand des Bildes nur unpräzise bestimmt werden kann. Die Position des Zielobjekts entlang der Kameraachse kann folglich nur unpräzise bestimmt werden. Demgegenüber ist mithilfe eines Sensors zwar die Bestimmung der Entfernung zum Zielobjekt mit einer hohen Genauigkeit möglich, jedoch ist ein solcher Sensor nicht in der Lage, die Breite des Zielobjekts und auch seine Winkelposition genau zu bestimmen. Werden nun die voneinander unabhängigen Positionsergebnisse einem Verfolgungsfilter zugrunde gelegt, so können diese Ungenauigkeiten gegenseitig kompensiert werden.
Es erweist sich als besonders vorteilhaft, wenn die Positionsergebnisse einem Kalman-Filter als Verfolgungsfilter zugeführt werden, mittels welchem die aktuelle relative Position des Zielobjekts anhand der Positionsergebnisse geschätzt wird. Mithilfe des Kalman-Filters lässt sich die tatsächliche aktuelle Position des Zielobjekts bezüglich des Kraftfahrzeugs mit höchster Genauigkeit ermitteln, sodass die gegebenenfalls vorhandenen Fehler und Ausreißer eliminiert werden können. Mithilfe des Kalman-Filters ist die Verfolgung des Zielobjekts über der Zeit besonders robust. Das Kalman-Filter stellt ein statistisches Prädiktionsmodell dar, welches anhand der vorhandenen Daten und der aktuellen relativen Position des Zielobjekts – insbesondere im Fahrzeugkoordinatensystem – eine Vorausschätzung der relativen Position für den nächsten Schritt und somit für einen nächsten Zeitpunkt durchführt. Dieses Prädiktionsergebnis wird dann mit einem von der Kamera oder dem separaten Sensor empfangenen Positionsergebnis korreliert, und es erfolgt gegebenenfalls eine Anpassung und Korrektur des Prädiktionsergebnisses.
Das Verfolgungsfilter wird bevorzugt in der Bildverarbeitungseinrichtung implementiert, welche auch die Bilder der Kamera verarbeitet und anhand der Bilder das erste Positionsergebnis ermittelt. Auch das zweite Positionsergebnis kann mittels dieser Bildverarbeitungseinrichtung bestimmt werden. Dies kann beispielsweise so aussehen, dass die Bildverarbeitungseinrichtung an einen Kommunikationsbus (beispielsweise CAN-Bus) des Kraftfahrzeugs angeschlossen ist und an dem Kommunikationsbus die aktuellen Abstandswerte eines Sensors – beispielsweise eines Ultraschallsensors – abgreift. Anhand des aktuellen Abstandswerts und unter Berücksichtigung des Erfassungssektors (Erfassungsbereichs) des Sensors kann die Bildverarbeitungseinrichtung dann das zweite Positionsergebnis bestimmen. Alternativ kann auch eine Direktverbindung zu einem Sensorsteuergerät realisiert werden, und die Bildverarbeitungseinrichtung kann die Rohdaten des Sensors verarbeiten. In diesem Falle kann die Bestimmung des zweiten Positionsergebnisses noch genauer erfolgen.
Die Bildverarbeitungseinrichtung kann eine interne Recheneinheit der Kamera sein. Alternativ kann die Bildverarbeitungseinrichtung auch eine von der Kamera separate Komponente sein, welche die Bilddaten von der Kamera empfängt.
Bevorzugt wird mittels der Kamera eine Sequenz von Bildern des Umgebungsbereichs bereitgestellt, und zu jedem oder zu jedem n-ten Bild (n > 1) kann jeweils die relative Position des Zielobjekts bestimmt werden. Somit wird eine erste zeitliche Folge von Positionsergebnissen bereitgestellt, welche dem Verfolgungsfilter zugeführt wird. Unabhängig von den Bildern kann anhand der Sensordaten des separaten Sensors fortlaufend die relative Position des Zielobjekts bestimmt werden, sodass eine von der ersten Folge unabhängige zweite zeitliche Folge von Positionsergebnissen bereitgestellt wird, welche dem Verfolgungsfilter zugeführt wird. Das Verfolgungsfilter schätzt dann die tatsächliche aktuelle Position des Zielobjekts und verfolgt das Zielobjekt anhand der beiden Folgen. Durch zwei solche Folgen von unabhängigen Positionsergebnissen kann dem Verfolgungsfilter insgesamt eine sehr große Anzahl von Messwerten (Positionsergebnissen) zugrunde gelegt werden, sodass einerseits die zeitliche Auflösung bei der Bestimmung der aktuellen Position hoch ist und andererseits auch die Bestimmung der jeweils aktuellen Position hochpräzise erfolgt.
Die erste und die zweite Folge von Positionsergebnissen sind vorzugsweise zueinander asynchrone Folgen. Dies bedeutet, dass die Positionsergebnisse der ersten Folge die Position des Zielobjekts zu unterschiedlichen Zeitpunkten als die Positionsergebnisse der zweiten Folge angeben und es nur zufällig vorkommen kann, dass ein erstes Positionsergebnis die relative Position zu einem gleichen Zeitpunkt wie ein zweites Positionsergebnis angibt. Dies bedeutet insbesondere auch, dass die Frequenzen der beiden Folgen unterschiedlich sind. Somit brauchen der Sensor und die Kamera miteinander nicht synchronisiert werden.
Dem Verfolgungsfilter werden somit zwei voneinander unabhängige Folgen von Positionsergebnissen zugrunde gelegt. Dies kann insbesondere so aussehen, dass die beiden Folgen zu einer gemeinsamen zeitlichen Folge von Positionsergebnissen zusammengefasst werden, welche sowohl die ersten Positionsergebnisse als auch die zweiten Positionsergebnisse umfasst. Die Reihenfolge der gemischten Positionsergebnisse ist dann abhängig von dem jeweiligen Zeitpunkt, zu welchem das jeweilige Positionsergebnis die relative Position des Zielobjekts beschreibt. Das Verfolgungsfilter empfängt somit die gemeinsame zeitliche Folge von Positionsergebnissen und minimiert somit den Fehler bei der Bestimmung der tatsächlichen relativen Position des Zielobjekts bezüglich des Kraftfahrzeugs.
In einer Ausführungsform ist vorgesehen, dass das zweite Positionsergebnis anhand eines Abstands zum Zielobjekt bestimmt wird, der mittels eines Abstandssensors gemessen wird, nämlich insbesondere eines Ultraschallsensors. Somit können ohnehin üblicherweise vorhandene Abstandssensoren genutzt werden, um die relative Position des Zielobjekts bezüglich des Kraftfahrzeugs zu bestimmen. Bei einem Kraftfahrzeug können bekanntlich eine Vielzahl von solchen Abstandssensoren, insbesondere Ultraschallsensoren, vorgesehen sein, welche an dem Kraftfahrzeug verteilt angeordnet sind, wie beispielsweise an dem vorderen Stoßfänger und/oder an dem hinteren Stoßfänger. Jeder Abstandssensor hat dann einen eigenen Erfassungssektor (Erfassungsbereich), in welchem der jeweilige Sensor Zielobjekte detektieren und den Abstand zum Zielobjekt erfassen kann. Vorzugsweise werden dabei eine Vielzahl von Abstandssensoren verwendet, deren Erfassungssektoren in Überdeckung mit dem Sichtfeld der Kamera liegen. Werden beispielsweise die Ultraschallsensoren des vorderen Stoßfängers genutzt, so kann dabei eine Frontkamera eingesetzt werden, deren Sichtfeld sich mit den Erfassungssektoren der Ultraschallsensoren überlappt.
Das Bestimmen des zweiten Positionsergebnisses anhand des Abstands kann so aussehen, dass eine Annahme getroffen wird, dass in dem gemessenen Abstand das Zielobjekt in Breitenrichtung des Erfassungssektors des Sensors eine Ausdehnung aufweist, die einem Breitenbereich, insbesondere der gesamten Breite, des Erfassungssektors entspricht. Diese Annahme wird vorzugsweise dann getroffen, wenn das zweite Positionsergebnis – zum Beispiel mittels der Bildverarbeitungseinrichtung – ausschließlich anhand des gemessenen Abstands und der Information über den Erfassungssektor bestimmt werden soll. In diesem Falle ist die Bestimmung der Breite des Zielobjekts – insbesondere bei einem Ultraschallsensor – nicht ohne Weiteres möglich, sodass angenommen wird, dass sich das Zielobjekt über die Breite des Erfassungssektors des Abstandssensors erstreckt. Diese Annahme kann insbesondere dann gelten, wenn die Bildverarbeitungseinrichtung an einen CAN-Bus des Kraftfahrzeugs angeschlossen ist, über welchen lediglich die gemessenen Abstandswerte von dem jeweiligen Abstandssensor übermittelt werden.
In einer alternativen Ausführungsform kann jedoch auch vorgesehen sein, dass das Bestimmen des zweiten Positionsergebnisses etwas genauer erfolgt, und zwar derart, dass zusätzlich zu dem Abstand auch eine Ausdehnung des Zielobjekts und/oder seine Position in Breitenrichtung des Erfassungssektors des Abstandssensors bestimmt wird. Die Ausdehnung und/oder die Position in Breitenrichtung des Erfassungssektors wird hier vorzugsweise anhand von Rohsensordaten des Abstandssensors bestimmt. Dies ist insbesondere dann möglich, wenn eine direkte Verbindung zu dem Abstandssensor und/oder einem Sensorsteuergerät vorliegt.
Wie bereits ausgeführt, empfängt das Verfolgungsfilter eine zeitliche Folge von Messwerten, welche sowohl die ersten als auch die zweiten Positionsergebnisse umfassen. Die ersten Positionsergebnisse (Kameradaten) geben dabei eine sehr genaue Position des Zielobjekts in Breitenrichtung des Erfassungssektors des Abstandssensors an. Diese ersten Positionsergebnisse sind jedoch entlang der Kameraachse und somit bezüglich der Entfernung des Zielobjekts vom Kraftfahrzeug ungenau. Und umgekehrt geben die zweiten Positionsergebnisse (Sensordaten) eine sehr präzise Position des Zielobjekts entlang der Kameraachse und somit eine sehr präzise Entfernung des Zielobjekts an, sind jedoch bezüglich der Position und Ausdehnung des Zielobjekts in Breitenrichtung des Erfassungssektors des Abstandssensors ungenau. Diese Ungenauigkeiten können nun mittels des Verfolgungsfilters, insbesondere des Kalman-Filters, kompensiert werden, indem sowohl die ersten als auch die zweiten Positionsergebnisse in Form der gemeinsamen zeitlichen Folge von gemischten Messwerten dem Verfolgungsfilter zugrunde gelegt werden. Durch zeitliche Filterung dieser gemeinsamen Folge kann die tatsächliche aktuelle Position des Zielobjekts mit großer Präzision sowohl in Fahrzeuglängsrichtung als auch in Fahrzeugquerrichtung bestimmt werden. Mit dem Verfolgungsfilter kann also das erste und das zweite Positionsergebnis derart gefiltert und die aktuelle relative Position des Zielobjekts geschätzt werden, dass die Ausdehnung des Zielobjekts und/oder seine Position in Breitenrichtung des Erfassungssektors des Abstandssensors anhand des ersten Positionsergebnisses korrigiert wird.
Mit anderen Worten weist das erste Positionsergebnis einen ersten Ungenauigkeitsbereich (uncertainty region; erste Kovarianzmatrix) für die relative Position auf, und das zweite Positionsergebnis weist einen zweiten Ungenauigkeitsbereich (zweite Kovarianzmatrix) für die relative Position auf. Das Verfolgungsfilter kann dazu ausgelegt sein, für die aktuelle relative Position des Zielobjekts einen gemeinsamen Ungenauigkeitsbereich, insbesondere in einem Fahrzeugkoordinatensystem, zu bestimmen, welcher eine Schnittmenge des ersten und des zweiten Ungenauigkeitsbereichs umfasst. Der erste und zweite Ungenauigkeitsbereich weisen dabei jeweils vorzugsweise die Form einer Ellipse auf. Der gemeinsame Ungenauigkeitsbereich kann die Form eines Kreises aufweisen und ist dabei deutlich kleiner als der erste und der zweite Ungenauigkeitsbereich. Der Größe des zweiten Ungenauigkeitsbereichs bzw. der zweiten Kovarianzmatrix wird bevorzugt im Betrieb eingestellt, nämlich insbesondere in Abhängigkeit von dem gemessenen Abstand zum Zielobjekt. Dies beruht darauf, dass die Ungenauigkeit in der Bestimmung der Breite und/oder der Position in Breitenrichtung abhängig von der Entfernung des Zielobjekts vom Fahrzeug ist.
Die Erfindung betrifft außerdem eine Fahrerassistenzeinrichtung für ein Kraftfahrzeug, welche zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist. Des Weiteren betrifft die Erfindung ein Kraftfahrzeug mit einer erfindungsgemäßen Fahrerassistenzeinrichtung. Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kraftfahrzeug sowie für die erfindungsgemäße Fahrerassistenzeinrichtung.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Es zeigen:
1 in schematischer Darstellung ein Kraftfahrzeug mit einer Fahrerassistenzeinrichtung gemäß einer Ausführungsform der Erfindung;
2 in schematischer Darstellung einen Erfassungssektor eines Abstandssensors, wobei ein Verfahren gemäß einer Ausführungsform der Erfindung zur Bestimmung der Position eines Zielobjekts anhand von Sensordaten näher erläutert wird;
3 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung;
4 eine schematische Darstellung von asynchronen Folgen von Positionsergebnissen;
5a und 5b schematische Darstellungen zur Erläuterung von Ungenauigkeiten bei der Bestimmung der relativen Position des Zielobjekts anhand von Bilddaten einerseits und Sensordaten andererseits sowie zur Erläuterung einer Kompensation mittels des Kalman-Filters; und
6 in schematischer Darstellung den Erfassungssektor gemäß 2, wobei eine Abhängigkeit der Genauigkeit der Bestimmung der relativen Position von dem Abstand des Zielobjekts zum Kraftfahrzeug näher erläutert wird.
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst eine Fahrerassistenzeinrichtung 2, welche zum Verfolgen eines Zielobjekts 3 in einem Umgebungsbereich 4 des Kraftfahrzeugs 1 ausgebildet ist. Die Fahrerassistenzeinrichtung 2 umfasst eine Kamera 5 sowie eine Vielzahl von Abstandssensoren 6, 7, 8, 9.
Im Ausführungsbeispiel sind die Abstandssensoren 6, 7, 8, 9 Ultraschallsensoren, welche an einem hinteren Stoßfänger 10 des Kraftfahrzeugs 1 verteilt angeordnet sind. Im dargestellten Beispiel ist die Kamera 5 eine Rückwärtskamera, welche Bilder des Umgebungsbereichs 4 hinter dem Kraftfahrzeug 1 bereitstellt. Die Erfindung ist jedoch nicht auf eine solche Anordnung beschränkt; es können auch Sensoren und eine Kamera verwendet werden, welche einen Umgebungsbereich vor dem Kraftfahrzeug 1 erfassen.
Jeder Abstandssensor 6, 7, 8, 9 detektiert Objekte 3 in einem jeweiligen Erfassungssektor 11, 12, 13, 14. Die Erfassungssektoren 11, 12, 13, 14 grenzen aneinander an oder können sich ein wenig überlappen. Das Zielobjekt 3 befindet sich in der Situation gemäß 1 in dem Erfassungssektor 12 des Abstandssensors 7.
Die Abstandssensoren 6, 7, 8, 9 werden mittels eines Sensorsteuergeräts 15 angesteuert. Das Sensorsteuergerät 15 empfängt auch Rohdaten von den Abstandssensoren 6, 7, 8, 9 und bestimmt Abstandswerte anhand der Rohdaten. Das Sensorsteuergerät 15 ist an einen Kommunikationsbus 16 des Kraftfahrzeugs 1 angeschlossen, nämlich beispielsweise den CAN-Bus. Die gemessenen Abstandswerte der Abstandssensoren 6, 7, 8, 9 werden an den Kommunikationsbus 16 übertragen.
Die Fahrerassistenzeinrichtung 2 umfasst des Weiteren eine Bildverarbeitungseinrichtung 17, welche eine Verfolgungseinrichtung ist. Im dargestellten Ausführungsbeispiel ist die Bildverarbeitungseinrichtung 17 in die Kamera 5 integriert. Alternativ kann die Bildverarbeitungseinrichtung 17 jedoch auch eine separate Komponente sein. Die Bildverarbeitungseinrichtung 17 verarbeitet die Bilder der Kamera 5 und ist außerdem an den Kommunikationsbus 16 angeschlossen.
Die Kamera 5 kann beispielsweise eine Video-Kamera sein, welche eine Sequenz von Bildern pro Sekunde bereitstellen kann. Die Kamera 5 kann zum Beispiel eine CCD-Kamera oder eine CMOS-Kamera sein. Sie kann einen Öffnungswinkel aufweisen, der in einem Wertebereich von 90° bis 200° liegen kann.
Die Bildverarbeitungseinrichtung 17 kann das Zielobjekt 3 in dem Umgebungsbereich 4 detektieren und es verfolgen. Dies bedeutet, dass die Bildverarbeitungseinrichtung 17 die jeweils aktuelle relative Position des Zielobjekts 3 bezüglich des Kraftfahrzeugs 1 bestimmt. Zu diesem Zwecke wird eine Datenfusion vorgeschlagen, die nachfolgend näher beschrieben wird.
Die Kamera 5 stellt eine Sequenz von Bildern des Umgebungsbereichs 4 bereit. Zu jedem Bild oder alternativ zu jedem n-ten Bild (wobei n > 1) bestimmt die Bildverarbeitungseinrichtung 17 die Position des Zielobjekts 3 in dem jeweiligen Bild. Die Detektion des Zielobjekts 3 erfolgt in den Bildern beispielsweise mittels einer Mustererkennung. Die Bildverarbeitungseinrichtung 17 sucht dabei in den Bildern nach vorgegebenen charakteristischen Merkmalen und detektiert somit das Zielobjekt 3. Wird das Zielobjekt 3 in einem ersten Bild und dann auch in einem darauf folgenden zweiten Bild detektiert, so erfolgt dann eine Zuordnung dieser beiden Detektionen zueinander. Die Position des Zielobjekts 3 in den Bildern wird dann in eine Position des Zielobjekts 3 in dem Fahrzeugkoordinatensystem x, y umgerechnet. Zu diesem Zwecke wird die bekannte Projektionstheorie sowie die Kalibrierungsdaten der Kamera 5 verwendet.
Anhand der zeitlichen Sequenz von Bildern bestimmt die Bildverarbeitungseinrichtung 17 somit eine zeitliche Folge von Positionen des Zielobjekts 3 relativ zum Kraftfahrzeug 1 im Fahrzeugkoordinatensystem x, y. Diese zeitliche Folge von Positionsergebnissen wird nachfolgend als erste Folge von Positionsergebnissen oder als Folge von ersten Positionsergebnissen bezeichnet.
Parallel zur Bestimmung der Position des Zielobjekts 3 anhand der Bilder werden auch die Abstandssensoren 6, 7, 8, 9 betrieben, welche ihre Sensordaten an das Sensorsteuergerät 15 übermitteln. Das Sensorsteuergerät 15 detektiert das Zielobjekt 3 anhand der Sensorrohdaten und bestimmt einen Abstand zum Zielobjekt 3. Das Sensorsteuergerät 15 übermittelt dann an den Kommunikationsbus 16 die Information über den gemessenen Abstand sowie über den Erfassungssektor 12, in welchem das Zielobjekt 3 detektiert wurde. Diese Informationen werden durch die Bildverarbeitungseinrichtung 17 empfangen. Abhängig von dem gemessenen Abstand sowie unter Berücksichtigung der bekannten Geometrie des Erfassungssektors 12 bestimmt die Bildverarbeitungseinrichtung 17 dann die relative Position des Zielobjekts 3 im Fahrzeugkoordinatensystem x, y. Diese Bestimmung wird nun Bezug nehmend auf 2 näher erläutert:
In 2 ist eine Draufsicht auf den Erfassungssektor 12 dargestellt. Die Geometrie des Erfassungssektors 12 ist bekannt. Wie aus 2 hervorgeht, ist der Erfassungssektor 12 im Ausführungsbeispiel ein trapezförmiger Flächenbereich. Die Koordinaten (x_S0, y_S0), (x_S1, y_S1), (x_S2, y_S2) sowie (x_S3, y_S3) der Ecken des Erfassungssektors 12 sind bekannt. Auch der gemessene Abstand d zum Zielobjekt 3 ist in der Bildverarbeitungseinrichtung 17 bekannt. Die Bildverarbeitungseinrichtung 17 bestimmt nun eine Mittellängslinie 18 derart, dass an jedem Punkt der Mittellängslinie 18 die jeweiligen Abstände zwischen der Linie 18 und den Schenkeln des Trapezes und somit den seitlichen Rändern des Erfassungssektors 12 andererseits gleich sind. Dazu werden die Punkte (x_m0, y_m0) und (x_m1, y_m1) aufgefunden, welche in der Mitte der jeweiligen parallelen Seiten des trapezförmigen Erfassungssektors 12 liegen. In dem Abstand d wird dann eine Linie 19 senkrecht zur Mittellängslinie 18 definiert. Diese Linie 19 erstreckt sich über die gesamte Breite des Erfassungssektors 12 und somit von dem ersten Trapezschenkel bis hin zum zweiten Trapezschenkel.
Es wird hier die Annahme getroffen, dass sich das detektierte Zielobjekt 3 in dem gemessenen Abstand d über die gesamte Breite des Erfassungssektors 12 erstreckt, sodass die Linie 19 quasi dem Zielobjekt 3 entspricht. Die Linie 19 ist dabei durch die Koordinaten (x₀, y₀), (x₁, y₁) sowie (x₂, y₂) definiert.
Die Detektion mittels der jeweiligen Abstandssensoren 6, 7, 8, 9 erfolgt mit einer vorgegebenen Frequenz. Die aktuellen Abstandswerte d werden somit mit dieser Frequenz von dem Sensorsteuergerät 15 übermittelt. Die Bildverarbeitungseinrichtung 17 bestimmt somit eine zweite zeitliche Folge von Positionen des Zielobjekts 3, welche anhand der Abstände d bestimmt werden. Diese zweite Folge von Positionsergebnissen (bzw. diese Folge von zweiten Positionsergebnissen) ist dabei asynchron zu der ersten Folge von Positionsergebnissen, weil die Detektionsfrequenz der Abstandssensoren 6, 7, 8, 9 unterschiedlich von der Frequenz ist, mit welcher die Kamera 5 ihre Bilder bereitstellt. Es existieren somit insgesamt zwei unabhängige Folgen von Positionsergebnissen des Zielobjekts 3, welche dann einem Kalman-Filter als Verfolgungsfilter zugeführt werden. Das Kalman-Filter wird dabei in der Bildverarbeitungseinrichtung 17 implementiert.
In 3 ist ein Blockschaltbild bzw. ein Flussdiagramm eines Verfahrens zur Verfolgung des Zielobjekts 3 dargestellt. Auf der linken Seite einer gestrichelten Linie 20 sind dabei Schritte bzw. Blöcke dargestellt, welche sensorspezifisch und somit separat für die beiden Folgen implementiert werden. Auf der rechten Seite der Linie 20 wiederum sind die gemeinsamen Schritte und die Fusion der beiden Folgen dargestellt. Anhand der Bilddaten der Kamera 5 wird gemäß Schritt S1 die erste zeitliche Folge F1 von Positionsergebnissen bereitgestellt, während parallel dazu die zweite zeitliche Folge von Positionsergebnissen F2 gemäß Schritt S2 anhand der Sensordaten der Abstandssensoren 6, 7, 8, 9 bereitgestellt wird. Die beiden Folgen F1, F2 sind voneinander unabhängig.
Die beiden Folgen F1 und F2 von Positionsergebnissen sind außerdem schematisch in 4 über der Zeit t dargestellt. Zum Zeitpunkt T1 liefert die Kamera 5 ein erstes Positionsergebnis K1, zum Zeitpunkt T3 ein zweites Positionsergebnis K2 und zum Zeitpunkt T4 ein drittes Positionsergebnis K3. Die zweite Folge F2 beinhaltet im dargestellten Beispiel ein erstes Positionsergebnis U1 sowie ein zweites Positionsergebnis U2. Das erste Positionsergebnis U1 beschreibt die relative Position des Zielobjekts 3 zum Zeitpunkt T2, während das zweite Positionsergebnis U2 die relative Position zum Zeitpunkt T4 angibt. Wie aus 4 hervorgeht, beschreiben die voneinander unabhängigen Positionsergebnisse K3 und U2 die relative Position zum selben Zeitpunkt T4.
Das Kalman-Filter – und allgemein ein Verfolgungsfilter – stellt ein statistisches Prädiktionsmodell dar, welches anhand der vorhandenen Daten und der aktuellen relativen Position des Zielobjekts 3 (im Fahrzeugkoordinatensystem x, y) eine Vorausschätzung der relativen Position für den nächsten Schritt und somit für den nächsten Zeitpunkt durchführt, zu welchem ein Positionsergebnis der ersten und/oder der zweiten Folge F1, F2 vorliegt. Diese Prädiktion erfolgt im Schritt S3 gemäß 3. Das statistische Modell ist in 3 in schematischer Darstellung mit S4 bezeichnet. In diesem Modell sind zu jedem detektierten Zielobjekt 3 die bisherigen Positionsdaten abgelegt, in Abhängigkeit von denen die relative Position für den nächsten Zeitpunkt vorausgeschätzt wird. In der Darstellung gemäß 4 wird aus der aktuellen relativen Position P0 zum aktuellen Zeitpunkt T0 die Position P1' für den nächsten Zeitpunkt T1 vorausberechnet. Zum Zeitpunkt T1 erfolgt dann eine Zuordnung des Positionsergebnisses K1 der Kamera 5 zu dem Prädiktionsergebnis P1', wobei die beiden Positionen K1 und P1' miteinander verglichen werden. Wird eine Abweichung festgestellt, erfolgt eine Korrektur und somit ein „Update” der vorherigen Schätzung P1', und es wird die aktuelle relative Position P1 zum Zeitpunkt T1 berechnet. In der Darstellung gemäß 3 erfolgt die Zuordnung der Prädiktionsergebnisse P' zu den korrespondierenden ersten Positionsergebnissen K in einem Schritt S5 (für die Kameradaten), während die Zuordnung der Prädiktionsergebnisse P' zu den zweiten Positionsergebnissen U (Sensordaten) in einem parallelen Schritt S6 erfolgt. Die Zuordnung gemäß den Schritten S5 und S6 erfolgt dabei unter Berücksichtigung von charakteristischen Merkmalen des Zielobjekts 3, welche in den Schritten S7 (für die Kamera 5) und S8 (für die Sensoren 6, 7, 8, 9) generiert werden. Das „Update” erfolgt im Schritt S9. In diesem Schritt S9 wird somit die jeweils aktuelle Position des Zielobjekts 3 mittels des Verfolgungsfilters bestimmt. Diese aktuelle Position wird dann in dem Schritt S4 zu den vorhandenen Daten abgespeichert.
Mit weiterem Bezug auf 3 kann es vorkommen, dass die Kamera 5 oder aber die Ultraschallsensoren 6, 7, 8, 9 ein Positionsergebnis liefern, obwohl zu diesem Objekt momentan keine Daten in dem statistischen Prädiktionsmodell vorliegen. In diesem Falle erfolgt gemäß Schritt S10 eine Initialisierung des neu detektierten Zielobjekts 3, und die ersten Positionsdaten werden abgespeichert. Sind mehrere Positionsdaten vorhanden, kann dann in weiteren Schritten eine Vorausschätzung durchgeführt werden. Wird hingegen festgestellt, dass zu einem bereits verfolgten Zielobjekt 3 weder die Kamera 5 noch die Sensoren 6, 7, 8, 9 neue Positionsergebnisse liefern, so erfolgt gemäß Schritt S11 ein Verwerfen der zu diesem Zielobjekt 3 vorhandenen Daten.
Mit erneutem Bezug auf 3 wird ausgehend von dem Zeitpunkt T1 und der aktuellen Position P1 ein Prädiktionsergebnis P2' für die relative Position für den weiteren Zeitpunkt T2 vorausberechnet. Zum Zeitpunkt T2 empfängt das Verfolgungsfilter dann das Positionsergebnis U1 und ordnet dieses Positionsergebnis U1 zu dem Prädiktionsergebnis P2' zu. Anhand der Ergebnisse U1 und P2' erfolgt dann ein Update der aktuellen Position P2. Dann wird ein Prädiktionsergebnis P3' auch für den weiteren Zeitpunkt T3 vorausberechnet, und die Bestimmung der aktuellen Position P3 zum Zeitpunkt T3 erfolgt durch Korrelation der Ergebnisse K2 und P3'. Ausgehend von der Position P3 wird dann anhand des Modells eine Vorausschätzung der Position P4' für den Zeitpunkt T4 durchgeführt. Zu diesem Zeitpunkt T4 liegen zwei unabhängige Positionsergebnisse K3, U2 vor, welche zu dem Prädiktionsergebnis P4' zugeordnet werden. Anhand der Ergebnisse K3, U2 und P4' wird dann die aktuelle Position P4 zum Zeitpunkt T4 berechnet.
Während anhand der Bilddaten der Kamera 5 die Position des Zielobjekts 3 in Fahrzeugquerrichtung y sowie die Abmessungen des Zielobjekts 3 in y-Richtung präzise bestimmt werden können, kann anhand der Sensordaten der Sensoren 6, 7, 8, 9 die Entfernung des Zielobjekts 3 vom Kraftfahrzeug 1 sehr genau gemessen werden. Beide Sensorarten weisen jedoch auch Ungenauigkeiten auf: Die Kamera 5 liefert ungenaue Entfernungsinformationen, und das Sensorsteuergerät 15 liefert keine Informationen über die Breite des Zielobjekts 3 in y-Richtung sowie über die Position des Zielobjekts 3 in y-Richtung. Sowohl die ersten als auch die zweiten Positionsergebnisse K, U weisen somit eine Kovarianzmatrix auf. Diese Ungenauigkeiten werden mittels des Kalman-Filters kompensiert. Eine schematische Darstellung dieser Ungenauigkeiten ist in 5a gezeigt. Ein Ungenauigkeitsbereich der Messung mit der Kamera 5 ist in dem Koordinatensystem x, y mit 21 bezeichnet. Wie auf 5a hervorgeht, hat dieser Ungenauigkeitsbereich 21 die Form einer Ellipse, deren Längsachse im Wesentlichen parallel zur x-Richtung verläuft. Demgegenüber ist der Ungenauigkeitsbereich des Sensors 7 in 5a mit 22 bezeichnet. Auch dieser Ungenauigkeitsbereich hat die Form einer Ellipse, die sich jedoch entlang der Breitenrichtung des Erfassungssektors 12 erstreckt. Diese Ungenauigkeiten werden mittels des Kalman-Filters kompensiert, und mittels des statistischen Modells wird ein Prädiktionsergebnis 23 bestimmt. Aus diesem Prädiktionsergebnis 23 wird dann die aktuelle Position des Zielobjekts 3 bzw. die aktuelle Kovarianzmatrix bestimmt, was in 5b mit 24 bezeichnet ist.
Die Größe des Ungenauigkeitsbereichs 22 des Sensors 7 variiert in Abhängigkeit von dem gemessenen Abstand d. Wie aus 6 hervorgeht, ist die Linie 19a in einem größeren Abstand d1 deutlich länger als die Linie 19b in einem geringeren Abstand d2. Dies deshalb, weil der Erfassungssektor 12 die Form eines Trapezes aufweist. In dem größeren Abstand d1 ist somit auch die Streuung σ der Position des Zielobjekts 3 in y-Richtung deutlich größer als bei dem kleineren Abstand d2. Aus diesem Grund wird bei der Bestimmung der zweiten Positionsergebnisse U1, U2 die Größe der Kovarianzmatrix in Abhängigkeit von dem gemessenen Abstand d eingestellt. Die Größe der Kovarianzmatrix variiert somit in Abhängigkeit von dem gemessenen Abstand d.
Im oben dargestellten Ausführungsbeispiel werden die zweiten Positionsergebnisse U1, U2 derart bestimmt, dass anhand des gemessenen Abstands d und der Information über den Erfassungssektor 12, in welchem das Zielobjekt 3 detektiert wurde, angenommen wird, dass sich das Zielobjekt 3 über die gesamte Breite des Erfassungssektors 12 erstreckt (Linie 19 gemäß 2). Alternativ kann jedoch auch vorgesehen sein, dass anhand der Rohdaten der Sensoren 6, 7, 8, 9 die genauere Breite des Zielobjekts 3 in y-Richtung und/oder die genauere Position des Zielobjekts 3 in y-Richtung bestimmt wird. Dies kann beispielsweise so realisiert werden, dass diese Rohdaten über eine separate Verbindungsleitung an die Bildverarbeitungseinrichtung 17 übermittelt werden. Alternativ kann die genaue Breite und/oder Position in y-Richtung auch mittels des Sensorsteuergeräts 15 bestimmt werden.

Claims

Verfahren zum Verfolgen eines Zielobjekts (3) in einem Umgebungsbereich (4) eines Kraftfahrzeugs (1) mittels einer Fahrerassistenzeinrichtung (2) des Kraftfahrzeugs (1) durch Fusion von Bilddaten einer Kamera (5) mit Sensordaten eines von der Kamera (5) verschiedenen Sensors (6, 7, 8, 9) der Fahrerassistenzeinrichtung (2), gekennzeichnet durch folgende Schritte: – Bereitstellen eines Bilds des Umgebungsbereichs (4) mittels der Kamera (5), – Detektieren des Zielobjekts (3) und Bestimmen einer relativen Position des Zielobjekts (3) bezüglich des Kraftfahrzeugs (1) als erstes Positionsergebnis (K) anhand des Bildes mittels einer Bildverarbeitungseinrichtung (17) und unabhängig davon: – Bestimmen der relativen Position des Zielobjekts (3) als zweites Positionsergebnis (U) anhand der Sensordaten des Sensors (6, 7, 8, 9) und – Zuführen des ersten und des zweiten Positionsergebnisses (K, U) einem gemeinsamen Verfolgungsfilter zum Verfolgen des Zielobjekts (3).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Positionsergebnisse (K, U) einem Kalman-Filter als Verfolgungsfilter zugeführt werden, mittels welchem die aktuelle relative Position (P) des Zielobjekts (3) anhand der Positionsergebnisse (K, U) geschätzt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfolgungsfilter in der Bildverarbeitungseinrichtung (17) implementiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – mittels der Kamera (5) eine Sequenz von Bildern des Umgebungsbereichs (4) bereitgestellt wird und zu jedem oder zu jedem n-ten Bild jeweils die relative Position des Zielobjekts (3) bestimmt wird, so dass dem Verfolgungsfilter eine erste zeitliche Folge (F1) von Positionsergebnissen (K) zugeführt wird, und – anhand der Sensordaten des Sensors (6, 7, 8, 9) fortlaufend die relative Position des Zielobjekts (3) bestimmt wird, so dass dem Verfolgungsfilter eine von der ersten Folge (F1) unabhängige zweite zeitliche Folge (F2) von Positionsergebnissen (U) zugeführt wird, wobei das Zielobjekt (3) mittels des Verfolgungsfilters anhand der beiden Folgen (F1, F2) verfolgt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die erste und die zweite Folge (F1, F2) zueinander asynchrone Folgen (F1, F2) sind.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweite Positionsergebnis (U) anhand eines Abstands (d) zum Zielobjekt (3) bestimmt wird, der mittels eines Abstandssensors (6, 7, 8, 9), insbesondere eines Ultraschallsensors, gemessenen wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Bestimmen des zweiten Positionsergebnisses (U) anhand des Abstands (d) die Annahme umfasst, dass in dem gemessenen Abstand (d) das Zielobjekt (3) in Breitenrichtung eines Erfassungssektors (11, 12, 13, 14) des Abstandssensors (6, 7, 8, 9) eine Ausdehnung (19) aufweist, die einem Breitenbereich, insbesondere der gesamten Breite, des Erfassungssektors (11, 12, 13, 14) entspricht.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Bestimmen des zweiten Positionsergebnisses (U) umfasst, dass zusätzlich zu dem Abstand (d) auch eine Ausdehnung des Zielobjekts (3) und/oder seine Position in Breitenrichtung eines Erfassungssektors (11, 12, 13, 14) des Abstandssensors (6, 7, 8, 9) anhand von Rohsensordaten des Abstandssensors (6, 7, 8, 9) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste Positionsergebnis (K) einen ersten Ungenauigkeitsbereich (21) für die relative Position des Zielobjekts (3) aufweist und das zweite Positionsergebnis (U) einen zweiten Ungenauigkeitsbereich (22) für die relative Position aufweist, wobei das Verfolgungsfilter dazu ausgelegt ist, für die aktuelle relative Position (P) des Zielobjekts (3) einen Ungenauigkeitsbereich (23), insbesondere in einem Fahrzeugkoordinatensystem (x, y), zu bestimmen, welcher eine Schnittmenge des ersten und des zweiten Ungenauigkeitsbereichs (21, 22) umfasst.
Verfahren nach einem der Ansprüche 6 bis 8 und Anspruch 9, dadurch gekennzeichnet, dass der zweite Ungenauigkeitsbereich (22) in Abhängigkeit von dem Abstand (d) variiert wird.
Fahrerassistenzeinrichtung (2) für ein Kraftfahrzeug (1), mit einer Kamera (5) zum Bereitstellen eines Bilds eines Umgebungsbereichs (4) des Kraftfahrzeugs (1), und mit zumindest einem von der Kamera (5) verschiedenen Sensor (6, 7, 8, 9) zum Bereitstellen von Sensordaten, gekennzeichnet durch: eine Verfolgungseinrichtung (17), die dazu ausgelegt ist, – anhand des Bildes ein Zielobjekt (3) in dem Umgebungsbereich (4) zu detektieren und eine relative Position des Zielobjekts (3) bezüglich des Kraftfahrzeugs (1) als erstes Positionsergebnis (K) zu bestimmen und unabhängig davon: – die relative Position des Zielobjekts (3) anhand der Sensordaten des Sensors (6, 7, 8, 9) als zweites Positionsergebnis (U) zu bestimmen und – das erste und das zweite Positionsergebnis (K, U) einem gemeinsamen Verfolgungsfilter zum Verfolgen des Zielobjekts (3) zuzuführen.
Kraftfahrzeug (1) mit einer Fahrerassistenzeinrichtung (2) nach Anspruch 11.