DE102006027113B4

DE102006027113B4 - Verfahren und Einrichtung zur Erfassung von Objekten

Info

Publication number: DE102006027113B4
Application number: DE102006027113.0A
Authority: DE
Inventors: Sebastian Lindner; Andreas Simon
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2006-06-12
Filing date: 2006-06-12
Publication date: 2016-03-10
Anticipated expiration: 2026-06-13
Also published as: DE102006027113A1

Abstract

Verfahren zur Erfassung von Objekten im Umfeld eines Fahrzeugs, dadurch gekennzeichnet, dass die Objekte mit mindestens einer Videokamera aufgenommen werden, dass die Richtung der Beleuchtung der Objekte ermittelt wird, und dass aus zugeführten Daten über die Position und Richtung des Fahrzeugs und der ermittelten Richtung der Beleuchtung der Objekte Schatten-Modelle berechnet werden.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren und eine Einrichtung zur Erfassung von Objekten im Umfeld eines Fahrzeugs.
Im Bereich der Fahrerassistenzsysteme befinden sich derzeit Videosensoren in der Markteinführung, welche das Umfeld von Kraftfahrzeugen erfassen. Derartige Systeme können beispielsweise zur Erkennung und Vermessung von Objekten im Umfeld oder von anderen für die Führung des Fahrzeugs relevanten Infrastrukturelementen, wie Fahrbahnmarkierungen und Verkehrsschilder (im folgenden ebenfalls Objekte genannt), eingesetzt werden. Durch die zweidimensionale Aufnahme des Umfeldes mit Hilfe von Videokameras ist jedoch häufig eine unvollständige oder unrichtige Erfassung von Objekten gegeben.
Aus DE 102 53 507 A1 ist zum automatischen Ansteuern einer Sonnenschutzeinrichtung und/oder einer Klimatisierungseinrichtung die Ermittlung des Sonnenstandes aus astronomischen Daten und Navigationsdaten bekannt.
Verfahren zur Auswertung von Bilddaten sind außerdem bekannt aus: D. Koller, K. Daniilidis, H.-H. Nagel: „Model-Based Object Tracking in Monocular Image Sequences of Road Traffic Scenes” (In: International Journal of Computer Vision, 10(3), 1992, S. 257–281), und aus A. Yoneyama, C. H. Yeh, C.-C.J. Kuo: „Moving Cast Shadow Elimination for Robust Vehicle Extraction based an 2D Joint Vehicle/Shadow Models” (In: Proceedings of the IEEE Conference an Advanced Video and Signal Based Surveillance (AVSS'03), 2003, S. 229–236).
Offenbarung der Erfindung
Das erfindungsgemäße Verfahren verbessert eine Erfassung der Objekte dadurch, dass die Objekte mit mindestens einer Videokamera aufgenommen werden, dass die Richtung der Beleuchtung der Objekte ermittelt wird, und dass aus zugeführten Daten über die Position und Richtung des Fahrzeugs und der ermittelten Richtung der Beleuchtung der Objekte Schatten-Modelle berechnet werden. Dabei ist vorzugsweise vorgesehen, dass die aufgenommenen Objekte als digitale Objekt-Modelle gespeichert werden.
Die zur Berechnung des Schattens, insbesondere der zu erwartenden Länge und Richtung des Schattens von Objekten, erforderlichen Daten können größtenteils aus bekannten Einrichtungen, wie Navigationssystemen, Satellitenortungssystemen und elektronischen Straßenkarten sowie astronomischen Tabellen gewonnen werden.
Das erfindungsgemäße Verfahren kann zur Berechnung der Schatten-Modelle die aufgenommenen Bilder bzw. die daraus ermittelten Objekt-Modelle verwenden. Eine andere Möglichkeit besteht darin, dass die Schatten-Modelle aus gespeicherten Referenzobjekt-Modellen berechnet werden. Die Speicherung kann dabei in Form einer dreidimensionalen Karte erfolgen.
Verfahren der Bildverarbeitung können unter anderem auf dem Vorhandensein von Kanten und Kontrasten innerhalb des aufgenommenen Bildes aufbauen. Dabei kann es durchaus zu Fehlinterpretationen von Bildbestandteilen kommen, beispielsweise die Interpretation eines Schattens als Objekt oder Teil eines Objekts. Dies kann mit einer Weiterbildung des erfindungsgemäßen Verfahrens dadurch vermieden werden, dass mit Hilfe der berechneten Schatten-Modelle die Schatten im aufgenommenen Bild unterdrückt werden. Vorzugsweise ist dabei vorgesehen, dass bei einer Detektion von Kanten im jeweils aufgenommenen Bild die Kanten von Schatten mit Hilfe der berechneten Schatten-Modelle unterdrückt werden.
Das erfindungsgemäße Verfahren kann auch dazu benutzt werden, in einem Speicher abgelegte Modelle, die durch die Auswertung eines Bildes gewonnen wurden, zu verbessern. Dazu ist bei einer Weiterbildung des erfindungsgemäßen Verfakrens vorgesehen, dass die Berechnung der Objekt-Modelle anhand der Schatten-Modelle präzisiert wird.
Bei der Aufnahme von Objekten und deren Erfassung bzw. Erkennung können naturgemäß nicht alle Merkmale berücksichtigt werden, insbesondere verborgene Teile der Objekte. Deshalb ist bei einer anderen Weiterbildung vorgesehen, dass mit Hilfe der Schatten-Modelle gespeicherte Objekt-Modelle ergänzt werden.
In modernen Fahrzeugen befinden sich eine Reihe von Datenquellen, von denen viele zur Ermittlung der Beleuchtungsrichtung geeignet sind. Bei einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens ist vorgesehen, dass zur Ermittlung der Beleuchtungsrichtung die Uhrzeit, Fahrtrichtung sowie die Position des Fahrzeugs mit Hilfe eines Navigationssystems ermittelt werden, wobei der Sonnenstand aus einer Tabelle ausgelesen wird.
Die Berechnung der Schatten der Objekte kann nicht nur bei der Beleuchtung durch die Sonne vorgenommen werden. Bei entsprechend lichtempfindlichen Videokameras ist das erfindungsgemäße Verfahren auch bei Mondschein anwendbar. Auch bei künstlicher Beleuchtung, beispielsweise durch Straßenlaternen, können Schatten berechnet und zur Verbesserung der Objekterkennung genutzt werden. So kann beispielsweise bei künstlicher Beleuchtung der jeweilige Ort der Lichtquelle mit Hilfe von Schatten mehrerer bekannter Objekte berechnet werden.
Die Erfassung von Objekten im Umfeld eines Fahrzeugs wird bei einer erfindungsgemäßen Einrichtung dadurch verbessert, dass eine Einrichtung zur Ermittlung der Richtung der Beleuchtung der Objekte und zur Berechnung von Schatten-Modellen vorgesehen ist.
Durch die in weiteren Unteransprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der erfindungsgemäßen Einrichtung möglich.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
1 ein Blockschaltbild eines ersten Ausführungsbeispiels und
2 eines zweiten Ausführungsbeispiels.
Ausführungsformen der Erfindung
Eine Videokamera 1 liefert Bilder des Objekte enthaltenden Umfeldes an ein Bildverarbeitungssystem 2. Bei dem in 1 dargestellten Ausführungsbeispiel wird davon ausgegangen, dass das Bildverarbeitungssystem Objekte nur unzureichend erkennt, beispielsweise deren Schatten nicht vom Objekt selbst zu unterscheiden vermag. Zur Behebung dieses Nachteils wird in einem Modul 3 aus einer Zeitinformation, die beispielsweise über ein Satellitenortungssystem oder über ein Radiodatensystem 4 zugeführt wird, und einer Fahrtrichtungsinformation, die beispielsweise über ein Satellitenortungssystem 5 zugeführt wird, der Sonnenstand relativ zum Fahrzeug ermittelt.
Die vom Bildverarbeitungssystem errechneten Modelle sowie der relative Sonnenstand werden einem Schattenprädiktionsmodul 6 zugeleitet, in dem Modelle der Schatten berechnet werden. Diese werden dem Bildverarbeitungssystem 2 zugeführt und dort mit den zuvor berechneten Modellen kombiniert, so dass beispielsweise ein Schatten, der zunächst als Teil des Objekts erkannt wurde, unterdrückt wird.
Bei dem Ausführungsbeispiel nach 2 wird davon ausgegangen, dass die Objekte an sich bekannt und in einer digitalen Karte 7 abgelegt sind. Daraus werden im Schattenprädiktionsmodul 6 Modelle der Schatten berechnet, die dann in oben beschriebener Weise im Bildverarbeitungssystem 2 zur Präzisierung der Modelle der Objekte herangezogen werden. Zum Auslesen der Modelle aus der digitalen Karte 7 wird zusätzlich zur Zeitinformation und Fahrtrichtungsinformation noch die Positionsinformation bei 8 aus einem Satellitenortungssystem zugeführt.

Claims

Verfahren zur Erfassung von Objekten im Umfeld eines Fahrzeugs, dadurch gekennzeichnet, dass die Objekte mit mindestens einer Videokamera aufgenommen werden, dass die Richtung der Beleuchtung der Objekte ermittelt wird, und dass aus zugeführten Daten über die Position und Richtung des Fahrzeugs und der ermittelten Richtung der Beleuchtung der Objekte Schatten-Modelle berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die aufgenommenen Objekte als digitale Objekt-Modelle gespeichert werden.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Schatten-Modelle aus gespeicherten Referenzobjekt-Modellen berechnet werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mit Hilfe der berechneten Schatten-Modelle die Schatten im aufgenommenen Bild unterdrückt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei einer Detektion von Kanten im jeweils aufgenommenen Bild die Kanten von Schatten mit Hilfe der berechneten Schatten-Modelle unterdrückt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Berechnung der Objekt-Modelle anhand der Schatten-Modelle präzisiert wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass mit Hilfe der berechneten Schatten-Modelle gespeicherte Objekt-Modelle ergänzt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Beleuchtungsrichtung die Uhrzeit, die Fahrtrichtung und/oder die Position des Fahrzeugs mit Hilfe eines Navigationssystems ermittelt werden, wobei der Sonnenstand vorzugsweise aus einer Tabelle ausgelesen wird.
Einrichtung zur Erfassung von Objekten im Umfeld eines Fahrzeugs mit mindestens einer Videokamera (1), welche mindestens auf ein Teil des Umfeldes gerichtet ist, dadurch gekennzeichnet, dass eine Einrichtung (3, 6) zur Ermittlung der Richtung der Beleuchtung der Objekte und zur Berechnung von Schatten-Modellen vorgesehen ist.
Einrichtung nach Anspruch 9, gekennzeichnet durch einen Speicher (7) für Referenzobjekt-Modelle, aus denen die Schatten-Modelle berechnet werden.
Einrichtung nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass Mittel (2) zur Unterdrückung von Schatten im aufgenommenen Bild mit Hilfe der berechneten Schatten-Modelle vorgesehen sind.
Einrichtung nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass Mittel (2) zur Ergänzung der gespeicherten Objekt-Modelle mit Hilfe der berechneten Schatten-Modelle vorgesehen sind.
Einrichtung nach einem der Ansprüche 9 bis 12, gekennzeichnet durch Mittel (3) zur Ermittlung der Beleuchtungsrichtung aus der Uhrzeit, der Fahrtrichtung und/oder der Position des Fahrzeugs.
Einrichtung nach Anspruch 13, gekennzeichnet durch eine Tabelle, welche den Sonnenstand als Funktion der Zeit und der Position des Fahrzeugs enthält.