DE112012001318B4

DE112012001318B4 - Redundante Objektdetektion für Fahrerassistenzsysteme

Info

Publication number: DE112012001318B4
Application number: DE112012001318.2T
Authority: DE
Inventors: Martin Randler; Gregory Baratoff
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2011-05-11
Filing date: 2012-05-07
Publication date: 2023-09-21
Anticipated expiration: 2032-05-08
Also published as: DE102011101246A1; WO2012152268A2; WO2012152268A3; US20140160252A1; US9592764B2; DE112012001318A5

Abstract

Vorrichtung (10) zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, wobei die Bildsensoren (12, 14) zur Erfassung von Stereobildern ausgebildet sind zur gleichzeitigen Erfassung von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten,ersten Verarbeitungsmitteln (16) ausgebildet zur Detektion von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobildern (Stereopfad), undzweiten Verarbeitungsmitteln (18) ausgebildet zur Detektion und Klassifikation von durch die ersten Verarbeitungsmittel detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (12; 14) (Monopfad), und wobei die zweiten Verarbeitungsmittel (18) ferner ausgebildet sind, bei der Klassifikation zusätzlich Bilddaten vom zweiten (14; 12) der zwei Bildsensoren zu verwenden und einen zweiten Stereopfad zu implementieren, in dem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden [Anspruch 4, S. 3, Z.29-33].

Description

Die Erfindung betrifft eine redundante Objektdetektion für Fahrerassistenzsysteme, insbesondere eine Vorrichtung und ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera gemäß Anspruch 1 bzw. 6.
Insbesondere bei auf Objektdetektion basierenden Fahrerassistenzsystemen, die teilautonom oder autonom in Antrieb und/oder Steuerung eines Fahrzeugs wie beispielsweise Gas oder Bremse eingreifen, werden aus Sicherheitsgründen häufig zwei oder mehrere Sensoren zur redundanten Objektdetektion eingesetzt. Durch die redundante Objektdetektion sollen die Fehlerrate bei der Objektdetektion und damit Fehlauslösungen durch ein Fahrerassistenzsystem vermieden werden, insbesondere wenn der Bremseingriff bis hin zur Vollverzögerung geht.
In den derzeit bekannten und eingesetzten Systemen wird beispielsweise eine Kombination von einem Radarsensor zur Objektdetektion und Objektvermessung und einem Kamerasensor zur Objektdetektion und Objektklassifikation eingesetzt. Durch die Kombination von Detektion und Klassifikation wird eine redundante Objektdetektion implementiert, durch welche die Fehlerrate bei der Objektdetektion und -klassifikation deutlich reduziert werden kann.
Aus der DE19926559A1 ist darüber hinaus eine Möglichkeit zur Objektdetektion durch eine Auswertung von Stereobildpaaren bekannt geworden, bei welcher eine entfernungsbasierte Bildsegmentierung mittels Stereobildverarbeitung und eine Objekterkennung in den segmentierten Bildbereichen durchgeführt wird.
Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte redundante Objektdetektion für Fahrerassistenzsysteme zu ermöglichen.
Diese Aufgabe wird durch eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera mit den Merkmalen nach Anspruch 1 und ein entsprechendes Verfahren mit den Merkmalen nach Anspruch 5 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Ein wesentlicher Gedanke der Erfindung besteht darin, eine redundante Objektdetektion für Fahrerassistenzsysteme mit Hilfe einer Stereokamera zu implementieren. Obwohl eine Stereokamera praktisch nur als ein Sensor betrachtet wird, kann damit Redundanz bei der Objektdetektion durch Implementierung eines weiteren Auswertungspfades neben dem Stereopfad, also dem Verarbeitungspfad zur Auswertung der Stereobilder der Kamera, geschaffen werden. Beispielsweise kann neben dem Stereopfad ein Monopfad implementiert werden, in dem im Stereopfad detektierte Objekte unter Verwendung der Bilddaten mindestens eines Bildsensors der Stereokamera klassifiziert werden, so dass eine redundante Objektdetektion erhalten wird. Im Vergleich zu den bisher bekannten und in der Praxis eingesetzten Redundanzkonzepten besitzt das erfindungsgemäße Konzept der Implementierung einer redundanten Objektdetektion mit Hilfe einer Stereokamera den Vorteil, dass anstelle von zwei oder mehreren Sensoren, wie die eingangs erwähnte Kombination aus Radar- und Kamerasensor nur ein Sensor, nämlich eine Stereokamera in einem Fahrzeug an einer Stelle verbaut werden muss. Hierdurch kann die Montage und vor allem Verkabelung im Fahrzeug wesentlich erleichtert werden. Ein wesentlicher Vorteil der Erfindung besteht vor allem darin, dass durch die Detektion im Stereobild eine pixelgenaue Lokalisierung eines Objekts vorliegt. Die Klassifikation in einem zweiten (Mono-)Pfad kann dann nahezu exakt auf die im Stereopfad detektierten bzw. identifizierten Objektpixel beschränkt werden, Im Vergleich dazu ist bei einer Kombination aus Radar- Kamerasensor eine wesentlich ungenauere Referenzierung eines mit dem Radarsensor erkannten Objekts mit dem im Kamerabild erkannten Objekt vorhanden, wodurch nur eine im Vergleich zur vorliegenden Erfindung geringere Fehlersicherheit erreicht werden kann.
Eine Ausführungsform der Erfindung betrifft nun eine Vorrichtung zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei die Bildsensoren zur Erfassung von Stereobildern ausgebildet sind zur gleichzeitigen Erfassung von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten, ersten Verarbeitungsmitteln ausgebildet zur Detektion von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobilden (Stereopfad), und zweiten Verarbeitungsmitteln ausgebildet zur Detektion und Klassifikation von durch die ersten Verarbeitungsmittel detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (Monopfad). Durch die zweiten Verarbeitungsmittel wird ein weiterer Verarbeitungspfad implementiert, der bei der Objektdetektion Redundanz bewirkt, indem er die bereits im ersten Stereo-Verarbeitungspfad detektierten Objekte klassifiziert. Dieser weitere Verarbeitungspfad kann die Klassifikation durch Auswertung der Bilddaten eines oder sogar beider Bildsensoren der Stereokamera durchführen.
Die ersten Verarbeitungsmittel können ausgebildet sein, bei der Stereobildauswertung aus Disparitäten und/oder optischem Fluss eine Objektliste mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt-Klassifikation zuzuführen. Eine derartig generierte Objektliste enthält typischerweise Position, Ausdehnung Geschwindigkeit der Hindernisse in der eigenen Fahrspur oder in Nachbar-Fahrspuren.
Die zweiten Verarbeitungsmittel können ausgebildet sein, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren basierte Klassifikation der Hindernisse der zugeführten Objektliste auszuführen und eine zweite Objektliste mit klassifizierten Hindernissen zu generieren. Beispielsweise können die zweiten Verarbeitungsmittel alle in der zugeführten Objektliste enthaltenen detektierten Hindernisse zunächst anhand der Bilddaten von mindestens einem der zwei Bildsensoren zu verifizieren und anschließend zu klassifizieren. Die Klassifikation kann insbesondere der Bestimmung eines Objekttyps eines Hindernisses wie z.B. Fußgänger, Fahrzeug, geschlossene Bahnschranke dienen.
Die zweiten Verarbeitungsmittel sind erfindungsgemäß ferner dazu ausgebildet, bei der Klassifikation zusätzlich Bilddaten vom zweiten der zwei Bildsensoren zu verwenden und einen zweiten Stereopfad zu implementieren, indem für die Klassifikation von detektierten Objekten auch noch Stereoinformationen, wie z. B. Disparitäten verwendet werden.
Die zwei Bildsensoren der Stereokamera und die ersten und zweiten Verarbeitungsmittel können auf einer gemeinsamen Platine montiert sein. Hierdurch kann ein kompaktes Modul zum Einbau in ein Fahrerassistenzsystem eines Fahrzeugs geschaffen werden, das mit relativ geringem Verdrahtungsaufwand in das Sicherheitssystem eines Fahrzeugs eingebunden werden kann.
Die ersten Verarbeitungsmittel (16) können ferner als Stereopfad-Objektdetektionsprozessor und die zweiten Verarbeitungsmittel (18) als Monopfad-Objektdetektionsprozessor ausgeführt sein, wobei der Stereopfad- und der Monopfad-Objektdetektionsprozessor als getrennte Hardwareeinheiten implementiert sind, und wobei jeder Bildsensor (12; 14) mit jedem Objektdetektionsprozessor zur Bilddatenübertragung verbunden ist.
Eine weitere Ausführungsform der Erfindung betrifft ein Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren aufweist, wobei das Verfahren die folgenden Schritte aufweist:

Erfassen von Stereobildern mittels den zwei Bildsensoren (12, 14) durch gleichzeitiges Erfassen von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten,
Detektieren von Objekten durch Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobildern, und
Detektieren und Klassifizieren von detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren.
Der durch dieses Verfahren definierte Algorithmus kann beispielsweise in einem Prozessor ausgeführt werden, der für die Verarbeitung der Bilddaten der Bildsensoren der Stereokamera vorgesehen ist.

Der Schritt des Detektierens von Objekten durch Stereobildauswertung kann das Generieren einer Objektliste mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten Objektliste zur Objekt-Klassifikation aufweisen.
Der Schritt des Klassifizierens von detektierten Objekten kann das Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren und das Generieren einer zweite Objektliste mit klassifizierten Hindernisse aufweisen.
Beim Klassifizieren der Hindernisse der zugeführten Objektliste basierend auf den Bilddaten von mindestens einem der zwei Bildsensoren werden erfindungsgemäß zusätzlich Bilddaten vom zweiten der zwei Bildsensoren verwendet und es wird ein zweiter Stereopfad implementiert wird, indem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden .
Schließlich betrifft eine Ausführungsform der Erfindung ein Programm mit Programmcode zur Durchführung eines Verfahrens gemäß der Erfindung und wie vorstehend beschrieben, wenn das Programm von einem Prozessor ausgeführt wird. Das Programm kann beispielsweise in einem Speicher einer Stereokamera abgelegt sein und von einem Bilddatenverarbeitungs-Prozessor der Stereokamera ausgeführt werden.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en).
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
Die Zeichnung(en) zeigt/zeigen in

1 ein Blockschaltbild eines Ausführungsbeispiels eines Stereokamera-Modul mit redundanter Objektdetektion gemäß der Erfindung; und
2 ein Flussdiagramm eines Ausführungsbeispiels eines Programms zur redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung.

1 zeigt ein Blockschaltbild eines Stereokamera-Moduls 10 für Fahrerassistenzsysteme. Das Modul 10 kann beispielsweise in Form einer Platine einer ECU (Electronic Control Unit) ausgebildet sein, die in einem Kameragehäuse mit einer Optik in einem Fahrzeug beispielsweise im Bereich des Rückspiegels an der Fahrzeug-Windschutzscheibe verbaut wird. Das dargestellte Modul 10 unterscheidet sich von herkömmlichen Stereokamera-Modulen darin, dass zusätzlich zum Stereopfad zur Verarbeitung und Auswertung von Stereobildern ein Monopfad vorgesehen ist, der die im Stereopfad in den Bilddaten detektierten Objekte durch Auswertung von Monobildern eines Bildsensors des Moduls klassifiziert, wodurch eine redundante Objektdetektion geschaffen wird. Der hier verwendete Begriff „Monopfad“ ist nicht als einschränkend auf eine auf der Auswertung von Monobildern basierende Objekt-Klassifikation zu verstehen.
Zum Erfassen des Bereichs vor einem Fahrzeug weist das Modul 10 einen ersten und einen zweiten Bildsensor 12 bzw. 14 auf, die insbesondere durch CCD- oder CMOS-Bildsensoren implementiert sind. Mit den beiden Bildsensoren 12 und 14 werden Stereobilder des Bereichs vor dem Fahrzeug erfasst, indem die beiden Sensoren 12 und 14 jeweils zur gleichen Zeit ein Monobild erfassen. Jedes von den Sensoren 12 und 14 erfasste Monobild wird in Form elektronischer Bilddaten bzw. Bildsignale zur weiteren Verarbeitung einem Stereopfad-Objektdetektionsprozessor 16 zugeführt, der mittels an sich bekannter Algorithmen Hindernisse vor dem Fahrzeug anhand der durch die Bilddaten der Monobilder erzeugten Stereobilder detektiert. Insbesondere wertet der Prozessor 16 die Stereobilder aus, indem er aus Disparitäten und(oder Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, insbesondere vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe vom Prozessor 16 durch Auswertung der Stereobilder ermittelt werden. Aus den detektierten Hindernisse erzeugt der Prozessor 16 eine Objektliste 20, in der die Hindernisse und weitere relevante Daten wie Abstand, Geschwindigkeit und Größe enthalten sind. Diese Hindernis-Objektliste 20 wird in digitaler Form ausgegeben und außerdem einem Monopfad-Objektklassifikationsprozessor 18 zugeführt.
Der Monopfad-Objektklassifikationsprozessor 18 empfängt zudem Bilddaten vom ersten Bildsensor 12, also Monobilder. Mit den empfangenen Monobildern führt der Prozessor 18 eine bildbasierte Klassifikation der in der Hindernis-Objektliste 20 enthaltenen und im Stereopfad detektierten Hindernisse aus. Hierdurch wird eine redundante Objektdetektion geschaffen, da durch die bildbasierte Klassifikation im Monopfad eine erneute Objektdetektion der bereits im Stereopfad detektierten Objekte durchgeführt wird.
Dem Monopfad-Objektklassifikationsprozessor 18 werden zusätzlich Bilddaten vom zweiten Bildsensor 14 zugeführt werden (in 1 durch die gestrichelte Linie vom Sensor 14 zum Prozessor 18 dargestellt). Damit kann der Prozessor 18 auch noch Stereoinformationen wie beispielsweise Disparitäten für die Klassifikation verwenden, wodurch eine noch genauere Klassifikation der Hindernisse erzielt werden kann.
Die beiden vom Modul 10 ausgegebenen Listen 20 und 22 können in einem Fahrerassistenzsystem weiter verarbeitet werden, insbesondere durch einen Steueralgorithmus für die Entscheidung über einen (teil-) autonomen Eingriff in Bremsen, Lenkung, Antriebsstrangsteuerung ausgewertet werden. Der Algorithmus kann hierbei seine Entscheidung auf die Daten beider Listen 20 und 22 stützen, oder auch nur auf die Daten der Liste 22.
Die in 1 dargestellten Prozessoren 16 und 18 können als getrennte Hardwareeinheiten implementiert werden, beispielsweise als spezielle Bildverarbeitungs-ASICs (Application Specific Integrated Circuits). Alternativ kann auch ein leistungsfähiger Prozessor zur Bildverarbeitung im Modul 10 vorgesehen sein, der durch ein entsprechendes Programm konfiguriert die beiden Einheiten 16 und 18 implementiert.
Ein Flussdiagramm eines solchen Programms, das ein Verfahren redundanten Objektdetektion mit einer Stereokamera gemäß der Erfindung implementiert, ist in 2 gezeigt. Die gezeigten Schritte S10-S16 entsprechen den durch die Prozessoren 16 und 18 ausgeführten und oben beschriebenen Schritten. Der Vollständigkeit halber werden die Verfahrensschritte im Folgenden nochmal kurz beschrieben. Im Schritt S10 werden Objekte durch Auswertung der durch die Stereokamera erfassten Stereobilder detektiert. Hierzu werden im Schritt S12 aus Disparitäten und Fluss als Objekte Hindernisse, die aus einer Straße herausragen, detektiert, wie vorausfahrende Fahrzeuge, deren Abstand zum eigenen Fahrzeug, Geschwindigkeit und Größe. Die so erzeugte Objektliste 20 mit Hindernissen wird ausgegeben und im darauffolgenden Schritt S14 weiter verarbeitet, indem die Hindernisse durch Monobildauswertung der Bilddaten eines Bildsensors der Stereokamera klassifiziert werden. Mit den klassifizierten Hindernissen wird eine weitere Objektliste 22 erzeugt, die zur weiteren Verarbeitung durch ein Fahrerassistenzsysteme, beispielsweise die Entscheidung über einen (teil-) autonomen Eingriff in die Fahrzeugdynamik ausgegeben wird.
Die vorliegende Erfindung ermöglicht die redundante Detektion von Objekten für Fahrerassistenzsysteme mit einer Stereokamera, mit welcher der technische Implementierungsaufwand gegenüber herkömmlichen Ansätzen mit zwei oder mehr unterschiedlichen Sensoren verringert werden kann.
Bezugszeichen

10: Stereokamera-Modul
12: erster Bildsensor der Stereokamera
14: zweiter Bildsensor der Stereokamera
16: Stereopfad-Objektdetektionsprozessor
18: Monopfad-Objektklassifikationsprozessor
20: Hindernis-Objektliste
22: Klassifizierte-Hindernis-Objektliste

Claims

Vorrichtung (10) zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, wobei die Bildsensoren (12, 14) zur Erfassung von Stereobildern ausgebildet sind zur gleichzeitigen Erfassung von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten, ersten Verarbeitungsmitteln (16) ausgebildet zur Detektion von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren erzeugten Stereobildern (Stereopfad), und zweiten Verarbeitungsmitteln (18) ausgebildet zur Detektion und Klassifikation von durch die ersten Verarbeitungsmittel detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (12; 14) (Monopfad), und wobei die zweiten Verarbeitungsmittel (18) ferner ausgebildet sind, bei der Klassifikation zusätzlich Bilddaten vom zweiten (14; 12) der zwei Bildsensoren zu verwenden und einen zweiten Stereopfad zu implementieren, in dem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden [Anspruch 4, S. 3, Z.29-33].
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die ersten Verarbeitungsmittel (16) ausgebildet sind, bei der Stereobildauswertung aus Disparitäten und/oder Fluss eine erste Objektliste (20) mit Hindernissen, die aus einer Straße herausragen, zu generieren und die generierte Objektliste den zweiten Verarbeitungsmitteln zur Objekt-Klassifikation zuzuführen.
Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die zweiten Verarbeitungsmittel (18) ausgebildet sind, eine auf den Bilddaten von mindestens einem der zwei Bildsensoren (12; 14) basierte Klassifikation der Hindernisse der zugeführten ersten Objektliste (20) auszuführen und eine zweite Objektliste (22) mit klassifizierten Hindernissen zu generieren.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ersten Verarbeitungsmittel (16) als Stereopfad-Objektdetektionsprozessor und die zweiten Verarbeitungsmittel (18) als Monopfad-Objektdetektionsprozessor ausgeführt sind, wobei der Stereopfad- und der Monopfad-Objektdetektionsprozessor als getrennte Hardwareeinheiten implementiert sind, wobei jeder Bildsensor (12; 14) mit jedem Objektdetektionsprozessor zur Bilddatenübertragung verbunden ist.
Verfahren zur redundanten Objektdetektion mit einer Stereokamera, die zwei Bildsensoren (12, 14) aufweist, wobei das Verfahren die folgenden Schritte aufweist: Erfassen von Stereobildern mittels den zwei Bildsensoren (12, 14) durch gleichzeitiges Erfassen von Mono-Bilddaten, welche Objekte im Erfassungsbereich der Stereokamera enthalten, Detektieren von Objekten durch eine Stereobildauswertung von den aus den Mono-Bilddaten der zwei Bildsensoren (S10, S12) erzeugten Stereobilder, und Detektieren und Klassifizieren von detektierten Objekten durch eine Monobildauswertung von Mono-Bilddaten von mindestens einem der zwei Bildsensoren (S14, S16) wobei beim Klassifizieren der Hindernisse der zugeführten ersten Objektliste (20) basierend auf den Monobilddaten von mindestens einem der zwei Bildsensoren (12; 14) zusätzlich Bilddaten vom zweiten der zwei Bildsensoren (14; 12) verwendet und ein zweiter Stereopfad implementiert wird, in dem für die Klassifikation von detektierten Objekten Stereoinformationen verwendet werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Schritt des Detektierens von Objekten durch die Stereobildauswertung (S10) das Generieren einer ersten Objektliste (20) mit Hindernissen, die aus einer Straße herausragen, durch Stereobildauswertung aus Disparitäten und Fluss und das Ausgeben der generierten ersten Objektliste (S12) zur anschließenden Objekt-Klassifikation aufweist.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Schritt des Klassifizierens von detektierten Objekten (S14) das Klassifizieren der Hindernisse der zugeführten ersten Objektliste (20) basierend auf den Monobilddaten von mindestens einem der zwei Bildsensoren (12, 14) und das Generieren einer zweite Objektliste (22) mit klassifizierten Hindernissen (S16) aufweist.
Programm mit Programmcode zur Durchführung eines Verfahrens gemäß einem der Ansprüche 5 bis 7, wenn das Programm von einem Prozessor ausgeführt wird.