DE102011087901A1

DE102011087901A1 - Verfahren zur Darstellung eines Fahrzeugumfeldes

Info

Publication number: DE102011087901A1
Application number: DE102011087901A
Authority: DE
Inventors: Karsten Muehlmann; Henning Von Zitzewitz; Jan Egelhaaf; Raphael Cano; Leo Vepa
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2013-06-13
Also published as: EP2788957A1; IN2014DN03438A; WO2013083364A1; CN103959341A

Abstract

Die Erfindung betrifft Fahrerassistenzsysteme (12), die zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet sind. Die Erfindung betrifft ferner ein Verfahren in einem derartigen Fahrerassistenzsystem, das die folgenden Schritte umfasst: Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik (16, 18, 20, 22, 26); Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28); Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens zweischichtige Ebene (36, 38) projiziert werden; und Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch-Maschine-Schnittstelle (16). Zudem wird ein Computerprogramm zur Durchführung des Verfahrens vorgeschlagen.

Description

Stand der Technik
Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrzeug. Zudem betrifft die Erfindung ein Fahrerassistenzsystem und ein Computerprogrammprodukt zur Durchführung des Verfahrens.
Fahrerassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die der Unterstützung des Fahrers in bestimmten Fahrsituationen dienen. Dazu umfasst ein Fahrerassistenzsystem mehrere Subsysteme wie einen Einparkassistenten, eine Totwinkelüberwachung oder einen Spurwechselassistenten. Typischerweise nutzen diese Subsysteme Daten von am Fahrzeug verbauter Umfeldsensorik, die durch Sensoren, wie optischen Sensoren, Ultraschallsensoren oder dergleichen, das Umfeld des Fahrzeuges überwachen. Eine typische Funktionalität von Fahrerassistenzsystemen beinhaltet, dem Fahrer das Fahrzeugumfeld auf der Anzeige einer Mensch-Maschine-Schnittstelle darzustellen. Hierbei werden typischerweise Daten der Umfeldsensorik in eine Darstellung transformiert, die das Fahrzeug und dessen Umfeld aus der Vogelperspektive zeigen.
Aus dem DE 10 2008 046 544 A1 ist ein Verfahren zur Überwachung einer Umgebung eines Fahrzeuges bekannt, in dem die Umgebung mittels einer Kamera erfasst wird und aus den erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird. Dieses Gesamtbild zeigt das Fahrzeug und dessen Umgebung aus der Vogelperspektive. Dabei wird das Fahrzeug in dem Gesamtbild in Abhängigkeit von dessen Bewegungsrichtung positioniert und ein Ausschnitt des Gesamtbilds mittels einer Anzeigeeinheit ausgegeben. Neben der Auswahl eines Ausschnittes aus dem Gesamtbild kann eine virtuelle Kameraposition in Abhängigkeit von der Bewegungsrichtung des Fahrzeuges oder der Fahrzeuggeschwindigkeit so verschoben werden, dass aus Perspektive der virtuellen Kameraposition das Fahrzeug und dessen Umgebung abgebildet werden.
Aus DE 10 2009 035 422 A1 ist ein Verfahren zur geometrischen Transformation von Bildern bekannt, in dem zunächst durch eine Kamera ein Quellbild erzeugt wird, dann in der Umgebung des Fahrzeuges ein Objekt durch Abstandssensoren, insbesondere ultraschallbasierte Abstandssensoren, detektiert wird und der Abstand des Fahrzeuges zu dem Objekt bestimmt wird. In Abhängigkeit von dem Abstand wird eine gewünschte virtuelle Bildaufnahmeperspektive bestimmt und das Quellbild wird in ein virtuelles Ergebnisbild geometrisch transformiert, welches scheinbar aus einer virtuellen Bildaufnahmeperspektive aufgenommen ist. Insbesondere bei einem Linksabbiegevorgang wird die virtuelle Bildaufnahmeperspektive so gewählt, dass dem Fahrer im Fahrzeuginnern ein Ergebnisbild dargestellt wird, durch welches dem Fahrer das Herannahen eines Fremdfahrzeuges angezeigt wird.
DE 10 2007 044 536 A1 beschreibt eine Vorrichtung und ein Verfahren zum Überwachen der Umgebung eines Kraftfahrzeuges, wobei Aufnahmemittel Bilder der Umgebung aufnehmen und eine Anzeigeeinheit einen Bildausschnitt wiedergibt. Dabei wird der wiedergegebene Bildausschnitt selbsttätig verändert, um den dargestellten Umgebungsausschnitt anzupassen. Dies kann durch Verschwenken der Kamera, Umschalten auf eine andere Kamera oder Anpassen des hierbei gegebenen Bildausschnitts erreicht werden.
Bekannte Verfahren zur Nutzung virtueller Perspektiven in der Überwachung der Umgebung eines Kraftfahrzeugs und/oder zur Nutzung virtueller Perspektiven bei der Darstellung von Bildern der Fahrzeugumgebung im Fahrzeuginneren weisen oft noch Nachteile auf, insbesondere bei der Darstellung komplexer dreidimensionaler Objektkonstellationen. So ist bei der Darstellung komplexer dreidimensionaler Objektkonstellationen ein hoher verarbeitungstechnischen Aufwand notwendig und Vereinfachungen derartiger Algorithmen können beispielsweise dazu führen, dass Abstände zu Objekten in dem Fahrzeugumfeld in der Wahrnehmung des Fahrers nicht korrekt dargestellt werden. Dies wiederum führt zu Fehleinschätzungen, die die Unfallgefahr erhöhen.
Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle eines Fahrerassistenzsystems in einem Fahrzeug mit folgenden Schritten:

– Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik;
– Bestimmen einer situationsabhängigen virtuellen Kameraperspektive;
– Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert werden; und
– Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch-Maschine-Schnittstelle.

Ein Fahrerassistenzsystem bezeichnet eine elektronische, in einem Fahrzeug integrierte Zusatzeinrichtung, die den Fahrer in verschiedenen Fahrsituationen unterstützt. Fahrerassistenzsysteme umfassen üblicherweise verschiedene Subsysteme, die insbesondere zur Steigerung der Sicherheit oder des Komforts des Fahrzeuges eingesetzt werden. Beispielsweise kann ein Fahrerassistenzsystem einen Einparkassistenten, eine Totwinkelüberwachung oder dergleichen umfassen. Zur Ausgabe von Informationen an den Fahrer umfasst ein Fahrerassistenzsystem üblicherweise eine Mensch-Maschine-Schnittstelle (HMI), die Informationen in haptischer, optischer und/oder akustischer Form ausgeben kann. Beispielsweise entsprechen Ruckeln am Lenkrad, Darstellen von Bildern auf einem Display oder Ausgeben von Tönen über einen Lautsprecher solchen Ausgaben.
Zur Charakterisierung des Fahrzeugumfeldes umfasst das Fahrerassistenzsystem Umfeldsensorik, die Umfelddaten erfasst. Die Umfeldsensorik kann beispielsweise ein Kamerasystem mit einer oder mehreren Kameras umfassen. Zusätzlich oder alternativ können aber auch ein Ultraschallsystem, Radarsystem, etc. eingesetzt werden, um Umfelddaten zu sammeln.
Die Umfelddarstellung vereinigt die erfassten Umfelddaten zur Ausgabe auf einer Anzeigevorrichtung. So kann die Umfelddarstellung etwa auf dem Kamerasystem basierende Videoansichten des Fahrzeugumfeldes zur Ausgabe auf einer Anzeigevorrichtung umfassen. Weiterhin kann die Umfelddarstellung Visualisierungen von Ultraschalldaten, Radardaten, etc. enthalten.
Unter dem Ausdruck virtuelle Kameraperspektive ist im vorliegenden Zusammenhang eine Ansicht auf das Fahrzeugumfeld zu verstehen, die reale Kameras liefern würde. Die virtuelle Kameraperspektive entspricht also der Ansicht auf das Fahrzeugumfeld, die eine virtuelle Kamera liefert, wobei die Umfelddarstellung in der virtuellen Kameraperspektive aus Umfelddaten, insbesondere Bildern von realen Kameras, erzeugt wird.
In einer Implementierung des erfindungsgemäßen Verfahrens wird die virtuelle Kameraperspektive in Abhängigkeit von Objekten im Fahrzeugumfeld und/oder in Abhängigkeit von Zustandsvariablen des Fahrzeuges bestimmt. Dabei können Objekte im Fahrzeugumfeld anhand der Umfelddaten identifiziert werden. Beispielsweise ermöglichen Verfahren zur Bildverarbeitung, wie Segmentierung oder Histogrammierung, die Erkennung von Objekten aus den Videoansichten eines Kamerasystems. Zusätzlich oder alternativ können auch ein Ultraschall, Radar- oder LIDAR-Daten zur Objekterkennung verwendet werden. Die virtuelle Kamera kann dann auf mindestens eines der erkannten Objekte, etwa auf Hindernisse im Fahrschlauch des Fahrzeuges, ausgerichtet werden, so dass die virtuelle Kameraperspektive das mindestens eine erkannte Objekt beinhaltet.
Neben der objektabhängigen Bestimmung der virtuellen Kameraperspektive ist es möglich Zustandsvariablen des Fahrzeuges einzubeziehen. So kann die virtuelle Kameraperspektive in Abhängigkeit von der Eigengeschwindigkeit, dem Lenkwinkel oder der Fahrtrichtung gewählt werden.
Nach Bestimmen der virtuellen Kameraperspektive kann aus den Umfelddaten eine Umfelddarstellung erzeugt werden, die eine Ansicht auf das Fahrzeugumfeld wiedergibt, welche eine reale Kamera in der Position der virtuellen Kamera liefern würden. Derartige Umfelddarstellungen werden in einer weiteren Implementierung des erfindungsgemäßen Verfahrens mit sich bewegender virtueller Kamera erzeugt. So kann sich die virtuelle Kamera beispielsweise entlang einer horizontalen oder einer vertikalen Linie bewegen, wobei die virtuelle Kameraperspektive im Wesentlichen identisch bleibt. Alternativ oder zusätzlich kann die virtuelle Kamera auch verschwenkt werden, wobei die virtuelle Kameraperspektive im Wesentlichen identisch bleibt. Die erzeugten Umfelddarstellungen können dann im Bezug auf die Bewegung repetitiv ausgegeben werden, um einen Tiefeneindruck zu bewirken.
In einer weiteren Implementierung des erfindungsgemäßen Verfahrens wird ein Bereich der Umfelddarstellung in der virtuellen Kameraperspektive ausgewählt und rektifiziert. Eine derartige Auswahl ist insbesondere dann vorteilhaft, wenn Videoansichten eines Kamerasystems durch das in die Kameras integrierte Linsensystem, etwa durch Weitwinkellinsen, verzerrt sind. Die Verzerrung der Videoansicht nimmt dabei entsprechend des optischen Abbildungsfehlers der Linse vom Zentrum der Videoansicht zum Rand hin zu. Daher können insbesondere solche Bereiche der Umfelddarstellung ausgeschlossen werden, die durch den Abbildungsfehler des Linsensystems stark beeinflusst sind. Diese Bereiche befinden sich üblicherweise am Rand der Videoansicht. Durch Rektifizierung können Verzerrungen in der überbleibenden Videoansicht eliminiert werden.
Zur Erzeugung der Umfelddarstellung werden die Umfelddaten aus Sicht der virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert. Die Projektionsebene kann dabei in Ihrer Form beliebig gewählt werden. So können insbesondere auf dem Kamerasystem basierende Videoansichten, die unterschiedliche Ausschnitte des Fahrzeugumfeldes zeigen, in einer Ebenen zusammengeführt werden. Dabei können das Fahrzeug und dessen Umfeld so dargestellt werden, dass das Fahrzeug beispielsweise im Zentrum mit dem um das Fahrzeug herum liegende Umfeld wiedergegeben wird. Die erzeugte Umfelddarstellung kann zumindest einem Teilbereich oder einen Rundumblick des realen Umfeldes des Fahrzeuges wiedergeben.
Bevorzugt werden die Umfelddaten auf eine Freiformfläche, etwa eine flache oder eine schüsselförmige Ebene, projiziert. Im Falle einer schüsselförmigen Projektionsebene kann der Übergang zwischen horizontalem Bereich und vertikalem Bereich der Ebene so gewählt werden, dass dieser mit dem Übergang zwischen flachen Bereichen, wie der Straße, und erhabenen Objekten, beispielsweise Gebäuden, übereinstimmt.
In einer Realisierung des erfindungsgemäßen Verfahrens umfasst die Ebene eine Objektschicht, eine Hintergrundschicht und ggf. eine Übergangsschicht. Dabei kann die Objektschicht ausgebildet werden, indem Bereiche der Ebene, in die erkannte Objekte projiziert werden, gegenüber der Hintergrundschicht hervorgehoben werden. Beispielsweise können bei einer flachen Ebene die Bereiche, in die Objekte projiziert werden, herausgelöst werden und in Richtung der virtuellen Kamera versetzt werden. Dadurch ergibt sich eine Staffelung der Ebene in Hintergrundschicht und Objektschicht.
In einer weiteren Realisierung des erfindungsgemäßen Verfahrens wird die Objektschicht für einzelne Objekte an den Abstand des Objekts von der virtuellen Kamera und/oder die Objektkontur angepasst ist. Hierbei können der Abstand des Objekts von der virtuellen Kamera und die Objektkontur beispielsweise aus Umfelddaten wie Ultraschall-, Radar- oder LIDAR-Daten bestimmt werden.
Zwischen der Objektschicht und der Hintergrundschicht kann weiterhin eine flache oder gekrümmte Übergangsschicht ausgebildet sein, die einen kontinuierlichen Übergang zwischen Objektschicht und Hintergrundschicht schafft. Auf die Übergangsschicht können insbesondere aus Bildsequenzen rekonstruierte Umfelddarstellungen projiziert werden, wobei die Umfelddarstellung die jeweilige Perspektive berücksichtigt und dadurch die dreidimensionale Wahrnehmung unterstützt. Dies kann insbesondere mittels der Warping-Gleichung erfolgen, die beispielsweise zu einem Bild gehörige Tiefenwerte verwendet, um das Bild von einem anderen Blickpunkt aus gesehen zu darzustellen.
Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei der Computereinrichtung kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrerassistenzsystems, oder eines Subsystems hiervon, in einem Fahrzeug handeln. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-ROM, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie etwa einem Server zum Herunterladen bereitgestellt werden, z.B. über ein Datennetzwerk wie etwa das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung.
Schließlich wird erfindungsgemäß ein Fahrerassistenzsystem zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrzeug vorgeschlagen, das vorzugsweise zur Durchführung des vorstehend beschriebenen Verfahrens dient. Das erfindungsgemäße Fahrerassistenzsystem umfasst dazu folgende Komponenten:

– Umfeldsensorik zum Erfassen von Umfelddaten;
– mindestens eine Komponente zum Bestimmen einer situationsabhängigen virtuellen Kameraperspektive;
– mindestens eine Komponente zum Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert werden; und
– eine Anzeigevorrichtung zur Ausgabe der Umfelddarstellung als Teil der Mensch-Maschine Schnittstelle.

Die Umfeldsensorik kann beispielsweise ein Kamerasystem mit einer oder mehreren Kameras umfassen. Zusätzlich oder alternativ können aber auch ein Ultraschallsystem, Radarsystem, etc. eingesetzt werden, um Umfelddaten zu sammeln.
Die Bestimmung der situationsabhängigen virtuellen Kameraperspektive sowie die Erzeugung der Umfelddarstellung beispielsweise in der Vogelperspektive können durch eine oder unterschiedliche Komponenten des Fahrerassistenzsystems erfolgen. So kann beispielsweise ein Steuergerät des Fahrerassistenzsystems ausgebildet sein, diese Verfahrensschritte durchzuführen.
Vorteile der Erfindung
Die Erfindung ermöglicht es, insbesondere dreidimensionale Objektkonstellationen in natürlicher und intuitiver Weise darzustellen. Denn durch die Projektion der Umfelddaten auf eine mindestens zweischichtige Ebene kann ein Tiefeneindruck bewirkt werden, der dem Betrachter, insbesondere dem Fahrer eines Fahrzeuges, einen klaren Eindruck hinsichtlich der Anordnung und Ausdehnung von Objekten und deren Abstand zum Fahrzeug vermittelt. Dies nimmt der Darstellung des Fahrzeugumfeldes ihren artifiziellen Charakter und vermittelt dem Fahrer einen natürlichen Eindruck seiner unmittelbaren Umgebung. Dadurch wird eine verbesserte Verständlichkeit der Darstellung des Fahrzeugumfeldes erreicht. Zusätzlich wird durch die situationsabhängige virtuelle Kameraperspektive die Aufmerksamkeit des Fahrers auf relevante Bereiche des Fahrzeugumfeldes gelenkt.
Der erhöhten Systemverfügbarkeit steht dabei kein zusätzlicher Montageaufwand gegenüber, da keine zusätzlichen Sensoren, Module oder sonstige Komponenten verbaut werden müssen. Die meisten Fahrzeuge verfügen heute über eine Umfeldsensorik mit optischen Sensoren in unterschiedlichen Positionen am Fahrzeug. In der Regel sind daher Umfelddaten und insbesondere Videoansichten des Fahrzeugumfeldes einfach bereitstellbar oder sind ohnehin bereits verfügbar, so dass für die Erfindung im Wesentlichen zusätzliche Auswertungsalgorithmen zu implementieren sind. Das erfindungsgemäße Verfahren kann daher einfach und kostengünstig nachgerüstet werden.
Kurze Beschreibung der Zeichnungen
Weitere Aspekte und Vorteile der Erfindung werden nunmehr anhand der beigefügten Figuren eingehender beschrieben.
Hierbei zeigen:
1 ein mit einem erfindungsgemäßen Fahrerassistenzsystem ausgerüstetes Fahrzeug in einer beispielhaften Fahrsituation;
2a, b schematische Darstellung einer Freiformfläche zur Erzeugung einer Umfelddarstellung aus einer virtuellen Kameraperspektive;
3a, b schematische Darstellung der Freiformfläche zur Erzeugung einer Umfelddarstellung aus der virtuellen Kameraperspektive mit Hindernissen;
4a–d schematische Darstellung zur situationsabhängigen Platzierung einer virtuellen Kamera; und
5 in Form eines Flussdiagramms einer Arbeitsweise des Fahrerassistenzsystems gemäß der 1.
Ausführungsformen der Erfindung
In 1 ist eine beispielhafte Fahrsituation angedeutet, in der ein Fahrer sich mit seinem Fahrzeug 10 in einem Umfeld mit Hindernissen 24 befindet. Die Hindernisse 24 liegen in der gezeigten Fahrsituation vor und neben dem Fahrzeug 10. Um eine Kollision mit derartigen Hindernissen 24 zu vermeiden, muss der Fahrer das Fahrzeugumfeld korrekt einschätzen und entsprechend rangieren. Derartige Fahrsituationen können beispielsweise beim Ein- oder Ausparken auftreten, wobei Hindernisse 24, wie Säulen oder Mauern, die Parklücke begrenzen. Auch während der Fahrt auf einer Straße können Hindernisse 24, beispielsweise andere Fahrzeuge oder Fußgänger, in den Fahrschlauch des Fahrzeuges 10 eintreten. Erfindungsgemäß ausgestaltetes Fahrerassistenzsystem 12 hilft dem Fahrer, insbesondere in derartigen Situationen, Hindernisse 24 zu erkennen und diese sicher zu umfahren.
Das erfindungsgemäße Fahrerassistenzsystem 12 umfasst dazu Umfeldsensorik, die das Umfeld des Fahrzeuges 10 überwacht. In der in 1 gezeigten Ausführungsform sind an dem Fahrzeug 10 eine Kamerasystem 18, 20, 22 sowie Ultraschallsensorik 26 verbaut. Das Kamerasystem 18, 20, 22 liefert über Front-, Seiten- und Rückkameras Umfelddaten, die das Umfeld rundum das Fahrzeug 10 überwachen. Die Kameras 18, 20, 22 können dabei beispielsweise als Mono- oder Stereokameras mit Weitwinkellinsen ausgestaltet sein. Zusätzlich sind Ultraschallsensoren 26 in unterschiedlichen Positionen am Fahrzeug 10 vorgesehen, die Umfelddaten aus Ultraschalllaufzeitmessungen liefern.
In anderen Ausführungsformen kann das Fahrerassistenzsystem 12 weitere Sensoren, etwa LIDAR- oder Radarsensoren, umfassen, die weitere Umfelddaten zur Überwachung des Fahrzeugumfeldes liefern.
Damit der Fahrer die Fahrsituation besser einschätzen kann, werden die von der Umfeldsensorik 18, 20, 22, 26 aufgezeichneten Daten auf einem Display 16 eines dem Fahrerassistenzsystem 12 zugeordneten HMI dargestellt. Dazu werden die Umfelddaten in eine Umfelddarstellung transformiert, die dem Fahrer situationsabhängig relevante Ausschnitte oder eine Rundumansicht auf das Fahrzeugumfeld darstellt. Zur Verarbeitung der Umfelddaten umfasst das Fahrerassistenzsystem 12 weiterhin ein Steuergerät 14, das ausgebildet ist, eine Umfelddarstellung zur Anzeige auf dem Display 16 des dem Fahrerassistenzsystem 12 zugeordneten HMIs zu erzeugen.
Um die Umfelddarstellung aus Videoansichten des Kamerasystems 18, 20, 22 zu generieren, werden einzelne Videoansichten des relevanten Umfeldes oder des gesamten Umfeldes in eine Umfelddarstellung transformiert. Die Transformation erfolgt, indem eine virtuelle Freiformfläche als Ebene 30 generiert wird, auf die die Videoansichten projiziert werden. Dabei wird sowohl die Form der Ebene 30 als auch die virtuelle Kameraperspektive 28 situationsabhängig so gewählt, dass Objekte, wie Hindernisse 24, in der Umfelddarstellung für den Fahrer intuitive erkennbar sind und die Aufmerksamkeit des Fahrers auf potentielle Hindernisse 24 gelenkt wird.
Im Bezug auf die Ebene 30 kann eine verbesserte Darstellung dadurch erreicht werden, dass die Ebene in eine Hintergrundschicht 38 und eine Objektschicht 36 aufgeteilt wird. So werden Objekte, die potentielle Hindernisse 24 sein können, aus den Umfelddaten bestimmt. Beispielsweise werden die Videoansichten durch Bildverarbeitungsverfahren und/oder Ultraschalldaten auf Objekte 24 hin untersucht. Hierbei wird die Projektionsebene 30 in den Bereichen, in die Objekte 24 projiziert werden, hervorgehoben. Dazu wird die Ebene 30 in diesem Bereich zur virtuellen Kamera 29 hin versetzt und somit eine Objektschicht 36 ausgebildet, die gegenüber der Hintergrundschicht 38 versetzt ist.
Zusätzlich kann zwischen der Objektschicht 36 und der Hintergrundschicht 38 eine Übergangsschicht 40 ausgebildet sein, um scharfe Bildkanten zwischen der Objekt- und Hintergrundschicht 36, 38 zu vermeiden. In der Umfelddarstellung, die dem Fahrer bereitgestellt wird, erscheint somit die Videoansicht des Objekts 24 versetzt gegenüber der Hintergrundschicht 38 und dem Fahrer kann eine Tiefenstaffelung vermittelt werden, die die Wahrnehmung des Objekts, insbesondere potentieller Hindernisse 24, erleichtert.
In 2a und 2b sind beispielhaft eine Schnittansicht und eine Draufsicht einer Freiformfläche gezeigt, die als schüsselförmige Projektionsebene 30 ausgestaltet ist, auf die Videoansichten des Fahrzeugumfeldes projiziert werden. Dabei wird der Übergang zwischen dem horizontalen Bereich 32 und dem Flankenbereich 34 der schüsselförmigen Ebene 30 möglichst so gewählt, dass dieser mit dem Übergang zwischen flachen Bereichen 32, wie der Straße auf der sich das Fahrzeug 10 befindet, und erhabenen Objekten, wie Hindernisse 24, im Umfeld des Fahrzeuges 10 übereinstimmen. 2c zeigt eine virtuelle Kamera 29 mit virtueller Kameraperspektive (angedeutet durch Bezugszeichen 28) und die Projektionsebene, wobei sich keine Objekte oder Hindernisse in der virtuellen Kameraperspektive 28 befinden. Die Projektionsebene 30 ist in der dargestellten Ausführungsform schüsselförmig rundum das Fahrzeug 10 gewählt, wobei das Fahrzeug 10 in das Zentrum der schüsselförmigen Ebene 30 projiziert wird. Diese Form ermöglicht es, die Straße vor dem Fahrzeug 10 auf den flachen Teil 32 und etwaige Objekte 24 auf die Flanken 34 der Ebene 30 zu projizieren. So kann dem Fahrer ein natürlich wirkendes Bild des Fahrzeugumfeldes vermittelt werden, auf dem der Fahrer intuitiv Objekte oder Hindernisse 24 im Umfeld erkennen kann. Auf diese Weise entsteht in der auf dem Display angezeigten Umfelddarstellung ein realer Eindruck, der für den Fahrer intuitiver zu beurteilen ist.
In den 3a und 3b ist beispielhaft die Aufteilung der Projektionsebene 30 in unterschiedliche Schichten verdeutlicht. 3a zeigt die virtuelle Kamera 29 und die Projektionsebene 30, wobei sich Objekte oder Hindernisse 24 in der virtuellen Kameraperspektive 28 befinden. In diesem Fall wird die Projektionsebene 30 in eine Hintergrundschicht 38 und eine Objektschicht 36 unterteilt. Dabei wird in den Bereichen, in die Objekte 24 projiziert werden, eine Objektschicht 36 ausgebildet, die gegenüber der Hintergrundschicht 38 zur Position der virtuellen Kamera 29 hin versetzt. Dadurch wird eine Tiefenstaffelung erreicht, die Objekte 24 versetzt zu dem restlichen Umfeld auf der Hintergrundschicht 38 darstellt. So können Objekte und insbesondere solche, die ein potentielles Hindernis 24 sein können, hervorgehoben und damit besser für den Fahrer erfassbar dargestellt werden. Zusätzlich kann durch die Tiefenstaffelung eine dreidimensionale Wirkung erreicht werden, die die Darstellung natürlicher erscheinen lässt.
3b zeigt ebenfalls die virtuelle Kamera 29 und die Projektionsebene 30, wobei sich Objekte oder Hindernisse 24 in der virtuellen Kameraperspektive 29 befinden. Im Unterschied zu der Ausführungsform nach 3a sind hier eine Objekt-, eine Hintergrund- und eine Übergangsschicht 36, 38, 40 vorgesehen. Die Übergangsschicht 40 ist zwischen der Objektschicht 36 und der Hintergrundschicht 38 ausgebildet. Um scharfe Bildkanten zwischen der Objekt- und Hintergrundschicht 36, 38 zu vermeiden, werden auf die Übergangsschicht 40 Ansichten des Objekts 24 projiziert, die aus Sequenzen von Videoansichten generiert werden. Die Übergangsschicht wird dazu so aufgefüllt, dass ein natürlicher Übergang zwischen Objektschicht und Hintergrundschicht entsteht. Dies kann beispielsweise durch die Projektion einer Umfelddarstellung mit der entsprechenden Perspektive erfolgen.
Neben der Hervorhebung von Objekten 24 bei der Projektion der Videoansichten auf eine Projektionsebene 30 zur Darstellung des Fahrzeugumfeldes wird die virtuelle Kameraperspektive 28, aus der das Umfeld dargestellt wird, situationsabhängig gewählt. Dies kann automatisch in Abhängigkeit von den detektierten Objekten, die ein potentielles Hindernis 24 darstellen, oder Zustandsvariablen des Fahrzeuges 10 geschehen. Beispielsweise kann die virtuelle Kameraperspektive 28 in Abhängigkeit von der Fahrtrichtung 42, der Eigengeschwindigkeit oder dem Lenkwinkel festgelegt werden.
In den 4a bis 4d ist beispielhaft die situationsabhängige Wahl der virtuellen Kameraperspektive 28 verdeutlicht. In der in 4a gezeigten Ausführungsform befindet sich beispielsweise ein Objekt 24 im Umfeld des Fahrzeuges 10. Die virtuelle Kamera 29 wird dabei auf das Objekt 24 ausgerichtet, so dass die virtuelle Kameraperspektive 28, aus der das Umfeld in der Umfelddarstellung gezeigt wird, das Objekt 24 umfasst.
In den in den 4b bis 4d gezeigten Ausführungsformen wird die virtuelle Kamera 28 in Abhängigkeit von der Fahrtrichtung, der Eigengeschwindigkeit und/oder dem Lenkwinkel 42 gewählt. In 4b ist die virtuelle Kamera 29 so ausgerichtet, dass die virtuelle Kameraperspektive 28 das Fahrzeugumfeld in Fahrtrichtung 42 umfasst. Um auch das Fahrzeug 10 selbst und dessen Position im Fahrzeugumfeld darstellen zu können, wird die Position der virtuellen Kamera 29, wie in 4c gezeigt, hinter dem Fahrzeug 10 gewählt. Auch der Lenkwinkel 42 kann in die Wahl der virtuellen Kamera eingehen. Wie in 4d gezeigt, wird in dieser Ausführungsform die Ausrichtung der virtuellen Kamera dem Lenkwinkel angepasst, wobei der Lenkwinkel über Sensoren, wie Potentiometer, optische Messverfahren oder magnetische Sensoren, insbesondere Hall-Sensoren, bestimmt werden kann.
Neben den genannten Ausführungsformen kann die virtuelle Kamera 29 auch so gewählt werden, dass die transformierte Darstellung einem Zoom in einen bestimmten Bildbereich entspricht. In 4e ist dies beispielhaft anhand einer Videoansicht 42 aufgenommen mit einer Weitwinkellinse gezeigt. Insbesondere bei Weitwinkellinsen ergibt sich durch den Abbildungsfehler der Linse eine Verzerrung der Videoansicht 42, die vom Zentrum 44 zum Rand 46 der Videoansicht 42 hin zunimmt. Durch eine Wahl der virtuellen Kamera 29, deren virtuelle Kameraperspektive 28 nur einen Teil 48 um das Zentrum 44 der Videoansicht 42 umfasst, können derartige Verzerrungen minimiert werden. Dieser Teil 48 der Videoansicht 42 kann auch zur Weiterverarbeitung genutzt werden, um eine Rundumansicht auf das Fahrzeugumfeld zu generieren
5 zeigt ein Flussdiagramm 50, anhand dessen die Erzeugung der Umfelddarstellung für den Fahrer, erläutert wird. In Schritt 52 werden Umfeldaten durch Umfeldsensorik 18, 20, 22, 26 gesammelt, die das Umfeld des Fahrzeuges 10 charakterisieren. Als Umfeldsensorik 18, 20, 22, 26 wird insbesondere ein Kamerasystem 18, 20, 22 oder ein System aus Laufzeitmesssensoren 26 eingesetzt. Laufzeitsensoren 26 basieren beispielsweise auf der Messung von Ultraschall-, Laser- oder Funksignalen, die mittels Ultraschall-, LIDAR- oder Radarsensoren detektiert werden. Die Umfelddaten werden einem Steuergerät 14 des Fahrerassistenzsystems 14 bereitgestellt, in dem die Verarbeitung der Daten und insbesondere die Bestimmung der virtuellen Kameraperspektive 28 sowie die Erzeugung der Umfelddarstellung erfolgt.
In Schritt 54 wird in Abhängigkeit von den Umfelddaten situationsabhängig die virtuelle Kameraperspektive 28 gewählt. Dazu wird die Position und die Ausrichtung einer virtuellen Kamera 29 bestimmt, aus deren Sicht die Umfelddarstellung generiert wird. Dabei werden Objekte 24 im Fahrzeugumfeld und/oder Fahrzustandsvariablen, wie der Lenkwinkel oder die Fahrtrichtung 42, berücksichtigt.
In Schritt 56 wird die Umfelddarstellung aus der Sicht der virtuellen Kamera 29 auf das Fahrzeugumfeld erzeugt. Als Basis dafür dienen die gesammelten Umfelddaten. So werden die Umfelddaten, die Videoansichten des Kamerasystems 18, 20, 22 und die Visualisierung von Laufzeitmesssensoren 26 umfasst, entsprechend der virtuellen Kameraperspektive 28 transformiert. Zu dieser Transformation gehört unter anderem die Projektion der Umfelddaten auf eine Projektionsebene 30. In Schritt 58 wird die Umfelddarstellung auf dem Display 16 des dem Fahrerassistenzsystem 12 zugeordneten HMIs angezeigt.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegeben Bereiches ist eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handels liegen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008046544 A1 [0003]
DE 102009035422 A1 [0004]
DE 102007044536 A1 [0005]

Claims

Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle (16) eines Fahrerassistenzsystems (12) in einem Fahrzeug (10) mit folgenden Schritten: – Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik (18, 20, 22, 26); – Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28); – Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens zweischichtige Ebene (36, 38) projiziert werden; und – Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch-Maschine-Schnittstelle (16).
Verfahren gemäß Anspruch 1, wobei die Umfeldsensorik (18, 20, 22, 26) ein Kamerasystem mit einer oder mehreren Kameras (18, 20, 22) umfasst und die Umfelddarstellung auf dem Kamerasystem basierende Videoansichten des Fahrzeugumfeldes umfasst.
Verfahren gemäß einem der Ansprüche 1 oder 2, wobei die virtuelle Kameraperspektive (28) in Abhängigkeit von Objekten (24) im Fahrzeugumfeld und/oder in Abhängigkeit von Zustandsvariablen (42) des Fahrzeuges (10) bestimmt wird.
Verfahren gemäß einem der Ansprüche 1 bis 3, wobei Umfelddarstellungen mit sich bewegender virtueller Kameraperspektive (28) erzeugt werden und die erzeugten Umfelddarstellungen im Bezug auf die Bewegung repetitiv ausgegeben werden.
Verfahren gemäß einem der Ansprüche 1 bis 4, wobei ein Bereich (48) der Umfelddarstellung in der virtuellen Kameraperspektive (28) ausgewählt und rektifiziert wird.
Verfahren gemäß einem der Ansprüche 1 bis 5, wobei die Umfelddaten auf eine Freiformfläche (32, 34, 36) projiziert werden.
Verfahren gemäß einem der Ansprüche 1 bis 6, wobei die Ebene (32, 34, 36) eine Objektschicht (36), eine Hintergrundschicht (38) und ggf. eine Übergangsschicht (40) umfasst.
Verfahren gemäß Anspruch 7, wobei die Objektschicht (36) ausgebildet wird, indem Bereiche, in die Objekte (24) projiziert werden, gegenüber der Hintergrundschicht (38) hervorgehoben werden.
Verfahren gemäß einem der Ansprüche 7 oder 8, wobei die Objektschicht (36) für einzelne Objekte (24) an den Abstand des Objekts von der virtuellen Kamera (29) und/oder die Objektkontur angepasst ist.
Verfahren gemäß einem der Ansprüche 7 bis 9, wobei Übergangsschicht (40) eine flache oder gekrümmte Ebene umfasst, die einen kontinuierlichen Übergang zwischen Objektschicht (36) und Hintergrundschicht (38) schafft.
Computerprogramm zur Durchführung eines Verfahrens gemäß einem der vorstehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird.
Fahrerassistenzsystem (12) zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle (16) in einem Fahrzeug (10), umfassend: – Umfeldsensorik zum Erfassen von Umfelddaten (18, 20, 22, 26); – mindestens eine Komponente zum Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28); – mindestens eine Komponente zum Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens zweischichtige Ebene (36, 38) projiziert werden; und – eine Anzeigevorrichtung zur Ausgabe der Umfelddarstellung als Teil der Mensch-Maschine Schnittstelle (16).