-
Die Erfindung betrifft ein Verfahren zum Darstellen eines Bildüberlagerungselements in einem Bild von einem Umgebungsbereich eines Kraftfahrzeugs. Das Bild wird mit einer Kamera eines Kamerasystems des Kraftfahrzeugs aufgenommen und auf einer Anzeigevorrichtung des Kraftfahrzeugs angezeigt. Es wird ein Bildtiefenwert des Bilds bestimmt und es wird eine Objektentfernung von einem Objekt in dem Umgebungsbereich zu dem Kraftfahrzeug ermittelt. Das Bildüberlagerungselement wird abhängig von der Objektentfernung in dem Bild dargestellt. Die Erfindung betrifft außerdem ein Fahrerassistenzsystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
-
Verfahren zum Darstellen eines Bildüberlagerungselements in einem Bild von einem Umgebungsbereich eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. So wird das Bildüberlagerungselement in dem Bild beispielsweise dargestellt, um einen Fahrer des Kraftfahrzeugs auf eine Objektentfernung von einem Objekt in dem Umgebungsbereich zu dem Kraftfahrzeug hinzuweisen. Das Bildüberlagerungselement kann auch als „Overlay“ bezeichnet werden. Das Bildüberlagerungselement wird beispielsweise auch als virtuelle Wand mit einem konstanten Abstand zu dem Kraftfahrzeug in dem Bild dargestellt. Der Fahrer kann anhand dieser Information den in dem Bild gezeigten Umgebungsbereich hinsichtlich Objektabständen beziehungsweise Abständen von Objekten oder Hindernissen besser einschätzen. Das Bild wird dem Fahrer beispielsweise im Zusammenhang mit einem Umfeldsichtsystem auf einer Anzeigevorrichtung im Kraftfahrzeug angezeigt.
-
In der
EP 2 487 651 A1 wird ein Verfahren beschrieben, bei welchem Bildüberlagerungselemente in einem Bild abhängig von einer zukünftigen Fahrtrajektorie des Kraftfahrzeugs bestimmt werden.
-
Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem das Bildüberlagerungselement bezüglich seiner räumlichen Tiefenposition realistischer in dem Bild dargestellt werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
-
Bei einem erfindungsgemäßen Verfahren wird ein Bildüberlagerungselement in einem Bild eines Umgebungsbereichs eines Kraftfahrzeugs dargestellt. Das Bild wird mit einer Kamera eines Kamerasystems des Kraftfahrzeugs aufgenommen und auf einer Anzeigevorrichtung des Kraftfahrzeugs angezeigt. Es wird ein Bildtiefenwert des Bilds, insbesondere mittels des Kamerasystems, bestimmt. Weiterhin wird eine Objektentfernung von einem Objekt in dem Umgebungsbereich zu dem Kraftfahrzeug, insbesondere abhängig von dem Bildtiefenwert, ermittelt und das Bildüberlagerungselement wird abhängig von der Objektentfernung in dem Bild dargestellt. Ein wesentlicher Gedanke der Erfindung ist, dass eine Elemententfernung des Bildüberlagerungselements von dem anhand des Bildtiefenwerts in dem Umgebungsbereich projizierten Bildüberlagerungselement zu dem Kraftfahrzeug, insbesondere abhängig von dem Bildtiefenwert, bestimmt wird. Zudem wird das Objekt in einem Vordergrund des Bilds vor dem Bildüberlagerungselement dargestellt, falls die Elemententfernung des Bildüberlagerungselements größer als die Objektentfernung ist.
-
Durch das erfindungsgemäße Verfahren wird es möglich, das Bildüberlagerungselement in dem Bild realistisch darzustellen und zwar insbesondere dahingehend, dass eine dreidimensionale Darstellung verbessert erzeugt wird. Durch die verbesserte beziehungsweise genauere Anzeige der tatsächlichen räumlichen Position und somit der Position in Tiefenrichtung des Bildüberlagerungselements und des Objekts wird die realitätsnähere dreidimensionale Bildgestaltung erreicht.
-
Es wird also möglich, die Bildüberlagerung so darzustellen, dass, falls das Objekt näher an dem Kraftfahrzeug ist als das Bildüberlagerungselement, eine realistische und/oder intuitive Darstellung des Bildüberlagerungselements bereitgestellt wird, indem das Bildüberlagerungselement für diesen Fall hinter dem Objekt dargestellt wird und zumindest mit einer höheren Transparenz, insbesondere durchsichtig, dargestellt wird, als wenn sich das Objekt nicht in dem Vordergrund befinden würde. Die Elemententfernungen werden insbesondere abhängig von dem Bildtiefenwert bestimmt. Der Bildtiefenwert ist ein dritter Koordinatenwert einer dritten Koordinatenachse des Bilds, welche senkrecht auf den zweidimensionalen Bildkoordinatenachsen, der Zeilenkoordinatenachse und der Spaltenkoordinatenachse des Bilds, angeordnet ist. Der Bildtiefenwert kann beispielsweise abhängig von einer Mehrzahl von Bildern des Umgebungsbereichs und/oder einer plenoptischen Kamera des Kamerasystems bestimmt werden.
-
So ist zwar das Bildüberlagerungselement vor dem Objekt dargestellt, um einen Fahrer des Kraftfahrzeugs vor dem Objekt als Hindernis für das Kraftfahrzeug zu warnen, jedoch kann das Bildüberlagerungselement in dem Hintergrund des Bilds genutzt werden, um das angezeigte Bild des Umgebungsbereichs besonders realistisch und für den Fahrer schnell interpretierbar anzuzeigen. Es können dadurch beispielsweise auch Entfernungen in dem Bild besser auf Entfernungen in dem Umgebungsbereich übertragen werden. Dadurch wird die Sicherheit beim Betreiben des Kraftfahrzeugs erhöht. Die Elemententfernung wird bestimmt, indem das Bildüberlagerungselement in den Umgebungsbereich projiziert wird und somit mit der Objektentfernung vergleichbar ist. Anhand des Bildtiefenwerts kann also an jeder Position in dem Bild eine Entfernung des Kraftfahrzeugs zu der tatsächlichen Position in dem Umgebungsbereich bestimmt werden. Der Vordergrund des Bilds überlagert einen Hintergrund des Bilds und ist somit mit zumindest einer niedrigeren Transparenz, insbesondere vollständig überdeckend, gegenüber dem Hintergrund in dem Bild dargestellt.
-
Vorzugsweise ist vorgesehen, dass das Bildüberlagerungselement in einem Hintergrund des Bilds von dem Objekt in dem Vordergrund des Bilds im Überlappungsbereich des Objekts mit dem Bildüberlagerungselement vollständig und/oder blickdicht überdeckt wird. Es kann somit vorgesehen sein, dass das Bildüberlagerungselement über eine gesamte Überlappungsfläche des Objekts mit dem Bildüberlagerungselement vollständig flächig überdeckt wird und somit in dem Bild an der Stelle des Objekts nicht dargestellt wird beziehungsweise nicht von einem Betrachter des Bilds gesehen werden kann, falls das Objekt im Vordergrund dargestellt wird und sich das Bildüberlagerungselement in dem Hintergrund befindet. Blickdicht bedeutet also, dass das Objekt in dem Vordergrund zu 100% nicht-transparent ist. Vorteilhaft ist also eine besonders realistische Darstellung für den Betrachter des Bilds. Die Darstellung ist auch deshalb so realistisch, weil die in der Realität im Hintergrund angeordneten Objekte von im Vordergrund angeordneten Objekten, also Objekten mit der kürzeren Objektentfernung, überdeckt werden.
-
Weiterhin ist vorzugsweise vorgesehen, dass das Objekt in dem Hintergrund des Bilds hinter dem Bildüberlagerungselement dargestellt wird, falls die Objektentfernung größer als die Elemententfernung ist. Dadurch kann mit dem Bildüberlagerungselement besonders deutlich auf das Objekt als Hindernis hingewiesen werden. So kann das Bildüberlagerungselement beispielsweise kurz vor, also mit einer geringfügig kürzeren Elemententfernung als die Objektentfernung, dargestellt werden. Es kann also beispielsweise vorgesehen sein, dass vor die Objekte, welche eine vorbestimmte Objektentfernung unterschreiten, jeweils das Bildüberlagerungselement angeordnet wird.
-
Weiterhin ist vorzugsweise vorgesehen, dass eine Mehrzahl von Bildüberlagerungselementen in dem Bild dargestellt wird und eine darzustellende Anzahl der Bildüberlagerungselemente der Mehrzahl von Bildüberlagerungselementen abhängig von einer Geschwindigkeit des Kraftfahrzeugs bestimmt wird. So wird beispielsweise bei einer höheren Geschwindigkeit des Kraftfahrzeugs eine größere Strecke in dem Umgebungsbereich zurückgelegt, weshalb es vorgesehen sein kann, dass bei höherer Geschwindigkeit des Kraftfahrzeugs die Anzahl der Bildüberlagerungselemente im Vergleich zu einer niedrigeren Geschwindigkeit des Kraftfahrzeugs erhöht wird. So kann es damit also auch vorgesehen sein, dass die Anzahl der Bildüberlagerungselemente verringert wird, wenn die Geschwindigkeit des Kraftfahrzeugs verringert beziehungsweise reduziert wird. Somit kann die Anzahl der Bildüberlagerungselemente, welche in dem Bild dargestellt werden, abhängig von der zurückgelegten Strecke des Kraftfahrzeugs bestimmt werden. Die geschwindigkeitsabhängige, quantitative Variation der Bildüberlagerungselemente beschreibt den Umgebungsbereich in Form des Bilds mit den Bildüberlagerungselementen besonders deutlich.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass ein Zuverlässigkeitswert der Elemententfernung, insbesondere mittels des Kamerasystems, ermittelt wird und abhängig von dem Zuverlässigkeitswert eine Größe des Bildüberlagerungselements und/oder eine Transparenz des Bildüberlagerungselements und/oder eine Farbe des Bildüberlagerungselements angepasst werden. Der Zuverlässigkeitswert der Elemententfernung kann beispielsweise davon abhängen, wie zuverlässig der Bildtiefenwert an der jeweiligen Position des Bilds bestimmt worden ist. So kann beispielsweise der Bildtiefenwert für Bereiche des Umgebungsbereichs, welche näher an dem Kraftfahrzeug angeordnet sind, mit einer höheren Zuverlässigkeit und/oder Genauigkeit bestimmt werden, als für Bereiche des Umgebungsbereichs, welche weiter entfernt von dem Kraftfahrzeug angeordnet sind. Der Zuverlässigkeitswert kann aber auch von anderen Faktoren, beispielsweise von den Sichtverhältnissen in dem Umgebungsbereich, abhängig sein. Vorteilhaft ist die Darstellung des Bildüberlagerungselements abhängig von dem Zuverlässigkeitswert, weil der Fahrer des Kraftfahrzeugs dann mitgeteilt bekommt, wie sehr die dargestellten Bildüberlagerungselemente verlässlich sind. Der Fahrer kann dann beurteilen inwieweit er einer Handlungsentscheidung, die er basierend auf dem Bildüberlagerungselement trifft, vertrauen kann. Die Sicherheit des Kraftfahrzeugs kann also anhand der Darstellung des Bildüberlagerungselements abhängig von dem Zuverlässigkeitswert weiter erhöht werden.
-
Weiterhin ist vorzugsweise vorgesehen, dass eine Größe des Bildüberlagerungselements dynamisch während des Durchführens eines Parkmanövers des Kraftfahrzeugs, insbesondere abhängig von der Objektentfernung des Kraftfahrzeugs zu dem Objekt in dem Umgebungsbereich, verändert wird. So kann beispielsweise die Größe des Bildüberlagerungselements reduziert werden, wenn sich der Abstand des Kraftfahrzeugs zu dem Objekt verringert. Zum einen kann üblicherweise bei geringerem Abstand eine höhere Präzision der Elemententfernung und/oder der Objektentfernung bereitgestellt werden. Und zum anderen benötigt der Fahrer bei dem Durchführen des Parkmanövers eine höhere Genauigkeit des Bildüberlagerungselements bezüglich der Position des Bildüberlagerungselements beziehungsweise der Ausrichtung des Bildüberlagerungselements relativ zu dem Objekt. Je kleiner die Größe des Bildüberlagerungselements ist, desto genauer kann dem Fahrer insbesondere angezeigt werden, wie nahe sich das Kraftfahrzeug an dem Objekt beziehungsweise an dem Hindernis befindet und wie viel Raum für das Durchführen des Parkvorgangs verbleibt. Durch das Anpassen der Größe kann das Parkmanöver besonders präzise und sicher durchgeführt werden.
-
Weiterhin ist vorzugsweise vorgesehen, dass ein Warnwert für eine Kollision von dem Kraftfahrzeug mit dem Objekt in dem Umgebungsbereich, insbesondere mittels des Kamerasystems, bestimmt wird, und abhängig von dem Warnwert eine Farbe des Bildüberlagerungselements angepasst wird. Die Kollision von dem Kraftfahrzeug mit dem Objekt kann beispielsweise abhängig von einer Geschwindigkeit des Kraftfahrzeugs und/oder von einem Fahrschlauch des Kraftfahrzeugs prognostiziert beziehungsweise vorhergesagt werden. Der Warnwert sagt also aus, wie hoch die Wahrscheinlichkeit für die Kollision ist. So kann es beispielsweise vorgesehen sein, dass ein weit entferntes Objekt in dem Umgebungsbereich, welches insbesondere außerhalb des vorhergesagten Fahrschlauchs angeordnet ist, mit einer niedrigen Hinweisdringlichkeit eingestuft wird. Das Bildüberlagerungselement kann dann beispielsweise in Grün dargestellt werden. Andererseits kann beispielsweise das Bildüberlagerungselement, welches vor einem Objekt angeordnet ist, welches in dem Umgebungsbereich sehr nahe an dem Kraftfahrzeug angeordnet ist und/oder in dem Fahrschlauch des Kraftfahrzeugs angeordnet ist, in Rot dargestellt werden. Durch die Farbe kann das Bildüberlagerungselement dem Fahrer noch deutlicher und/oder informationsreicher und/oder leichter interpretierbar dargestellt werden, und als Folge kann die Sicherheit des Kraftfahrzeugs weiterhin erhöht werden.
-
In einer weiteren Ausführungsform ist vorgesehen, dass ein Aussagewert für eine Wetterbedingung in dem Umgebungsbereich bestimmt wird und abhängig von dem Aussagewert eine Farbe des Bildüberlagerungselements angepasst wird. So kann die Wetterbedingung beispielsweise eine Temperatur in dem Umgebungsbereich und/oder eine Wetterinformation von einer externen Quelle, beispielsweise eines Radiosenders, im Zusammenhang mit der aktuellen Position des Kraftfahrzeugs, welche anhand von GNSS-Informationen (Global Navigation Satellite System) bereitgestellt werden kann, sein. Anhand der Wetterbedingung kann beispielsweise ein Fahrbahnzustand einer Fahrbahn in dem Umgebungsbereich bestimmt werden. So kann die Fahrbahn beispielsweise vereist sein und/oder einen vom Durchschnitt abweichenden Haftreibungskoeffizienten aufweisen. Demnach kann die Farbe des Bildüberlagerungselements beispielsweise so angepasst werden, dass berücksichtigt wird, ob aufgrund der Wetterbedingung ein früherer Bremseingriff und/oder Lenkeingriff des Fahrers als bei durchschnittlicher Wetterbedingung notwendig ist. So sollte der Bremseingriff beispielsweise bei vereister Fahrbahn früher erfolgen, als wenn die Fahrbahn nicht vereist und trocken ist. Die Farbe des Bildüberlagerungselements kann somit frühzeitig verändert werden, um dem Fahrer den Hinweis auf den veränderten Bremsweg aufgrund der Wetterbedingung zu geben. Das dargestellte Bildüberlagerungselement kann die Sicherheit des Kraftfahrzeugs also weiter erhöhen, weil die Wetterbedingung und somit ein Zustand der Fahrbahn und/oder eine Sichtweite in dem Umgebungsbereich mit in die Farbe des Bildüberlagerungselements einfließen.
-
Das Bildüberlagerungselement kann ein bildhaftes Symbol eines realen Gegenstands sein. Dadurch wird der Realitätsgrad der Darstellung nochmals erhöht. Das Bildüberlagerungselement kann beispielsweise ein Mensch, ein Tier, eine Pflanze, ein Gebäude, ein Pfosten oder ein sonstiger realer Gegenstand sein. Das Bildüberlagerungselement kann zweidimensional oder dreidimensional dargestellt werden.
-
Weiterhin kann es dazu vorgesehen sein, dass das Bildüberlagerungselement als virtuelle Wand in dem Bild dargestellt wird, wobei hier beispielsweise ein Streifen oder Balken ausgebildet sein kann. Das Bildelement kann also, ergänzend oder alternativ zu beispielsweise einer Darstellung als Strich, auch als die virtuelle Wand dargestellt werden. Die virtuelle Wand ist ein dreidimensionales Bildüberlagerungselement des Bildüberlagerungselements. Die virtuelle Wand kann beispielsweise senkrecht zu der Fahrbahn in dem Bild angeordnet sein. Weiterhin kann die virtuelle Wand beispielsweise gekrümmt sein, sodass der Abstand zwischen dem Kraftfahrzeug und der virtuellen Wand an jeder Stelle der virtuellen Wand gleich ist. Ergänzend oder alternativ kann die virtuelle Wand einen vorbestimmten Abstandsradius von dem Kraftfahrzeug aufweisen, wonach die virtuelle Wand eine Ebene ist, welche nur in horizontaler Richtung, also quer zur Fahrbahn, gekrümmt ist. Die virtuelle Wand wird ebenfalls in dem Hintergrund dargestellt, also von dem Objekt überdeckt, falls die Objektentfernung kleiner als die Elemententfernung der virtuellen Wand ist. Somit kann eine besonders realistische Darstellung des Bildüberlagerungselements erfolgen. Das Bildüberlagerungselement kann jedoch auch nur ein einfaches Platzhaltersymbol sein, welches keinerlei Nachbildung eines realen Gegenstands darstellt. Das Bildüberlagerungselement kann beispielsweise somit auch als eine abstrakte geometrische Form dargestellt sein. Zudem kann das Bildüberlagerungselement auch gekrümmt, beispielsweise bananenartig sein, um die dreidimensionale Darstellung weiter zu verbessern.
-
Weiterhin ist es vorzugsweise vorgesehen, dass eine zukünftige Fahrtrajektorie des Kraftfahrzeugs bestimmt wird und das Bildüberlagerungselement abhängig von der zukünftigen Fahrtrajektorie bestimmt wird. Die Fahrtrajektorie kann als die Mittelachse eines zukünftigen Fahrschlauchs des Kraftfahrzeugs bestimmt werden. Die zukünftige Fahrtrajektorie beschreibt also abhängig von Sensordaten des Kraftfahrzeugs, an welcher Position in dem Umgebungsbereich sich das Kraftfahrzeug zukünftig befinden wird. Das Bildüberlagerungselement kann also durch die Elemententfernung, welche abhängig von der zukünftigen Fahrtrajektorie bestimmt wird, besonders vorausschauend Informationen für den Fahrer in dem Bild darstellen. Es kann somit beispielsweise ein Objekt, welches zwar nahe an dem Kraftfahrzeug angeordnet ist, aber sich weit von dem Fahrschlauch beziehungsweise der Fahrtrajektorie entfernt befindet, als weniger bedeutend eingestuft und dargestellt werden, als ein Objekt, welches zwar weiter entfernt ist, aber sich in dem zukünftigen Fahrschlauch befindet. Es können also die Bildüberlagerungselemente, welche für den Fahrer und/oder das Kraftfahrzeug besonders relevant sind, herausragend beziehungsweise deutlich dargestellt werden.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass die Elemententfernung zu dem Kraftfahrzeug konstant gehalten wird. Das bedeutet, das Bildüberlagerungselement wird vorzugsweise, insbesondere bei Bewegung des Kraftfahrzeugs, mit dem gleichen vorbestimmten Abstand zu dem Kraftfahrzeug dargestellt und quasi mit dem Kraftfahrzeug bewegungsgekoppelt angezeigt. So kann der Abstand beispielsweise kleiner oder gleich 10 Meter als die Elemententfernung betragen. Vorteilhaft ist, dass der Fahrer dadurch den in dem Bild dargestellten Umgebungsbereich und somit die Objektentfernung besonders gut einschätzen kann.
-
Insbesondere ist vorgesehen, dass die Kamera als eine plenoptische Kamera ausgebildet wird, welche ein 4D-Lichtfeld und daraus den Bildtiefenwert bereitstellt. Die plenoptische Kamera wird auch Lichtfeldkamera genannt. Die plenoptische Kamera erfasst im Gegensatz zu einer konventionellen Kamera, welche nur ein 2D-Bild erfasst, die Position und Intensität eines Lichtstrahls aus dem Umgebungsbereich auf dem Bildsensor und die Richtung, aus der der Lichtstrahl eingefallen ist. Die Messung des 4D-Lichtfelds wird möglich durch ein Gitter aus mehreren Mikrolinsen vor dem Bildsensor der plenoptischen Kamera. Mit der plenoptischen Kamera kann der Bildtiefenwert besonders einfach bestimmt werden. Es ist zumindest ein Bild nötig, welches mit der plenoptischen Kamera erfasst wurde, um den Bildtiefenwert des Bilds zu bestimmen. Mit der plenoptischen Kamera kann der Bildtiefenwert bestimmt werden, obwohl nur eine einzige Kamera genutzt wird und das Kraftfahrzeug nicht bewegt wird.
-
In einer weiteren Ausführungsform kann es vorgesehen sein, dass das Kamerasystem zumindest eine weitere Kamera umfasst und das Kamerasystem nach dem Stereoprinzip betrieben wird, wobei abhängig von dem Stereoprinzip der Bildtiefenwert bestimmt wird. Das Stereoprinzip basiert auf der Stereofotogrammetrie, welche Verfahren der Bildmessung zusammenfasst, bei denen Objekte aus zwei Messbildern – aufgenommen aus etwas verschiedenen Standpunkten – in ihrer Lage und genauen Form bestimmt beziehungsweise rekonstruiert werden. Das Stereoprinzip kann umgesetzt werden mit jeweils einem Bild von zwei unterschiedlichen Kameras, wobei die Kameras an unterschiedlichen Positionen angeordnet sein müssen. Eine weitere Möglichkeit für das Stereoprinzip ist die Aufnahme von einem Bild an einer ersten Position der Kamera und die Aufnahme von einem zweiten Bild an einer zweiten, von der ersten Position unterschiedlichen Position der Kamera. Mit dem Stereoprinzip kann also der Bildtiefenwert ermittelt werden, wenn zumindest zwei Bilder von unterschiedlichen Positionen aufgenommen werden. Durch das Stereoprinzip kann ein besonders genauer Bildtiefenwert ermittelt werden.
-
Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer Kamera eines Kamerasystems, welches dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Das Fahrerassistenzsystem kann beispielsweise als ein Parkassistenzsystem und/oder ein Umfeldsichtsystem und/oder ein Kollisionswarnsystem ausgebildet sein. So unterstützt das Parkassistenzsystem den Fahrer des Kraftfahrzeugs beispielsweise bei einem Einpark- und/oder einem Ausparkvorgang, während das Umfeldsichtsystem beispielsweise eine Draufsicht des gesamten Umgebungsbereichs des Kraftfahrzeugs bereitstellt. Das Kollisionswarnsystem kann beispielsweise vor Kollisionen warnen, welche unabhängig von einem Einpark- und/oder einem Ausparkvorgang vorliegen können. Ein Bildüberlagerungselement des Bilds, welches an der Stelle, an welcher sich das Objekt näher an dem Kraftfahrzeug befindet als das Bildüberlagerungselement, unterbrochen dargestellt wird, erhöht also den realistischen 3D-Eindruck auf einer Anzeigevorrichtung des jeweiligen Fahrerassistenzsystems.
-
Vorzugsweise ist es vorgesehen, dass das Fahrerassistenzsystem als ein elektronischer Rückspiegel (CMS – Camera Monitoring System) beziehungsweise „eMirror“ ausgebildet ist. Der elektronische Rückspiegel stellt insbesondere zumindest ein Bild von einem seitlich und/oder hinter dem Kraftfahrzeug angeordneten Umgebungsbereich des Kraftfahrzeugs auf der Anzeigevorrichtung des Kraftfahrzeugs bereit. Der Fahrer des Kraftfahrzeugs kann somit insbesondere den seitlichen und/oder hinteren Umgebungsbereich des Kraftfahrzeugs überwachen. Das Kraftfahrzeug mit dem elektronischen Rückspiegel ist zudem vorzugsweise ohne konventionelle Rückspiegel mit einer Spiegelfläche ausgebildet. Durch den elektronischen Rückspiegel kann der Fahrer des Kraftfahrzeugs Objekte in dem Umgebungsbereich deutlicher wahrnehmen.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Fahrerassistenzsystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem;
-
2 eine schematische Darstellung eines Bilds von einem Umgebungsbereich des Kraftfahrzeugs in Draufsicht mit zumindest einem Bildüberlagerungselement und überlagert mit einem schematischen Modell des Kraftfahrzeug; und
-
3 eine schematische Darstellung eines weiteren Bilds von dem Umgebungsbereich in seitlicher Ansicht mit dem zumindest einen Bildüberlagerungselement.
-
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2, welches vorzugsweise als elektronischer Rückspiegel (CMS – Camera Monitoring System) ausgebildet ist, gemäß einer Ausführungsform der Erfindung dargestellt. Das Fahrerassistenzsystem 2 umfasst im Ausführungsbeispiel zumindest ein Kamerasystem 3. Das Kamerasystem 3 umfasst im Ausführungsbeispiel zumindest eine Kamera 4 und eine Auswerteeinheit 5. Gemäß dem Ausführungsbeispiel in 1 ist die Kamera 4 an einem Heck 6 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 4 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 7 des Kraftfahrzeugs 1 hinter dem Kraftfahrzeug 1 erfasst werden kann. Insbesondere sind mehrere Kameras 4 vorgesehen, welche vorzeugsweise so an dem Kraftfahrzeug 1 angeordnet sind, dass sie in Kombination den Umgebungsbereich teilweise oder vollständig erfassen. Die Auswerteeinheit 5 ist gemäß dem Ausführungsbeispiel zentral an dem Kraftfahrzeug 1 angeordnet. Die Anordnung der Auswerteeinheit 5 ist jedoch vielfältig möglich. So kann die Auswerteeinheit 5 beispielsweise in der Kamera 4 integriert sein oder aber als separate Einheit ausgebildet sein, welche vielfältig in dem Kraftfahrzeug 1 angeordnet sein kann.
-
Die Kamera kann eine CMOS-Kamera (Complementary Metal-Oxide-Semiconductor) oder aber eine CCD-Kamera (Charge-Coupled Device) oder eine beliebige Bilderfassungseinrichtung sein, welche ein Bild 8 von dem Umgebungsbereich 7 des Kraftfahrzeugs 1 bereitstellen kann. Es können auch mehrere solcher Kameras 4 eingesetzt werden. Die Kamera 4 ist vorzugsweise eine Videokamera, welche kontinuierlich eine Bildsequenz von Bildern 8 bereitstellt. Das Bild 8 ist ein Einzelbild (Frame). Die Auswerteeinheit 5 verarbeitet dann die Bildsequenz der Bilder 8 beispielsweise in Echtzeit.
-
Die Kamera 4 kann insbesondere eine plenoptische Kamera sein, welche ein 4D-Lichtfeld bereitstellt. Anhand des 4D-Lichtfelds kann ein Bildtiefenwert des Bilds 8 bestimmt werden, welcher eine Aussage darüber ermöglicht, wie weit ein jeweiliger Punkt in dem Umgebungsbereich 7 von der Kamera 4 entfernt ist.
-
Das Kamerasystem 3 mit der Kamera 4 kann aber ergänzend oder alternativ eine weitere Kamera umfassen und nach dem Stereoprinzip betrieben werden. Somit kann der Bildtiefenwert des Bilds 8 beispielsweise auch abhängig von dem Stereoprinzip bestimmt werden.
-
Weiterhin umfasst das Fahrerassistenzsystem 2 gemäß dem Ausführungsbeispiel von 1 eine Anzeigevorrichtung 9. Die Anzeigevorrichtung 9 ist mit dem Kamerasystem 3 verbunden.
-
2 zeigt das Bild 8, welches auf der Anzeigevorrichtung 9 angezeigt wird. Das Bild 8 zeigt eine schematische Darstellung von dem Kraftfahrzeug 1 in Draufsicht. In dem Umgebungsbereich 7 des Kraftfahrzeugs 1 ist ein Objekt 10 angeordnet. Zwischen dem Kraftfahrzeug 1 und dem Objekt 10 ist ein erstes Bildüberlagerungselement 11 angeordnet. Das erste Bildüberlagerungselement 11 kann beispielsweise mit einer roten Farbe dargestellt sein, um einen Fahrer des Kraftfahrzeugs 1 vor dem Objekt 10 zu warnen. Mit einer größeren Entfernung zu dem Kraftfahrzeug 1 als das Objekt 10, befindet sich hinter dem Objekt 10 ein zweites Bildüberlagerungselement 12. Das zweite Bildüberlagerungselement 12 dient beispielsweise zur realistischeren dreidimensionalen Darstellung des Bilds 8, falls das Bild 8 – wie in 3 – in einer anderen Ansicht bezüglich des Objekts 10 gezeigt wird. Das zweite Bildüberlagerungselement 12 kann aber auch dazu beitragen, um Entfernungen in dem Bild 8 besser mit tatsächlichen Entfernungen in dem Umgebungsbereich 7 vergleichen zu können. Beispielsweise kann das zweite Bildüberlagerungselement 12 für die Darstellung in dem Bild 8 die Farbe Gelb aufweisen. Weiterhin zeigt 2 eine Objektentfernung 13, welche einen Abstand von dem Kraftfahrzeug 1 zu dem Objekt 10 in dem Umgebungsbereich 7 angibt. Eine erste Elemententfernung 14 beschreibt einen Abstand von dem Kraftfahrzeug 1 zu dem ersten Bildüberlagerungselement 11. Eine zweite Elemententfernung 15 beschreibt einen Abstand von dem Kraftfahrzeug 1 zu dem zweiten Bildüberlagerungselement 12. Gemäß dem Ausführungsbeispiel ist die erste Elemententfernung 14 kleiner als die Objektentfernung 13 und als die zweite Elemententfernung 15. Die zweite Elemententfernung 15 ist jedoch größer als die Objektentfernung 13 und die erste Elemententfernung 14.
-
3 zeigt das Bild 8 aus einer anderen Perspektive als 2. Die 3 zeigt das Objekt 10 aus einer Sicht des Fahrers beziehungsweise des Kraftfahrzeugs 1. Das erste Bildüberlagerungselement 11 ist in einem Vordergrund 16 beziehungsweise vor dem Objekt 10 dargestellt, weil die erste Elemententfernung 14 kleiner ist als die Objektentfernung 13. Das Objekt 10 ist bezüglich des zweiten Bildüberlagerungselements 12 ebenfalls in dem Vordergrund 16 dargestellt, weil die zweite Elemententfernung 15 größer ist als die Objektentfernung 13. Das zweite Bildüberlagerungselement 12 ist also in dem Bereich des Objekts 10 für den Betrachter des Bilds 8 aus der Perspektive gemäß 3 nicht sichtbar. Es kann dadurch ein 3D-Effekt geschaffen werden, welcher dem Fahrer ein intuitiveres Fahren ermöglicht.
-
Gemäß 3 ist das zweite Bildüberlagerungselement 12 an der Stelle des Objekts 10 in einem Hintergrund 17 des Bilds 8. In dem Vordergrund 16 des Bilds 8 befindet sich also situationsabhängig entweder das jeweilige Bildüberlagerungselement 11, 12 mit der kürzesten Elemententfernung 14, 15 zu dem Kraftfahrzeug 1 oder das Objekt 10, falls die Objektentfernung 13 kleiner ist als die jeweilige Elemententfernung 14, 15.
-
Das Bildüberlagerungselement 11, 12 kann beispielsweise auch transparent dargestellt werden. So kann gemäß 3 hinter dem ersten Bildüberlagerungselement 11, also in dem Hintergrund 17 des ersten Bildüberlagerungselements 11, das Objekt 10 erkannt werden, weil es leicht durch das erste Bildüberlagerungselement 11 hindurchscheint. Das jeweilige Bildüberlagerungselement 11, 12 kann aber ebenso blickdicht beziehungsweise nicht-transparent ausgebildet sein.
-
Das Bildüberlagerungselement 11, 12 kann dem Fahrer also eine Hilfestellung bei der Interpretation des in dem Bild 8 gezeigten Umgebungsbereichs 7 geben. So kann beispielsweise eine Anzahl der Bildüberlagerungselemente 11, 12 von einer Geschwindigkeit des Kraftfahrzeugs 1 abhängen. Bei einer höheren Geschwindigkeit des Kraftfahrzeugs 1 wird eine größere Strecke in dem Umgebungsbereich 7 zurückgelegt und es wird beispielsweise eine größere Anzahl von den Bildüberlagerungselementen 11, 12 dargestellt, als wenn die Geschwindigkeit des Kraftfahrzeugs 1 niedriger wäre.
-
Weiterhin kann das Bildüberlagerungselement 11, 12 mit verschiedenen Größen und/oder verschiedenen Farben dargestellt werden. Dem Fahrer kann somit beispielsweise eine Zuverlässigkeit der Elemententfernung abhängig von einem Zuverlässigkeitswert signalisiert werden.
-
Weiterhin kann dem Fahrer bei einem Parkmanöver, beispielsweise einem Einparkvorgang oder einem Ausparkvorgang, Unterstützung durch das Darstellen der Bildüberlagerungselemente 11, 12 bereitgestellt werden. So kann durch die Bildüberlagerungselemente 11, 12 beispielsweise ein Abstand zu einem Hindernis, beispielsweise die Objektentfernung 13, besser eingeschätzt werden.
-
Ergänzend oder alternativ kann neben das jeweilige Bildüberlagerungselement 11, 12 ein Text in das Bild 8 geschrieben werden, um das Bildüberlagerungselement 11, 12 genauer zu erklären. So kann beispielsweise ein Abstand in Metern neben das Bildüberlagerungselement 11, 12 geschrieben werden. Es kann aber auch ein Warntext neben dem Bildüberlagerungselement 11, 12 erscheinen, welcher den Fahrer des Kraftfahrzeugs 1 darauf hinweist, dass eine Kollision mit dem Objekt 10 kurz bevorsteht. Für die bevorstehende Kollision kann beispielsweise ein Warnwert bestimmt werden und das Bildüberlagerungselement 11, 12 kann farblich abhängig von dem Warnwert angepasst werden. So kann beispielsweise für das Bildüberlagerungselement 11, 12, welches auf das Objekt 10 mit einer großen Objektentfernung 13 hinweist, die Farbe Grün gewählt werden. Falls das Bildüberlagerungselement 11, 12 auf das Objekt 10 mit einer geringen Objektentfernung 13 hinweist, so kann beispielsweise die Farbe Rot verwendet werden. Jedoch sind grundsätzlich sämtliche Farben für das jeweilige Bildüberlagerungselement 11, 12 möglich, vorzugsweise allerdings so, dass sich das Bildüberlagerungselement 11, 12 deutlich von dem Bild 8 hervorhebt und dass ein Nutzer des Fahrerassistenzsystems 2 die Farbe des Bildüberlagerungselements 11, 12 intuitiv verstehen kann.
-
Ergänzend oder alternativ kann das Bildüberlagerungselement 11, 12 abhängig von einem Aussagewert dargestellt werden. Der Aussagewert kann abhängig von einer Wetterbedingung in dem Umgebungsbereich 7 bestimmt werden. So kann die Wetterbedingung beispielsweise über eine externe Quelle im Zusammenhang mit der Position des Kraftfahrzeugs 1 abgerufen werden. Die Position kann beispielsweise mittels eines GNSS-Empfängers bestimmt werden. Der Fahrer kann durch das Bildüberlagerungselement 11, 12 auch auf eine sogenannte Kollisionszeit (TTC – Time-to-collision) hingewiesen werden. Die Kollisionszeit verbindet also die Objektentfernung 13 mit einer Geschwindigkeit des Kraftfahrzeugs 1. So kann beispielsweise ein 3-Sekunden-Bildüberlagerungselement 11, 12 auf dem Bild 8 angezeigt werden. Der Fahrer weiß dann, dass bei unveränderter Richtung und/oder unveränderter Geschwindigkeit eine Kollision mit dem Objekt 10 in 3 Sekunden bevorsteht. Es können auch mehrere Bildüberlagerungselemente 11, 12 dargestellt werden, um unterschiedliche Kollisionszeiten zu beschreiben. Die Kollisionszeiten des jeweiligen Bildüberlagerungselements 11, 12 können abhängig von dem Aussagewert für die Wetterbedingung angepasst werden. So kann beispielsweise bei vereister Fahrbahn in dem Umgebungsbereich 7 eine Warnung für den Fahrer früher ausgegeben werden, als dies bei trockener Fahrbahn der Fall wäre.
-
Ebenso ergänzend oder alternativ ist es möglich, dass das Bildüberlagerungselement 11, 12 nur aktiviert wird, falls das Objekt 10 und/oder ein weiteres Objekt in dem Umgebungsbereich 7 detektiert worden ist. So kann verhindert werden, dass der Fahrer unnötigerweise irritiert wird. Weiterhin kann es beispielsweise vorgesehen sein, dass die Darstellung des Bildüberlagerungselements 11, 12 mit einer vorbestimmten Verzögerungszeit erfolgt, um ein hochfrequentes Ein- und Ausblenden des Bildüberlagerungselements 11, 12 in dem Bild 8 zu verhindern. So kann beispielsweise erst abgewartet werden, ob das Objekt 10 für die vorbestimmte Verzögerungszeit in dem Bild 8 vorhanden ist.
-
Es kann auch vorgesehen sein, dass der Text zusätzlich zu dem Bildüberlagerungselement 11, 12 erst eingeblendet wird, wenn das Kraftfahrzeug 1 eine bestimmte Geschwindigkeitsgrenze unterschritten hat und/oder ein Parkmanöver durchführt. Weiterhin können beispielsweise neben dem Bildüberlagerungselement 11, 12 Informationen von anderen Sensoren des Kraftfahrzeugs 1 dargestellt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
