-
Technisches Gebiet
-
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Bereitstellen von Objektinformationen zu in der Umgebung des Kraftfahrzeugs befindlichen Objekten.
-
Technischer Hintergrund
-
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
-
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
-
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
-
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
-
So ist aus der Druckschrift
DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
-
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes die Pose der Datenbrille erfasst.
-
Trägt ein Fahrzeuginsasse die Datenbrille kann der Blick des Benutzers auf Umgebungsobjekte durch Fahrzeugteile des Kraftfahrzeugs verdeckt sein. Die Umgebungsobjekte werden dennoch von einer fahrzeugfest montierten Fahrzeugkamera erfasst. Wenn dies bei der Anzeige der Datenbrille nicht berücksichtigt wird, kann das Umgebungsobjekt zwar mit einer zugeordneten kontaktanalogen Objektinformation versehen werden, jedoch wird dem Benutzer die kontaktanaloge Objektinformation vor dem Hintergrund des verdeckenden Fahrzeugteils dargestellt. Dadurch ist die angezeigte Objektinformation nur eingeschränkt hilfreich oder diese muss mit zusätzlicher Objektinformation über das verdeckte Umgebungsobjekt versehen werden, wie z.B. eine Kontur oder sonstige Darstellung des verdeckten Umgebungsobjekts.
-
Insbesondere bei Fahrzeugteilen (Fahrzeugspiegel) mit Spiegelfunktion, wie dem Innenrückspiegel oder den Seitenspiegeln, die dem Träger der Datenbrille (Fahrer des Kraftfahrzeugs) einen Ausschnitt einer rückwärtigen Fahrzeugumgebung darstellen, kann eine kontaktanaloge Objektinformation zugehörig zu einem Objekt dargestellt werden, das durch den betreffenden Fahrzeugspiegel verdeckt wird, während der Träger der Datenbrille im entsprechenden Rückspiegel unter Umständen ein anderes rückwärtiges Umgebungsobjekt wahrnimmt. In diesem Fall könnte der Träger der Datenbrille die kontaktanaloge Objektinformation fälschlich einem Umgebungsobjekt in der rückwärtigen Umgebung des Kraftfahrzeugs zuordnen, während diese eigentlich für ein Objekt im vorausliegenden Umgebungsbereich des Kraftfahrzeugs bestimmt ist.
-
Es ist daher Aufgabe der vorliegenden Erfindung, eine fehlerhafte Darstellung von kontaktanaloger Objektinformation von durch Fahrzeugspiegel verdeckten Objekten zu vermeiden.
-
Offenbarung der Erfindung
-
Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch die Datenbrille und das Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
- - Bereitstellen einer Angabe über Positionen von einem oder mehreren Umgebungsobjekten in der Umgebung des Kraftfahrzeugs in einem fahrzeugfesten Koordinatensystem;
- - Ermitteln einer Pose der Datenbrille in dem fahrzeugfesten Koordinatensystem;
- - Bereitstellen einer Position und Größe eines Fahrzeugspiegels;
- - Bereitstellen jeweils einer dem einen oder den mehreren Umgebungsobjekten zugeordneten Objektinformation, die jeweils eine Angabe über ein anzuzeigendes virtuelles Objekt und dessen Position in dem fahrzeugfesten Koordinatensystem angibt,
- - Bestimmen eines Spiegelbereichs auf einer oder mehreren Anzeigeflächen der Datenbrille abhängig von einer Pose der Datenbrille und der Position und Größe des Fahrzeugspiegels;
- - Modifizieren der Anzeige des virtuellen Objekts in dem Spiegelbereich.
-
Zur Vermeidung einer Anzeige einer fehlerhaften kontaktanalogen Information wird zunächst in dem Sichtbereich des Fahrers oder eines sonstigen Trägers der Datenbrille die Darstellung einer kontaktanalogen Objektinformation modifiziert, wenn sich die kontaktanaloge Objektinformation auf ein Umgebungsobjekt bezieht, das durch einen betreffenden Fahrzeugspiegel verdeckt wird, d.h. auf ein Umgebungsobjekt bezieht, das sich in dem Spiegelbereich befindet. Der Spiegelbereich entspricht demjenigen Ausschnitt auf einer Anzeigefläche der Datenbrille, durch den der Fahrzeugspiegel wahrgenommen wird bzw. in dem Umgebungsobjekte außerhalb des Kraftfahrzeugs durch den betreffenden Fahrzeugspiegel verdeckt werden.
-
Es kann vorgesehen sein, dass die Anzeige eines oder mehrerer virtuellen Objekte, die Umgebungsobjekten zugeordnet sind, auf die die direkte Sicht durch den Fahrzeugspiegel verdeckt ist, unterbunden wird. Die verdeckten Umgebungsobjekte werden abhängig von der Pose der Datenbrille, der Position und Größe des Fahrzeugspiegels und der Position der betreffenden Umgebungsobjekte bestimmt. Somit kann, wenn beispielsweise die direkte Sicht auf ein Umgebungsobjekt durch den Fahrzeugspiegel verdeckt ist, eine Anzeige einer oder mehrerer Objektinformationen, die dem Umgebungsobjekt zugeordnet sind, in dem Spiegelbereich unterbunden werden.
-
Gemäß einer Ausführungsform kann das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Spiegelbereich ein Verschieben der Darstellung des einen oder der mehrerer virtuellen Objekte in einen zum Spiegelbereich benachbarten Bereich der Anzeigefläche umfassen.
-
Es kann vorgesehen sein, dass eines oder mehrere virtuelle Objekte, die Umgebungsobjekten zugeordnet sind, die durch Spiegelung bzw. Reflexion auf einer Spiegelfläche des Fahrzeugspiegels sichtbar sind, in dem Spiegelbereich abhängig von der Pose der Datenbrille, der Position, Größe und einer Ausrichtung des Fahrzeugspiegels und der Position der im Spiegelbereich sichtbaren (an der Spiegelfläche reflektierten) Umgebungsobjekte angezeigt werden.
-
Insbesondere besteht eine Idee darin, von dem Träger der Datenbrille in dem Fahrzeugspiegel sichtbare Umgebungsobjekte der Realumgebung, die sich in einem rückwärtigen Bereich des Kraftfahrzeugs befinden, gegebenenfalls mit kontaktanaloger Objektinformation zu versehen. D. h. es sollen virtuelle Objekte zugeordnet zu den in dem Fahrzeugspiegel wahrgenommenen Umgebungsobjekten dargestellt werden. Dazu wird in an sich bekannter Weise eine Pose, d. h. eine Position und Ausrichtung der Datenbrille ermittelt, die Position, Größe und Ausrichtung des betreffenden Fahrzeugspiegels bestimmt oder bereitgestellt und mit Hilfe einer Umfelderfassungseinrichtung in der Umgebung des Kraftfahrzeugs, insbesondere in dem rückwärtigen Bereich des Kraftfahrzeugs, befindliche Umgebungsobjekte detektiert. Für jedes Umgebungsobjekt der Fahrzeugumgebung, das sich im rückwärtigen Bereich des Kraftfahrzeugs befindet und dem ein virtuelles Objekt in Form einer kontaktanalogen Objektinformation zugeordnet ist, wird nun basierend auf der Pose der Datenbrille, der Position des betreffenden Umgebungsobjektes und der Größe, Position und Ausrichtung des Fahrzeugspiegels überprüft, ob der Träger der Datenbrille dieses Umgebungsobjekt im Fahrzeugspiegel wahrnehmen kann. Ist dies der Fall, wird im Spiegelbereich an der Position oder bezogen auf die Position, an der der Träger der Datenbrille das rückwärtige Umgebungsobjekt wahrnimmt, das entsprechende virtuelle Objekt als kontaktanaloge Objektinformation dargestellt. Auf diese Weise ist es möglich, einem Träger der Datenbrille auch für ein über einen Fahrzeugspiegel wahrgenommenes Umgebungsobjekt eine entsprechende kontaktanaloge Objektinformation bereitzustellen, um so beispielsweise Informationen oder Warnmeldungen zu dem betreffenden Umgebungsobjekt darzustellen.
-
Insbesondere kann die Ausrichtung des Fahrzeugspiegels durch einen Ausrichtungssensor erfasst werden.
-
Weiterhin können die Umgebungsobjekte, auf die die direkte Sicht durch den Fahrzeugspiegel verdeckt ist, und/oder Umgebungsobjekte, die durch Spiegelung auf einer/der Spiegelfläche des Fahrzeugspiegels sichtbar sind, mithilfe eines Raytracing-Prozesses ermittelt werden.
-
Es kann vorgesehen sein, dass zumindest ein Teil der virtuellen Objekte kontaktanalog dargestellt wird.
-
Gemäß einem weiteren Aspekt ist eine Datenbrille für ein Anzeigesystem eines Kraftfahrzeugs vorgesehen, umfassend:
- - eine oder mehrere Anzeigeflächen zur Anzeige von virtuellen Objekten;
- - eine Steuereinheit, die ausgebildet ist, um:
- o eine Angabe über Positionen von einem oder mehreren Umgebungsobjekten in der Umgebung des Kraftfahrzeugs und einer Position und Größe eines Fahrzeugspiegels in einem fahrzeugfesten Koordinatensystem zu erhalten;
- o eine Pose der Datenbrille in dem fahrzeugfesten Koordinatensystem zu ermitteln;
- o jeweils eine dem einen oder den mehreren Umgebungsobjekten zugeordneten Objektinformation, die jeweils eine Angabe über ein anzuzeigendes virtuelles Objekt und dessen Position in dem fahrzeugfesten Koordinatensystem angibt, zu erhalten,
- ◯ einen Spiegelbereich, durch den der Fahrzeugspiegel wahrnehmbar ist, auf der einen oder den mehreren Anzeigeflächen abhängig von einer Pose der Datenbrille und der Position und Größe des Fahrzeugspiegels zu bestimmen;
- ◯ die Anzeige in dem Spiegelbereich zu modifizieren.
-
Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit einer Datenbrille und einem Fahrerassistenzsystem vorgesehen, wobei die Datenbrille eine oder mehrere Anzeigeflächen zur Anzeige von virtuellen Objekten und eine Steuereinheit umfasst, wobei die Steuereinheit der Datenbrille ausgebildet ist, um:
- - eine Angabe über Positionen von einem oder mehreren Umgebungsobjekten in der Umgebung des Kraftfahrzeugs und einer Position und Größe eines Fahrzeugspiegels in einem fahrzeugfesten Koordinatensystem zu erhalten;
- - eine Pose der Datenbrille in dem fahrzeugfesten Koordinatensystem zu ermitteln oder von dem Fahrzeugassistenzsystem zu empfangen;
- - jeweils eine dem einen oder den mehreren Umgebungsobjekten zugeordneten Objektinformation, die jeweils eine Angabe über ein anzuzeigendes virtuelles Objekt und dessen Position in dem fahrzeugfesten Koordinatensystem angibt, von dem Fahrzeugassistenzsystem zu empfangen,
- - eine Angabe über einen Spiegelbereich von dem Fahrzeugassistenzsystem zu empfangen; und
- - eine Anzeige des anzuzeigenden virtuellen Objekts in dem Spiegelbereich zu modifizieren.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug;
- 2 eine Draufsicht auf einen Innenraum eines Kraftfahrzeugs;
- 3 eine Darstellung des Sichtbereichs aus Sicht eines Fahrers des Kraftfahrzeugs;
- 4 eine Darstellung des Strahlenverlaufs durch die Datenbrille; und
- 5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrzeugassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrzeugassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung.
-
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
-
Die Sichtscheiben 32 (Brillengläser) sind weiterhin jeweils mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten ins Auge des Trägers der Datenbrille projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
-
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
-
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann.
-
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann das Fahrzeugassistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um Objektinformationen betreffend kontaktanalog oder nichtkontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Objektinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
-
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung im Raum. Die Pose der Datenbrille 3 repräsentiert durch die feste Positionierung am Kopf des Benutzers die Blickrichtung des Benutzers und dessen Blickbereich.
-
Die Steuereinheit 37 kann zur Posenerkennung mit einer geeigneten Datenbrillenkamera 38 verbunden sein, die etwa in Blickrichtung des Trägers der Datenbrille 3 bzw. senkrecht zu den Hauptflächen der Sichtscheiben 32 gerichtet ist. Die Datenbrillenkamera 38 erfasst regelmäßig Kamerabilder und übermittelt diese an die Steuereinheit 37. Die Steuereinheit 37 wertet die Kamerabilder aus und versucht z.B. mithilfe von Mustererkennungsverfahren markante Strukturen des Fahrzeuginnenraums in dem Kamerabild aufzufinden, deren Positionen bekannt sind, und daraus in an sich bekannter Weise die Pose der Datenbrille 3 zu ermitteln. Dies kann beispielsweise durch Auswerten der Lage und Abstand mehrerer solcher Strukturen im Kamerabild erfolgen.
-
In der Steuereinheit 37 können abhängig von der Pose der Datenbrille 3 die kontaktanalog anzuzeigenden virtuellen Objekte entsprechend der Objektinformation, die die Form des virtuellen Objekts und dessen Position in einem fahrzeugfesten Koordinatensystem angibt und die z.B. von dem Fahrzeugassistenzsystem geliefert wird, in ein Bezugskoordinatensystem der Datenbrille 3 übersetzt werden. Ein virtuelles Objekt wird dann entsprechend der Pose der Datenbrille 3 so angezeigt, dass das virtuelle Objekt dem Träger der Datenbrille 3 virtuell an der Position angezeigt wird, an der sich das virtuelle Objekt bezüglich des fahrzeugfesten Koordinatensystems befindet. Die Position des virtuellen Objekts wird dabei nahe der Position eines zugeordneten Umgebungsobjekts gewählt.
-
Das Fahrerassistenzsystem 2 kann mit einer Fahrzeuginnenraumkamera 21 versehen sein, die auf den Fahrer des Kraftfahrzeugs bzw. allgemein auf den Träger der Datenbrille 3 gerichtet ist. Dadurch kann mithilfe der Fahrzeuginnenraumkamera 21 eine Posenerkennung unabhängig von der mithilfe der Datenbrillenkamera 38 durchgeführten Posenerkennung vorgenommen werden.
-
In 2 ist eine Draufsicht auf einen Innenraum des Kraftfahrzeugs dargestellt. Man erkennt den Innenraum 11 des Kraftfahrzeugs 10 mit Fahrzeugsitzen 12, wobei fahrerseitig ein Träger 20 der Datenbrille 3 sitzt. Weiterhin sind Fahrzeugspiegel, insbesondere ein Innenrückspiegel 14 mittig im Bereich der Windschutzscheibe 17 und Seitenspiegel 15 seitlich der Windschutzscheibe 17 außen am Kraftfahrzeug in an sich bekannter Weise vorgesehen.
-
Die Fahrzeugspiegel 14, 15 sind in der Regel verstellbar, um an die Sitzposition des Trägers der Datenbrille 3 angepasst zu werden. Die Verstellbarkeit der Fahrzeugspiegel 14, 15 ermöglicht es, die Ausrichtung der Spiegelflächen zu variieren. So kann der Träger der Datenbrille 3 die Fahrzeugspiegel 14, 15 so einstellen, dass ein gewünschter rückwärtiger Sichtbereich über den betreffenden Fahrzeugspiegel 14, 15 sichtbar ist. Es können Ausrichtungssensoren 14a, 15a an den jeweiligen Fahrzeugspiegeln 14, 15 vorgesehen sein, um eine Angabe über die Ausrichtung und Position der Fahrzeugspiegel 14, 15 bereitzustellen.
-
Es ist eine Umfelderfassungseinrichtung 22 vorgesehen, die mit dem Fahrzeugassistenzsystem 2 gekoppelt ist. Die Umgebungserfassungseinrichtung 22 ermöglicht es, durch geeignete Sensorik, wie beispielsweise durch Kameras, Lidar-Sensoren, Radarsensoren, sich in der Umgebung des Kraftfahrzeugs 10 befindliche Umgebungsobjekte zu detektieren. Beispielsweise sind in 2 eine Reihe von Kameras 22a, 22b, 22c, 22d, 22e und 22f der Umgebungserfassungseinrichtung 22 vorgesehen. So können beispielsweise in Fahrtrichtung vorausliegende Umgebungsobjekte 25 in Vorausrichtung des Kraftfahrzeugs 10 und rückwärtige Umgebungsobjekte 26 in rückwärtiger Richtung des Kraftfahrzeugs 10 vorhanden sein. Die Umgebungserfassungseinrichtung 22 ist grundsätzlich ausgebildet, um Positionen und Größen von Umgebungsobjekten 25, 26 bezüglich eines fahrzeugfesten Koordinatensystems zu erfassen.
-
In 3 ist das Blickfeld eines Fahrers des Kraftfahrzeugs 10 als Träger der Datenbrille 3 in Richtung der Windschutzscheibe 17 dargestellt. Man erkennt, dass sich Fahrzeugspiegel 14, 15 im Blickfeld befinden und die Sicht auf vorausliegende Umgebungsobjekte 25 in der Fahrzeugumgebung blockieren können. Diese nicht sichtbaren (verdeckten) vorausliegenden Umgebungsobjekte sind in 3 auf der Spiegelfläche gestrichelt dargestellt.
-
In 4 ist eine der Einfachheit halber zweidimensionale Darstellung des Strahlenverlaufs detaillierter dargestellt. Man erkennt ein Auge A des Trägers der Datenbrille 3. Das Auge A weist eine Pupille P auf, durch die die Umgebung wahrgenommen wird. Weiterhin ist die Sichtscheibe 32 der Datenbrille 3 mit der Anzeigefläche 35 dargestellt. Beispielhaft ist der Innenspiegel 14 als Fahrzeugspiegel dargestellt. Gestrichelt sind die Strahlenverläufe vom Auge A des Trägers der Datenbrille 3 durch die Sichtscheibe 32 auf den Fahrzeugspiegel 14 dargestellt. Die Schnittpunkte der Strahlenverläufe auf den Rand des Fahrzeugspiegels 14 definieren den Spiegelbereich SB auf der Anzeigefläche 35 der Datenbrille 3.
-
Es wird nun ein Verfahren ausgeführt, wie es im Flussdiagramm der 5 näher erläutert wird. Zunächst wird in Schritt S1 die Fahrzeugumgebung nach Umgebungsobjekten 25, 26 durchsucht, um die Position und Größe und ggfs. die Form von Umgebungsobjekten zu ermitteln.
-
In Schritt S2 werden den erfassten Umgebungsobjekten 25, 26 virtuelle Objekte zugeordnet. Die Objektinformation der virtuellen Objekte bestimmt deren räumliche Position und Perspektive.
-
Anschließend wird in Schritt S3 die Pose der Datenbrille 3 ermittelt und in Schritt S4 die Angaben über die Größe, Ausrichtung und Position der Fahrzeugspiegel 14, 15 bereitgestellt. Die Ausrichtung der Fahrzeugspiegel 14, 15 kann durch die Ausrichtungssensoren 14a, 15a erfasst werden. Die Positionen und Größen (Abmessungen) der Fahrzeugspiegel 14, 15 sind in der Regel durch die Konfiguration des Kraftfahrzeugs 10 festgelegt bzw. vorbestimmt.
-
In Schritt S5 wird die Anzeige eines virtuellen Objekts, das einem vorausliegenden Umgebungsobjekt 25 zugeordnet ist, in der Datenbrille 3 unterdrückt, wenn die Sicht auf das betreffende vorausliegende Umgebungsobjekt 25 durch einen der Fahrzeugspiegel 14, 15 verdeckt ist. Dies kann beispielsweise durch einen geeigneten Raytracing-Prozess basierend auf der Pose der Datenbrille 3 und der Größe, Position und Ausrichtung der betreffenden Fahrzeugspiegel 14, 15 und der Position des betreffenden vorausliegenden Umgebungsobjekts 25 festgestellt werden. Raytracing (Strahlenverfolgung) ist ein auf der Aussendung von Strahlen basierender Algorithmus zur Verdeckungsberechnung, also zur Ermittlung der Sichtbarkeit von dreidimensionalen Objekten von einem bestimmten Punkt im Raum ausgehend.
-
Weiterhin umfasst Raytracing die Ermittlung von Strahlengängen nach dem Auftreffen auf Oberflächen gemäß Reflexionseigenschaften der Oberfläche und des Lichtes. Hierbei wird der Lichtstrahl (Ray) endlich oft reflektiert.
-
Zum Feststellen einer Wahrnehmbarkeit und Position eines rückwärtigen Umgebungsobjektes 26 über einen der Fahrzeugspiegel 14, 15 kann ermittelt werden, inwiefern virtuelle Strahlenverläufe, die von dem betreffenden rückwärtigen Umgebungsobjekt 26 ausgesendet werden, mittels einmaliger Reflexion an der Spiegelfläche des betreffenden Fahrzeugspiegels 14, 15 durch den Sichtbereich (die Anzeigefläche bzw. durch den Spiegelbereich) der Datenbrille 3 in die Pupille P (bei angenommener oder vorbekannter Pupillenposition) des Trägers der Datenbrille 3 fallen. Durch den Schnittpunkt des Strahlenverlaufs mit der Sichtscheibe 32 der Datenbrille 3 kann der Bereich der Sichtscheibe 32 der Datenbrille 3 festgestellt werden, durch den das an der Spiegelfläche des Fahrzeugspiegels 14, 15 reflektierte Umgebungsobjekt wahrnehmbar ist. Hierzu werden Punkte an dem Außenrand des Umgebungsobjekts jeweils an den ausgewählten oder repräsentativen Punkten des Rands der Spiegelfläche des Fahrzeugspiegels 14, 15 reflektiert. Es ergibt sich somit der Spiegelbereich in der Sichtscheibe 32 der Datenbrille 3, in dem das Spiegelbild des betreffenden Umgebungsobjekts wahrgenommen werden kann.
-
In analoger Anwendung kann das Verfahren umgekehrt betrieben werden. Ausgehend von dem Sichtfeld der Datenbrille 3 werden virtuelle Strahlenverläufe ausgehend von der (angenommenen Pupillenposition des Trägers der Datenbrille 3) ausgesendet und diese einmalig an der Spiegelfläche(n) der Fahrzeugspiegel 14, 15 reflektiert. Dadurch ergibt sich ein Raumbereich in der rückwärtigen Fahrzeugumgebung. Umgebungsobjekte 26, die in dem so ermittelten Raumbereich liegen, werden daher als über den betreffenden Fahrzeugspiegel 14, 15 wahrnehmbar festgestellt. Insbesondere durch Feststellen, welcher der Strahlenverläufe nach der Reflexion auf das rückwärtige Umgebungsobjekt 26 „trifft“, kann der Ausschnitt des Sichtbereichs der Datenbrille 3 (der Spiegelbereich) festgestellt werden, durch den das rückwärtige Umgebungsobjekt 26 wahrnehmbar ist. Weitere Reflexionen z.B. an anderen Umgebungsobjekten werden hierbei nicht berücksichtigt.
-
Für die in rückwärtiger Richtung befindlichen Umgebungsobjekte 26 wird nun in Schritt S6 jeweils überprüft, ob diese in einem der Fahrzeugspiegel 14, 15 durch den Träger der Datenbrille 3 wahrnehmbar sind. Dies kann beispielsweise durch den oben beschriebenen geeigneten Raytracing-Prozess basierend auf der Pose der Datenbrille 3 und der Größe, Position und Ausrichtung der betreffenden Fahrzeugspiegel 14, 15 festgestellt werden.
-
Wird für eines der rückwärtigen Umgebungsobjekte 26 festgestellt, dass dieses über einen der Fahrzeugspiegel 14, 15 für den Träger der Datenbrille 3 sichtbar ist (Alternative ja), so wird in Schritt S7 bezüglich des Spiegelbereichs auf der Sichtscheibe 32, durch den das im Fahrzeugspiegel 14, 15 reflektierte rückwärtige Umgebungsobjekt 26 wahrgenommen wird, ein dem betreffenden Umgebungsobjekt 26 zugeordnetes virtuelles Objekt in dem Spiegelbereich dargestellt. Andernfalls (Alternative: Nein) wird das Verfahren mit Schritt S1 fortgesetzt.
-
Somit kann der Träger der Datenbrille 3 auch für in dem Fahrzeugspiegel 14, 15 sichtbare rückwärtige Umgebungsobjekte 26 eine kontaktanaloge Darstellung von den betreffenden Umgebungsobjekten 26 zugeordneten virtuellen Objekten erhalten.
-
Der Ray-Tracing-Prozess kann auch bei optisch verzerrenden Fahrzeugspiegeln 14, 15, die beispielsweise zur Vergrößerung des Sichtbereichs konvex ausgebildet sind, entsprechend ermitteln, ob das rückwärtige Umgebungsobjekt 26 in der Fahrzeugumgebung über die Fahrzeugspiegel 14, 15 wahrnehmbar ist.
-
Das obige Verfahren kann sowohl in der Steuereinheit 37 der Datenbrille 3 als auch im Fahrzeugassistenzsystem 2 ausgeführt werden. Bei Durchführung in der Datenbrille 3 müssen der Datenbrille 3 die Position, Größe und Ausrichtung der Fahrzeugspiegel 14, 15 und die Positionen der Umgebungsobjekte 25, 26 und der entsprechend zugeordneten anzuzeigenden Objektinformationen übermittelt werden
-
Alternativ kann dem Fahrzeugassistenzsystem 2 die Pose der Datenbrille 3 übermittelt werden und als Ergebnis des Verfahrens kann das Fahrzeugassistenzsystem 2 lediglich die darzustellende Objektinformation (mit Angaben zu den darzustellenden virtuellen Objekten und deren Raumposition im fahrzeugfesten Koordinatensystem) an die Datenbrille 3 übermitteln.
-
Bezugszeichenliste
-
- 1
- Anzeigesystem
- 2
- Fahrerassistenzsystem
- 3
- Datenbrille
- 31
- Rahmen
- 32
- Sichtscheiben
- 33
- Brillenbügel
- 35
- transparente Anzeigefläche
- 36
- Anzeigeeinrichtung
- 37
- Steuereinheit
- 38
- Datenbrillenkamera
- 4
- Datenübertragungskanal
- 11
- Innenraum
- 10
- Kraftfahrzeugs
- 12
- Fahrzeugsitze
- 20
- Träger der Datenbrille
- 14
- Innenrückspiegel
- 17
- Windschutzscheibe
- 14, 15
- Fahrzeugspiegel
- 14a, 15a
- Ausrichtungssensoren
- 22
- Umfelderfassungseinrichtung
- 22a, 22b, 22c, 22d, 22e und 22f
- Kameras der Umgebungserfassungseinrichtung
- 25
- vorausliegende Umgebungsobjekte
- 26
- rückwärtige Umgebungsobjekte
- A
- Auge
- P
- Pupille
- SB
- Spiegelbereich
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102014206623 A1 [0006]
