-
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einer mobilen Einrichtung, wie einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Verbessern des Fahrkomforts und die Umgebungssicht unter Einsatz von Datenbrillen.
-
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen üblicherweise Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
-
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
-
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
-
Insbesondere bei einer Anwendung einer Datenbrille in einem Fahrzeug kann zur Bestimmung der Pose der Datenbrille in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Datenbrillenkamera und eine Recheneinrichtung, z. B. in Form eines Mikroprozessors, auf. Mithilfe von durch die Datenbrillenkamera aufgezeichneten Abbildungen im Sichtfeld des Trägers der Datenbrille kann basierend auf Markern bekannter Position oder sonstigen Strukturen bekannter Position die Pose der Datenbrille im Fahrzeuginnenraum, d.h. bezüglich eines Fahrzeugkoordinatensystems, festgestellt werden. Die Marker oder Strukturen sind brillenextern fest in dem Innenraum des Fahrzeugs angeordnet bzw. werden dort angezeigt. Diesen Vorgang nennt man auch Inside-Out-Tracking-Verfahren.
-
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit (Outside-In-Tracking-Verfahren) bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. nur mit einer nicht störenden Verzögerung ausgeben kann.
-
Fahrzeugfeste kontaktanaloge Anzeigeobjekte können mit durch kamerabasierte Inside-Out-Tracking-Verfahren ermittelten Brillenposen gut latenzarm in der Datenbrille dargestellt werden. Inside-Out-Tracking-Systeme können jedoch nur auf fahrzeugfeste vorbekannte Marker tracken, da ein Tracking auf Umgebungsobjekte aufgrund der hohen Variabilität der Umgebung nur mit sehr aufwendigen Objekterkennungsverfahren möglich wäre. Die Rechenkapazität in der Datenbrille und Ausstattung der Datenbrille reicht jedoch für eine Ermittlung von Datenbrillenposen bezogen auf ein weltfestes Umgebungskoordinatensystem/Weltkoordinatensystem durch Mustererkennung von Umgebungsobjekten in der Regel nicht aus. Daher sind bisherige Inside-Out Tracking-Verfahren nicht geeignet, eine Brillenpose der Datenbrille in Bezug auf ein weltfestes Umgebungskoordinatensystem bzw. in Bezug auf Umgebungsobjekte in der Fahrzeugumgebung zu ermitteln.
-
Insbesondere bei Verwendung von Datenbrillen in einer mobilen Einrichtung, wie beispielsweise einem Kraftfahrzeug ist es für das Streaming oder Anzeigen von benutzerdefinierten Inhalten, die sich nicht auf geografische Position der mobilen Einrichtung bzw. auf die äußere Umgebung der mobilen Einrichtung beziehen, sinnvoll, diese in einem Anzeigebereich anzuordnen, der sich auf eine fahrzeugfeste Position bezieht. Wenn sich nämlich die mobile Einrichtung von einer definierten geographischen Position wegbewegt, bewegt sich der Hintergrund des Anzeigebereichs, auf dem die benutzerdefinierten Inhalte angezeigt werden. Somit ist die kontaktanaloge Anzeige von benutzerdefinierten Anzeigeobjekten bezogen auf ein weltfestes Koordinatensystem nicht sinnvoll. Insbesondere werden bei einer Bewegung der mobilen Einrichtung solche Anzeigeobjekte bislang ausschließlich dann angezeigt, wenn keine Bewegung erfolgt oder unter Inkaufnahme keiner oder nur teilweiser Kompensation von Fahrzeugbewegungen.
-
Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben einer Datenbrille zur Verfügung zu stellen, bei der benutzerdefinierte Anzeigeobjekte einem Benutzer in komfortabler Weise angezeigt werden können.
-
Diese Aufgabe wird durch das Verfahren zu Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch die Vorrichtung und das Fahrzeug gemäß den nebengeordneten Ansprüchen gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben einer Datenbrille in einer mobilen Einrichtung vorgesehen, mit folgenden Schritten:
- - Bereitstellen eines benutzerdefinierten Anzeigebereichs, dessen Pose, Größe und Form fest bezogen auf ein Fahrzeugkoordinatensystem definiert ist, das mit der mobilen Einrichtung beweglich ist;
- - Zuordnen einer Ausgabe einer oder mehrerer Applikationen auf einem mobilen Endgerät, einem Assistenzsystem der mobilen Einrichtung oder in der Datenbrille zur Anzeige in dem benutzerdefinierten Anzeigebereich;
- - Ermitteln einer Brillenpose bezogen auf ein Fahrzeugkoordinatensystem,
- - Kontaktanaloges Anzeigen der Ausgabe der Applikation in dem benutzerdefinierten Anzeigebereich abhängig von der Brillenpose.
-
Weiterhin kann in einem Einstellmodus die Pose des benutzerdefinierten Anzeigebereichs bezogen auf das Fahrzeugkoordinatensystem einstellbar sein, insbesondere durch Betätigen eines oder mehrerer Eingabeelemente an der Datenbrille, an einem mobilen Endgerät und/oder an dem Assistenzsystem, wobei in der Datenbrille die Pose des Anzeigebereichs eingestellt wird.
-
Insbesondere kann in dem Einstellmodus die Größe und/oder die Form des Anzeigebereichs eingestellt werden.
-
In einer mobilen Einrichtung, wie beispielsweise einem Fahrzeug, können benutzerdefinierte Anzeigeobjekte bezogen auf ein Umgebungskoordinatensystem nur dann in einer Augmented Reality- Datenbrille angezeigt werden, wenn die mobile Einrichtung stationär ist. Benutzerdefinierte Anzeigeobjekte können Bild, Video oder Grafikinhalte umfassen, die von einer benutzergewählten Applikation bereitgestellt werden. Insbesondere wenn es sich bei den benutzerdefinierten Anzeigeobjekten um dynamische Anzeigeinhalte handelt, wie beispielsweise Video-Streaming-Inhalte, sonstige bewegte Anzeigeinhalte, und insbesondere Anzeigeinhalte benutzereigener Applikationen oder dergleichen, kann es bei einer sich bewegenden mobilen Einrichtung zu Motion Sickness oder einer unruhigen Wahrnehmung führen, da sich die Wahrnehmung der Umgebung zusätzlich zu den dynamischen benutzerdefinierten Anzeigeobjekten kontinuierlich ändert.
-
Nach dem obigen Verfahren ist zur Vermeidung einer unkomfortablen Benutzererfahrung bei der Anzeige von benutzerdefinierten Anzeigeobjekten Bewegtbildern über eine sich bewegende Umgebung vorgesehen, die benutzerdefinierten Anzeigeobjekte bezogen auf ein Fahrzeugkoordinatensystem, d. h. fahrzeugfest, anzuzeigen. Jedoch kann dies bei einem unruhigem Hintergrund ebenfalls zu einer gestörten Wahrnehmung führen. Dazu ist zum einen vorgesehen, einen Positionsrahmen zur Definition eines Anzeigebereichs zur Darstellung der benutzerdefinierten Anzeigeobjekte fahrzeugfest, d. h. an einer Position bezüglich der mobilen Einrichtung, individuell und selektiv zu positionieren und insbesondere bezüglich seiner Form, Größe oder sonstigen Ausprägung zu definieren. Darüber hinaus kann der benutzerdefinierte Anzeigebereich - ausgewählt durch den Benutzer der Datenbrille - von einer Vielzahl von Applikationen entweder des Assistenzsystems in der mobilen Einrichtung, der Datenbrille selbst und/oder von einem Drittgerät, wie z. B. einem Mobilgerät des Benutzers, adressiert werden, um so durch die Applikation Anzeigeobjekte, wie beispielsweise eine Videodatei, ein Videostream oder eine graphische Ausgabe einer Programmapplikation, auf den benutzerdefinierten Anzeigebereich zu übertragen und dort anzuzeigen.
-
Durch die benutzerdefinierte fahrzeugfeste Positionierung des benutzerdefinierten Anzeigebereichs kann der Hintergrund des Anzeigebereichs als statischer Bereich des Innenraums der mobilen Einrichtung ausgewählt werden, und so kann bei bewegten Anzeigeobjekten, die in dem Anzeigebereich angezeigt werden, das Auftreten von Motion Sickness vermieden werden. Somit kann beispielsweise in einem Kraftfahrzeug ein Anzeigebereich in einer Umgebung eines Fahrzeuginnenraums positioniert werden, beispielsweise auf die Sonnenblende auf eine dunkle Stelle der Armaturentafel oder einen sonstigen Bereich, und dieser benutzerdefinierte Anzeigebereich mit einer Applikation verknüpft werden, so dass der Benutzer der Datenbrille beliebige dynamische Inhalte auf den Anzeigebereich übertragen kann.
-
Die Positionierung des Anzeigebereich ist benutzerdefiniert und kann durch ein verschiebliches Symbol oder einen verschieblichen Positionsrahmen, dessen Position mithilfe einer geeigneten Eingabefunktion in der mobilen Einrichtung verschoben und festgelegt werden kann, eingestellt werden. Beispielsweise kann der Anzeigebereich menügeführt durch Eingabeelemente an der Datenbrille und/oder Eingabeelementen an einem Assistenzsystem im Inneren der mobilen Einrichtung und/oder Eingabeelementen an einem Assistenzsystem im Inneren der mobilen Einrichtung verschoben werden, insbesondere indem ein Benutzer die Datenbrille trägt und das Symbol bzw. der Positionsrahmen für den Anzeigebereich angezeigt wird.
-
In einem Einstellmodus kann nun durch Betätigen der Eingabeelemente der entsprechende Positionsrahmen nach oben, nach unten, nach links, nach rechts und nach vorne oder nach hinten verschoben werden. In Verbindung mit einer aktuellen Pose der Datenbrille bezüglich des Fahrzeugkoordinatensystems kann bei Betätigen eines Speicherbefehls die aktuelle Position bzw. Pose des Positionsrahmens bezogen auf ein Fahrzeugkoordinatensystem gespeichert werden und somit ein benutzerdefinierter Anzeigebereich für die Ausgabe von benutzerdefinierten Anzeigeinhalten in der Datenbrille vorgegeben werden. Alternativ oder zusätzlich kann eine solche Eingabe auch mithilfe von Hand- oder Fingergesten mithilfe einer Gestensteuerung vorgenommen werden sowie gegebenenfalls durch eine entsprechende Eingabeoberfläche auf einem Drittgerät, wie beispielsweise einem mobilen Endgerät.
-
Die Kopplung der Anzeige im benutzerdefinierten Anzeigebereich und der Applikation kann ebenfalls benutzerdefiniert vorgegeben werden, beispielsweise kann eine Kopplung über Bluetooth, Chromecast, Miracast oder auch CarPlay vorgenommen werden. So kann ein Benutzer ausgehend von einer Applikation in der Datenbrille, in dem Assistenzsystem oder auf dem externen Mobilgerät deren Ausgabe mit dem positionierten Anzeigebereich verknüpft werden, so dass die Ausgabe der Applikation dorthin umgeleitet wird. Die Möglichkeit, lediglich die Ausgabe der Applikationsanzeige auf den benutzerdefinierten Anzeigebereich umzuleiten, ermöglicht auch die Darstellung von DRM-geschützten Inhalten in dem Anzeigebereich.
-
Es kann vorgesehen sein, dass das Zuordnen der Ausgabe einer oder mehrerer Applikationen auf einem mobilen Endgerät, einem Assistenzsystem der mobilen Einrichtung oder in der Datenbrille zur Anzeige in dem benutzerdefinierten Anzeigebereich als Voreinstellung gespeichert wird, so dass bei Aktivieren oder Aufrufen der betreffenden Applikation die Ausgabe der betreffenden Applikation automatisch in dem benutzerdefinierten Anzeigebereich ausgegeben wird.
-
Auf diese Weise können mehrere Anzeigebereiche entsprechend der oben beschriebenen Weise positioniert werden und vorab einzelnen Applikationen zugeordnet werden, so dass bei Aufruf der entsprechenden Applikation automatisch der betreffende Anzeigebereich ausgewählt wird, um die Ausgabe der Applikation anzuzeigen.
-
Es kann weiterhin vorgesehen sein, dass ein Einstellen der Pose des benutzerdefinierten Anzeigebereichs in einem oder mehreren vorgegebenen Anzeigebereichen nicht zugelassen wird.
-
Somit können bestimmte Anzeigebereiche als verbotene Bereiche markiert werden, so dass es beispielsweise nicht möglich ist, das Symbol oder den Positionsrahmen in einen Mittenbereich der Windschutzscheibe, über bestimmten Betätigungselementen, wie beispielsweise das Betätigungselement für eine Warnblinkanlage und dergleichen, zu positionieren, um eine ungestörte Sichtbarkeit der vorausliegenden Fahrzeugumgebung bzw. der Betätigungselemente zu gewährleisten. Eine Auswahl einer Position eines Symbols oder eines Positionsbereichs, die dazu führt, das ein Anzeigebereich einen verbotenen Bereich ganz oder teilweise überlappt, kann beispielsweise erreicht werden, indem das Symbol bzw. der Positionsrahmen während des Einstellmodus um den entsprechenden verbotenen Anzeigebereich springt oder eine Bestätigung zum Abspeichern der Pose des Symbols bzw. Positionsrahmens, d.h. des Anzeigebereichs, nicht angenommen wird.
-
Weiterhin kann vorgesehen sein, dass bei Ausgabe eines Videostreams durch die Applikation das Abspielen des Videostreams pausiert oder abgebrochen wird, wenn aufgrund der Brillenpose der Datenbrille der Anzeigebereich nicht auf einer Anzeigefläche der Datenbrille angezeigt wird.
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug;
- 2 eine Darstellung einer Anzeigefläche in der Datenbrille mit einem Positionsrahmen zur Anzeige von benutzerdefinierten Anzeigeobjekten in einem Einstellmodus; und
- 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben einer Datenbrille zur Darstellung von benutzerdefinierten Anzeigeobjekten in einem benutzerdefinierten Anzeigebereich, der fahrzeugfest positioniert ist.
-
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Fahrzeug als mobile Einrichtung. Das Anzeigesystem 1 umfasst ein Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z. B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
-
Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Fahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht.
-
Das Assistenzsystem 2 kann weiterhin mit einem Umgebungserfassungssystem 22, das eine oder mehrere Kameras aufweist, verbunden sein. Das Umgebungserfassungssystem 22 kann die Umgebung des Fahrzeugs erfassen. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.
-
Das Assistenzsystem 2 kann eine Steuereinheit 23 aufweisen, durch die abhängig von einer geografischen Position des Fahrzeugs und abhängig von einer durch das Umgebungserfassungssystem 22 erfassten Umgebungsabbild in an sich bekannter Weise mindestens ein virtuelles Anzeigeobjekt zur Anzeige in der Datenbrille 3 generiert und/oder bestimmt wird. Die Umgebungsposition des mindestens einen virtuellen Anzeigeobjekts wird bezüglich eines festgelegten, vordefinierten Umgebungskoordinatensystem angegeben.
-
Das Assistenzsystem 2 weist weiterhin eine Positionsbestimmungseinrichtung 28 auf. Die Positionsbestimmungseinrichtung 28 kann ein GPS-System zur Erfassung einer Geoposition des Fahrzeugs und/oder eine Odometrie zum Bereitstellen einer Angabe zu einer Bewegungstrajektorie (Geschwindigkeit, Lenkwinkel) des Fahrzeugs bezüglich der Umgebung umfassen. Zusätzlich (durch Fusion der Positionsinformationen) oder alternativ kann eine Geoposition des Fahrzeugs mithilfe von einem durch das Umgebungserfassungssystem 22 erfassten Umgebungsabbild und Abgleichen mit hochgenauen Kartendaten bestimmt werden. Die Geoposition entspricht allgemein einer Fahrzeugpose im Umgebungskoordinatensystem.
-
Es kann eine Innenraumkamera 25 vorgesehen sein, die auf die Datenbrille 3 gerichtet ist. Durch das Assistenzsystem 2 kann mit an sich bekannten Verfahren ein Tracking der Datenbrille 3 bezogen auf das Fahrzeugkoordinatensystem vorgenommen werden, um eine Brillenpose im Fahrzeugkoordinatensystem zu erhalten.
-
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist beispielhaft mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
-
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Anzeigeobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z. B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
-
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Anzeigeobjekt, wie beispielsweise ein Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
-
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegen kann und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen können. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die transparenten Anzeigeflächen 35 der Sichtscheiben 32, so dass die Blickrichtung des Benutzers, die durch eine Augenposition und eine optische Blickachse (Augenachse) vorgegeben ist, einen festen Bezug zur Ausrichtung der Datenbrille 3 aufweist. Dieser Bezug hängt individuell von dem Träger der Datenbrille 3 ab und wird durch eine Kalibrierungsinformation angegeben.
-
Zur Anzeige von Anzeigeobjekten werden entsprechende Objektinformationen in Form von Objektdaten von dem Assistenzsystem 2 an die Datenbrille 3 übermittelt. Die Objektdaten geben dabei die Art des Anzeigeobjekts, wie z. B. ein Textobjekt, ein Icon oder eine sonstige Kennzeichnung eines Anzeigebereichs, den Blickwinkelbereich bzw. die Blickwinkelbereiche, in dem/denen das Anzeigeobjekt auf der Anzeigefläche angezeigt werden soll und die Objektposition auf der Anzeigefläche, an der das Anzeigeobjekt angezeigt werden soll, an.
-
Es kann eine Inertialsensorik 38 vorgesehen sein, die z. B. in Form eines 6-DOF-Intertialsensors ausgebildet ist. Dieser stellt Bewegungsangaben in Form von translatorischen Beschleunigungen und Winkelgeschwindigkeiten zur Verfügung, die durch die jeweilige zweifache Integration in eine Positions- und Orientierungsänderung umgerechnet werden können.
-
Mithilfe einer Steuereinheit 37 werden Objektinformationen über eine Kommunikationseinrichtung 39 von dem Assistenzsystem 2 empfangen und verarbeitet, so dass diese in dem jeweiligen Blickwinkelbereich, in den der Benutzer der Datenbrille 3 blickt und in dem Umgebungsobjekte wahrgenommen werden können, kontaktanalog angezeigt werden. D.h. das durch die Objektinformation angegebene Anzeigeobjekt wird auf der Anzeigefläche 35 angezeigt, wenn sich dessen Umgebungsposition in dem Blickwinkelbereich befindet.
-
Die Funktion der Steuereinheit 37 und/oder die Kommunikationseinheit 39 kann teilweise oder vollständig auf einem von der Datenbrille 3 physisch getrennten Begleitgerät (z.B. ein Smart-Phone) untergebracht sein, welches seinerseits z.B. drahtlos oder kabelgebunden mit der eigentlichen Datenbrille 3 verbunden ist.
-
Die Datenbrille 3 kann eine Datenbrillenkamera 34 aufweisen, die vorzugsweise in Blickrichtung des Trägers der Datenbrille 3 ausgerichtet ist. Die Datenbrillenkamera 34 kann verwendet werden, anhand eines Markers oder sonstiger Strukturen, die im Innenraum des Fahrzeugs angeordnet sind, die Brillenpose der Datenbrille 3 bezogen auf ein Fahrzeugkoordinatensystem in der Steuereinheit 37 der Datenbrille 3 zu ermitteln.
-
Die Datenbrillenkamera 34 kann im sichtbaren Spektrum und/oder im unsichtbaren z.B. im Infrarotspektrum arbeiten. Letzteres kann z.B. eine Datenbrillenkamera sein, die für ein LIDAR gestütztes System auf einer Datenbrille eingesetzt wird.
-
2 zeigt schematisch einen Innenraum eines Fahrzeugs aus dem Blickfeld eines Trägers einer Datenbrille 3. Man erkennt beispielhaft ein Armaturenbrett 5 nebst weiteren sichtbaren Elementen eines Fahrzeuginnenraums. Weiterhin ist eine Anzeige in der Datenbrille 3 dargestellt, die die Umgebung des Fahrzeuginnenraums überlagert. Beispielhaft ist zur fahrzeugfesten Positionierung ein Symbol oder Positionsrahmen P als Ort eines möglichen Anzeigebereichs für ein benutzerdefiniertes Anzeigeobjekt zur Darstellung von anzuzeigenden benutzerdefinierten Anzeigeobjekten angezeigt. Dieser Anzeigebereich soll dann kontaktanalog bezogen auf das Fahrzeugkoordinatensystem verwendet werden, so dass das Anzeigeobjekt stets an derselben Position und mit der derselben Orientierung vom Träger der Datenbrille 3 wahrgenommen wird. Die Pfeile geben die Verschiebungsmöglichkeit in drei Raumrichtungen an. Zusätzlich könnte vorgesehen sein, die Orientierung des Anzeigebereichs bezogen auf den Benutzer zu ändern. Im gezeigten Ausführungsbeispiel ist der benutzerdefinierte Anzeigebereich auf einen Bereich des Armaturenbretts 5 oberhalb des Handschuhfachs festgelegt.
-
3 zeigt ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems mit der Datenbrille 3, um einen benutzerdefinierten Anzeigebereich einzustellen und zur Anzeige von benutzerdefinierten Anzeigeobjekten aus einer von dem Benutzer gewählten Applikation zu verwenden.
-
In Schritt S1 wird zunächst bei Aktivieren der Datenbrille 3 in einem Innenraum eines Fahrzeugs oder abhängig von einem entsprechenden Nutzerwunsch eine Einstellroutine gestartet. Die Einstellroutine bewirkt das Anzeigen eines Positionsrahmens kontaktanalog zunächst an einer beliebigen Position im Inneren des Fahrzeugs, wobei die kontaktanaloge Darstellung des Positionsrahmens fahrzeugfest erfolgt. Dazu erhält die Datenbrille insbesondere von dem Assistenzsystem kontinuierlich Angaben über die Brillenpose, die in oben beschriebener Weise ermittelbar ist, so dass der Positionsrahmen kontaktanalog stets an der aktuellen Position sichtbar ist.
-
Durch Nutzen von Eingabemöglichkeiten an der Datenbrille 3 und/oder dem Assistenzsystem 2 und/oder einem davon unabhängigen dritten Gerät, wie beispielsweise einem Mobilgerät des Nutzers mit einer geeigneten Eingabemöglichkeit, kann nun in Schritt S2 der Positionsrahmen nach oben, nach unten, nach links, nach rechts, nach hinten, nach vorne verschoben werden, um so eine Positionierung des Positionsrahmens P im Inneren des Fahrzeugs zu ermöglichen. Alternativ kann der Positionsrahmen P auch durch Gestensteuerung mithilfe von Hand- oder Fingergesten entsprechend verschoben werden. Die Verschiebung erfolgt bezogen auf das Fahrzeugkoordinatensystem.
-
Wird in Schritt S3 festgestellt, dass sich der Positionsrahmen an der von dem Benutzer gewünschten Position befindet, so kann durch eine entsprechende Eingabe die fahrzeugfeste Position des Positionsrahmens in Schritt S4 gespeichert und verwendet werden. Andernfalls wird zu Schritt S2 zurückgesprungen.
-
Weiterhin können bestimmte Bereiche für den Positionsrahmen verboten werden, insbesondere Bereiche, an denen wesentliche Elemente im Inneren des Kraftfahrzeugs verdeckt sind, wie beispielsweise ein Bedienelement zum Aktivieren einer Notfalleinrichtung, wie beispielsweise eines Warnblicklichts, ein Bereich eines Türgriffs zum Öffnen der Fahrzeugtür, ein Mittenbereich der Windschutzscheibe zur Wahrnehmung der vorausliegenden Verkehrssituation und dergleichen. Weiterhin kann eine Information über eine Sitzposition eines Nutzers im Kraftfahrzeug verwendet werden, um die verbotenen Bereiche für die Positionierung des benutzerdefinierten Anzeigebereichs festzulegen. Beispielsweise kann der Mittenbereich der Windschutzscheibe als mögliche Position des Anzeigebereich für einen Beifahrer zugelassen werden. Ist ein Anzeigebereich an einer verbotenen Position, so kann die Speicherung des Schritts S4 blockiert werden und das Verfahren bis zum Auffinden einer zulässigen Position durch Rücksprung zu Schritt S2 fortgesetzt werden.
-
In einem nachfolgenden Schritt S5 wird eine bestimmte Applikation des Benutzers der zuvor ausgewählten Position des Anzeigebereichs zugeordnet. Die Applikation kann in dem Assistenzsystem 2, in der Datenbrille 3 oder in einem mobilen Endgerät des Nutzers ausgeführt werden und eine Anzeige zur Ausgabe bereitstellen. Die ausgegebenen Anzeigeobjekte können ein Video, einen Videostream oder eine sonstige Softwareausgabe umfassen. Durch die Zuordnung der Applikation zu der Position des Anzeigebereichs kann bei Aufrufen der Applikation in dem Innenraum des Fahrzeugs und beim Tragen der Datenbrille 3 durch den Nutzer, die Ausgabe der Applikation automatisch auf den Anzeigebereich umgeleitet werden.
-
Nachfolgend wird in Schritt S6 bei Aktivieren der entsprechenden Applikation die Anzeige entsprechend auf den fahrzeugfesten Anzeigebereich umgeleitet.
-
In Schritt S7 wird der Anzeigebereich kontaktanalog durch die Datenbrille angezeigt. Dazu wird die Brillenpose der Datenbrille 3 entweder durch die Datenbrille 3 selbst (Inside-out-Tracking) oder durch das Assistenzsystem 2 des Fahrzeugs (Outside-in-Tracking) bestimmt. Der Benutzer nimmt die Ausgabe des/der Anzeigeobjekte der entsprechenden Applikation dann wahr, wenn die Kopfpose/Brillenpose so ist, dass sich der Anzeigebereich im Blickfeld des Benutzers befindet und die Anzeigefläche der Datenbrille 3 zwischen Auge und dem fahrzeugfest positionierten Anzeigebereich befindet. Dreht der Nutzer den Kopf, so dass der Anzeigebereich aus dem Blickfeld gelangt, so kann dieser die entsprechenden Anzeigeobjekte nicht weiter wahrnehmen.
-
Im Falle eines Videostreams oder eines abgespielten Videos kann gegebenenfalls von der Datenbrille oder dem Assistenzsystem, das die Brillenpose detektiert, an die Applikation signalisiert werden, dass der Anzeigebereich derzeit nicht wahrgenommen werden kann und das Abspielen des Videos oder des Videostreams pausiert oder unterbrochen wird.
-
Bezugszeichenliste
-
- 1
- Anzeigesystem
- 2
- Assistenzsystem
- 3
- Datenbrille
- 4
- Kommunikationsverbindung
- 5
- Armaturenbrett
- 21
- Kommunikationseinheit
- 22
- Umgebungserfassungssystem
- 23
- Steuereinheit
- 25
- Innenraumkamera
- 28
- Positionsbestimmungseinrichtung
- 31
- Rahmen
- 32
- Sichtscheiben
- 33
- Brillenbügel
- 34
- Datenbrillenkamera
- 35
- Anzeigefläche
- 36
- Anzeigeeinrichtung
- 37
- Steuereinheit
- 38
- Inertialsensorik
- 39
- Kommunikationseinrichtung
