DE102020001574A1

DE102020001574A1 - Verfahren zum Anzeigen einer zumindest teilweise virtuellen Realität auf einer Anzeigeeinrichtung eines Kraftfahrzeugs, sowie Anzeigeeinrichtung

Info

Publication number: DE102020001574A1
Application number: DE102020001574.3A
Authority: DE
Inventors: Jonas Haeling; Stephan Leenders; Daniel Keßelheim; Christian Winkler
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2020-10-08

Abstract

Die Erfindung betrifft ein Verfahren zum Anzeigen einer zumindest teilweise virtuellen Realität (16) auf einer an einem Kopf eines Insassen (14) eines Kraftfahrzeugs (10) anbringbaren Anzeigeeinrichtung (12) des Kraftfahrzeugs (10), bei welchem mittels einer optischen Erfassungseinrichtung (18) eine Umgebung (20) des Kraftfahrzeugs (10) erfasst wird und in Abhängigkeit von der erfassten Umgebung (20) zumindest eine erfasste Straße (22) als virtuelle Realität (16) auf der Anzeigeeinrichtung (12) angezeigt wird, wobei durch Auswertung der erfassten Umgebung (20) mittels einer elektronischen Recheneinrichtung (24) der Anzeigeeinrichtung (12) eine Oberflächenbeschaffenheit (26) der erfassten Straße (22) bestimmt wird und die Oberflächenbeschaffenheit (26) als virtuelles Objekt (28) mit in der virtuellen Realität (16) angezeigt wird. Ferner betrifft die Erfindung eine Anzeigeeinrichtung (12).

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen einer zumindest teilweise virtuellen Realität auf einer an einem Kopf eines Insassen eines Kraftfahrzeugs anbringbaren Anzeigeeinrichtung des Kraftfahrzeugs gemäß dem Oberbegriff von Patentanspruch 1. Ferner betrifft die Erfindung eine Anzeigeeinrichtung.
Es ist bereits bekannt, dass Nutzer beziehungsweise Insassen von Kraftfahrzeugen sehr anfällig für die Reisekrankheit im Kraftfahrzeug sind, wenn diese eine Anzeigeeinrichtung, beispielsweise eine virtuelle Realitätsbrille, aufhaben. Dabei sind auch unerwartete Bewegungen beziehungsweise Kräfte sehr irritierend und können die Reisekrankheit, welche auch als Kinetose bezeichnet werden kann, hervorrufen oder zumindest die Immersion brechen. In einer Mixed-Reality-Anwendung spiegelt insbesondere die virtuelle Realität zumindest teilweise die reale Welt wider. Dabei sind beispielsweise Straßen als sehr glatte Oberflächen mit dreidimensionalen Meshes modelliert. Bei einer Fahrt mit einer virtuellen Realitätsbrille und einer Mixed-Reality erwartet man somit keine Huckel, Unebenheiten oder Rauigkeit der Straße. Wenn aber doch eine Unebenheit kommt, so ist das sehr unangenehm für den Nutzer aus den angesprochenen Gründen.
Die DE 10 2011 115 739 A1 offenbart ein Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen 3D-Objektraums, bei dem in einem ersten Schritt durch Gewinnen von Perspektivinformationen aus dem digitalen Bild des definierten realen 3D-Objektraums ein virtueller Straßenverlauf erzeugt wird und in einem zweiten Schritt ein vorbestimmtes virtuelles 3D-Objekt generiert wird, wobei in einem dritten Schritt das virtuelle 3D-Objekt in Abhängigkeit von dem virtuellen Straßenverlauf des definierten realen 3D-Objektraums perspektivisch und ortsgenau angepasst wird und in einem vierten Schritt das angepasste virtuelle 3D-Objekt in den virtuellen Straßenverlauf des definierten realen 3D-Objektraums integriert wird.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren sowie eine Anzeigeeinrichtung zu schaffen, mittels welchen eine Reisekrankheit eines Insassen verhindert werden kann.
Diese Aufgabe wird durch ein Verfahren sowie durch eine Anzeigeeinrichtung gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Anzeigen einer zumindest teilweise virtuellen Realität auf einer an einem Kopf eines Insassen eines Kraftfahrzeugs anbringbaren Anzeigeeinrichtung des Kraftfahrzeugs, bei welchem mittels einer optischen Erfassungseinrichtung eine Umgebung des Kraftfahrzeugs erfasst wird und in Abhängigkeit von der erfassten Umgebung zumindest eine erfasste Straße als virtuelle Realität auf der Anzeigeeinrichtung angezeigt wird.
Es ist vorgesehen, dass durch Auswertung der erfassten Umgebung mittels einer elektronischen Recheneinrichtung der Anzeigeeinrichtung eine Oberflächenbeschaffenheit der erfassten Straße bestimmt wird und die Oberflächenbeschaffenheit als virtuelles Objekt mit in der virtuellen Realität angezeigt wird.
Dadurch ist es ermöglicht, dass in Abhängigkeit der erfassten Oberflächenbeschaffenheit diese als Objekt mit in die virtuelle Realität integriert werden kann, so dass eine Reisekrankheit des Insassen verhindert werden kann, da beispielsweise dieser die Oberflächenbeschaffenheit direkt sieht.
Mit anderen Worten betrifft die vorliegende Erfindung ein Verfahren zur Steigerung der Immersion beziehungsweise Verminderung einer Kinetose während der Anzeige der zumindest teilweise virtuellen Realität, welche auch als In-Car-Mixed-Reality bezeichnet wird. Hierzu werden Unebenheiten der Straße über die optische Erfassungseinrichtung aufgenommen und an das Mixed-Reality-System, welche beispielsweise eine Anzeige beziehungsweise eine VR-Brille sein kann, gesendet. Hierin finden eine Modellierung der Unebenheit und eine entsprechende Anzeige derselben statt. Weiterhin können Unebenheiten von beispielsweise einer Cloud empfangen werden.
Mit nochmals anderen Worten ist vorgesehen, dass mittels der optischen Erfassungseinrichtung, welche beispielsweise sowohl an dem Kraftfahrzeug als auch an der Anzeigeeinrichtung bereitgestellt werden kann, die Unebenheiten entlang der geschätzten Trajektorie, insbesondere für die Fahrzeugräder des Kraftfahrzeugs, geschätzt werden können. Es werden somit zwei Ketten von Punkten in gewissen Abständen geliefert, je nach Beschaffenheit der Straßen, entlang dieser Straße. Es lässt sich mittels einer Mustererkennung herausfinden, ob es zu großen Sprüngen in den Abständen kommt, was auf eine Unebenheit hindeutet, zum Beispiel über das Maximum der Differenzen oder komplexer über beispielsweise ein Machine-Learning-Verfahren, welches anhand von verschiedenen Unebenheiten trainiert wurde.
Das heißt, dass mittels der optischen Erfassungseinrichtung Unebenheiten erkannt werden können und eine grobe Klassifikation vorgenommen werden kann. Diese werden an das In-Car-Mixed-Reality-System weitergeleitet. Bei dem Empfang einer solchen Detektion wird an der entsprechenden glatten Straßenstelle in den zumindest teilweise virtuell dargestellten Visualisierungen, insbesondere der Straße, eine entsprechende Visualisierung angelegt. Das kann zum Beispiel bedeuten, dass man in einem Decal, welches insbesondere ein zweidimensionales-Quad mit Textur ist, auf dieser Stelle rendert und ein dreidimensionales Objekt aus einem Fundus von passend modellierten Unebenheiten an dieser Stelle anhand der normalen Informationen in die Straße legt. Als weitere Alternative kann die Straße an sich an dieser Stelle gerendert werden, zum Beispiel mittels Geometry-Shader. Für einen glatten Übergang kann die Visualisierung mittels Transparenz frühzeitig eingeblendet werden. Ferner kann beispielsweise vorgesehen sein, dass die Straße in der Mixed-Reality ein „gröberes“ Asphaltmuster als Textur besitzt, so dass plötzliche Änderungen nicht ersichtlich sind. Ferner kann die Straßenunebenheit über eine Serveranbindung empfangen werden, da weitere Fahrzeuge die gleiche Strecke abfahren.
Insbesondere kann dadurch eine Milderung von Reisekrankheit für die zumindest teilweise virtuelle Realität bei dem Insassen realisiert werden. Des Weiteren können eine Immersionssteigerung und eine Verhinderung von Immersionsbrüchen realisiert werden.
Die Anzeigeeinrichtung ist insbesondere als sogenannte Head-Mounted-Anzeigeeinrichtung bereitgestellt. Mit anderen Worten wird die Anzeigeeinrichtung am Kopf des Insassen getragen.
Gemäß einer vorteilhaften Ausgestaltungsform wird ein Schwellwert für die Oberflächenbeschaffenheit vorgegeben und erst bei einem Überschreiten des Schwellwerts durch die bestimmte Oberflächenbeschaffenheit die Oberflächenbeschaffenheit angezeigt.
Weiterhin vorteilhaft ist, wenn ein Straßenbelag der Straße und/oder eine Unebenheit auf der Straße als Oberflächenbeschaffenheit bestimmt wird.
Ebenfalls vorteilhaft ist, wenn die Oberflächenbeschaffenheit in Echtzeit auf der Anzeigeeinrichtung angezeigt wird.
Weiterhin vorteilhaft ist, wenn die bestimmte Oberflächenbeschaffenheit mit einer Position in der elektronischen Recheneinrichtung abgespeichert wird und die Oberflächenbeschaffenheit mit der Position an eine kraftfahrzeugexterne, elektronische Recheneinrichtung übertragen wird und zukünftig die Oberflächenbeschaffenheit mit der Position für zumindest ein weiteres Kraftfahrzeug zur Verfügung gestellt wird.
Ein weiterer Aspekt der Erfindung betrifft eine Anzeigeeinrichtung für ein Kraftfahrzeug, wobei die Anzeigeeinrichtung als eine an einem Kopf eines Insassen des Kraftfahrzeugs anbringbare Anzeigeeinrichtung ausgebildet ist und zum Anzeigen zumindest einer teilweise virtuellen Realität ausgebildet ist, wobei die Anzeigeeinrichtung zumindest eine elektronische Recheneinrichtung aufweist, und wobei die Anzeigeeinrichtung zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels der Anzeigeeinrichtung durchgeführt.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Dabei zeigt die einzige Figur eine schematische Seitenansicht eines Kraftfahrzeugs mit einer Ausführungsform einer Anzeigeeinrichtung.

In der Figur sind gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.

Die Figur zeigt in einer schematischen Seitenansicht eine Ausführungsform eines Kraftfahrzeugs 10 mit einer Ausführungsform einer Anzeigeeinrichtung 12. Die Anzeigeeinrichtung 12 ist als eine an einem Kopf eines Insassen 14 anbringbare Anzeigeeinrichtung 12 ausgebildet. Insbesondere ist vorliegend die Anzeigeeinrichtung 12 als Head-Mounted-Display ausgebildet. Insbesondere ist die Anzeigeeinrichtung 12 vorliegend als eine virtuelle Realitäts-Brille ausgebildet.
Mittels der Anzeigeeinrichtung 12 ist insbesondere eine zumindest teilweise virtuelle Realität 16 anzeigbar. Beim Verfahren zum Anzeigen der zumindest teilweise virtuellen Realität 16 auf der an dem Kopf des Insassen 14 des Kraftfahrzeugs 10 anbringbaren Anzeigeeinrichtung 12 des Kraftfahrzeugs 10 wird mittels einer optischen Erfassungseinrichtung 18, welche vorliegend am Kraftfahrzeug 10 ausgebildet ist, eine Umgebung 20 des Kraftfahrzeugs 10 erfasst, und in Abhängigkeit von der erfassten Umgebung 20 wird eine erfasste Straße 22 als virtuelle Realität 16 auf der Anzeigeeinrichtung 12 angezeigt.
Es ist vorgesehen, dass durch Auswertung der erfassten Umgebung 20 mittels einer elektronischen Recheneinrichtung 24 der Anzeigeeinrichtung 12 eine Oberflächenbeschaffenheit 26 der erfassten Straße 22 bestimmt und die Oberflächenbeschaffenheit 26 als virtuelles Objekt 28 in der virtuellen Realität 16 angezeigt wird.
Insbesondere kann ein Schwellwert für die Oberflächenbeschaffenheit 26 vorgegeben und erst bei einem Überschreiten des Schwellwerts durch die bestimmte Oberflächenbeschaffenheit 26 die Oberflächenbeschaffenheit 26 angezeigt werden.
Insbesondere kann vorgesehen sein, dass ein Straßenbelag der Straße 22 und/oder eine Unebenheit auf der Straße 22 als Oberflächenbeschaffenheit 26 bestimmt wird. Die Oberflächenbeschaffenheit 26 kann insbesondere in Echtzeit auf der Anzeigeeinrichtung 12 angezeigt werden.
Ferner kann insbesondere vorgesehen sein, dass die bestimmte Oberflächenbeschaffenheit 26 mit einer Position 30 in der elektronischen Recheneinrichtung 24 abgespeichert wird und die Oberflächenbeschaffenheit 26 mit der Position 30 an eine kraftfahrzeugexterne, elektronische Recheneinrichtung 32 übertragen wird und zukünftig die Oberflächenbeschaffenheit 26 mit der Position 30 für zumindest ein weiteres Kraftfahrzeug zur Verfügung gestellt wird.
Insbesondere zeigt somit die Figur, dass mittels der optischen Erfassungseinrichtung 18, welche auch als Road-Surface-Scan-System bezeichnet werden kann, die Oberflächenbeschaffenheit 26, welche vorliegend als Unebenheit gezeigt ist, entlang einer geschätzten Trajektorie der Fahrzeugräder geschätzt werden kann. Insbesondere können dabei zwei Ketten von Punkten in gewissen Abständen, je nach Beschaffenheit der Straße 22, geliefert werden. Hier lässt sich beispielsweise mittels einer Mustererkennung herausfinden, ob es große Sprünge in den Abständen gibt, was auf eine Unebenheit hindeutet, wobei dies beispielsweise über ein Maximum der Differenzen oder mittels eines Machine-Learning-Verfahrens, welches anhand von verschiedenen Unebenheiten trainiert wurde, durchgeführt werden kann.
Die optische Erfassungseinrichtung 18 kann Unebenheiten erkennen und eine grobe Klassifikation vornehmen. Diese werden an das In-Car-Mixed-Reality-System, mit anderen Worten an die Anzeigeeinrichtung 12, weitergeleitet. Bei dem Empfang einer solchen Detektion wird an den entsprechenden glatten Straßenstellen in der virtuellen Realität 16 eine entsprechende Visualisierung, vorliegend insbesondere als Objekt 28, angelegt. Dies kann bedeuten, dass man ein Decal auf diese Stelle rendert oder ein dreidimensionales Objekt aus einem Fundus von passend modellierten Unebenheiten an diese Stelle in der Straße 22 legt anhand der normalen Information. Als weitere Alternative kann man die Straße 22 an sich an dieser Stelle rendern, zum Beispiel mittels eines Geometry-Shaders. Für einen glatten Übergang kann die Visualisierung mittels Transparenz frühzeitig eingeblendet werden.
Insgesamt zeigt die Erfindung eine adaptive Visualisierung von Straßenunebenheiten für In-Car-Mixed-Reality.
Bezugszeichenliste

10: Kraftfahrzeug
12: Anzeigeeinrichtung
14: Insasse
16: virtuelle Realität
18: optische Erfassungseinrichtung
20: Umgebung
22: Straße
24: elektronische Recheneinrichtung
26: Oberflächenbeschaffenheit
28: Objekt
30: Position
32: kraftfahrzeugexterne, elektronische Recheneinrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102011115739 A1 [0003]

Claims

Verfahren zum Anzeigen einer zumindest teilweise virtuellen Realität (16) auf einer an einem Kopf eines Insassen (14) eines Kraftfahrzeugs (10) anbringbaren Anzeigeeinrichtung (12) des Kraftfahrzeugs (10), bei welchem mittels einer optischen Erfassungseinrichtung (18) eine Umgebung (20) des Kraftfahrzeugs (10) erfasst wird und in Abhängigkeit von der erfassten Umgebung (20) zumindest eine erfasste Straße (22) als virtuelle Realität (16) auf der Anzeigeeinrichtung (12) angezeigt wird, dadurch gekennzeichnet, dass durch Auswertung der erfassten Umgebung (20) mittels einer elektronischen Recheneinrichtung (24) der Anzeigeeinrichtung (12) eine Oberflächenbeschaffenheit (26) der erfassten Straße (22) bestimmt wird und die Oberflächenbeschaffenheit (26) als virtuelles Objekt (28) mit in der virtuellen Realität (16) angezeigt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Schwellwert für die Oberflächenbeschaffenheit (26) vorgegeben wird und erst bei einem Überschreiten des Schwellwerts durch die bestimmte Oberflächenbeschaffenheit (26) die Oberflächenbeschaffenheit (26) als Objekt (28) angezeigt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Straßenbelag der Straße (22) und/oder eine Unebenheit auf der Straße (22) als Oberflächenbeschaffenheit (26) bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Oberflächenbeschaffenheit (26) in Echtzeit auf der Anzeigeeinrichtung (12) angezeigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bestimmte Oberflächenbeschaffenheit (26) mit einer Position (30) in der elektronischen Recheneinrichtung (24) abgespeichert wird und die Oberflächenbeschaffenheit (26) mit der Position (30) an eine kraftfahrzeugexterne, elektronische Recheneinrichtung (32) übertragen wird und zukünftig die Oberflächenbeschaffenheit (26) mit der Position (30) für zumindest ein weiteres Kraftfahrzeug zur Verfügung gestellt wird.
Anzeigeeinrichtung (12) für ein Kraftfahrzeug (10), wobei die Anzeigeeinrichtung (12) als an einem Kopf eines Insassen (14) des Kraftfahrzeugs (10) anbringbare Anzeigeeinrichtung (12) ausgebildet ist und zum Anzeigen zumindest einer teilweise virtuellen Realität (16) ausgebildet ist, wobei die Anzeigeeinrichtung (12) zumindest eine elektronischen Recheneinrichtung (24) aufweist, und wobei die Anzeigeeinrichtung (12) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgebildet ist.