DE102022132417A1 - Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt - Google Patents

Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt Download PDF

Info

Publication number
DE102022132417A1
DE102022132417A1 DE102022132417.6A DE102022132417A DE102022132417A1 DE 102022132417 A1 DE102022132417 A1 DE 102022132417A1 DE 102022132417 A DE102022132417 A DE 102022132417A DE 102022132417 A1 DE102022132417 A1 DE 102022132417A1
Authority
DE
Germany
Prior art keywords
user
target object
virtual
display device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022132417.6A
Other languages
English (en)
Inventor
Wolfgang-Andreas Huber
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022132417.6A priority Critical patent/DE102022132417A1/de
Priority to PCT/EP2023/081118 priority patent/WO2024120727A1/de
Publication of DE102022132417A1 publication Critical patent/DE102022132417A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung, die zum Einblenden virtueller Anzeigeinhalte in sein Blickfeld ausgebildet ist, auf ein Zielobjekt. Das Verfahren umfasst laufend aktualisierte Schritte:- Ermitteln eines Zielobjekts der Aufmerksamkeitslenkung;- Ermitteln aktueller 3D-Positionen des Zielobjekts und der Augen des Nutzers sowie seines aktuellen Blickfelds; und- Darstellen durch die Anzeigevorrichtung eines virtuellen 3D-Strahlenkranzes aus mehreren Strahlen, die auf Mantellinien eines gedachten Kegels verlaufen, dessen Kegelspitze durch die aktuelle 3D-Position des Zielobjekts bestimmt wird und dessen Kegelachse durch die aktuelle 3D-Position der Nutzeraugen führt, wobei stets mindestens ein Strahl des 3D-Strahlenkranzes im aktuellen Blickfeld des Nutzers dargestellt wird und jeder dargestellte Strahl vorbestimmte Richtungsanzeigeelemente in Richtung des Zielobjekts aufweist.

Description

  • Die Erfindung betrifft ein Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer Anzeigevorrichtung auf ein Zielobjekt. Die Erfindung richtet sich auch auf eine zur Ausführung des Verfahrens eingerichtete Steuereinheit sowie auf eine entsprechend eingerichtete oder mit der genannten Steuereinheit ausgestattete Anzeigevorrichtung.
  • Konzepte zum Zweck der Aufmerksamkeitslenkung auf ein Zielobjekt sind unter anderem aus dem Bereich von Videospielen, die auf 2D-Monitoren oder VR-Geräten (Virtual-Reality) laufen, bekannt. Dort werden beispielsweise Einblendungen statischer Pfeile, Kompassnadeln oder „Glow“-Effekte am Bildschirmrand eingesetzt, um dem User anzuzeigen, in welche Richtung er blicken sollte. Ferner ist es beispielsweise für Kraftfahrzeuge bekannt, visuelle Darstellungen in Form von Lichtern, Pfeilen oder graphischen Markierungen und Hervorhebungen realer Objekte durch im Fahrzeug verbaute LED-Leuchten, Flachbildschirme oder zur erweiterten Realität (Augmented-Reality, AR) geeignete Anzeigevorrichtungen wie Head-Up-Displays (HUDs) zu erzeugen, um die Aufmerksamkeit des Fahrers beispielsweise auf Gefahrenquellen abseits seiner aktuellen Blickrichtung zu lenken.
  • Bei bekannten Konzepten zur Aufmerksamkeitslenkung ist jedoch immer noch eine gewisse Interpretationsleistung des Nutzers erforderlich. Beispielsweise entstehen bei den Nutzern dabei oft folgende Fragen: In welche Richtung zeigt der Pfeil? Wo genau soll ich hinblicken, um das Zielobjekt zu erkennen? Wann ist das Zielobjekt in meinem Blickfeld (Field-of-View) sichtbar? Was ist denn letztlich das Zielobjekt?
  • Es ist eine Aufgabe der vorliegenden Erfindung, ein alternatives und/oder im Hinblick auf die Wirksamkeit, den Nutzer-Komfort, die erforderliche Interpretationsleistung seitens des Nutzers, die situationsabhängige Flexibilität und/oder andere Gesichtspunkte verbessertes Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer Anzeigevorrichtung auf ein Zielobjekt anzugeben.
  • Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt sowie durch eine entsprechend ausgebildete und eingerichtete AR-, MR- oder VR-Anzeigevorrichtung oder durch deren entsprechend eingerichtete Steuereinheit gemäß den nebengeordneten Ansprüchen gelöst. Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben. Alle in den Ansprüchen und der nachfolgen Beschreibung für das Verfahren genannten weiterführenden Merkmale und Wirkungen gelten auch in Bezug auf die Steuereinheit und die Anzeigevorrichtung, wie auch umgekehrt.
  • Gemäß einem ersten Aspekt ist ein Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung (nachfolgend auch kurz „Anzeigevorrichtung“ genannt) auf ein Zielobjekt vorgesehen. Beim hierin vorgestellten Verfahren ist die Anzeigevorrichtung zum Einblenden virtueller Anzeigeinhalte ins Blickfeld ihres Nutzers ausgebildet und kann für grundsätzlich beliebige Anwendungen der erweiterten Realität (auch als Augmented-Reality, AR bekannt), virtuellen Realität (auch als Virtual-Reality, VR bekannt) oder gemischten Realität (auch als Mixed-Reality, MR bekannt) ausgelegt sein, die solche Einblendungen nutzen. Sie kann beispielsweise als eine AR-Brille oder ein anderes Head-Mounted-Device (HMD) oder auch als eine von Kopfbewegungen des Nutzers mechanisch unabhängige Vorrichtung wie ein ortsfestes Head-Up-Display (HUD) etc. ausgebildet sein.
  • Das hierin vorgestellte Verfahren zur Aufmerksamkeitslenkung setzt voraus, dass ein ansteuernder Algorithmus der AR-, MR- oder VR-Vorrichtung einen virtuellen 3D-Raum nutzt, in dem sowohl 3D-Positionen der einzublendenden virtuellen Objekte oder der zu augmentierenden realen Objekte als auch eine 3D-Position der Augen des Nutzers (d. h. des Betrachters der virtuellen Einblendungen) und sein Blickfeld, das mit den Anzeigeinhalten der Anzeigevorrichtung abdeckbar ist, bekannt sind bzw. eindeutig ermittelt werden können. Der genannte virtuelle 3D-Raum kann beispielsweise durch ein dreidimensionales Koordinatensystem gegeben sein, das an die Anzeigevorrichtung oder an den Rumpf des Nutzers oder an ein übergeordnetes System wie ein Fahrzeug oder ein Gebäude, in dem sich der Nutzer aufhält, gebunden sein kann. Als die hierin genannte 3D-Position der Nutzeraugen kann beispielsweise eine 3D-Position eines Mittelpunkts zwischen seinen Augen dienen, gegebenenfalls mit einer zugehörigen Ausrichtung, die jedoch nicht mit einer Blickrichtung des Nutzers zu verwechseln ist, sondern beispielsweise einfach die Richtung einer Normalen zur Gesichtsfläche des Nutzers angibt. (Eine aktuelle Blickrichtung des Nutzers wird beim vorliegenden Verfahren hingegen grundsätzlich gar nicht benötigt und daher auch nicht erm ittelt.)
  • Das Verfahren umfasst dabei folgende Schritte, die laufend, d. h. dynamisch oder in Echtzeit, aktualisiert werden:
    • Es wird ein Zielobjekt ermittelt, auf welches die Aufmerksamkeit des Nutzers gelenkt werden soll. Dabei kann es sich um ein reales oder virtuelles Zielobjekt handeln, das innerhalb oder außerhalb eines aktuellen Blickfelds des Nutzers liegen kann. Das Zielobjekt kann, je nach Anforderungen einer spezifischen Anwendung, beispielsweise in einer automatisierten Weise anhand von vorbestimmten Zielobjektkriterien ermittelt werden. Als Zielobjektkriterien können beispielsweise eine potentielle Gefahr für den Nutzer durch ein reales Objekt und/oder Darstellung eines virtuellen Objekts außerhalb seines aktuellen Blickfelds und/oder Vieles mehr dienen. Alternativ oder zusätzlich kann die Ermittlung des Zielobjekts aber auch das Empfangen einer entsprechenden Vorgabe von außen, etwa vom Nutzer selbst durch eine hierzu vorgesehene Nutzerschnittstelle, umfassen. So kann der Nutzer beispielsweise zum Auffinden eines bestimmten realen Objekts in seinem Umfeld, etwa seines eigenen oder eines fremden Fahrzeugs oder eines anderen vom System lokalisierbaren Gegenstands oder Interessenpunkts, dies als Zielobjekt der hierin vorgestellten Aufmerksamkeitslenkung durch die Anzeigevorrichtung vorgeben.
  • Ferner werden eine jeweils aktuelle 3D-Position des genannten Zielobjekts, eine jeweils aktuelle 3D-Position der Augen des Nutzers sowie sein jeweils aktuelles Blickfeld, das mit den virtuellen Einblendungen der Anzeigevorrichtung abdeckbar ist, in dem genannten virtuellen 3D-Raum ermittelt. Hierzu können beliebige Ermittlungsmethoden zum Einsatz kommen, die anwendungsspezifisch variieren und beispielsweise das Auslesen geeigneter physikalischer Sensoren und/oder das Empfangen entsprechender Positionsdaten von externen Datenquellen umfassen können.
  • In dem genannten virtuellen 3D-Raum wird nun ein dreidimensionaler Strahlenkranz auf einem Kegel definiert, dessen Spitze auf dem Zielobjekt liegt, auf welches die Aufmerksamkeit gelenkt werden soll. Der Strahlenkranz wird durch die AR-, MR- oder VR-Anzeigevorrichtung in Form einzelner Strahlen dargestellt, die insbesondere in Kegelumfangsrichtung äquidistant sein können. Dabei wird der Kegel dynamisch so ausgerichtet, dass der Kopf des Nutzers, d. h. des Betrachters, mit Ausnahme weiter unten genannter Fälle immer auf der Kegelachse liegt. Die Strahlen können dabei insbesondere in einer zur Betrachtung angenehmen Konvergenzentfernung von den Augen des Nutzers haben, wie beispielsweise etwa 50 bis 100 cm oder auch deutlich mehr.
  • Mit anderen Worten wird durch die AR-, MR- oder VR-Anzeigevorrichtung ein virtueller 3D-Strahlenkranz aus mehreren Strahlen dargestellt, die auf Mantellinien eines gedachten Kegels verlaufen, dessen Kegelspitze durch die aktuell ermittelte 3D-Position des Zielobjekts bestimmt wird und dessen Kegelachse durch die aktuell ermittelte 3D-Position der Nutzeraugen führt. Mantellinien des Kegels sind im üblichen Sinne als Halbgeraden zu verstehen, die ihren Anfang in der Kegelspitze haben.
  • Dabei wird stets mindestens ein Strahl des 3D-Strahlenkranzes im aktuell ermittelten Blickfeld des Nutzers dargestellt, sodass der 3D-Strahlenkranz für den Nutzer stets unübersehbar ist. Idealerweise werden immer mehrere Strahlen des 3D-Strahlenkranzes im aktuellen Blickfeld des Nutzers dargestellt, um dem Nutzer einen Umriss der dreidimensionalen Mantelfläche des Kegels erkennbar zu machen. Dies ist jedoch nicht zwingend erforderlich. Denn jeder dargestellte Strahl weist zudem vorbestimmte Richtungsanzeigeelemente in Richtung des Zielobjekts auf, sodass der Nutzer mit seinem Blick oder Kopf selbst dann ohne weitere Interpretationsleistung zum Zielobjekt gelenkt wird, wenn nur ein einziger oder nur einige wenige, weit voneinander verlaufende Strahlen des virtuellen 3D-Strahlenkranzes in seinem aktuellen Blickfeld zu sehen sind.
  • Mit diesem Verfahren wird ein intuitives Konzept zur Aufmerksamkeitslenkung bereitgestellt, das die Aufmerksamkeit des Nutzers der Anzeigevorrichtung ohne nutzerseitige Interpretationsleistung auf ein virtuelles oder reales Zielobjekt lenken und den Nutzer dazu veranlassen kann, den Blick und gegebenenfalls auch den Kopf in die dafür erforderliche Richtung zu wenden. Durch die Darstellung eines virtuellen 3D-Strahlenrkranzes auf einem gedachten Kegel, dessen Spitze der aktuell ermittelten 3D-Position des Zielobjekts und dessen Achse der aktuell ermittelten 3D-Position der Nutzeraugen im virtuellen 3D-Raum dynamisch nachgeführt werden, fällt es selbst unerfahrenen oder unvorbereiteten Nutzern leicht, den Blick oder den Kopf unverzüglich und präzise in Richtung des Zielobjekt zu wenden und das Zielobjekt dann auch zu lokalisieren bzw. zu erkennen, weil alle dargestellten virtuellen Strahlen und deren Richtungsanzeigenelemente spitz darauf zulaufen.
  • Dieser Ansatz zeichnet sich insbesondere durch seine Universalität und Flexibilität aus, beispielsweise im Hinblick auf verschiedene Situationen, Bewegungen und andere Umstände auf Seiten des Nutzers, Arten von AR-, MR- oder VR-Anzeigevorrichtungen sowie Arten und Orte der Zielobjekte der Aufmerksamkeitslenkung. Denn mit dem vorliegenden Verfahren lässt sich die Aufmerksamkeit des Nutzers in universeller Weise präzise und erfolgreich auf jeden gewünschten Punkt im 3D-Raum lenken, und zwar für alle möglichen Positionen des Kopfs und Blickrichtungen des Nutzers.
  • Gegenüber den eingangs erwähnten bekannten Konzepten der Aufmerksamkeitslenkung, die auf der Darstellung einzelner Pfeile oder Kompassnadeln etc. basieren, besteht ein Vorteil des vorliegenden Verfahrens insbesondere darin, dass der Nutzer/Betrachter seinen Blick ganz intuitiv an einem großen und für jedermann sofort verständlichen virtuellen 3D-Objekt entlang (dem gedachten Kegel, der durch einzelne Strahlen mit Richtungsanzeigenelementen dargestellt wird und sich stets unübersehbar im aktuellen Blickfeld des Nutzers erstreckt) zum Zielobjekt leiten lassen kann. Das Zielobjekt bzw. dessen Position im dreidimensionalen Raum ist dabei eindeutig über die Kegelspitze markiert, sodass auch hier keine Interpretation durch den Nutzer erforderlich ist. All dies ermöglicht eine an Sicherheit grenzende Erfolgswahrscheinlichkeit der Aufmerksamkeitslenkung, sodass sich das vorgestellte Konzept insbesondere auch für sicherheitsrelevante Anwendungen, wie beispielsweise bei drohender Kollision mit einem Fremdköper, eignet.
  • Wie bereits erwähnt, sind gemäß einer Ausführungsform die einzelnen virtuell dargestellten Strahlen des 3D-Strahlenkranzes äquidistant in Umfangsrichtung des gedachten Kegels angeordnet. Dadurch kann die Erkennbarkeit der spitz auf das Zielobjekt zulaufenden Mantellinien des Kegels für den Nutzer besonders einfach und intuitiv gestaltet werden. Es können beim vorliegenden Verfahren jedoch auch andersartige Anordnungen der einzelnen Strahlen auf der Mantelfläche des gedachten Kegels zielführend sein, bei denen der Abstand zwischen den einzelnen Strahlen in Umfangsrichtung des Kegels variiert, um beispielsweise mehr oder, umgekehrt, weniger Strahlen in einer vorbestimmten Richtung oder einem vorbestimmten Bereich darzustellen.
  • Alternativ oder zusätzlich zu dieser Ausführungsform können sich die dargestellten Strahlen des 3D-Strahlenkranzes über einen gesamten von der AR-, MR- oder VR-Anzeigevorrichtung abdeckbaren Anzeigebereich, zumindest in dem jeweils aktuell ermittelten Blickfeld des Nutzers, erstrecken. Dies kann dazu beitragen, dass der 3D-Strahlenkranz in jeder Situation unübersehbar für den Nutzer dargestellt wird. Alternativ können die Strahlen jedoch auch nur in einem statisch oder dynamisch vorbestimmten Teilbereich des Anzeigebereichs dargestellt werden, sofern die Unübersehbarkeit dieser Darstellung für den Nutzer auch so gewährleistet ist.
  • Insbesondere kann beim vorliegenden Verfahren ein Öffnungswinkel des gedachten Kegels (d. h. ein von seinen Mantellinien bzw. seiner Mantelfläche eingeschlossener Raumwinkel) dynamisch so bestimmt werden, dass alle im aktuellen Blickfeld des Nutzers dargestellten Strahlen des 3D-Strahlenkranzes vollständig in einem bezüglich der aktuell ermittelten 3D-Position der Nutzeraugen definierten Konvergenzentfernungsintervall dargestellt werden, das als besonders angenehm für den Nutzer im Hinblick auf die Fokussierung seiner Augen vorbestimmt ist. Das vorbestimmte Konvergenzentfernungsintervall kann hierzu in folgender Reihenfolge zunehmend bevorzugt: in einer Entfernung von mindestens etwa 50 cm, mindestens etwa 100 cm, mindestens etwa 150 cm, mindestens etwa 200 cm oder mindestens etwa 300 cm von der aktuell ermittelten 3D-Position der Nutzeraugen beginnen. Alternativ oder zusätzlich kann das vorbestimmte Konvergenzentfernungsintervall für jeden Nutzer abhängig von seiner Sehfähigkeit individuell bestimmt werden, beispielsweise auf Basis geeigneter Sensormessungen, und/oder vom Nutzer selbst über eine hierzu vorgesehene Benutzerschnittstelle (z. B. manuell oder durch einen entsprechenden Sprachbefehl) festlegbar sein.
  • Gemäß einer Ausführungsform wird der virtuelle 3D-Strahlenkranz dem Nutzer als gewissermaßen umweltfest dargestellt, indem die zu seiner Darstellung ermittelte dreidimensionale Lage der Kegelachse bei Kopf- und/oder Augenbewegungen des Nutzers in einem vorbestimmten räumlichen Stabilisierungsbereich (von beispielsweise etwa 10 bis 20 cm in horizontaler und/oder vertikaler Richtung) für eine vorbestimmte zeitliche Stabilisierungsspanne (von beispielsweise etwa einer Sekunde oder einem vorbestimmten Bruchteil oder Vielfachen davon) unverändert bleibt, bevor sie der veränderten aktuellen 3D-Position der Nutzeraugen nachgeführt wird. So bleibt der Strahlenkranz beispielsweise bei kurzen, kleinen, zufälligen und/oder abrupten Kopfbewegungen des Nutzers wie Kopfschütteln oder Niesen etc. stehen und wird vom Nutzer daher als an die Umwelt gebunden wahrgenommen, was für ihn besonders angenehm, intuitiv und/oder besonders zielführend für seine Aufmerksamkeitslenkung sein kann.
  • Die zur Aufmerksamkeitslenkung eingesetzte AR-, MR- oder VR-Anzeigevorrichtung kann beispielsweise als eine am Kopf des Nutzers befestigte Anzeigevorrichtung (auch als Head-Mounted-Device oder HMD bekannt), ausgebildet sein. Dabei kann es sich insbesondere um eine Datenbrille handeln, die hierin als eine AR- oder VR-Brille ausgebildet sein kann und ähnlich einer für ein oder zwei Augen vorgesehenen Lesebrille ein Anzeigeelement für ein oder für jedes Auge des Nutzers besitzt. Alternativ zur Datenbrille kann es sich beispielsweise um eine am Kopf des Nutzers befestigte Anzeigevorrichtung mit einem einzelnen durchgehenden Anzeigeelement in Form eines Visiers handeln, das sich vor beiden Augen des Nutzers erstreckt.
  • Alternativ kann die genannte AR-, MR- oder VR-Anzeigevorrichtung als eine von Kopfbewegungen des Nutzers mechanisch unabhängige Anzeigevorrichtung mit einem panoramaartigen Anzeigeelement ausgebildet ist, das sich zumindest teilweise im Blickfeld des Nutzers und zumindest teilweise horizontal und/oder vertikal darüber hinaus erstreckt, beispielsweise in Form einer Fahrzeug-Windschutzscheibe oder einer sonstigen gekrümmten Scheibe, (Teil-)Kuppel oder (Teil-)Kugel aus Glas, vor oder innerhalb welcher sich der Nutzer befindet und zumindest seinen Kopf dabei frei bewegen kann. Es kann sich beispielsweise um ein Head-up-Display (HUD) handeln, bei dem ein von einem Display oder Projektor erzeugtes Bild ins Blickfeld des Nutzers über Reflexion an einer in seinem Blickfeld angeordneten, zumindest teilweise transparenten Reflexionsscheibe eingeblendet wird. (Hierin sind räumliche Orientierungsbegriffe wie „horizontal“, „vertikal“, „vor/hinter“, „vorn“, „hinter“, „links/rechts“, „über/unter“ stets in einem nutzergebundenen Koordinatensystem zu verstehen und können beispielsweise in Bezug auf seinen Rumpf oder in Bezug auf die aktuell ermittelte 3D-Position seiner Augen definiert sein.)
  • Insbesondere kann die genannte AR-, MR- oder VR-Anzeigevorrichtung zu einer 3D-Darstellung virtueller Anzeigeinhalte ausgebildet sein und den virtuellen 3D-Strahlenkranz für den Nutzer dreidimensional darstellen. Alternativ kann sie aber auch zu einer 2D-Darstellung virtueller Anzeigeinhalte ausgebildet sein. In diesem Fall wird der virtuelle 3D-Strahlenkranz in einer zweidimensionalen Projektion auf deren zweidimensionale virtuelle Bildfläche dargestellt.
  • Die hierin genannten Richtungsanzeigeelemente, mit denen jeder Strahl des virtuell dargestellten 3D-Strahlenkranzes versehen ist, können beispielsweise in Richtung des Zielobjekts weisende Pfeile umfassen. Alternativ oder zusätzlich können die Richtungsanzeigeelemente dadurch dargestellt werden, dass jeder Strahl aus einem oder mehreren in einem vorbestimmten Abstand in Strahlrichtung aufeinanderfolgenden Strahlabschnitten besteht, die sich mit einer vorbestimmten Geschwindigkeit auf das Zielobjekt zubewegen. Sowohl die vorbestimmte Geschwindigkeit als auch der vorbestimmte Abstand sind dabei so gewählt, dass die einzelnen Strahlabschnitte sowie deren Bewegung fürs durchschnittliche menschliche Auge oder fürs individuelle Auge des Nutzers gut auflösbar und sichtbar sind, beispielsweise so dass deren Wahrnehmung keine Anstrengung oder genaue Fokussierung der Augen darauf erfordert.
  • Gemäß einer Ausführungsform wird ferner ein Maß für die Wichtigkeit und/oder Dringlichkeit der Aufmerksamkeitslenkung auf das Zielobjekt ermittelt. Dieses Wichtigkeits- und/oder Dringlichkeitsmaß kann auf einer vorgegebenen Relevanzskala ermittelt werden, die beispielsweise eine Sicherheitsrelevanz der Aufmerksamkeitslenkung auf das Zielobjekt angibt. Bei dieser Ausführungsform hängt die Darstellung des virtuellen 3D-Strahlenkranzes von dem jeweils ermittelten Wichtigkeits- und/oder Dringlichkeitsmaß ab. Beispielsweise kann mit steigendem Wichtigkeits- und/oder Dringlichkeitsmaß eine oder mehrere von folgenden Änderungen bei der Darstellung des virtuellen 3D-Strahlenkranzes einhergehen:
    • - Erhöhung der Anzahl der insgesamt oder zumindest im aktuellen Blickfeld des Nutzers dargestellten Strahlen, d. h. die Strahldichte wird erhöht bzw. der Abstand der Strahlen voneinander in Umfangrichtung des Kegels verringert; und/oder
    • - Erhöhung einer absoluten oder relativ zu einer Hintergrundhelligkeit oder zur Helligkeit anderer Anzeigeinhalte bestimmten Helligkeit des virtuellen 3D-Strahlenkranzes; und/oder
    • - Wechseln einer Darstellungsfarbe der Strahlen von neutralen oder kälteren Farben zu gelb, orange, rot oder anderen Signalfarben; und/oder
    • - Einfügen der Darstellung von in Richtung des Zielobjekts weisenden Pfeilen und/oder Darstellung bereits angezeigter Pfeile als größer, prägnanter und/oder dichter aneinander; und/oder
    • - Hinzufügen einer Bewegung einzelner Strahlabschnitte auf das Zielobjekt zu oder Erhöhung der Geschwindigkeit dieser Bewegung bei bereits dargestellten Strahlabschnitten; und/oder
    • - Erhöhung einer Liniendicke bei der Darstellung der Strahlen.
  • Beispielsweise kann das Wichtigkeits- und/oder Dringlichkeitsmaß in vorbestimmter Weise auf einer linearen Relevanzskala ermittelt werden und die genannten Abmessungen oder Bewegungsparameter der dargestellten Strahlen proportional dazu oder als einer andere vorbestimmte Funktion davon erhöht werden.
  • Gemäß einer Ausführungsform wird das Darstellen des virtuellen 3D-Strahlenkranzes dadurch ausgelöst, dass ein von der AR-, MR- oder VR-Anzeigevorrichtung darzustellendes virtuelles Objekt außerhalb des aktuell ermittelten Blickfelds des Nutzers liegt und dadurch zum Zielobjekt der hierin beschriebenen Aufmerksamkeitslenkung wird. Alternativ oder zusätzlich kann bei dieser Ausführungsform das Darstellen des virtuellen 3D-Strahlenkranzes dadurch beendet werden, dass das Zielobjekt ins aktuelle Blickfeld des Nutzers tritt und/oder eine aktuell ermittelte Blickrichtung des Nutzers innerhalb eines vorbestimmten Toleranzwinkels um die Kegelachse liegt (d. h. der Nutzer nahezu direkt auf das Zielobjekt blickt). Alternativ oder zusätzlich zu dieser Ausführungsform kann das Ermitteln eines Zielobjekts und/oder das Auslösen und das Beenden der Darstellung des diesbezüglichen virtuellen 3D-Strahlenkranzes auch zumindest teilweise benutzerseitig steuerbar sein, sodass der Nutzer über eine geeignete Benutzerschnittstelle (mit)entscheiden kann, ob und/oder auf welches Zielobjekt ihm die hierin vorgestellte Aufmerksamkeitslenkung virtuell dargestellt wird. Alternativ oder zusätzlich kann dem Nutzer über eine Benutzerschnittstelle die Steuerung weiterer Eigenschaften der hierin vorgestellten Einblendung des 3D-Strahlenkranzes ermöglicht sein, wie beispielsweise einer Zeit, die vom Eintreten einer vorbestimmten Bedingung zum tatsächlichen Beenden der Darstellung (typischerweise im Bereich von 1-2 Sekunden) vergeht.
  • Gemäß einem weiteren Aspekt ist eine Steuereinheit für eine AR-, MR- oder VR-Anzeigevorrichtung, die zum Einblenden virtueller Anzeigeinhalte ins Blickfeld eines Nutzers ausgebildet ist, vorgesehen. Die Steuereinheit ist zur automatischen Durchführung des hierin vorgestellten Verfahrens ausgebildet und eingerichtet. Hierzu kann in der Steuereinheit beispielsweise ein entsprechendes Computerprogramm installiert sein und beim Betrieb der AR-, MR- oder VR-Anzeigevorrichtung laufen.
  • Gemäß einem weiteren Aspekt ist eine AR-, MR- oder VR-Anzeigevorrichtung vorgesehen, die zum Einblenden virtueller Anzeigeinhalte ins Blickfeld eines Nutzers und zur Durchführung des hierin vorgestellten Verfahrens ausgebildet und eingerichtet ist. Hierzu kann die Anzeigevorrichtung insbesondere zumindest einen Teil der obigen Steuereinheit aufweisen und/oder mit ihr kommunizieren.
  • Die genannte AR-, MR- oder VR-Anzeigevorrichtung und das hierin vorgestellte Verfahren zur intuitiven Aufmerksamkeitslenkung ihres Nutzers auf ein gewünschtes Zielobjekt können insbesondere auch zum Einsatz in einem Fahrzeug ausgelegt sein und hierbei beispielsweise über eine geeignete Schnittstelle mit dem Fahrzeug und dessen Steuergeräten und/oder Sensoren kommunizieren. So können zur Unterstützung oder Durchführung von einem bis hin zu allen hierin beschriebenen Verfahrensschritten, beispielsweise bei der Ermittlung eines Zielobjekts der Aufmerksamkeitslenkung und seiner aktuellen 3D-Position, nützliche Fahrzeuginformationen wie Geschwindigkeit, Navigationsinhalte, Fahrerassistenzsystem-Informationen und vieles mehr per drahtloser Übertragung (beispielsweise per WIFI oder Bluetooth) auf eine im Fahrzeug von einem Nutzer getragene AR-Brille übertragen werden. Beim Fahrzeug kann es sich insbesondere um ein Kraftfahrzeug wie einen Personen- oder Lastkraftwagen oder ein Nutzfahrzeug, aber auch um jedes andere Land-, Luft- oder Wasserkraftfahrzeug handeln.
  • Die obigen Aspekte der Erfindung und deren spezifische Ausgestaltungsvarianten und Ausführungsformen werden nachfolgend zusätzlich anhand von in den beigefügten Zeichnungen dargestellten Beispielen näher erläutert. Die Zeichnungen können, müssen jedoch nicht als maßstabsgetreu zu verstehen sein. Es zeigen:
    • 1 eine schematische perspektivische Darstellung einer AR-, MR- oder VR-Anzeigevorrichtung gemäß einem Ausführungsbeispiel der Erfindung in Form einer Datenbrille; und
    • 2a-2c beispielhafte nacheinander erzeugte Momentaufnahmen des Blickfelds eines Nutzers der Datenbrille der 1 mit einem darin eingeblendeten 3D-Strahlenkranz zur dynamischen Aufmerksamkeitslenkung auf ein Zielobjekt bei der Ausführung eines Verfahrens nach einem Ausführungsbeispiel der Erfindung.
  • Alle weiter oben in der Beschreibung und in den nachfolgenden Ansprüchen erwähnten verschiedenen Ausführungsformen, Varianten und spezifischen Ausgestaltungsmerkmale des Verfahrens, der AR-, MR- oder VR-Anzeigevorrichtung und deren Steuereinheit gemäß den obigen Aspekten der Erfindung können bei den in den 1 bis 2c gezeigten Beispielen, insbesondere alternativ oder zusätzlich zu den darin dargestellten Merkmalen, implementiert sein. Sie werden daher nachfolgend nicht alle nochmals wiederholt. Das Gleiche gilt entsprechend für die weiter oben bereits angegebenen Begriffsdefinitionen und Wirkungen in Bezug auf einzelne Merkmale, die in den 1-2c gezeigt sind.
  • 1 zeigt schematisch eine AR-, MR- oder VR-Anzeigevorrichtung 1 gemäß einem Ausführungsbeispiel der Erfindung. Es handelt sich in diesem Beispiel um ein Head-Mounted-Display (HMD) in Form einer Datenbrille, die als eine AR-Brille ausgebildet ist. Die Anzeigevorrichtung 1 weist zwei Anzeigeelemente 2a und 2b jeweils für ein Auge eines Nutzers (nicht gezeigt) auf. Bei den Anzeigeelementen 2a und 2b kann es sich beispielsweise um durchsichtige Gläser mit integrierten Waveguides zum Darstellen von Informationsobjekten im Blickfeld des Nutzers handeln, wobei auch jede andere für Datenbrillen geeignete Technologie vorliegend zum Einsatz kommen kann.
  • Die Anzeigevorrichtung 1 ist in diesem Beispiel dazu ausgebildet, wie eine herkömmliche Sehhilfe auf der Nase des Nutzers getragen zu werden, indem sie mit einem zwischen den Anzeigeelementen 2a und 2b angeordneten Verbindungsstück 3 auf der Nase des Nutzers aufliegt und mit zwei seitlichen Bügeln 4a und 4b an seinen Ohren fixiert wird.
  • Die Anzeigevorrichtung 1 umfasst in diesem Beispiel ferner eine Steuereinheit 5 auf, die zum Ansteuern der Anzeigevorrichtung 1 zum Darstellen gewünschter virtueller Anzeigeinhalte im Blickfeld des Nutzers ausgebildet ist. Wie bereits erwähnt, wird hierin unter dem Blickfeld des Nutzers ein von der AR-, MR- oder VR-Anzeigevorrichtung 1 abdeckbarer Raumbereich verstanden, in welchem dem Nutzer virtuelle Anzeigeinhalte dargestellt werden können. Die Steuereinheit 5 ist gegebenenfalls auch zum Auslesen eines oder mehrerer in der Anzeigevorrichtung 1 integrierter physikalischer Sensoren (nicht extra gezeigt) und/oder zur drahtlosen Kommunikation mit externen Steuergeräten und Sensoren (nicht gezeigt) bei der Erzeugung der einzublendenden Anzeigeinhalte ausgebildet. Rein beispielhaft ist die Steuereinheit 5 in 1 in dem Verbindungsstück 3 angeordnet, wobei sie und gegebenenfalls auch weitere Bauelemente wie optische Kameras und andere Sensoren, Energiespeicher etc., alternativ oder zusätzlich auch in den Bügeln 4a und 4b integriert sein können. Die Steuereinheit 5 kann auch vollständig oder teilweise auf einem begleitenden Gerät (z.B. Smartphone) untergebracht sein und per Kabel oder drahtlos per Funk mit der Datenbrille verbunden sein.
  • In diesem Beispiel ist die Anzeigevorrichtung 1 und deren Steuereinheit 5 zum kontaktanalogen, d. h. an realen Umfeldobjekten orientierten, dreidimensionalen Darstellen virtueller Anzeigeinhalte im Blickfeld des Nutzers ausgebildet, so dass er gleichzeitig auch sein reales Umfeld durch zumindest teilweise durchsichtige Anzeigeelemente 2a und 2b sehen kann. Die Anzeigevorrichtung 1 eignet sich daher für Augmented-Reality-Anwendungen (AR), wie z. B. visuelle Parkhilfe und vieles mehr in einem Fahrzeug und auch für unterschiedlichste AR-Anwendungen unter freiem Himmel oder in einem Gebäude. Für solche AR-Einblendungen ist die Steuereinheit 5 in der Lage, beispielswiese durch in der Anzeigevorrichtung 1 integrierte optische und andere Sensoren 3D-Positionen realer Umfeldobjekte in Relation zu den Augen des Nutzers genau zu ermitteln und virtuelle 3D-Objekte in seinem Blickfeld an exakt bestimmten 3D-Positionen in einem auf die Anzeigevorrichtung 1 bezogenen dreidimensionalen Koordinatensystem (hierin auch als virtueller 3D-Raum bezeichnet) darzustellen.
  • Die Anzeigevorrichtung 1 und deren Steuereinheit 5 sind ferner zur automatischen Durchführung eines hierin vorgestellten Verfahrens zur Aufmerksamkeitslenkung des Nutzers auf ein Zielobjekt, das ein virtuelles oder reales Objekt in seinem Umfeld sein kann, ausgebildet und eingerichtet. Dieses Verfahren wird nachfolgend anhand eines in 2a bis 2c veranschaulichten Beispiels erläutert.
  • 2a-2c zeigen nacheinander erzeugte Momentaufnahmen des Blickfelds eines Nutzers der AR-, MR- oder VR-Anzeigevorrichtung 1 der 1 bei der Ausführung eines Verfahrens nach einem Ausführungsbeispiel der Erfindung. In den Figuren ist das Blickfeld des Nutzers gezeigt, wie er es in drei ausgewählten Zeitpunkten während seiner Bewegung zu einem Zielobjekt der mit diesem Verfahren bezweckten Aufmerksamkeitslenkung durch die Anzeigeelemente 2a und 2b der Anzeigevorrichtung 1 sieht.
  • Bei einem ersten Schritt des Verfahrens wird in diesem konkreten Beispiel auf Wunsch des Nutzers, den er beispielsweise über eine nicht extra dargestellte Benutzerschnittstelle der Anzeigevorrichtung 1 manuell oder durch einen Sprachbefehl eingeben kann, als Zielobjekt 6 (siehe 2c) der Aufmerksamkeitslenkung eine geeignete Ladesäule für sein Fahrzeug ermittelt.
  • Anschließend wird in dem oben genannten virtuellen 3D-Raum, den die Anzeigevorrichtung 1 zur dreidimensionalen virtuellen Darstellung nutzt, ein dreidimensionaler Strahlenkranz 7 auf einem Kegel definiert, dessen Spitze auf dem Zielobjekt 6 liegt. Wie in 2a-2c gezeigt, wird der 3D-Strahlenkranz 7 durch die AR-, MR- oder VR-Anzeigevorrichtung 1 in Form einzelner Strahlen 8 virtuell dargestellt, die in diesem Beispiel in Kegelumfangsrichtung äquidistant sind. Dabei wird der Kegel und damit der dargestellte 3D-Strahlenkranz 7 bei Bewegungen des Nutzers dynamisch so ausgerichtet, dass der Kopf des Nutzers (mit Ausnahme weiter oben genannter Fälle wie kurzes Kopfschütteln etc.) immer auf der Kegelachse liegt. In diesem Beispiel werden die Strahlen 8 rein beispielhaft in einer zur Betrachtung angenehmen Konvergenzentfernung zwischen etwa 50 und 100 cm von den Augen des Nutzers dargestellt, wobei auch eine deutlich größere Konvergenzentfernung von mindestens 200 cm oder 300 cm möglich ist.
  • Wie in 2a gezeigt, wird dabei stets mindestens ein Strahl 8 des 3D-Strahlenkranzes 7 im aktuell ermittelten Blickfeld des Nutzers dargestellt, sodass der 3D-Strahlenkranz 7 für den Nutzer stets unübersehbar ist. Wie in 2b und 2c gezeigt, „geraten“ bei der Annäherung an das Zielobjekt immer mehr Strahlen 8 des 3D-Strahlenkranzes ins aktuelle Blickfeld des Nutzers. Dabei weist jeder dargestellte Strahl 8 vorbestimmte Richtungsanzeigeelemente 9 auf, die in Richtung des Zielobjekts 6 weisen. In diesem Beispiel sind diese Richtungsanzeigeelemente 9 als Pfeile ausgebildet, die mit einer (in den Momentaufnahmen nicht erkennbaren) konstanten langsamen Geschwindigkeit entlang des jeweiligen Strahls 8 auf das Zielobjekt 6 zu „fliegen“. Neben der kegelförmigen Anordnung animieren diese Pfeile und deren Bewegung in Richtung zur Kegelspitze den Nutzer dazu, seinen Blick oder den Kopf zum Zielobjekt zu drehen und in diese Richtung zu laufen oder zu fahren.
  • 2b zeigt das Blickfeld des Nutzers, nachdem er dadurch bereits deutlich näher als in 2a an das Zielobjekt 6 gekommen ist. 2c zeigt sein Blickfeld, nachdem er durch seine weitere Bewegung in Richtung der virtuell dargestellten Strahlen 8 bereits direkt auf die Kegelspitze und damit auch auf das gesuchte Zielobjekt 6 blickt, das inzwischen mitten in seinem aktuellen Blickfeld liegt und durch spitz darauf zulaufenden Strahlen 8 auch unmittelbar für den Nutzer erkennbar und lokalisierbar ist.
  • Dabei können unter anderem folgende Eigenschaften des virtuell dargestellten 3D-Strahlenkranzes 7 zur Laufzeit auf die jeweilige Situation anpassbar sein:
    • - Anzahl der Strahlen 8 und/oder deren Abstand vom Kopf des Nutzers: damit kann die Strahlenanzahl gesteuert werden, die er in seinem Blickfeld sieht (wobei immer mindestens ein Strahl 8 sichtbar dargestellt wird);
    • - Anzahl der Pfeile auf den Strahlen 8, Länge der Pfeile und/oder Verhältnis zwischen einer Pfeillänge und einem Abstand zwischen den Pfeilen (Dichte der Pfeile) entlang des jeweiligen Strahls 8;
    • - Gestalt, Farbe, Transparenz, Laufgeschwindigkeit der Pfeile.
  • Mit diesem Ansatz kann die Aufmerksamkeit des Betrachters auf alle Punkte im 3D-Raum gelenkt werden, für alle Positionen des Kopfes und Blickrichtungen. Der Vorteil gegenüber einzelnen Pfeilen oder Kompassnadeln etc. besteht darin, dass der Betrachter seinen Blick ganz intuitiv an einem großen Objekt entlang (Kegel mit Strahlen und Pfeilen) zum Ziel-Objekt leiten lassen kann. Das Zielobjekt ist eindeutig über die Kegelspitze markiert.
  • Das vorgestellte Konzept ist für eine Aufmerksamkeitslenkung auf virtuelle und reale Objekte im 3D-Raum anwendbar. Über die oben beschriebene Ausprägung des Strahlenkranzes 7 mit den darauf laufenden Pfeilen kann die Intensität der Aufmerksamkeitslenkung beispielsweise wie folgt gesteuert werden:
    • - schnell laufende rote Pfeile: „Gefahr in Verzug, den Blick bitte schnell zur Kegelspitze wenden“; oder aber
    • - langsam laufende blaue Pfeile: „hier gibt es etwas Nützliches zu sehen, das aber nicht allzu dringend ist“.
  • Das vorgestellte Konzept ist neben erweiterter Realität (Augmented-Reality, AR) auch für Virtual oder Mixed-Reality nutzbar, auch wenn es hier am Beispiel einer AR-Anwendung beschrieben ist.
  • Bezugszeichenliste
  • 1
    AR-, MR- oder VR-Anzeigevorrichtung, insbesondere Datenbrille
    2a, 2b
    Anzeigeelemente („Gläser“) der Datenbrille
    3
    Verbindungsstück
    4a, 4b
    Bügel
    5
    Steuereinheit
    6
    Zielobjekt
    7
    virtueller 3D-Strahlenkranz
    8
    einzelne Strahlen des virtuellen 3D-Strahlenkranzes
    9
    Richtungsanzeigeelemente, insbesondere „fliegende“ Pfeile

Claims (11)

  1. Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung (1), die zum Einblenden virtueller Anzeigeinhalte in sein Blickfeld ausgebildet ist, auf ein Zielobjekt (6), umfassend folgende Schritte, die laufend aktualisiert werden: - Ermitteln eines Zielobjekts (6), auf welches die Aufmerksamkeit des Nutzers gelenkt werden soll; - Ermitteln aktueller 3D-Positionen des Zielobjekts (6) und der Augen des Nutzers sowie seines aktuellen Blickfelds; und - Darstellen durch die AR-, MR- oder VR-Anzeigevorrichtung (1) eines virtuellen 3D-Strahlenkranzes (7) aus mehreren Strahlen (8), die auf Mantellinien eines gedachten Kegels verlaufen, dessen Kegelspitze durch die aktuelle 3D-Position des Zielobjekts (6) bestimmt wird und dessen Kegelachse durch die aktuelle 3D-Position der Nutzeraugen führt; - wobei stets mindestens ein Strahl (8) des 3D-Strahlenkranzes (7) im aktuellen Blickfeld des Nutzers dargestellt wird und jeder dargestellte Strahl (8) vorbestimmte Richtungsanzeigeelemente (9) in Richtung des Zielobjekts (6) aufweist.
  2. Verfahren nach Anspruch 1, wobei - die einzelnen dargestellten Strahlen (8) des 3D-Strahlenkranzes (7) äquidistant in Umfangsrichtung des gedachten Kegels angeordnet sind; und/oder - sich die dargestellten Strahlen (8) des 3D-Strahlenkranzes (7) über einen gesamten von der AR-, MR- oder VR-Anzeigevorrichtung (1) abdeckbaren Anzeigebereich, zumindest in dem jeweils aktuell ermittelten Blickfeld des Nutzers, erstrecken.
  3. Verfahren nach Anspruch 1 oder 2, wobei - ein Öffnungswinkel des gedachten Kegels dynamisch so bestimmt wird, dass alle im aktuellen Blickfeld des Nutzers dargestellten Strahlen (8) des 3D-Strahlenkranzes (7) vollständig in einem Konvergenzentfernungsintervall von der aktuellen 3D-Position der Nutzeraugen dargestellt werden, das als besonders angenehm für den Nutzer im Hinblick auf die Fokussierung seiner Augen vorbestimmt ist; wobei - das vorbestimmte Konvergenzentfernungsintervall in folgender Reihenfolge zunehmend bevorzugt: in einer Entfernung von mindestens etwa 50 cm, mindestens etwa 100 cm, mindestens etwa 150 cm, mindestens etwa 200 cm oder mindestens etwa 300 cm von der aktuellen 3D-Position der Nutzeraugen beginnt; und/oder - das vorbestimmte Konvergenzentfernungsintervall für jeden Nutzer abhängig von seiner Sehfähigkeit individuell bestimmt wird und/oder vom Nutzer selbst festlegbar ist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei - der virtuelle 3D-Strahlenkranz (7) dem Nutzer als bedingt umweltfest dargestellt wird, indem die zu seiner Darstellung ermittelte dreidimensionale Lage der Kegelachse bei Kopf- oder Augenbewegungen des Nutzers in einem vorbestimmten räumlichen Stabilisierungsbereich für eine vorbestimmte zeitliche Stabilisierungsspanne unverändert bleibt, bevor sie der veränderten aktuellen 3D-Position der Nutzeraugen nachgeführt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die AR-, MR- oder VR-Anzeigevorrichtung (1) - als eine am Kopf des Nutzers befestigte Anzeigevorrichtung, insbesondere als eine Datenbrille, ausgebildet ist; oder - als eine von Kopfbewegungen des Nutzers mechanisch unabhängige AR-, MR- oder VR-Anzeigevorrichtung mit einem panoramaartigen Anzeigeelement ausgebildet ist, das sich zumindest teilweise im Blickfeld des Nutzers und zumindest teilweise horizontal und/oder vertikal darüber hinaus erstreckt; und/oder - zu einer 3D-Darstellung virtueller Anzeigeinhalte ausgebildet ist und den virtuellen 3D-Strahlenkranz (7) dreidimensional darstellt; oder - zu einer 2D-Darstellung virtueller Anzeigeinhalte ausgebildet ist und den virtuellen 3D-Strahlenkranz (7) in einer zweidimensionalen Projektion auf deren virtuelle Bildfläche oder -Ebene darstellt.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Darstellung vorbestimmter Richtungsanzeigeelemente (9) Folgendes umfasst: - in Richtung des Zielobjekts weisende Pfeile; und/oder - einen oder mehrere in einem vorbestimmten Abstand in Strahlrichtung aufeinanderfolgende Strahlabschnitte, die sich mit einer vorbestimmten Geschwindigkeit auf das Zielobjekt (6) zubewegen.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei - ein Maß für die Wichtigkeit und/oder Dringlichkeit der Aufmerksamkeitslenkung auf das Zielobjekt (6) auf einer vorbestimmten Relevanzskala, die beispielsweise eine Sicherheitsrelevanz der Aufmerksamkeitslenkung auf das Zielobjekt (6) angibt, ermittelt wird; und - die Darstellung des virtuellen 3D-Strahlenkranzes (7) abhängig von dem jeweils ermittelten Wichtigkeits- und/oder Dringlichkeitsmaß variiert.
  8. Verfahren nach Anspruch 7, insbesondere in Verbindung mit Anspruch 6, wobei mit steigendem Wichtigkeits- und/oder Dringlichkeitsmaß - die Anzahl der insgesamt oder zumindest im aktuellen Blickfeld des Nutzers dargestellten Strahlen (8) erhöht wird; und/oder - eine absolute oder relativ zu einer Hintergrundhelligkeit oder zur Helligkeit anderer Anzeigeinhalte der AR-, MR- oder VR-Anzeigevorrichtung (1) bestimmte Helligkeit des virtuellen 3D-Strahlenkranzes (7) erhöht wird; und/oder - eine Farbe der Strahlen (8) von neutralen oder kälteren Farben zu gelb, orange, rot oder anderen Signalfarben wechselt; und/oder - die in Richtung des Zielobjekts (6) weisenden Pfeile eingefügt und/oder größer und/oder dichter aneinander dargestellt werden; und/oder - die Bewegung einzelner Strahlabschnitte auf das Zielobjekt (6) zu hinzugefügt oder deren Geschwindigkeit erhöht wird; und/oder - eine Liniendicke der Strahlen (8) erhöht wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei - das Darstellen des virtuellen 3D-Strahlenkranzes (7) dadurch ausgelöst wird, dass ein von der AR-, MR- oder VR-Anzeigevorrichtung (1) darzustellendes virtuelles Objekt außerhalb des aktuellen Blickfelds des Nutzers liegt und dadurch als ein Zielobjekt (6) der Aufmerksamkeitslenkung ermittelt wird; und/oder - das Darstellen des virtuellen 3D-Strahlenkranzes (7) dadurch beendet wird, dass das Zielobjekt (6) ins aktuelle Blickfeld des Nutzers eintritt und/oder eine aktuell ermittelte Blickrichtung des Nutzers innerhalb eines vorbestimmten Toleranzwinkels um die Kegelachse liegt; und/oder - das Ermitteln eines Zielobjekts (6) und/oder das Auslösen und das Beenden der Darstellung des diesbezüglichen virtuellen 3D-Strahlenkranzes (7) benutzerseitig steuerbar ist.
  10. Steuereinheit (5) für eine AR-, MR- oder VR-Anzeigevorrichtung (1), die zum Einblenden virtueller Anzeigeinhalte ins Blickfeld eines Nutzers ausgebildet ist, wobei die Steuereinheit (5) zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet und eingerichtet ist.
  11. AR-, MR- oder VR-Anzeigevorrichtung (1), die zum Einblenden virtueller Anzeigeinhalte ins Blickfeld eines Nutzers und zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 ausgebildet und eingerichtet ist.
DE102022132417.6A 2022-12-06 2022-12-06 Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt Pending DE102022132417A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022132417.6A DE102022132417A1 (de) 2022-12-06 2022-12-06 Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt
PCT/EP2023/081118 WO2024120727A1 (de) 2022-12-06 2023-11-08 Verfahren zur aufmerksamkeitslenkung eines nutzers einer ar-, mr- oder vr-anzeigevorrichtung auf ein zielobjekt

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022132417.6A DE102022132417A1 (de) 2022-12-06 2022-12-06 Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt

Publications (1)

Publication Number Publication Date
DE102022132417A1 true DE102022132417A1 (de) 2024-06-06

Family

ID=88833682

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022132417.6A Pending DE102022132417A1 (de) 2022-12-06 2022-12-06 Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt

Country Status (2)

Country Link
DE (1) DE102022132417A1 (de)
WO (1) WO2024120727A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017212367A1 (de) 2017-07-19 2019-01-24 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102018208703A1 (de) 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer "augmented reality"-Einblendung für die Darstellung einer Navigationsroute auf einer AR-Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035563A1 (en) * 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
US8570344B2 (en) * 2010-04-02 2013-10-29 Qualcomm Incorporated Augmented reality direction orientation mask
US11244164B2 (en) * 2020-02-03 2022-02-08 Honeywell International Inc. Augmentation of unmanned-vehicle line-of-sight
US20240053163A1 (en) * 2020-12-17 2024-02-15 Wayray Ag Graphical user interface and user experience elements for head up display devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017212367A1 (de) 2017-07-19 2019-01-24 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102018208703A1 (de) 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer "augmented reality"-Einblendung für die Darstellung einer Navigationsroute auf einer AR-Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm

Also Published As

Publication number Publication date
WO2024120727A1 (de) 2024-06-13

Similar Documents

Publication Publication Date Title
EP3847499B1 (de) Verfahren zum betreiben einer blickfeldanzeigevorrichtung für ein kraftfahrzeug
DE102017216774B4 (de) Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
DE102012218837A1 (de) Anzeigen von Darstellungen auf einem Head-Up Display und einem Head-mounted Display
DE102018213820A1 (de) Verfahren zum Betreiben einer Blickfeldanzeigevorrichtung für ein Kraftfahrzeug
EP2987057A1 (de) Verfahren zum auswählen einer informationsquelle aus einer mehrzahl von informationsquellen zur anzeige auf einer anzeige einer datenbrille
DE102014002493A1 (de) System mit und Verfahren zum automatischen Ein-/Umschalten einer Einstellvorrichtung für eine Head-up-Display-Einrichtung
DE112019000329T5 (de) Anzeigesystem, bewegliches objekt und gestaltungsverfahren
DE102015003948B4 (de) Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Virtual-Reality-Brille und Virtual-Reality-System
EP3411776B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
WO2019174862A1 (de) Verfahren und vorrichtung zum bereitstellen von informationen durch ein augmented-reality-gerät, verfahren und vorrichtung zum bereitstellen von informationen zur steuerung einer anzeige eines augmented-reality-gerätes, verfahren und vorrichtung zur steuerung einer anzeige eines augmented-reality-gerätes, computerlesbares speichermedium mit instruktionen zur durchführung der verfahren
DE102017208028A1 (de) Anzeigesystem für ein Kraftfahrzeug
DE102014018056A1 (de) Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille
EP3296795A1 (de) Verfahren zur darstellung eines bildobjekts in einem fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen anzeige
DE102022132417A1 (de) Verfahren zur Aufmerksamkeitslenkung eines Nutzers einer AR-, MR- oder VR-Anzeigevorrichtung auf ein Zielobjekt
EP3967537B1 (de) Verfahren zur darstellung eines virtuellen elements
DE102013210587A1 (de) Anzeigensystem mit Datenbrille
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
EP3959647B1 (de) Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
DE102018218746B4 (de) Verfahren zur Vermeidung einer Sichtfeldstörung für eine Bedienperson eines Objektes, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug und Computerprogramm
DE102019208235B4 (de) Verfahren zur Bedienung einer HMD-Anzeigeeinheit für ein Fahrzeug, HMD-Anzeigeeinheit, Multifunktionslenkrad sowie Fahrzeug zur Verwendung bei dem Verfahren
DE112021002765T5 (de) Auf einer Konvexlinse/Konkavlinse basierende durchsichtige virtuelle Anzeigevorrichtung einer toten Zone direkt vor einem Fahrzeug und zugehöriges Verfahren
DE102011112620B3 (de) Abgewinkeltes Display zur dreidimensionalen Darstellung eines Szenarios
WO2018149584A1 (de) Verfahren zur darstellung von informationen für einen nutzer eines fahrzeugs
DE102022123223A1 (de) Übertragung visueller Anzeigeinhalte zwischen einer fahrzeuggebundenen und einer brillengebundenen Darstellung in einem Fahrzeug
DE102020208590A1 (de) Verfahren zur Darstellung mindestens eines virtuellen Elements

Legal Events

Date Code Title Description
R163 Identified publications notified