DE102018200312B4 - Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device - Google Patents

Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device Download PDF

Info

Publication number
DE102018200312B4
DE102018200312B4 DE102018200312.2A DE102018200312A DE102018200312B4 DE 102018200312 B4 DE102018200312 B4 DE 102018200312B4 DE 102018200312 A DE102018200312 A DE 102018200312A DE 102018200312 B4 DE102018200312 B4 DE 102018200312B4
Authority
DE
Germany
Prior art keywords
marking
display
motor vehicle
augmented reality
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018200312.2A
Other languages
German (de)
Other versions
DE102018200312A1 (en
Inventor
Vitalij Sadovitch
Johannes Tümler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102018200312.2A priority Critical patent/DE102018200312B4/en
Publication of DE102018200312A1 publication Critical patent/DE102018200312A1/en
Application granted granted Critical
Publication of DE102018200312B4 publication Critical patent/DE102018200312B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Instrument Panels (AREA)

Abstract

Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40), mit den Schritten:- Generieren (12) einer Markierung (60) für ein vor dem Kraftfahrzeug (40) befindliches Objekt (61, 62) für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41), wobei die Markierung (60) derart ausgestaltet ist, dass Nickbewegungen des Kraftfahrzeugs (40) nicht zu einer Überschneidung zwischen der Markierung (60) und dem Objekt (61, 62) führen, indem die Markierung (60) als Fragment eines Rahmens um das Objekt (61, 62) ausgestaltet ist, wobei die Markierung (60) nur vertikale Elemente des Rahmens um das Objekt (61, 62) oder Eckelemente des Rahmens um das Objekt (61, 62) umfasst, oder dass durch Nickbewegungen des Kraftfahrzeugs (40) verursachte vertikale Verschiebungen der Markierung (60) relativ zum Objekt (61, 62) sich nicht störend auf die Eindeutigkeit der Markierung (60) auswirken, indem die Markierung (60) als parallel zur Fahrbahn liegende Ringeinfassung des Objekts (61, 62) oder als Kombination eines Pfeilelements und eines horizontalen Fragments eines Rahmens ausgestaltet ist; und- Ausgeben (13) der Markierung (60) zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41).Method for controlling a display of an augmented reality head-up display device (41) for a motor vehicle (40), with the steps: - Generating (12) a marking (60) for a device located in front of the motor vehicle (40). Object (61, 62) for a contact-analog display by the augmented reality head-up display device (41), the marking (60) being designed such that pitching movements of the motor vehicle (40) do not lead to an overlap between the Marking (60) and the object (61, 62) in that the marking (60) is designed as a fragment of a frame around the object (61, 62), the marking (60) only representing vertical elements of the frame around the object ( 61, 62) or corner elements of the frame around the object (61, 62), or that vertical shifts of the marking (60) relative to the object (61, 62) caused by pitching movements of the motor vehicle (40) do not disrupt the clarity of the marking (60) in that the marking (60) is designed as a ring border of the object (61, 62) lying parallel to the road or as a combination of an arrow element and a horizontal fragment of a frame; and - outputting (13) the marker (60) for display by the augmented reality head-up display device (41).

Description

Die vorliegende Erfindung betrifft ein Verfahren, eine Vorrichtung und ein computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Erfindung betrifft weiterhin ein Kraftfahrzeug, in dem ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung eingesetzt wird.The present invention relates to a method, a device and a computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle. The invention further relates to a motor vehicle in which a method according to the invention or a device according to the invention is used.

Mit der stetigen Weiterentwicklung von Virtual und Augmented Reality-Technologien und -Anwendungen finden diese auch Einzug in das Automobil. Bei Augmented Reality (AR), auf Deutsch „erweiterte Realität“, handelt es sich um die Anreicherung der realen Welt durch virtuelle Elemente, die im dreidimensionalen Raum ortskorrekt registriert sind und eine Echtzeitinteraktion erlauben. Da sich in der Fachwelt im deutschsprachigen Raum der Ausdruck „Augmented Reality“ gegenüber dem Ausdruck „erweiterte Realität“ durchgesetzt hat, wird im Folgenden ersterer benutzt. Synonym wird auch der Ausdruck „Mixed Reality“ verwendet.With the constant development of virtual and augmented reality technologies and applications, they are also finding their way into automobiles. Augmented Reality (AR), in German “extended reality”, is the enrichment of the real world with virtual elements that are correctly registered in three-dimensional space and allow real-time interaction. Since the term “augmented reality” has prevailed over the term “extended reality” in the professional world in German-speaking countries, the former will be used below. The expression “Mixed Reality” is also used synonymously.

Eine mögliche technische Realisierung, um den Fahrerarbeitsplatz entsprechend mit perspektivisch korrekten virtuellen Erweiterungen anzureichern, bietet das Head-up-Display (HUD). Dabei werden die Lichtstrahlen eines im Armaturenbrett verbauten Displays über mehrere Spiegel und Linsen gefaltet und über eine Projektionsfläche in das Auge des Fahrers gespiegelt, sodass dieser ein virtuelles Bild außerhalb des Fahrzeuges wahrnimmt. Als Projektionsfläche dient im Automobilbereich oftmals die Frontscheibe, deren gekrümmte Form bei der Darstellung berücksichtigt werden muss. Als Alternative wird zum Teil auch eine zusätzliche Scheibe aus Glas oder Kunststoff genutzt, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Durch die optische Überlagerung von Anzeige und Fahrszene sind weniger Kopf- und Augenbewegungen zum Ablesen der Informationen notwendig. Zudem verringert sich der Adaptationsaufwand für die Augen, da abhängig von der virtuellen Distanz der Anzeige weniger bis gar nicht akkommodiert werden muss. Aktuelle Serien-HUDs beschränken sich jedoch auf Anzeigen direkt unter dem primären Sichtbereich des Fahrers und enthalten redundante Informationen, wie z.B. die Geschwindigkeitsanzeige, die auch an anderer Stelle im Cockpit wiederzufinden sind. Diese Anzeigetechnologie reduziert zwar Blickabwendungen von der Straße, hat aber weiterhin den Nachteil, dass die präsentierten Informationen interpretiert und auf die reale Situation übertragen werden müssen, da sie nicht in der realen Szene registriert sind. Dies kann in komplexen Situationen einen mental beanspruchenden kognitiven Prozess darstellen. Durch Markieren von Objekten und Einblenden von Informationen an ihrem realen Bezugsort, d.h. durch eine kontaktanaloge Darstellung, lassen sich umweltbezogene Informationen im Sichtfeld des Fahrers direkt darstellen. Diese direkte grafische Anreicherung der Umwelt in Form von Augmented Reality kann die kognitiven Transferanforderungen erheblich reduzieren.The head-up display (HUD) offers a possible technical implementation to enrich the driver's workplace with perspectively correct virtual extensions. The light rays from a display built into the dashboard are folded over several mirrors and lenses and reflected into the driver's eye via a projection surface, so that the driver sees a virtual image outside the vehicle. In the automotive sector, the windshield is often used as a projection surface, and its curved shape must be taken into account in the display. As an alternative, an additional pane made of glass or plastic is sometimes used, which is arranged between the driver and the windshield on the dashboard. The visual overlay of the display and the driving scene means that fewer head and eye movements are necessary to read the information. In addition, the adaptation effort for the eyes is reduced because, depending on the virtual distance of the display, there is less or no need for accommodation. However, current production HUDs are limited to displays directly below the driver's primary field of vision and contain redundant information, such as the speed display, which can also be found elsewhere in the cockpit. Although this display technology reduces looking away from the road, it still has the disadvantage that the information presented has to be interpreted and transferred to the real situation because it is not registered in the real scene. This can be a mentally demanding cognitive process in complex situations. By marking objects and displaying information at their real reference point, i.e. through a contact-analog representation, environmental information can be displayed directly in the driver's field of vision. This direct graphical enrichment of the environment in the form of augmented reality can significantly reduce cognitive transfer requirements.

Augmented Reality bietet vielfältige Anwendungsmöglichkeiten zur Unterstützung des Fahrers durch kontaktanaloge Markierung von Fahrbahnen und Objekten. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen in herkömmlichen Head-up-Displays in der Regel schematische Darstellungen anzeigen, z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR-Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als „Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen durch den Nutzer möglich. In modernen Kraftfahrzeugen werden vielfältige Daten durch Umfeldsensoren erfasst. Ziel aktueller Entwicklungen ist es, diese Daten sinnvoll in Augmented-Reality-Darstellungen zu integrieren.Augmented reality offers a wide range of possible applications to support the driver through contact-like marking of roads and objects. Relatively obvious examples usually relate to the area of navigation. While classic navigation displays in conventional head-up displays usually show schematic representations, e.g. a right-angled arrow pointing to the right as a sign that you should turn right at the next opportunity, AR displays offer much more effective options. Since the displays can be displayed as “part of the environment”, extremely quick and intuitive interpretations by the user are possible. In modern motor vehicles, a wide range of data is collected by environmental sensors. The aim of current developments is to meaningfully integrate this data into augmented reality displays.

Beispielsweise beschreibt die DE 10 2016 213 871 A1 eine Anzeigevorrichtung für ein Host-Fahrzeug. Die Anzeigevorrichtung umfasst eine Abbildungseinheit, die ein Bild des vorderen Bereichs des Host-Fahrzeugs aufnimmt. Eine Bilderkennungseinheit erkennt ein Bild eines vorausbefindlichen Fahrzeugs aus der Sicht eines Fahrers des Host-Fahrzeugs. Eine Anzeigesteuereinheit bewirkt, dass eine Anzeigeprojektionseinheit eine längliche Abstandsanzeige des vorausbefindlichen Fahrzeugs, die sich horizontal entlang eines unteren Endes des Bilds des vorausbefindlichen Fahrzeugs erstreckt, auf eine Position unterhalb des Bilds des vorausbefindlichen Fahrzeugs projiziert. Die Abstandsanzeige weist dabei eine umso größere horizontale Breite auf, je kleiner der Zwischenfahrzeugabstand ist.For example, describes the DE 10 2016 213 871 A1 a display device for a host vehicle. The display device includes an imaging unit that captures an image of the front area of the host vehicle. An image recognition unit recognizes an image of a vehicle ahead from the perspective of a driver of the host vehicle. A display control unit causes a display projection unit to project an elongated preceding vehicle distance display extending horizontally along a lower end of the preceding vehicle image onto a position below the preceding vehicle image. The distance display has a greater horizontal width, the smaller the distance between vehicles.

Die US 2017 / 0 308 262 A1 beschreibt eine Anzeigesteuervorrichtung zum Durchführen einer überlappenden Anzeige eines Highlightbildes und eines Benachrichtigungsobjekts, das visuell durch eine Bildprojektionsebene einer von einem Fahrer eines Fahrzeugs verwendeten Anzeigevorrichtung für ein virtuelles Bild erkannt wird. Das Highlightbild repräsentiert dabei die Existenz des Benachrichtigungsobjekts. Die Anzeigesteuervorrichtung umfasst einen Block zum Erfassen von Zielinformationen. Die Zielinformationen beinhalten mindestens eine Position und eine Größe des Benachrichtigungsobjekts. Die Anzeigesteuervorrichtung umfasst ferner einen Block für die Anzeigeausführung. Dieser Block zeigt ein erstes Highlightbild und ein zweites Highlightbild in einer Form an, die geeignet ist, das erste und das zweite Highlightbild basierend auf den erfassten Zielinformationen zu identifizieren. Das erste Highlightbild entspricht dabei einer Größe des Benachrichtigungsobjekts, während sich das zweite Highlightbild aus dem Vergrößern des ersten Highlightbildes mit einem vorbestimmten Vergrößerungsprozentsatz ergibt. Die wechselnden Größen der Highlightbilder werden genutzt, um ein Objekt eindeutig zu identifizieren.The US 2017 / 0 308 262 A1 describes a display control device for performing overlapping display of a highlight image and a notification object visually recognized by an image projection plane of a virtual image display device used by a driver of a vehicle. The highlight image represents the existence of the notification object. The display control device includes a block for acquiring target information. The target information includes at least a position and a size of the notification object. The display control device further includes a display execution block. This block shows a first highlight image and a second highlight image in a form suitable for identifying the first and second highlight images based on the captured target information. The first highlight image corresponds to a size of the notification object, while the second highlight image results from enlarging the first highlight image with a predetermined enlargement percentage. The changing sizes of the highlight images are used to clearly identify an object.

Eine Registrierung der virtuellen Informationen im realen Sichtfeld des Fahrers im Sinne von Augmented Reality stellt sehr hohe Anforderungen an die technische Umsetzung. Um virtuelle Inhalte ortsgenau und perspektivisch korrekt in der Realität darstellen zu können, ist sehr detailliertes Wissen über die Umgebung und Eigenbewegung des Fahrzeuges notwendig. Damit die virtuelle Einblendung für den Fahrer perspektivisch korrekt in der Welt liegt, muss sie in Abhängigkeit von der Lage des Fahrzeugs im dreidimensionalen Raum positioniert und ausgerichtet sein, da das Head-up-Display im Fahrzeug verbaut ist. Die Fahrzeuglage ändert sich durch Nick-, Wank- und Gierbewegungen permanent und hochdynamisch.Registering the virtual information in the driver's real field of vision in the sense of augmented reality places very high demands on the technical implementation. In order to be able to display virtual content in reality with precise location and perspective, very detailed knowledge about the environment and the vehicle's own movement is necessary. So that the virtual display has the correct perspective in the world for the driver, it must be positioned and aligned in three-dimensional space depending on the position of the vehicle, since the head-up display is installed in the vehicle. The vehicle's position changes constantly and highly dynamically due to pitching, rolling and yaw movements.

Vor diesem Hintergrund beschreibt die DE 10 2008 046 038 A1 eine Anzeigevorrichtung zum Anzeigen eines Bildes in einem Blickfeld eines Fahrers. Mittels einer Bildanzeigeeinheit wird ein virtuelles Bild durch eine Projektion eines Bildes vor das Fahrzeug über eine reflektierende Vorrichtung angezeigt. Ein Hindernisdetektor erfasst ein um das Fahrzeug herum befindliches Hindernis. Eine Sicherheitsbestimmungseinheit bestimmt die Sicherheit des Fahrzeugs bezüglich des erfassten Hindernisses auf der Grundlage eines Abstandes zum Hindernis oder einer relativen Geschwindigkeit des Fahrzeugs zum Hindernis. Eine Bildsteuereinheit steuert schließlich eine Position des virtuellen Bildes. Dabei bewegt sich die Position des virtuellen Bildes entlang eines Pfades, welcher das Hindernis in einem Blickfeld des Fahrers umgibt, wenn das Hindernis die Fahrsicherheit gefährdet. Durch die Bewegung des virtuellen Bildes werden Vibrationen des Fahrzeugs, die sich störend auf die Bildwahrnehmung auswirken, kaschiert. Eine Weiterentwicklung dieses Ansatzes beschreibt die DE 10 2009 004 432 A1 .Against this background, the describes DE 10 2008 046 038 A1 a display device for displaying an image in a driver's field of vision. Using an image display unit, a virtual image is displayed by projecting an image in front of the vehicle via a reflective device. An obstacle detector detects an obstacle around the vehicle. A safety determination unit determines the safety of the vehicle with respect to the detected obstacle based on a distance to the obstacle or a relative speed of the vehicle to the obstacle. Finally, an image control unit controls a position of the virtual image. The position of the virtual image moves along a path that surrounds the obstacle in the driver's field of vision if the obstacle endangers driving safety. By moving the virtual image, vehicle vibrations that disrupt image perception are concealed. A further development of this approach is described in: DE 10 2009 004 432 A1 .

Nickbewegungen des Fahrzeugs wirken sich allerdings am stärksten auf die Positionierung der virtuellen Anzeige aus. Die Anzeige erscheint auf und ab zu wandern. Da die relative Höhe ein starkes monokulares Tiefenkriterium darstellt, werden Objekte, die weiter oben im Sichtfeld angezeigt werden, vom Menschen als weiter entfernt wahrgenommen. Die Nickbewegungen wirken sich daher direkt auf die empfundene Abbildungsdistanz aus. Im Ergebnis führen die Einflüsse der Fahrdynamik dazu, dass das virtuelle Bild als unruhig und nicht stabil verortet wahrgenommen wird.However, pitching movements of the vehicle have the greatest impact on the positioning of the virtual display. The display appears to scroll up and down. Since relative height is a strong monocular depth criterion, objects displayed higher in the field of view are perceived by humans as being further away. The pitching movements therefore have a direct effect on the perceived imaging distance. As a result, the influences of the driving dynamics lead to the virtual image being perceived as restless and not stable.

Vor diesem Hintergrund beschreibt die DE 10 2012 001 950 A1 ein Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug, bei welchem auf einer Oberfläche wenigstens eine Bildinformation dargestellt wird. Bei der Oberfläche kann es sich beispielsweise um die Frontscheibe des Fahrzeugs handeln. In Abhängigkeit von einer Eigenbewegung der Oberfläche wird die wenigstens eine Bildinformation derart verändert, dass die Eigenbewegung der Oberfläche zumindest weitgehend kompensiert wird. Auf diese Weise können die Einflüsse von Nick- und Gierbewegungen des Fahrzeugs auf die Darstellung der Bildinformation ausgeglichen werden.Against this background, the describes DE 10 2012 001 950 A1 a method for operating a camera arrangement for a vehicle, in which at least one piece of image information is displayed on a surface. The surface can be, for example, the windshield of the vehicle. Depending on the surface's own movement, the at least one piece of image information is changed in such a way that the surface's own movement is at least largely compensated. In this way, the influences of pitching and yaw movements of the vehicle on the display of the image information can be compensated for.

Des Weiteren beschreibt die DE 10 2014 013 408 A1 ein Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs, bei dem reale optische Umgebungsinformationen mit virtuellen Bilddaten überlagert werden. Mittels zumindest einer Erfassungseinheit wird eine in Fahrtrichtung vor dem Fahrzeug befindliche Fahrbahnoberfläche erfasst und ein Höhenverlauf der Fahrbahnoberfläche erkannt. In Abhängigkeit des Höhenverlaufs wird eine zukünftige Eigenbewegung des Fahrzeugs prädiziert und in Abhängigkeit der zukünftigen Eigenbewegung werden die virtuellen Bilddaten lagerichtig den realen optischen Umgebungsinformationen überlagert dargestellt.Furthermore, it describes DE 10 2014 013 408 A1 a method for displaying environmental information of a vehicle, in which real optical environmental information is overlaid with virtual image data. By means of at least one detection unit, a road surface located in front of the vehicle in the direction of travel is detected and a height profile of the road surface is recognized. Depending on the height profile, a future movement of the vehicle is predicted and depending on the future movement, the virtual image data is displayed in the correct position and superimposed on the real optical surrounding information.

Weiterhin beschreibt die DE 10 2015 007 518 A1 ein Verfahren zur Vorhersage einer Lage eines Fahrzeugs. Das Verfahren nutzt die Daten von mindestens drei Sensoren unterschiedlicher Sensortypen in Kombination mit einem Fahrzeugmodell, um die aktuelle oder eine zukünftige Lage des Fahrzeugs zu schätzen. Ein erster Sensortyp erfasst dabei zumindest eine Komponente der Lage des Fahrzeugs. Ein zweiter Sensortyp erfasst zumindest eine Komponente einer Anregung des Fahrzeugs, die zu einer Änderung zumindest einer Komponente der Lage des Fahrzeugs führt. Ein dritter Sensortyp erfasst zumindest eine Eigenschaft einer Umgebung des Fahrzeugs.Furthermore describes the DE 10 2015 007 518 A1 a method for predicting the position of a vehicle. The method uses data from at least three sensors of different sensor types in combination with a vehicle model to estimate the current or future position of the vehicle. A first type of sensor detects at least one component of the position of the vehicle. A second type of sensor detects at least one component of an excitation of the vehicle, which leads to a change in at least one component of the position of the vehicle. A third type of sensor detects at least one property of the vehicle's surroundings.

Zudem beschreibt die DE 10 2016 005 452 A1 ein Verfahren zur Korrektur einer Position eines in einer Anzeige eines Fahrzeugs projizierten erweiterten Realitäts-Objektes, welche sich infolge eines verstellten Fahrwerkes des Fahrzeugs verändert. Während einer Fahrt des Fahrzeugs wird eine infolge des verstellten Fahrwerkes auftretende Eigenbewegung des Fahrzeugs aus mindestens einem Bild einer Straßenoberfläche der Straße bestimmt, auf welcher sich das Fahrzeug bewegt. Anhand der ermittelten Eigenbewegung wird das auf die Anzeige projizierte erweiterte Realitäts-Objekt in seiner Position stabilisiert.It also describes DE 10 2016 005 452 A1 a method for correcting a position of an augmented reality object projected in a display of a vehicle, which changes as a result of an adjusted chassis of the vehicle. While the vehicle is traveling, the vehicle's own movement that occurs as a result of the adjusted chassis is determined from at least one image of a road surface of the road on which the vehicle is moving. Based on the determined own movement The augmented reality object projected onto the display is stabilized in its position.

Bei allen oben genannten Ansätzen wird versucht, die Einflüsse der Fahrzeugbewegung auf die virtuelle Einblendung zu kompensieren. Eine Erfassung der Fahrzeugbewegung durch Drehraten- und Beschleunigungssensoren ist hinreichend präzise möglich. Allerdings ist die Datenverarbeitungskette von der sensorischen Datenerfassung über die Datenverarbeitung und das 3D-Rendering bis hin zur Darstellung der Anzeige so lang, dass sich eine Latenz im Bereich von etwa 100ms ergibt. Dabei werden in Augmented-Reality-Anwendungen bereits Latenzen im Bereich von 15ms als störend wahrgenommen. Typischerweise wird daher versucht, die auftretenden Latenzen durch Optimierungen der Hardware oder Software zu reduzieren. Beispielsweise kann in Hinblick auf die Hardware das Trackingverfahren durch Erhöhung der zeitlichen und räumlichen Abtastrate oder durch Synchronisationsverfahren [1] optimiert werden. In Hinblick auf die Software sind prädiktives Tracking [2], Late Latching [3] und Image Deflection [4] zu nennen. Allerdings sind die angeführten Ansätze mit einem nicht unerheblichen Kostenaufwand verbunden.All of the approaches mentioned above attempt to compensate for the influences of vehicle movement on the virtual display. It is possible to detect vehicle movement with sufficient precision using yaw rate and acceleration sensors. However, the data processing chain from sensory data acquisition to data processing and 3D rendering to the display is so long that there is a latency in the range of around 100ms. In augmented reality applications, latencies in the range of 15ms are perceived as disruptive. Typically, attempts are made to reduce the latencies that occur by optimizing the hardware or software. For example, with regard to hardware, the tracking method can be optimized by increasing the temporal and spatial sampling rate or by synchronization methods [1]. In terms of software, these include predictive tracking [2], late latching [3] and image deflection [4]. However, the approaches mentioned are associated with not inconsiderable costs.

Ein weiterer Ansatz besteht darin, die kontaktanaloge Anzeige bei zu starken Störeinflüssen durch Fahrzeugbewegungen auszublenden. Beispielsweise beschreibt die DE 10 2014 221 608 A1 ein Verfahren zum Deaktivieren einer kontaktanalogen Anzeige auf einer Datenbrille in einem Kraftfahrzeug. Zu diesem Zweck werden Daten zur Bewegung des Kraftahrzeugs, insbesondere zur Querbeschleunigung des Kraftfahrzeugs; bereitgestellt. Solange die Fahrzeugbewegung des Kraftfahrzeugs einen vorbestimmten Schwellwert überschreitet, wird das Anzeigen einer kontaktanalogen Darstellung auf der Datenbrille ausgesetzt.Another approach is to hide the contact-analog display if there is too much interference from vehicle movements. For example, describes the DE 10 2014 221 608 A1 a method for deactivating a contact analog display on data glasses in a motor vehicle. For this purpose, data on the movement of the motor vehicle, in particular on the lateral acceleration of the motor vehicle; provided. As long as the vehicle movement of the motor vehicle exceeds a predetermined threshold value, the display of a contact-analog representation on the data glasses is suspended.

Dieser Ansatz sorgt zwar dafür, dass das virtuelle Bild als relativ stabil verortet wahrgenommen wird, allerdings mit der zwingenden Einschränkung, dass bei größeren Fahrzeugbewegungen keine kontaktanaloge Darstellung erfolgt.This approach ensures that the virtual image is perceived as having a relatively stable location, but with the necessary limitation that no contact-analog representation occurs when larger vehicle movements occur.

Die US 2016 / 0 147 073 A1 beschreibt ein Head-Up-Display für ein Fahrzeug. Das Head-Up-Display ist eingerichtet, eine Markierung um ein Objekt anzuzeigen. Dabei wird eine Größe der Markierung in Abhängigkeit von der Größe einer Eigenbewegung des Fahrzeugs angepasst.The US 2016 / 0 147 073 A1 describes a head-up display for a vehicle. The head-up display is set up to display a marker around an object. A size of the marking is adjusted depending on the size of the vehicle's own movement.

Weitere Ansätze zur Reduzierung einer Wahrnehmbarkeit von Darstellungsfehlern beschreiben die DE 10 2017 220 268 A1 und die DE 10 2017 216 774 A1 , bei denen es sich um ältere Rechte handelt.Further approaches to reducing the perceptibility of display errors are described DE 10 2017 220 268 A1 and the DE 10 2017 216 774 A1 , which are older rights.

Es ist eine Aufgabe der Erfindung, alternative Lösungen für die Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug aufzuzeigen.It is an object of the invention to show alternative solutions for controlling a display of an augmented reality head-up display device for a motor vehicle.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein computerlesbares Speichermedium mit Instruktionen gemäß Anspruch 4 und durch eine Vorrichtung mit den Merkmalen des Anspruchs 5 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method with the features of claim 1, by a computer-readable storage medium with instructions according to claim 4 and by a device with the features of claim 5. Preferred embodiments of the invention are the subject of the dependent claims.

Gemäß einem ersten Aspekt der Erfindung umfasst ein Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug die Schritte:

  • - Generieren einer Markierung für ein vor dem Kraftfahrzeug befindliches Objekt für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung, wobei die Markierung derart ausgestaltet ist, dass Nickbewegungen des Kraftfahrzeugs nicht zu einer Überschneidung zwischen der Markierung und dem Objekt führen, indem die Markierung als Fragment eines Rahmens um das Objekt ausgestaltet ist, wobei die Markierung nur vertikale Elemente des Rahmens um das Objekt oder Eckelemente des Rahmens um das Objekt umfasst, oder dass durch Nickbewegungen des Kraftfahrzeugs verursachte vertikale Verschiebungen der Markierung relativ zum Objekt sich nicht störend auf die Eindeutigkeit der Markierung auswirken, indem die Markierung als parallel zur Fahrbahn liegende Ringeinfassung des Objekts oder als Kombination eines Pfeilelements und eines horizontalen Fragments eines Rahmens ausgestaltet ist; und
  • - Ausgeben der Markierung zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung.
According to a first aspect of the invention, a method for controlling a display of an augmented reality head-up display device for a motor vehicle comprises the steps:
  • - Generating a marking for an object located in front of the motor vehicle for a contact-analog display by the augmented reality head-up display device, the marking being designed such that pitching movements of the motor vehicle do not result in an overlap between the marking and the object lead in that the marking is designed as a fragment of a frame around the object, the marking only comprising vertical elements of the frame around the object or corner elements of the frame around the object, or that vertical shifts of the marking relative to the object caused by pitching movements of the motor vehicle do not have a disruptive effect on the clarity of the marking by designing the marking as a ring border of the object lying parallel to the road or as a combination of an arrow element and a horizontal fragment of a frame; and
  • - Outputting the marker for display by the augmented reality head-up display device.

Gemäß einem weiteren Aspekt der Erfindung enthält ein computerlesbares Speichermedium Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug veranlassen:

  • - Generieren einer Markierung für ein vor dem Kraftfahrzeug befindliches Objekt für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung, wobei die Markierung derart ausgestaltet ist, dass Nickbewegungen des Kraftfahrzeugs nicht zu einer Überschneidung zwischen der Markierung und dem Objekt führen, indem die Markierung als Fragment eines Rahmens um das Objekt ausgestaltet ist, wobei die Markierung nur vertikale Elemente des Rahmens um das Objekt oder Eckelemente des Rahmens um das Objekt umfasst, oder dass durch Nickbewegungen des Kraftfahrzeugs verursachte vertikale Verschiebungen der Markierung relativ zum Objekt sich nicht störend auf die Eindeutigkeit der Markierung auswirken, indem die Markierung als parallel zur Fahrbahn liegende Ringeinfassung des Objekts oder als Kombination eines Pfeilelements und eines horizontalen Fragments eines Rahmens ausgestaltet ist; und
  • - Ausgeben der Markierung zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung.
According to another aspect of the invention, a computer-readable storage medium contains instructions that, when executed by a computer, cause the computer to perform the following steps to control a display of an augmented reality head-up display device for a motor vehicle:
  • - Generating a marking for an object located in front of the motor vehicle for a contact-analog display by the augmented reality head-up display device, the marking being designed such that pitching movements of the motor vehicle do not result in an overlap between the marking and the object lead in that the marking is designed as a fragment of a frame around the object, whereby the marking only ver tical elements of the frame around the object or corner elements of the frame around the object, or that vertical shifts of the marking relative to the object caused by pitching movements of the motor vehicle do not have a disruptive effect on the clarity of the marking, in that the marking is a ring border of the road that lies parallel to the road object or as a combination of an arrow element and a horizontal fragment of a frame; and
  • - Outputting the marker for display by the augmented reality head-up display device.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte und andere prozessorbasierte Datenverarbeitungsvorrichtungen.The term computer is to be understood broadly. In particular, it also includes control devices and other processor-based data processing devices.

Gemäß einem weiteren Aspekt der Erfindung weist eine Vorrichtung zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug auf:

  • - einen Grafikgenerator zum Generieren einer Markierung für ein vor dem Kraftfahrzeug befindliches Objekt für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung, wobei die Markierung derart ausgestaltet ist, dass Nickbewegungen des Kraftfahrzeugs nicht zu einer Überschneidung zwischen der Markierung und dem Objekt führen, indem die Markierung als Fragment eines Rahmens um das Objekt ausgestaltet ist, wobei die Markierung nur vertikale Elemente des Rahmens um das Objekt oder Eckelemente des Rahmens um das Objekt umfasst, oder dass durch Nickbewegungen des Kraftfahrzeugs verursachte vertikale Verschiebungen der Markierung relativ zum Objekt sich nicht störend auf die Eindeutigkeit der Markierung auswirken, indem die Markierung als parallel zur Fahrbahn liegende Ringeinfassung des Objekts oder als Kombination eines Pfeilelements und eines horizontalen Fragments eines Rahmens ausgestaltet ist; und
  • - einen Ausgang zum Ausgeben der Markierung zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung.
According to a further aspect of the invention, a device for controlling a display of an augmented reality head-up display device for a motor vehicle has:
  • - a graphics generator for generating a marking for an object located in front of the motor vehicle for a contact-analog display by the augmented reality head-up display device, the marking being designed such that pitching movements of the motor vehicle do not result in an overlap between the marking and guide the object in that the marking is designed as a fragment of a frame around the object, wherein the marking only comprises vertical elements of the frame around the object or corner elements of the frame around the object, or that vertical displacements of the marking caused by pitching movements of the motor vehicle are relative to the object do not have a disruptive effect on the clarity of the marking by designing the marking as a ring border of the object lying parallel to the road or as a combination of an arrow element and a horizontal fragment of a frame; and
  • - an output for outputting the marker for display by the augmented reality head-up display device.

Bei der erfindungsgemäßen Lösung wird die Wahrnehmung des Betrachters adressiert und das subjektive Empfinden der Positionsgenauigkeit bei der Anzeige einer Markierung durch eine Augmented-Reality-Head-up-Display-Vorrichtung durch eine fehlertolerante Ausgestaltung der Markierung erhöht. Dadurch kann eine rechenintensive Behandlung der objektiven Darstellungsfehler in Form einer falschen Positionierung im Bild entfallen oder nur in einem reduzierten Umfang erfolgen.In the solution according to the invention, the viewer's perception is addressed and the subjective feeling of positional accuracy when displaying a marking by an augmented reality head-up display device is increased by a fault-tolerant design of the marking. This means that computationally intensive treatment of objective display errors in the form of incorrect positioning in the image can be eliminated or can only be carried out to a reduced extent.

Überschneidungen zwischen einer Markierung und einem realen Objekt wirken auf den Betrachter besonders störend. Eine Vermeidung solcher Überschneidungen sorgt daher dafür, dass fehlerhafte Positionierungen der Markierung weniger störend wahrgenommen werden.Overlaps between a mark and a real object are particularly disturbing to the viewer. Avoiding such overlaps ensures that incorrect positioning of the marking is perceived as less disturbing.

Gemäß einer ersten Ausführungsform ist die Markierung als Fragment eines Rahmens um das Objekt ausgestaltet. Beim Fragment des Rahmens kann es sich beispielsweise um vertikale Elemente oder Eckelemente des Rahmens handeln. Umfasst die Markierung nur vertikale Elemente des Rahmens, so werden Überschneidungen zwischen der Markierung und dem realen Objekt aufgrund einer fehlerhaften Positionierung der Markierung in vertikaler Richtung zuverlässig vermieden. Bei der Verwendung von Eckelementen des Rahmens treten Überschneidungen gegebenenfalls zwar schon bei kleineren vertikalen Verschiebungen auf, sie sind aufgrund der geringen Fläche der Überschneidung aber weniger salient.According to a first embodiment, the marking is designed as a fragment of a frame around the object. The fragment of the frame can be, for example, vertical elements or corner elements of the frame. If the marking only includes vertical elements of the frame, overlaps between the marking and the real object are reliably avoided due to incorrect positioning of the marking in the vertical direction. When using corner elements of the frame, overlaps may occur even with smaller vertical displacements, but they are less salient due to the small area of the overlap.

Gemäß einem Aspekt der Erfindung ist die Markierung derart ausgestaltet, dass ein Einfassungsabstand der Markierung bezüglich des Objekts größer ist als eine durch die Nickbewegungen zu erwartende vertikale Verschiebung der Markierung relativ zum Objekt. Bei dieser Ausgestaltung treten Überschneidungen erst bei starken Nickbewegungen auf, wie sie im Fahralltag nicht zu erwarten sind.According to one aspect of the invention, the marking is designed such that an enclosure distance of the marking relative to the object is greater than a vertical displacement of the marking relative to the object that is expected due to the pitching movements. With this design, overlaps only occur with strong pitching movements, which are not to be expected in everyday driving.

Gemäß einer zweiten Ausführungsform ist die Markierung als parallel zur Fahrbahn liegende Ringeinfassung des Objekts ausgestaltet. Bei einer derartigen Ausgestaltung ist eine Überschneidung mit dem Objekt sogar sinnvoll. Für das intuitive Verständnis der Anzeige ist es bei dieser Ausgestaltung aber zweitrangig, in welcher Höhe die Einfassung durch die Markierung erfolgt, sodass sich Nickbewegungen nicht störend auswirken.According to a second embodiment, the marking is designed as a ring border of the object that lies parallel to the road. With such a design, an overlap with the object actually makes sense. For the intuitive understanding of the display, in this design it is of secondary importance at what height the marking is bordered, so that pitching movements do not have a disruptive effect.

Gemäß einer dritten Ausführungsform ist die Markierung als Kombination eines Pfeilelements und eines Fragments eines Rahmens ausgestaltet. Bei Objekten mit einer geringen Höhe oder Objekten in der Straßenebene ist eine Ausgestaltung der Markierung sinnvoll, die unabhängig davon verstanden wird, ob sich das reale Objekt darüber oder darunter befindet. Dazu eignen sich beispielsweise Markierungen, die sowohl als ein Rahmen als auch als Pfeil verstanden werden können. Bei einer solchen Ausgestaltung kann die Markierung sowohl unterhalb als auch oberhalb des Objekts liegen, ohne dass die Position fehlerhaft und mehrdeutig wirkt.According to a third embodiment, the marking is designed as a combination of an arrow element and a fragment of a frame. For objects with a low height or objects at street level, it makes sense to design the marking that is understood regardless of whether the real object is above or below. For example, markings that can be understood as both a frame and an arrow are suitable for this. With such a design, the marking can lie both below and above the object without the position appearing incorrect and ambiguous.

Gemäß einem Aspekt der Erfindung wird die konkrete Ausgestaltung der Markierung in Abhängigkeit von einer Höhe des Objekts oder einer Lage des Objekts relativ zur Fahrbahn ausgewählt. Bei Objekten mit einer geringeren Höhe oder Objekten wie Schlaglöchern oder Ölflecken, die sich in der Fahrbahn selbst befinden, empfiehlt sich die Anwendung einer doppelseitigen Markierung, die unabhängig davon verstanden wird, ob sich das reale Objekt darüber oder darunter befindet. Bei höheren Objekten bietet sich die Verwendung einer der anderen vorgestellten Ausgestaltungen an. Ein sinnvoller Wert für die Unterscheidung zwischen höheren und weniger hohen Objekten liegt bei einer Höhe von etwa 50 cm. Die Klassifikation des Objekts hinsichtlich der Größe und der Lage, d.h. auf der Fahrbahn oder in der Fahrbahn, kann beispielsweise mittels einer Bildauswertung eines Kamerabildes erfolgen.According to one aspect of the invention, the specific design of the marking is selected depending on a height of the object or a position of the object relative to the road. For objects with a lower height or objects such as potholes or oil stains that are in the road itself, it is recommended to use a double-sided marking, which is understood regardless of whether the real object is above or below. For taller objects, it is advisable to use one of the other designs presented. A useful value for distinguishing between taller and less tall objects is a height of around 50 cm. The classification of the object in terms of size and location, ie on the road or in the road, can be done, for example, by means of an image evaluation of a camera image.

Besonders vorteilhaft wird ein erfindungsgemäßes Verfahren oder eine erfindungsgemäße Vorrichtung in einem Fahrzeug, insbesondere einem Kraftfahrzeug, eingesetzt.A method according to the invention or a device according to the invention is used particularly advantageously in a vehicle, in particular a motor vehicle.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

  • 1 zeigt schematisch ein Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
  • 2 zeigt eine erste Ausführungsform einer Vorrichtung zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
  • 3 zeigt eine zweite Ausführungsform einer Vorrichtung zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
  • 4 stellt schematisch ein Kraftfahrzeug dar, in dem eine erfindungsgemäße Lösung realisiert ist;
  • 5 zeigt schematisch einen allgemeinen Aufbau einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug;
  • 6 zeigt ein erstes Beispiel einer bekannten Augmented-Reality-Darstellung einer Augmented-Reality-Head-up-Display-Vorrichtung;
  • 7 zeigt ein zweites Beispiel einer bekannten Augmented-Reality-Darstellung einer Augmented-Reality-Head-up-Display-Vorrichtung;
  • 8 zeigt ein erstes Beispiel einer fehlertoleranten Ausgestaltung einer Markierung;
  • 9 zeigt weitere Beispiele fehlertoleranter Ausgestaltungen einer Markierung;
  • 10 zeigt eine fehlertolerante Ausgestaltung einer Markierung als Ringeinfassung eines Objekts; und
  • 11 zeigt ein weiteres Beispiel einer fehlertoleranten Ausgestaltung einer Markierung auf Basis einer Kombination eines Pfeilelements und eines Fragments eines Rahmens.
Further features of the present invention will become apparent from the following description and the appended claims in conjunction with the figures.
  • 1 shows schematically a method for controlling a display of an augmented reality head-up display device for a motor vehicle;
  • 2 shows a first embodiment of a device for controlling a display of an augmented reality head-up display device for a motor vehicle;
  • 3 shows a second embodiment of a device for controlling a display of an augmented reality head-up display device for a motor vehicle;
  • 4 schematically represents a motor vehicle in which a solution according to the invention is implemented;
  • 5 shows schematically a general structure of an augmented reality head-up display device for a motor vehicle;
  • 6 shows a first example of a known augmented reality representation of an augmented reality head-up display device;
  • 7 shows a second example of a known augmented reality representation of an augmented reality head-up display device;
  • 8th shows a first example of a fault-tolerant design of a marking;
  • 9 shows further examples of fault-tolerant configurations of a marking;
  • 10 shows a fault-tolerant design of a marking as a ring enclosure of an object; and
  • 11 shows another example of a fault-tolerant design of a marking based on a combination of an arrow element and a fragment of a frame.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.For a better understanding of the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. It is understood that the invention is not limited to these embodiments and that the described features can also be combined or modified without departing from the scope of the invention as defined in the appended claims.

1 zeigt schematisch ein Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Mittels einer geeigneten Methodik wird ein vor dem Kraftfahrzeug befindliches Objekt detektiert 10, beispielsweise ein vorausfahrendes Fahrzeug oder ein Hindernis. Zudem kann eine Höhe des Objekts oder einer Lage des Objekts relativ zur Fahrbahn ermittelt werden 11. Ein Grafikgenerator generiert 12 eine Markierung für das Objekt für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung, wobei die Markierung eine hinsichtlich einer vertikalen Verschiebung der Markierung relativ zum Objekt fehlertolerante Ausgestaltung aufweist. 1 schematically shows a method for controlling a display of an augmented reality head-up display device for a motor vehicle. Using a suitable methodology, an object located in front of the motor vehicle is detected 10, for example a vehicle in front or an obstacle. In addition, a height of the object or a position of the object relative to the road can be determined 11. A graphics generator generates 12 a marking for the object for a contact-analog display by the augmented reality head-up display device, the marking being one in terms of a vertical displacement of the marking relative to the object has a fault-tolerant design.

Vorzugsweise ist die Markierung derart ausgestaltet, dass bei der Anzeige keine Überschneidung zwischen der Markierung und dem Objekt auftritt oder eine eventuelle Überschneidung zwischen der Markierung und dem Objekt weniger salient in Erscheinung tritt. Beispielsweise kann die Markierung als Fragment eines Rahmens um das Objekt ausgestaltet sein. Beim Fragment des Rahmens kann es sich dabei um vertikale Elemente oder Eckelemente des Rahmens handeln. Alternativ kann die Markierung als parallel zur Fahrbahn liegende Ringeinfassung des Objekts oder als Kombination eines Pfeilelements und eines Fragments eines Rahmens ausgestaltet sein. Vorzugsweise wird die konkrete Ausgestaltung der fehlertoleranten Markierung in Abhängigkeit von einer Höhe des Objekts oder einer Lage des Objekts relativ zur Fahrbahn ausgewählt.The marking is preferably designed in such a way that when displayed there is no overlap between the marking and the object or any overlap between the marking and the object appears less salient. For example, the marking can be designed as a fragment of a frame around the object. The fragment of the frame can be vertical elements or corner elements of the frame. Alternatively, the marking can be designed as a ring border of the object lying parallel to the road or as a combination of an arrow element and a fragment of a frame. Preferably, the specific design of the fault-tolerant marking is selected depending on a height of the object or a position of the object relative to the road.

Die generierte Markierung wird schließlich zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung an ein Steuergerät der Augmented-Reality-Head-up-Display-Vorrichtung ausgegeben 13. Anstelle einer Ausgabe der generierten Markierung an das Steuergerät kann alternativ lediglich eine Anweisung an das Steuergerät ausgegeben werden, eine Markierung mit einer fehlertoleranten Ausgestaltung zu generieren. Ebenso ist es möglich, dass das beschriebene Verfahren vollständig vom Steuergerät der Augmented-Reality-Head-up-Display-Vorrichtung ausgeführt wird.The generated marking is finally output to a control device of the augmented reality head-up display device for display by the augmented reality head-up display device 13. Instead of outputting the generated marking to the control device, alternatively only an instruction is issued to the control unit to generate a marking with a fault-tolerant design. It is also possible for the method described to be carried out entirely by the control unit of the augmented reality head-up display device.

2 zeigt eine vereinfachte schematische Darstellung einer ersten Ausführungsform einer Vorrichtung 20 zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Vorrichtung 20 hat einen Eingang 21, über den Bilddaten einer Kamera 43 oder Daten eines Sensorsystems 44 empfangen werden können. Das Sensorsystem 44 kann beispielsweise einen Laserscanner oder eine Stereokamera zum Detektieren der Fahrbahnbeschaffenheit aufweisen. Die Vorrichtung 20 hat zudem eine Analyseeinheit 22, die auf Basis der empfangenen Daten ein vor dem Kraftfahrzeug befindliches Objekt detektiert. Zudem kann die Analyseeinheit 22 eingerichtet sein, eine Höhe des Objekts oder einer Lage des Objekts relativ zur Fahrbahn zu ermitteln. Ein Grafikgenerator 23 generiert eine Markierung für das Objekt für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung, wobei die Markierung eine hinsichtlich einer vertikalen Verschiebung der Markierung relativ zum Objekt fehlertolerante Ausgestaltung aufweist. 2 shows a simplified schematic representation of a first embodiment of a device 20 for controlling a display of an augmented reality head-up display device for a motor vehicle. The device 20 has an input 21 through which image data from a camera 43 or data from a sensor system 44 can be received. The sensor system 44 can, for example, have a laser scanner or a stereo camera for detecting the condition of the road. The device 20 also has an analysis unit 22, which detects an object located in front of the motor vehicle based on the data received. In addition, the analysis unit 22 can be set up to determine a height of the object or a position of the object relative to the road. A graphics generator 23 generates a marker for the object for a contact-analog display by the augmented reality head-up display device, the marker having a fault-tolerant design with respect to a vertical displacement of the marker relative to the object.

Vorzugsweise ist die Markierung derart ausgestaltet, dass bei der Anzeige keine Überschneidung zwischen der Markierung und dem Objekt auftritt oder eine eventuelle Überschneidung zwischen der Markierung und dem Objekt weniger salient in Erscheinung tritt. Beispielsweise kann die Markierung als Fragment eines Rahmens um das Objekt ausgestaltet sein. Beim Fragment des Rahmens kann es sich dabei um vertikale Elemente oder Eckelemente des Rahmens handeln. Alternativ kann die Markierung als parallel zur Fahrbahn liegende Ringeinfassung des Objekts oder als Kombination eines Pfeilelements und eines Fragments eines Rahmens ausgestaltet sein. Vorzugsweise wird die konkrete Ausgestaltung der fehlertoleranten Markierung in Abhängigkeit von einer Höhe des Objekts oder einer Lage des Objekts relativ zur Fahrbahn ausgewählt.The marking is preferably designed in such a way that when displayed there is no overlap between the marking and the object or any overlap between the marking and the object appears less salient. For example, the marking can be designed as a fragment of a frame around the object. The fragment of the frame can be vertical elements or corner elements of the frame. Alternatively, the marking can be designed as a ring border of the object lying parallel to the road or as a combination of an arrow element and a fragment of a frame. Preferably, the specific design of the fault-tolerant marking is selected depending on a height of the object or a position of the object relative to the road.

Über einen Ausgang 26 der Vorrichtung 20 wird die generierte Markierung an ein Steuergerät 42 der Augmented-Reality-Head-up-Display-Vorrichtung ausgegeben. Alternativ kann auch lediglich eine Anweisung an das Steuergerät 42 ausgegeben werden, eine Markierung mit einer fehlertoleranten Ausgestaltung zu generieren. Das Steuergerät 42 kann dann die generierte Markierung in eine Anzeige der Augmented-Reality-Head-up-Display-Vorrichtung einfügen.The generated marking is output to a control device 42 of the augmented reality head-up display device via an output 26 of the device 20. Alternatively, only an instruction can be issued to the control device 42 to generate a marking with a fault-tolerant design. The controller 42 can then insert the generated marker into a display of the augmented reality head-up display device.

Die Analyseeinheit 22 und der Grafikgenerator 23 können von einer Kontrolleinheit 24 gesteuert werden. Über eine Benutzerschnittstelle 27 können gegebenenfalls Einstellungen der Analyseeinheit 22, des Grafikgenerators 23 oder der Kontrolleinheit 24 geändert werden. Die in der Vorrichtung 20 anfallenden Daten können bei Bedarf in einem Speicher 25 der Vorrichtung 20 abgelegt werden, beispielsweise für eine spätere Auswertung oder für eine Nutzung durch die Komponenten der Vorrichtung 20. Die Analyseeinheit 22, der Grafikgenerator 23 sowie die Kontrolleinheit 24 können als dedizierte Hardware realisiert sein, beispielsweise als integrierte Schaltungen. Natürlich können sie aber auch teilweise oder vollständig kombiniert oder als Software implementiert werden, die auf einem geeigneten Prozessor läuft, beispielsweise auf einer GPU. Der Eingang 21 und der Ausgang 26 können als getrennte Schnittstellen oder als eine kombinierte bidirektionale Schnittstelle implementiert sein. Im beschriebenen Beispiel ist die Vorrichtung 20 eine eigenständige Komponente. Sie kann aber ebenso im Steuergerät 42 der Augmented-Reality-Head-up-Display-Vorrichtung integriert sein.The analysis unit 22 and the graphics generator 23 can be controlled by a control unit 24. If necessary, settings of the analysis unit 22, the graphics generator 23 or the control unit 24 can be changed via a user interface 27. If necessary, the data generated in the device 20 can be stored in a memory 25 of the device 20, for example for later evaluation or for use by the components of the device 20. The analysis unit 22, the graphics generator 23 and the control unit 24 can be used as dedicated Hardware can be implemented, for example as integrated circuits. Of course, they can also be partially or completely combined or implemented as software that runs on a suitable processor, for example a GPU. The input 21 and the output 26 may be implemented as separate interfaces or as a combined bidirectional interface. In the example described, the device 20 is an independent component. However, it can also be integrated in the control unit 42 of the augmented reality head-up display device.

3 zeigt eine vereinfachte schematische Darstellung einer zweiten Ausführungsform einer Vorrichtung 30 zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug. Die Vorrichtung 30 weist einen Prozessor 32 und einen Speicher 31 auf. Beispielsweise handelt es sich bei der Vorrichtung 30 um einen Computer oder ein Steuergerät. Im Speicher 31 sind Instruktionen abgelegt, die die Vorrichtung 30 bei Ausführung durch den Prozessor 32 veranlassen, die Schritte gemäß einem der beschriebenen Verfahren auszuführen. Die im Speicher 31 abgelegten Instruktionen verkörpern somit ein durch den Prozessor 32 ausführbares Programm, welches das erfindungsgemäße Verfahren realisiert. Die Vorrichtung 30 hat einen Eingang 33 zum Empfangen von Informationen, beispielsweise von Grafikdaten oder Informationen zu erkannten Objekten. Vom Prozessor 32 generierte Daten werden über einen Ausgang 34 bereitgestellt. Darüber hinaus können sie im Speicher 31 abgelegt werden. Der Eingang 33 und der Ausgang 34 können zu einer bidirektionalen Schnittstelle zusammengefasst sein. 3 shows a simplified schematic representation of a second embodiment of a device 30 for controlling a display of an augmented reality head-up display device for a motor vehicle. The device 30 has a processor 32 and a memory 31. For example, the device 30 is a computer or a control device. Instructions are stored in the memory 31 which, when executed by the processor 32, cause the device 30 to carry out the steps according to one of the methods described. The instructions stored in the memory 31 thus embody a program that can be executed by the processor 32 and which implements the method according to the invention. The device 30 has an input 33 for receiving information, for example graphic data or information about recognized objects. Data generated by processor 32 is provided via an output 34. In addition, they can be stored in memory 31. The input 33 and the output 34 can be combined to form a bidirectional interface.

Der Prozessor 32 kann eine oder mehrere Prozessoreinheiten umfassen, beispielsweise Mikroprozessoren, digitale Signalprozessoren oder Kombinationen daraus.The processor 32 may include one or more processing units, such as microprocessors, digital signal processors, or combinations thereof.

Die Speicher 25, 31 der beschriebenen Ausführungsformen können sowohl volatile als auch nichtvolatile Speicherbereiche aufweisen und unterschiedlichste Speichergeräte und Speichermedien umfassen, beispielsweise Festplatten, optische Speichermedien oder Halbleiterspeicher. The memories 25, 31 of the described embodiments can have both volatile and non-volatile memory areas and include a wide variety of storage devices and storage media, for example hard drives, optical storage media or semiconductor memories.

4 stellt schematisch ein Kraftfahrzeug 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Das Kraftfahrzeug 40 weist eine Augmented-Reality-Head-up-Display-Vorrichtung 41 mit einem zugehörigen Steuergerät 42 auf. Weiterhin weist das Kraftfahrzeug 40 eine Vorrichtung 20 zur Steuerung einer Anzeige der Augmented-Reality-Head-up-Display-Vorrichtung 41 auf. Die Vorrichtung 20 kann natürlich auch in die Augmented-Reality-Head-up-Display-Vorrichtung 41 oder in das Steuergerät 42 der Augmented-Reality-Head-up-Display-Vorrichtung 41 integriert sein. Weitere Komponenten des Kraftfahrzeugs 40 sind eine Kamera 43 und ein Sensorsystem 44 zur Erfassung von Objekten, ein Navigationssystem 45, eine Datenübertragungseinheit 46 sowie eine Reihe von Assistenzsystemen 47, von denen eines exemplarisch dargestellt ist. Mittels der Datenübertragungseinheit 46 kann eine Verbindung zu Dienstanbietern aufgebaut werden, beispielsweise zum Abrufen von Kartendaten. Zur Speicherung von Daten ist ein Speicher 48 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs 40 erfolgt über ein Netzwerk 49. 4 schematically represents a motor vehicle 40 in which a solution according to the invention is implemented. The motor vehicle 40 has an augmented reality head-up display device 41 with an associated control unit 42. Furthermore, the motor vehicle 40 has a device 20 for controlling a display of the augmented reality head-up display device 41. The device 20 can of course also be integrated into the augmented reality head-up display device 41 or into the control unit 42 of the augmented reality head-up display device 41. Further components of the motor vehicle 40 are a camera 43 and a sensor system 44 for detecting objects, a navigation system 45, a data transmission unit 46 and a series of assistance systems 47, one of which is shown as an example. Using the data transmission unit 46, a connection to service providers can be established, for example to retrieve map data. A memory 48 is available for storing data. The data exchange between the various components of the motor vehicle 40 takes place via a network 49.

5 zeigt schematisch eine Augmented-Reality-Head-up-Display-Vorrichtung 41 für ein Kraftfahrzeug 40, mit deren Hilfe Inhalte auf einer Projektionsfläche 52 des Kraftfahrzeugs 40 angezeigt werden können, beispielsweise auf der Frontscheibe oder auf einer zusätzlichen Scheibe aus Glas oder Kunststoff, die zwischen dem Fahrer und der Frontscheibe auf dem Armaturenbrett angeordnet ist. Die dargestellten Inhalte werden durch eine bildgebende Einheit 50 erzeugt und mit Hilfe eines optischen Moduls 51 auf die Projektionsfläche 52 projiziert. Typischerweise erfolgt die Projektion dabei in einen Bereich der Frontscheibe oberhalb des Lenkrades. Die bildgebende Einheit 50 kann beispielsweise ein LCD-TFT-Display sein. Die Augmented-Reality-Head-up-Display-Vorrichtung 41 ist in der Regel in einem Armaturenbrett des Kraftfahrzeugs 40 verbaut. 5 schematically shows an augmented reality head-up display device 41 for a motor vehicle 40, with the help of which content can be displayed on a projection surface 52 of the motor vehicle 40, for example on the windshield or on an additional pane made of glass or plastic between the driver and the windshield on the dashboard. The displayed content is generated by an imaging unit 50 and projected onto the projection surface 52 using an optical module 51. Typically, the projection takes place in an area of the windshield above the steering wheel. The imaging unit 50 can be, for example, an LCD TFT display. The augmented reality head-up display device 41 is usually installed in a dashboard of the motor vehicle 40.

Bei der Markierung von Objekten in einer Augmented-Reality-Darstellung werden üblicherweise eindeutige Symbole gewählt, die das Objekt z.B. vollständig oder auch nur von einer Seite einrahmen. 6 zeigt ein erstes Beispiel einer solchen Augmented-Reality-Darstellung einer Augmented-Reality-Head-up-Display-Vorrichtung. Der tatsächlichen Umgebung ist beispielhaft eine Markierung 60 in kontaktanaloger Darstellung überlagert, die ein vorausfahrendes Fahrzeug 61 zur Visualisierung eines ACC-Systemstatus (ACC: Adaptive Cruise Control; Adaptive Geschwindigkeitsregelung) markiert. Daneben können Navigationsinformationen, Warnhinweise oder andere Elemente angezeigt werden. Nachteilig an der Markierung 60 ist, dass sie sich aufgrund von Nickbewegungen des Kraftfahrzeugs für den Betrachter relativ zum vorausfahrenden Fahrzeug 61 auf und ab bewegt. 6a) zeigt eine relativ zum Objekt 61 korrekt positionierte Markierung 60, 6b) eine relativ zum Objekt 61 nach oben verschobene Markierung 60 und 6c) eine relativ zum Objekt 61 nach unten verschobene Markierung 60. Derartige Bewegungen werden aufgrund ihrer salienten Wirkung frühzeitig und als besonders störend wahrgenommen. So kann z.B. eine Überschneidung des realen Objekts 61 mit der virtuellen Markierung 60 sichtbar werden, wie dies in 6b) der Fall ist.When marking objects in an augmented reality representation, clear symbols are usually chosen that frame the object completely or only from one side, for example. 6 shows a first example of such an augmented reality representation of an augmented reality head-up display device. For example, a marker 60 is superimposed on the actual environment in a contact-analog representation, which marks a vehicle 61 in front to visualize an ACC system status (ACC: Adaptive Cruise Control). Navigation information, warnings or other elements can also be displayed. The disadvantage of the marking 60 is that it moves up and down for the viewer relative to the vehicle 61 in front due to pitching movements of the motor vehicle. 6a) shows a marking 60 correctly positioned relative to the object 61, 6b) a marking 60 shifted upwards relative to the object 61 and 6c ) a marking 60 shifted downwards relative to the object 61. Such movements are perceived early and as particularly disturbing due to their salient effect. For example, an intersection of the real object 61 with the virtual marking 60 can become visible, as shown in 6b) the case is.

7 zeigt ein zweites Beispiel einer bekannten Augmented-Reality-Darstellung einer Augmented-Reality-Head-up-Display-Vorrichtung. In diesem Beispiel handelt es sich beim Objekt 62 um ein Hindernis auf der Fahrbahn, konkret um einen Reifen. Bei einem solchen Objekt 62 mit einer geringen Höhe kann eine Positionsungenauigkeit der Markierung 60 nicht nur störend wirken, sondern sogar zu einer nicht eindeutigen Markierung 60 führen. 7a) zeigt eine eindeutige Markierung 60 bei korrekter Position der Markierung 60. In 7b) ist die Markierung 60 relativ zum Objekt 62 nach oben verschoben. Aufgrund der fehlerhaften Position ist nicht eindeutig erkennbar, worauf sich die Markierung 60 konkret bezieht. 7 shows a second example of a known augmented reality representation of an augmented reality head-up display device. In this example, object 62 is an obstacle on the road, specifically a tire. In the case of such an object 62 with a low height, an inaccuracy in the position of the marking 60 can not only be disruptive, but can even lead to an ambiguous marking 60. 7a) shows a clear marking 60 with the correct position of the marking 60. In 7b) the marking 60 is shifted upwards relative to the object 62. Due to the incorrect position, it is not clear what the marking 60 specifically refers to.

Erfindungsgemäß werden für die Markierungen daher fehlertolerante Ausgestaltungen genutzt, bei denen durch Nickbewegungen des Kraftfahrzeugs keine Überschneidung zwischen dem realem Objekt und dem virtuellem Objekt entstehen oder bei denen eventuelle Überschneidungen weniger salient in Erscheinung treten.According to the invention, fault-tolerant configurations are therefore used for the markings in which no overlap occurs between the real object and the virtual object due to pitching movements of the motor vehicle or in which any overlaps appear less salient.

8 zeigt ein erstes Beispiel einer solchen fehlertoleranten Ausgestaltung einer Markierung 60. In dieser Ausgestaltung wird das Objekt 61 nur teilweise von der Markierung 60 eingerahmt, vorzugsweise nur seitlich anstatt unten oder oben. 8a) zeigt eine relativ zum Objekt 61 korrekt positionierte Markierung 60, 8b) eine relativ zum Objekt 61 nach oben verschobene Markierung 60 und 8c) eine relativ zum Objekt 61 nach unten verschobene Markierung 60. Trotz der fehlerhaften Position der Markierung 60 kommt es nicht zu Überschneidungen mit dem realen Objekt 61. 8th shows a first example of such a fault-tolerant design of a marking 60. In this design, the object 61 is only partially framed by the marking 60, preferably only to the side instead of at the bottom or top. 8a) shows a marking 60 correctly positioned relative to the object 61, 8b) a marking 60 shifted upwards relative to the object 61 and 8c ) a marking 60 that is shifted downwards relative to the object 61. Despite the incorrect position of the marking 60, there are no overlaps with the real object 61.

9 zeigt weitere Beispiele fehlertoleranter Ausgestaltungen einer Markierung. Eine Reduzierung möglicher optischer Überschneidungen kann auch durch einen vergrößerten Abstand bei der Einfassung erzielt werden, wie dies in 9a) dargestellt ist. Bei dieser Ausgestaltung treten Überschneidungen erst bei starken Nickbewegungen auf, wie sie im Fahralltag nicht zu erwarten sind. 9b) illustriert eine Fragmentierung des Rahmens, bei der lediglich Eckelemente des Rahmens angezeigt werden. Bei dieser Ausgestaltung treten Überschneidungen zwar schon bei kleineren Nickbewegungen auf, sie sind aufgrund der geringen Fläche der Überschneidung aber weniger salient. Die Fläche der Überschneidung wird im Wesentlichen durch die Länge der waagerechten Schenkel der Eckelemente bestimmt. 9 shows further examples of fault-tolerant configurations of a marking. A reduction in possible optical overlaps can also be achieved by increasing the distance between the bezels, as shown in 9a) is shown. With this design, overlaps only occur with strong pitching movements, which are not to be expected in everyday driving. 9b) illustrates a fragmentation of the frame in which only corner elements of the frame are displayed become. In this configuration, overlaps occur even with smaller pitching movements, but they are less salient due to the small area of the overlap. The area of the overlap is essentially determined by the length of the horizontal legs of the corner elements.

Durch eine entsprechende Verkürzung dieser waagerechten Schenkel kann die Überschneidung sogar vollständig vermieden werden. In 9c) wird eine diffuse Ausgestaltung des Rahmens genutzt, d.h. der Rahmen geht sanft in die Umgebung über. Dies wird in 9c) durch die gestrichelten Linien angedeutet. Auch bei dieser Ausgestaltung sind eventuell auftretende Überschneidungen der Markierung 60 mit dem Objekt 61 weniger salient.By shortening these horizontal legs accordingly, the overlap can even be completely avoided. In 9c ) a diffuse design of the frame is used, ie the frame merges smoothly into the surroundings. This will be in 9c ) indicated by the dashed lines. With this embodiment too, any overlaps between the marking 60 and the object 61 are less salient.

Des Weiteren gibt es Ausgestaltungen der Markierung 60, die eine Überschneidung mit dem Objekt 61 sogar erfordern. 10 zeigt eine fehlertolerante Ausgestaltung der Markierung 60 als Ringeinfassung des Objekts 61. 10a) zeigt eine relativ zum Objekt 61 korrekt positionierte Markierung 60, 10b) eine relativ zum Objekt 61 nach oben verschobene Markierung 60 und 10c) eine relativ zum Objekt 61 nach unten verschobene Markierung 60. Für das intuitive Verständnis der Anzeige ist es bei dieser Ausgestaltung zweitrangig, in welcher Höhe die Einfassung des Objekts 61 durch die Markierung 60 erfolgt, sodass sich Nickbewegungen nicht störend auswirken.Furthermore, there are embodiments of the marking 60 that even require an overlap with the object 61. 10 shows a fault-tolerant design of the marking 60 as a ring enclosure of the object 61. 10a) shows a marking 60 correctly positioned relative to the object 61, 10b) a marking 60 shifted upwards relative to the object 61 and 10c ) a marking 60 that is shifted downwards relative to the object 61. For the intuitive understanding of the display, in this embodiment it is of secondary importance at what height the object 61 is surrounded by the marking 60, so that pitching movements do not have a disruptive effect.

11 zeigt ein weiteres Beispiel einer fehlertoleranten Ausgestaltung einer Markierung 60 auf Basis einer Kombination eines Pfeilelements und eines Fragments eines Rahmens. 11a) zeigt eine relativ zum Objekt 62 korrekt positionierte Markierung 60, 11b) eine relativ zum Objekt 62 nach oben verschobene Markierung 60. Bei Objekten 62 mit einer geringen Höhe, z.B. liegengeblieben Gegenständen wie Reifen, oder Objekten in der Straßenebene, z.B. Schlaglöchern oder Ölflecken, wird vorzugsweise eine doppelseitige Markierung 60 genutzt, die unabhängig davon verstanden wird, ob sich das reale Objekt darüber oder darunter befindet. Dazu eignen sich beispielsweise Markierungen 60, die sowohl als ein Rahmen als auch als Pfeil verstanden werden können. Bei einer solchen Ausgestaltung kann die Markierung 60 sowohl unterhalb als auch oberhalb des Objekts 62 liegen, ohne dass die Position fehlerhaft und mehrdeutig wirkt. 11 shows another example of a fault-tolerant design of a marker 60 based on a combination of an arrow element and a fragment of a frame. 11a) shows a marking 60 correctly positioned relative to the object 62, 11b) a marking 60 shifted upwards relative to the object 62. For objects 62 with a low height, for example abandoned objects such as tires, or objects in the street level, for example potholes or oil stains, a double-sided marking 60 is preferably used, which is understood independently of this. whether the real object is above or below. For example, markings 60, which can be understood as both a frame and an arrow, are suitable for this purpose. In such a configuration, the marking 60 can lie both below and above the object 62 without the position appearing incorrect and ambiguous.

Die Klassifikation des Objekts hinsichtlich der Größe und der Lage, d.h. auf der Fahrbahn oder in der Fahrbahn, kann mittels einer Bildauswertung eines Kamerabildes erfolgen. Bei Objekten, die höher sind als etwa 50 cm, bietet sich die Verwendung der in den 8-10 vorgestellten Ausgestaltungen an. Bei Objekten mit einer geringeren Höhe oder Objekten wie Schlaglöchern oder Ölflecken, die sich direkt in der Fahrbahn selbst befinden, empfiehlt sich die Anwendung einer doppelseitigen Markierung wie in 11. Vorzugsweise kann die Höhe, bei der zwischen den verschiedenen Arten der fehlertoleranten Ausgestaltung gewechselt wird, durch den Benutzer eingestellt werden.The classification of the object in terms of size and location, ie on the road or in the road, can be done by image evaluation of a camera image. For objects that are higher than around 50 cm, it is advisable to use the in the 8-10 presented designs. For objects with a lower height or objects such as potholes or oil stains that are directly in the road itself, it is recommended to use a double-sided marking as in 11 . Preferably, the height at which to switch between the different types of fault-tolerant design can be adjusted by the user.

BezugszeichenlisteReference symbol list

1010
Detektieren eines ObjektsDetecting an object
1111
Erfassen einer Höhe oder Lage des ObjektsDetecting a height or location of the object
1212
Generieren einer fehlertoleranten Markierung zur AnzeigeGenerate a fault-tolerant marker for display
1313
Ausgeben der generierten fehlertoleranten MarkierungOutput the generated fault-tolerant marker
2020
Vorrichtungcontraption
2121
EingangEntrance
2222
AnalyseeinheitUnit of analysis
2323
GrafikgeneratorGraphics generator
2424
KontrolleinheitControl unit
2525
SpeicherStorage
2626
AusgangExit
2727
BenutzerschnittstelleUser interface
3030
Vorrichtungcontraption
3131
SpeicherStorage
3232
Prozessorprocessor
3333
EingangEntrance
3434
AusgangExit
4040
Kraftfahrzeugmotor vehicle
4141
Augmented-Reality-Head-up-Display-VorrichtungAugmented reality head-up display device
4242
Steuergerät der Augmented-Reality-Head-up-Display-VorrichtungController of the augmented reality head-up display device
4343
Kameracamera
4444
SensorsystemSensor system
4545
Navigationssystemnavigation system
4646
DatenübertragungseinheitData transmission unit
4747
AssistenzsystemAssistance system
4848
SpeicherStorage
4949
Netzwerknetwork
5050
Bildgebende EinheitImaging unit
5151
Optisches ModulOptical module
5252
ProjektionsflächeProjection surface
6060
Markierungmark
6161
Vorausfahrendes FahrzeugVehicle in front
6262
Hindernisobstacle

Referenzencredentials

  • [1] http://www.hizook.com/blog/2015/05/17 /valves-lighthouse-tracking-system-may-be-bignews-robotics[1] http://www.hizook.com/blog/2015/05/17 /valves-lighthouse-tracking-system-may-be-bignews-robotics
  • [2] https://developer3.oculus.com/blog/the-latent-power-of-prediction/[2] https://developer3.oculus.com/blog/the-latent-power-of-prediction/
  • [3] https://developer3.oculus.com/blog/optimizing-vr-graphics-with-late-latching/[3] https://developer3.oculus.com/blog/optimizing-vr-graphics-with-late-latching/
  • [4] Pelot: „Dynamic Blanking for Virtual Reality Image Displacement“, http://web.stanford.edu/class/ee267/Spring2016/report_pelot.pdf[4] Pelot: “Dynamic Blanking for Virtual Reality Image Displacement,” http://web.stanford.edu/class/ee267/Spring2016/report_pelot.pdf

Claims (6)

Verfahren zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40), mit den Schritten: - Generieren (12) einer Markierung (60) für ein vor dem Kraftfahrzeug (40) befindliches Objekt (61, 62) für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41), wobei die Markierung (60) derart ausgestaltet ist, dass Nickbewegungen des Kraftfahrzeugs (40) nicht zu einer Überschneidung zwischen der Markierung (60) und dem Objekt (61, 62) führen, indem die Markierung (60) als Fragment eines Rahmens um das Objekt (61, 62) ausgestaltet ist, wobei die Markierung (60) nur vertikale Elemente des Rahmens um das Objekt (61, 62) oder Eckelemente des Rahmens um das Objekt (61, 62) umfasst, oder dass durch Nickbewegungen des Kraftfahrzeugs (40) verursachte vertikale Verschiebungen der Markierung (60) relativ zum Objekt (61, 62) sich nicht störend auf die Eindeutigkeit der Markierung (60) auswirken, indem die Markierung (60) als parallel zur Fahrbahn liegende Ringeinfassung des Objekts (61, 62) oder als Kombination eines Pfeilelements und eines horizontalen Fragments eines Rahmens ausgestaltet ist; und - Ausgeben (13) der Markierung (60) zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41).Method for controlling a display of an augmented reality head-up display device (41) for a motor vehicle (40), with the steps: - Generating (12) a marking (60) for an object (61, 62) located in front of the motor vehicle (40) for a contact-analog display by the augmented reality head-up display device (41), the marking ( 60) is designed in such a way that pitching movements of the motor vehicle (40) do not lead to an overlap between the marking (60) and the object (61, 62), in that the marking (60) acts as a fragment of a frame around the object (61, 62 ) is designed, wherein the marking (60) only comprises vertical elements of the frame around the object (61, 62) or corner elements of the frame around the object (61, 62), or that vertical displacements of the motor vehicle (40) caused by pitching movements of the Marking (60) relative to the object (61, 62) does not have a disruptive effect on the clarity of the marking (60), in that the marking (60) acts as a ring border of the object (61, 62) lying parallel to the road or as a combination of an arrow element and a horizontal fragment of a frame; and - Outputting (13) the marking (60) for display by the augmented reality head-up display device (41). Verfahren gemäß Anspruch 1, wobei die Markierung (60) derart ausgestaltet ist, dass ein Einfassungsabstand der Markierung (60) bezüglich des Objekts (61, 62) größer ist als eine durch die Nickbewegungen zu erwartende vertikale Verschiebung der Markierung (60) relativ zum Objekt (61, 62).Procedure according to Claim 1 , wherein the marking (60) is designed such that an enclosure distance of the marking (60) with respect to the object (61, 62) is greater than a vertical displacement of the marking (60) relative to the object (61, 62) that is expected due to the pitching movements ). Verfahren gemäß Anspruch 1 oder 2, wobei die konkrete Ausgestaltung der Markierung (60) in Abhängigkeit von einer Höhe des Objekts (61, 62) oder einer Lage des Objekts (61, 62) relativ zur Fahrbahn ausgewählt wird.Procedure according to Claim 1 or 2 , wherein the specific design of the marking (60) is selected depending on a height of the object (61, 62) or a position of the object (61, 62) relative to the road. Computerlesbares Speichermedium mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 3 zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40) veranlassen.Computer-readable storage medium containing instructions that, when executed by a computer, enable the computer to carry out the steps of a method according to one of Claims 1 until 3 to control a display of an augmented reality head-up display device (41) for a motor vehicle (40). Vorrichtung (20) zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung (41) für ein Kraftfahrzeug (40), mit - einem Grafikgenerator (23) zum Generieren (12) einer Markierung (60) für ein vor dem Kraftfahrzeug (40) befindliches Objekt (61, 62) für eine kontaktanaloge Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41), wobei die Markierung (60) derart ausgestaltet ist, dass Nickbewegungen des Kraftfahrzeugs (40) nicht zu einer Überschneidung zwischen der Markierung (60) und dem Objekt (61, 62) führen, indem die Markierung (60) als Fragment eines Rahmens um das Objekt (61, 62) ausgestaltet ist, wobei die Markierung (60) nur vertikale Elemente des Rahmens um das Objekt (61, 62) oder Eckelemente des Rahmens um das Objekt (61, 62) umfasst, oder dass durch Nickbewegungen des Kraftfahrzeugs (40) verursachte vertikale Verschiebungen der Markierung (60) relativ zum Objekt (61, 62) sich nicht störend auf die Eindeutigkeit der Markierung (60) auswirken, indem die Markierung (60) als parallel zur Fahrbahn liegende Ringeinfassung des Objekts (61, 62) oder als Kombination eines Pfeilelements und eines horizontalen Fragments eines Rahmens ausgestaltet ist; und - einem Ausgang (26) zum Ausgeben (13) der Markierung (60) zur Anzeige durch die Augmented-Reality-Head-up-Display-Vorrichtung (41).Device (20) for controlling a display of an augmented reality head-up display device (41) for a motor vehicle (40), with - a graphics generator (23) for generating (12) a marking (60) for an object (61, 62) located in front of the motor vehicle (40) for a contact-analog display by the augmented reality head-up display device (41 ), wherein the marking (60) is designed such that pitching movements of the motor vehicle (40) do not lead to an overlap between the marking (60) and the object (61, 62) by converting the marking (60) as a fragment of a frame the object (61, 62) is designed, wherein the marking (60) only comprises vertical elements of the frame around the object (61, 62) or corner elements of the frame around the object (61, 62), or that pitching movements of the motor vehicle ( 40) caused vertical displacements of the marking (60) relative to the object (61, 62) do not have a disruptive effect on the clarity of the marking (60), in that the marking (60) acts as a ring border of the object (61, 62) lying parallel to the road. or is designed as a combination of an arrow element and a horizontal fragment of a frame; and - an output (26) for outputting (13) the marking (60) for display by the augmented reality head-up display device (41). Kraftfahrzeug (40) mit einer Augmented-Reality-Head-up-Display-Vorrichtung (41), dadurch gekennzeichnet, dass das Kraftfahrzeug (40) eine Vorrichtung (20) gemäß Anspruch 5 aufweist oder eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 3 zur Steuerung einer Anzeige der Augmented-Reality-Head-up-Display-Vorrichtung (41) auszuführen.Motor vehicle (40) with an augmented reality head-up display device (41), characterized in that the motor vehicle (40) has a device (20) according to Claim 5 has or is set up to have a method according to one of the Claims 1 until 3 to control a display of the augmented reality head-up display device (41).
DE102018200312.2A 2018-01-10 2018-01-10 Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device Active DE102018200312B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018200312.2A DE102018200312B4 (en) 2018-01-10 2018-01-10 Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018200312.2A DE102018200312B4 (en) 2018-01-10 2018-01-10 Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device

Publications (2)

Publication Number Publication Date
DE102018200312A1 DE102018200312A1 (en) 2019-07-11
DE102018200312B4 true DE102018200312B4 (en) 2023-11-30

Family

ID=66995326

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018200312.2A Active DE102018200312B4 (en) 2018-01-10 2018-01-10 Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device

Country Status (1)

Country Link
DE (1) DE102018200312B4 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008046038A1 (en) 2007-09-18 2009-03-19 Denso Corporation, Kariya display device
DE102009004432A1 (en) 2008-01-25 2009-07-30 Denso Corporation, Kariya A motor vehicle display device for displaying an image spot circling a front obstacle
DE102012001950A1 (en) 2012-02-02 2013-08-08 Daimler Ag Method for operating a camera arrangement for a vehicle and camera arrangement
DE102014013408A1 (en) 2014-09-10 2015-04-02 Daimler Ag Method for displaying environmental information of a vehicle
DE102015007518A1 (en) 2015-06-11 2016-02-25 Daimler Ag Method for predicting a position of a vehicle
DE102014221608A1 (en) 2014-10-24 2016-04-28 Bayerische Motoren Werke Aktiengesellschaft Activation of contact-analog representation depending on vehicle movements
US20160147073A1 (en) 2013-06-28 2016-05-26 Denso Corporation Head-up display and program product
DE102016005452A1 (en) 2016-05-03 2017-02-09 Daimler Ag A method of correcting a position of an augmented reality object projected on a display of a vehicle due to an obstructed landing gear of the vehicle
DE102016213871A1 (en) 2015-08-03 2017-02-09 Toyota Jidosha Kabushiki Kaisha display device
US20170308262A1 (en) 2014-10-10 2017-10-26 Denso Corporation Display control apparatus and display system
DE102017216774A1 (en) 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
DE102017220268A1 (en) 2017-11-14 2019-05-16 Volkswagen Aktiengesellschaft Detection and visualization of system uncertainty when displaying augmented image content in head-up displays

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008046038A1 (en) 2007-09-18 2009-03-19 Denso Corporation, Kariya display device
DE102009004432A1 (en) 2008-01-25 2009-07-30 Denso Corporation, Kariya A motor vehicle display device for displaying an image spot circling a front obstacle
DE102012001950A1 (en) 2012-02-02 2013-08-08 Daimler Ag Method for operating a camera arrangement for a vehicle and camera arrangement
US20160147073A1 (en) 2013-06-28 2016-05-26 Denso Corporation Head-up display and program product
DE102014013408A1 (en) 2014-09-10 2015-04-02 Daimler Ag Method for displaying environmental information of a vehicle
US20170308262A1 (en) 2014-10-10 2017-10-26 Denso Corporation Display control apparatus and display system
DE102014221608A1 (en) 2014-10-24 2016-04-28 Bayerische Motoren Werke Aktiengesellschaft Activation of contact-analog representation depending on vehicle movements
DE102015007518A1 (en) 2015-06-11 2016-02-25 Daimler Ag Method for predicting a position of a vehicle
DE102016213871A1 (en) 2015-08-03 2017-02-09 Toyota Jidosha Kabushiki Kaisha display device
DE102016005452A1 (en) 2016-05-03 2017-02-09 Daimler Ag A method of correcting a position of an augmented reality object projected on a display of a vehicle due to an obstructed landing gear of the vehicle
DE102017216774A1 (en) 2017-09-21 2019-03-21 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
DE102017220268A1 (en) 2017-11-14 2019-05-16 Volkswagen Aktiengesellschaft Detection and visualization of system uncertainty when displaying augmented image content in head-up displays

Also Published As

Publication number Publication date
DE102018200312A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
EP3454013B1 (en) Method, device and a computer readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
EP3765324B1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
DE102017216774B4 (en) A method, apparatus, computer readable storage medium and motor vehicle having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
EP1405124B1 (en) Head-up display system and method for projecting a marking of a road sign with regard to the viewing direction of the driver
DE102018129741A1 (en) Device and method for controlling a display of a vehicle
DE102018204254A1 (en) Method for calculating a display of additional information for a display on a display unit, device for carrying out the method and motor vehicle and computer program
EP3762684A1 (en) Overlaying additional information on a display unit
DE102015109027A1 (en) Head-up display with situation-based adaptation of the presentation of virtual image content
DE112014004889T5 (en) Systems and methods for displaying three-dimensional images on a vehicle instrument panel
DE102017215163B4 (en) System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle
WO2019057452A1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle
DE102018201768B4 (en) Method for displaying information in a head-up display of a vehicle, display system for a vehicle and vehicle with a display system
WO2021032368A1 (en) Generation of a display for an augmented reality head-up display of a motor vehicle
EP3749541B1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle
DE102015222844A1 (en) Method and control device for operating a field of view display device for a vehicle
EP3296795B1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
EP3361355A1 (en) Method, device and a computer readable storage medium with instructions for controlling a display of an augmented reality heads up display device
DE102018200312B4 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device
DE102019208649B3 (en) Control of a display of an augmented reality head-up display device for a motor vehicle
EP4005894A1 (en) Method for depicting a virtual element
DE102022101893B4 (en) Method for displaying augmented reality information in vehicles
DE102016225346A1 (en) A method for determining a display area of at least one element on a display device
DE102017215023B4 (en) Method, apparatus and computer-readable storage medium with instructions for providing information for controlling a display of a head-up display device for a motor vehicle, and associated control system and motor vehicle therewith
DE102015006105A1 (en) Method and apparatus for visualizing static content
DE102015005363A1 (en) Method and device for augmented presentation and vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division