DE102021103754A1 - Method and device for checking an augmented reality display on a head-up display device - Google Patents

Method and device for checking an augmented reality display on a head-up display device Download PDF

Info

Publication number
DE102021103754A1
DE102021103754A1 DE102021103754.9A DE102021103754A DE102021103754A1 DE 102021103754 A1 DE102021103754 A1 DE 102021103754A1 DE 102021103754 A DE102021103754 A DE 102021103754A DE 102021103754 A1 DE102021103754 A1 DE 102021103754A1
Authority
DE
Germany
Prior art keywords
display
information object
image
representation
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021103754.9A
Other languages
German (de)
Inventor
Eric Reum
Michael Peinbauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021103754.9A priority Critical patent/DE102021103754A1/en
Publication of DE102021103754A1 publication Critical patent/DE102021103754A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Instrument Panels (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Bewerten eines Blickfeldanzeigesystems für die augmentierte kontaktanaloge Darstellung eines Informationsobjektes in einem Fahrzeug, mit folgenden Schritten:- Bereitstellen einer kontaktanalogen Anzeige eines Informationsobjektes bezüglich einer Umgebungsposition, die einem Umgebungsobjekt zugeordnet ist, durch das Blickfeldanzeigesystem;- Erfassen eines Kamerabildes durch eine Blickfeldkamera, die an einer möglichen Augenposition angeordnet und auf einen Anzeigebereich des Blickfeldanzeigesystems ausgerichtet ist;- Extrahieren eines Umgebungsbildes und eines Bildes des Informationsobjektes aus dem Kamerabild;- Ermitteln einer tatsächlichen Darstellung des Informationsobjektes aus dem Bild des Informationsobjektes und Vorgeben einer gewünschten Darstellung des Informationsobjektes- Ermitteln eines Bewertungsmaßes für das Blickfeldanzeigesystem abhängig von einer Darstellungsgenauigkeit, die sich aus der tatsächlichen Darstellung und der gewünschten Darstellung ergibt.The invention relates to a method for evaluating a visual field display system for the augmented contact-analogous representation of an information object in a vehicle, with the following steps: - providing a contact-analogous display of an information object with respect to an environmental position that is assigned to an environmental object, by the visual field display system; - capturing a camera image by a visual field camera, which is arranged at a possible eye position and is aligned with a display area of the visual field display system;- extracting an environment image and an image of the information object from the camera image;- determining an actual representation of the information object from the image of the information object and specifying a desired representation of the information object - Determining an evaluation measure for the field of view display system depending on a representation accuracy, which results from the actual representation and the desired th representation results.

Description

Technisches Gebiettechnical field

Die Erfindung betrifft Blickfeldanzeigevorrichtungen und insbesondere Blickfeldanzeigevorrichtungen mit Einrichtungen zum kontaktanalogen Anzeigen von Informationsobjekten mit Bezug auf Umgebungsobjekte bzw. Umgebungspositionen. Die Erfindung betrifft weiterhin Maßnahmen zur Überprüfung der Korrektheit der Anzeige von kontaktanalog anzuzeigenden Informationsobjekten auf einer Blickfeldanzeigevorrichtung.The invention relates to field of view display devices and in particular to field of view display devices with devices for contact-analog display of information objects in relation to objects in the environment or positions in the environment. The invention also relates to measures for checking the correctness of the display of information objects to be displayed in a contact-analog manner on a visual field display device.

Technischer HintergrundTechnical background

Blickfeldanzeigevorrichtungen kommen insbesondere in Kraftfahrzeugen zum Einsatz und sind insbesondere unter der Bezeichnung Head-up-Display (HUD) bekannt. Damit kann ein gewünschter Anzeigeinhalt, beispielsweise eine Angabe über eine Geschwindigkeitsbegrenzung oder andere nützliche Navigations- und Fahrzeugbedienungshinweise, in Form eines virtuellen Anzeigebilds dem vom Fahrer beobachteten realen Umgebungsbild vor dem Fahrzeug überlagert werden. Hierzu umfasst eine Blickfeldanzeigevorrichtung eine in der Regel in einer Instrumententafel des Kraftfahrzeugs eingebaute Projektionseinheit, die ein Projektionslichtstrahlenbündel mit dem gewünschten Anzeigeinhalt erzeugt und es mittels der Frontscheibe des Fahrzeugs oder mittels einer zusätzlich davor vorgesehenen transparenten Combinerscheibe, von der es zum Fahrer hin reflektiert wird, in sein Blickfeld projiziert.Head-up display devices are used in particular in motor vehicles and are known in particular under the name head-up display (HUD). A desired display content, for example information about a speed limit or other useful navigation and vehicle operating instructions, can thus be superimposed in the form of a virtual display image on the real image of the surroundings in front of the vehicle observed by the driver. For this purpose, a visual field display device comprises a projection unit, which is usually installed in an instrument panel of the motor vehicle and which generates a projection light beam with the desired display content and transmits it by means of the windscreen of the vehicle or by means of an additional transparent combiner screen provided in front of it, from which it is reflected towards the driver projected his field of vision.

Die Implementierung von Augmented Reality Anzeigen von virtuellen Informationsobjekten auf einer Blickfeldanzeigeeinrichtung erfordert ein sehr genaues und sehr schnelles Trackingverfahren für die Augenpose des Fahrers bzw. des Fahrzeuginsassen. Auch müssen während der Anzeige von Informationsobjekten Ausgleichsbewegungen vorgesehen werden, die durch Störeinflüsse auf das Fahrzeug entlang der gefahrenen Trajektorie einwirken, um die angezeigten kontaktanalogen Informationsobjekte stabil ortsfest bezogen auf ein Umgebungsobjekt oder eine Umgebungsposition anzuzeigen.The implementation of augmented reality displays of virtual information objects on a visual field display device requires a very accurate and very fast tracking method for the eye pose of the driver or the vehicle occupant. During the display of information objects, compensatory movements must also be provided, which act on the vehicle along the trajectory driven by disruptive influences, in order to display the displayed contact-analog information objects in a stable, stationary manner in relation to a surrounding object or a surrounding position.

Die Qualität einer kontaktanalogen Anzeige auf einer Blickfeldanzeigevorrichtung hängt maßgeblich von einer Darstellungstreue und einer Nachführgeschwindigkeit auf der Anzeigefläche ab. Welche Darstellungsgenauigkeit, d. h. welche Positionsabweichungen, Größenabweichungen und/oder Orientierungsabweichungen des angezeigten Informationsobjektes im Vergleich zur Soll-Darstellung, und welche Nachführgeschwindigkeiten tolerierbar sind und welche nicht, bestimmt die Qualität der Blickfeldanzeigevorrichtung, die im Vorfeld der Implementierung nicht oder nur unzuverlässig vorhergesagt werden kann. Zur korrekten Bewertung einer Darstellung eines kontaktanalogen Informationsobjekts auf einer Anzeigefläche einer Blickfeldanzeigevorrichtung kann aufgrund eines fehlenden Rückkopplungsfalles nicht genau bestimmt werden, da die tatsächliche Augenposition aufgrund zahlreicher Einflussfaktoren nur mit einer entsprechenden Unsicherheit bestimmt werden kann.The quality of a contact-analog display on a head-up display device depends to a large extent on display fidelity and tracking speed on the display surface. Which display accuracy, i. H. which position deviations, size deviations and/or orientation deviations of the displayed information object compared to the target representation, and which tracking speeds are tolerable and which are not, determines the quality of the field of view display device, which cannot be predicted before implementation or can only be predicted unreliably. The correct evaluation of a representation of a contact-analogous information object on a display surface of a field of vision display device cannot be determined precisely due to a lack of feedback, since the actual eye position can only be determined with a corresponding degree of uncertainty due to numerous influencing factors.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Bewerten einer kontaktanalogen Darstellung eines Informationsobjektes auf einer Anzeigefläche einer Blickfeldanzeigevorrichtung bereitzustellen, mit der ungeachtet von bestehenden Ungenauigkeiten und Toleranzen des Anzeigesystems die tatsächliche Qualität der kontaktanalogen Darstellung bewertet werden kann.The object of the present invention is to provide a method for evaluating a contact-analog representation of an information object on a display surface of a field of view display device, with which the actual quality of the contact-analog representation can be evaluated regardless of existing inaccuracies and tolerances of the display system.

Offenbarung der ErfindungDisclosure of Invention

Diese Aufgabe wird durch das Verfahren zum Ermitteln einer Qualität einer Darstellung eines kontaktanalog anzuzeigenden Informationsobjekts auf einer Anzeigefläche einer Blickfeldanzeigevorrichtung gemäß Anspruch 1 sowie durch eine Vorrichtung und ein Qualitätsbewertungssystem gemäß den nebengeordneten Ansprüchen gelöst.This object is achieved by the method for determining a quality of a representation of an information object to be displayed contact-analogously on a display surface of a visual field display device according to claim 1 and by a device and a quality assessment system according to the independent claims.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.Further developments are specified in the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Bewerten eines Blickfeldanzeigesystems für die augmentierte kontaktanaloge Darstellung eines Informationsobjektes in einem Fahrzeug vorgesehen, mit folgenden Schritten:

  • - Bereitstellen einer kontaktanalogen Anzeige eines Informationsobjektes bezüglich einer Umgebungsposition, die einem Umgebungsobjekt zugeordnet ist, durch das Blickfeldanzeigesystem;
  • - Erfassen eines Kamerabildes durch eine Blickfeldkamera, die an einer möglichen Augenposition angeordnet und auf einen Anzeigebereich des Blickfeldanzeigesystems ausgerichtet ist;
  • - Extrahieren eines Umgebungsbildes und eines Bildes des Informationsobjektes aus dem Kamerabild;
    • - Ermitteln einer tatsächlichen Darstellung des Informationsobjektes aus dem Bild des Informationsobjektes und Vorgeben einer gewünschten Darstellung des Informationsobjektes
  • - Ermitteln eines Bewertungsmaßes für das Blickfeldanzeigesystem abhängig von einer Darstellungsgenauigkeit, die sich aus der tatsächlichen Darstellung des Informationsobjekts und der gewünschten Darstellung des Informationsobjekts ergibt.
According to a first aspect, a method for evaluating a visual field display system for the augmented contact-analogous representation of an information object in a vehicle is provided, with the following steps:
  • - providing a contact-analogous display of an information object with respect to an environmental position, which is assigned to an environmental object, by the head-up display system;
  • - capturing a camera image by a head-up camera placed at a possible eye position and aligned with a display area of the head-up display system;
  • - extracting an environment image and an image of the information object from the camera image;
    • - Determining an actual representation of the information object from the image of the information object and specifying a desired representation of the information object
  • - Determination of an evaluation measure for the field of view display system depending on a representation accuracy, which results from the actual representation of the information object and the desired representation of the information object.

Es kann vorgesehen sein, dass das Vorgeben der gewünschten Darstellung des Informationsobjektes abhängig von einer Erkennung eines oder mehrerer Umgebungsobjekte, die dem Informationsobjekt zugeordnet sind, aus dem Umgebungsbild erfolgt. Alternativ kann die gewünschte Darstellung des Informationsobjektes auch unabhängig von einem Umgebungsobjekt vorgesehen sein.It can be provided that the specification of the desired representation of the information object takes place depending on a detection of one or more surrounding objects, which are assigned to the information object, from the surrounding image. Alternatively, the desired representation of the information object can also be provided independently of an environment object.

Hierin umfasst die Darstellung des Informationsobjekts die Anzeigeposition, die Anzeigegröße und/oder die Anzeigeorientierung. Die Darstellungsgenauigkeit kann die Positionsabweichungen, Größenabweichungen und/oder Orientierungsabweichungen des angezeigten Informationsobjektes im Vergleich zur Soll-Darstellung bzw. in Bezug zu vorgegebenen Positionsabweichungen, Größenabweichungen und/oder Orientierungsabweichungen angeben.Herein the representation of the information object includes the display position, the display size and/or the display orientation. The representation accuracy can indicate the positional deviations, size deviations and/or orientation deviations of the displayed information object compared to the target representation or in relation to specified positional deviations, size deviations and/or orientation deviations.

Eine Idee des obigen Verfahrens besteht darin, eine Blickfeldkamera so anzuordnen, dass der Sichtbereich der Blickfeldkamera im Wesentlichen dem Sichtbereich eines oder mehrerer Augen eines Benutzers der Blickfeldanzeigevorrichtung entspricht. Beispielsweise kann dazu die Blickfeldkamera an einer Brille des Benutzers angeordnet sein. Durch geeignete optische Einrichtungen kann die Blickfeldkamera ein Sichtfeld erfassen, das sich um die optische Blickachse eines Auges des Benutzers erstreckt bzw. dem Sichtfeld des Benutzers entspricht.An idea of the above method is to arrange a head-up camera such that the field of view of the head-up camera substantially corresponds to the field of view of one or more eyes of a user of the head-up display device. For example, the visual field camera can be arranged on the user's glasses. By means of suitable optical devices, the field of view camera can capture a field of view that extends around the optical line of sight of an eye of the user or corresponds to the field of view of the user.

Blickt der Benutzer auf eine Anzeigefläche einer Blickfeldanzeigevorrichtung, auf der ein kontaktanaloges Informationsobjekt dargestellt wird, so erfasst die Blickfeldkamera ein gesamtes Kamerabild, das sich aufgrund der Überlagerung der Umgebung mit dem angezeigten virtuellen Informationsobjekt ergibt.If the user looks at a display area of a visual field display device on which a contact-analogous information object is displayed, then the visual field camera captures an entire camera image that results from the superimposition of the environment with the displayed virtual information object.

Ein Informationsobjekt kann einen Text, ein Symbol, eine Objektumrandung, eine Abbildung, einen Code, wie z. B. einen QR-Code, oder dergleichen umfassen.An information object can be a text, a symbol, an object border, an image, a code such as e.g. B. include a QR code, or the like.

Weiterhin kann das Extrahieren des Umgebungsbildes und des Bildes des Informationsobjektes aus dem Kamerabild durchgeführt werden, indem das Informationsobjekt in einer vorgegebenen Darstellungsart angezeigt wird, und der Bildanteil, der durch die Blickfeldkamera in der vorgegebenen Darstellungsart erfasst wird, als Bild des Informationsobjekts bestimmt wird.Furthermore, the environmental image and the image of the information object can be extracted from the camera image by displaying the information object in a specified display type and determining the image portion that is captured by the visual field camera in the specified display type as an image of the information object.

Durch Vorsehen einer bestimmten Darstellungsart der Anzeige des kontaktanalogen Informationsobjekts kann die Identifikation des angezeigten Informationsobjekts in dem Kamerabild der Blickfeldkamera erleichtert werden. Die Darstellungsart entspricht einer bestimmten Anzeigeeigenschaft.By providing a specific type of representation of the display of the contact-analog information object, the identification of the information object displayed in the camera image of the visual field camera can be facilitated. The representation type corresponds to a specific display property.

Die vorgegebene Darstellungsart kann mindestens eine der folgenden Darstellungsarten bzw. Anzeigeeigenschaften umfassen:

  • - eine periodische oder regelmäßige Variation der Anzeigehelligkeit des Informationsobjekts;
  • - eine periodische oder regelmäßige Variation einer Farbänderung des Informationsobjekts, insbesondere einer periodischen oder regelmäßigen Anzeige eines Inversbildes des Informationsobjekts oder einer periodischen oder regelmäßigen Anzeige eines farbverfremdeten Bilds des Informationsobjekts,
  • - ein periodisches oder regelmäßiges Ausblenden der Anzeige des Informationsobjekts;
  • - eine sich periodisch oder regelmäßig verändernde Polarisation des Informationsobjekts,
  • - eine sich periodisch ändernde Position, Größe und/oder Orientierung des Informationsobjekts und dergleichen dargestellt werden;
  • - eine Anzeige eines vorbestimmten Musters als das Informationsobjekt, das durch Vergleich mit einem Objektkatalog erkannt werden kann und sich von natürlichen Objekten der Fahrzeugumgebung ausreichend unterscheidet, und
  • - eine Anzeige des Informationsobjekts mit Licht einer bestimmten Polarisation. (Es ist üblich, Frontscheiben auszubilden, die bevorzugt s-polarisiertes Licht reflektieren.)
The specified display type can include at least one of the following display types or display properties:
  • - a periodic or regular variation of the display brightness of the information object;
  • - a periodic or regular variation of a color change of the information object, in particular a periodic or regular display of an inverse image of the information object or a periodic or regular display of a color-altered image of the information object,
  • - a periodic or regular hiding of the display of the information object;
  • - a periodically or regularly changing polarization of the information object,
  • - a periodically changing position, size and/or orientation of the information object and the like are displayed;
  • - a display of a predetermined pattern as the information object, which can be recognized by comparison with an object catalog and is sufficiently different from natural objects of the vehicle environment, and
  • - a display of the information object with light of a certain polarization. (It is common practice to design windscreens that preferentially reflect s-polarized light.)

Weiterhin kann eine zeitliche Abfolge der tatsächlichen Darstellung des Informationsobjekts des Informationsobjektes und der gewünschten Darstellung des Informationsobjektes, insbesondere bei einer relativen Bewegung zwischen einem Umgebungsobjekt in der Umgebung des Fahrzeugs und dem Fahrzeug, erfasst werden, wobei eine Nachführgeschwindigkeit aus den entsprechenden Änderungen der tatsächlichen Darstellung des Informationsobjekts und den Änderungen der gewünschten Darstellung des Informationsobjektes mithilfe einer Autokorrelationsfunktion bestimmt wird, wobei das Bewertungsmaß abhängig von der ermittelten Nachführgeschwindigkeit bestimmt wird. Hier kann die zeitliche Verzögerung zwischen dem Echtzeit-Anzeigezeitpunkt der Soll- Darstellung des Informationsobjekts und dem tatsächlichen Anzeigezeitpunkt der Darstellung des Informationsobjekts ermittelt und bewertet werden.Furthermore, a chronological sequence of the actual representation of the information object and the desired representation of the information object, in particular in the event of a relative movement between a surrounding object in the vicinity of the vehicle and the vehicle, can be recorded, with a tracking speed being calculated from the corresponding changes in the actual representation of the Information object and the changes in the desired representation of the information object is determined using an autocorrelation function, with the assessment criterion being determined as a function of the tracking speed determined. The time delay between the real-time display time of the target display of the information object and the actual display time of the display of the information object can be determined and evaluated here.

In oben angegebener Weise ist es möglich, das Bild der Umgebung und das angezeigte Informationsobjekt voneinander zu trennen. Durch Auswertung des Bilds der Umgebung zur Detektion und Lokalisierung von Umgebungsobjekten und der Position des angezeigten Informationsobjekts in dem Kamerabild kann nun die Bewertung der Qualität der kontaktanalogen Anzeige des Informationsobjekts vorgenommen werden. Dabei können zumindest die Darstellungsgenauigkeit des angezeigten Informationsobjekts bezogen auf eine vorgegebene Soll-Darstellung des Informationsobjekts, mit der ein Umgebungsobjekt dargestellt werden soll, bewertet werden. Bei einer dynamischen Beobachtung über einen bestimmten Zeitraum kann zudem auch die Nachführgeschwindigkeit bewertet werden, wenn sich die relativen Positionen des Umgebungsobjekts, des Fahrzeugs und/oder des Kopfes zueinander ändern. Die Änderung der relativen Positionen tritt auf bei einer Bewegung des Umgebungsobjekts und/oder einer Bewegung des Fahrzeugs (Geradeausfahrt, Kurvenfahrt, Nicken, Kippen und dergleichen), einer Bewegung des Kopfes (wodurch ein Parallaxe-Ausgleich durchgeführt werden muss) und in anderen Fällen, in denen die Anzeige des Informationsobjekts angepasst werden muss. Ein sich aus der Darstellungsgenauigkeit und ggfs. der Nachführgeschwindigkeit ergebendes Bewertungsmaß kann zur Diagnose der Qualität eines Anzeigesystems mit einer Blickfeldanzeigevorrichtung verwendet werden.In the manner indicated above, it is possible to separate the image of the environment and the displayed information object from one another. By eval The quality of the contact-analogous display of the information object can now be assessed by processing the image of the environment for detecting and localizing objects in the environment and the position of the information object displayed in the camera image. At least the display accuracy of the displayed information object can be evaluated in relation to a specified target display of the information object with which a surrounding object is to be displayed. In the case of a dynamic observation over a certain period of time, the tracking speed can also be evaluated when the relative positions of the surrounding object, the vehicle and/or the head change. The change in relative positions occurs with movement of the surrounding object and/or movement of the vehicle (going straight, cornering, pitching, tilting and the like), movement of the head (which requires parallax compensation to be performed) and in other cases, in which the display of the information object has to be adjusted. An evaluation measure resulting from the display accuracy and possibly the tracking speed can be used to diagnose the quality of a display system with a visual field display device.

Die Nachführgeschwindigkeit kann die Verzögerung einer Positionsänderung, einer Größenänderung und/oder einer Orientierungsänderung des angezeigten Informationsobjekts berücksichtigen.The tracking speed can take into account the delay in a change in position, a change in size and/or a change in orientation of the displayed information object.

Gemäß einem weiteren Aspekt ist ein Bewertungssystem zum Bewerten eines Blickfeldanzeigesystems vorgesehen, umfassend:

  • - eine Blickfeldkamera, die an einer möglichen Augenposition eines Benutzers angeordnet ist und auf einen Anzeigebereich des Blickfeldanzeigesystems ausgerichtet ist;
  • - eine Steuereinheit, die ausgebildet ist, um:
    • ◯ das Blickfeldanzeigesystem zu veranlassen, eine kontaktanaloge Anzeige eines Informationsobjektes bezüglich einer Umgebungsposition, die einem Umgebungsobjekt zugeordnet ist, bereitzustellen;
    • ◯ ein gesamtes Kamerabild mit der Blickfeldkamera zu erfassen;
    • ◯ ein Umgebungsbild und ein Bild des Informationsobjektes aus dem Kamerabild zu extrahieren;
    • ◯ eine tatsächliche Darstellung des Informationsobjektes aus dem Bild des Informationsobjektes zu ermitteln und eine gewünschte Darstellung des Informationsobjektes vorzugeben;
    • ◯ ein Bewertungsmaß für das Blickfeldanzeigesystem abhängig von einer Darstellungsgenauigkeit, die sich aus der tatsächlichen Darstellung des Informationsobjekts und der gewünschten Darstellung des Informationsobjekts ergibt, zu ermitteln.
According to a further aspect, there is provided an evaluation system for evaluating a head-up display system, comprising:
  • - a head-up camera arranged at a possible eye position of a user and aligned with a display area of the head-up display system;
  • - a control unit designed to:
    • ◯ cause the head-up display system to provide a contact analog display of an information object related to a environmental position associated with a environmental object;
    • ◯ capture an entire camera image with the line-of-sight camera;
    • ◯ extract an image of the surroundings and an image of the information object from the camera image;
    • ◯ determine an actual representation of the information object from the image of the information object and specify a desired representation of the information object;
    • ◯ to determine an evaluation measure for the visual field display system depending on a representation accuracy that results from the actual representation of the information object and the desired representation of the information object.

Figurenlistecharacter list

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

  • 1 eine schematische Darstellung eines Anzeigesystems einer Blickfeldanzeigevorrichtung in einem Kraftfahrzeug und eines Bewertungssystems zur Bewertung einer Anzeigequalität des Anzeigesystems;
  • 2 eine beispielhafte Darstellung eines Kamerabilds; und
  • 3 zeigt ein Flussdiagramm zur Veranschaulichung eines Verfahrens zur Bewertung eines Anzeigesystems mit einer Blickfeldanzeigevorrichtung.
Embodiments are explained in more detail below with reference to the accompanying drawings. Show it:
  • 1 a schematic representation of a display system of a head-up display device in a motor vehicle and an evaluation system for evaluating a display quality of the display system;
  • 2 an exemplary representation of a camera image; and
  • 3 FIG. 12 shows a flow chart for illustrating a method for evaluating a display system with a head-up display device.

Beschreibung von AusführungsformenDescription of Embodiments

1 zeigt schematisch eine Querschnittsdarstellung durch ein Blickfeldanzeigesystem 1 mit einer Head-up-Display-Einrichtung 2. Die Head-up-Display-Einrichtung 2 umfasst eine Projektionseinrichtung 21 zum Aussenden eines Projektionslichtstrahlenbündels P mit einer Bildinformation und eine transparente Abdeckung 22. Das Projektionsstrahlenbündel P ist auf einen Anzeigebereich A einer Frontscheibe 5 eines Kraftfahrzeugs gerichtet, sodass dieses dort in einen Augenbereich 8 (Eyebox) des Fahrers reflektiert wird. 1 shows a schematic cross-sectional view through a visual field display system 1 with a head-up display device 2. The head-up display device 2 comprises a projection device 21 for emitting a projection light beam P with image information and a transparent cover 22. The projection beam P is directed at a display area A of a windshield 5 of a motor vehicle, so that it is reflected there in an eye area 8 (eye box) of the driver.

Die Abdeckung 22 dient dem Schutz der Projektionseinrichtung 21 vor äußeren Einflüssen, insbesondere vor Verschmutzung. Die Abdeckung 22 der Projektionseinrichtung 21 weist eine Deckscheibe 25 auf und ist vorzugsweise gekrümmt, um einfallendes Umgebungslicht zu bündeln und zielgerichtet zu reflektieren.The cover 22 serves to protect the projection device 21 from external influences, in particular from contamination. The cover 22 of the projection device 21 has a cover plate 25 and is preferably curved in order to focus incident ambient light and to reflect it in a targeted manner.

Die Head-up-Display-Einrichtung 2 ist im Wesentlichen in eine Öffnung einer Oberseite 6 einer Instrumententafel 4 zwischen einem Lenkrad und einer Frontscheibe 5 eines Kraftfahrzeugs so eingesetzt, dass diese im Wesentlichen bündig mit der Oberseite 6 abschließt bzw. an diese angrenzt.The head-up display device 2 is essentially inserted into an opening in a top side 6 of an instrument panel 4 between a steering wheel and a windshield 5 of a motor vehicle in such a way that it ends essentially flush with the top side 6 or is adjacent to it.

Die Projektionseinrichtung 21 umfasst in bekannter Weise ein optisches System aus einem oder mehreren Spiegeln 23, gegebenenfalls Linsen (nicht gezeigt) und einen Projektor 24. Die von dem Projektor 24 ausgegebene Bildinformation wird als Projektionslichtstrahlenbündel P durch den einen oder die mehreren Spiegel 23 in die Projektionsrichtung ausgerichtet und auf den Anzeigebereich A projiziert. Das in dem Anzeigebereich A ins Auge des Fahrers reflektierte Projektionslichtstrahlenbündel P dient zur Darstellung einer entsprechenden Information für den Fahrer.The projection device 21 comprises in a known manner an optical system of one or more mirrors 23, optionally lenses (not shown) and a projector 24 or the plurality of mirrors 23 are aligned in the projection direction and projected onto the display area A. The projection light beam bundle P reflected in the display area A into the driver's eye is used to display corresponding information for the driver.

1 zeigt weiterhin eine schematische Darstellung eines Bewertungssystems 30 das mit dem Blickfeldanzeigesystem 1 und einer Blickfeldkamera 31 in Verbindung steht. Das Bewertungssystem 30 soll ermöglichen, eine Anzeige eines virtuellen Informationsobjektes in dem Anzeigebereich A hinsichtlich Darstellungsgenauigkeit und Nachführgeschwindigkeit zu bewerten. Dies ist insbesondere sinnvoll, wenn kontaktanalog Informationsobjekte auf in dem Anzeigebereich A angezeigt werden sollen. Kontaktanaloge Informationsobjekte sind Darstellungen, die aus Sicht des Betrachters, der durch den Anzeigebereich in die Umgebung des Fahrzeugs blickt, einer bestimmten Umgebungsposition oder einem bestimmten Umgebungsobjekt zugeordnet sind. Bewegt sich beispielsweise das Umgebungsobjekt relativ zum Fahrzeug so wird dieses vom Betrachter an einer sich verändernden Position durch den Anzeigebereich A wahrgenommen. Das kontaktanaloge Informationsobjekt wird entsprechend der sich verändernden Wahrnehmungsposition auf dem Anzeigebereich A nachgeführt. 1 FIG. 12 further shows a schematic representation of an evaluation system 30 which is connected to the head-up display system 1 and a head-up camera 31 . The evaluation system 30 should make it possible to evaluate a display of a virtual information object in the display area A with regard to display accuracy and tracking speed. This is particularly useful if contact-analogous information objects are to be displayed in the display area A. Contact-analogous information objects are representations that are associated with a specific environmental position or a specific environmental object from the point of view of the observer who is looking through the display area at the area surrounding the vehicle. If, for example, the surrounding object moves relative to the vehicle, this is perceived by the viewer at a changing position through the display area A. The contact-analogous information object is tracked on the display area A according to the changing perception position.

Zum Bewerten des Blickfeldanzeigesystems mit der Blickfeldanzeigevorrichtung kann eine Augenposition eines Fahrzeuginsassen insbesondere in dem Augenbereich 8 eines auf einem Fahrzeugsitz sitzenden Fahrzeuginsassen (Fahrer), eine Blickfeldkamera 31 vorgesehen sein, die in Richtung des Anzeigebereichs A der Blickfeldanzeigevorrichtung 2 ausgerichtet ist. Die Blickfeldkamera 31 befindet sich dazu an einer möglichen Augenposition bzw. nahe einer möglichen Augenposition und erfasst somit ein gesamtes Kamerabild, das von einem Benutzer, der auf die Anzeigefläche blickt, wahrgenommen wird. Es kann zudem vorgesehen sein, dass sich die Kamera genau in der/den Augpositionen befindet. Hierfür kann ein Aufbau mit einer Datenbrille und einer daran angebrachten Blickfeldkamera 31 vorgesehen sein, wobei mittels mindestens einem halbdurchlässigen Spiegel die Erfassung der Blickfeldkamera 31 unmittelbar vor die Augenposition(en) gebracht wird.To evaluate the head-up display system with the head-up display device, an eye position of a vehicle occupant, in particular in the eye area 8 of a vehicle occupant (driver) sitting on a vehicle seat, a head-up camera 31 can be provided, which is aligned in the direction of the display area A of the head-up display device 2. For this purpose, the visual field camera 31 is located at a possible eye position or close to a possible eye position and thus captures an entire camera image that is perceived by a user who is looking at the display area. Provision can also be made for the camera to be located precisely in the eye position(s). For this purpose, a structure with data glasses and a visual field camera 31 attached thereto can be provided, with the detection of the visual field camera 31 being brought directly in front of the eye position(s) by means of at least one semitransparent mirror.

Die Blickfeldkamera 31 kann an einer entsprechenden Position in der Eyebox montiert oder an einer Datenbrille 32, die ein Benutzer trägt, der sich auf einem Sitz im Fahrzeug befindet, angebracht sein. Die Bewertung der Darstellungsqualität der kontaktanalogen Anzeige des Informationsobjekts in dem Anzeigebereich A erfolgt mit dem Bewertungssystem 30, das mit dem Blickfeldanzeigesystem 1 in Kommunikationsverbindung steht.The field of view camera 31 may be mounted at an appropriate position in the eyebox or attached to smart glasses 32 worn by a user seated in the vehicle. The representation quality of the contact-analogous display of the information object in the display area A is evaluated using the evaluation system 30 , which is in communication with the visual field display system 1 .

Das Bewertungssystem 30 ist ausgebildet, um ein oder mehrere zeitlich aufeinanderfolgende Kamerabilder der Blickfeldkamera 31 zu detektieren. Das von der Blickfeldkamera 31 aufgezeichnete Kamerabild entspricht einem gesamten Kamerabild aus einer Überlagerung der Wahrnehmung der Fahrzeugumgebung (Bild der Umgebung) mit dem kontaktanalog angezeigten Informationsobjekt. Das Bewertungssystem 30 ist ausgebildet, in dem gesamten Kamerabild das angezeigte Informationsobjekt zu erkennen und von dem Bild der Umgebung zu trennen. Dadurch ist es möglich, dass das erfasste gesamte Kamerabild in ein Umgebungsbild und ein Bild des Informationsobjektes aufgeteilt wird.The evaluation system 30 is designed to detect one or more temporally consecutive camera images of the visual field camera 31 . The camera image recorded by the visual field camera 31 corresponds to an entire camera image from a superimposition of the perception of the vehicle surroundings (image of the surroundings) with the information object displayed in a contact-analogous manner. The evaluation system 30 is designed to recognize the displayed information object in the entire camera image and to separate it from the image of the surroundings. This makes it possible for the captured entire camera image to be divided into an image of the surroundings and an image of the information object.

2 zeigt eine schematische Darstellung eines gesamten Kamerabilds G aus einem Umgebungsbild mit Umgebungsobjekten U und einem Informationsobjekt O zur Anzeige mit Positionsbezug zu dem Umgebungsobjekt U. Das Informationsobjekt O überlagert die Wahrnehmung der Umgebung. Die Größe des gesamten Kamerabilds G entspricht einem Teil oder dem gesamten Anzeigebereich A. 2 shows a schematic representation of an entire camera image G from an environmental image with environmental objects U and an information object O for display with a position reference to the environmental object U. The information object O overlays the perception of the environment. The size of the entire camera image G corresponds to part or all of the display area A.

Das Umgebungsobjekt befindet sich an einer Objektposition OP, während das Informationsobjekt U entsprechend an einer Anzeigeposition die Umgebung überlagernd angezeigt werden soll. Die Anzeigeposition kann zu der Objektposition versetzt sein oder das Umgebungsobjekt ganz oder teilweise überlagern oder ganz oder teilweise umgeben.The surrounding object is located at an object position OP, while the information object U is to be displayed correspondingly at a display position, superimposed on the environment. The display position may be offset from the object position or entirely or partially overlay or entirely or partially surround the surrounding object.

Das Bewertungssystem 30 bewertet nun die Darstellungstreue/ Darstellungsgenauigkeit des angezeigten Informationsobjekts O mit Bezug auf die Umgebung insbesondere mit Bezug auf ein oder mehrere Umgebungsobjekte O, die in dem gesamten Kamerabild G erkannt werden können. Durch wiederholtes Ausführen der Ermittlung der Darstellungsgenauigkeit des angezeigten Informationsobjektes O bezogen auf ein dem Informationsobjektes O zugeordneten Umgebungsobjekt U auf zeitlich nacheinander aufgezeichnete Kamerabilder kann eine Nachführgeschwindigkeit der Darstellung des angezeigten Informationsobjektes O zu der Darstellung m Umgebungsobjekt U bei einem sich bewegenden Fahrzeug und/oder einem sich bewegenden Umgebungsobjekt U beispielsweise durch Anwenden einer Autokorrelationsfunktion ebenfalls ermittelt werden.The evaluation system 30 now evaluates the representation fidelity/representation accuracy of the displayed information object O with reference to the surroundings, in particular with reference to one or more surrounding objects O, which can be recognized in the entire camera image G. By repeatedly determining the display accuracy of the displayed information object O in relation to a surrounding object U assigned to the information object O on sequentially recorded camera images, a tracking speed of the display of the displayed information object O to the display of the surrounding object U can be increased for a moving vehicle and/or a moving environmental object U can also be determined, for example, by applying an autocorrelation function.

Die Autokorrelationsfunktion ergibt einen zeitlichen Versatz, der die Verzögerung angibt, mit der die Darstellung des Informationsobjekts bezüglich der gewünschten Darstellung des Informationsobjekts bezogen auf Echtzeit verzögert dargestellt wird.The autocorrelation function results in a time offset that specifies the delay with which the display of the information object is displayed with a delay in relation to the desired display of the information object in relation to real time.

Die Darstellungsgenauigkeit sowie die Nachführgeschwindigkeit können gemäß einer Bewertungsfunktion in ein Bewertungsmaß umgerechnet werden, das zur Diagnose und zur Qualitätsbewertung des Blickfeldanzeigesystems 1 verwendet werden kann.The representation accuracy and the tracking speed can be converted into an evaluation measure according to an evaluation function which can be used for diagnosis and quality assessment of the head-up display system 1.

Das Informationsobjekt O kann aus dem gesamten Kamerabild G mithilfe von herkömmlichen Mustererkennungsverfahren erkannt bzw. extrahiert werden. Um die Erkennung zu erleichtern, kann das Informationsobjekt O jedoch mit einer Bildeigenschaft dargestellt werden, die es dem Bewertungssystem in einfacher Weise ermöglicht, das Informationsobjekt O von dem Umgebungsbild zu trennen. Dazu kann das Bewertungssystem 30 das Blickfeldanzeigesystem 1 entsprechend ansteuern. So kann beispielsweise das Informationsobjekt O auch gemäß einem periodischen Anzeigemuster dargestellt werden. Beispielsweise können periodische Farbänderungen oder eine inverse Darstellung des Informationsobjekts eine eindeutige Unterscheidung zwischen dem Informationsobjekt O und dem einen oder den mehreren Umgebungsobjekten U bzw. dem Umgebungsbild ermöglichen. Auch kann eine periodische Helligkeitsänderung, insbesondere das periodische Unterbrechen der Anzeige des Informationsobjektes O, für einen kurzen, nicht von einem Betrachter wahrnehmbaren Zeitraum vorgenommen werden. Bildpunkte des gesamten Kamerabilds, die ein derartiges Anzeigemuster aufweisen, können dann dem Informationsobjekt O zugeordnet werden.The information object O can be recognized or extracted from the entire camera image G using conventional pattern recognition methods. However, in order to facilitate recognition, the information object O can be represented with an image property that enables the evaluation system to separate the information object O from the surrounding image in a simple manner. For this purpose, the evaluation system 30 can control the visual field display system 1 accordingly. For example, the information object O can also be displayed according to a periodic display pattern. For example, periodic color changes or an inverse representation of the information object can enable a clear differentiation between the information object O and the one or more surrounding objects U or the surrounding image. A periodic change in brightness, in particular the periodic interruption of the display of the information object O, can also be carried out for a short period of time that cannot be perceived by a viewer. Pixels of the entire camera image that have such a display pattern can then be assigned to the information object O.

Auch kann das Informationsobjekt in polarisiertem Licht dargestellt werden, und durch eine separate Blickfeldkamera oder einen schaltbaren Polarisationsfilter vor der Blickfeldkamera 31 separat detektiert werden, sodass durch Subtraktion von Kamerabildern aus einer ohne Polarisationsfilter erzeugten Bildaufnahme und einer mit Polarisationsfilter erzeugten Bildaufnahme das Umgebungsbild und die Abbildung des Informationsobjekts erhalten werden können.The information object can also be displayed in polarized light and detected separately by a separate field of view camera or a switchable polarization filter in front of the field of view camera 31, so that by subtracting camera images from an image recorded without a polarization filter and an image recorded with a polarization filter, the surrounding image and the image of the Information object can be obtained.

Insbesondere können zwei Blickfeldkameras vorgesehen sein, deren Blickwinkel mithilfe eines halbdurchlässigen Spiegels übereinandergelegt sind, wobei eine der Blickfeldkamera mit einem Polarisationsfilter versehen ist. Die Blickfeldkamera 31 ohne den Polarisationsfilter, kann dann das gesamte Kamerabild aufzeichnen, während die mit dem Polarisationsfilter (gleiche Polarisationsart wie das angezeigte Informationsobjekt) versehene Blickfeldkamera 31 das dargestellte Informationsobjekt nicht wahrnimmt und nur das Umgebungsbild aufzeichnet. Dadurch kann durch Subtraktion der beiden Kamerabilder die Darstellung des Informationsobjektes O von der Wahrnehmung der Umgebung extrahiert werden.In particular, two field of view cameras can be provided, the viewing angles of which are superimposed using a semi-transparent mirror, one of the field of view cameras being provided with a polarization filter. The visual field camera 31 without the polarization filter can then record the entire camera image, while the visual field camera 31 provided with the polarization filter (same polarization type as the displayed information object) does not perceive the displayed information object and only records the surrounding image. As a result, the representation of the information object O can be extracted from the perception of the surroundings by subtracting the two camera images.

In 3 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Bewertungssystems 30 schematisch dargestellt.In 3 a flowchart for illustrating a method for operating the evaluation system 30 is shown schematically.

In Schritt S1 wird die kontaktanaloge Anzeige eines Informationsobjekts O in dem Anzeigebereich des Blickfeldanzeigesystems 1 gestartet. Für die kontaktanaloge Anzeige des Informationsobjektes wird durch die Steuereinheit 25 des Blickfeldanzeigesystems 1 eine Augenpose eines Benutzers erfasst und das Informationsobjekt an einer Anzeigeposition in dem Anzeigebereich A angezeigt, die sich aus der Augenposition des Benutzers und einer Umgebungsposition ergibt, die vorgegeben sein kann oder bezogen auf der Position eines erkannten Umgebungsobjekts ermittelt wird. Insbesondere wird aus der Umgebungsposition eine gewünschte Darstellung des Informationsobjekts O ermittelt, die beispielsweise zu der Umgebungsposition versetzt ist, um das kontaktanaloge Informationsobjekt O neben der betreffenden Umgebungsposition oder neben dem erkannten Umgebungsobjekt U anzuzeigen. Das Informationsobjekt O wird dann idealerweise an dem Schnittpunkt einer Sichtlinie zwischen der Augenposition und der Anzeigeposition in dem Anzeigebereich A angezeigt.In step S1, the contact-analog display of an information object O in the display area of the head-up display system 1 is started. For the contact-analogous display of the information object, an eye pose of a user is detected by the control unit 25 of the visual field display system 1 and the information object is displayed at a display position in the display area A, which results from the user's eye position and an environmental position, which can be specified or related to the position of a recognized object in the surroundings is determined. In particular, a desired representation of the information object O is determined from the environmental position, which is offset from the environmental position, for example, in order to display the contact-analogous information object O next to the relevant environmental position or next to the recognized environmental object U. The information object O is then ideally displayed in the display area A at the intersection of a line of sight between the eye position and the display position.

Die Darstellung des Informationsobjektes O wird kontinuierlich aktualisiert, sodass bei einem sich bewegenden Fahrzeug und/oder einem sich bewegenden Umgebungsobjekt U und/oder einer sich ändernden Kopfpose bzw. Augenposition die Anzeigeposition des Informationsobjektes O auf dem Anzeigebereich A nachgeführt wird.The display of the information object O is continuously updated so that the display position of the information object O on the display area A is tracked when the vehicle and/or a moving surrounding object U and/or a changing head pose or eye position is moving.

In Schritt S2 wird zunächst durch die Blickfeldkamera 31 der Anzeigebereich A und das Kamerabild eines Bilds der Umgebung und eines dieses überlagernden Informationsobjekts O aufgezeichnet.In step S2, the field of view camera 31 first records the display area A and the camera image of an image of the surroundings and an information object O superimposed thereon.

Mithilfe eines der oben beschriebenen Verfahren kann in Schritt S3 das Bild des Informationsobjektes O aus dem Kamerabild separiert bzw. extrahiert werden. Dies kann durch Erkennen einer Darstellungsart des Informationsobjektes O erfolgen. Das Bewertungssystem 30 steuert dazu die Steuereinheit 25 des Blickfeldanzeigesystems 1 entsprechend an, um das Informationsobjekt gemäß der Darstellungsart auszugeben. Aus dem Bild des Informationsobjektes O kann die tatsächliche Darstellung des Informationsobjektes O, d. h. zumindest dessen Anzeigeposition aber auch ggfs. dessen Anzeigegröße und Anzeigeorientierung ermittelt werden.Using one of the methods described above, the image of the information object O can be separated or extracted from the camera image in step S3. This can be done by recognizing a type of representation of the information object O. For this purpose, the evaluation system 30 controls the control unit 25 of the visual field display system 1 accordingly in order to output the information object according to the type of representation. From the image of the information object O, the actual representation of the information object O, i. H. at least its display position but also, if necessary, its display size and display orientation are determined.

In Schritt S4 wird ein zu identifizierendes Umgebungsobjekt U, zu dem das Informationsobjekt O kontaktanalog angezeigt werden soll, mithilfe von an sich bekannten Mustererkennungsverfahren aus dem Umgebungsbild erkannt und die Objektposition des Umgebungsobjekts entsprechend mit an sich bekannten Verfahren ermittelt. Alternativ kann auch eine Umgebungsposition vorgegeben werden.In step S4, a surrounding object U to be identified, for which the information object O is to be displayed contact-analogously, is recognized from the surrounding image using known pattern recognition methods and the object position of the surrounding object is determined accordingly using known methods. Alternatively, a surrounding position can also be specified.

In Schritt S5 werden aus einer oder mehreren Objektpositionen bzw. aus einer Umgebungsposition die Anzeigeposition, und ggfs. die Anzeigegröße und/oder die Anzeigeorientierung des anzuzeigenden Informationsobjekts gemäß einer vorgegebenen Anzeigevorschrift bestimmt. Die Anzeigeposition kann eine der Objektpositionen oder die Umgebungsposition ganz oder teilweise überlagern oder einen vorbestimmten Versatz zu einer der Objektpositionen aufweisen.In step S5, the display position and, if necessary, the display size and/or the display orientation of the information object to be displayed are determined from one or more object positions or from a surrounding position according to a predefined display specification. The display position can completely or partially overlay one of the object positions or the environmental position or have a predetermined offset to one of the object positions.

In Schritt S6 wird basierend auf einer Augenposition, die das Bewertungssystem von der Steuereinheit 25 des Blickfeldanzeigesystems 1 erhalten kann, eine gewünschte Darstellung (Soll-Darstellung) des Informationsobjektes O ermittelt. Die gewünschte Darstellung kann mindestens eine der Angaben umfassen: die Soll- Anzeigeposition, die Soll-Anzeigegröße, die Soll-AnzeigeorientierungIn step S6, a desired representation (target representation) of the information object O is determined based on an eye position, which the evaluation system can obtain from the control unit 25 of the head-up display system 1 . The desired display can include at least one of the following: the target display position, the target display size, the target display orientation

In Schritt S7 wird die Abweichung der tatsächlichen Darstellung (Anzeigeposition, die Anzeigegröße, die Anzeigeorientierung) und der gewünschten Darstellung (Soll-Anzeigeposition, die Soll-Anzeigegröße, die Soll-Anzeigeorientierung) als eine Darstellungsgenauigkeit ermittelt und diese entsprechend mit einem Bewertungsmaß bewertet. Insgesamt kann die Qualität des Blickfeldanzeigesystems 1 umso besser bewertet werden, je geringer die Abweichungen bezüglich der Anzeigeposition, der Anzeigegröße und der Anzeigeorientierung von der gewünschten Darstellung ist.In step S7, the deviation of the actual display (display position, display size, display orientation) and the desired display (target display position, target display size, target display orientation) is determined as a display accuracy and this is evaluated accordingly with a rating. Overall, the quality of the field of view display system 1 can be assessed better the smaller the deviations from the desired representation with regard to the display position, the display size and the display orientation.

Durch wiederholtes Ausführen der Ermittlung der Abweichung von dem vorgegebenen Referenzwert kann ein Verlauf der Darstellungsgenauigkeit, insbesondere bei einem sich relativ zum Fahrzeug bewegenden Umgebungsobjekt bestimmt werden. Die Nachführgeschwindigkeit kann beispielsweise durch Anwenden einer Autokorrelationsfunktion zwischen der Änderung der tatsächlichen Darstellung und der Änderung der gewünschten Darstellung des betreffenden Informationsobjekts O bestimmt werden. Die Autokorrelationsfunktion ergibt einen zeitlichen Versatz (Nachlaufzeit), der die Verzögerung angibt, mit der die Darstellung des Informationsobjekts bezüglich der gewünschten Darstellung des Informationsobjekts O bezogen auf Echtzeit verzögert dargestellt wird.By repeatedly determining the deviation from the specified reference value, a course of the representation accuracy can be determined, in particular in the case of a surrounding object moving relative to the vehicle. The tracking speed can be determined, for example, by applying an autocorrelation function between the change in the actual representation and the change in the desired representation of the information object O in question. The autocorrelation function results in a time offset (delay time) which indicates the delay with which the display of the information object is displayed with a delay in relation to the desired display of the information object O in relation to real time.

Aus der Darstellungsgenauigkeit bei einem statischen Umgebungsobjekt U bzw. aus einem Mittelwert der Darstellungsgenauigkeiten bei einem sich bewegenden Umgebungsobjekt U und der ermittelten Nachführgeschwindigkeit kann mithilfe einer Bewertungsfunktion ein Bewertungsmaß ermittelt werden, das die Qualität des Blickfeldanzeigesystems 1 angibt. Das Bewertungsmaß kann mindestens eine der folgenden Größen, insbesondere gewichtet berücksichtigen: die Abweichungen der Anzeigeposition, die Abweichung der Anzeigegröße, die Abweichung der Anzeigeorientierung zu einem oder mehreren Zeitpunkten, der Höhe des Mittelwerts der obigen Abweichungen (real oder betragsmäßig), der zeitliche Versatz hinsichtlich Anzeigeposition, der Anzeigegröße und der Anzeigeorientierung.From the display accuracy for a static surrounding object U or from a mean value of the display accuracy for a moving surrounding object U and the determined tracking speed, an evaluation measure can be determined using an evaluation function, which indicates the quality of the visual field display system 1 . The evaluation measure can take into account at least one of the following variables, in particular weighted: the deviations in the display position, the deviation in the display size, the deviation in the display orientation at one or more points in time, the level of the mean value of the above deviations (real or absolute), the time offset with regard to display position, display size and display orientation.

Dieses Bewertungsmaß kann in Schritt S8 signalisiert werden und zudem für eine Diagnose des Anzeigesystems verwendet werden, sodass ein Fehler signalisiert wird, wenn das Bewertungsmaß eine zu große Abweichung der Darstellungsgenauigkeit und / oder der Nachführgeschwindigkeit angibt.This evaluation measure can be signaled in step S8 and can also be used for a diagnosis of the display system, so that an error is signaled if the evaluation measure indicates an excessive deviation in the display accuracy and/or the tracking speed.

Zur Automatisierung können sowohl Informationsobjekte als auch Umgebungsobjekte U mithilfe einer Computer-Vision-Software ausgewertet und miteinander verglichen werden.For automation, both information objects and environmental objects U can be evaluated and compared with one another using computer vision software.

BezugszeichenlisteReference List

11
Blickfeldanzeigesystemhead-up display system
22
Head-up-Display EinrichtungHead-up display facility
2121
Projektionseinrichtungprojection device
2222
transparente Abdeckungtransparent cover
2323
Spiegelmirror
2424
Projektorprojector
2525
Steuereinheitcontrol unit
44
Instrumententafeldashboard
55
Frontscheibewindscreen
66
Oberseitetop
3030
BewertungssystemRating System
3131
Blickfeldkamerafield of view camera
3232
Datenbrilledata glasses
OO
Informationsobjektinformation object
Uu
Umgebungsobjektenvironment object

Claims (10)

Verfahren zum Bewerten eines Blickfeldanzeigesystems (1) für die augmentierte kontaktanaloge Darstellung eines Informationsobjektes (O) in einem Fahrzeug, mit folgenden Schritten: - Bereitstellen (S1) einer kontaktanalogen Anzeige eines Informationsobjektes (O) bezüglich einer Umgebungsposition, die einem Umgebungsobjekt (U) zugeordnet ist, durch das Blickfeldanzeigesystem (1); - Erfassen (S2) eines Kamerabildes durch eine Blickfeldkamera (31), die an einer möglichen Augenposition angeordnet und auf einen Anzeigebereich des Blickfeldanzeigesystems (1) ausgerichtet ist; - Extrahieren (S3) eines Umgebungsbildes und eines Bildes des Informationsobjektes aus dem Kamerabild; - Ermitteln (S5, S6) einer tatsächlichen Darstellung des Informationsobjektes (O) aus dem Bild des Informationsobjektes (O) und Vorgeben einer gewünschten Darstellung des Informationsobjektes (O); und - Ermitteln (S7, S8) eines Bewertungsmaßes für das Blickfeldanzeigesystem (1) abhängig von einer Darstellungsgenauigkeit, die sich aus der tatsächlichen Darstellung und der gewünschten Darstellung ergibt.Method for evaluating a visual field display system (1) for the augmented contact-analogous representation of an information object (O) in a vehicle, with the following steps: - Providing (S1) a contact-analogous display of an information object (O) with respect to an environmental position assigned to an environmental object (U). is, through the head-up display system (1); - capturing (S2) a camera image by a head-up camera (31) arranged at a possible eye position and aimed at a display area of the head-up display system (1); - Extracting (S3) an image of the surroundings and an image of the information object from the camera image; - determining (S5, S6) an actual representation of the information object (O) from the image of the information object (O) and specifying a desired representation of the information object (O); and - determining (S7, S8) an evaluation measure for the field of view display system (1) as a function of a display accuracy which results from the actual display and the desired display. Verfahren nach Anspruch 1, wobei das Vorgeben der gewünschten Darstellung des Informationsobjektes (O) abhängig von einer Erkennung eines oder mehrerer Umgebungsobjekte (U), die dem Informationsobjekt (O) zugeordnet sind, aus dem Umgebungsbild erfolgt.procedure after claim 1 , wherein the specification of the desired representation of the information object (O) depends on a detection of one or more surrounding objects (U) that are assigned to the information object (O) from the surrounding image. Verfahren nach Anspruch 1 oder 2, wobei die Darstellung des Informationsobjekts die Anzeigeposition, die Anzeigegröße und/oder die Anzeigeorientierung umfasst.procedure after claim 1 or 2 , wherein the representation of the information object includes the display position, the display size and/or the display orientation. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Darstellungsgenauigkeit die Positionsabweichung, Größenabweichungen und/oder Orientierungsabweichungen des angezeigten Informationsobjektes (O) im Vergleich zu vorgegebenen Positionsabweichungen, Größenabweichungen und/oder Orientierungsabweichungen angibt.Procedure according to one of Claims 1 until 3 , wherein the display accuracy indicates the position deviation, size deviation and/or orientation deviation of the displayed information object (O) in comparison to predetermined position deviations, size deviation and/or orientation deviation. Verfahren nach einem der Ansprüche 1 bis 4, wobei das Extrahieren des Umgebungsbildes und des Bildes des Informationsobjektes (O) aus dem Kamerabild durchgeführt wird, indem das Informationsobjekt (O) in einer vorgegebenen Darstellungsart angezeigt wird, und der Bildanteil, der durch die Blickfeldkamera (31) in der vorgegebenen Darstellungsart erfasst wird, als Bild des Informationsobjekts (O) bestimmt wird.Procedure according to one of Claims 1 until 4 , wherein the environmental image and the image of the information object (O) are extracted from the camera image by displaying the information object (O) in a specified representation type, and the image portion that is captured by the visual field camera (31) in the specified representation type , is determined as the image of the information object (O). Verfahren nach Anspruch 5, wobei die vorgegebene Darstellungsart mindestens eine der folgenden Darstellungsarten umfasst: - eine periodische oder regelmäßige Variation der Anzeigehelligkeit des Informationsobjekts; - eine periodische oder regelmäßige Variation einer Farbänderung des Informationsobjekts (O), insbesondere einer periodischen oder regelmäßigen Anzeige eines Inversbildes des Informationsobjekts (O) oder einer periodischen oder regelmäßigen Anzeige eines farbverfremdeten Bilds des Informationsobjekts (O); - ein periodisches oder regelmäßiges Ausblenden der Anzeige des Informationsobjekts (O); - eine sich periodisch ändernde Position, Größe und/oder Orientierung des Informationsobjekts (O) und dergleichen dargestellt werden; - eine Anzeige eines vorbestimmten Musters als das Informationsobjekt, das durch Vergleich mit einem Objektkatalog erkannt werden kann und sich von natürlichen Objekten der Fahrzeugumgebung ausreichend unterscheidet, und - eine Anzeige des Informationsobjekts mit Licht einer bestimmten Polarisation.procedure after claim 5 , wherein the specified type of representation comprises at least one of the following types of representation: - a periodic or regular variation of the display brightness of the information object; - A periodic or regular variation of a color change of the information object (O), in particular a periodic or regular display of an inverse image of the information object (O) or a periodic or regular display of a color-altered image of the information object (O); - A periodic or regular hiding of the display of the information object (O); - A periodically changing position, size and/or orientation of the information object (O) and the like are displayed; - a display of a predetermined pattern as the information object, which can be recognized by comparison with an object catalog and is sufficiently different from natural objects in the vehicle environment, and - a display of the information object with light of a specific polarization. Verfahren nach einem der Ansprüche 1 bis 6, wobei eine zeitliche Abfolge der tatsächlichen Darstellung des Informationsobjektes (O) und der gewünschten Darstellung des Informationsobjektes (O), insbesondere bei einer relativen Bewegung zwischen einem Umgebungsobjekt in der Umgebung des Fahrzeugs und/oder dem Fahrzeug und/oder der möglichen Augenposition erfasst wird, wobei eine Nachführgeschwindigkeit aus den entsprechenden Änderungen der tatsächlichen Darstellungen und den Änderungen der gewünschten Darstellungen des Informationsobjektes (O) insbesondere mithilfe einer Autokorrelationsfunktion bestimmt wird, wobei das Bewertungsmaß abhängig von der Nachführgeschwindigkeit bestimmt wird.Procedure according to one of Claims 1 until 6 , wherein a chronological sequence of the actual representation of the information object (O) and the desired representation of the information object (O), in particular in the case of a relative movement between a surrounding object in the vicinity of the vehicle and/or the vehicle and/or the possible eye position is recorded, wherein a tracking speed is determined from the corresponding changes in the actual representations and the changes in the desired representations of the information object (O), in particular with the aid of an autocorrelation function, the evaluation measure being determined as a function of the tracking speed. Verfahren nach Anspruch 7, wobei die Nachführgeschwindigkeit die Verzögerung einer Positionsänderung, einer Größenänderung und/oder einer Orientierungsänderung des angezeigten Informationsobjekts (O) berücksichtigt.procedure after claim 7 , wherein the tracking speed takes into account the delay in a change in position, a change in size and/or a change in orientation of the displayed information object (O). Verfahren nach einem der Ansprüche 1 bis 8, wobei das Bewertungsmaß mindestens eine der folgenden Größen, insbesondere gewichtet berücksichtigt: die Abweichungen der Anzeigeposition, die Abweichung der Anzeigegröße, die Abweichung der Anzeigeorientierung zu einem oder mehreren Zeitpunkten, der Höhe des Mittelwerts der obigen Abweichungen (real oder betragsmäßig), der zeitlichen Versatz hinsichtlich Anzeigeposition, der Anzeigegröße und der Anzeigeorientierung.Procedure according to one of Claims 1 until 8th , whereby the assessment measure takes into account at least one of the following variables, in particular weighted: the deviations in the display position, the deviation in the display size, the deviation in the display orientation at one or more points in time, the height of the mean value of the above deviations (real or absolute), the time offset in terms of display position, display size and display orientation. Bewertungssystem zum Bewerten eines Blickfeldanzeigesystems (1), umfassend: - eine Blickfeldkamera (31), die an einer möglichen Augenposition eines Benutzers angeordnet ist und auf einen Anzeigebereich des Blickfeldanzeigesystems ausgerichtet ist; - eine Steuereinheit, die ausgebildet ist, um ◯ das Blickfeldanzeigesystem zu veranlassen, eine kontaktanaloge Anzeige eines Informationsobjektes bezüglich einer Umgebungsposition, die einem Umgebungsobjekt zugeordnet ist, bereitzustellen; ◯ ein Kamerabild mit der Blickfeldkamera (31) zu erfassen; ◯ ein Umgebungsbild und ein Bild des Informationsobjektes (O) aus dem Kamerabild zu extrahieren; ◯ eine tatsächliche Darstellung des Informationsobjektes (O) aus dem Bild des Informationsobjektes (O) zu ermitteln und eine gewünschte Darstellung des Informationsobjektes (O) vorzugeben; ◯ ein Bewertungsmaß für das Blickfeldanzeigesystem abhängig von einer Positioniergenauigkeit, die sich aus der tatsächlichen Anzeigeposition und der gewünschten Anzeigeposition ergibt, zu ermitteln.An evaluation system for evaluating a head-up display system (1), comprising: - a head-up camera (31) arranged at a possible eye position of a user and aimed at a display area of the head-up display system; - A control unit that is designed to cause the visual field display system to provide a contact-analogous display of an information object with respect to an environmental position that is associated with an environmental object; ◯ capture a camera image with the visual field camera (31); ◯ to extract an environment image and an image of the information object (O) from the camera image; ◯ to determine an actual representation of the information object (O) from the image of the information object (O) and a desired representation of the information object (O) to specify; ◯ to determine an evaluation measure for the head-up display system depending on a positioning accuracy that results from the actual display position and the desired display position.
DE102021103754.9A 2021-02-17 2021-02-17 Method and device for checking an augmented reality display on a head-up display device Pending DE102021103754A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021103754.9A DE102021103754A1 (en) 2021-02-17 2021-02-17 Method and device for checking an augmented reality display on a head-up display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021103754.9A DE102021103754A1 (en) 2021-02-17 2021-02-17 Method and device for checking an augmented reality display on a head-up display device

Publications (1)

Publication Number Publication Date
DE102021103754A1 true DE102021103754A1 (en) 2022-08-18

Family

ID=82610546

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021103754.9A Pending DE102021103754A1 (en) 2021-02-17 2021-02-17 Method and device for checking an augmented reality display on a head-up display device

Country Status (1)

Country Link
DE (1) DE102021103754A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017220268A1 (en) 2017-11-14 2019-05-16 Volkswagen Aktiengesellschaft Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE102019208649B3 (en) 2019-06-13 2020-01-02 Volkswagen Aktiengesellschaft Control of a display of an augmented reality head-up display device for a motor vehicle
DE102018130150A1 (en) 2018-11-28 2020-05-28 Valeo Schalter Und Sensoren Gmbh Head-Up Display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017220268A1 (en) 2017-11-14 2019-05-16 Volkswagen Aktiengesellschaft Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE102018130150A1 (en) 2018-11-28 2020-05-28 Valeo Schalter Und Sensoren Gmbh Head-Up Display
DE102019208649B3 (en) 2019-06-13 2020-01-02 Volkswagen Aktiengesellschaft Control of a display of an augmented reality head-up display device for a motor vehicle

Similar Documents

Publication Publication Date Title
DE112016003357B4 (en) Projection type display device, projection display method and projection display program
DE102013208971A1 (en) Apparatus and method for projecting image information into a field of view of a vehicle occupant of a vehicle
DE102018215185B3 (en) Method, apparatus and computer-readable storage medium with instructions for setting a head-up display in a motor vehicle, adjusting device for use in such a method or with such a device
WO2012152475A1 (en) Method and device for calibrating a projection device of a vehicle
DE112017005111T5 (en) Board display controller
DE102014226185B4 (en) Method and line of sight recognition system for determining a line of sight of a person, and use of the line of sight recognition system in a motor vehicle
DE102007001266A1 (en) Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
DE102020124756B4 (en) Method and device for calibrating a virtual image
DE102011075702A1 (en) Method for aligning projection of projection device of motor vehicle, involves determining deviation between position of specific image and position of object regarding viewpoint of occupants
DE102017220268B4 (en) Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE102015008887A1 (en) Method and device for calibrating a head-up display in a vehicle
EP3559725A1 (en) Head-up display device for a motor vehicle, method, device and computer-readable recording medium with instructions for controlling a display of a head-up display device
WO2019042778A1 (en) Augmented reality glasses, method for determining a pose of augmented reality glasses, and motor vehicle suitable for using the augmented reality glasses or the method
DE102017208806B3 (en) External representation of image recordings of a vehicle interior in a VR glasses
DE102014207398A1 (en) Object association for contact-analogue display on an HMD
WO2018077520A1 (en) Method and device for operating a display system comprising a head-mounted display
EP4083681A1 (en) Aperture for adjusting the position of a virtual image projected onto a windscreen of a vehicle by means of a head-up display
DE102009003220B4 (en) Procedure for collision warning and collision warning device
DE102018217673B3 (en) Method and system for setting a virtual image
DE102021103754A1 (en) Method and device for checking an augmented reality display on a head-up display device
DE102019103360A1 (en) Method and device for operating a display system with data glasses
DE102020129068A1 (en) Method and device for determining an installation pose of an inertial sensor system in data glasses and data glasses
DE102020003921A1 (en) Method for calibrating a head-up display and a vehicle with such a head-up display
DE102016225262A1 (en) Method and device for operating a display system with data glasses
DE102019112189A1 (en) Method and device for displaying an information object in augmented reality data glasses

Legal Events

Date Code Title Description
R163 Identified publications notified