DE102016214046A1 - Method for operating a driver assistance system with data glasses and a display system with data glasses - Google Patents

Method for operating a driver assistance system with data glasses and a display system with data glasses Download PDF

Info

Publication number
DE102016214046A1
DE102016214046A1 DE102016214046.9A DE102016214046A DE102016214046A1 DE 102016214046 A1 DE102016214046 A1 DE 102016214046A1 DE 102016214046 A DE102016214046 A DE 102016214046A DE 102016214046 A1 DE102016214046 A1 DE 102016214046A1
Authority
DE
Germany
Prior art keywords
vehicle
foreign objects
data glasses
display
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016214046.9A
Other languages
German (de)
Inventor
Matthias Roland Kaufmann
Michael Graef
Wolfgang Spießl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102016214046.9A priority Critical patent/DE102016214046A1/en
Publication of DE102016214046A1 publication Critical patent/DE102016214046A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/20—Direction indicator values
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille, mit folgenden Schritten: – Erfassen eines oder mehrerer Fremdobjekte in einer Fahrzeugumgebung; – Durchführen einer Sichtverdeckungserkennung für die erfassten Fremdobjekte, um durch ein oder mehrere Fahrzeugteile des Kraftfahrzeugs verdeckte Fremdobjekte zu identifizieren; – für eines oder mehrere der identifizierten verdeckten Fremdobjekte, Anzeigen eines dem betreffenden identifizierten Fremdobjekt zugeordneten Anzeigesymbols an einer vorgegebenen fahrzeugfesten Position in der Datenbrille.The invention relates to a method for operating a display system with data glasses, comprising the following steps: detecting one or more foreign objects in a vehicle environment; - performing visual blind detection for the detected foreign objects to identify obscured foreign objects by one or more vehicle parts of the motor vehicle; For one or more of the identified covert foreign objects, displaying a display symbol associated with the identified foreign object at a predetermined vehicle fixed position in the data goggles.

Description

Technisches Gebiet Technical area

Die Erfindung betrifft Datenbrillen zur Verwendung in einem Kraftfahrzeug sowie Fahrerassistenzsysteme, die aus einer Blickposition eines Fahrers des Kraftfahrzeugs verdeckte Fremdobjekte wahrnehmen. The invention relates to data glasses for use in a motor vehicle as well as driver assistance systems that perceive hidden foreign objects from a viewing position of a driver of the motor vehicle.

Technischer Hintergrund Technical background

Allgemein sind Fahrerassistenzsysteme bekannt, die eine Fahrzeugumgebung erfassen und vor Fremdobjekten, wie anderen Verkehrsteilnehmern und stehenden Hindernissen, situationsabhängig warnen, wie beispielsweise bei einem durch Setzen eines Blinkers angezeigten Spurwechsel, wenn ein anderer Verkehrsteilnehmer sich in einem toten Winkel befindet oder dergleichen. In general, driver assistance systems are known which detect a vehicle environment and warn of foreign objects, such as other road users and stationary obstacles, situation-dependent, such as in a displayed by setting a turn signal lane change when another road user is in a blind spot or the like.

Zur Erfassung einer Umgebungssituation sind zahlreiche Umfelderkennungssensoriken bekannt, mit denen statische Fremdobjekte, wie Gebäude, Fahrbahnmarkierungen und feststehende Hindernisse, und dynamische Fremdobjekte, wie Fremdfahrzeuge und sonstige Verkehrsteilnehmer, erkannt werden können. Beispielsweise können solche Sensoriken LiDAR-, Radar-, Ultraschallsensor- oder kamerabasierte Systeme umfassen. Numerous environmental detection sensors are known for detecting an environmental situation with which static foreign objects, such as buildings, road markings and fixed obstacles, and dynamic foreign objects, such as other vehicles and other road users, can be detected. For example, such sensors may include LiDAR, radar, ultrasound sensor, or camera-based systems.

Weiterhin sind Datenbrillen bekannt, um abhängig von einer Pose (Ausrichtung und Position) eines Kopfes eines Trägers einer solchen Datenbrille, wie beispielsweise einem Fahrer eines Kraftfahrzeugs, kontaktanaloge Informationen anzuzeigen, insbesondere als ein Bild, das eine Wahrnehmung einer Realumgebung überlagert. Eine kontaktanaloge Darstellung entspricht einer Darstellung einer Information auf eine Anzeige der Datenbrille, die einem Fremdobjekt oder einer Position in der Realumgebung so zugeordnet ist, dass die Information stets in örtlicher Nähe zu dem betreffenden Fremdobjekt oder das Fremdobjekt überlagernd bzw. an der Position dargestellt wird unabhängig von der Position und Blickrichtung des Trägers der Datenbrille. Furthermore, data glasses are known to display contact-analogue information depending on a pose (orientation and position) of a head of a wearer of such data glasses, such as a driver of a motor vehicle, in particular as an image superimposing a perception of a real environment. A contact-analogue representation corresponds to a representation of information on a display of the data goggles associated with a foreign object or a position in the real environment such that the information is always superimposed in local proximity to the relevant foreign object or the foreign object or at the position independently from the position and direction of the wearer of the data glasses.

Insbesondere könnten derartige Datenbrillen verwendet werden, um auch durch Fahrzeugteile verdeckte Fremdobjekte kontaktanalog darzustellen, so dass der Eindruck eines transparenten Fahrzeugteils entsteht. Jedoch müssen bei einer kontaktanalogen Überlagerung von Anzeigebildern, die Anzeigebilder positionsgenau und mit minimaler zeitlicher Differenz überlagert werden, da ansonsten störende Versetzungen zwischen der Wahrnehmung der Realumgebung und dem Anzeigebild erkennbar sind. Für die positionsgenaue und latenzarme Darstellung von Anzeigebildern in der Datenbrille ist es daher notwendig, eine hochgenaue Kalibrierung der Pose der Datenbrille an dem Kopf des Fahrers, eine hochgenaue Posennachverfolgung der Datenbrille und eine sehr genaue Fremdobjekterkennung vorzusehen und daraus in Echtzeit die Anzeigebilder zu generieren. In particular, such data glasses could be used in order to display foreign objects hidden by vehicle parts in a contact-analog way, so that the impression of a transparent vehicle part is created. However, in a contact-analogous superimposition of display images, the display images are superimposed positionally accurate and with minimum time difference, otherwise disturbing offsets between the perception of the real environment and the display image can be seen. For the position-accurate and low-latency display of display images in the data glasses, it is therefore necessary to provide a highly accurate calibration of the pose of the data glasses on the driver's head, a high-precision post tracking of the data glasses and a very accurate foreign object recognition and to generate the display images in real time.

Die zur Übermittlung der Anzeigebilder an die Datenbrille benötigte Übertragungsrate reicht häufig für eine Anzeige in Echtzeit nicht aus, so dass eine quasi latenzfreie kontaktanaloge Anzeige von Fremdobjekten, die durch Fahrzeugteile überdeckt sind, bislang nicht oder nur in unzureichender Qualität erfolgen kann. The transmission rate required for the transmission of the display images to the data glasses is often insufficient for a display in real time, so that a quasi latency-free contact analog display of foreign objects that are covered by vehicle parts, so far can not or only in insufficient quality.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zum Betreiben einer Datenbrille zur Verfügung zu stellen, womit der Fahrer ohne merkliche Verzögerung auf von Fahrzeugteilen verdeckte Fremdobjekte hingewiesen kann. It is the object of the present invention to provide a method for operating data glasses, whereby the driver can point to foreign objects hidden by vehicle parts without noticeable delay.

Offenbarung der Erfindung Disclosure of the invention

Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille nach Anspruch 1 sowie durch das Anzeigesystem mit einer Datenbrille gemäß dem nebengeordneten Anspruch gelöst. This object is achieved by the method for operating a data glasses according to claim 1 and by the display system with a data glasses according to the independent claim.

Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben. Further embodiments are specified in the dependent claims.

Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
– Erfassen eines oder mehrerer Fremdobjekte in einer Fahrzeugumgebung;
– Durchführen einer Sichtverdeckungserkennung für die erfassten Fremdobjekte, um durch ein oder mehrere Fahrzeugteile verdeckte Fremdobjekte zu identifizieren;
– für eines oder mehrere der identifizierten verdeckten Fremdobjekte, Anzeigen eines dem betreffenden identifizierten Fremdobjekt zugeordneten Anzeigesymbols an einer vorgegebenen fahrzeugfesten Position in der Datenbrille. According to a first aspect, a method for operating a display system with data glasses in a motor vehicle is provided, comprising the following steps:
- detecting one or more foreign objects in a vehicle environment;
- performing visual obscurity detection for the detected foreign objects to identify obscured foreign objects through one or more vehicle parts;
For one or more of the identified covert foreign objects, displaying a display symbol associated with the identified foreign object at a predetermined vehicle fixed position in the data goggles.

Eine Idee des obigen Verfahrens besteht darin, abhängig von einer Position und ggfs. einer Orientierung eines Kopfes eines Benutzers, der eine Datenbrille trägt, für ein Blickfeld des Benutzers durch Fahrzeugteile verdeckte Fremdobjekte zu erkennen, diese zu klassifizieren und dem Fremdobjekt entsprechend kein oder ein aus einem oder mehreren Symbolen ausgewählten Anzeigeobjekten zuzuordnen. Dieses Anzeigeobjekt wird kontaktanalog zu dem Fahrzeugteil, das das entsprechend verdeckte Fremdobjekt verdeckt, angezeigt. One idea of the above method is to identify, classify, and no or no foreign objects obscured by vehicle parts, depending on a position and, where appropriate, an orientation of a user wearing a data goggle assign one or more symbols to selected display objects. This display object is displayed contact analogous to the vehicle part that obscures the corresponding hidden foreign object.

Weiterhin kann eine Pose, die durch eine Position und eine Orientierung der Datenbrille angegeben ist, bestimmt werden, wobei abhängig von Positionen der erfassten Fremdobjekte, der bestimmten Pose (Position und Orientierung) der Datenbrille und von vorgegebenen Positionen von Fahrzeugteilen die verdeckten Fremdobjekte als diejenigen Fremdobjekte bestimmt werden, die sich vom Blickwinkel eines Benutzers der Datenbrille hinter einem der Fahrzeugteile befinden. Furthermore, a pose, which is indicated by a position and an orientation of the data glasses, can be determined, depending on Positions of the detected foreign objects, the particular pose (position and orientation) of the data glasses and predetermined positions of vehicle parts, the hidden foreign objects are determined as those foreign objects, which are located from the perspective of a user of the data glasses behind one of the vehicle parts.

Befindet sich beispielsweise ein weiteres Fahrzeug aus dem Blickwinkel des Fahrers eines Kraftfahrzeugs hinter der A-Säule, wird also keine kontaktanaloge aufgezeichnete (z.B. durch eine Kamera erfasste) Abbildung des verdeckten Fahrzeugs über der A-Säule an der aus dem Blickwinkel des Fahrers realen Position des weiteren Fahrzeugs angezeigt. Vielmehr wird durch die Datenbrille entsprechend dem obigen Verfahren lediglich ein entsprechendes Anzeigesymbol fahrzeugfest auf der Position der A-Säule angezeigt. Dieses Anzeigesymbol kann einer festen Position der A-Säule zugeordnet sein und entspricht nicht einer tatsächlichen Position des verdeckten weiteren Fahrzeugs. If, for example, another vehicle is located behind the A-pillar from the perspective of the driver of a motor vehicle, then no contact-analogue recorded (for example, captured by a camera) image of the covered vehicle above the A-pillar at the position of the driver which is real from the perspective of the driver another vehicle displayed. Rather, the data glasses in accordance with the above method only display a corresponding display symbol fixed to the vehicle on the position of the A-pillar. This indicator symbol may be assigned to a fixed position of the A-pillar and does not correspond to an actual position of the hidden further vehicle.

Dadurch kann ein Benutzer der Datenbrille vor durch Fahrzeugteile verdeckten Fremdobjekten aufwandsarm gewarnt werden. Die Anzeige des Anzeigesymbols an einer fahrzeugfesten Position eines entsprechenden Fahrzeugteils ermöglicht eine intuitive Warnung vor Fremdobjekten, die bei der momentanen Kopfposition des Benutzers nicht sichtbar sind. As a result, a user of the data glasses can be warned with little effort by foreign objects hidden by vehicle parts. The display of the display symbol at a vehicle-fixed position of a corresponding vehicle part allows an intuitive warning of foreign objects that are not visible at the current head position of the user.

Aufgrund der deutlich geringeren Latenzzeit für die kontaktanaloge Darstellung eines vorgegebenen Anzeigesymbols an einer fahrzeugfest vordefinierten Position in einer Datenbrille kann der Benutzer schneller vor womöglich unbemerkten bzw. unbemerkbaren Fremdobjekten gewarnt werden. Due to the significantly lower latency for the contact-analog representation of a given display symbol at a vehicle-fixed predefined position in a data goggles, the user can be warned faster before possibly unnoticed or unnoticeable foreign objects.

Weiterhin ermöglicht das obige Verfahren eine Realisierung, die deutlich toleranter gegenüber Fehlern bei der Genauigkeit des entsprechenden Anzeigesystems ist, da keine oder eine weniger genaue positionstreue Anzeige des Anzeigesymbols benötigt bzw. vom Benutzer erwartet wird. Dies gilt selbst bei gleichzeitiger Teilsichtbarkeit des Fremdobjekts, auf das durch das Anzeigesymbol hingewiesen werden soll. Aufgrund der abstrakten Darstellung in Form des Anzeigesymbols wird vom Benutzer die fehlende Positionsgenauigkeit nicht als Fehler wahrgenommen, wie dies bei fehlender Positionsgenauigkeit bei der Anzeige kontaktanaloger realgetreuer Abbildungen der Fall wäre. Hierdurch wird ein solches Anzeigesystem vom Benutzer als qualitativ hochwertiger wahrgenommen. Furthermore, the above method allows a realization that is much more tolerant to errors in the accuracy of the corresponding display system, since no or a less accurate positionally correct display of the display symbol is needed or expected by the user. This is true even with partial visibility of the foreign object, which should be pointed to by the display symbol. Due to the abstract representation in the form of the display symbol, the user does not perceive the missing position accuracy as an error, as would be the case if there were no position accuracy in the display of contact-analogue true-to-life images. As a result, such a display system is perceived by the user as a high quality.

Es kann vorgesehen sein, dass die Pose der Datenbrille durch die Datenbrille erfasst wird und an ein Fahrerassistenzsystem zur Durchführung der Sichtverdeckungserkennung übertragen wird. Alternativ kann die Position der Datenbrille auch durch eine auf den Kopfbereich des Fahrers gerichtete Kamera erfasst werden (Head-Tracking). It may be provided that the pose of the data glasses is detected by the data glasses and is transmitted to a driver assistance system for performing the vision mask detection. Alternatively, the position of the data glasses can also be detected by a camera directed at the head area of the driver (head tracking).

Gemäß einer Ausführungsform können die identifizierten verdeckten Fremdobjekte klassifiziert werden, wobei dem einen oder den mehreren verdeckten Fremdobjekten abhängig von ihrer Klassifikation das entsprechende Anzeigesymbol zugeordnet werden. According to one embodiment, the identified hidden foreign objects can be classified, the one or more hidden foreign objects being assigned the corresponding display symbol depending on their classification.

Insbesondere kann die Klassifizierung nach mindestens einer der folgenden Kategorien durchgeführt werden: Größe des Fremdobjekts, Art des Fremdobjekts, Bewegungszustand des Fremdobjekts, Entfernung des Fremdobjekts und/oder Grad der Gefährdung des Kraftfahrzeugs durch das Fremdobjekt durchgeführt werden. In particular, the classification can be carried out according to at least one of the following categories: size of the foreign object, type of foreign object, movement state of the foreign object, removal of the foreign object and / or degree of endangerment of the motor vehicle by the foreign object.

Es kann vorgesehen sein, dass dem einen oder den mehreren verdeckten Fremdobjekten je nach Klassifizierung ein Fahrzeugsymbol, ein Verkehrsschildsymbol, ein Fußgängersymbol, ein Radfahrersymbol und/oder ein Gegenstandssymbol als Anzeigesymbol zugeordnet wird. Depending on the classification, it may be provided that a vehicle symbol, a traffic sign symbol, a pedestrian symbol, a cyclist symbol and / or an object symbol is assigned to the one or more hidden foreign objects as a display symbol.

Weiterhin kann das Erfassen der Fremdobjekte in der Fahrzeugumgebung mit Hilfe einer Umfelderkennungssensorik im Kraftfahrzeug durchgeführt werden. Furthermore, the detection of the foreign objects in the vehicle environment can be carried out with the aid of an environment detection sensor system in the motor vehicle.

Weiterhin kann einem oder mehreren der identifizierten verdeckten Fremdobjekte kein Anzeigesymbol zugeordnet werden, wenn die Sichtverdeckungserkennung einen Grad der Verdeckung feststellt, der geringer ist als ein vorgegebener Verdeckungsschwellenwert. Furthermore, one or more of the identified hidden foreign objects can not be assigned an indicator symbol if the vision obstruction detection detects a degree of occlusion that is less than a predetermined occlusion threshold.

Es kann vorgesehen sein, dass einem oder mehreren der identifizierten verdeckten Fremdobjekte das Anzeigesymbol abhängig von einer Intention des Fahrers des Kraftfahrzeugs zugeordnet wird, wobei eine Intention des Fahrers durch einen oder mehrere Fahreingriffe des Fahrers erkannt wird, insbesondere durch eine Lenkbewegung und/oder Betätigung eines Fahrtrichtungsanzeigers. It can be provided that one or more of the identified hidden foreign objects, the display icon is assigned depending on an intention of the driver of the motor vehicle, an intention of the driver is detected by one or more driving interventions of the driver, in particular by a steering movement and / or actuation of a direction indicator.

Gemäß einer Ausführungsform kann dem Anzeigesymbol die Anzeigeposition fest zugeordnet ist, so dass das Anzeigesymbol im Bereich des verdeckenden Fahrzeugteils, insbesondere mittig des verdeckenden Fahrzeugteils angezeigt werden. According to one embodiment, the display symbol is assigned the display position so that the display symbol is displayed in the region of the concealing vehicle part, in particular in the center of the concealing vehicle part.

Gemäß einem weiteren Aspekt ist Verfahren zum Betreiben eines Fahrerassistenzsystems vorgesehen, mit folgenden Schritten:

  • – Erfassen eines oder mehrerer Fremdobjekte in einer Fahrzeugumgebung;
  • – Durchführen einer Sichtverdeckungserkennung für die erfassten Fremdobjekte, um durch ein oder mehrere Fahrzeugteile des Kraftfahrzeugs verdeckte Fremdobjekte zu identifizieren;
  • – für eines oder mehrere der identifizierten verdeckten Fremdobjekte (9), Übermitteln eines dem betreffenden identifizierten Fremdobjekt (9) zugeordneten Anzeigesymbols mit einer vorgegebenen fahrzeugfesten Anzeigeposition an eine Datenbrille.
According to a further aspect, a method for operating a driver assistance system is provided, with the following steps:
  • - detecting one or more foreign objects in a vehicle environment;
  • - Performing a blindfold detection for the detected foreign objects to by a or identify several vehicle parts of the motor vehicle hidden foreign objects;
  • - for one or more of the identified covert foreign objects ( 9 ), Transmission of an identified foreign object ( 9 ) associated with a given vehicle-fixed display position to a data glasses.

Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit einem Fahrerassistenzsystem und einer Datenbrille vorgesehen, wobei das Fahrerassistenzsystem ausgebildet ist,

  • – um Fremdobjekte in einer Fahrzeugumgebung zu erfassen;
  • – eine Sichtverdeckungserkennung für die erfassten Fremdobjekte durchzuführen, um durch ein oder mehrere Fahrzeugteile verdeckte Fremdobjekte zu identifizieren;
  • – um für eines oder mehrere der identifizierten verdeckten Fremdobjekte ein dem betreffenden identifizierten Fremdobjekt zugeordneten Anzeigesymbol an einer vorgegebenen fahrzeugfesten Position in der Datenbrille anzuzeigen.
According to a further aspect, a display system with a driver assistance system and data goggles is provided, wherein the driver assistance system is designed,
  • - to detect foreign objects in a vehicle environment;
  • - perform a blind recapture detection for the detected foreign objects to identify obscured foreign objects by one or more vehicle parts;
  • - To display one or more of the identified hidden foreign objects associated with the relevant identified foreign object display symbol at a predetermined vehicle-fixed position in the data glasses.

Kurzbeschreibung der Zeichnungen Brief description of the drawings

Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen: Embodiments are explained below with reference to the accompanying drawings. Show it:

1 eine schematische Darstellung eines Sichtbereichs eines Fahrers eines Kraftfahrzeugs von dem Fahrersitz nach vorne; und 1 a schematic representation of a field of view of a driver of a motor vehicle from the driver's seat to the front; and

2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben eines Anzeigesystems für eine Datenbrille. 2 a flow diagram illustrating a method for operating a display system for a data glasses.

Beschreibung von Ausführungsformen Description of embodiments

In 1 ist eine perspektivische Ansicht eines Fahrzeuginnenraumes eines Kraftfahrzeugs 1 aus einer Überkopfposition eines Fahrers 2, der eine Datenbrille 3 trägt, dargestellt. Man erkennt eine Frontscheibe 4, Seitenscheiben 5 und zwischen Frontscheibe 4 und Seitenscheibe 5 jeweils angeordnete A-Säulen 6. In 1 is a perspective view of a vehicle interior of a motor vehicle 1 from an overhead position of a driver 2 wearing a data glasses 3 carries, presented. You can see a windscreen 4 , Side windows 5 and between windscreen 4 and side window 5 each arranged A-pillars 6 ,

Unterhalb der Frontscheibe 4 ist ein Armaturenbrett 7, aus dem ein Lenkrad 8 hervorragt, angeordnet. Below the windscreen 4 is a dashboard 7 from which a steering wheel 8th protrudes, arranged.

Es ist ein Fahrerassistenzsystem 10 vorgesehen, das in Datenverbindung mit der Datenbrille 3 steht. Das Fahrerassistenzsystem 10 dient zur Vorgabe von in der Datenbrille 3 kontaktanlog anzuzeigenden Anzeigeinformationen, deren räumliche Position in einem fahrzeugfesten Koordinatensystem von dem Fahrerassistenzsystem 10 vorgegeben wird, so dass diese abhängig von einer Pose der Datenbrille 3, d.h. deren Position und Ausrichtung, bzw. von einer Pose des Kopfs des Benutzers 2, der die Datenbrille 3 trägt, angezeigt werden kann. Die Anzeigeinformationen werden entsprechend über einen Kommunikationskanal K an die Datenbrille 3 kommuniziert. It is a driver assistance system 10 provided that in data connection with the data glasses 3 stands. The driver assistance system 10 is used to specify in the data glasses 3 kontaktanlog display information, their spatial position in a vehicle-fixed coordinate system of the driver assistance system 10 is given, so this depends on a pose of the data glasses 3 ie their position and orientation, or from a pose of the user's head 2 who has the data glasses 3 carries, can be displayed. The display information is correspondingly via a communication channel K to the data glasses 3 communicated.

Die Datenbrille 3 entspricht einer an sich bekannten Datenbrille. Diese enthält in an sich bekannter Weise eine Steuereinheit, eine Anzeigeeinheit, eine Kommunikationseinheit zur Datenkommunikation mit dem Fahrerassistenzsystem 10 über den Kommunikationskanal K und eine Posenerkennungseinheit, mit der die Pose der Datenbrille 3 erfasst werden kann. Alternativ kann die Pose der Datenbrille 3 auch über eine auf den Kopfbereich des Benutzers gerichtete Kamera erfasst werden (Head-Tracking). The data glasses 3 corresponds to a known data glasses. This contains in a conventional manner a control unit, a display unit, a communication unit for data communication with the driver assistance system 10 via the communication channel K and a pose detection unit, with which the pose of the data glasses 3 can be detected. Alternatively, the pose of the data glasses 3 also be detected by a directed to the head of the user camera (head tracking).

Mithilfe der Steuereinheit in der Datenbrille 3 können die Anzeigeinformationen, die von dem Fahrerassistenzsystem 10 empfangen werden, in ihren entsprechenden räumlichen Positionen abhängig von der Pose der Datenbrille 3 durch die Anzeigeeinheit in der Datenbrille 3 angezeigt werden, so dass diese die Wahrnehmung einer Realumgebung überlagern. D.h. eine Anzeigeinformation erscheint für den Träger der Datenbrille 3 ortsfest, d.h. Fremdobjekten der Fahrzeugumgebung zugeordnet, in einem fahrzeugfesten Koordinatensystem unabhängig von der Pose der Datenbrille 3. Dabei bewegt sich die Anzeigeinformation bei einer Bewegung des Kopfes so auf einer Anzeigefläche der Anzeigeeinheit, dass die Bewegung des Kopfes auf die Wahrnehmung der Anzeigeinformation ausgeglichen wird und der Eindruck einer ortsfesten Anzeigeinformation entsteht. Die Darstellung der Anzeigeinformationen, d.h. die Darstellung der entsprechenden Anzeigebilder, erfolgt somit kontaktanalog, d.h. gebunden an eine räumliche Position der Anzeigeinformationen, durch die Datenbrille 3 in an sich bekannter Weise. Using the control unit in the data glasses 3 can the display information provided by the driver assistance system 10 be received in their respective spatial positions depending on the pose of the data glasses 3 through the display unit in the data glasses 3 be displayed so that they overlap the perception of a real environment. That is, a display information appears to the wearer of the data glasses 3 stationary, ie associated with foreign objects of the vehicle environment, in a vehicle-fixed coordinate system independent of the pose of the data glasses 3 , In this case, the display information moves on a movement of the head on a display surface of the display unit that the movement of the head is compensated for the perception of the display information and gives the impression of a fixed display information. The representation of the display information, ie the representation of the corresponding display images, thus takes place analog contact, ie bound to a spatial position of the display information, through the data glasses 3 in a known manner.

Das Kraftfahrzeug 1 ist mit einer Umfelderkennungssensorik 11 ausgestattet, mit der die Erfassung von Fremdobjekten 9 in der Umgebung des Kraftfahrzeugs 1 möglich ist. Die Umfelderkennungssensorik 11 kann eines oder mehrere der folgenden Sensoren aufweisen: LiDAR-Sensor, Radarsensor, Ultraschallsensor und Kameras. Die Sensoren sind so an dem bzw. um das Fahrzeug 1 angeordnet, um in dem gesamten Umgebungsbereich des Fahrzeugs, insbesondere aber in einem Vorausbereich, Fremdobjekte 9 zu erkennen. Die erkannten Fremdobjekte 9 können statische Fremdobjekte, wie Gebäude, Fahrbahnen, Fahrbahnmarkierungen, Verkehrszeichen und dergleichen und dynamische Fremdobjekte, wie z.B. weitere Fahrzeuge, andere Verkehrsteilnehmer, sonstige bewegte Fremdobjekte und dergleichen umfassen. The car 1 is with an environment detection sensor 11 equipped with the detection of foreign objects 9 in the vicinity of the motor vehicle 1 is possible. The environment detection sensor 11 may include one or more of the following sensors: LiDAR sensor, radar sensor, ultrasonic sensor and cameras. The sensors are on or around the vehicle 1 arranged to foreign objects in the entire surrounding area of the vehicle, but in particular in an advance area 9 to recognize. The recognized foreign objects 9 may include static foreign objects such as buildings, carriageways, lane markings, traffic signs and the like and dynamic foreign objects such as other vehicles, other road users, other moving foreign objects and the like.

Die erkannten Fremdobjekte 9 können nun in dem Fahrzeugassistenzsystem 10 verarbeitet werden. Dazu wird in dem Fahrerassistenzsystem 10 ein Verfahren durchgeführt, wie es mit Hilfe des Flussdiagramms der 2 veranschaulicht wird. The recognized foreign objects 9 can now in the vehicle assistance system 10 are processed. This is done in the driver assistance system 10 a procedure carried out, as it is with the help of the flow chart of the 2 is illustrated.

In Schritt S1 werden zunächst Fremdobjekte 9 in der Fahrzeugumgebung mit Hilfe der Umfelderkennungssensorik 11 erkannt und diese in Schritt S2 in dem Fahrerassistenzsystem freigestellt, identifiziert bzw. klassifiziert. Die Klassifizierung kann beispielsweise nach bewegten/nicht bewegten Fremdobjekten und/oder nach der Art des Fremdobjekts und/oder als das Fahrzeug gefährdende oder nicht gefährdende Fremdobjekte (Grad der Gefährdung) und/oder nach der Größe der Fremdobjekte und/oder nach Entfernung des Fremdobjekts vom Kraftfahrzeug vorgenommen werden. In step S1, foreign objects first become 9 in the vehicle environment with the help of the environment detection sensor 11 detected and released in step S2 in the driver assistance system, identified or classified. The classification may, for example, be based on moving / non-moving foreign objects and / or on the type of foreign object and / or foreign objects (degree of danger) endangering or not endangering the vehicle and / or on the size of the foreign objects and / or on removal of the foreign object from Motor vehicle be made.

In Schritt S3 wird eine Pose des Kopfes des Benutzers der Datenbrille 3 erfasst, beispielsweise durch Kommunikation mit der Datenbrille 3 oder durch eine auf den Kopfbereich des Benutzers gerichtete Kamera (Head-Tracking-System). In step S3, a pose of the head of the user of the data glasses 3 detected, for example by communication with the data glasses 3 or by a camera aimed at the head of the user (head-tracking system).

In einem nachfolgenden Schritt S4 wird nun mit Hilfe einer Sichtverdeckungserkennung abhängig von der Pose der Datenbrille 3 und der Position der erkannten Fremdobjekte 9 und der Position von Fahrzeugteilen, die in einem fahrzeugfesten Koordinatensystem bekannt sind, bestimmt, welche der zuvor erfassten Fremdobjekte 9 verdeckt sind und insbesondere welcher Grad der Verdeckung vorliegt. Eine Verdeckung kann erkannt werden, indem für jeden Bildpunkt des erfassten Fremdobjekts 9 festgestellt wird, ob auf einer räumlichen Geraden zu einer Position einer Datenbrille ein Bereich eines Fahrzeugteils liegt und. Der Grad der Verdeckung gibt an, welcher Flächenanteil (Anzahl der Bildpunkte, für die eine Verdeckung festgestellt wird) der Gesamtfläche (Anzahl der gesamten Bildpunkte des erfassten Fremdobjekts 9) des betreffenden Fremdobjekts 9 nicht sichtbar ist bzw. durch eines oder mehrere der Fahrzeugteile verdeckt ist. In a subsequent step S4 is now using a visual detection recognition depending on the pose of the data glasses 3 and the location of the detected foreign objects 9 and the position of vehicle parts known in a vehicle-fixed coordinate system determines which of the previously detected foreign objects 9 are concealed and in particular what degree of occlusion exists. Obscuration can be detected by looking for each pixel of the detected foreign object 9 it is determined whether a region of a vehicle part lies on a spatial straight line to a position of a data goggle, and. The degree of occlusion indicates which area fraction (number of pixels for which occlusion is detected) of the total area (number of total pixels of the detected foreign object 9 ) of the relevant foreign object 9 is not visible or is hidden by one or more of the vehicle parts.

In Schritt S5 werden die als zumindest teilweise verdeckt erkannten Fremdobjekte 9 abhängig von der in Schritt S2 vorgenommenen Klassifizierung des betreffenden Fremdobjekts 9 ein insbesondere aus mehreren Anzeigesymbolen ausgewähltes Anzeigesymbol 12 oder kein Anzeigesymbol zugeordnet. In step S5, the foreign objects recognized as being at least partially hidden are identified 9 depending on the classification of the foreign object in step S2 9 a display icon selected in particular from a plurality of display symbols 12 or no display icon assigned.

Die Zuordnung und Auswahl des Anzeigesymbols 12 kann also nach bewegten/nicht bewegten Fremdobjekten und/oder nach der Art des Fremdobjekts /Fremdfahrzeug, Fußgänger, Tier, Zweiradfahrer oder dergleichen) und/oder als das Fahrzeug gefährdende oder nicht gefährdende Fremdobjekte (Grad der Gefährdung) und/oder nach der Größe der Fremdobjekte und/oder nach Entfernung des Fremdobjekts vom Kraftfahrzeug und/oder nach Grad der Verdeckung vorgenommen werden. The assignment and selection of the display symbol 12 can therefore after moving / not moving foreign objects and / or after the kind of foreign object / foreign vehicle, pedestrian, animal, two-wheeler or the like) and / or as the vehicle endangering or not endangering foreign objects (degree of danger) and / or according to the size of the Foreign objects and / or after removal of the foreign object from the motor vehicle and / or the degree of occlusion are made.

So kann beispielsweise verdeckten Fremdobjekten nur dann ein entsprechendes Anzeigesymbol 12 zugeordnet werden, wenn der Grad der Verdeckung einen vorgegebenen Verdeckungsschwellenwert, wie z.B. 80 %, übersteigt, da ansonsten angenommen werden kann, dass der Fahrer das teilweise verdeckte Fremdobjekt 9 durch die Fahrzeugscheiben 4, 5 problemlos wahrnimmt. For example, hidden foreign objects can only have a corresponding display symbol 12 when the degree of occlusion exceeds a predetermined occlusion threshold such as 80%, otherwise the driver may be presumed to be the partially obscured foreign object 9 through the vehicle windows 4 . 5 easily perceives.

Weiterhin kann die Zuordnung und Auswahl des Anzeigesymbols 12 auch abhängig von einer Intention des Fahrers des Kraftfahrzeugs 1 vorgenommen werden. Dazu wird eine Intention des Fahrers erkannt, wie beispielsweise ein Fahrrichtungswechsel oder ein Fahrspurenwechsel durch eine Lenkbewegung bei gleichzeitiger oder zeitlich in Bezug stehender Betätigung eines Fahrtrichtungsanzeigers. So können abhängig von der Richtung des erkannten Fahrrichtungswechsels oder Fahrspurenwechsels (links oder rechts) nur Verdeckungen durch linksseitige Fahrzeugteile bzw. rechtsseitige Fahrzeugteile für die Zuordnung und Auswahl des Anzeigesymbols 12 berücksichtigt werden während den übrigen verdeckten Fremdobjekten 9 keine Anzeigesymbole 12 zugeordnet werden. Furthermore, the assignment and selection of the display symbol 12 also dependent on an intention of the driver of the motor vehicle 1 be made. For this purpose, an intention of the driver is recognized, such as a direction change or a lane change by a steering movement with simultaneous or temporally related operation of a direction indicator. Thus, depending on the direction of the recognized direction change or lane change (left or right) only coverages by left-side vehicle parts or right-hand vehicle parts for the assignment and selection of the display symbol 12 be considered during the remaining hidden foreign objects 9 no display symbols 12 be assigned.

In Schritt S6 werden Anzeigeinformationen an die Datenbrille 3 übermittelt, wobei die Anzeigeinformationen eine Angabe über das dem verdeckten Fremdobjekt 9 zugeordnete Anzeigesymbol 12 zusammen mit einer für das verdeckende Fahrzeugteil vorgegebenen fahrzeugfesten Anzeigeposition umfasst, um das Anzeigesymbol 12 an der Anzeigeposition entsprechend anzuzeigen. In step S6, display information is sent to the data glasses 3 transmitted, wherein the display information is an indication of the hidden foreign object 9 assigned display symbol 12 together with a vehicle-fixed display position predetermined for the concealing vehicle part, comprises the display symbol 12 corresponding to the display position.

Beispielsweise kann bei einem Fremdfahrzeug als verdecktes Fremdobjekt ein Fahrzeugsymbol als Anzeigesymbol 12 an die Datenbrille 3 übermittelt werden. Die entsprechende Anzeigeposition entspricht einer fahrzeugfesten Position, so dass das Anzeigesymbol 12 vor dem betreffenden Fahrzeugteil angezeigt wird, durch welches das Fremdfahrzeug verdeckt wird. Beispielsweise kann ein Fahrer auf ein durch eine A-Säule 6 verdecktes Fremdfahrzeug hingewiesen werden, indem ein Anzeigesymbol 12, das ein Fahrzeug abstrakt darstellt, an einer festgelegten Stelle mittig der A-Säule angezeigt wird, unabhängig davon, an welcher tatsächlichen Position in der Realumgebung sich das verdeckte Fahrzeug im Sichtschatten der A-Säule 6 befindet. For example, in the case of a third-party vehicle as a hidden foreign object, a vehicle symbol may serve as the display symbol 12 to the data glasses 3 be transmitted. The corresponding display position corresponds to a vehicle-fixed position, so that the display symbol 12 is displayed in front of the relevant vehicle part, by which the other vehicle is covered. For example, a driver may be on an A-pillar 6 covert foreign vehicle to be pointed by a display symbol 12 That is, a vehicle is abstractly displayed at a fixed position centered on the A-pillar regardless of which actual position in the real environment the covered vehicle is in the A-pillar's visual shadow 6 located.

Abhängig von der Art des erfassten Fremdobjekts 9 können bei Erkennung eines Fußgängers ein Fußgängersymbol, bei Erkennung eines Fremdfahrzeugs ein Fahrzeugsymbol, bei Erkennung eines Zweirads ein Zweiradsymbol und/oder bei Erkennung eines Tieres ein Tiersymbol als Anzeigesymbole 12 vorgesehen werden. Depending on the type of foreign object detected 9 If a pedestrian is detected, a pedestrian symbol, if a third-party vehicle is detected, a vehicle symbol, if a two-wheeler is detected, a two-wheeler symbol and / or if an animal is recognized, an animal symbol as display symbols 12 be provided.

Ist das erkannte verdeckte Fremdobjekt 9 ein unbewegliches Fremdobjekt, mit dem basierend auf einer Fahrtrichtung des Kraftfahrzeugs und/oder basierend auf einer Intention des Fahrers wie z.B. eines bevorstehenden Fahrrichtungswechsels oder eines bevorstehenden Fahrspurenwechsels keine Kollisionsgefahr festgestellt wird, kann auf eine Anzeige eines entsprechenden Anzeigesymbols in der Datenbrille 3 verzichtet werden. Is the recognized hidden foreign object 9 an immovable foreign object, with which based on a direction of travel of the motor vehicle and / or based on an intention of the driver such as an impending change of direction or an imminent change in lane no collision risk is detected, can be a display of a corresponding display symbol in the data glasses 3 be waived.

Die entsprechenden Anzeigesymbole 12 nutzen vorzugsweise die vom Fahrzeuginnenraum sichtbaren verdeckenden Fahrzeugteile als Anzeigebereiche für das entsprechende Anzeigesymbol 12. Dabei wird vorzugsweise als Anzeigebereich dasjenige Fahrzeugteil ausgewählt, das das Fremdobjekt verdeckt, dem das Anzeigesymbol zugeordnet ist. Weiterhin kann als Anzeigeposition des betreffenden Anzeigesymbols 12 ein mittiger Bereich der von dem Fahrer sichtbaren Fläche des Fahrzeugteils ausgewählt werden. Das Anzeigesymbol 12 bildet dabei weder die tatsächliche Kontur des Fremdobjekts 9 noch die tatsächliche Position des Fremdobjekts 9 ab. The corresponding display symbols 12 preferably use the visible from the vehicle interior concealing vehicle parts as display areas for the corresponding display icon 12 , In this case, the vehicle part which conceals the foreign object to which the display symbol is assigned is preferably selected as the display area. Furthermore, as the display position of the relevant display symbol 12 a central region of the driver's visible surface of the vehicle part can be selected. The display icon 12 neither forms the actual contour of the foreign object 9 still the actual position of the foreign object 9 from.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1
Kraftfahrzeug motor vehicle
2 2
Benutzer user
3 3
Datenbrille data glasses
4 4
Frontscheibe windscreen
5 5
Seitenscheibe side window
6 6
A-Säule A column
7 7
Armaturenbrett dashboard
8 8th
Lenkrad steering wheel
9 9
Fremdobjekt foreign object
10 10
Fahrerassistenzsystem Driver assistance system
11 11
Umfelderkennungssensorik Environment detection sensor
12 12
Anzeigesymbol display icon

Claims (12)

Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille (3) in einem Kraftfahrzeug (1), mit folgenden Schritten: – Erfassen eines oder mehrerer Fremdobjekte (9) in einer Fahrzeugumgebung; – Durchführen einer Sichtverdeckungserkennung für die erfassten Fremdobjekte (9), um durch ein oder mehrere Fahrzeugteile des Kraftfahrzeugs (1) verdeckte Fremdobjekte (9) zu identifizieren; – für eines oder mehrere der identifizierten verdeckten Fremdobjekte (9), Anzeigen eines dem betreffenden identifizierten Fremdobjekt (9) zugeordneten Anzeigesymbols (12) mit einer vorgegebenen fahrzeugfesten Anzeigeposition in der Datenbrille (3). Method for operating a display system with data glasses ( 3 ) in a motor vehicle ( 1 ), with the following steps: - Detecting one or more foreign objects ( 9 in a vehicle environment; Performing a visual mask recognition for the detected foreign objects ( 9 ) by one or more vehicle parts of the motor vehicle ( 1 ) hidden foreign objects ( 9 ) to identify; - for one or more of the identified covert foreign objects ( 9 ), Displaying an identified foreign object ( 9 ) associated display symbol ( 12 ) with a predetermined vehicle-fixed display position in the data glasses ( 3 ). Verfahren nach Anspruch 1, wobei eine Pose der Datenbrille (3) bestimmt wird, wobei abhängig von erfassten Positionen der Fremdobjekte (9), der bestimmten Pose der Datenbrille (3) und von vorgegebenen Positionen von Fahrzeugteilen die verdeckten Fremdobjekte (9) als diejenigen Fremdobjekte bestimmt werden, die sich vom Blickwinkel eines Benutzers der Datenbrille (3) hinter einem der Fahrzeugteile befinden. Method according to claim 1, wherein a pose of the data glasses ( 3 ), depending on detected positions of the foreign objects ( 9 ), the particular pose of the data glasses ( 3 ) and of predetermined positions of vehicle parts, the hidden foreign objects ( 9 ) are determined to be those foreign objects that differ from the perspective of a user of the data glasses ( 3 ) are located behind one of the vehicle parts. Verfahren nach Anspruch 2, wobei die Pose der Datenbrille (3) durch die Datenbrille (3) erfasst wird und an ein Fahrerassistenzsystem (10) zur Durchführung der Sichtverdeckungserkennung übertragen wird oder wobei die Pose der Datenbrille (3) durch das Fahrerassistenzsystem (10) mithilfe einer auf einen Kopfbereich gerichteten Kamera erfasst wird, in dem die Sichtverdeckungserkennung ausgeführt wird. Method according to claim 2, wherein the pose of the data glasses ( 3 ) through the data glasses ( 3 ) and to a driver assistance system ( 10 ) is transmitted to perform the vision mask detection or the pose of the data glasses ( 3 ) by the driver assistance system ( 10 ) is detected by a head-facing camera in which the vision detection is performed. Verfahren nach einem der Ansprüche 1 bis 3, wobei die identifizierten verdeckten Fremdobjekte (9) klassifiziert werden, wobei dem einen oder den mehreren verdeckten Fremdobjekten (9) abhängig von ihrer Klassifikation kein oder das entsprechend zugeordnete Anzeigesymbol (12) zugeordnet werden. Method according to one of claims 1 to 3, wherein the identified hidden foreign objects ( 9 ), wherein the one or more hidden foreign objects ( 9 ) depending on their classification, no or the correspondingly assigned display symbol ( 12 ) be assigned. Verfahren nach Anspruch 4, wobei die Klassifizierung nach mindestens einer der folgenden Kategorien durchgeführt wird: Größe des Fremdobjekts, Art des Fremdobjekts, Bewegungszustand des Fremdobjekts, Entfernung des Fremdobjekts, Grad der Verdeckung des Fremdobjekts durch das entsprechende Fahrzeugteil und Grad der Gefährdung des Kraftfahrzeugs durch das Fremdobjekt durchgeführt werden. The method of claim 4, wherein the classification is performed according to at least one of the following categories: size of the foreign object, type of foreign object, moving state of the foreign object, removal of the foreign object, degree of obscuring the foreign object by the corresponding vehicle part and degree of endangerment of the motor vehicle by the vehicle Foreign object to be performed. Verfahren nach Anspruch 4 oder 5, wobei dem einen oder den mehreren verdeckten Fremdobjekten (9) je nach Klassifizierung ein Fahrzeugsymbol, ein Verkehrsschildsymbol, ein Fußgängersymbol, ein Zweiradsymbol und/oder ein Gegenstandssymbol als Anzeigesymbol (12) zugeordnet wird. The method of claim 4 or 5, wherein the one or more hidden foreign objects ( 9 ) depending on the classification, a vehicle symbol, a traffic sign symbol, a pedestrian symbol, a two-wheeler symbol and / or an object symbol as an indication symbol ( 12 ). Verfahren nach einem der Ansprüche 1 bis 6, wobei das Erfassen der Fremdobjekte (9) in der Fahrzeugumgebung mit Hilfe einer Umfelderkennungssensorik (11) im Kraftfahrzeug (1) durchgeführt wird. Method according to one of claims 1 to 6, wherein the detection of the foreign objects ( 9 ) in the vehicle environment with the aid of an environment detection sensor system ( 11 ) in the motor vehicle ( 1 ) is carried out. Verfahren nach einem der Ansprüche 1 bis 7, wobei einem oder mehreren der identifizierten verdeckten Fremdobjekte (9) kein Anzeigesymbol (12) zugeordnet wird, wenn die Sichtverdeckungserkennung einen Grad der Verdeckung feststellt, der geringer ist als ein vorgegebener Verdeckungsschwellenwert. Method according to one of claims 1 to 7, wherein one or more of the identified hidden foreign objects ( 9 ) no display symbol ( 12 ) when the vision occlusion detection detects a degree of occlusion that is less than a predetermined occlusion threshold. Verfahren nach einem der Ansprüche 1 bis 8, wobei einem oder mehreren der identifizierten verdeckten Fremdobjekte (9) das Anzeigesymbol (12) abhängig von einer Intention des Fahrers des Kraftfahrzeugs (1) zugeordnet wird, wobei eine Intention des Fahrers durch einen oder mehrere Fahreingriffe des Fahrers erkannt wird, insbesondere durch eine Lenkbewegung und/oder Betätigung eines Fahrtrichtungsanzeigers. Method according to one of claims 1 to 8, wherein one or more of the identified hidden foreign objects ( 9 ) the display symbol ( 12 ) depending on an intention of the driver of the motor vehicle ( 1 ), wherein an intention of the driver is detected by one or more driving interventions of the driver, in particular by a steering movement and / or actuation of a direction indicator. Verfahren nach einem der Ansprüche 1 bis 9, wobei dem Anzeigesymbol (12) die Anzeigeposition fest zugeordnet ist, so dass das Anzeigesymbol (12) im Bereich des verdeckenden Fahrzeugteils, insbesondere mittig des verdeckenden Fahrzeugteils angezeigt wird. Method according to one of claims 1 to 9, wherein the display symbol ( 12 ) the display position is permanently assigned, so that the display symbol ( 12 ) is displayed in the region of the concealing vehicle part, in particular in the center of the concealing vehicle part. Verfahren zum Betreiben eines Fahrerassistenzsystems (10), mit folgenden Schritten: – Erfassen eines oder mehrerer Fremdobjekte (9) in einer Fahrzeugumgebung; – Durchführen einer Sichtverdeckungserkennung für die erfassten Fremdobjekte (9), um durch ein oder mehrere Fahrzeugteile des Kraftfahrzeugs (1) verdeckte Fremdobjekte (9) zu identifizieren; – für eines oder mehrere der identifizierten verdeckten Fremdobjekte (9), Übermitteln eines dem betreffenden identifizierten Fremdobjekt (9) zugeordneten Anzeigesymbols (12) mit einer vorgegebenen fahrzeugfesten Anzeigeposition an eine Datenbrille (3). Method for operating a driver assistance system ( 10 ), with the following steps: - Detecting one or more foreign objects ( 9 in a vehicle environment; Performing a visual mask recognition for the detected foreign objects ( 9 ) by one or more vehicle parts of the motor vehicle ( 1 ) hidden foreign objects ( 9 ) to identify; - for one or more of the identified covert foreign objects ( 9 ), Transmission of an identified foreign object ( 9 ) associated display symbol ( 12 ) with a predetermined vehicle-fixed display position to a data glasses ( 3 ). Anzeigesystem mit einem Fahrerassistenzsystem (10) und einer Datenbrille (3), wobei das Fahrerassistenzsystem (10) ausgebildet ist, – um ein oder mehrere Fremdobjekte (9) in einer Fahrzeugumgebung zu erfassen; – eine Sichtverdeckungserkennung für die erfassten Fremdobjekte (9) durchzuführen, um durch ein oder mehrere Fahrzeugteile verdeckte Fremdobjekte (9) zu identifizieren; – um für eines oder mehrere der identifizierten verdeckten Fremdobjekte (9) ein dem betreffenden identifizierten Fremdobjekt (9) zugeordneten Anzeigesymbol (12) an einer vorgegebenen fahrzeugfesten Position in der Datenbrille (3) anzuzeigen. Display system with a driver assistance system ( 10 ) and a data glasses ( 3 ), the driver assistance system ( 10 ) is formed, - by one or more foreign objects ( 9 ) in a vehicle environment; A visual recognition of the detected foreign objects ( 9 ) to hide foreign objects hidden by one or more vehicle parts ( 9 ) to identify; - for one or more of the identified hidden foreign objects ( 9 ) an identified foreign object ( 9 ) associated display icon ( 12 ) at a predetermined vehicle-fixed position in the data glasses ( 3 ).
DE102016214046.9A 2016-07-29 2016-07-29 Method for operating a driver assistance system with data glasses and a display system with data glasses Pending DE102016214046A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016214046.9A DE102016214046A1 (en) 2016-07-29 2016-07-29 Method for operating a driver assistance system with data glasses and a display system with data glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016214046.9A DE102016214046A1 (en) 2016-07-29 2016-07-29 Method for operating a driver assistance system with data glasses and a display system with data glasses

Publications (1)

Publication Number Publication Date
DE102016214046A1 true DE102016214046A1 (en) 2018-02-01

Family

ID=60951457

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016214046.9A Pending DE102016214046A1 (en) 2016-07-29 2016-07-29 Method for operating a driver assistance system with data glasses and a display system with data glasses

Country Status (1)

Country Link
DE (1) DE102016214046A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213230A1 (en) * 2018-08-07 2020-02-13 Volkswagen Aktiengesellschaft Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
WO2022161776A1 (en) * 2021-01-28 2022-08-04 Bayerische Motoren Werke Aktiengesellschaft Method and devices for providing reference points in the surroundings of a vehicle to a mobile terminal by means of the vehicle
DE102021110750A1 (en) 2021-04-27 2022-10-27 Bayerische Motoren Werke Aktiengesellschaft Method for warning a vehicle occupant when exiting the vehicle
DE102021119787A1 (en) 2021-07-29 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Process for displaying hidden traffic signs on data glasses
DE102021129582A1 (en) 2021-11-12 2023-05-17 Bayerische Motoren Werke Aktiengesellschaft Procedure for displaying hazard information on smart glasses

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10131720A1 (en) * 2001-06-30 2003-01-16 Bosch Gmbh Robert Head-up display system and method
US20090086019A1 (en) * 2007-10-02 2009-04-02 Aisin Aw Co., Ltd. Driving support device, driving support method and computer program
DE102009020328A1 (en) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft A method for displaying differently well visible objects from the environment of a vehicle on the display of a display device
DE102014207398A1 (en) * 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Object association for contact-analogue display on an HMD

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10131720A1 (en) * 2001-06-30 2003-01-16 Bosch Gmbh Robert Head-up display system and method
US20090086019A1 (en) * 2007-10-02 2009-04-02 Aisin Aw Co., Ltd. Driving support device, driving support method and computer program
DE102009020328A1 (en) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft A method for displaying differently well visible objects from the environment of a vehicle on the display of a display device
DE102014207398A1 (en) * 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Object association for contact-analogue display on an HMD

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213230A1 (en) * 2018-08-07 2020-02-13 Volkswagen Aktiengesellschaft Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
US11485380B2 (en) 2018-08-07 2022-11-01 Volkswagen Aktiengesellschaft Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
WO2022161776A1 (en) * 2021-01-28 2022-08-04 Bayerische Motoren Werke Aktiengesellschaft Method and devices for providing reference points in the surroundings of a vehicle to a mobile terminal by means of the vehicle
DE102021110750A1 (en) 2021-04-27 2022-10-27 Bayerische Motoren Werke Aktiengesellschaft Method for warning a vehicle occupant when exiting the vehicle
DE102021119787A1 (en) 2021-07-29 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Process for displaying hidden traffic signs on data glasses
DE102021129582A1 (en) 2021-11-12 2023-05-17 Bayerische Motoren Werke Aktiengesellschaft Procedure for displaying hazard information on smart glasses

Similar Documents

Publication Publication Date Title
EP3401166B1 (en) Mirror replacement system as camera display system of a motor vehicle, in particular a commercial vehicle
DE10131720B4 (en) Head-Up Display System and Procedures
EP2998937B1 (en) Display apparatus for vehicles, in particular for commercial vehicles
EP3437929B1 (en) Visual system with visual field/view area display depending on the driving situation
EP2603413B1 (en) Method for supporting a parking procedure of a motor vehicle, driver assistance system, and motor vehicle
EP3219533B1 (en) Viewing system for a motor vehicle, in particular a commercial vehicle
DE102016214046A1 (en) Method for operating a driver assistance system with data glasses and a display system with data glasses
DE102005046672A1 (en) Night vision device for motor vehicle, has navigating device, steering angle sensor, rotating rate sensor and radar sensor that are utilized such that roadway on which vehicle is to be driven is determined and is shown in display unit
DE102005062151A1 (en) Head-up display and camera process to guide a vehicle driver through a road constriction
EP2607171A2 (en) Method for controlling a display device of a motor vehicle and vehicle with a display controlled accordingly
EP2624213A1 (en) Method for visualizing the surroundings of a motor vehicle
EP2093738A2 (en) Method and system for displaying a relevant traffic sign in a vehicle
DE102007011180A1 (en) Rangierhilfe and method for drivers of vehicles or vehicle combinations, which consist of mutually bendable vehicle elements
EP3109096A1 (en) Display apparatus for vehicles, in particular for commercial vehicles
DE102010054221A1 (en) Method for assisting driver of motor car during lane change, involves determining lane course of past travel path from information of lane and past travel path, and graphically displaying lane course of past travel distance to driver
DE102006059684A1 (en) Driver assistance system for, particularly truck, has indicating device that has projector for warping information on road surface such that vehicle guide observes in operation of information
DE102005051804A1 (en) Driver assistance system for reversing or articulated vehicle has on board display indicating path lines
DE102014116037A1 (en) Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle
DE102004036566A1 (en) Night vision device
DE102011121763A1 (en) Method for representing distance information to preceding vehicle on display device of motor car, involves generating virtual image portion as graphics element, and representing real image that is expanded around portion, on display device
DE102016115313A1 (en) Method for supporting a driver of a team, driver assistance system and team
DE102017116628A1 (en) DISPLAY DEVICE FOR A VEHICLE
DE102009003220B4 (en) Procedure for collision warning and collision warning device
DE102018009563A1 (en) A method for displaying an environment of a motor vehicle, computer program product and motor vehicle
DE102015224349A1 (en) Hazardous area light

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed