DE102014207398A1 - Objektassoziation zur kontaktanalogen Anzeige auf einem HMD - Google Patents

Objektassoziation zur kontaktanalogen Anzeige auf einem HMD Download PDF

Info

Publication number
DE102014207398A1
DE102014207398A1 DE102014207398.7A DE102014207398A DE102014207398A1 DE 102014207398 A1 DE102014207398 A1 DE 102014207398A1 DE 102014207398 A DE102014207398 A DE 102014207398A DE 102014207398 A1 DE102014207398 A1 DE 102014207398A1
Authority
DE
Germany
Prior art keywords
vehicle
camera
contact
mobile terminal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102014207398.7A
Other languages
English (en)
Inventor
Matthias Kaufmann
Andreas Rauch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102014207398.7A priority Critical patent/DE102014207398A1/de
Publication of DE102014207398A1 publication Critical patent/DE102014207398A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Offenbart wird ein Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs, umfassend: Bereitstellen von Informationen zu dem kontaktanalog zu markierenden Objekt im Umfeld des Fahrzeugs, insbesondere die Position des zu markierenden Objektes; Erkennen von Objekten in den Aufnahmen einer Kamera eines mobilen Endgerätes, insbesondere einer Datenbrille; Identifizieren eines Objektes in den Aufnahmen der Kamera des mobilen Endgerätes als das zu markierende Objekt; Kontaktanaloges Anzeigen des Hinweises für das identifizierte Objekt auf einer Anzeige des mobilen Endgeräts.

Description

  • Die Erfindung betrifft ein Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs sowie ein System zu demselben Zweck.
  • Heutzutage sind Datenbrillen, manchmal auch Head-mounted Display (HMD) genannt, bekannt, mit deren Hilfe dem Träger der Datenbrille Informationen angezeigt werden können. Die Datenbrille wird dabei wie eine gewöhnliche Brille, die als Sehhilfe verwendet wird, auf dem Kopf getragen. Heutzutage sind Datenbrillen im Forschungsstadium bekannt geworden, bei denen das anzuzeigende Bild direkt in das Auge (auf die Netzhaut) projiziert wird, beispielsweise mithilfe von schwachen Lasern. Typischerweise umfasst eine HMD-Datenbrille allerdings jedoch eine Anzeige, die beim Tragen der Datenbrille nahe dem oder den Augen des Benutzers angeordnet ist. Die Anzeige kann dabei zwei Teilanzeigen umfassen, eine für jedes Auge. Auf der Anzeige können dem Benutzer Informationen und Hinweise in Form von Text, graphischen Darstellungen oder Mischungen davon angezeigt werden. Die Anzeige kann insbesondere teildurchlässig sein, also so ausgestaltet sein, dass der Träger auch die Umgebung hinter der Anzeige erkennen kann. Besonders bevorzugt werden dem Träger die Hinweise kontaktanalog angezeigt, was manchmal auch als augmented reality bezeichnet wird. Dabei wird dem Träger der Datenbrille die Information an einem Ort angezeigt, der an dem Ort eines Objektes in der Umgebung oder einem Bereich in der Umgebung orientiert ist. Die Information kann darin bestehen, ein Objekt oder einen Bereich des Umfeldes mithilfe einer geometrischen Form zu markieren, die beispielsweise an das Objekt angrenzend oder dieses überlagernd dargestellt wird. Die geometrische Form kann (perspektivisch korrekt) an die Kontur des zu markierenden Objektes angepasst werden.. Weiterhin kann die geometrische Form eine sogenannte Bounding Box sein, die als Rechteck (oder andere einfach geometrische Form) grob derart angeordnet wird, dass ein Objekt oder einen Bereich im Umfeld von ihr umschlossen wird (aus der Sicht des Trägers der Datenbrille). Weiterhin kann die markierende Information in Form von Text oder Piktogrammen sein, die in der Nähe oder das Objekt überlagernd angezeigt werden. Übelicherweise wird der Anzeigeort von kontaktanalogen Informationen nachgeführt, um Bewegungen der Datenbrille und des Objektes auszugleichen. Datenbrillen können auch in Fahrzeugen genutzt werden, um kontaktanaloge Hinweise für Objekte im Umfeld des Fahrzeugs anzuzeigen. Unter Objekten werden hierin Gegenstände, wie Verkehrsschilder oder Leitplanken verstanden aber auch andere Verkehrsteilnehmer wie Fahrzeuge und Fußgänger. Unter dem Begriff Eigenfahrzeug wird das Fahrzeug verstanden, in dem sich der Brillenträger befindet.
  • Zur Realisierung der Kontaktanalogie wird typischerweise die Position des Objektes in der Umgebung (des Brillenträgers und damit häufig des Eigenfahrzeugs) und die Pose der Datenbrille in Relation zum Objekt berücksichtigt, also die Position der Datenbrille und die Ausrichtung der Datenbrille. Für die Anwendung im Fahrzeug wird die Pose der Datenbrille typischerweise mithilfe eines Datenbrillen-Tracking-Systems festgestellt. Ein Datenbrillen-Tracking-System kann beispielsweise eine im Fahrzeug verbaute Kamera umfassen, die den Kopf des Fahrers mit der Datenbrille zusammen aufnimmt. Aus diesen Aufnahmen wird dann auf die Pose der Datenbrille im Fahrzeug geschlossen. Die Position und häufig auch die Dimension des kontaktanalog zu markierenden Objektes wird typischerweise mithilfe von im Fahrzeug verbauten Sensoren wie Radar, Lidar und/oder einem Kamerasystem bestimmt.
  • Die Realisierung einer kontaktanalogen Anzeige erfordert eine hohe Genauigkeit des Datenbrillen-Tracking Systems sowie der Bestimmung der Position des zu markierenden Objektes. Beispielsweise führt bereits ein Gesamtfehler von 1° bei der Bestimmung der Pose der Datenbrille und der Position des zu markierenden Objektes bei einem Abstand des Objektes von 100 Metern zu einem Fehler von 1,75 Metern. Für die kontaktanaloge Markierung eines voranfahrenden Fahrzeuges auf der Autobahn (beispielsweise ein Zielfahrzeug einer Automatic Cruise Control Steuerung, also einer Abstandsregelung) bedeutet dies jedoch bereits eine knappe Autobreite Versatz.
  • Der wesentliche Nachteil aktueller Systeme liegt in der zugrundeliegenden Verarbeitungskette begründet, d.h. dass zwischen den verschiedenen Bezugssystemen (Umfeldsensorik des Eigenfahrzeugs, Datenbrillen-Tracking, Datenbrille) umgerechnet werden muss und sich dabei alle Einzelfehler akkumulieren bei gleichzeitig hohen Anforderungen an die Gesamtqualität. Dies ist unabhängig davon, ob die endgültige Berechnung im Bezugsystem des Fahrzeugs, des Datenbrillen-Tracking Systems oder der Datenbrille erfolgt. Aus diesem Grund ermöglichen derzeitige Datenbrillen-Tracking-Systeme und derzeit eingesetzte Fahrzeugsensoren kaum die Erreichung einer Gesamtqualität unterhalb von 1°. Auch mittelfristig wird nicht erwartet, dass diese Genauigkeit mit den derzeitigen Systemen erreicht werden kann.
  • Es sind Datenbrillen bekannt geworden, die ebenfalls jeweils eine Kamera umfassen, die Aufnahmen in Blickrichtung des Trägers der Datenbrille macht, siehe beispielsweise WO 2013/012914 .
  • Die Aufgabe, die der Erfindung zugrundeliegt, ist es, ein alternatives Verfahren bereitzustellen, das eine möglichst genaue kontaktanaloge Anzeige von Hinweisen auf Objekte ermöglicht.
  • Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
  • In einem Aspekt umfasst ein Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs: Bereitstellen von Informationen zu dem kontaktanalog zu markierenden Objekt im Umfeld des Fahrzeugs, insbesondere die Position des zu markierenden Objektes; Erkennen von Objekten in den Aufnahmen einer Kamera eines mobilen Endgerätes, insbesondere einer Datenbrille; Identifizieren eines Objektes in den Aufnahmen der Kamera des mobilen Endgerätes als das zu markierende Objekt; Kontaktanaloges Anzeigen des Hinweises für das identifizierte Objekt auf einer Anzeige des mobilen Endgeräts. Das mobile Endgerät umfasst eine Kamera und eine Anzeige, wobei die relative Ausrichtung und relative Position der Kamera und der Anzeige zueinander bekannt und/oder unveränderlich ist. Typischerweise umfasst das Verfahren ferner: Bereitstellen von Informationen zu weiteren Objekten im Umfeld des Fahrzeugs; Zuordnen von in den Aufnahmen der Kamera des mobilen Endgerätes erkannten Objekten zu den bereitgestellten weiteren Objekten.
  • Gemäß dem hier vorgeschlagenen Verfahren wird die kontaktanaloge Anzeige somit basierend auf der Objekterkennung in den Aufnahmen einer Kamera des mobilen Endgeräts realisiert. Es findet ein Abgleich, der auch als Assoziation aufgefasst werden kann, zwischen den durch die Sensorik des Fahrzeug erkannten Objekten und den in den Aufnahmen der Kamera des mobilen Endgeräts erkannten Objekten statt. Eine Bestimmung der Pose der Datenbrille, wie in Verfahren des Standes der Technik vorgesehen, ist zwar zusätzlich möglich, allerdings nicht nötig, um die Kontaktanalogie zu realisieren. In manchen Implementierungen wird eine relativ ungenaue Bestimmung der Pose vorgenomomen.
  • Das Verfahren ist nicht nur für Datenbrillen geeignet, sondern auch für sogenannte Smartphones und Tablets anwendbar. Smartphones und Tablets umfassen eine berührungssensitive Anzeige und eine Kamera. Eine kontaktanaloge Darstellung wird auf der Anzeige dadurch realisiert, dass ein Videostream der Kamera angezeigt wird, in dem das zu markierende Objekt auf kontaktanaloge Weise mit dem Hinweis versehen wird. Als mobile Endgeräte werden hierin bewegbare und tragbare Vorrichtungen mit Anzeige und Kamera verstanden, darunter Datenbrillen, Smartphones und Tablets.
  • Durch das Verfahren ergeben sich wesentliche Vorteile bei der Genauigkeit der kontaktanalogen Darstellung: Bei den Verfahren des Standes der Technik findet eine Kumulierung der Fehler der Untersysteme statt. So bestehen für augmented reality Darstellungen hohe Anforderungen an die Genauigkeit der Fahrzeugsensorik und der Datenbrillen-Tracking-Systeme zur Bestimmung der Pose der Datenbrille. Diese Fehlerkette wird durch das vorgeschlagene Verfahren umgangen, indem die eigentliche Zielinformation (das zu markierendes Objekt in der realen Fahrszene) genutzt wird, um den Anzeigeort auf der Anzeige des mobilen Endgeräts zu bestimmen. Dabei wird ausgenutzt, dass die relative Position und Ausrichtung der Kamera des mobilen Endgeräts zur Anzeige des mobilen Endgeräts mit hoher Genauigkeit bestimmt werden können (beispielsweise in einem Konfigurationsverfahren nach der Herstellung des mobilen Endgeräts).
  • In der beispielhaften Verarbeitungskette werden somit vom Fahrzeug und dessen Sensorik und Auswerteeinheiten Objekte im Umfeld erkannt und dasjenige Objekt bestimmt, das markiert werden soll. Das mobile Endgerät erkennt in den Aufnahmen seiner Kamera ebenfalls Objekte und sendet eine Liste erkannter Objekte an das Fahrzeug. Das Fahrzeug erkennt in dieser Liste das zu markierende Objekt (aufgrund einer Objektassoziation) und sendet Informationen zu diesem an das mobile Endgerät zurück. Die Objektassoziation kann generell auch von dem mobilen Endgerät durchgeführt werden, wobei in diesem Fall das Fahrzeug eine Objektliste an das Endgerät sendet. Unter Berücksichtigung der relativen Ausrichtung und Position von Kamera und Anzeige des mobilen Endgerätes errechnet das mobile Endgerät den Anzeigenort für den kontaktanalogen Hinweis und zeigt den Hinweis auf der Anzeige an. Das zu markierende Objekt kann im Folgenden von dem mobilen Endgerät verfolgt werden und die kontaktanaloge Anzeige entsprechend angepasst werden (Tracking, insbesondere kamerabasiertes Tracking).
  • Gerade beim Tracking eines Objektes ergeben sich so Vorteile hinsichtlich einer Verzögerung der Nachführung, als auch ein geringeres Wackeln bei hochfrequenten Bewegungen des mobilen Endgerätes.
  • Durch die Assoziation können die Vorteile der beiden Sensoriken optimal kombiniert werden. Dabei wird die fahrzeuglokale Sensorik für die Bestimmung dynamischer Größen (Geschwindigkeit, ACC Zielobjekt etc.) der relevanten Objekte genutzt. Die Optik der Kamera mit ihrem statischen und genau bekannten Bezug zur Anzeige im mobilen Endgerät wird für die visuelle Markierung (kontaktanaloge Markierung) genutzt.
  • In einer Weiterbildung umfasst das Verfahren ferner: Bestimmen der Orientierung des mobilen Endgerätes relativ zum Fahrzeug basierend auf der Abbildung des Innenraums des Fahrzeugs in den Aufnahmen der Kamera; Wobei beim Identifizieren des Objektes die bestimmte Orientierung des mobilen Endgerätes berücksichtigt wird. Dabei findet die Identifizierung des Objektes nicht allein aufgrund der bestimmten Orientierung statt. Die bestimmte Orientierung dient dazu einen verbesserten Startpunkt bei der Identifikation des zu markierenden Objektes bereitzustellen. Anstatt beispielsweise Objekte in einem Bereich von 180° vor dem Fahrzeug in den Aufnahmen erkannten Objekten zuordnen zu müssen, können nur die Objekte im Bereich von z.B. 20° bis 110° berücksichtigt werden, sofern festgestellt wird, dass das mobile Endgerät aufgrund seiner Ausrichtung nur Aufnahmen aus diesem Bereich bereitstellt und/oder nur in diesem Bereich Hinweise anzeigen kann. Hierdurch ergeben sich kürzere Latenzen und reduzierte Anforderungen an die Rechenkapazität. Zur Bestimmung der Orientierung kann in den Aufnahmen der Innenraum des Fahrzeugs erkannt werden und mit vorgespeicherten Daten zum Innenraum verglichen werden. Hieraus lässt sich – unter Aufwendung eines restriktierten Rechenaufwands – auf die grobe Orientierung der Datenbrille schließen.
  • In einer bevorzugten Implementierung umfasst das Anzeigen des Hinweises: Bestimmen der Form und Position des Hinweises anhand der Abbildung des identifizierten Objektes in den Aufnahmen der Kamera. Das vorgeschlagene Verfahren bietet einen weiteren Vorteil: In den Systemen des Standes der Technik bestimmt sich die Größe und Form einer kontaktanalogen Markierung nach der Perspektive der Fahrzeugsensorik. Diese unterscheidet sich jedoch von der Perspektive des Fahrers. So sieht beispielsweise das Fahrzeug bei einer scharfen Kurve von einem Vorderfahrzeug mithilfe eines Radarsensors in der Stoßstange nur das Heck des Vorderfahrzeugs, während der Fahrer auch die Seite des Vorderfahrzeugs erkennen kann. Die Errechnung der Kontaktanalogie und der Größe und Form der Markierung aufbauend auf im Wesentlichen derselben Perspektive des Fahrers (Kamera und Anzeige sind vom mobilen Endgerät umfasst) ermöglicht somit eine verbesserte kontaktanaloge Markierung.
  • In einer vorteilhaften Implementierung wird beim Anzeigen der Form und Position des Hinweises die unterschiedliche geometrische Anordnung der Kamera im Verhältnis zur Anzeige des mobilen Endgerätes berücksichtigt, wobei sich die geometrische Anordnung der Kamera und der Anzeige insbesondere in der Position und der Ausrichtung unterscheiden.
  • Die Information zu dem kontaktanalog zu markierenden Objekt kann mithilfe von im Fahrzeug verbauter Sensorik, basierend auf einer Fahrzeug-zu-Fahrzeug Kommunikation und/oder von einem entfernten Rechner bereitgestellt werden.
  • In einem anderen Aspekt umfasst ein System zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs: Ein mobiles Endgerät, insbesondere eine Datenbrille, umfassend eine Anzeige und eine Kamera; Eine elektronische Steuereinrichtung; Wobei das System dazu eingerichtet ist, eines der oben dargestellten Verfahren auszuführen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt schematisch eine Vorrichtung zur Ausführung eines beispielhaften erfindungsgemäßen Verfahrens.
  • 2 zeigt schematisch die Sichtbereiche von der Kamera einer Datenbrille und der Umfelderfassung eines Fahrzeugs gemäß einem Ausführungsbeispiel.
  • 3 zeigt schematisch die Anordnung von Kamera und Anzeige einer Datenbrille gemäß einem Ausführungsbeispiel.
  • 4 und 5 zeigen schematisch kontaktanaloge Markierungen von Objekten gemäß Ausführungsbeispielen.
  • Gleiche Bezugszeichen beziehen sich auf sich entsprechende Elemente über die Figuren hinweg.
  • DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
  • 1 zeigt schematisch eine Vorrichtung zur Ausführung eines beispielhaften erfindungsgemäßen Verfahrens. Einzelne Blöcke der 1 stellen dabei Funktionen dar, die mithilfe von Hardware-/Software oder einer Kombination davon realisiert werden können. Das Fahrzeug 1, umfasst Radar, Lidar und Kamerasensoren sowie ggf. weitere Sensoren. Die Messdaten dieser Sensoren werden fusioniert, um eine Umfeldmodell zuerstellen. Das Umfeldmodell gibt an, an welcher Position (relativ zum Fahrzeug) außerhalb des Fahrzeugs 1 sich Objekte befinden, sowie deren Klassifikation (bspw. Fußgänger, Fahrradfahrer, Fahrzeug, etc.). Das Umfeldmodell wird in diesem Beispiel als Objektliste bereitgestellt, die die vorgenannten Daten umfasst. Mit anderen Worten: Basierend auf der verfügbaren fahrzeuglokalen Sensorik sowie der Fahrzeug-zu-Fahrzeug Kommunikation und/oder einem zentralen Backend fusioniert das Fahrzeug diese Daten zu einem fahrzeuglokalen Umfeldmodell inklusive fremder Verkehrsteilnehmer wie beispielswiese voranfahrender Fahrzeuge, sodass diese Objektdaten im fahrzeuglokalen Koordinatensystem vorliegen.
  • Die Datenbrille 2 umfasst ebenfalls eine Kamera, die statisch an der Datenbrille angeordnet ist, ebenso wie eine halbtransparente Anzeige mit zwei Teilanzeigen für jedes Auge. In der Kamera ist ein Modell des Cockpits, also des Innenraums und insbesondere der Fahrgastzelle um den Fahrer herum, gespeichert. Das Modell kann auch nur auf einige Merkmale des Innenraums widergeben, beispielsweise die Umrahmung der Fensterscheibe oder Details des Armaturenbretts. Mithilfe der Aufnahmen der Kamera der Datenbrille, die Teile des Innenraums des Fahrzeugs abbilden, und dem Cockpitmodell kann die Grobausrichtung der Kamera bestimmt werden. Dazu können beispielsweise sogenannte SLAM-Algorithmen verwendet werden (Simultaneous Localization and Mapping). Verfahren zur Bestimmung der Pose der Datenbrille basierend auf Aufnahmen des Innenraums sind in der vom selben Anmelder anhängigen Anmeldung DE (Zeichen des Anmelders EM27047) beschrieben; wobei die Pose der Datenbrille die Pose und Ausrichtung (hierin auch Orientierung genannt) umfasst. Zur Bestimmung der Grobausrichtung der Datenbrille reicht ein vergleichsweise geringer Rechenaufwand im Vergleich zur Bestimmung einer genauen Ausrichtung der Datenbrille.
  • Ebenso dient das Cockpitmodell dazu, in den Aufnahmen der Kamera zwischen Innenraum und Außenraum zu unterscheiden. Die hierin zu markierenden Objekte befinden sich im Außenraum des Fahrzeugs. Dementsprechend kann die Objekterkennung der Datenbrille auf die Bereiche der Kameraaufnahmen beschränkt werden, die den Außenraum abbilden. Auch die Objekterkennung der Datenbrille erzeugt eine Objektliste, in der die Position und Klassifikation der erkannten Objekte vermerkt ist. Die Objekterkennung der Datenbrille erfolgt typischerweise im Koordinatensystem der Datenbrille.
  • Die Objektliste der Datenbrille wird an das Fahrzeug 1 übertragen, beispielsweise mithilfe des Wi-Fi- oder Bluetooth-Standards. Im Fahrzeug 1 findet dann die Objektassoziation statt. Dabei wird die Groborientierung der Datenbrille im Fahrzeug-Koordinatensystem zusammen mit den erkannten Objekten im Fahrzeug Koordinatensystem genutzt um den groben Sichtbereich der Kamera der Datenbrille mit dem Fahrzeug Koordinatensystem abzugleichen und die Anzahl der Objekte, die zu assoziieren sind, zu begrenzen. 2 zeigt hierzu schematisch das Prinzip der Vor- Auswahl der zu assoziierenden Objekte. Der Fahrer 7 eines Fahrzeugs 6 trägt eine Datenbrille 2, deren Kamera Aufnahmen von Objekten im Bereich 8 macht. Die Sensoren des Fahrzeugs ermöglichen eine Umfelderfassung im Bereich 9. Damit umfasst die Objektliste des Fahrzeug-Umfeldmodells auch das Fahrzeug 10. Dieses kann allerdings nicht von der Datenbrille 2 erkannt werden, weil der Sichtbereich 8 der Kamera der Datenbrille 2 das Fahrzeug 10 nicht abbildet. Folglich braucht das Fahrzeug 10 bei der Objektassoziation nicht berücksichtigt zu werden.
  • Aufbauend auf der Vor-Auswahl der vom Fahrzeug erkannten Objekte werden die erkannten Objekte der Datenbrille mit den erkannten Objekten des Fahrzeugs assoziiert. Es wird versucht, jedem Objekt, das von der Datenbrille erkannt wurde, ein Objekt zuzuordnen, das vom Fahrzeug im Umfeld erkannt wurde. Hierbei kommen Algorithmen zum Einsatz, die aus der Sensordatenfusion für die Fahrzeugumfelderfassung bekannt sind. Dazu zählen u.a. Ansätze, die die globale Zuordnung der Objekte aus verschiedenen Quellen zueinander bezüglich eines Gütemaßes optimieren (sogenannte Global Nearest Neighbor Ansätze, wie Auktionsalgorithmen, von denen einer beipsielsweise in „A distributed asynchronous relaxation algorithm for the assignment problem", Bertsekas, D. P., Proceedings of the 24th IEEE Conference on Decision and Control Bd. 24, 1985, 1703–1704 beschrieben ist).
  • Das Fahrzeug 1 selektiert eines oder mehrere der Objekte, die in dem Umfeldmodell erkannt wurden, als Zielobjekt, für das der kontaktanaloge Hinweis angezeigt werden soll (mehrere gemeinsam zu markierende Objekte werden hierin als ein Zielobjekt verstanden). Das Zielobjekt kann sich aus der Funktion eines Fahrerassistenzsystems ergeben. Beispielsweise kann als Zielobjekt, dasjenige Fahrzeug ausgewählt werden, das für eine ACC Funktion als Vorderfahrzeug erkannt wurde. Es wird versucht das Zielobjekt in den von der Datenbrille erkannten Objekten zu identifizieren. Dabei wird auf die vorhergehend ausgeführte Objektassoziation zurückgegriffen. Das identifizierte Objekt wird an die Datenbrille 1 zurückübertragen, beispielsweise mithilfe des Wi-Fi- oder Bluetooth-Standards.
  • Die Datenbrille 1 errechnet anhand des identifizierten Objekts die Gestalt des kontaktanalogen Hinweises und dessen Anzeigeort auf der Anzeige der Datenbrille. In manchen Implementierungen wird dazu eine Kameraaufnahme bzw. Kameraframe zuhilfe genommen. Wenn beispielsweise die Konturen eines Fahrzeugs markiert werden sollen, müssen die Konturen des Fahrzeugs erkannt und durch den Hinweis markiert werden. Hierzu können im Stand der Technik bekannte Freizeichnungs-Techniken verwendet werden. Auf diese Weise wird die für den Fahrer sichtbare Seite eines zu markierenden Fahrzeugs, das sich in einer Kurve befindet, korrekt mit umrandet.
  • Ebenfalls wird bei der Berechnung (bzw. Bestimmung) des kontaktanalogen Hinweises die Verschiebung und Verdrehung von Kamera und Anzeige der Datenbrille berücksichtigt. 3 zeigt diese Verdrehung und Verschiebung schematisch und zur Verdeutlichung übertrieben. Die Datenbrille 2 umfasst die Kamera 5 und die Anzeige 4. Die Perspektive des Auges 3 des Nutzers (dargestellt durch ein Sichtdreieck) ist gegenüber dem Sichtbereich der Kamera 5 verschobenen und verdreht. Die Translation und Rotation muss bei der Berechnung der Gestalt des kontaktanalogen Hinweises berücksichtigt werden. Zu diesem Zweck kann die Translation und Rotation vorhergehend einmalig bestimmt werden. Eine für die Aufnahmen der Kamera bestimmte Gestalt des Hinweises kann dann z.B. durch eine homogene Transformation für die Anzeige umgerechnet werden.
  • Der so bestimmte kontaktanaloge Hinweis wird schließlich auf der Anzeige der Datenbrille dargestellt.
  • 4 und 5 zeigen schematisch kontaktanaloge Markierungen von Objekten mithilfe des erfindungsgemäßen Verfahrens gemäß Ausführungsbeispielen. 4 zeigt die kontaktanaloge Markierung eines Navigationshinweises 11 auf der Fahrbahn. Der Hinweis 11 wird weltstatisch angezeigt, d.h. er bewegt sich nicht im Relation zum Umfeld des Fahrzeugs. 5 zeigt die kontaktanaloge Markierung 12 eines ACC Zielfahrzeugs. Die Markierung besteht aus zwei Teilen wie in 5 gezeigt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2013/012914 [0006]
  • Zitierte Nicht-Patentliteratur
    • „A distributed asynchronous relaxation algorithm for the assignment problem“, Bertsekas, D. P., Proceedings of the 24th IEEE Conference on Decision and Control Bd. 24, 1985, 1703–1704 [0030]

Claims (7)

  1. Verfahren zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs, umfassend: Bereitstellen von Informationen zu dem kontaktanalog zu markierenden Objekt im Umfeld des Fahrzeugs, insbesondere die Position des zu markierenden Objektes; Erkennen von Objekten in den Aufnahmen einer Kamera eines mobilen Endgerätes, insbesondere einer Datenbrille; Identifizieren eines Objektes in den Aufnahmen der Kamera des mobilen Endgerätes als das zu markierende Objekt; Kontaktanaloges Anzeigen des Hinweises für das identifizierte Objekt auf einer Anzeige des mobilen Endgeräts.
  2. Verfahren nach Anspruch 1, ferner umfassend: Bereitstellen von Informationen zu weiteren Objekten im Umfeld des Fahrzeugs; Zuordnen von in den Aufnahmen der Kamera des mobilen Endgerätes erkannten Objekten zu den bereitgestellten weiteren Objekten.
  3. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Bestimmen der Orientierung des mobilen Endgerätes relativ zum Fahrzeug basierend auf der Abbildung des Innenraums des Fahrzeugs in den Aufnahmen der Kamera; Wobei beim Identifizieren des Objektes die bestimmte Orientierung des mobilen Endgerätes berücksichtigt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Anzeigen des Hinweises umfasst: Bestimmen der Form und Position des Hinweises anhand der Abbildung des identifizierten Objektes in den Aufnahmen der Kamera.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Anzeigen der Form und Position des Hinweises die unterschiedliche geometrische Anordnung der Kamera im Verhältnis zur Anzeige des mobilen Endgerätes berücksichtigt wird, wobei sich die geometrische Anordnung der Kamera und der Anzeige insbesondere in der Position und der Ausrichtung unterscheiden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Information zu dem kontaktanalog zu markierenden Objekt mithilfe von im Fahrzeug verbauter Sensorik, basierend auf einer Fahrzeug-zu-Fahrzeug Kommunikation und/oder von einem entfernten Rechner bereitgestellt wird.
  7. System zur kontaktanalogen Anzeige eines Hinweises für ein zu markierendes Objekt im Umfeld eines Fahrzeugs, umfassend: Ein mobiles Endgerät, insbesondere eine Datenbrille, umfassend eine Anzeige und eine Kamera; Eine elektronische Steuereinrichtung; Wobei das System dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
DE102014207398.7A 2014-04-17 2014-04-17 Objektassoziation zur kontaktanalogen Anzeige auf einem HMD Pending DE102014207398A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014207398.7A DE102014207398A1 (de) 2014-04-17 2014-04-17 Objektassoziation zur kontaktanalogen Anzeige auf einem HMD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014207398.7A DE102014207398A1 (de) 2014-04-17 2014-04-17 Objektassoziation zur kontaktanalogen Anzeige auf einem HMD

Publications (1)

Publication Number Publication Date
DE102014207398A1 true DE102014207398A1 (de) 2015-10-22

Family

ID=54249913

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014207398.7A Pending DE102014207398A1 (de) 2014-04-17 2014-04-17 Objektassoziation zur kontaktanalogen Anzeige auf einem HMD

Country Status (1)

Country Link
DE (1) DE102014207398A1 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212687A1 (de) 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
DE102016214046A1 (de) * 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems mit einer Datenbrille sowie ein Anzeigesystem mit einer Datenbrille
DE102017200337A1 (de) * 2017-01-11 2018-07-12 Volkswagen Aktiengesellschaft Kraftfahrzeug
DE102017205194A1 (de) * 2017-03-28 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen von 3D-Bild-Informationen in einem Fahrerassistenzsystem eines Kraftfahrzeugs
DE102018126740A1 (de) 2018-10-26 2020-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Anzeigesystem zur kontaktanalogen Anzeige einer virtuellen Anzeigeinformation zu einem Umgebungsobjekt in einer Datenbrille
DE102022204546A1 (de) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren für eine Verarbeitung von Sensordaten für ein Fahrassistenzsystem eines Fahrzeuges

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012914A2 (en) 2011-07-20 2013-01-24 Google Inc. Dynamic control of an active input region of a user interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013012914A2 (en) 2011-07-20 2013-01-24 Google Inc. Dynamic control of an active input region of a user interface

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A distributed asynchronous relaxation algorithm for the assignment problem", Bertsekas, D. P., Proceedings of the 24th IEEE Conference on Decision and Control Bd. 24, 1985, 1703-1704

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016212687A1 (de) 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
WO2018011047A1 (de) 2016-07-12 2018-01-18 Audi Ag Verfahren zum betreiben einer anzeigeeinrichtung eines kraftfahrzeugs
US10607526B2 (en) 2016-07-12 2020-03-31 Audi Ag Method for operating a display device of a motor vehicle
DE102016214046A1 (de) * 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems mit einer Datenbrille sowie ein Anzeigesystem mit einer Datenbrille
DE102017200337A1 (de) * 2017-01-11 2018-07-12 Volkswagen Aktiengesellschaft Kraftfahrzeug
DE102017205194A1 (de) * 2017-03-28 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen von 3D-Bild-Informationen in einem Fahrerassistenzsystem eines Kraftfahrzeugs
DE102018126740A1 (de) 2018-10-26 2020-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Anzeigesystem zur kontaktanalogen Anzeige einer virtuellen Anzeigeinformation zu einem Umgebungsobjekt in einer Datenbrille
DE102022204546A1 (de) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren für eine Verarbeitung von Sensordaten für ein Fahrassistenzsystem eines Fahrzeuges

Similar Documents

Publication Publication Date Title
DE102017107396B4 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE102018203462A1 (de) Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102014206623A1 (de) Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
DE102014207398A1 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102014214514A1 (de) Vorrichtung und Verfahren zum Austausch von Daten zwischen Fahrzeugen zum Einrichten einer Kolonnenfahrt
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE102013222322A1 (de) Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität
DE112018004519T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE102017215163B4 (de) System aus einem Kraftfahrzeug und einer Augmented-Reality-Brille und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille im Innenraum eines Fahrzeugs
DE102018201509A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102010003850A1 (de) Verfahren und Vorrichtung zur Nachführung einer Position einer Objektmarkierung
DE102013210729A1 (de) Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
DE102012213466A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
DE102015206546A1 (de) Fahrbahnmarkierungserkennungsvorrichtung
DE112014007007T5 (de) Informationsanzeige-Steuersystem und Verfahren zum Steuern einer Anzeige einer Information
WO2019057452A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102017217923A1 (de) Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102018215186A1 (de) Konzept zum Überwachen und Planen einer Bewegung eines Fortbewegungsmittels
DE102014009608A1 (de) Betrieb einer AR-Brille im Kraftfahrzeug
DE102013212916A1 (de) Einblendung von Kollisionswarnungen auf einem Head-mounted Display
EP3749541A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
DE102015209090A1 (de) Ausgabe einer Warnung bezüglich Verkehrsteilnehmer auf einem Head-mounted Display

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G02B0027010000

Ipc: B60R0016020000

R012 Request for examination validly filed
R163 Identified publications notified
R016 Response to examination communication