DE102011121746A1 - Fahrzeugbetriebs- und Fahrzeugsteuerungssystem für autonome Fahrzeuge auf einer Vollwindschutzscheibenanzeige - Google Patents

Fahrzeugbetriebs- und Fahrzeugsteuerungssystem für autonome Fahrzeuge auf einer Vollwindschutzscheibenanzeige Download PDF

Info

Publication number
DE102011121746A1
DE102011121746A1 DE102011121746A DE102011121746A DE102011121746A1 DE 102011121746 A1 DE102011121746 A1 DE 102011121746A1 DE 102011121746 A DE102011121746 A DE 102011121746A DE 102011121746 A DE102011121746 A DE 102011121746A DE 102011121746 A1 DE102011121746 A1 DE 102011121746A1
Authority
DE
Germany
Prior art keywords
graphic
vehicle
projection display
user
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102011121746A
Other languages
English (en)
Other versions
DE102011121746B4 (de
Inventor
Omer Tsimhoni
Joseph F. Szczerba
Thomas A. Seder
Dehua Cui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102011121746A1 publication Critical patent/DE102011121746A1/de
Application granted granted Critical
Publication of DE102011121746B4 publication Critical patent/DE102011121746B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141Activation of instrument input devices by approaching fingers or pens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ein Verfahren zum Navigieren eines Fahrzeugs unter Verwendung einer graphischen Projektionsanzeige umfasst das Überwachen einer Navigationszustandsgraphik, die eine Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird, das Überwachen einer Benutzereingabe, die auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird, das Einleiten eines vom Benutzer definierten Navigationsbefehls auf der Basis der überwachten Navigationszustandsgraphik und der überwachten Benutzereingabe und das Betreiben des Fahrzeugs gemäß dem vom Benutzer definierten Navigationsbefehl.

Description

  • TECHNISCHES GEBIET
  • Diese Offenbarung bezieht sich auf vom Benutzer definierte Navigationsbefehle für autonome Fahrzeuge und deren Anzeige auf einer Windschutzscheibe.
  • HINTERGRUND
  • Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen in Bezug auf die vorliegende Offenbarung dar und können, müssen jedoch nicht Stand der Technik bilden.
  • Fahrfähigkeiten können verbessert werden, wenn für einen Fahrer des Fahrzeugs Situationsbewusstsein der Navigationsabsicht des autonomen Fahrsystems, Navigationsmanöver durchzuführen, bereitgestellt werden würde und dadurch Fahrervertrauen in das autonome Fahrsystem aufgebaut würde. Ein Fahrer auf einer kurvigen Autobahn kann beispielsweise wissen wollen, dass das autonome Fahrsystem über eine bevorstehende scharfe Kurve auf der Autobahn Bescheid weiß und dass das autonome Fahrsystem plant, das Fahrzeug zu manövrieren, um die bevorstehende Kurve zu absolvieren.
  • Während des laufenden autonomen Fahrzeugbetriebs existieren Situationen, in denen ein Fahrer das Fahrzeug in einer Weise betreiben wollen kann, die anders ist als die Navigationsabsicht, während das Fahrzeug autonom oder halbautonom arbeitet.
  • Es ist bekannt, dass gestenbasierte Benutzerschnittstellensysteme Benutzerbewegungen detektieren, die eingegeben werden, um verschiedene Anwendungen zu steuern. Head-up-Anzeigen projizieren Licht auf eine Bildfläche und das Licht wird auf der Bildfläche in eine sichtbare Anzeige umgewandelt. Es ist bekannt, dass Head-up-Anzeigen Informationen für den Fahrer des Fahrzeugs in einer effektiven Weise durch Verringern der Belastung für den Fahrer darstellen, während sie ermöglichen, dass der Fahrer auf das Fahren konzentriert bleibt.
  • ZUSAMMENFASSUNG
  • Ein Verfahren zum Navigieren eines Fahrzeugs unter Verwendung einer graphischen Projektionsanzeige umfasst das Überwachen einer Navigationszustandsgraphik, die eine Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird, das Überwachen einer Benutzereingabe, die auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird, das Einleiten eines vom Benutzer definierten Navigationsbefehls auf der Basis der überwachten Navigationszustandsgraphik und der überwachten Benutzereingabe und das Betreiben des Fahrzeugs gemäß dem vom Benutzer definierten Navigationsbefehl.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Eine oder mehrere Ausführungsformen werden nun beispielhaft mit Bezug auf die begleitenden Zeichnungen beschrieben, in denen:
  • 1 ein beispielhaftes Fahrzeug, das mit einem EVS-System ausgestattet ist, gemäß der vorliegenden Offenbarung darstellt;
  • 2 Ausführungsformen einer graphischen Projektionsanzeige, wobei ein Bild einer Ansicht, die der Fahrszene eines Fahrzeugs entspricht, und Graphiken darauf angezeigt werden können, gemäß der vorliegenden Offenbarung darstellt;
  • 3 eine im Wesentlichen transparente Anzeige gemäß der vorliegenden Offenbarung darstellt;
  • 4 das in 1 dargestellte beispielhafte Benutzereingabemodul gemäß der vorliegenden Offenbarung darstellt;
  • 5 einen beispielhaften Informationsfluss zum Betreiben eines Fahrzeugs gemäß einem vom Benutzer definierten Navigationsbefehl, der auf der Basis einer Navigationszustandsgraphik eingeleitet wird, die eine Navigationsabsicht, die auf der graphischen Projektionsanzeige angezeigt wird, und eine Benutzereingabe, die auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird, darstellt, gemäß der vorliegenden Offenbarung darstellt;
  • 6 einen beispielhaften Informationsfluss zum dynamischen Ausrichten einer Graphik auf einer Fahrszene unter Verwendung der graphischen Projektionsanzeige gemäß der vorliegenden Offenbarung darstellt;
  • 7 schematisch einen beispielhaften Informationsfluss zum Bestimmen und Anzeigen einer Navigationszustandsgraphik gemäß der vorliegenden Offenbarung darstellt;
  • 8 schematisch einen beispielhaften Informationsfluss zum Bestimmen und Anzeigen einer Navigationsbefehlsgraphik, die einen vom Benutzer definierten Navigationsbefehl darstellt, gemäß der vorliegenden Offenbarung darstellt; und
  • 911 Fahrszenen mit Graphiken, die dynamisch auf einer graphischen Projektionsanzeige eines Fahrzeugs ausgerichtet werden, gemäß der vorliegenden Offenbarung darstellen.
  • AUSFÜHRLICHE BESCHREIBUNG
  • In den Zeichnungen, in denen die Darstellungen nur für den Zweck der Erläuterung von bestimmten beispielhaften Ausführungsformen und nicht für den Zweck der Begrenzung derselben dienen, stellt 1 ein beispielhaftes Fahrzeug, das mit einem erweiterten Sichtsystem (EVS) ausgestattet ist, gemäß der vorliegenden Offenbarung dar. Ein beispielhaftes EVS-System ist in der gleichzeitig anhängigen US-Anmeldung Nr. 12/417 077 offenbart, die durch den Hinweis hier aufgenommen wird. Für die Zwecke dieser Offenbarung werden die Begriffe ”Betreiber”, ”Benutzer” und ”Fahrer” hier austauschbar verwendet. Das Fahrzeug 100 kann ein vollständig autonom fahrendes Fahrzeug sein oder kann ein halbautonom fahrendes Fahrzeug mit adaptivem Tempomat und/oder automatischem Fahrspurwechsel sein. Das Fahrzeug 100 umfasst einen EVS-Systemmanager 110; ein Benutzereingabemodul (UIM) 515; eine graphische Projektionsanzeige 250 (in 2 gezeigt), Fahrzeugsensorsysteme, einschließlich eines Kamerasystems 120 und eines Radarsystems 125; Fahrzeugbetriebssensoren, einschließlich eines Fahrzeuggeschwindigkeitssensors 130; Informationssysteme, einschließlich einer GPS-Vorrichtung 140 und eines drahtlosen Kommunikationssystems 145; eine Head-up-Anzeige (HUD) 150; ein EVS-Graphiksystem 155; ein Graphikprojektionssystem 158; und ein Insassenaugenort-Erfassungssystem 160. Der EVS-Systemmanager 110 umfasst einen programmierbaren Prozessor mit einer Programmierung zum Überwachen einer Navigationszustandsgraphik, die auf der graphischen Projektionsanzeige (z. B. HUD 150) angezeigt wird, Überwachen einer Benutzereingabe, die auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird, und zum Einleiten eines vom Benutzer definierten Navigationsbefehls auf der Basis der überwachten Navigationszustandsgraphik und der überwachten Benutzereingabe, wobei das autonome Fahrsystem (ADS) 112 das Fahrzeug gemäß dem vom Benutzer definierten Navigationsbefehl betreibt. Der EVS-Systemmanager kann direkt mit verschiedenen Systemen und Komponenten kommunizieren, einschließlich des ADS 112, oder der EVS-Systemmanager kann alternativ oder zusätzlich über ein LAN/CAN-System 115 kommunizieren. Der EVS-Systemmanager verwendet Informationen hinsichtlich der Betriebsumgebung des Fahrzeugs (d. h. autonome Navigationsabsicht), die von einer Anzahl von Eingaben (d. h. ADS 112) und von Eingaben auf Benutzerbasis, die auf einen Abschnitt der graphischen Projektionsanzeige (z. B. HUD 150) gerichtet sind, um einen vom Benutzer definierten Navigationsbefehl einzuleiten, abgeleitet sind. Mit Bezug auf 4 genauer erörtert empfängt das UIM 515 Benutzereingaben, die auf einem Abschnitt der graphischen Projektionsanzeige 250 (z. B. HUD 150) angegeben werden, wobei die Benutzereingaben vom EVS-Systemmanager 110 überwacht werden. Das Kamerasystem 120 umfasst eine Kamera oder Bildaufnahmevorrichtung, die periodische oder sequentielle Bilder aufnimmt, die eine Ansicht vom Fahrzeug aus darstellen. Die Kamera oder Bildaufnahmevorrichtung des Kamerasystems 120 umfasst vorzugsweise 360 Grad Abdeckung. Das Radarsystem 125 umfasst eine auf dem Fachgebiet bekannte Vorrichtung, die elektromagnetische Strahlung verwendet, um andere Fahrzeuge oder Objekte zu detektieren, die nahe dem Fahrzeug angeordnet sind. Eine Anzahl von bekannten Sensoren im Fahrzeug wird innerhalb eines Fahrzeugs verwendet, um die Fahrzeuggeschwindigkeit, die Motordrehzahl, den Radschlupf und andere Parameter zu überwachen, die den Betrieb des Fahrzeugs darstellen. Ein Fahrzeuggeschwindigkeitssensor 130 stellt einen solchen Sensor im Fahrzeug dar, aber der Schutzbereich der Offenbarung umfasst beliebige solche Sensoren für die Verwendung durch das EVS. Die GPS-Vorrichtung 140 und das drahtlose Kommunikationssystem 145 kommunizieren mit Ressourcen außerhalb des Fahrzeugs, beispielsweise einem Satellitensystem 180 und einem Mobilfunkkommunikationsmast 190. Die GPS-Vorrichtung 140 kann in Verbindung mit einer 3D-Kartendatenbank mit detaillierten Informationen in Bezug auf eine globale Koordinate, die von der GPS-Vorrichtung 140 hinsichtlich des aktuellen Orts des Fahrzeugs empfangen wird, verwendet werden. Informationen von den Fahrzeugsensorsystemen und den Fahrzeugbetriebssensoren können vom EVS-Systemmanager 110 verwendet werden, um die aktuelle Orientierung des Fahrzeugs zu überwachen. Die HUD 150 umfasst eine Windschutzscheibe, die mit Merkmalen ausgestattet ist, die in der Lage sind, ein darauf projiziertes Bild anzuzeigen, während sie transparent oder im Wesentlichen transparent bleibt, so dass Insassen des Fahrzeugs die Außenseite des Fahrzeugs durch die Windschutzscheibe deutlich beobachten können. Es ist zu erkennen, dass, obwohl die HUD 150 die Windschutzscheibe an der Vorderseite des Fahrzeugs umfasst, andere Oberflächen innerhalb des Fahrzeugs für die Projektion verwendet werden könnten, einschließlich Seitenfenstern und eines Heckfensters. Außerdem könnte die Ansicht auf der Frontwindschutzscheibe, auf den vorderen Fahrzeug-”A-Säulen” und auf den Seitenfenstern als kontinuierliches Bild fortgesetzt werden. Eine EVS-Graphikmaschine 155 umfasst eine Anzeigesoftware oder Programmierung, die Anforderungen zum Anzeigen von Informationen vom EVS-Systemmanager 110 in graphische Darstellungen der Informationen umsetzt. Die EVS-Graphikmaschine 155 umfasst eine Programmierung, um die gekrümmte und geneigte Oberfläche der Windschutzscheibe und von beliebigen anderen Oberflächen (z. B. nicht transparente Komponenten 280, die in 2 gezeigt sind), auf die Graphiken projiziert werden sollen, zu kompensieren. Die EVS-Graphikmaschine 155 steuert das Graphikprojektionssystem 158 mit einer Laser- oder Projektorvorrichtung, die ein Anregungslicht erzeugt, um die graphischen Darstellungen zu projizieren. Das Insassenaugenort-Erfassungssystem 160 umfasst Sensoren, die auf dem Fachgebiet bekannt sind, um einen Ort des Kopfs eines Insassen und ferner die Orientierung oder den Blickort der Augen des Insassen anzunähern. Auf der Basis der Ausgabe des Insassenaugenort-Erfassungssystems 160, des aktuellen Orts und der aktuellen Orientierung des Fahrzeugs 100, eines Benutzereingabeorts und eines Orts eines zukünftigen Navigationsmanövers kann der EVS-Systemmanager 110 die graphischen Darstellungen auf der graphischen Projektionsanzeige 250 genau dynamisch ausrichten, so dass der Insasse die Bilder auf visuelle Bilder durch die Anzeige überlagert sieht. Die dynamische Ausrichtung von Graphiken wird mit Bezug auf 6 genauer erörtert.
  • Das vorstehend beschriebene EVS umfasst Augenerfassungs- und Kopferfassungsvorrichtungen, die die Abschätzung des Augenorts ermöglichen, was die dynamische Ausrichtung von Bildern auf der graphischen Projektionsanzeige 250 (z. B. HUD 150) derart ermöglicht, dass die Bilder einem Blick des Fahrers entsprechen. Es ist jedoch zu erkennen, dass die Abschätzung des Kopf- und Augenorts durch eine Anzahl von Verfahren erreicht werden kann. In einem Prozess ähnlich zum Einstellen von Rückspiegeln kann ein Fahrer beispielsweise eine Kalibrierungsroutine beim Einsteigen in ein Fahrzeug verwenden, um die Graphik auf ein detektiertes Objekt auszurichten. In einer anderen Ausführungsform kann die Sitzposition longitudinal im Fahrzeug verwendet werden, um eine Position des Kopfs des Fahrers abzuschätzen. In einer anderen Ausführungsform kann eine manuelle Einstellung eines Rückspiegels oder von Rückspiegeln verwendet werden, um den Ort der Augen eines Fahrers abzuschätzen. Es ist zu erkennen, dass eine Kombination von Verfahren, beispielsweise Sitzposition und Spiegeleinstellwinkel, verwendet werden kann, um den Fahrerkopfort mit verbesserter Genauigkeit abzuschätzen. Viele Verfahren zum Durchführen einer genauen dynamischen Ausrichtung einer Graphik auf der graphischen Projektionsanzeige 250 (z. B. HUD 150) werden in Erwägung gezogen und die Offenbarung soll nicht auf die hier beschriebenen speziellen Ausführungsformen begrenzt sein.
  • Ein beispielhaftes EVS umfasst eine im Wesentlichen transparente Bildfläche einer vollen Windschutzscheibe (HUD) mit breitem Blickfeld mit einer Funktionalität zum Anzeigen von darauf projizierten graphischen Bildern; eine HUD-Bildmaschine mit einem Laser oder Laser, die in der Lage ist, Bilder auf die Windschutzscheibe zu projizieren, wobei die Windschutzscheibe eine Ausführungsform der graphischen Projektionsanzeige 250 ist, die in 2 dargestellt ist; Eingabequellen, die Daten hinsichtlich der Betriebsumgebung des Fahrzeugs ableiten; und einen EVS-Systemmanager mit einer Programmierung zum Überwachen von Eingaben von den Eingabevorrichtungen, Verarbeiten der Eingaben und Bestimmen von kritischen Informationen in Bezug auf die Betriebsumgebung und Erzeugen von Anforderungen, damit graphische Bilder durch die HUD-Bildmaschine erzeugt werden. Es ist jedoch zu erkennen, dass dieses beispielhafte EVS nur eine von einer breiten Anzahl von Konfigurationen, die ein EVS annehmen kann, ist. Ein Sicht- oder Kamerasystem ist beispielsweise für verschiedene EVS-Anwendungen nützlich, die erörtert werden. Es ist jedoch zu erkennen, dass ein beispielhaftes EVS-System ohne Sichtsystem arbeiten kann, das beispielsweise Informationen bereitstellt, die von nur einer GPS-Vorrichtung, einer 3D-Kartendatenbank und Sensoren im Fahrzeug erhältlich sind. Als Alternative ist zu erkennen, dass ein beispielhaftes EVS-System ohne Zugriff auf eine GPS-Vorrichtung oder ein drahtloses Netz arbeiten kann, wobei es stattdessen Eingaben nur von einem Sichtsystem und einem Radarsystem verwendet. Viele Konfigurationen sind bei den offenbarten Systemen und Verfahren möglich und die Offenbarung soll nicht auf die hier beschriebenen beispielhaften Ausführungsformen begrenzt sein.
  • 2 stellt die graphische Projektionsanzeige 250 dar. Die graphische Projektionsanzeige 250 umfasst Ausführungsformen, wobei ein Bild einer Ansicht, die der Fahrszene des Fahrzeugs entspricht, und eine Graphik (d. h. Navigationszustandsgraphik oder Navigationsbefehlsgraphik) darauf angezeigt werden können. Die graphische Projektionsanzeige 250 umfasst die im Wesentlichen transparente Windschutzscheiben-HUD 150, eine Berührungsbildschirmanzeige 260, eine Mensch-Maschine-Schnittstelle (HMI) 151 mit einer Anzeige, nicht transparente Komponenten 280 und einen Anzeigemonitor 270, der im Inneren des Fahrzeugs angebracht ist. Selbstverständlich können alle in der graphischen Projektionsanzeige enthaltenen Ausführungsformen ein Bild einer Ansicht, die der Fahrszene des Fahrzeugs entspricht, projizieren. Das Bild der Ansicht der Fahrszene muss nicht auf die im Wesentlichen transparente Windschutzscheiben-HUD projiziert werden, da die tatsächliche Fahrszene durch die HUD 150 sichtbar ist. Die Fahrszene kann vom Kamerasystem 120 dargestellt werden. Benutzereingaben, die auf einem Abschnitt der graphischen Projektionsanzeige 250 angegeben werden, der der Fahrszene entspricht, werden in 4 mit Bezug auf das UIM 515 genauer erörtert. Selbstverständlich erfordert das Fahrzeug typischerweise eine der Ausführungsformen der graphischen Projektionsanzeige 250 zum Anzeigen einer Ansicht, die der Fahrszene entspricht, darauf. Die graphische Projektionsanzeige 250 könnte jedoch eine Kombination der vom Fahrzeug 100 verwendeten Ausführungsformen umfassen. Ein Bild, das der Fahrszene des Fahrzeugs entspricht, könnte beispielsweise auf sowohl der HMI 151 als auch der Berührungsbildschirmanzeige 260 angezeigt werden.
  • Damit sie als Medium funktioniert, durch das relevante Merkmale beobachtbar sind, während sie als Anzeigevorrichtung dient, auf der die graphischen Bilder angezeigt werden können, muss die Windschutzscheibe des Fahrzeugs sowohl transparent als auch in der Lage sein, Bilder anzuzeigen, die durch eine Anregungslichtquelle projiziert werden. 3 stellt eine im Wesentlichen transparente Anzeige gemäß der vorliegenden Offenbarung dar. Der Betrachter 10 kann ein beliebiges Objekt (z. B. einen Würfel 12) durch ein Substrat 14 hindurch sehen. Das Substrat 14 kann transparent oder im Wesentlichen transparent sein. Während der Betrachter 10 das beliebige Objekt 12 durch das Substrat 14 sieht, kann der Betrachter auch Bilder (z. B. einen Kreis 15 und ein Dreieck 16) sehen, die am Substrat 14 erzeugt werden. Das Substrat 14 kann ein Teil einer Fahrzeugwindschutzscheibe, eines Glassubstrats, eines Kunststoffsubstrats, eines Polymersubstrats oder eines anderen transparenten (oder im Wesentlichen transparenten) Mediums sein, das von einem Fachmann auf dem Gebiet erkannt werden würde. Andere Substrate können das Substrat 14 ergänzen, um eine Tönung, einen Substratschutz, eine Lichtfilterung (z. B. Filtern von externem Ultraviolettlicht) und andere Funktionen vorzusehen.
  • 3 stellt die Beleuchtung des Substrats 14 dar, das mit Anregungslicht (z. B. Ultraviolettlicht oder Infrarotlicht) von Lichtquellen (z. B. einem Projektor oder Laser), die durch die Vorrichtung 20 dargestellt sind, beleuchtet wird. Das empfangene Anregungslicht kann durch ein Leuchtmaterial am Substrat 14 absorbiert werden. Wenn das Leuchtmaterial das Anregungslicht empfängt, kann das Leuchtmaterial sichtbares Licht emittieren. Folglich können Bilder (z. B. ein Kreis 15 und ein Dreieck 16) am Substrat 14 durch selektives Beleuchten des Substrats 14 mit Anregungslicht erzeugt werden.
  • In einer Ausführungsform wird das Anregungslicht von der Vorrichtung 20 mit einem Projektor ausgegeben. Der Projektor kann ein digitaler Projektor sein. Der Projektor kann ein Mikrospiegelanordnungsprojektor (MMA-Projektor) (z. B. ein digitaler Lichtverarbeitungsproejektor (DLP-Projektor)) sein. Ein MMA-Projektor, der Ultraviolettlicht ausgibt, kann zu einem MMA-Projektor, der sichtbares Licht ausgibt, ähnlich sein, außer dass das Farbrad Lichtfilter aufweist, die auf das Ultraviolettlichtspektrum zugeschnitten sind. Der Projektor kann ein Flüssigkristallanzeigeprojektor (LCD-Projektor) sein. Der Projektor kann ein Projektor mit Flüssigkristall auf Silizium (LCOS) sein. Der Projektor kann ein analoger Projektor (z. B. ein Diafilmprojektor oder ein Spielfilmprojektor) sein. Ein Fachmann auf dem Gebiet würde andere Typen von Projektoren erkennen, die verwendet werden können, um Ultraviolettlicht auf ein Substrat 14 zu projizieren.
  • In einer anderen Ausführungsform wird ein Anregungslicht von der Vorrichtung 20 mit einem Laser ausgegeben. Die Intensität und/oder Bewegung eines aus der Vorrichtung 20 ausgegebenen Laserstrahls kann moduliert werden, um ein Bild im Substrat 14 zu erzeugen. Bei Ausführungsformen mit Abwärtsumsetzung kann die Ausgabe aus dem Laser Ultraviolettlicht sein. Bei Ausführungsformen mit Aufwärtsumsetzung kann die Ausgabe aus dem Laser Infrarotlicht sein.
  • 3 stellt Leuchtmaterial (z. B. Leuchtpartikel 22) dar, die in einem im Wesentlichen transparenten Substrat dispergiert sind. Wenn Anregungslicht durch die Leuchtpartikel 22 absorbiert wird, emittieren die Leuchtpartikel sichtbares Licht. In Ausführungsformen mit Abwärtsumsetzung wird folglich, wenn Ultraviolettlicht durch die Leuchtpartikel 22 absorbiert wird, sichtbares Licht von den Leuchtpartikeln emittiert. In Ausführungsformen mit Aufwärtsumsetzung wird ebenso, wenn Infrarotlicht von den Leuchtpartikeln 22 absorbiert wird, sichtbares Licht von den Leuchtpartikeln emittiert.
  • 3 stellt Leuchtmaterial mit Leuchtpartikeln 22 dar, die in einem im Wesentlichen transparenten Substrat dispergiert sind. Diese Leuchtpartikel 22 können durchweg im Wesentlichen ähnliche Partikel sein oder, wie in 2 dargestellt, können die Partikel in der Zusammensetzung variieren. Wenn Anregungslicht durch die Leuchtpartikel 22 absorbiert wird, emittieren die Partikel sichtbares Licht. In Ausführungsformen mit Abwärtsumsetzung wird folglich, wenn Ultraviolettlicht von den Leuchtpartikeln absorbiert wird, sichtbares Licht von den Leuchtpartikeln emittiert. in Ausführungsformen mit Aufwärtsumsetzung wird ebenso, wenn Infrarotlicht durch die Leuchtmaterialien absorbiert wird, sichtbares Licht von den Leuchtpartikeln emittiert. Jedes Leuchtpartikel kann ein unterschiedlicher Typ von Leuchtmaterial sein, das einen unterschiedlichen Bereich von Wellenlängen von sichtbarem Licht in Ansprechen auf einen unterschiedlichen Bereich von Wellenlängen von Anregungslicht (z. B. Ultraviolett- oder Infrarotlicht) emittiert.
  • Die Leuchtpartikel 22 können über das ganze Substrat 14 dispergiert sein. Als Alternative können die Partikel, wie in 3 dargestellt, auf einer Oberfläche des Substrats 14 angeordnet sein. Die Leuchtpartikel 22 können in das Substrat 14 integriert werden, indem sie auf das Substrat 14 aufgetragen werden. Leuchtmaterial kann ein Fluoreszenzmaterial sein, das in Ansprechen auf die Absorption von elektromagnetischer Strahlung (z. B. sichtbares Licht, Ultraviolettlicht oder Infrarotlicht), die eine andere Wellenlänge als das emittierte sichtbare Licht aufweist, sichtbares Licht emittiert. Die Größe der Partikel kann kleiner sein als die Wellenlänge von sichtbarem Licht, was die Streuung des sichtbaren Lichts durch die Partikel verringern oder beseitigen kann. Beispiele von Partikeln, die kleiner sind als die Wellenlänge von sichtbarem Licht, sind Nanopartikel oder Moleküle. Gemäß Ausführungsformen weist jedes der Leuchtpartikel einen Durchmesser auf, der geringer als etwa 400 Nanometer ist. Jedes der Leuchtpartikel kann einen Durchmesser aufweisen, der geringer ist als etwa 300 Nanometer. Gemäß Ausführungsformen weist jedes der Leuchtpartikel einen Durchmesser auf, der geringer als etwa 200 Nanometer, geringer als etwa 100 Nanometer oder geringer als etwa 50 Nanometer ist. Die Leuchtpartikel können individuelle Moleküle sein.
  • In einer anderen Ausführungsform kann die graphische Projektionsanzeige 250 die HMI-Vorrichtung 151, der die Anzeige zugeordnet ist, zum Empfangen eines projizierten Bildes einer Ansicht, die der Fahrszene des Fahrzeugs entspricht, und zum Anzeigen einer Graphik auf dieser umfassen. Die HMI 151 umfasst eine Rechenvorrichtung, in die der Fahrer des Fahrzeugs Befehle eingeben kann, um verschiedene Systeme des Fahrzeugs in Signalverbindung mit der HMI 151 zu steuern und erwünschte Informationen zu empfangen. Verfahren zur Projektion auf HMI-Anzeigen sind auf dem Fachgebiet bekannt und diese Offenbarung soll nicht auf irgendein Projektionsverfahren begrenzt sein.
  • In einer anderen Ausführungsform kann die graphische Projektionsanzeige 250 die Berührungsbildschirmanzeige 260 zum Empfangen eines projizierten Bildes einer Ansicht, die der Fahrszene des Fahrzeugs entspricht, und Anzeigen einer Graphik auf dieser umfassen. Die Berührungsbildschirmanzeige kann das TSIM 149 sein, das mit Bezug auf 4 im Einzelnen erörtert wird. Die Berührungsbildschirmanzeige 260 kann die Anzeige sein, die der HMI-Vorrichtung 151 zugeordnet ist, oder kann eine separate Anzeige sein, die innerhalb des Fahrzeugs angeordnet ist. Verfahren zur Projektion auf Berührungsbildschirmanzeigen sind auf dem Fachgebiet bekannt und diese Offenbarung soll nicht auf irgendein Projektionsverfahren begrenzt sein.
  • In noch einer weiteren Ausführungsform kann die graphische Projektionsanzeige 250 den Anzeigemonitor 270 zum Empfangen eines projizierten Bildes einer Ansicht, die der Fahrszene des Fahrzeugs entspricht, und Anzeigen einer Graphik auf diesem umfassen. Der Anzeigemonitor 270 kann am Fahrzeugarmaturenbrett angebracht sein oder irgendwo im Fahrzeug angeordnet sein, wo es für die Betrachtung durch den Fahrer zweckmäßig ist. Der Anzeigemonitor 270 kann einen Monitor umfassen, der einem Computer zugeordnet ist, der in Polizeifahrzeugen verwendet wird.
  • In einer anderen Ausführungsform kann die graphische Projektionsanzeige 250 die nicht transparenten Komponenten 280 zum Empfangen eines projizierten Bildes einer Ansicht, die der Fahrszene des Fahrzeugs entspricht, und Anzeigen einer Graphik auf diesen umfassen. Die nicht transparenten Komponenten 280 können ein Armaturenbrett, Sitze, Kopfstützen, Struktursäulen, Dächer, Sonnenblenden und Lenkräder umfassen. Die nicht transparenten Komponenten 280 können einen transparenten Phosphorfilm umfassen, der auf die Anzeigegraphik in Ansprechen auf einen Anregungsprojektor reagiert. Die gleichzeitig anhängige US-Anmeldung Nr. 12/563,407, die durch den Hinweis hier aufgenommen wird, offenbart das Projizieren von Bildern auf nicht transparente Komponenten.
  • Mit Bezug auf 4 ist das beispielhafte Benutzereingabemodul (UIM) 515 zum Empfangen von Benutzereingaben, die auf einem Abschnitt der graphischen Projektionsanzeige 250 angegeben werden, gemäß der vorliegenden Offenbarung dargestellt. Die Benutzereingaben werden durch den EVS-Systemmanager 110 überwacht und schließlich zum Anzeigen und Bedienen von Graphiken auf der graphischen Projektionsanzeige 250 entsprechend der Fahrszene verwendet. Es ist zu erkennen, dass das UIM 515 Ausführungsformen von Benutzereingabevorrichtungen und -modulen umfasst und dass das beispielhafte Fahrzeug nur eine der Eingabevorrichtungen und Module umfassen kann, die innerhalb des UIM 515 zum Empfangen und Überwachen einer Benutzereingabe enthalten sind, die auf einem Abschnitt der graphischen Projektionsanzeige 250 angegeben wird. Ausführungsformen werden jedoch in Erwägung gezogen, bei denen das Fahrzeug Variationen der Benutzereingabevorrichtungen und -module umfassen kann, die innerhalb des UIM 515 enthalten sind, und ausgewählte auf der Basis der Vorliebe eines Fahrzeugbenutzers aktiviert werden können. Das UIM 515 umfasst eine Abbildungsvorrichtung 161, ein Berührungsbildschirmeingabemodul (TSIM) 149, die HMI-Vorrichtung 151 und eine Controllervorrichtung 153.
  • Das TSIM 149 kann dazu konfiguriert sein, Berührungsgesten einer Hand oder eines Fingers des Benutzers am Modul zu empfangen, die auf einem Abschnitt der graphischen Projektionsanzeige entsprechend der Fahrszene angegeben werden. Das TSIM 149 kann außerdem eine Anzeige umfassen, die der Fahrszene des Fahrzeugs entspricht und dazu konfiguriert ist, Graphiken darauf dynamisch zu registrieren. Wie ersichtlich wird, schaffen die empfangenen Berührungsgesten der Hand des Benutzers eine Benutzerschnittstelle auf Berührungsbasis zum Bedienen einer Navigationszustandsgraphik, die die Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird.
  • Verschiedene Vorrichtungen sind auf dem Fachgebiet bekannt, die Berührungsgesten einer Hand oder eines Fingers eines Benutzers empfangen können. Das TSIM 149 kann eine Berührungsbildschirmvorrichtung mit einem Anzeigebildschirm umfassen, der das Auftreten, den Ort und die Position einer Berührung innerhalb des Anzeigebereichs identifizieren kann. Die Anzeige kann einer Ansicht der Fahrszene des Fahrzeugs entsprechen. Das TSIM 149 kann in die HMI-Vorrichtung 151, den Anzeigemonitor 270, einen persönlichen digitalen Assistenten (PDA) oder ein Mobiltelefon integriert sein, die alle Anzeigen aufweisen, die der Fahrszene des Fahrzeugs entsprechen. Daher erleichtert das TSIM 149 einem Benutzer, mit dem zusammenzuwirken, was auf der Anzeige angezeigt wird (d. h. die Fahrszene und Navigationszustandsgraphik), anstatt indirekt mit einer Maus oder einem Berührungsfeld, und es lässt den Benutzer die Berührungsgesten durchführen, ohne solche Mittelvorrichtungen zu benötigen.
  • Ferner sind auf dem Fachgebiet verschiedene Verfahren zum Überwachen und Empfangen von Berührungsgesten der Hand oder des Fingers des Benutzers bekannt. In einer nicht begrenzenden Ausführungsform kann das TSIM 149 eine Widerstandsberührungsbildschirmanzeige sein, die aus einer Standardglasplatte, die mit einer dünnen leitfähigen und einer Widerstandsmetallplatte beschichtet ist, besteht, wobei ein elektrischer Strom zwischen den zwei Schichten fließt und die Berührungsgeste überwacht, wenn die zwei Schichten einander an derselben Stelle berühren, und dadurch der elektrische Strom unterbrochen wird. In einer anderen nicht begrenzenden Ausführungsform kann das TSIM 149 eine Oberflächenwellen-Berührungsbildschirmanzeige sein, die Ultraschallwellen verwendet, um Benutzereingaben vom Bildschirm zu verarbeiten. Mit anderen Worten, die Oberflächenwellen-Berührungsbildschirmanzeige verwendet einen Wandler, der identifiziert, dass ein Signal durch eine Berührung mit irgendeiner Bewegung verändert wurde, wobei Ultraschallwellen über den ganzen Bildschirm laufen, wenn der Benutzer die Anzeige an einem speziellen Ort berührt. In noch einer anderen nicht begrenzenden Ausführungsform kann das TSIM 149 eine kapazitive Berührungsbildschirmanzeige sein, die aus einer Indiumzinnoxidplatte besteht, die elektrische Ladung speichert und auf einer Glasschicht der Anzeige angeordnet ist. Wenn die Hand oder der Finger der Benutzereingabe die Anzeige berührt, wird eine kleine Menge der Ladung zur Hand oder zum Finger des Benutzers übertragen und die Menge der Ladung auf der kapazitiven Platte verringert sich. Ein zugehöriger Prozessor berechnet die Vergleichsveränderung und bestimmt den genauen Ort, an dem die Berührungsgeste stattgefunden hat, wobei der Ort dem Ort an der Fahrszene des Fahrzeugs entspricht. In noch einer weiteren nicht begrenzenden Ausführungsform kann das TSIM 149 Infrarotberührungsbildschirmanzeigen umfassen. Infrarotberührungsbildschirmanzeigen können auf Infrarot oder thermische Wellen (d. h. Wärme) reagieren. Infrarotberührungsbildschirmanzeigen können ferner vertikale und horizontale Infrarotsensoren um den Umfang verwenden, um ein Raster zu erzeugen, und folglich den exakten Ort, an dem der Anzeigebildschirm durch die Hand oder den Finger des Benutzers berührt wurde, präzise anzeigen.
  • Es sollte erkannt werden, dass das TSIM 149 nicht auf irgendeine der vorstehend erörterten Vorrichtungen und Verfahren begrenzt ist und dass das TSIM 149 nur in der Lage ist, Berührungsgesten einer Hand oder eines Fingers des Benutzers am Modul 149 zu empfangen, die auf einem Abschnitt der graphischen Projektionsanzeige 250 entsprechend der Fahrszene angegeben werden, wobei die empfangenen Berührungsgesten der Hand des Benutzers eine Benutzerschnittstelle auf Berührungsbasis zum Bedienen der Navigationszustandsgraphik, die die Navigationsabsicht des Fahrzeugs darstellt, die auf der graphischen Projektionsanzeige angezeigt wird, schaffen.
  • Die Controllervorrichtung 153 umfasst einen Mechanismus, wie z. B. einen Steuerhebel, eine Maus, einen Hebel, einen Stift, ein Berührungsfeld oder ein anderes Zubehör, zum Empfangen von Benutzerbedienungen, die auf einem Abschnitt der graphischen Projektionsanzeige 250 angegeben werden. Wie ersichtlich wird, können die empfangenen Benutzerbedienungen für die Controllervorrichtung 153 eine Schnittstelle auf Controllerbasis zum Bedienen der Navigationszustandsgraphik, die eine Navigationsabsicht eines Fahrzeugs darstellt, die auf der graphischen Projektionsanzeige angezeigt wird, schaffen.
  • Die Abbildungsvorrichtung 161 umfasst das Aufnehmen von Bildern der Hand des Benutzers und die Verwendung von zugehöriger Software, um den Ort und die Orientierung der Hand des Benutzers zu überwachen, um ein optisches Bild bereitzustellen. Die Bilder können unter Verwendung von Infrarot- oder Ultravioletttechnologie aufgenommen werden. Das optische Bild kann verarbeitet werden, um eine dreidimensionale (3D) Abbildung der Handbewegung des Benutzers zu erzeugen. Wie ersichtlich wird, schafft das optische Bild der Handbewegung eine Benutzerschnittstelle auf Gestenbasis zum Bedienen einer Navigationszustandsgraphik, die eine Navigationsabsicht eines Fahrzeugs darstellt, die auf der graphischen Projektionsanzeige angezeigt wird. Daher können die Benutzerhandbewegungen (d. h. Gesten), die durch die Abbildungsvorrichtung 161 detektiert werden, anstelle von taktilen Schnittstellenelementen wie z. B. einer Maus, eines Hebels, eines Steuerhebels, eines Knopfs oder eines anderen Zubehörs verwendet werden. Die Abbildungsvorrichtung 161 erfordert die Aufnahme einer Sequenz von Bildern, wobei der Ort und die Orientierung der Hand des Benutzers für jedes Bild überwacht werden, um das optische Bild der Handbewegung des Benutzers bereitzustellen. Die zur Abbildungsvorrichtung 161 gehörende Software kann in die Abbildungsvorrichtung 161 integriert sein und mit dem EVS-Systemmanager 110 durch eine geeignete zweckgebundene Schaltungsanordnung in Signalverbindung stehen. Außerdem kann die zur Abbildungsvorrichtung 161 gehörende Software in den EVS-Systemmanager 110 integriert sein.
  • Verschiedene Verfahren sind auf dem Fachgebiet bekannt, die Abbildungsvorrichtungen verwenden, um optische Bilder auf der Basis des überwachten Orts und der überwachten Orientierung eines Objekts (d. h. einer Hand) zu verarbeiten, um eine 3D-Abbildung des Objekts zu erzeugen. Die internationale PCT-Veröffentlichung WO 2007/043036 , die durch den Hinweis hier aufgenommen wird, offenbart ein Verfahren und ein System auf der Basis der Projektion eines Laserfleckmusters auf ein Objekt und dann der Analyse eines Bildes des Musters auf dem Objekt. Das US-Pat. Nr. 6 100 517, das durch den Hinweis hier aufgenommen wird, offenbart ein Verfahren zur Verwendung von Impulsmodulation, um die Laufzeit von Licht von einem Objekt zu einem Detektor zu messen, wobei eine Kamera ein Bild erzeugt, das die Abstände zu Punkten in Objekten in einer Szene angibt. Die US-Veröffentlichung Nr. 2010/0020078 A1, die durch den Hinweis hier aufgenommen wird, offenbart ein Verfahren zum Beleuchten eines Objekts mit Strahlenbündeln und Erzeugen einer 3D-Abbildung auf Intensitätsbasis des Objekts. Die vorliegende Offenbarung ist nicht auf irgendeines der vorstehend erörterten Verfahren begrenzt, solange die Abbildungsvorrichtung 161 den Ort und die Orientierung einer Hand des Benutzers überwachen und ein optisches Bild der Handbewegung des Benutzers auf der Basis des überwachten Orts und der überwacheten Orientierung der Hand des Benutzers verarbeiten kann, wobei das optische Bild der Handbewegung eine Benutzerschnittstelle auf Gestenbasis zum Bedienen der Navigationszustandsgraphik, die die Navigationsabsicht des Fahrzeugs darstellt, die auf der graphischen Projektionsanzeige angezeigt wird, schaffen kann.
  • Die vorstehend erörterte HMI-Vorrichtung 151 kann eine Spracherkennungssoftware umfassen, wobei die Benutzereingabe eine Spracheingabe sein kann, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird. Wie ersichtlich wird, schafft die Spracheingabe eine Benutzerschnittstelle auf Sprachbasis zum Bedienen einer Navigationszustandsgraphik, die eine Navigationsabsicht eines Fahrzeugs darstellt, die auf der graphischen Projektionsanzeige angezeigt wird.
  • Mit Bezug auf 5 ist ein beispielhafter Informationsfluss zum Betreiben eines Fahrzeugs gemäß einem vom Benutzer definierten Navigationsbefehl, der auf der Basis einer Navigationszustandsgraphik eingeleitet wird, die eine Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird, und einer Benutzereingabe, die auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird, gemäß der vorliegenden Offenbarung dargestellt. Der Prozess 500 umfasst, dass ein EVS-Systemmanager 110 eine Navigationszustandsgraphik 510 überwacht, die auf einer graphischen Projektionsanzeige angezeigt wird, und eine Benutzereingabe 512 überwacht, wobei die Benutzereingabe auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird. Die Benutzereingabe 512 wird durch das UIM 515 erzeugt, einschließlich des TSIM 149, der Controllervorrichtung 153, der HMI-Vorrichtung 151 und/oder der Abbildungsvorrichtung 161. Die Navigationszustandsgraphik 510 stellt eine Navigationsabsicht des Fahrzeugs dar. Die Navigationszustandsgraphik 510 kann beispielsweise ein graphischer Pfeil sein, der die Navigationsabsicht des Fahrzeugs, eine bevorstehende Wende in der Straße durchzuführen (d. h. zukünftiges Navigationsmanöver), darstellt. Es ist zu erkennen, dass die Navigationszustandsgraphik 510, die auf der graphischen Projektionsanzeige angezeigt wird, verwendet wird, um für den Fahrer Vertrauen und Situationsbewusstsein der Navigationsabsicht des ADS 112 zu schaffen.
  • Auf der Basis der Navigationszustandsgraphik 510, die die Navigationsabsicht darstellt, und der Benutzereingabe 512 leitet der EVS-Systemmanager 110 einen vom Benutzer definierten Navigationsbefehl 514 ein, der in das ADS 112 eingegeben wird. Das ADS 112 gibt dadurch Betriebsbefehle 516 an verschiedene Systeme (z. B. adaptiver Tempomat) zum Betreiben des Fahrzeugs gemäß dem vom Benutzer definierten Navigationsbefehl 514 aus. Wie ersichtlich wird, ermöglicht der EVS-Systemmanager 110, dass der Fahrer des Fahrzeugs die Navigationszustandsgraphik 510 bedient, die auf der graphischen Projektionsanzeige angezeigt wird, wobei die Navigationszustandsgraphik 510 eine autonome Navigationsabsicht des Fahrzeugs während des laufenden Fahrzeugbetriebs darstellt. Durch Bedienen der Navigationszustandsgraphik 510 kann der Fahrer des Fahrzeugs daher die autonome Navigationsabsicht durch Einleiten des vom Benutzer definierten Navigationsbefehls 514 zum Betreiben des Fahrzeugs ändern. Um die Navigationszustandsgraphik 510 zu bedienen, entspricht die überwachte Benutzereingabe 512, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird, einem Ort, an dem die Navigationszustandsgraphik angezeigt wird. Nachstehend im Einzelnen mit Bezug auf 8 beschrieben kann eine Navigationsbefehlsgraphik, die den vom Benutzer definierten Navigationsbefehl 514 darstellt, auf der graphischen Projektionsanzeige angezeigt werden. Der vom Benutzer definierte Navigationsbefehl 514, einschließlich der Navigationsbefehlsgraphik, die den Navigationsbefehl 514 darstellt, kann zum EVS-Systemmanager 110 zurückgeführt und als neue Navigationszustandsgraphik, die die Navigationsabsicht des Fahrzeugs darstellt, bezeichnet werden.
  • 6 stellt einen beispielhaften Informationsfluss zum dynamischen Ausrichten einer Graphik auf einer Fahrszene unter Verwendung der graphischen Projektionsanzeige 250 mit einem EVS-Systemmanager 110, der Eingaben vom Insassenaugenort-Erfassungssystem 160, Eingaben von einem Fahrzeugort- und Fahrzeugorientierungsmodul 370, Eingaben vom ADS 112 und Eingaben vom UIM 515 überwacht, um dadurch Anzeigeanforderungen 330 zu erzeugen, gemäß der vorliegenden Offenbarung dar. Die Graphik kann eine Navigationszustandsgraphik umfassen, die die Navigationsabsicht des Fahrzeugs darstellt. Die Graphik kann ferner eine Navigationsbefehlsgraphik umfassen, die einen Navigationsbefehl darstellt. Die Graphik kann ferner eine Rückmeldungsgraphik (z. B. einen Cursor) umfassen, die die Bewegung der überwachten Benutzereingabe darstellt, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird. Mit anderen Worten, die Rückmeldungsgraphik stellt die Bewegung der überwachten Benutzereingabe dar, um die Benutzereingabe auf die Navigationszustandsgraphik auszurichten, um die Navigationszustandsgraphik zu bedienen und einen vom Benutzer definierten Navigationsbefehl zum Betreiben des Fahrzeugs einzuleiten.
  • Mit Bezug auf 1 und 6 umfasst das Insassenaugenort-Erfassungssystem 160 Sensoren, die auf dem Fachgebiet bekannt sind, um einen Ort des Kopfs eines Insassen und ferner die Orientierung oder den Blickort der Augen des Insassen anzunähern. Ein Insasse kann ein Fahrer des Fahrzeugs oder ein Beifahrer innerhalb des Fahrzeugs sein. Kopf- und Augenerfassungsvorrichtungen sind auf dem Fachgebiet bekannt und werden hier nicht genauer erörtert. Für die Zwecke dieser Offenbarung wird eine Vorrichtung auf Kamerabasis in Kombination mit einer Bilderkennungssoftware verwendet, um einen dreidimensionalen Kopfort innerhalb des Fahrzeugs, der mit einem Fahrzeugkoordinatensystem koordiniert werden kann, und eine Richtung des Blicks des Insassen auf der Basis einer Bilderkennungsprogrammierung abzuschätzen. Eine Augenorteingabe 360 wird in den EVS-Systemmanager 110 eingegeben.
  • Ein aktueller Ort und eine aktuelle Orientierung des Fahrzeugs können durch auf dem Fachgebiet bekannte Verfahren bestimmt werden, wie z. B. Überwachen der GPS-Vorrichtung 140 in Verbindung mit einer 3D-Kartendatenbank und einem digitalen Kompass mit detaillierten Informationen in Bezug auf eine globale Koordinate, die von der GPS-Vorrichtung 140 hinsichtlich des aktuellen Orts des Fahrzeugs empfangen wird, ohne jedoch darauf begrenzt zu sein. Der aktuelle Ort und die aktuelle Orientierung können auch durch die Fahrzeugkinematik bestimmt werden, einschließlich zumindest der Fahrzeuggeschwindigkeit und Gierrate, die durch Sensoren erhältlich sind, die den Fahrzeugbetrieb überwachen und/oder Beschleunigungsmessermesswerte überwachen. Unter Verwendung der vorstehend erörterten Verfahren erzeugt das Fahrzeugorts- und Fahrzeugorientierungsmodul 370 eine Fahrzeugort- und Fahrzeugorientierungseingabe 371 in den EVS-Systemmanager 110.
  • Das UIM 515 kann dazu konfiguriert sein, den Benutzereingabeort, der auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird, zu überwachen. Mit anderen Worten, der Ort der Benutzereingabe bezieht sich auf den Ort des angegebenen Abschnitts auf der graphischen Projektionsanzeige, der der Fahrszene entspricht, auf die die überwachte Benutzereingabe gerichtet wird. Ein Benutzereingabeort 312 wird in den EVS-Systemmanager 110 eingegeben.
  • Das ADS kann dazu konfiguriert sein, einen Ort eines zukünftigen Navigationsmanövers zu bestimmen. Der Ort des zukünftigen Navigationsmanövers kann sich darauf beziehen, wann und wo das Fahrzeug ein Navigationsmanöver in Ansprechen auf entweder die Navigationsabsicht oder den vom Benutzer definierten Navigationsbefehl durchführt. Die Navigationsabsicht kann beispielsweise ein zukünftiges Navigationsmanöver wie z. B. ein Zusammenlaufen von Fahrspuren aufgrund dessen, dass die aktuelle Fahrspur, auf der das Fahrzeug fährt, auf der Straße endet, betreffen. Ein Ort eines zukünftigen Navigationsmanövers 380 wird in den EVS-Systemmanager 110 eingegeben.
  • Der EVS-Systemmanager überwacht dadurch 110 die Augenorteingabe 360, die Fahrzeugort- und Fahrzeugorientierungseingabe 371, die Eingabe 380 des Orts des zukünftigen Navigationsmanövers und den Benutzereingabeort 312, um dadurch Anzeigeanforderungen 330 zum dynamischen Ausrichten der Graphik auf der graphischen Projektionsanzeige zu erzeugen. Es ist zu erkennen, dass, wenn die Graphik die Rückmeldungsgraphik umfasst, es nur erforderlich sein kann, die Augenorteingabe 360 und den Benutzereingabeort 371 zu überwachen, um die Anzeigeanforderungen 330 mm dynamischen Ausrichten der Rückmeldungsgraphik auf der graphischen Projektionsanzeige 250 zu erzeugen.
  • Auf der Basis des Insassenaugenorts, des Benutzereingabeorts, des aktuellen Orts und der aktuellen Orientierung des Fahrzeugs, des Orts des zukünftigen Navigationsmanövers (d. h. Navigationsabsicht/vom Benutzer definierter Navigationsbefehl) kann daher ein abgeschätzter Schnittpunkt zwischen dem zukünftigen Navigationsmanöver und den Augen des Fahrers auf der Anzeige bestimmt werden, wodurch ermöglicht wird, dass graphische Bilder dynamisch auf einem Ort auf der Windschutzscheibe entsprechend der Fahrszene des Fahrzeugs ausgerichtet werden, so dass der Insasse des Fahrzeugs sehen kann, wo das Fahrzeug autonom das zukünftige Navigationsmanöver (d. h. Wende in der Straße) durchführt, und die Navigationszustandsgraphik, die die Navigationsabsicht zum Durchführen des zukünftigen Navigationsmanövers darstellt, sehen kann.
  • Mit Bezug auf 7 ist ein beispielhafter Informationsfluss zum Bestimmen und Anzeigen einer Navigationszustandsgraphik gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung dargestellt. Der Prozess 400 umfasst, dass ein EVS-Systemmanager 110 Informationen von verschiedenen Quellen überwacht und Anzeigeanforderungen 430 erzeugt, dass ein Graphikmodul 455 die Anzeigeanforderungen 430 vom EVS-Systemmanager 110 überwacht und Graphikbefehle 440 erzeugt, und ein Graphikprojektionsmodul 458 das Licht auf eine graphische Projektionsanzeige 250 projiziert. Wie vorstehend erwähnt, kann die graphische Projektionsanzeige die im Wesentlichen transparente Windschutzscheiben-Head-up-Anzeige 150, die nicht transparenten Komponenten 280, den Fahrzeugberührungsbildschirm 260, die HMI-Vorrichtung 151, den Anzeigemonitor 270 oder irgendeine Bildfläche oder Anzeige, die projizierte Graphiken und ein Bild einer Ansicht entsprechend der Fahrszene des Fahrzeugs anzeigt, umfassen. Es ist zu erkennen, dass die graphische Projektionsanzeige 250 nicht auf irgendeine der obigen Anzeigen begrenzt sein soll.
  • Der EVS-Systemmanager 110 überwacht autonome Eingaben 402 vom autonomen Fahrsystem 112. Die autonomen Eingaben 402 beschreiben die autonome Navigationsabsicht des Fahrzeugs. Die autonome Navigationsabsicht kann beispielsweise bevorstehende oder zukünftige Navigationsmanöver umfassen, die das Fahrzeug aufgrund von Krümmungen der Straße, des Zusammenlaufens von Fahrspuren, Verkehrsstaus oder Geschwindigkeitsänderungen unternehmen muss. Das Graphikmodul 455, das die vom EVS-Systemmanager 110 erzeugten Anzeigeanforderungen 430 auf der Basis der autonomen Eingaben 402 verwendet, bestimmt die Navigationszustandsgraphik, die die autonome Navigationsabsicht des Fahrzeugs darstellt. Die Navigationszustandsgraphik, die die autonome Navigationsabsicht des Fahrzeugs darstellt, wird durch den Graphikbefehl 440 angegeben, der in das Graphikprojektionsmodul 458 eingegeben wird. Es ist zu erkennen, dass die Anzeigeanforderungen 430 das dynamische Ausrichten eines Orts der Graphik auf der Head-up-Anzeige entsprechend der Fahrszene des Fahrzeugs umfassen. Das dynamische Ausrichten der Graphik auf der Head-up-Anzeige entsprechend der Fahrszene ist vorstehend erörtert und wird hier nicht im Einzelnen erörtert. Das Graphikprojektionsmodul 458 zeigt die Graphik auf der Fahrszene des Fahrzeugs unter Verwendung der graphischen Projektionsanzeige 250 an. Ferner ist zu erkennen, dass, wenn die graphische Projektionsanzeige 250 eine der im Wesentlichen transparenten Windschutzscheiben-Head-up-Anzeige 150 oder der nicht transparenten Komponenten 280 umfasst, das Graphikmodul 455 und das Graphikprojektionsmodul 458 der EVS-Graphikmaschine 155 bzw. dem Graphikprojektionssystem 158 entsprechen. Die Navigationszustandsgraphik kann einen Pfeil umfassen, der zukünftige Navigationsmanöver darstellt, die das Fahrzeug autonom unternimmt. Die Navigationszustandsgraphik kann ferner eine Tachometergraphik umfassen, die die Geschwindigkeit darstellt, mit der das Fahrzeug gegenwärtig fährt. Selbstverständlich könnte die Tachometergraphik auf der Basis einer Benutzereingabe bedient werden, um eine Geschwindigkeitserhöhung oder -verringerung auf der Basis der bedienten Tachometergraphik einzuleiten.
  • Mit Bezug auf 8 ist eine schematische Darstellung eines beispielhaften Informationsflusses zum Bestimmen und Anzeigen einer Navigationsbefehlsgraphik, die einen vom Benutzer definierten Navigationsbefehl darstellt, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung dargestellt. Der Prozess umfasst, dass ein EVS-Systemmanager 110 Informationen von verschiedenen Quellen überwacht und Anzeigeanforderungen 530 erzeugt, das Graphikmodul 455 die Anzeigeanforderungen 530 überwacht und Graphikbefehle 540 erzeugt, und ein Graphikprojektionsmodul 458 Licht auf eine graphische Projektionsanzeige 250 projiziert. Wie vorstehend erwähnt, kann die graphische Projektionsanzeige die im Wesentlichen transparente Windschutzscheiben-Head-up-Anzeige 150, die nicht transparenten Komponenten 280, den Fahrzeugberührungsbildschirm 260, die HMI-Vorrichtung 151, den Anzeigemonitor 270 oder irgendeine Bildfläche oder Anzeige, die eine projizierte Graphik und ein Bild einer Ansicht, die der Straßenszene des Fahrzeugs entspricht, anzeigt, umfassen. Es ist zu erkennen, dass die graphische Projektionsanzeige 250 nicht auf irgendeine der obigen Anzeigen begrenzt sein soll.
  • Der EVS-Systemmanager 110 überwacht die Benutzereingabe 512 und die Navigationszustandsgraphik 510, um den vom Benutzer definierten Navigationsbefehl einzuleiten und dadurch das Fahrzeug zu betreiben. Wie vorstehend erwähnt, wird die Benutzereingabe 512 auf einem Abschnitt der graphischen Projektionsanzeige 250 angegeben und wird durch das UIM 515 erzeugt. Das Einleiten des vom Benutzer definierten Navigationsbefehls umfasst das Bedienen der Navigationszustandsgraphik auf der Basis der überwachten Benutzereingabe, wenn der angegebene Teil der überwachten Benutzereingabe einem Ort entspricht, an dem die Navigationszustandsgraphik 510 angezeigt wird. Ein Fahrer eines Fahrzeugs kann beispielsweise eine Navigationszustandsgraphik 510 betrachten, die auf der graphischen Projektionsanzeige 250 angezeigt wird, die die Navigationsabsicht des Fahrzeugs, das Fahren in der Mittelfahrspur fortzusetzen, darstellt. Unter Verwendung der Abbildungsvorrichtung 161, um eine Benutzerschnittstelle auf Gestenbasis zu schaffen, kann der Benutzer die Navigationszustandsgraphik, die auf der Anzeige angezeigt wird, bedienen, um ein Navigationsmanöver wie z. B. einen Fahrspurwechsel durchzuführen, und zwar durch Gestikulieren mit einer Greif und Ziehhandbewegung zum Bedienen der Navigationszustandsgraphik 510. Der vom Benutzer definierte Navigationsbefehl entspricht der bedienten Navigationszustandsgraphik. Die Navigationsbefehlsgraphik, die den vom Benutzer definierten Navigationsbefehl darstellt, wird durch den Graphikbefehl 540 angegeben und in das Graphikprojektionsmodul 458 eingegeben. Es ist zu erkennen, dass die Anzeigeanforderungen 530 das dynamische Ausrichten eines Orts der Graphik auf der graphischen Projektionsanzeige entsprechend der Fahrszene des Fahrzeugs umfassen. Das dynamische Ausrichten der Graphik auf der Head-up-Anzeige entsprechend der Fahrszene ist vorstehend erörtert und wird hier nicht im Einzelnen erörtert. Das Graphikprojektionssystem 458 zeigt die Navigationsbefehlsgraphik auf der Fahrszene des Fahrzeugs unter Verwendung der graphischen Projektionsanzeige 250 an.
  • Mit Bezug auf 9 ist eine Fahrszene 700 durch eine im Wesentlichen transparente Windschutzscheiben-Head-up-Anzeige 150 eines Fahrzeugs dargestellt. Dieses Beispiel ist nicht auf die Windschutzscheiben-Head-up-Anzeige 150 begrenzt und kann beliebige der anderen Ausführungsformen umfassen, die innerhalb der graphischen Projektionsanzeige 250 enthalten sind, einschließlich eines Bildes einer Ansicht, die der darauf angezeigten Fahrszene entspricht. Unter Verwendung der vorstehend beschriebenen Verfahren wird die Navigationszustandsgraphik 702 dynamisch auf der im Wesentlichen transparenten Windschutzscheiben-Head-up-Anzeige 150 ausgerichtet, die die Navigationsabsicht des Fahrzeugs darstellt. Wie vorstehend erwähnt, kann das Fahrzeug autonom oder halbautonom arbeiten, einschließlich adaptiven Tempomats und/oder automatischen Fahrspurwechsels. Die Navigationszustandsgraphik 702 umfasst einen Pfeil, der dynamisch auf der Head-up-Anzeige 150 ausgerichtet wird, so dass der Ort der Navigationszustandsgraphik 702 der Fahrszene des Fahrzeugs entspricht. In diesem nicht begrenzenden Beispiel stellt die Navigationszustandsgraphik 702 ein zukünftiges Navigationsmanöver, z. B. eine Wende in der Straße, die das Fahrzeug autonom unternimmt, dar. Die Navigationszustandsgraphik 702 ermöglicht dem Benutzer des Fahrzeugs, zu sehen, wo das Fahrzeug autonom das zukünftige Navigationsmanöver durchführt. Die Navigationszustandsgraphik 702, die die Wende in der Straße (d. h. zukünftiges Navigationsmanöver) darstellt, schafft Situationsbewusstsein und Vertrauen für den Fahrer des Fahrzeugs, dass die autonomen oder halbautonomen Funktionen des Fahrzeugs korrekt arbeiten.
  • Mit Bezug auf 10 ist eine Fahrszene 900 durch eine im Wesentlichen transparente Windschutzscheiben-Head-up-Anzeige 150 eines Fahrzeugs dargestellt. Dieses Beispiel ist nicht auf die Windschutzscheiben-Head-up-Anzeige 150 begrenzt und kann irgendeine der anderen Ausführungsformen verwenden, die in der graphischen Projektionsanzeige 250 enthalten sind, einschließlich eines Bildes einer Ansicht entsprechend der Fahrszene des Fahrzeugs, die darauf angezeigt wird. Verkehrsfahrzeuge 804 können durch die Windschutzscheiben-Head-up-Anzeige 150 betrachtet werden. Unter Verwendung der vorstehend beschriebenen Verfahren wird die Navigationszustandsgraphik 802 dynamisch auf der im Wesentlichen transparenten Windschutzscheiben-Head-up-Anzeige 150 entsprechend der Fahrszene des Fahrzeugs ausgerichtet, die die Navigationsabsicht des Fahrzeugs darstellt. In diesem nicht begrenzenden Beispiel ist das Fahrzeug in der Lage, autonom zu arbeiten. Die Navigationszustandsgraphik 802 umfasst einen Pfeil, der darstellt, dass das Fahrzeug auf der rechten Fahrspur hinter einem der Verkehrsfahrzeuge 804 fährt. Die Rückmeldungsgraphik 810 umfasst eine Cursorgraphik (d. h. eine Handgraphik), die die Bewegung einer überwachten Benutzereingabe darstellt, die auf einem Abschnitt der Head-up-Anzeige 150 angegeben wird. Die Rückmeldungsgraphik kann verwendet werden, um die Bewegung der überwachen Benutzereingabe zum Bedienen der Navigationszustandsgraphik 802, die auf der Head-up-Anzeige 150 angezeigt wird, auszurichten. Die Rückmeldungsgraphik 812 kann beispielsweise eine Bewegung einer überwachten Hand eines Benutzers unter Verwendung einer Benutzerschnittstelle auf Gestenbasis darstellen, so dass die Rückmeldungsgraphik 810 verwendet werden kann, um die Bewegung der überwachten Hand des Benutzers zum Bedienen der Navigationszustandsgraphik 802 auszurichten. Es ist zu erkennen, dass der Benutzer des Fahrzeugs einen vom Benutzer definierten Navigationsbefehl zum Betreiben des Fahrzeugs durch Bedienen der Navigationszustandsgraphik 802 auf der Basis der Benutzereingabe einleiten kann.
  • Mit Bezug auf 11 stellt die Fahrszene 1000 die in 10 gezeigte Fahrszene 900, wie durch die im Wesentlichen transparente Windschutzscheiben-Head-up-Anzeige 150 eines Fahrzeugs dargestellt, dar. In diesem nicht begrenzenden Beispiel hat der Benutzer des Fahrzeugs die Navigationszustandsgraphik 802, die in 10 dargestellt ist, bedient, um einen vom Benutzer definierten Navigationsbefehl einzuleiten. Die Navigationsbefehlsgraphik 820 stellt den vom Benutzer definierten Navigationsbefehl dar, der dem Fahrzeug befiehlt, die Fahrspuren zu wechseln und das Verkehrsfahrzeug 804 auf der rechten Fahrspur zu überholen. In einem nicht begrenzenden Beispiel könnte die Benutzereingabe die Verwendung der Abbildungsvorrichtung umfassen, um die Schnittstelle auf Gestenbasis zum Bedienen der Navigationszustandsgraphik 802, die in 10 dargestellt ist, bereitzustellen, um den vom Benutzer definierten Navigationsbefehl einzuleiten. Die Schnittstelle auf Gestenbasis kann die Greif- und Ziehhandbewegung umfassen, die auf dem Abschnitt der Head-up-Anzeige 150 entsprechend der Navigationszustandsgraphik angegeben wird, um dadurch die Navigationszustandsgraphik zu bedienen, den vom Benutzer definierten Navigationsbefehl einzuleiten und die Navigationsbefehlsgraphik 820 zu bestimmen. Die Navigationsbefehlsgraphik 820 umfasst einen Pfeil, der den vom Benutzer definierten Navigationsbefehl darstellt, um die Fahrspuren zu wechseln und das Verkehrsfahrzeug 804 zu überholen. Ferner ist zu erkennen, dass eine zweite Navigationszustandsgraphik 840 eine Fahrzeugtachometergraphik umfassen kann, die die Geschwindigkeit darstellt, mit der das Fahrzeug gegenwärtig fährt (d. h. Navigationsabsicht). Der Benutzer des Fahrzeugs könnte in derselben vorstehend erörterten Weise einen zweiten vom Benutzer definierten Navigationsbefehl durch Bedienen der zweiten Navigationszustandsgraphik 840 einleiten, um die Geschwindigkeit des Fahrzeugs zu erhöhen oder zu verringern.
  • Die Offenbarung hat bestimmte bevorzugte Ausführungsformen und Modifikationen daran beschrieben. Weitere Modifikationen und Veränderungen können anderen beim Lesen und Verstehen der Patentbeschreibung in den Sinn kommen. Daher ist vorgesehen, dass die Offenbarung nicht auf die spezielle(n) Ausführungsform(en) begrenzt ist, die als beste Art offenbart ist (sind), die zur Ausführung dieser Offenbarung in Erwägung gezogen wird, sondern dass die Offenbarung alle Ausführungsformen umfasst, die in den Schutzbereich der beigefügten Ansprüche fallen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2007/043036 [0039]

Claims (10)

  1. Verfahren zum Navigieren eines Fahrzeugs unter Verwendung einer graphischen Projektionsanzeige, das umfasst: Überwachen einer Navigationszustandsgraphik, die eine Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird; Überwachen einer Benutzereingabe, die auf einem Abschnitt der graphischen Projektionsanzeige angegeben wird; Einleiten eines vom Benutzer definierten Navigationsbefehls auf der Basis der überwachten Navigationszustandsgraphik und der überwachen Benutzereingabe; und Betreiben des Fahrzeugs gemäß dem vom Benutzer definierten Navigationsbefehl.
  2. Verfahren nach Anspruch 1, wobei die graphische Projektionsanzeige eine im Wesentlichen transparente Windschutzscheiben-Head-up-Anzeige entweder mit Leuchtpartikeln oder Mikrostrukturen über einen vordefinierten Bereich der Windschutzscheibe umfasst, die eine Leuchtanzeige ermöglicht, während sie Sicht durch diese gestattet.
  3. Verfahren nach Anspruch 1, wobei die graphische Projektionsanzeige entweder eine Berührungsbildschirmanzeige, eine Mensch-Maschine-Schnittstellenanzeige, nicht transparente Komponenten oder einen Anzeigemonitor umfasst.
  4. Verfahren nach Anspruch 1, wobei das Überwachen einer Navigationszustandsgraphik, die eine Navigationsabsicht darstellt, umfasst: Überwachen eines autonomen Fahrsystems; Bestimmen der Navigationsabsicht des Fahrzeugs auf der Basis des überwachten autonomen Fahrsystems; Bestimmen der Navigationszustandsgraphik, die die Navigationsabsicht darstellt; dynamisches Ausrichten eines Orts der Navigationszustandsgraphik auf der graphischen Projektionsanzeige entsprechend einer Fahrszene des Fahrzeugs; und Anzeigen der Navigationszustandsgraphik auf der graphischen Projektionsanzeige.
  5. Verfahren nach Anspruch 1, wobei das Einleiten des vom Benutzer definierten Navigationsbefehls auf der Basis der überwachten Navigationszustandsgraphik und der überwachten Benutzereingabe umfasst: Bedienen der Navigationszustandsgraphik auf der Basis der überwachten Benutzereingabe; Einleiten des vorn Benutzer definierten Navigationsbefehls entsprechend der bedienten Navigationszustandsgraphik; Bestimmen einer Navigationsbefehlsgraphik, die den vom Benutzer definierten Navigationsbefehl darstellt; dynamisches Ausrichten eines Orts der Navigationsbefehlsgraphik auf der graphischen Projektionsanzeige entsprechend einer Fahrszene des autonom fahrenden Fahrzeugs; und Anzeigen der Navigationsbefehlsgraphik auf der graphischen Projektionsanzeige.
  6. Verfahren nach Anspruch 1, das ferner umfasst: Bestimmen einer Rückmeldungsgraphik, die eine Bewegung der überwachten Benutzereingabe darstellt, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird; dynamisches Ausrichten eines Orts der Rückmeldungsgraphik auf der graphischen Projektionsanzeige entsprechend einer Fahrszene des Fahrzeugs; und Anzeigen der Rückmeldungsgraphik auf der graphischen Projektionsanzeige.
  7. Verfahren nach Anspruch 1, wobei der Abschnitt der graphischen Projektionsanzeige einem Ort entspricht, an dem die Navigationszustandsgraphik angezeigt wird.
  8. Verfahren nach Anspruch 7, wobei das Überwachen der Benutzereingabe, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird, umfasst: Überwachen eines Orts und einer Orientierung einer Hand des Benutzers; Verarbeiten eines optischen Bildes der Handbewegung des Benutzers auf der Basis des überwachten Orts und der überwachten Orientierung der Hand des Benutzers; und wobei das optische Bild der Handbewegung eine Benutzerschnittstelle auf Gestenbasis zum Bedienen der Navigationszustandsgraphik schafft, die die Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird.
  9. Verfahren nach Anspruch 7, wobei das Überwachen der Benutzereingabe, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird, umfasst: Empfangen von Berührungsgesten einer Hand des Benutzers auf einem Berührungsbildschirm, wobei die Berührungsgesten auf dem Abschnitt der graphischen Projektionsanzeige angegeben werden; und wobei die empfangenen Berührungsgesten eine Benutzerschnittstelle auf Berührungsbasis zum Bedienen der Navigationszustandsgraphik schaffen, die die Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird.
  10. Verfahren nach Anspruch 7, wobei das Überwachen der Benutzereingabe, die auf dem Abschnitt der graphischen Projektionsanzeige angegeben wird, umfasst: Empfangen von Benutzerbedienungen an einer Controllervorrichtung, wobei die Benutzerbedienungen auf dem Abschnitt der graphischen Projektionsanzeige angegeben werden; und wobei die empfangenen Benutzerbedienungen eine Schnittstelle auf Controllerbasis zum Bedienen der Navigationszustandsgraphik schaffen, die die Navigationsabsicht darstellt, die auf der graphischen Projektionsanzeige angezeigt wird.
DE102011121746.4A 2010-12-29 2011-12-20 Verfahren zum Navigieren eines autonomen Fahrzeugs unter Verwendung einer graphischen Projektionsanzeige Active DE102011121746B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/981,206 US8924150B2 (en) 2010-12-29 2010-12-29 Vehicle operation and control system for autonomous vehicles on full windshield display
US12/981,206 2010-12-29

Publications (2)

Publication Number Publication Date
DE102011121746A1 true DE102011121746A1 (de) 2012-07-05
DE102011121746B4 DE102011121746B4 (de) 2022-09-15

Family

ID=46381475

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011121746.4A Active DE102011121746B4 (de) 2010-12-29 2011-12-20 Verfahren zum Navigieren eines autonomen Fahrzeugs unter Verwendung einer graphischen Projektionsanzeige

Country Status (3)

Country Link
US (1) US8924150B2 (de)
CN (1) CN102589565B (de)
DE (1) DE102011121746B4 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014198552A1 (de) * 2013-06-10 2014-12-18 Robert Bosch Gmbh System und verfahren zum überwachen und/oder bedienen einer technischen anlage, insbesondere eines fahrzeugs
DE102013215370A1 (de) 2013-08-05 2015-02-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
DE102016108878A1 (de) 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Anzeigeeinheit und Verfahren zur Darstellung von Informationen
US9858702B2 (en) 2014-02-12 2018-01-02 Volkswagen Aktiengesellschaft Device and method for signalling a successful gesture input
DE102019205097A1 (de) * 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8330673B2 (en) * 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US8606430B2 (en) 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
US8605011B2 (en) 2010-12-29 2013-12-10 GM Global Technology Operations LLC Virtual viewfinder on full windshield head-up display
US8686872B2 (en) 2010-12-29 2014-04-01 GM Global Technology Operations LLC Roadway condition warning on full windshield head-up display
US8633979B2 (en) 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US9057874B2 (en) 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US9008904B2 (en) 2010-12-30 2015-04-14 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
DE102011010594A1 (de) * 2011-02-08 2012-08-09 Daimler Ag Verfahren, Vorrichtung und Computerprogrammprodukt zum Ansteuern einer Funktionseinheit eines Fahrzeugs
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8738754B2 (en) 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
US8818708B2 (en) 2011-12-02 2014-08-26 GM Global Technology Operations LLC Optimum driving path on full windshield display
US8781170B2 (en) 2011-12-06 2014-07-15 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
US9443429B2 (en) 2012-01-24 2016-09-13 GM Global Technology Operations LLC Optimum gaze location on full windscreen display
WO2014033109A1 (en) * 2012-08-27 2014-03-06 Ulstein Power & Control As Interactive bridge console system
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
EP2746833A1 (de) * 2012-12-18 2014-06-25 Volvo Car Corporation Fahrzeuganpassung an einen automatischen fahrerunabhängigen Steuerungsmodus
US9477315B2 (en) * 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US9747898B2 (en) 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9285587B2 (en) * 2013-03-15 2016-03-15 Inrix, Inc. Window-oriented displays for travel user interfaces
US9170724B2 (en) * 2013-04-01 2015-10-27 Jet Optoelectronics Co., Ltd. Control and display system
US8930124B1 (en) * 2013-08-30 2015-01-06 International Business Machines Corporation Dynamic speed limit generation
US20150094897A1 (en) * 2013-09-30 2015-04-02 Ford Global Technologies, Llc Autonomous vehicle entertainment system
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
CN105612083B (zh) * 2013-10-09 2018-10-23 麦格纳覆盖件有限公司 对车窗显示的控制的***和方法
JP6303403B2 (ja) * 2013-10-31 2018-04-04 日産自動車株式会社 車両用走行案内装置および方法
KR101901962B1 (ko) * 2013-11-08 2018-11-07 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
US9613459B2 (en) * 2013-12-19 2017-04-04 Honda Motor Co., Ltd. System and method for in-vehicle interaction
US10062204B2 (en) 2013-12-23 2018-08-28 Harman International Industries, Incorporated Virtual three-dimensional instrument cluster with three-dimensional navigation system
EP2902864B1 (de) 2014-01-30 2017-05-31 Volvo Car Corporation Steueranordnung für autonom angetriebenes Fahrzeug
US10422649B2 (en) * 2014-02-24 2019-09-24 Ford Global Technologies, Llc Autonomous driving sensing system and method
US9290186B2 (en) 2014-03-10 2016-03-22 Ford Global Technologies, Llc Messaging via vehicle steering wheel
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
US9440660B2 (en) * 2014-07-22 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle
DE102014216661A1 (de) * 2014-08-21 2016-02-25 Volkswagen Ag Vorrichtung und Verfahren zur Bedienung von Multimedia-Inhalten in einem Fortbewegungsmittel
EP3210374B1 (de) * 2014-10-23 2018-10-31 Tofas Turk Otomobil Fabrikasi Anonim Sirketi Rückblicksystem
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
CN113643569B (zh) * 2014-10-30 2024-02-02 三菱电机株式会社 自动驾驶辅助***
EP3054371A1 (de) * 2015-02-06 2016-08-10 Nokia Technologies OY Vorrichtung, Verfahren und Computerprogramm zur Anzeige von augmentierte Information
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
JP6269542B2 (ja) * 2015-03-12 2018-01-31 トヨタ自動車株式会社 車両用サンバイザ
JP6642972B2 (ja) * 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
WO2016157816A1 (ja) * 2015-04-03 2016-10-06 株式会社デンソー 情報提示装置及び情報提示方法
KR101687543B1 (ko) * 2015-04-27 2016-12-19 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
CN104833367A (zh) * 2015-05-11 2015-08-12 京东方科技集团股份有限公司 车载投影***
US10434878B2 (en) * 2015-07-02 2019-10-08 Volvo Truck Corporation Information system for a vehicle with virtual control of a secondary in-vehicle display unit
JP5945999B1 (ja) * 2015-07-31 2016-07-05 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US9869560B2 (en) 2015-07-31 2018-01-16 International Business Machines Corporation Self-driving vehicle's response to a proximate emergency vehicle
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
KR101730321B1 (ko) * 2015-08-03 2017-04-27 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US9785145B2 (en) 2015-08-07 2017-10-10 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9721397B2 (en) 2015-08-11 2017-08-01 International Business Machines Corporation Automatic toll booth interaction with self-driving vehicles
US9718471B2 (en) 2015-08-18 2017-08-01 International Business Machines Corporation Automated spatial separation of self-driving vehicles from manually operated vehicles
US9896100B2 (en) 2015-08-24 2018-02-20 International Business Machines Corporation Automated spatial separation of self-driving vehicles from other vehicles based on occupant preferences
US9731726B2 (en) 2015-09-02 2017-08-15 International Business Machines Corporation Redirecting self-driving vehicles to a product provider based on physiological states of occupants of the self-driving vehicles
US9587952B1 (en) * 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9809158B2 (en) 2015-09-29 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. External indicators and notifications for vehicles with autonomous capabilities
US9849784B1 (en) 2015-09-30 2017-12-26 Waymo Llc Occupant facing vehicle display
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
US9834224B2 (en) 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9944291B2 (en) 2015-10-27 2018-04-17 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9751532B2 (en) 2015-10-27 2017-09-05 International Business Machines Corporation Controlling spacing of self-driving vehicles based on social network relationships
US10607293B2 (en) 2015-10-30 2020-03-31 International Business Machines Corporation Automated insurance toggling for self-driving vehicles
US10176525B2 (en) 2015-11-09 2019-01-08 International Business Machines Corporation Dynamically adjusting insurance policy parameters for a self-driving vehicle
US9791861B2 (en) 2015-11-12 2017-10-17 International Business Machines Corporation Autonomously servicing self-driving vehicles
US9581457B1 (en) 2015-12-03 2017-02-28 At&T Intellectual Property I, L.P. System and method for displaying points of interest on a heads-up display
US10061326B2 (en) 2015-12-09 2018-08-28 International Business Machines Corporation Mishap amelioration based on second-order sensing by a self-driving vehicle
US9836973B2 (en) 2016-01-27 2017-12-05 International Business Machines Corporation Selectively controlling a self-driving vehicle's access to a roadway
US10048080B2 (en) 2016-03-22 2018-08-14 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle virtual reality navigation system
US10053110B2 (en) 2016-05-06 2018-08-21 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methodologies for controlling an autonomous vehicle
JP6671019B2 (ja) * 2016-05-18 2020-03-25 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム、自動運転車両及び自動運転制御システム
JP6493299B2 (ja) * 2016-05-19 2019-04-03 株式会社デンソー 自動運転システム及び自動運転状態報知プログラム
US10685391B2 (en) 2016-05-24 2020-06-16 International Business Machines Corporation Directing movement of a self-driving vehicle based on sales activity
US10322721B2 (en) * 2016-06-28 2019-06-18 Faraday & Future Inc. Adaptive cruise control system having center-console access
US10093311B2 (en) 2016-07-06 2018-10-09 Waymo Llc Testing predictions for autonomous vehicles
US10205890B2 (en) 2016-07-25 2019-02-12 Ford Global Technologies, Llc Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data
US10737702B2 (en) 2016-07-27 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Visually simulating driving plans in autonomous vehicles
US10093322B2 (en) 2016-09-15 2018-10-09 International Business Machines Corporation Automatically providing explanations for actions taken by a self-driving vehicle
CN109844837A (zh) * 2016-10-26 2019-06-04 三菱电机株式会社 显示控制装置、显示装置及显示控制方法
EP3544851B1 (de) * 2016-11-23 2021-01-06 Telefonaktiebolaget LM Ericsson (publ) Kraftfahrzeug und verfahren zur steuerung eines aufhängungssystems
US10639993B2 (en) 2016-12-19 2020-05-05 Nissan North America, Inc. Vehicle shade assembly
CN110214107B (zh) * 2017-01-26 2023-01-17 福特全球技术公司 提供驾驶员教育的自主车辆
JP6621032B2 (ja) * 2017-01-30 2019-12-18 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10163242B2 (en) * 2017-01-31 2018-12-25 Gordon Todd Jagerson, Jr. Energy grid data platform
US20180231975A1 (en) * 2017-02-16 2018-08-16 GM Global Technology Operations LLC Vehicle entertainment system
US10343555B2 (en) 2017-02-27 2019-07-09 Nissan North America, Inc. Autonomous vehicle seat positioning system
US10150386B2 (en) 2017-02-27 2018-12-11 Nissan North America, Inc. Autonomous vehicle seat positioning system
US10242457B1 (en) * 2017-03-20 2019-03-26 Zoox, Inc. Augmented reality passenger experience
CN110462573A (zh) * 2017-03-21 2019-11-15 福特全球技术公司 控制车辆功能
US10580386B2 (en) * 2017-04-21 2020-03-03 Ford Global Technologies, Llc In-vehicle projected reality motion correction
US10083547B1 (en) 2017-05-23 2018-09-25 Toyota Jidosha Kabushiki Kaisha Traffic situation awareness for an autonomous vehicle
DE102017212992A1 (de) * 2017-07-27 2019-01-31 Continental Automotive Gmbh System zur Auswahl von Fahrmanövern eines Fahrzeugs zum automatisierten Fahren
US10549762B2 (en) * 2017-07-31 2020-02-04 GM Global Technology Operations LLC Distinguish between vehicle turn and lane change
US10429846B2 (en) * 2017-08-28 2019-10-01 Uber Technologies, Inc. Systems and methods for communicating intent of an autonomous vehicle
US10647332B2 (en) * 2017-09-12 2020-05-12 Harman International Industries, Incorporated System and method for natural-language vehicle control
US10748426B2 (en) 2017-10-18 2020-08-18 Toyota Research Institute, Inc. Systems and methods for detection and presentation of occluded objects
US11099579B2 (en) * 2018-05-31 2021-08-24 Nissan North America, Inc. System for determining the number of remote vehicles following a host vehicle
DE102018209191A1 (de) * 2018-06-08 2019-12-12 Volkswagen Aktiengesellschaft Verfahren und System zum Betreiben einer automatischen Fahrfunktion in einem Fahrzeug
US11318961B2 (en) * 2018-07-20 2022-05-03 Lg Electronics Inc. Robot for vehicle and control method thereof
US10663963B2 (en) 2018-08-03 2020-05-26 Here Global B.V. Method and apparatus for visualizing future events for passengers of autonomous vehicles
CN109808493B (zh) * 2019-02-19 2021-05-28 百度在线网络技术(北京)有限公司 显示自动驾驶车辆行驶行为的方法和装置
WO2021002081A1 (ja) * 2019-07-02 2021-01-07 株式会社デンソー 表示制御装置及び表示制御プログラム
US11767023B2 (en) 2019-11-04 2023-09-26 Volvo Car Corporation Displaying next action of an autonomous vehicle
US11454813B2 (en) 2019-11-07 2022-09-27 GM Global Technology Operations LLC Holographic display systems with polarization correction and distortion reduction providing enhanced image quality
KR20220117407A (ko) * 2021-02-16 2022-08-24 현대자동차주식회사 자율 주행 정보 제공 장치 및 그 방법
US11880036B2 (en) 2021-07-19 2024-01-23 GM Global Technology Operations LLC Control of ambient light reflected from pupil replicator
CN113984087A (zh) * 2021-11-08 2022-01-28 维沃移动通信有限公司 导航方法、装置、电子设备和可读存储介质
CN116985833A (zh) * 2022-04-25 2023-11-03 通用汽车环球科技运作有限责任公司 用于驾驶员辅助自动驾驶的最小先决条件交互协议
DE102022133405A1 (de) 2022-12-15 2024-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum bereitstellen eines anzeigbaren pfads

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US7090355B2 (en) 2003-05-19 2006-08-15 Superimaging, Inc. System and method for a transparent color image display utilizing fluorescence conversion of nano particles and molecules
JP2008506972A (ja) 2003-11-03 2008-03-06 スーパーイメージング,インコーポレーション 透明基板一体型の発光材料
WO2005043232A2 (en) 2003-11-03 2005-05-12 Superimaging, Inc. Light emitting material integrated into a substantially transparent substrate
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7213923B2 (en) 2004-04-19 2007-05-08 Superimaging, Inc. Emission of visible light in response to absorption of excitation light
EP1751499B1 (de) * 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
US7460951B2 (en) 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US20080158510A1 (en) 2007-01-02 2008-07-03 Gm Global Technology Operations, Inc. Apparatus And Method For Displaying Information Within A Vehicle Interior
WO2008087652A2 (en) 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US8917904B2 (en) 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
JP2010173530A (ja) 2009-01-30 2010-08-12 Toyota Motor Corp 走行支援装置
US8547298B2 (en) 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
US8912978B2 (en) 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US8384531B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US8629784B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US7924146B2 (en) 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
US8830141B2 (en) 2009-04-02 2014-09-09 GM Global Technology Operations LLC Full-windshield head-up display enhancement: anti-reflective glass hard coat
US8704653B2 (en) 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
US8427395B2 (en) 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
US8482486B2 (en) 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
US8384532B2 (en) 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8395529B2 (en) 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
US8072686B2 (en) 2009-04-02 2011-12-06 GM Global Technology Operations LLC UV laser beamlett on full-windshield head-up display
US8344894B2 (en) 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
US8330673B2 (en) 2009-04-02 2012-12-11 GM Global Technology Operations LLC Scan loop optimization of vector projection display
US20100253595A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Virtual controls and displays by laser projection
US8350724B2 (en) 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8817090B2 (en) 2009-04-02 2014-08-26 GM Global Technology Operations LLC Luminance uniformity compensation of vector projection display
US8317329B2 (en) 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8629903B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8564502B2 (en) 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8164543B2 (en) 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US8977489B2 (en) 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
DE102009046376A1 (de) 2009-11-04 2011-05-05 Robert Bosch Gmbh Fahrerassistenzsystem für ein Fahrzeug mit einer Eingabevorrichtung zur Eingabe von Daten
US8606430B2 (en) 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
US8098170B1 (en) 2010-10-08 2012-01-17 GM Global Technology Operations LLC Full-windshield head-up display interface for social networking
US8514099B2 (en) 2010-10-13 2013-08-20 GM Global Technology Operations LLC Vehicle threat identification on full windshield head-up display
US8098171B1 (en) 2010-12-28 2012-01-17 GM Global Technology Operations LLC Traffic visibility in poor viewing conditions on full windshield head-up display
US8686872B2 (en) 2010-12-29 2014-04-01 GM Global Technology Operations LLC Roadway condition warning on full windshield head-up display
US8633979B2 (en) 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US8605011B2 (en) 2010-12-29 2013-12-10 GM Global Technology Operations LLC Virtual viewfinder on full windshield head-up display
US9057874B2 (en) 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US9008904B2 (en) 2010-12-30 2015-04-14 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014198552A1 (de) * 2013-06-10 2014-12-18 Robert Bosch Gmbh System und verfahren zum überwachen und/oder bedienen einer technischen anlage, insbesondere eines fahrzeugs
DE102013215370A1 (de) 2013-08-05 2015-02-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
WO2015018736A1 (de) 2013-08-05 2015-02-12 Continental Automotive Gmbh Steuerungseinrichtung zur verwendung in einem kraftfahrzeug
DE102013215370B4 (de) 2013-08-05 2019-12-05 Continental Automotive Gmbh Steuerungseinrichtung zur Verwendung in einem Kraftfahrzeug
US9858702B2 (en) 2014-02-12 2018-01-02 Volkswagen Aktiengesellschaft Device and method for signalling a successful gesture input
DE102016108878A1 (de) 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Anzeigeeinheit und Verfahren zur Darstellung von Informationen
EP3246745A1 (de) 2016-05-13 2017-11-22 Visteon Global Technologies, Inc. Anzeigeeinheit und verfahren zur informationsdarstellung
DE102019205097A1 (de) * 2019-04-09 2020-10-15 Volkswagen Aktiengesellschaft Verfahren zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs, System zur Inszenierung eines Bedienmodalitätenwechsels eines Fahrzeugs
US11455043B2 (en) 2019-04-09 2022-09-27 Volkswagen Aktiengesellschaft Method and system for staging a change in operating mode of a transportation vehicle
EP3730335B1 (de) * 2019-04-09 2022-10-12 Volkswagen Ag Verfahren zur inszenierung eines bedienmodalitätenwechsels eines fahrzeugs, system zur inszenierung eines bedienmodalitätenwechsels eines fahrzeugs

Also Published As

Publication number Publication date
US8924150B2 (en) 2014-12-30
CN102589565B (zh) 2015-12-16
CN102589565A (zh) 2012-07-18
US20120173069A1 (en) 2012-07-05
DE102011121746B4 (de) 2022-09-15

Similar Documents

Publication Publication Date Title
DE102011121746B4 (de) Verfahren zum Navigieren eines autonomen Fahrzeugs unter Verwendung einer graphischen Projektionsanzeige
DE102011121715B4 (de) Verfahren zum dynamischen Ausrichten einer Grafik auf einer Fahrszene eines Fahrzeugs
DE102011121747A1 (de) Virtueller Sucher in einer Headup-Anzeige für die volle Windschutzscheibe
DE102011122552A1 (de) Graphisches fahrzeugbefehlssystem für autonome fahrzeuge auf einer headup-anzeige für die volle windschutzscheibe
DE102011122541A1 (de) Virtueller Cursor für die Strassenszenen-Objektauswahl auf einer Headup-Anzeige für die volle Windschutzscheibe
DE102012216623B4 (de) Verfahren zur dynamischen Informationsdarstellung auf einer Headup-Anzeige
DE102011121627B4 (de) Verfahren zum dynamischen Ausrichten einer Graphik auf eine Fahrszene eines Fahrzeugs unter Nutzung einer im Wesentlichen durchsichtigen Windschutzscheiben-Headup-Anzeige
DE102012221762B4 (de) Fahrmanöverunterstützung an head-up-anzeige für gesamte windschutzscheibe
DE102011115323B4 (de) Identifizierung einer Fahrzeugbedrohung auf einem Vollwindschutzscheiben-Head-up-Display
DE102011121847B4 (de) Verfahren zum dynamischen Ausrichten einer Graphik auf einer Fahrszene eines Fahrzeugs, das eine im Wesentlichen durchsichtige Windschutzscheiben-Headup-Anzeige nutzt
DE112018001655B4 (de) Anzeigevorrichtung und sich bewegender Körper mit der Anzeigevorrichtung
US8098170B1 (en) Full-windshield head-up display interface for social networking
DE112015006563T5 (de) Projektionsanzeigevorrichtung und Projektionsanzeigeverfahren
TW201009802A (en) Method and system for operating a display device
EP3685123A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
CN108896067B (zh) 一种用于车载ar导航的动态显示方法及装置
CN114489332A (zh) Ar-hud输出信息的显示方法及***
JP7402083B2 (ja) 表示方法、表示装置及び表示システム
WO2016079335A1 (de) Optische cockpitüberwachung in einem fahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ, FINSTERWALD & PARTNER GBR, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final