DE102013217405A1 - Verfahren und Systeme zur Überwachung einer Objekterkennung durch einen Fahrer - Google Patents

Verfahren und Systeme zur Überwachung einer Objekterkennung durch einen Fahrer Download PDF

Info

Publication number
DE102013217405A1
DE102013217405A1 DE102013217405.5A DE102013217405A DE102013217405A1 DE 102013217405 A1 DE102013217405 A1 DE 102013217405A1 DE 102013217405 A DE102013217405 A DE 102013217405A DE 102013217405 A1 DE102013217405 A1 DE 102013217405A1
Authority
DE
Germany
Prior art keywords
driver
sensor data
vehicle
display
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013217405.5A
Other languages
English (en)
Inventor
Jarvis Chau
Mark A. Manickaraj
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102013217405A1 publication Critical patent/DE102013217405A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

Es werden Verfahren und Systeme zum Erkennen bereitgestellt, ob ein Fahrer eines Fahrzeuges einen Gegenstand/ein Objekt außerhalb des Fahrzeuges erkannt hat. In einer Ausführungsform umfasst das Verfahren: Empfangen von externen Sensordaten, welche eine Szene außerhalb des Fahrzeuges wiedergeben; Empfangen von internen Sensordaten, welche ein Bild des Fahrers wiedergeben; Bestimmen, ob der Fahrer den Gegenstand auf Basis der externen und der internen Sensordaten erkannt hat; und wahlweise ein Erzeugen eines Steuersignales, und zwar darauf basierend, ob der Fahrer den Gegenstand erkannt hat.

Description

  • TECHNISCHES GEBIET
  • Das technische Gebiet betrifft allgemein Verfahren und Systeme zur Überwachung einer Objekt- bzw. Gegenstandserkennung durch einen Fahrer, und insbesondere Verfahren und Systeme zur Überwachung einer Objekt- bzw. Gegenstandserkennung durch einen Fahrer unter Verwendung einer Stereosicht und Blickfelderkennung und Warnens eines Fahrers unter Verwendung eines Head-Up-Displays.
  • HINTERGRUND
  • In einem Versuch zur Verbesserung von Sicherheitsfunktionen für Automobile werden derzeit Head-Up-Displays (HUD) in Fahrzeugen verbaut. Ein Head-Up-Display projiziert ein virtuelles Bild auf die Windschutzscheibe. Das dem Fahrer dargestellte Bild umfasst Information hinsichtlich des Fahrzeugzustands, wie z. B. die Geschwindigkeit. Dies ermöglicht es dem Fahrer, die Information in einfacher Weise während des Blickens durch die Windschutzscheibe wahrzunehmen. Somit kann der Fahrer seine aufrechte Fahr-(bzw. Sitz-)Position beibehalten, und muss nicht seinen Blick von der Straße wenden, um die Information wahrzunehmen.
  • In einigen Fällen kann der Blick des Fahrers auf die Straße dennoch zeitweise durch Ablenkungen beeinträchtigt sein. Beispielsweise beim Einstellen des Infotainmentsystems kann der Fahrer zeitweise seinen Blick von der Straße weg auf das Infotainmentsystem richten. Dementsprechend ist es wünschenswert, unter Verwendung des Head-Up-Displays für den Fahrer eine Warninformation bereitzustellen. Zusätzlich ist es wünschenswert, die Warninformation auf eine Art und Weise bereitzustellen, welche die Aufmerksamkeit des Fahrers wieder zurück auf die Straße richtet, wenn der Fahrer abgelenkt ist. Weiterhin werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den angefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen und dem vorangegangenen technischen Gebiet und Hintergrund ersichtlich.
  • ZUSAMMENFASSUNG
  • Es werden Verfahren und Systeme zur Erkennung bereitgestellt, ob ein Fahrer eines Fahrzeuges einen Gegenstand bzw. ein Objekt außerhalb des Fahrzeuges erkannt hat. In einer Ausführungsform umfasst ein Verfahren: Empfangen von externen Sensordaten, welche eine Szene außerhalb des Fahrzeuges wiedergeben; Empfangen von internen Sensordaten, welche ein Bild vom Fahrer wiedergeben; Bestimmen, ob der Fahrer den Gegenstand bzw. das Objekt auf Basis der externen und internen Sensordaten erkannt hat; und wahlweises Erzeugen eines Steuersignales, und zwar darauf basierend, ob der Fahrer das Objekt bzw. den Gegenstand erkannt hat.
  • In einer Ausführungsform umfasst das System ein erstes Modul, welches externe Sensordaten empfängt, welche eine Szene außerhalb des Fahrzeuges wiedergeben. Ein zweites Modul empfängt interne Sensordaten, welche ein Bild vom Fahrer wiedergeben. Ein drittes Modul bestimmt, ob der Fahrer das Objekt bzw. den Gegenstand auf Basis der externen und der internen Sensordaten erkannt hat. Ein viertes Modul erzeugt wahlweise ein Steuersignal, und zwar darauf basierend, ob der Fahrer das Objekt bzw. den Gegenstand erkannt hat (die Begriffe „Objekt” und „Gegenstand” sollen hierin im Wesentlichen synonym verwendet werden).
  • In einer Ausführungsform umfasst ein Fahrzeug ein Head-Up-Display-System und ein Head-Up-Display-Steuermodul. Das Head-Up-Display-Steuermodul empfängt externe Sensordaten, welche eine Szene außerhalb des Fahrzeuges wiedergeben, bestimmt, ob der Fahrer das Objekt bzw. den Gegenstand auf Basis der externen und der internen Sensordaten erkannt hat, und erzeugt wahlweise ein Steuersignal für das Head-Up-Display-System, und zwar darauf basierend, ob der Fahrer das Objekt bzw. den Gegenstand erkannt hat.
  • BESCHREIBUNG DER ZEICHNUNGEN
  • Die beispielhaften Ausführungsformen werden hiernach in Verbindung mit den folgenden Zeichnungsfiguren erläutert, wobei gleiche Bezugszeichen gleiche Elemente bedeuten, und wobei:
  • 1 ein Funktionsblockdiagramm eines Fahrzeuges ist, welches in Übereinstimmung mit verschiedenen Ausführungsformen ein Fahrer-Objekterkennungssystem umfasst;
  • 2 ein Datenflussdiagramm ist, welches in Übereinstimmung mit verschiedenen Ausführungsformen ein Fahrer-Objekterkennungssystem zeigt; und
  • 3 ein Flussdiagramm ist, welches ein Fahrer-Objekterkennungsverfahren darstellt, welches in Übereinstimmung mit verschiedenen Ausführungsformen von einem Fahrer-Objekterkennungssystem ausgeführt werden kann.
  • DETAILLIERTE BESCHREIBUNG
  • Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und Verwendungen nicht beschränken. Weiterhin soll es keine Beschränkung durch eine ausdrücklich oder implizit in dem vorangegangenen technischen Gebiet, Hintergrund, kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellte Theorie geben. Wie hierin verwendet, bezieht sich der Begriff Modul auf eine beliebige Hardware, Software, Firmware, elektronische Steuerkomponente, Prozess-Logik und/oder Prozessoreinrichtung, für sich genommen oder in einer beliebigen Kombination, einschließlich und ohne Beschränkung: einem anwendungsspezifischen integrierten Schaltkreis (ASIC), einem elektronischen Schaltkreis, einem Prozessor (in Mitbenutzung, in alleiniger Benutzung oder als Gruppe) und Speicher, welche ein oder mehrere Software- oder Firmware-Programme ausführen, einen kombinatorischen Logik-Schaltkreis und/oder andere geeignete Komponenten, welche die beschriebene Funktionalität bereitstellen.
  • Nunmehr mit Bezug auf 1 ist ein Fahrzeug 10 dargestellt, welches in Übereinstimmung mit verschiedenen Ausführungsformen ein Fahrer-Objekterkennungssystem 12 zeigt. Obwohl die hierin gezeigten Figuren ein Beispiel mit gewissen Anordnungen von Elementen herausgreifen, können zusätzliche wechselwirkende Elemente, Einrichtungen, Merkmale oder Komponenten in tatsächlichen Ausführungsformen vorhanden sein. Es wird außerdem davon ausgegangen, dass 1 lediglich darstellenden Charakter hat und nicht maßstabsgetreu sein muss.
  • In verschiedenen Ausführungsformen umfasst das Fahrer-Objekterkennungssystem 12 ein externes Sensorsystem 14, ein internes Sensorsystem 16, ein Head-Up-Display(HUD)-Steuermodul 18 und ein HUD-System 20. Das externe Sensorsystem 14 kommuniziert mit einer Sensoreinrichtung 22, welche einen oder mehrere Sensoren umfasst, welche in der Nähe von bzw. vor dem Fahrzeug 10 beobachtbare Vorgänge bzw. Ereignisse sensieren bzw. erfassen. Die Sensoren können bildgebende Sensoren sein, Radarsensoren, Ultraschallsensoren oder andere Sensoren, welche beobachtbare Vorgänge in der Nähe des Fahrzeuges 10 sensieren. Aus Beispiel-Gründen wird die Offenbarung im Zusammenhang mit der Sensoreinrichtung 22 erläutert, einschließlich wenigstens eines bildgebenden Sensors bzw. einer Kamera, welche visuelle Bilder vor dem Fahrzeug 10 verfolgt bzw. entsprechend nachgeführt wird. Die bildgebende Einrichtung sensiert die Bilder und erzeugt basierend darauf Sensorsignale. Das externe Sensorsystem 14 ver- bzw. bearbeitet die Sensorsignale und erzeugt basierend darauf externe Sensordaten.
  • Das interne Sensorsystem 16 kommuniziert mit einer Sensoreinrichtung 24, welche einen oder mehrere Sensoren umfasst, welche beobachtbare Vorgänge bzw. Ereignisse hinsichtlich eines Fahrers im Fahrzeug 10 sensiert bzw. erfasst. Beispielhaft wird die Offenbarung im Zusammenhang mit der Sensoreinrichtung 24 erläutert, einschließlich wenigstens eines bildgebenden Sensors bzw. einer Kamera, welche visuelle Bilder vom Fahrer des Fahrzeuges 10 aufnimmt bzw. verfolgt. Die bildgebende Einrichtung sensiert die Bilder und erzeugt basierend darauf entsprechende Sensorsignale. Das interne Sensorsystem 16 ver- bzw. bearbeitet die Sensorsignale und erzeugt basierend darauf interne Sensordaten.
  • Das HUD-Steuermodul 18 empfängt die von dem internen Sensorsystem 16 und dem externen Sensorsystem 14 erzeugten Daten und bearbeitet die Daten, um zu bestimmen, ob sich ein Objekt bzw. Gegenstand (z. B. eine Person, Verkehrszeichen usw.) in der Nähe des Fahrzeuges 10 befindet, und um zu bestimmen, ob der Fahrer das Objekt bzw. den Gegenstand in der Nähe des Fahrzeuges 10 erkannt und seinen Blick darauf gerichtet hat. Falls der Fahrer das Objekt bzw. den Gegenstand nicht erkannt hat, erzeugt das HUD-Steuermodul 18 wahlweise Signale für das HUD-System 20, sodass ein Display des HUD-Systems 20 ein Bild anzeigt, welches dem Fahrer das Objekt zur deutlichen Wahrnehmung wiedergibt. Das HUD-System 20 zeigt eine nicht-dauerhafte auffällige Wiedergabe bzw. ein auffälliges Merkmal des Objektes, um das Objekt grafisch auf einer (nicht dargestellten) Windschutzscheibe des Fahrzeuges 10 wiederzugeben bzw. zu projizieren. Das HUD-System 20 zeigt die auffällige Erscheinung/Merkmal an einer Stelle auf der Windschutzscheibe, wo ein Fahrer das Objekt wahrnehmen bzw. sehen würde, wenn der Fahrer in die richtige Richtung blickt.
  • In verschiedenen Ausführungsformen erzeugt das HUD-Steuermodul 18 wahlweise die Steuersignale derart, sodass das auffällige Merkmal einen von dem Objekt ausgehenden Gefahrenzustand dem Fahrer anzeigt. Wenn beispielsweise das Objekt eine unmittelbar bevorstehende Kollisionsgefahr darstellt, kann das auffällige Merkmal entsprechend erster Anzeige-Kriterien dargestellt werden; wenn das Objekt eine nicht unmittelbar bevorstehende Kollisionsgefahr darstellt, kann das Merkmal gemäß zweiter Anzeige-Kriterien dargestellt werden; usw. Das HUD-Steuermodul 18 erzeugt die Steuersignale, um das auffällige Merkmal anzuzeigen, bis bestimmt worden ist, dass der Fahrer das Objekt gesehen und wahrgenommen hat. Sowie bestimmt wurde, dass der Fahrer das Objekt wahrgenommen hat, kann das HUD-Steuermodul 18 das auffällig dargestellte Merkmal in seiner Helligkeit reduzieren („dimmen”) oder ganz weglassen/entfernen.
  • In verschiedenen Ausführungsformen steht das HUD-Steuermodul 18 in Koordination mit Warnsystemen 26 (z. B. akustischen Warnsystemen, haptischen Warnsystemen usw.), um den Fahrer weiter über das Vorhandensein des Objektes zu warnen, wenn der Fahrer das Objekt nicht erkannt hat. In verschiedenen Ausführungsformen steht das HUD-Steuermodul 18 mit Kollisionsvermeidungssystemen 28 (z. B. Bremssystemen) in Wechselwirkung, um eine Kollision mit dem Objekt zu vermeiden, wenn der Fahrer das Objekt nicht erkannt hat.
  • Nunmehr mit Bezug auf 2 zeigt ein Datenflussdiagramm verschiedene Ausführungsformen des HUD-Steuermoduls 18 des Fahrer-Objekterkennungssystems 12. Verschiedene Ausführungsformen des HUD-Steuermoduls 18 gemäß der vorliegenden Offenbarung können eine beliebige Anzahl von Modulen bzw. Sub-Modulen umfassen. Vorzugsweise können die in 2 gezeigten Module zu einem Signalmodul kombiniert werden und/oder in mehrere Module unterteilt werden, um auf ähnliche Weise eine Objekterkennung durch den Fahrer zu bestimmen und den Fahrer unter Verwendung des HUD-Systems 20 zu warnen. Eingaben in das HUD-Steuermodul 18 können von den Sensorsystemen 14, 16 des Fahrzeuges 10 (1) empfangen werden, von weiteren (nicht dargestellten) Modulen des Fahrzeuges 10 (1), und/oder mithilfe von weiteren Sub-Modulen (nicht dargestellt) des HUD-Steuermodules 18 bestimmt werden. In verschiedenen Ausführungsformen umfasst das HUD-Steuermodul 18 ein externes Daten-Überwachungsmodul 30, ein internes Daten-überwachungsmodul 32, ein Fahrer-Objekterkennungs-Analysemodul 34, ein HUD-Displaymodul 36 und einen HUD-Kartendatenspeicher 38.
  • Das externe Daten-Überwachungsmodul 30 empfängt als Eingabe externe Sensordaten 40. Basierend auf den externen Sensordaten 40 erkennt das externe Daten-Überwachungsmodul 30, ob sich ein Objekt vor dem Fahrzeug 10 befindet und/oder sich auf einer Strecke befindet, entlang welcher das Fahrzeug 10 fährt. Bei Erkennung eines Objektes bildet das externe Daten-Überwachungsmodul die Koordinaten des durch die externe Sensordaten 40 dargestellten Objektes auf Koordinaten eines Displays (d. h. der Windschutzscheibe) des HUD-Systems 20 ab, und erzeugt basierend darauf die Objektkarte 42.
  • Beispielsweise stellen die externen Sensordaten 40 eine Szene vor dem Fahrzeug 10 dar. Die Szene wird in einem zweidimensionalen (x, y)-Koordinatensystem wiedergegeben. Das externe Daten-Überwachungsmodul 30 ordnet jeder x-, y-Koordinate des Objektes eine x'-, y'-Koordinate des Displays unter Verwendung einer HUD-Karte 44 zu. Das externe Daten-Überwachungsmodul 30 speichert dann Daten ab, welche den x-, y-Koordinaten des Objektes hinsichtlich der x'-, y'-Koordinaten der Objektkarte 42 zugeordnet sind. Beispielsweise wird ein positiver Wert oder ein einziger Wert in jeder Koordinate gespeichert, entlang welcher sich das Objekt erstreckt; und es wird ein negativer bzw. Null-Wert in jeder Koordinate gespeichert, entlang welcher sich das Objekt nicht erstreckt. In verschiedenen Ausführungsformen kann die HUD-Karte 44 eine Look-Up-Tabelle sein, auf welche durch die x-, y-Koordinaten der Szene zugegriffen wird, und welche die x'-, y'-Koordinaten des Displays bzw. der Anzeige erzeugt. In verschiedenen Ausführungsformen ist die HUD-Karte 44 vorgegeben und in dem HUD-Kartendatenspeicher 38 abgespeichert.
  • Das interne Daten-Überwachungsmodul 32 empfängt als Eingabe interne Sensordaten 46. In verschiedenen Ausführungsformen stellen die internen Sensordaten Bilder vom Fahrer des Fahrzeuges 10 dar (z. B. vom Kopf und Gesicht). Das interne Daten-Überwachungsmodul 32 wertet die internen Sensordaten 46 aus, um ein Blickfeld des Fahrers zu bestimmen (z. B. ein Blickfeld eines Auges und/oder eine Richtung, in welche der Kopf bzw. die Augen gerichtet sind). Vorzugsweise können verschiedene Verfahren verwendet werden, um das Blickfeld des Fahrers zu bestimmen. Beispielsweise herkömmliche Verfahren, welche in ihrer Gesamtheit hierin durch Bezugnahme mitumfasst sind, oder es können andere Verfahren zur Erkennung des Blickfeldes des Fahrers verwendet werden.
  • Das Fahrer-Blickfeld wird durch ein zweidimensionales (x, y)-Koordinatensystem dargestellt. Das interne Daten-Überwachungsmodul 32 bildet die Koordinaten des Fahrer-Blickfeldes auf die Koordinaten des Displays bzw. der Anzeige ab und erzeugt basierend darauf eine Blickfeldkarte 48.
  • Beispielsweise ordnet das interne Daten-Überwachungsmodul 32 jeder x-, y-Koordinate des Fahrer-Blickfeldes unter Verwendung einer HUD-Karte 50 auf eine x'-, y'-Koordinate des Displays bzw. der Anzeige zu. Das interne Daten-Überwachungsmodul 32 speichert dann Daten ab, welche den x-, y-Koordinaten des Fahrer-Blickfeldes hinsichtlich der x'-, y'-Koordinaten der Blickfeldkarte 48 zugeordnet sind. Beispielsweise wird ein positiver Wert oder ein einziger Wert für jede Koordinate abgespeichert, entlang welcher der Fahrer, wie festgestellt, seinen Blick richtet; und es wird ein negativer bzw. Null-Wert für jede Koordinate abgespeichert, entlang welcher der Fahrer, wie festgestellt, seinen Blick nicht richtet. In verschiedenen Ausführungsformen kann die HUD-Karte 50 eine Look-Up-Tabelle sein, auf welche durch die x-, y-Koordinaten des Fahrer-Blickfeldes zugegriffen wird und welche die x'-, y'-Koordinaten des Displays erzeugt. In verschiedenen Ausführungsformen ist die HUD-Karte 50 vorgegeben und in dem HUD-Kartendatenspeicher 38 abgespeichert.
  • Das Fahrer-Objekterkennungs-Analysemodul 34 empfängt als Eingabe die Objektkarte 42 und die Blickfeldkarte 48. Das Fahrer-Objekterkennungs-Analysemodul 34 wertet die Objektkarte 42 und die Blickfeldkarte 48 aus, um zu bestimmen, ob der Fahrer auf das erkannte Objekt schaut oder in die Richtung des erkannten Objektes blickt. Das Fahrer-Objekterkennungs-Analysemodul 34 setzt einen Objekterkennungszustand 52, und zwar basierend darauf, ob der Fahrer nicht auf das erkannte Objekt schaut, oder ob der Fahrer auf das erkannte Objekt schaut und dieses wahrgenommen bzw. erkannt hat. Falls beispielsweise keine Koordinaten mit positiven Daten der Blickfeldkarte 48 mit Koordinaten mit positiven Daten der Objektkarte 42 überlappen, dann blickt der Fahrer nicht auf das erkannte Objekt, wobei das Fahrer-Objekterkennungs-Analysemodul 34 den Objekterkennungszustand 52 setzt, um anzuzeigen, dass der Fahrer seinen Blick nicht auf das Objekt gerichtet hat. Falls einige (z. B. zwischen einem ersten Bereich oder innerhalb eines ersten Prozentbereiches der Koordinaten) oder alle Koordinaten mit positiven Daten der Blickfeldkarte 48 mit Koordinaten mit positiven Daten der Objektkarte 42 überlappen, dann blickt der Fahrer auf das erkannte Objekt und das Fahrer-Objekterkennungs-Analysemodul 34 setzt den Objekterkennungszustand 52, um anzuzeigen, dass der Fahrer auf das erkannte Objekt blickt.
  • Das HUD-Displaymodul 36 empfangt als Eingabe den Fahrer-Objekterkennungszustand 52 und optional einen Gefahrenzustand 54. Auf Basis des Fahrer-Objekterkennungszustandes 52 erzeugt das HUD-Displaymodul 36 HUD-Steuersignale 56, um wahlweise auffällige Bilder auf dem Display des HUD-Systems 20 darzustellen. Falls der Objekterkennungszustand 52 beispielsweise zeigt, dass der Fahrer auf das Objekt geblickt hat, wird das Objekt nicht in auffälliger Weise auf dem Display dargestellt. Falls der Objekterkennungszustand 52 anzeigt, dass der Fahrer nicht auf das Objekt geblickt hat, dann werden die HUD-Steuersignale 56 erzeugt, um das Objekt auf dem Display in auffälliger Weise darzustellen. Das HUD-Displaymodul 36 erzeugt die HUD-Steuersignale 56, um das Objekt an einer durch die Objektkarte 42 angezeigte Stelle in auffälliger Weise darzustellen.
  • In verschiedenen Ausführungsformen kann das Objekt wahlweise auffällig wahrnehmbar dargestellt werden, und zwar basierend auf dem Objekt-Gefahrenzustand 54, und zwar in Abhängigkeit von dem Objektabstand vom Fahrzeug 10 und/oder einer geschätzten Zeit bis zu einem Zusammenstoß mit dem Objekt. Beispielsweise können wenigstens zwei Farben verwendet werden, wobei eine Farbe verwendet wird, um Objekte auffällig darzustellen, welche weit genug entfernt sind, sodass die Zeit bis zu einem Zusammenstoß als „sicher” angesehen wird (z. B. eine nicht unmittelbar bevorstehende Gefahr), und eine weitere Farbe wird verwendet, um Objekte auffällig darzustellen, welche derart nahe sind, dass die Zeit bis zu einem Zusammenstoß als „unsicher” angesehen wird (z. B. eine unmittelbar bevorstehende Gefahr). In verschiedenen Ausführungsformen kann die einem Zustand zugewiesene Farbe allmählich in eine einem anderen Zustand zugewiesene Farbe übergehen, sodass mehrere Farben möglich sind. Vorzugsweise können mehrere Farben für Systeme mit mehreren Gefahrenstufen verwendet werden.
  • In einem weiteren Beispiel können wenigstens zwei Displayfrequenzen verwendet werden, wobei eine Displayfrequenz (z. B. eine höhere Frequenz) verwendet wird, um das auffällige Merkmal optisch aufleuchten bzw. regelmäßig aufflackern zu lassen, wenn das Objekt als eine Gefahr erster Stufe angesehen wird (z. B. ein unmittelbar bevorstehender Gefahrenzustand), und eine zweite Displayfrequenz verwendet wird, (z. B. eine niedrigere Frequenz), um das auffällige Merkmal aufleuchten zu lassen, wenn das Objekt als eine Gefahr zweiter Stufe angesehen wird (z. B. ein nicht unmittelbar bevorstehender Gefahrenzustand). In verschiedenen Ausführungsformen kann die Frequenz von einem Zustand bzw. einer Stufe zu einer anderen übergehen, sodass mehr Frequenzen möglich sind. Vorzugsweise können für Systeme mit mehreren Gefahrenstufen mehrere Frequenzen verwendet werden.
  • In verschiedenen Ausführungsformen kann das HUD-Displaymodul 36 weiterhin in Wechselwirkung mit den anderen Warnsystemen 26 und/oder den Kollisionsvermeidungssystemen 28 stehen, wenn der Objekterkennungszustand 52 anzeigt, dass der Fahrer nicht auf das Objekt geblickt hat. Beispielsweise können Warnsignale 58 wahlweise für die Warnsysteme 26 erzeugt werden, sodass akustische Warnhinweise zusammen bzw. gleichzeitig mit der Darstellung des auffälligen Merkmals erzeugt werden können oder nach einer gewissen Zeitdauer der Darstellung des auffälligen Merkmals. In einem weiteren Beispiel können Steuersignale 60 wahlweise für die Kollisionsvermeidungssysteme 28 erzeugt werden, sodass Bremsen oder andere Kollisionsvermeidungstechniken gleichzeitig mit der Darstellung des auffälligen Merkmals aktiviert werden können oder nach einer gewissen Zeitdauer der Darstellung des auffälligen Merkmals.
  • Nunmehr mit Bezug auf 3 und weiterhin mit Bezug auf 1 und 2 zeigt ein Flussdiagramm ein Fahrer-Objekterkennungsverfahren 70, welches in Übereinstimmung mit verschiedenen Ausführungsformen von dem Fahrer-Objekterkennungssystem 12 aus 1 ausgeführt werden kann. Im Hinblick auf die Offenbarung ist die Reihenfolge der Ausführung innerhalb des Verfahrens vorzugsweise nicht auf die in 3 dargestellte Ausführungsabfolge beschränkt, sondern kann in einer oder mehreren sich ändernden Reihenfolgen ausgeführt werden, und zwar nach Bedarf und in Übereinstimmung mit der vorliegenden Offenbarung.
  • Wie weiterhin bevorzugt wird, kann dem Verfahren in 3 ein Ablaufplan zugrunde gelegt werden, um zu vorbestimmten Zeitintervallen während des Betriebes des Fahrzeuges 10 abzulaufen und/oder es kann derart geplant werden, sodass es basierend auf vorbestimmten Ereignissen abläuft.
  • In einem Beispiel kann das Verfahren bei Schritt 100 beginnen. In verschiedenen Ausführungsformen werden Schritte 110 und 120 im Wesentlichen gleichzeitig ausgeführt, sodass die Sensordaten 40, 46 jeweils von beiden Sensoreinrichtungen 22, 24 für eine gegebene Zeitdauer ausgerichtet und verglichen werden können. Beispielsweise überwacht bei Schritt 110 die externe Sensoreinrichtung 22 die außerhalb des Fahrzeuges 10 befindliche Szene und sammelt externe Sensordaten 40. In analoger Weise überwacht bei Schritt 120 die interne Sensoreinrichtung 24 den Fahrer und sammelt interne Sensordaten 46. Die externen Sensordaten 40 werden ausgewertet, um zu bestimmen, ob bei Schritt 130 ein Gegenstand bzw. Objekt vorhanden ist. Falls bei Schritt 140 kein Objekt vorhanden ist, fährt das Verfahren mit dem Überwachen der Szene bei Schritt 110 fort und dem Überwachen des Fahrers bei Schritt 120. Falls ein Objekt bei Schritt 140 erkannt worden ist, wird die Objektkarte 42 durch Abbilden des Objektes, welches durch die externen Sensordaten 40 dargestellt wird, unter Verwendung der HUD-Karte 44 bei Schritt 150 erzeugt. Das Fahrer-Blickfeld wird bei Schritt 160 von den internen Sensordaten 46 bestimmt. Die Blickfeldkarte 48 wird durch Abbilden des Fahrer-Blickfeldes, welches durch die internen Sensordaten 40 wiedergegeben wird, unter Verwendung der HUD-Karte 50 bei Schritt 170 erzeugt.
  • Danach wird die Fahrer-Objekterkennungs-Analyse durch Vergleichen der Objektkarte 42 mit der Blickfeldkarte 48 bei Schritt 180 ausgeführt. Falls beispielsweise Koordinaten der Blickfeld-Karte 48 mit Koordinaten der Objektkarte 42 überlappen, dann liegt das Objekt im Blickfeld des Fahrers. Falls jedoch die Koordinaten der Blickfeldkarte 48 nicht mit Koordinaten der Objektkarte 42 überlappen, dann liegt das Objekt nicht im Blickfeld des Fahrers.
  • Es wird dann bestimmt, ob der Fahrer auf das Objekt blickt, und zwar basierend darauf, ob sich das Objekt im Blickfeld des Fahrers befindet. Beispielsweise wird geschlussfolgert, dass der Fahrer nicht auf das Objekt geblickt hat, wenn sich das Objekt nicht im Blickfeld des Fahrers befindet. In einem weiteren Beispiel wird geschlussfolgert, dass der Fahrer auf das Objekt geblickt hat, wenn das Objekt im Blickfeld des Fahrers liegt.
  • Falls der Fahrer bei Schritt 190 das Objekt erblickt hat, wird das Objekt nicht in auffälliger Weise durch das HUD-System 20 dargestellt und das Verfahren kann mit dem überwachen der Sensordaten 40, 46 bei Schritt 110 und Schritt 120 fortfahren. Falls der Fahrer jedoch bei Schritt 190 nicht auf das Objekt geblickt hat, wird das Objekt in auffälliger Weise bei Schritt 200 durch das HUD-System 20 dargestellt. Das Objekt wird wahlweise in auffälliger Weise dargestellt, und zwar basierend auf dem Gefahrenzustand 54 des Objekts unter Verwendung von Farbe und/oder Frequenz.
  • Bei Schritt 210 werden Warnsignale 58 und/oder Steuersignale 60 für die anderen Warnsysteme 26 und/oder die Kollisionsvermeidungssysteme 28 erzeugt, und zwar durch Koordinieren der Signale 58, 60 mit den auffälligen Merkmalen in einem Versuch, um den Fahrer zu warnen und/oder einen Zusammenstoß mit dem Objekt zu vermeiden. Danach kann das Verfahren mit dem überwachen der Sensordaten 40, 46 bei Schritt 110 und Schritt 120 fortfahren.
  • Während wenigstens eine beispielhafte Ausführungsform in der vorangegangenen detaillierten Beschreibung dargestellt worden ist, wird bevorzugt, dass eine große Anzahl an Variationen existiert. Es wird ebenso bevorzugt, dass die beispielhafte Ausführungsform bzw. beispielhaften Ausführungsformen lediglich Beispiele sind und nicht den Umfang, die Anwendbarkeit bzw. Konfiguration der Offenbarung in irgendeiner Weise beschränken sollen. Vielmehr soll die vorangegangene detaillierte Beschreibung dem Fachmann eine nützliche Anleitung zur Umsetzung der beispielhaften Ausführungsform bzw. beispielhaften Ausführungsformen an die Hand geben. Es wird davon ausgegangen, dass verschiedene Änderungen hinsichtlich Funktion und Anordnung der Elemente vorgenommen werden können, ohne den Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und den rechtlichen Äquivalenten davon definiert ist, zu verlassen.
  • Weitere Ausführungsformen
    • 1. Verfahren zum Erkennen, ob ein Fahrer eines Fahrzeuges ein Objekt außerhalb des Fahrzeuges erkannt hat, wobei das Verfahren umfasst: Empfangen von externen Sensordaten, welche eine Szene außerhalb des Fahrzeuges wiedergeben; Empfangen von internen Sensordaten, welche ein Bild des Fahrers anzeigen; Bestimmen, ob der Fahrer das Objekt auf Basis der externen und der internen Sensordaten erkannt hat; und wahlweises Erzeugen eines Steuersignales, und zwar basierend darauf, ob der Fahrer das Objekt erkannt hat.
    • 2. Verfahren nach Ausführungsform 1, weiterhin umfassend ein Abbilden der externen Sensordaten auf Koordinaten eines Head-Up-Displays, und wobei das Bestimmen, ob der Fahrer das Objekt erkannt hat, auf dem Abbilden basiert.
    • 3. Verfahren nach Ausführungsform 2, weiterhin umfassend ein Bestimmen, wo sich das Objekt außerhalb des Fahrzeuges befindet, und zwar auf Basis der externen Sensordaten, und wobei das Abbilden der externen Sensordaten auf dem Bestimmen basiert, wo sich das Objekt befindet.
    • 4. Verfahren nach Ausführungsform 1, weiterhin umfassend ein Abbilden der internen Sensordaten auf Koordinaten eines Head-Up-Displays, und wobei das Bestimmen, ob der Fahrer das Objekt erkannt hat, auf der Abbildung basiert.
    • 5. Verfahren nach Ausführungsform 1, weiterhin umfassend ein Bestimmen eines Blickfeldes des Fahrers auf Basis der internen Sensordaten, und wobei das Abbilden der internen Sensordaten auf dem Blickfeld des Fahrers basiert ist.
    • 6. Verfahren nach Ausführungsform 1, weiterhin umfassend: Abbilden der externen Sensordaten auf Koordinaten eines Head-Up-Displays; Abbilden der internen Sensordaten auf die Koordinaten des Head-Up-Displays; und wobei das Bestimmen, ob der Fahrer das Objekt erkannt hat, auf einem Vergleich des Abbildens der externen Sensordaten und des Abbildens der internen Sensordaten basiert.
    • 7. Verfahren nach Ausführungsform 1, wobei das Steuersignal ein Bild auf einem Head-Up-Display steuert.
    • 8. Verfahren nach Ausführungsform 7, wobei das Steuersignal ein besonderes Merkmal eines Bildes auf dem Head-Up-Display steuert.
    • 9. Verfahren nach Ausführungsform 8, wobei das wahlweises Erzeugen des Steuersignales weiterhin auf einem Gefahrenzustand des Objektes basiert.
    • 10. Verfahren nach Ausführungsform 9, wobei das Steuersignal wenigstens eine Farbe und/oder eine Frequenz des besonderen Merkmals auf Basis des Gefahrenzustands steuert.
    • 11. Verfahren nach Ausführungsform 1, wobei das Steuersignal ein Fahrzeugwarnsystem steuert.
    • 12. Verfahren nach Ausführungsform 1, wobei das Steuersignal ein Kollisionsvermeidungssystem steuert.
    • 13. Verfahren nach Ausführungsform 1, weiterhin umfassend ein wahlweises Erzeugen eines zweiten Steuersignales auf Basis der Bestimmung, ob der Fahrer das Objekt erkannt hat, wobei das zweite Steuersignal wenigstens ein Fahrzeugwarnsystem und/oder ein Kollisionsvermeidungssystem steuert.
    • 14. System zum Erkennen, ob ein Fahrer eines Fahrzeuges ein Objekt außerhalb des Fahrzeuges erkannt hat, wobei das System umfasst: ein erstes Modul, welches externe Sensordaten empfängt, welche eine Szene außerhalb des Fahrzeuges wiedergeben; ein zweites Modul, welches interne Sensordaten empfängt, welche ein Bild des Fahrers wiedergeben; ein drittes Modul, welches bestimmt, ob der Fahrer das Objekt auf Basis der externen Sensordaten und der internen Sensordaten erkannt hat; und ein viertes Modul, welches wahlweise ein Steuersignal erzeugt, und zwar basierend darauf, ob der Fahrer das Objekt erkannt hat.
    • 15. System nach Ausführungsform 14, wobei das erste Modul die externen Sensordaten auf Koordinaten eines Head-Up-Displays abbildet, und bestimmt, ob der Fahrer auf Basis der Abbildung das Objekt erkannt hat.
    • 16. System nach Ausführungsform 15, wobei das erste Modul bestimmt, wo sich auf Basis der externen Sensordaten das Objekt außerhalb des Fahrzeuges befindet und bildet die externen Sensordaten auf Basis darauf ab, wo sich das Objekt befindet.
    • 17. System nach Ausführungsform 14, wobei das zweite Modul die internen Sensordaten auf Koordinaten eines Head-Up-Displays abbildet, und bestimmt, ob der Fahrer auf Basis der Abbildung das Objekt erkannt hat.
    • 18. System nach Ausführungsform 17, wobei das zweite Modul ein Blickfeld des Fahrers auf Basis der internen Sensordaten bestimmt, und die internen Sensordaten auf Basis des Blickfeldes des Fahrers abbildet.
    • 19. System nach Ausführungsform 14, wobei das Steuersignal wenigstens eine Darstellung auf einem Head-Up-Display, einem Fahrzeugwarnsystem und/oder einem Kollisionsvermeidungssystem steuert.
    • 20. System nach Ausführungsform 19, wobei das Steuersignal ein auffälliges Merkmal einer Darstellung auf dem Head-Up-Display steuert.
    • 21. System nach Ausführungsform 19, wobei das vierte Modul wahlweise das Steuersignal auf Basis eines von dem Objekt ausgehenden Gefahrenzustands das Steuersignal erzeugt.
    • 22. System nach Ausführungsform 21, wobei das Steuersignal wenigstens eine Farbe und/oder eine Frequenz der Darstellung auf Basis des Gefahrenzustands steuert.
    • 23. Fahrzeug, umfassend: ein Head-Up-Display-System; und ein Head-Up-Display-Steuermodul, welches externe Sensordaten empfängt, welche eine Szene außerhalb des Fahrzeuges wiedergeben, wobei das Modul interne Sensordaten empfängt, welche ein Bild eines Fahrers des Fahrzeuges wiedergeben, wobei das Bild feststellt, ob der Fahrer das Objekt auf Basis der externen und der internen Sensordaten erkannt hat, und wobei das Modul basierend darauf, ob der Fahrer das Objekt erkannt hat, wahlweise ein Steuersignal für das Head-Up-Display-System erzeugt.

Claims (10)

  1. Verfahren zum Erkennen, ob ein Fahrer eines Fahrzeuges ein Objekt außerhalb des Fahrzeuges erkannt hat, wobei das Verfahren umfasst: Empfangen von externen Sensordaten, welche eine Szene außerhalb des Fahrzeuges wiedergeben; Empfangen von internen Sensordaten, welche ein Bild des Fahrers anzeigen; Bestimmen, ob der Fahrer das Objekt auf Basis der externen und der internen Sensordaten erkannt hat; und wahlweises Erzeugen eines Steuersignales, und zwar basierend darauf, ob der Fahrer das Objekt erkannt hat.
  2. Verfahren nach Anspruch 1, weiterhin umfassend ein Abbilden der externen Sensordaten und/oder der internen Sensordaten auf Koordinaten eines Head-Up-Displays, und wobei das Bestimmen, ob der Fahrer das Objekt erkannt hat, auf dem Abbilden basiert.
  3. Verfahren nach Anspruch 2, weiterhin umfassend ein Bestimmen, wo sich das Objekt außerhalb des Fahrzeuges befindet, und zwar auf Basis der externen Sensordaten, und wobei das Abbilden der externen Sensordaten auf dem Bestimmen basiert, wo sich das Objekt befindet.
  4. Verfahren nach Anspruch 2 oder 3, weiterhin umfassend ein Bestimmen eines Blickfeldes des Fahrers auf Basis der internen Sensordaten, und wobei das Abbilden der internen Sensordaten auf dem Blickfeld des Fahrers basiert ist.
  5. Verfahren nach einem der vorangehenden Ansprüche, weiterhin umfassend: Abbilden der externen Sensordaten auf Koordinaten eines Head-Up-Displays; Abbilden der internen Sensordaten auf die Koordinaten des Head-Up-Displays; und wobei das Bestimmen, ob der Fahrer das Objekt erkannt hat, auf einem Vergleich des Abbildens der externen Sensordaten und des Abbildens der internen Sensordaten basiert.
  6. Verfahren nach Anspruch 1, wobei das Steuersignal ein Bild auf einem Head-Up-Display und/oder ein besonderes Merkmal eines Bildes auf dem Head-Up-Display steuert.
  7. Verfahren nach einem der vorangehenden Ansprüche, wobei das wahlweises Erzeugen des Steuersignales weiterhin auf einem Gefahrenzustand des Objektes basiert.
  8. Verfahren nach Anspruch 7, wobei das Steuersignal wenigstens eine Farbe und/oder eine Frequenz des besonderen Merkmals auf Basis des Gefahrenzustands steuert.
  9. Verfahren nach einem der vorangehenden Ansprüche, wobei das Steuersignal ein Fahrzeugwarnsystem und/oder ein Kollisionsvermeidungssystem steuert.
  10. System zum Erkennen, ob ein Fahrer eines Fahrzeuges ein Objekt außerhalb des Fahrzeuges erkannt hat, insbesondere zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9, wobei das System umfasst: ein erstes Modul, welches externe Sensordaten empfängt, welche eine Szene außerhalb des Fahrzeuges wiedergeben; ein zweites Modul, welches interne Sensordaten empfängt, welche ein Bild des Fahrers wiedergeben; ein drittes Modul, welches bestimmt, ob der Fahrer das Objekt auf Basis der externen Sensordaten und der internen Sensordaten erkannt hat; und ein viertes Modul, welches wahlweise ein Steuersignal erzeugt, und zwar basierend darauf, ob der Fahrer das Objekt erkannt hat.
DE102013217405.5A 2012-09-07 2013-09-02 Verfahren und Systeme zur Überwachung einer Objekterkennung durch einen Fahrer Withdrawn DE102013217405A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/607,232 US20140070934A1 (en) 2012-09-07 2012-09-07 Methods and systems for monitoring driver object detection
US13/607,232 2012-09-07

Publications (1)

Publication Number Publication Date
DE102013217405A1 true DE102013217405A1 (de) 2014-03-13

Family

ID=50153518

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013217405.5A Withdrawn DE102013217405A1 (de) 2012-09-07 2013-09-02 Verfahren und Systeme zur Überwachung einer Objekterkennung durch einen Fahrer

Country Status (3)

Country Link
US (1) US20140070934A1 (de)
CN (1) CN103661374A (de)
DE (1) DE102013217405A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014214701A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung der Informationsdarstellung auf einer Anzeigeeinrichtung in einem Fahrzeug
DE102017214505A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
DE102019208663A1 (de) * 2019-06-14 2020-12-17 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
EP3152704A2 (de) * 2014-06-03 2017-04-12 Mobileye Vision Technologies Ltd. Systeme und verfahren zur ortung eines objekts
US9626866B2 (en) * 2014-08-12 2017-04-18 Continental Automotive Systems, Inc. Active warning system using the detection of driver awareness of traffic signs
US20160140760A1 (en) * 2014-11-13 2016-05-19 Upton Beall Bowden Adapting a display on a transparent electronic display
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
KR101713740B1 (ko) * 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
US9168869B1 (en) * 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
US10189405B2 (en) * 2015-01-14 2019-01-29 Yazaki North America, Inc. Vehicular multi-purpose warning head-up display
GB2535544B (en) 2015-02-23 2018-10-03 Jaguar Land Rover Ltd Display control apparatus and method
DE102015004914A1 (de) * 2015-04-17 2016-10-20 Daimler Ag Verfahren und Vorrichtung zum Überwachen eines Anzeigeninhalts
US9845097B2 (en) * 2015-08-12 2017-12-19 Ford Global Technologies, Llc Driver attention evaluation
US10821987B2 (en) * 2016-07-20 2020-11-03 Ford Global Technologies, Llc Vehicle interior and exterior monitoring
EP3299241B1 (de) * 2016-09-26 2021-11-10 Volvo Car Corporation Verfahren, system und fahrzeug für den einsatz einer objektanzeigevorrichtung in einem fahrzeug
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
CN106773875A (zh) * 2017-01-23 2017-05-31 上海蔚来汽车有限公司 用户场景调节方法及***
DE102017116702A1 (de) * 2017-07-24 2019-01-24 SMR Patents S.à.r.l. Verfahren zum Bereitstellen einer Anzeige in einem Kraftfahrzeug, sowie Kraftfahrzeug
US11544868B2 (en) 2017-11-21 2023-01-03 Ford Global Technologies, Llc Object location coordinate determination
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
JP6834997B2 (ja) * 2018-01-25 2021-02-24 日本電気株式会社 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム
CN113246858B (zh) * 2019-02-27 2023-05-19 百度在线网络技术（北京）有限公司 车辆行驶状态图像生成方法、设备和***
US10607132B1 (en) * 2019-03-21 2020-03-31 Amazon Technologies, Inc. Techniques for managing device interactions in a workspace
US20220363196A1 (en) * 2019-10-03 2022-11-17 Stoneridge Electronics A.B. Vehicle display system with wearable display
US11793434B1 (en) * 2022-05-18 2023-10-24 GM Global Technology Operations LLC System to perform visual recognition and vehicle adaptation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5907416A (en) * 1997-01-27 1999-05-25 Raytheon Company Wide FOV simulator heads-up display with selective holographic reflector combined
US6906836B2 (en) * 2002-10-04 2005-06-14 William Parker Full color holographic image combiner system
US7271960B2 (en) * 2005-07-25 2007-09-18 Stewart Robert J Universal vehicle head up display (HUD) device and method for using the same
EP2216764A4 (de) * 2007-12-05 2012-07-25 Bosch Corp Fahrzeuginformationsanzeigeanordnung
US8700332B2 (en) * 2008-11-10 2014-04-15 Volkswagen Ag Operating device for a motor vehicle
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
BR112012012635A2 (pt) * 2009-12-18 2016-07-12 Honda Motor Co Ltd sistema e método para fornecer alerta de aviso de acidente em veículo
DE102010031672A1 (de) * 2010-07-22 2012-01-26 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014214701A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Beeinflussung der Informationsdarstellung auf einer Anzeigeeinrichtung in einem Fahrzeug
DE102017214505A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017214545A1 (de) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung einer Wahrscheinlichkeit, mit der sich ein Objekt in einem Sichtfeld eines Fahrers eines Fahrzeugs befindet
US11551460B2 (en) 2017-08-21 2023-01-10 Bayerische Motoren Werke Aktiengesellschaft Method for operating an assistance system for a vehicle and assistance system
US11935262B2 (en) 2017-08-21 2024-03-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining a probability with which an object will be located in a field of view of a driver of a vehicle
DE102019208663A1 (de) * 2019-06-14 2020-12-17 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102019208663B4 (de) * 2019-06-14 2021-01-14 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
US11130502B2 (en) 2019-06-14 2021-09-28 Audi Ag Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle

Also Published As

Publication number Publication date
US20140070934A1 (en) 2014-03-13
CN103661374A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
DE102013217405A1 (de) Verfahren und Systeme zur Überwachung einer Objekterkennung durch einen Fahrer
US9139133B2 (en) Vehicle collision warning system and method
DE102017119556A1 (de) Warnung über die wiederaufnahme eines angehaltenen fahrzeugs in den verkehr
DE102017124371A1 (de) Fahrzeugkollisionswarnungen basierend auf einer zeit bis zur kollision
DE102015117381A1 (de) Systeme und Verfahren zum Anpassen von Merkmalen in einer Head-Up-Anzeige
DE102013211506A1 (de) Warnsysteme und -verfahren für ein Fahrzeug
DE102013211132A1 (de) Warnsysteme und -verfahren für ein Fahrzeug
DE112018008107B4 (de) Informationsdarstellungssteuerungseinrichtung, informationsdarstellungseinrichtung, informationsdarstellungssteuerungsverfahren, programm und aufzeichnungsmedium
DE102013211444A1 (de) Warnsysteme und -verfahren für ein Fahrzeug
DE102011121763B4 (de) Verfahren zur Darstellung einer Abstandsinformation auf einer Anzeigevorrichtung eines Fahrzeugs und Anzeigevorrichtung
DE102021114620A1 (de) Präsentation von dynamischer bedrohungsinformation basierend auf bedrohungs- und trajektorienvorhersage
DE102013211474A1 (de) Warnsysteme und Warnverfahren für ein Fahrzeug
DE102018127008A1 (de) Aussengeräuschüberwachung für rückfahrhilfe in einem fahrzeug mittels beschleunigungsmesser
DE102013211025A1 (de) Warnsysteme und Warnverfahren für ein Fahrzeug
WO2014032886A1 (de) Multisensuelle aufmerksamkeitslenkung
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE102020212226A1 (de) Fusion von Automobilsensoren
DE102013210964A1 (de) Warnsysteme und Warnverfahren für ein Fahrzeug
DE102015119556A1 (de) Anpassen einer anzeige auf einer transparenten elektronischen anzeige
DE112020006351T5 (de) Anzeigesteuervorrichtung, Anzeigesystem und Anzeigesteuerverfahren
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102018117548A1 (de) Sicherheitsabbildung für zurücksetzen eines fahrzeugs
DE102017220268A1 (de) Erkennung und Visualisierung von Systemunsicherheit bei der Darstellung augmentierter Bildinhalte in Head-Up-Displays
DE102021122072A1 (de) Fahrzeugeigene anzeigevorrichtung, fahrzeugeigenes anzeigeverfahren und computerlesbares speichermedium

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee