DE102019108772A1 - Alarmvorrichtung - Google Patents

Alarmvorrichtung Download PDF

Info

Publication number
DE102019108772A1
DE102019108772A1 DE102019108772.4A DE102019108772A DE102019108772A1 DE 102019108772 A1 DE102019108772 A1 DE 102019108772A1 DE 102019108772 A DE102019108772 A DE 102019108772A DE 102019108772 A1 DE102019108772 A1 DE 102019108772A1
Authority
DE
Germany
Prior art keywords
driver
visual attention
vehicle
target
alarm device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019108772.4A
Other languages
English (en)
Inventor
Kosuke TSUKAO
Hironobu TSUKAZAKI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of DE102019108772A1 publication Critical patent/DE102019108772A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

Eine Alarmvorrichtung (1) weist auf: Ein Stammfahrzeuginformationsbezugseinheit (10); eine Bezugseinheit für externe Fahrzeuginformationen (11); eine visuelle Aufmerksamkeitszielberechnungseinheit (12), die ein Ziel berechnet, das einer Aufmerksamkeit eines Fahrers bedarf, basierend auf den Stammfahrzeuginformationen und den externen Fahrzeuginformationen; eine Sichtlinieninformationsbezugseinheit (13), die Sichtlinieninformationen über den Fahrer bezieht; eine Augapfelpositionsinformationsbezugseinheit (14), die Augapfelpositionsinformationen über den Fahrer bezieht; eine visuelle Aufmerksamkeitspunktberechnungseinheit (15), die einen Punkt berechnet, dem der Fahrer Aufmerksamkeit schenkt, basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen; eine Bestimmungseinheit (16), die bestimmt, ob der Fahrer dem Ziel Aufmerksamkeit schenkt, basierend auf dem Ziel und dem Punkt; und eine Benachrichtigungseinheit (17), die den Fahrer über ein Bestimmungsergebnis benachrichtigt, wenn bestimmt wird, dass der Fahrer dem Ziel keine Aufmerksamkeit schenkt.

Description

  • TECHNISCHES GEBIET
  • Diese Offenbarung betrifft eine Alarmvorrichtung, die einen Alarm in Übereinstimmung mit einem visuellen Aufmerksamkeitsstatus eines Fahrers ausgibt, wenn der Fahrer ein Fahrzeug fährt.
  • STAND DER TECHNIK
  • Unter dem Gesichtspunkt der Unfallverhütung oder des reibungslosen Fahrens, wenn ein Fahrer ein Fahrzeug fährt, ist es wünschenswert, dass der Fahrer einen Zustand um das Fahrzeug herum ausreichend erkennt. Daher wurden Techniken zum Benachrichtigen des Fahrers über den Status als Reaktion auf eine Sichtlinie des Fahrers untersucht (zum Beispiel Referenz 1 ( JP 2007-94618A )).
  • Eine Benachrichtigungssteuerungsvorrichtung, die in Referenz 1 offenbart ist, umfasst Identifizierungsmittel zum Identifizieren eines Bestätigungsbedarfsziels, das ein Ziel ist, das einer Bestätigung eines Benutzers bedarf, Richtungserfassungsmittel zum Erfassen eines Gesichts des Benutzers oder eine Sichtlinienausrichtung des Benutzers, Bestätigungserfassungsmittel zum Erfassen, ob der Benutzer das Bestätigungsbedarfsziel bestätigt oder nicht, basierend auf dem erfassten Gesicht oder der erfassten Sichtlinienausrichtung; und Benachrichtigungssteuerungsmittel zum Steuern der Benachrichtigung an den Benutzer, um den Benutzer über einen Status zu benachrichtigen, in dem der Benutzer das Bestätigungsbedarfsziel bestätigen muss, in einem Fall, in dem nicht erfasst wird, dass der Benutzer das Bestätigungsbedarfsziel bestätigt, und um die Benachrichtigung über den Status einzuschränken, in dem der Benutzer das Bestätigungsbedarfsziel bestätigen muss, in einem Fall, in dem erfasst wird, dass der Benutzer das Bestätigungsbedarfsziel bestätigt.
  • Gemäß der in Referenz 1 offenbarten Technik wird die Ausrichtung des Gesichts oder die Sichtlinienausrichtung des Benutzers (Fahrers) durch Verwendung eines Bildes erfasst, das von einer monokularen eindimensionalen Kamera wie einer CCD-Kamera aufgenommen wurde. Wenn zum Beispiel ein Lehrerbild für jede einzelne Person eingegeben wird und es keine Einstellung für jede einzelne Person gibt, kann ein visueller Aufmerksamkeitspunkt, der dreidimensionale Informationen enthält, nicht berechnet werden, und die Erfassungsgenauigkeit wird schlecht. Daher ist es nicht möglich, den Fahrer in Reaktion auf einen visuellen Aufmerksamkeitsstatus des Fahrers ordnungsgemäß über ein Erfassungsergebnis zu benachrichtigen.
  • Somit besteht ein Bedarf für eine Alarmvorrichtung, die den Fahrer über das Erfassungsergebnis in Reaktion auf den visuellen Aufmerksamkeitsstatus des Fahrers benachrichtigen kann.
  • ZUSAMMENFASSUNG
  • Ein Merkmal einer Alarmvorrichtung gemäß einem Aspekt dieser Offenbarung besteht darin, dass die Alarmvorrichtung umfasst: eine Stammfahrzeuginformationsbezugseinheit, die Stammfahrzeuginformationen bezieht, die einen Zustand eines Stammfahrzeugs angeben, eine Bezugseinheit für externe Fahrzeuginformationen, die externe Fahrzeuginformationen bezieht, die einen externen Fahrzeugstatus des Stammfahrzeugs angeben, eine visuelle Aufmerksamkeitszielberechnungseinheit, die ein visuelles Aufmerksamkeitsbedarfsziel berechnet, das einer visuellen Aufmerksamkeit eines Fahrers des Stammfahrzeugs bedarf, basierend auf den Stammfahrzeuginformationen und den externen Fahrzeuginformationen, eine Sichtlinieninformationsbezugseinheit, die Sichtlinieninformationen bezieht, die eine Sichtlinienrichtung des Fahrers angeben, eine Augapfelpositionsinformationsbezugseinheit, die Augapfelpositionsinformationen bezieht, die eine Augapfelposition des Fahrers auf einer dreidimensionalen Koordinate angeben, eine visuelle Aufmerksamkeitspunktberechnungseinheit, die einen visuellen Aufmerksamkeitspunkt berechnet, dem der Fahrer visuell Aufmerksamkeit schenkt, basierend auf den Sichtlinieninformationen und der Augapfelpositionsinformationen, eine Bestimmungseinheit, die bestimmt, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt oder nicht, basierend auf dem visuellen Aufmerksamkeitsbedarfsziel und dem visuellen Aufmerksamkeitspunkt; und, eine Benachrichtigungseinheit, die den Fahrer über ein Bestimmungsergebnis in einem Fall benachrichtigt, in dem bestimmt wird, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt.
  • Gemäß dieser Konfiguration wird der visuelle Aufmerksamkeitspunkt des Fahrers auf der dreidimensionalen Koordinate berechnet. Dementsprechend ist es zum Beispiel selbst in einem Fall, in dem sich eine Kopfposition des Fahrers bewegt, möglich, genau zu bestimmen, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt oder nicht. Daher ist es möglich, den Fahrer in Reaktion auf einen visuellen Aufmerksamkeitsstatus des Fahrers ordnungsgemäß über ein Erfassungsergebnis zu benachrichtigen.
  • In der Alarmvorrichtung wird bevorzugt, dass die visuelle Aufmerksamkeitspunktberechnungseinheit den visuellen Aufmerksamkeitspunkt außerhalb des Stammfahrzeugs berechnet.
  • Gemäß dieser Konfiguration ist es selbst in einem Fall, in dem das visuelle Aufmerksamkeitsbedarfsziel außerhalb des Fahrzeugs vorhanden ist, möglich, genau zu bestimmen, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel Aufmerksamkeit schenkt oder nicht. Daher ist es möglich, den Fahrer in Reaktion auf den externen Fahrzeugstatus ordnungsgemäß über das Erfassungsergebnis zu benachrichtigen.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Bestimmungseinheit einen visuellen Aufmerksamkeitsbereich auf einer virtuellen Ebene festlegt, der das visuelle Aufmerksamkeitsbedarfsziel außerhalb des Stammfahrzeugs enthält, und bestimmt, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit in einem Fall schenkt, in dem der visuelle Aufmerksamkeitspunkt in dem visuellen Aufmerksamkeitsbereich enthalten ist
  • Gemäß dieser Konfiguration ist es möglich, mühelos zu bestimmen, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel außerhalb des Stammfahrzeugs visuelle Aufmerksamkeit schenkt oder nicht. Daher ist es möglich, den Benutzer in Reaktion auf den visuellen Aufmerksamkeitsstatus des Fahrers ordnungsgemäß über das Erfassungsergebnis zu benachrichtigen.
  • In der Alarmvorrichtung ist es bevorzugt, dass in einem Fall, in dem angenommen wird, dass das Stammfahrzeug basierend auf den Stammfahrzeuginformationen gleichmäßig auf einer Straße fährt, die visuelle Aufmerksamkeitszielberechnungseinheit eine Ampel oder ein Verkehrszeichen als das visuelle Aufmerksamkeitsbedarfsziel berechnet, das der visuellen Aufmerksamkeit des Fahrers bedarf.
  • In der Alarmvorrichtung ist es bevorzugt, dass in einem Fall, in dem das Stammfahrzeug zu fahren beginnt, wenn die Ampel von einem roten Licht zu einem grünen Licht geändert wird, die visuelle Aufmerksamkeitszielberechnungseinheit zumindest eine Person, die das Stammfahrzeug rundum passiert, ein Fahrrad, welches das Stammfahrzeug rundum passiert, und das andere Fahrzeug, welches das Stammfahrzeug rundum passiert, als das Aufmerksamkeitsbedarfsziel berechnet.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Benachrichtigungseinheit den Fahrer benachrichtigt, dass der Fahrer dem Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Benachrichtigungseinheit den Fahrer benachrichtigt, um den Fahrer aufzufordern, dem visuellen Aufmerksamkeitsbedarfsziel visuell Aufmerksamkeit zu schenken.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Benachrichtigungseinheit den Fahrer über Informationen benachrichtigt, die angeben, welches das visuelle Aufmerksamkeitsbedarfsziel ist.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Benachrichtigungseinheit einen Alarm ausgibt, wenn das Fahrzeug beginnt, sich vorwärts zu bewegen, in einem Fall, in dem das Bestimmungsergebnis angibt, dass sich der visuelle Aufmerksamkeitspunkt des Fahrers sich nicht vor dem Stammfahrzeug befindet.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Benachrichtigungseinheit eine Vorwärtsbewegung des Stammfahrzeugs stoppt.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Bestimmungseinheit bestimmt, ob der visuelle Aufmerksamkeitspunkt des Fahrers auf dem visuellen Aufmerksamkeitsbedarfsziel liegt oder nicht, das sich vor dem Stammfahrzeug befindet, und in einem Fall, in dem das Bestimmungsergebnis angibt, dass der visuelle Aufmerksamkeitspunkt des Fahrers nicht auf dem Aufmerksamkeitsbedarfsziel liegt, das sich vor dem Stammfahrzeug befindet, die Benachrichtigungseinheit den Fahrer über eine Anleitung benachrichtigt, die bewirkt, dass die Sichtlinienrichtung des Fahrers von einer aktuellen Richtung zu einer Richtung des Aufmerksamkeitsbedarfsziel zu ändern ist, das sich vor dem Stammfahrzeug befindet.
  • In der Alarmvorrichtung ist es bevorzugt, dass die Benachrichtigungseinheit einen Pfeil anzeigt, um die Sichtlinie des Fahrers zu leiten.
  • In der Alarmvorrichtung ist es bevorzugt, dass in einem Fall, in dem der Fahrer wissen möchte, was ein Ziel ist, das sich in einem visuellen Aufmerksamkeitsbestimmungsort des Fahrers befindet, die Benachrichtigungseinheit den Fahrer über Informationen in Bezug auf das Ziel benachrichtigt, das sich in dem visuellen Aufmerksamkeitsbestimmungsort befindet.
  • Figurenliste
  • Die vorstehenden und zusätzlichen Merkmale und Eigenschaften dieser Offenbarung werden aus der folgenden detaillierten Beschreibung in Bezug auf die zugehörigen Zeichnungen klarer. In den Zeichnungen:
    • 1 ist ein Blockdiagramm, das eine Konfiguration einer Alarmvorrichtung darstellt;
    • 2 stellt einen visuellen Aufmerksamkeitsbereich dar; und
    • 3 ist ein Ablaufdiagramm, das einen Prozess der Alarmvorrichtung darstellt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Eine Alarmvorrichtung gemäß einem hier offenbarten Ausführungsbeispiel ist konfiguriert, um einen Fahrer in Reaktion auf einen visuellen Aufmerksamkeitsstatus des Fahrers ordnungsgemäß über ein Erfassungsergebnis zu benachrichtigen. Nachfolgend wird eine Alarmvorrichtung 1 gemäß dem vorliegenden Ausführungsbeispiel beschrieben.
  • Konfiguration der Alarmvorrichtung
  • 1 ist ein Blockdiagramm, das schematisch eine Konfiguration der Alarmvorrichtung 1 darstellt. Wie in 1 dargestellt, umfasst die Alarmvorrichtung 1 jeweilige Funktionseinheiten, wie zum Beispiel eine Stammfahrzeuginformationsbezugseinheit 10, eine Bezugseinheit für externe Fahrzeuginformationen 11, eine visuelle Aufmerksamkeitszielberechnungseinheit 12, eine Sichtlinieninformationsbezugseinheit 13, eine Augapfelpositionsinformationsbezugseinheit 14, eine visuelle Aufmerksamkeitspunktberechnungseinheit 15, eine Bestimmungseinheit 16 und eine Benachrichtigungseinheit 17. Um einen Prozess bezüglich der Benachrichtigung an den Fahrer durchzuführen, sind die jeweiligen Funktionseinheiten so aufgebaut, dass eine CPU Hardware, Software oder beides als Kernelement verwendet.
  • Die Stammfahrzeuginformationsbezugseinheit 10 bezieht Stammfahrzeuginformationen, die einen Zustand eines Stammfahrzeugs angeben. Die Stammfahrzeuginformationen geben einen Zustand eines Fahrzeugs an, während das Fahrzeug fährt. Insbesondere umfassen die Stammfahrzeuginformationen Fahrtrichtungsinformationen, die eine Fahrtrichtung (Bewegungsrichtung) des Fahrzeugs angeben, Positionsinformationen, die eine Position des Fahrzeugs angeben, Bremsinformationen, die einen Betriebszustand einer Bremse des Fahrzeugs angeben, und Schaltinformationen, die eine Position des Schalthebels des Fahrzeugs angeben.
  • Die Fahrtrichtungsinformationen oder die Positionsinformationen können basierend auf einem empfangenen Signal durch Empfangen eines Signals eines globalen Positionsbestimmungssystems (GPS) oder eines Signals eines globalen Navigationssatellitensystems (GNSS) bezogen werden. Die Bremsinformationen können basierend auf einem Erfassungsergebnis eines Bremssensors bezogen werden, der in dem Fahrzeug enthalten ist. Die Schaltinformationen können basierend auf einem Erfassungsergebnis eines Schaltsensors bezogen werden, der in dem Fahrzeug enthalten ist.
  • Die Stammfahrzeuginformationsbezugseinheit 10 bezieht die Fahrtrichtungsinformationen, die Positionsinformationen, die Bremsinformationen und die Schaltinformationen. Jede Information wird an die visuelle Aufmerksamkeitszielberechnungseinheit 12 (später beschrieben) als die Stammfahrzeuginformationen übertragen.
  • Die Bezugseinheit für externe Fahrzeuginformationen 11 bezieht externe Fahrzeuginformationen, die einen externen Fahrzeugstatus eines Stammfahrzeugs angeben. Zum Beispiel sind der externe Fahrzeugstatus des Stammfahrzeug Karteninformationen, die eine Umgebungskarte angeben, einschließlich eines Ortes, an dem das Fahrzeug fährt, Objektinformationen, die angeben, ob ein Objekt um das Fahrzeug herum existiert, und Informationen über das Verkehrsaufkommen, die ein Verkehrsaufkommen angeben, während das Fahrzeug fährt. Die Karteninformationen können basierend auf einer Karte, die in einem im Fahrzeug enthaltenen Autonavigationssystem verwendet wird, bezogen werden. Die Objektinformationen können basierend auf einem Bezugsergebnis eines Umgebungsüberwachungssensors bezogen werden, der in dem Fahrzeug enthalten ist. Die Informationen über das Verkehrsaufkommen können basierend auf Fahrzeuginformationen und Kommunikationssysteminformationen (communication system; VICS) (eingetragene Marke) für ein Autonavigationssystem verwendet werden, das in dem Fahrzeug enthalten ist.
  • Die Bezugseinheit für externe Fahrzeuginformationen 11 bezieht die Karteninformationen, die Objektinformationen und die Informationen über das Verkehrsaufkommen. Jede Information wird an die visuelle Aufmerksamkeitszielberechnungseinheit 12 (später beschrieben) als externe Fahrzeuginformationen übertragen.
  • Die visuelle Aufmerksamkeitszielberechnungseinheit 12 berechnet ein visuelles Aufmerksamkeitsbedarfsziel, das der visuellen Aufmerksamkeit eines Fahrers des Stammfahrzeugs bedarf, basierend auf den Stammfahrzeuginformationen und den externen Fahrzeuginformationen. Die Stammfahrzeuginformationen werden von der Stammfahrzeuginformationsbezugseinheit 10 übertragen. Die externen Fahrzeuginformationen werden von der Bezugseinheit für externe Fahrzeuginformationen 11 übertragen. Das visuelle Aufmerksamkeitsbedarfsziel, das der visuellen Aufmerksamkeit des Fahrers des Stammfahrzeugs bedarf, ist ein Objekt, das zu bestätigen ist, während der Fahrer das Fahrzeug fährt, aus Objekten die um das Fahrzeug herum existieren. Insbesondere umfasst das visuelle Aufmerksamkeitsbedarfsziel eine Ampel, ein Verkehrszeichen und eine Person, ein Fahrrad oder andere Fahrzeuge, die das Stammfahrzeug rundum passieren.
  • Zum Beispiel berechnet in einem Fall, in dem angenommen wird, dass das Stammfahrzeug auf einer Straße gleichmäßig fährt, basierend auf den Karteninformationen und den VICS-Informationen, die visuelle Aufmerksamkeitszielberechnungseinheit 12 die Ampel oder das Verkehrszeichen als das visuelle Aufmerksamkeitsbedarfsziel. Zusätzlich wird in einem Fall, in dem das Fahrzeug aufgrund eines Rotlichtsignals angehalten wird, die Ampel oder ein dem Stammfahrzeug vorausfahrendes Fahrzeug als das visuelle Aufmerksamkeitsbedarfsziel berechnet. Zusätzlich werden in einem Fall, in dem das Stammfahrzeug zu fahren beginnt, wenn das rote Licht in ein grünes Licht geändert wird, die Person, das Fahrrad oder andere Fahrzeuge, die das Stammfahrzeug rundum passieren, als das visuelle Aufmerksamkeitsbedarfsziel berechnet. Selbstverständlich ist das visuelle Aufmerksamkeitsbedarfsziel ein Beispiel, und es werden verschiedene Ziele in Abhängigkeit von einem Fahrzustand des Stammfahrzeugs angenommen.
  • Informationen, die das visuelle Aufmerksamkeitsbedarfsziel angeben, das von der Aufmerksamkeitszielberechnungseinheit 12 berechnet wird, umfassen Informationen, die eine Position des Ziels angeben, und werden an die Bestimmungseinheit 16 (später beschrieben) übertragen.
  • Die Sichtlinieninformationsbezugseinheit 13 bezieht Sichtlinieninformationen, die eine Sichtlinienrichtung des Fahrers angeben. Eine Sichtlinie des Fahrers ist eine Sichtlinie des Fahrers des Stammfahrzeugs. Daher ist die Sichtlinienrichtung des Fahrers eine Sichtlinienorientierung des Fahrers des Stammfahrzeugs. Es ist bevorzugt, dass die Sichtlinienrichtung des Fahrers durch Verwendung eines aufgenommenen Bildes durch eine bekannte Bilderkennungsverarbeitung erfasst wird, bei der das aufgenommene Bild, das ein Gesicht des Fahrers enthält, zum Beispiel durch eine Kamera bezogen wird, die innerhalb des Stammfahrzeugs angeordnet ist. Selbstverständlich kann eine Konfiguration übernommen werden, um die Sichtlinienrichtung des Fahrers durch Verwendung anderer Verfahren zu erfassen. Die Informationen, welche die Sichtlinienrichtung des Fahrers angeben, werden von der Alarmvorrichtung 1 als Sichtlinieninformationen behandelt und an die visuelle Aufmerksamkeitspunktberechnungseinheit 15 (später beschrieben) übertragen.
  • Die Augapfelpositionsinformationsbezugseinheit 14 bezieht Augapfelpositionsinformationen, die eine Augapfelposition auf einer dreidimensionalen Koordinate des Fahrers angeben. Der „Fahrer“ bedeutet den Fahrer des Stammfahrzeugs. Die Augapfelposition auf der dreidimensionalen Koordinate ist nicht die Augapfelposition in einem X-Y-Koordinatensystem, sondern die Augapfelposition in einem X-Y-Z-Koordinatensystem. In einem Fall, in dem das Gesicht des Fahrers fokussiert wird, werden daher nicht nur eine Seitenrichtung und eine Längsrichtung des Gesichts, sondern auch eine Position in einer Tiefenrichtung berücksichtigt. Zum Beispiel kann die Augapfelposition auf der dreidimensionalen Koordinate basierend auf einem Erfassungsergebnis eines Entfernungsbildsensors bezogen werden, indem der Entfernungsbildsensor innerhalb des Stammfahrzeugs angeordnet ist. Selbstverständlich kann die Augapfelposition mit einer Stereokamera bezogen werden. Die Informationen, welche die Augapfelposition auf der dreidimensionalen Koordinate des Fahrers angeben, werden von der Alarmvorrichtung 1 als Augapfelpositionsinformationen behandelt und an die visuelle Aufmerksamkeitspunktberechnungseinheit 15 (später beschrieben) übertragen.
  • Basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen berechnet die visuelle Aufmerksamkeitspunktberechnungseinheit 15 einen visuellen Aufmerksamkeitspunkt, dem der Fahrer visuell Aufmerksamkeit schenkt. Die Sichtlinieninformationen werden von der Sichtlinieninformationsbezugseinheit 13 übertragen. Die Augapfelpositionsinformationen werden von der Augapfelpositionsinformationsbezugseinheit 14 übertragen. Der visuelle Aufmerksamkeitspunkt, dem der Fahrer visuell Aufmerksamkeit schenkt, bedeutet einen Punkt, dem der Fahrer des Stammfahrzeugs tatsächlich visuell Aufmerksamkeit schenkt.
  • Basierend auf der Sichtlinienrichtung, die durch die Sichtlinieninformationen und die Augapfelposition auf der dreidimensionalen Koordinate angegeben werden, berechnet die visuelle Aufmerksamkeitspunktberechnungseinheit 15 den Punkt, der sich in der Sichtlinienrichtung des Fahrers befindet und dem der Fahrer auf der dreidimensionalen Koordinate tatsächlich visuell Aufmerksamkeit schenkt. Der visuelle Aufmerksamkeitspunkt, der von der visuellen Aufmerksamkeitspunktberechnungseinheit 15 berechnet wird, wird an die Bestimmungseinheit 16 (später beschrieben) als Informationen übertragen, die den visuellen Aufmerksamkeitspunkt angeben.
  • Gemäß dem vorliegenden Ausführungsbeispiel berechnet die visuelle Aufmerksamkeitszielberechnungseinheit 12, wie zuvor beschrieben, als das visuelle Aufmerksamkeitsbedarfsziel, das der visuellen Aufmerksamkeit des Fahrers des Stammfahrzeugs bedarf, ein Bestätigungsbedarfsziel, während der Fahrer das Stammfahrzeug fährt, aus von Objekten rund um das Stammfahrzeug. Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 ist konfiguriert, um den visuellen Aufmerksamkeitspunkt außerhalb des Stammfahrzeugs zu berechnen.
  • Die Bestimmungseinheit 16 bestimmt basierend auf dem visuellen Aufmerksamkeitsbedarfsziel und des visuellen Aufmerksamkeitspunkts, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt oder nicht. Das visuelle Aufmerksamkeitsbedarfsziel wird durch die visuelle Aufmerksamkeitszielberechnungseinheit 12 berechnet und von der visuellen Aufmerksamkeitszielberechnungseinheit 12 als Informationen übertragen, die das visuelle Aufmerksamkeitsbedarfsziel angeben. Der visuelle Aufmerksamkeitspunkt wird durch die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet und von der visuellen Aufmerksamkeitspunktberechnungseinheit 15 als Informationen übertragen, die den visuellen Aufmerksamkeitspunkt angeben. Die Bestimmungseinheit 16 bestimmt, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt oder nicht, basierend darauf, ob das visuelle Aufmerksamkeitsbedarfsziel, das der visuellen Aufmerksamkeit des Fahrers bedarf, der visuelle Aufmerksamkeitspunkt ist oder nicht.
  • Die Bestimmungseinheit 16 kann einen visuellen Aufmerksamkeitsbereich auf einer virtuellen Ebene festlegen, der das visuelle Aufmerksamkeitsbedarfsziel außerhalb des Stammfahrzeugs enthält. In einem Fall, in dem der visuelle Aufmerksamkeitspunkt in dem visuellen Aufmerksamkeitsbereich enthalten ist, kann bestimmt werden, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt. Zum Beispiel kann, wie in 2 dargestellt, ein Fall in Betracht gezogen werden, in dem das Stammfahrzeug an der roten Ampel anhält und das andere Fahrzeug vor dem Stammfahrzeug anhält. Um das Verständnis zu erleichtern, wird dem Stammfahrzeug ein Bezugszeichen 2 und dem anderen Fahrzeug ein Bezugszeichen 3 gegeben. In diesem Fall entspricht das visuelle Aufmerksamkeitsbedarfsziel außerhalb des Stammfahrzeugs dem anderen Fahrzeug 3. Die Bestimmungseinheit 16 legt zuerst eine virtuelle Ebene 4 fest, die das Objekt (anderes Fahrzeug 3) enthält. Zu diesem Zeitpunkt setzt die Bestimmungseinheit 16 die virtuelle Ebene 4 so fest, um gleich weit von der Augapfelposition des Fahrers des Stammfahrzeugs in Bezug auf ein hinteren Endteil 5 des anderen Fahrzeugs 3 entfernt zu sein. Als nächstes legt die Bestimmungseinheit 16 einen visuellen Aufmerksamkeitsbereich 6 fest, der den hinteren Endteil 5 (zum Beispiel einen Stoßfänger) des anderen Fahrzeugs 3 in der virtuellen Ebene 4 enthält. In einem Fall, in dem der visuelle Aufmerksamkeitspunkt (in 2, dargestellt durch Verwendung eines Bezugszeichen 7) des Fahrers in dem visuellen Aufmerksamkeitsbereich 6 enthalten ist, wie durch eine Sichtlinienrichtung A dargestellt, bestimmt die Bestimmungseinheit 16, dass der Fahrer dem anderen Fahrzeug 3, das der visuellen Aufmerksamkeit des Fahrers bedarf, visuelle Aufmerksamkeit schenkt. Dagegen bestimmt in einem Fall, in dem der visuelle Aufmerksamkeitspunkt 7 des Fahrers nicht in dem visuellen Aufmerksamkeitsbereich 6 enthalten ist, wie durch eine Sichtlinienrichtung B dargestellt, die Bestimmungseinheit 16, dass der Fahrer dem anderen Fahrzeug 3, das der visuellen Aufmerksamkeit des Fahrers bedarf, keine visuelle Aufmerksamkeit schenkt.
  • Ein Fall, in dem das Aufmerksamkeitsbedarfsziel das andere Fahrzeug 3 ist, ist nur ein Beispiel. Selbst wenn das visuelle Aufmerksamkeitsbedarfsziel die Ampel oder ein Fußgänger ist, kann die Ampel oder der Fußgänger auf die gleiche Weise bestimmt werden. Ein Bestimmungsergebnis der Bestimmungseinheit 16 wird an die Benachrichtigungseinheit 17 (später beschrieben) übertragen.
  • In Rückbezug auf 1 benachrichtigt die Benachrichtigungseinheit 17 den Fahrer über das Bestimmungsergebnis, in einem Fall, in dem bestimmt wird, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt. Das Bestimmungsergebnis wird von der Bestimmungseinheit 16 an die Benachrichtigungseinheit 17 übertragen. In einem Fall, in dem das Bestimmungsergebnis angibt, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt, benachrichtigt die Benachrichtigungseinheit 17 den Fahrer über das Bestimmungsergebnis. Zum Beispiel kann die Benachrichtigung eine Benachrichtigung sein, die klar angibt, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt, oder kann eine Benachrichtigung sein, die den Fahrer auffordert, dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit zu schenken. In diesem Fall kann eine Konfiguration übernommen werden, so dass der Fahrer über das Bestimmungsergebnis genauso wie über Informationen benachrichtigt wird, die angeben, welches das visuelle Aufmerksamkeitsbedarfsziel ist. Zusätzlich kann die Benachrichtigungseinheit 17 konfiguriert sein, um den Fahrer frühzeitig über einen Alarm zu benachrichtigen, oder kann konfiguriert sein, um ein Benachrichtigungsverfahren zu ändern. In einem Fall, in dem das von der Bestimmungseinheit 16 übertragene Bestimmungsergebnis angibt, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel Aufmerksamkeit schenkt, kann die Benachrichtigungseinheit 17 den Fahrer gegebenenfalls nicht über das Bestimmungsergebnis benachrichtigen. Alternativ kann in einem Fall, in dem der Fahrer nach einer vorgegebenen Zeit über das Bestimmungsergebnis benachrichtigt wird, die Benachrichtigung beschränkt sein.
  • Prozess der Alarmvorrichtung
  • Als nächstes wird ein Prozess der Alarmvorrichtung 1 in Bezug auf ein Ablaufdiagramm in 3 beschrieben. Zuerst bezieht die Stammfahrzeuginformationsbezugseinheit 10 die Stammfahrzeuginformationen (Schritt #01). Zusätzlich bezieht die Bezugseinheit für externe Fahrzeuginformationen 11 die externen Fahrzeuginformationen (Schritt #02). Die visuelle Aufmerksamkeitszielberechnungseinheit 12 berechnet das visuelle Aufmerksamkeitsbedarfsziel (visuelles Aufmerksamkeitsziel) basierend auf den Stammfahrzeuginformationen und den externen Fahrzeuginformationen (Schritt #03).
  • Dagegen bezieht die Sichtlinieninformationsbezugseinheit 13 die Sichtlinieninformationen (Schritt #04). Zusätzlich bezieht die Augapfelpositionsinformationsbezugseinheit 14 die Augapfelpositionsinformationen (Schritt #05). Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet den visuellen Aufmerksamkeitspunkt basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen (Schritt #06).
  • Außerhalb des Prozesses in Schritt #01 bis Schritt #03 und des Prozesses in Schritt #04 bis Schritt #06, kann der Prozess in Schritt #04 bis Schritt #06 früher durchgeführt werden als der Prozess in Schritt #01 bis Schritt #03. Der Prozess in Schritt #01 bis Schritt #03 und der Prozess in Schritt #04 bis Schritt #06 können parallel zueinander durchgeführt werden.
  • Die Bestimmungseinheit 16 bestimmt basierend auf dem visuellen Aufmerksamkeitsziel und dem visuellen Aufmerksamkeitspunkt, ob der Fahrer dem visuellen Aufmerksamkeitsziel visuelle Aufmerksamkeit schenkt oder nicht. In einem Fall, in dem die Bestimmungseinheit 16 bestimmt, dass der Fahrer dem visuellen Aufmerksamkeitsziel visuelle Aufmerksamkeit schenkt (Schritt #07: Ja), beschränkt die Benachrichtigungseinheit 17 die Benachrichtigung (Schritt # 08). Dagegen gibt in einem Fall, in dem die Bestimmungseinheit 16 bestimmt, dass der Fahrer dem visuellen Aufmerksamkeitsziel keine visuelle Aufmerksamkeit schenkt (Schritt #07: Nein), die Benachrichtigungseinheit 17 die Benachrichtigung an den Fahrer (Schritt #09). Nach Schritt #08 und Schritt #09 ist eine Reihe von Prozessen abgeschlossen. Die Alarmvorrichtung 1 führt den Prozess gemäß diesem Ablauf durch.
  • Verwendungsmodus der Alarmvorrichtung
  • Als nächstes wird ein Verwendungsmodus der Alarmvorrichtung 1 beschrieben. Der folgende Verwendungsmodus ist nur ein Beispiel, und der Verwendungsmodus der Alarmvorrichtung 1 ist nicht auf das folgende Beispiel beschränkt.
  • Verwendungsmodus in Bezug auf die visuelle Aufmerksamkeit für den toten Winkel des Fahrzeugs
  • Das Fahrzeug hat einen Bereich (toten Winkel), den der Fahrer weniger wahrscheinlich visuell erkennt. Die Alarmvorrichtung 1 kann verwendet werden, um zu bestimmen, ob der Fahrer dem toten Winkel visuelle Aufmerksamkeit schenkt oder nicht, und um den Fahrer gemäß einem Bestimmungsergebnis über den toten Winkel zu benachrichtigen Hier wird ein Fall als Beispiel beschrieben, in dem das Stammfahrzeug durch Rechtsabbiegen in einen Parkplatz oder eine engen Gasse einfährt.
  • In diesem Fall bezieht die Stammfahrzeuginformationsbezugseinheit 10 Lenkwinkelinformationen, die einen Lenkwinkel des Stammfahrzeugs angeben, und Fahrzeuggeschwindigkeitsinformationen, die eine Fahrzeuggeschwindigkeit des Stammfahrzeugs angeben. Zusätzlich wird ein aufgenommenes Bild von der Bezugseinheit für externe Fahrzeuginformationen 11 bezogen, um einen toten Winkelbereich des Stammfahrzeugs abzubilden. Das aufgenommene Bild kann ein Ecksichtbild sein, das nur den toten Winkelbereich enthält, oder es kann ein Rundumsichtbild sein, das den toten Winkelbereich und dessen Umgebung enthält. Zusätzlich bezieht die Bezugseinheit für externe Fahrzeuginformationen 11 Objektinformationen, die angeben, ob ein Objekt um das Stammfahrzeug herum existiert oder nicht. Die Objektinformationen enthalten Informationen, die eine Position des Objekts angeben. Die visuelle Aufmerksamkeitszielberechnungseinheit 12 berechnet den toten Winkelbereich, das heißt einen Bereich vor und links vom dem Fahrzeug, als ein visuelles Aufmerksamkeitsobjekt (visuelles Aufmerksamkeitsziel).
  • Die Sichtlinieninformationsbezugseinheit 13 bezieht die Sichtlinieninformationen, die sich auf den Fahrer beziehen, und die Augapfelpositionsinformationsbezugseinheit 14 bezieht die Augapfelpositionsinformationen, die sich auf den Fahrer beziehen. Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet den visuellen Aufmerksamkeitspunkt des Fahrers basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen.
  • Die Bestimmungseinheit 16 bestimmt, ob der visuelle Aufmerksamkeitspunkt des Fahrers der Bereich vor und links von dem Fahrzeug ist oder nicht. In einem Fall, in dem das Bestimmungsergebnis der Bestimmungseinheit 16 angibt, dass der visuelle Aufmerksamkeitspunkt des Fahrers der Bereich vor und links von dem Fahrzeug ist, zeigt die Benachrichtigungseinheit 17 das aufgenommene Bild an, das von der Bezugseinheit für externe Fahrzeuginformationen 11 bezogen wird, das den toten Winkelbereich des Stammfahrzeugs innerhalb eines Sichtfelds des Fahrers und an einer Position abbildet, die eine Sichtlinie zu dem Objekt, das durch die Objektinformationen angegeben wird, nicht behindert.
  • Auf diese Weise kann die Alarmvorrichtung 1 für ein System verwendet werden, das es dem Fahrer ermöglicht, ein bestimmtes Objekt visuell zu erkennen, ohne vom toten Winkelbereich wegzuschauen, in einem Satus, in dem die Möglichkeit besteht, dass ein vorderer Eckabschnitt des Fahrzeugs in Kontakt mit dem bestimmten Objekt kommt. In diesem Verwendungsmodus kann die Alarmvorrichtung 1, wenn das Fahrzeug mit einer niedrigen Geschwindigkeit dreht, die Sichtlinie des Fahrers erfassen, die zu einer Vorderseite entgegengesetzt zu einer Abbiegerichtung des abbiegenden Fahrzeugs ausgerichtet ist, und kann ein Bild abbilden, das durch Abbildung des toten Winkels erhalten wird.
  • Verwendungsmodus in Bezug auf visuelle Aufmerksamkeit beim Anfahren des Fahrzeugs
  • Wenn das Fahrzeug beginnt, sich in einem Zustand vorwärts zu bewegen, in dem das Fahrzeug angehalten wird, muss der Fahrer einer Frontseite Aufmerksamkeit schenken. Wenn das Fahrzeug angehalten wird, kann der Fahrer außerdem unabsichtlich leicht auf ein Bremspedal treten, und das Fahrzeug kann in einigen Fällen anfahren. Die Alarmvorrichtung 1 kann verwendet werden, um zu bestimmen, ob der Fahrer der Frontseite beim Anfahren des Fahrzeugs visuelle Aufmerksamkeit schenkt oder nicht, und um dem Fahrer eine Benachrichtigung in Übereinstimmung mit dem Bestimmungsergebnis zu geben.
  • In diesem Fall bezieht die Stammfahrzeuginformationsbezugseinheit 10 die Fahrzeuggeschwindigkeitsinformationen, welche die Fahrzeuggeschwindigkeit des Stammfahrzeugs angeben. Zusätzlich bezieht die Bezugseinheit für externe Fahrzeuginformationen 11 das aufgenommene Bild, das durch Abbilden eines Frontstatus des Stammfahrzeugs erhalten wird. Basierend auf den Fahrzeuggeschwindigkeitsinformationen berechnet die visuelle Aufmerksamkeitszielberechnungseinheit 12 den Frontstatus des Fahrzeugs als ein visuelles Aufmerksamkeitsobjekt (visuelles Aufmerksamkeitsziel), wenn die visuelle Aufmerksamkeitszielberechnungseinheit 12 identifiziert, dass das Fahrzeug angehalten wird.
  • Die Sichtlinieninformationsbezugseinheit 13 bezieht die Sichtlinieninformationen, die sich auf den Fahrer beziehen, und die Augapfelpositionsinformationsbezugseinheit 14 bezieht die Augapfelpositionsinformationen, die sich auf den Fahrer beziehen. Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet den visuellen Aufmerksamkeitspunkt des Fahrers basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen.
  • Die Bestimmungseinheit 16 bestimmt, ob sich der visuelle Aufmerksamkeitspunkt des Fahrers vor dem Stammfahrzeug befindet oder nicht. Die Benachrichtigungseinheit 17 gibt einen Alarm aus (zum Beispiel gibt sie einen Alarmton aus), wenn das Fahrzeug beginnt, sich vorwärts zu bewegen, in einem Fall, in dem das Bestimmungsergebnis der Bestimmungseinheit 16 angibt, dass der visuelle Aufmerksamkeitspunkt des Fahrers sich nicht vor dem Stammfahrzeug befindet. Anstelle des Alarms oder in Verbindung mit der Warnung kann die Alarmvorrichtung 1 die Bremse so steuern, dass der Fahrer des Stammfahrzeugs aufhört, sich vorwärts zu bewegen.
  • Auf diese Weise kann die Alarmvorrichtung 1 für ein System verwendet werden, das den Alarm ausgibt oder die Bremse steuert, wenn der Fahrer beginnt, das Stammfahrzeug in einem Zustand zu fahren, in dem der Fahrer nicht vorwärtsschaut (einschließlich unbeabsichtigtes Fahren).
  • Verwendungsmodus in Bezug auf das Leiten der Sichtlinie zu dem Objekt
  • Unachtsames Fahren des Fahrers ist sehr gefährlich, während das Stammfahrzeug fährt. Die Alarmvorrichtung 1 kann verwendet werden, um den Fahrer auf das unachtsame Fahren aufmerksam zu machen.
  • In diesem Fall bezieht die Stammfahrzeuginformationsbezugseinheit 10 die Lenkwinkelinformationen, die den Lenkwinkel des Stammfahrzeugs angeben, und die Fahrzeuggeschwindigkeitsinformationen, welche die Fahrzeuggeschwindigkeit des Stammfahrzeugs angeben. Zusätzlich bezieht die Bezugseinheit für externe Fahrzeuginformationen 11 die Objektinformationen, die angeben, ob das Objekt um das Stammfahrzeug herum existiert oder nicht. Die Objektinformationen enthalten Informationen, die eine Position des Objekts angeben. Die visuelle Aufmerksamkeitszielberechnungseinheit 12 berechnet das Objekt, das durch die Objektinformationen angegeben wird, als visuelles Aufmerksamkeitsziel.
  • Die Sichtlinieninformationsbezugseinheit 13 bezieht die Sichtlinieninformationen, die sich auf den Fahrer beziehen, und die Augapfelpositionsinformationsbezugseinheit 14 bezieht die Augapfelpositionsinformationen, die sich auf den Fahrer beziehen. Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet den visuellen Aufmerksamkeitspunkt des Fahrers basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen.
  • Die Bestimmungseinheit 16 bestimmt, ob der visuelle Aufmerksamkeitspunkt des Fahrers das Objekt ist, das sich vor dem Stammfahrzeug befindet oder nicht. In einem Fall, in dem das Bestimmungsergebnis der Bestimmungseinheit 16 angibt, dass der visuelle Aufmerksamkeitspunkt des Fahrers nicht das Objekt ist, das sich vor dem Stammfahrzeug befindet, benachrichtigt die Benachrichtigungseinheit 17 den Fahrer über eine Anleitung, dass die Sichtlinienrichtung des Fahrers von einer aktuellen Richtung zu einer Richtung des Objekts geändert werden muss, das sich vor dem Stammfahrzeug befindet. Zum Beispiel kann als Benachrichtigung die Benachrichtigung dem Fahrer durch Anzeigen eines Pfeils gegeben werden, um die Sichtlinie zu leiten, oder kann dem Fahrer durch Verwenden einer Stimme gegeben werden. Es ist bevorzugt, den Pfeil auf einer Frontwindschutzscheibe, einer Seitenwindschutzscheibe, einem Monitor, einem Head-up-Display oder einer Messanzeige anzuzeigen.
  • Auf diese Weise kann die Alarmvorrichtung 1 für ein System zum Anleiten der Sichtlinienrichtung des Fahrers in eine Richtung verwendet werden, in der sich das Objekt befindet, wenn die Alarmvorrichtung 1 das Objekt (wie etwa das andere Fahrzeug und die Person) erfasst, das ein Hindernis in der Fahrtrichtung des Stammfahrzeugs während dem unachtsamen Fahren des Fahrers ist.
  • Verwendungsmodus in Bezug auf den Vorrichtungsbetrieb mit Verwendung der Sichtlinie des Fahrers
  • Während das Fahrzeug fährt ist es für den Fahrer gefährlich, die Vorrichtung zu bedienen, da er die Fahrerhand von dem Lenkrad nimmt. Die Alarmvorrichtung 1 kann für ein System verwendet werden, das es dem Fahrer ermöglicht, die Vorrichtung zu bedienen, ohne die Fahrerhand von dem Lenkrad zu nehmen.
  • In diesem Fall wird davon ausgegangen, dass im Stammfahrzeug eine Vorrichtung installiert ist, die über die Benutzung der Stimme bedient wird und dessen Bedienung über die Stimme mittels der Sichtlinie des Fahrers durchgeführt werden kann. Daher entspricht in diesem Verwendungsmodus das visuelle Aufmerksamkeitsziel der installierten Vorrichtung innerhalb des Stammfahrzeugs.
  • Die Sichtlinieninformationsbezugseinheit 13 bezieht die Sichtlinieninformationen, die sich auf den Fahrer beziehen, und die Augapfelpositionsinformationsbezugseinheit 14 bezieht die Augapfelpositionsinformationen, die sich auf den Fahrer beziehen. Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet den visuellen Aufmerksamkeitspunkt des Fahrers basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen.
  • Die Bestimmungseinheit 16 bestimmt, ob der visuelle Aufmerksamkeitspunkt des Fahrers die Vorrichtung ist oder nicht, die durch Verwendung der Stimme innerhalb des Stammfahrzeugs für eine voreingestellte Zeit oder länger bedient werden kann. In einem Fall, in dem das Bestimmungsergebnis der Bestimmungseinheit 16 angibt, dass der visuelle Aufmerksamkeitspunkt des Fahrers die Vorrichtung ist, weist die Benachrichtigungseinheit 17 die Vorrichtung an, die Bedienung durch Verwendung der Stimme zuzulassen. Auf diese Weise kann der Fahrer die Vorrichtung bedienen, ohne die Fahrerhand von dem Lenkrad zu nehmen.
  • Auf diese Weise ist es gemäß der Alarmvorrichtung 1 möglich, die Absicht des Fahrers, die Vorrichtung zu bedienen, die durch Verwendung der Stimme bedient werden kann, mühelos zu bestätigen.
  • Verwendungsmodus in Bezug auf Informationspräsentation gegenüber dem Fahrer
  • Während das Fahrzeug fährt, möchte der Fahrer möglicherweise wissen, was genau das Objekt (z.B. ein Gebäude) ist, das sich außerhalb des Stammfahrzeugs befindet. Der Fahrer kann das Objekt jedoch nicht überprüfen, indem er die Fahrerhand vom Lenkrad nimmt und ein mobiles Terminal bedient. Daher kann die Alarmvorrichtung 1 für ein System verwendet werden, das Informationen in Bezug auf das Objekt präsentieren kann, das für den Fahrer fragwürdig ist.
  • In diesem Fall bezieht die Stammfahrzeuginformationsbezugseinheit 10 Positionsinformationen, welche die Fahrtrichtung oder die Position des Stammfahrzeugs angeben. Zusätzlich bezieht die Bezugseinheit für externe Fahrzeuginformationen 11 Karteninformationen, die eine Karte der Umgebung zeigen, in der das Stammfahrzeug fährt.
  • Die Sichtlinieninformationsbezugseinheit 13 bezieht die Sichtlinieninformationen, die sich auf den Fahrer beziehen, und die Augapfelpositionsinformationsbezugseinheit 14 bezieht die Augapfelpositionsinformationen, die sich auf den Fahrer beziehen. Die visuelle Aufmerksamkeitspunktberechnungseinheit 15 berechnet den visuellen Aufmerksamkeitspunkt des Fahrers basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen.
  • Hier zum Beispiel, wenn der Fahrer zum Beispiel die Stimme „Was ist das?“ ausgibt, benachrichtigt die Benachrichtigungseinheit 17 den Fahrer über die Informationen, die sich auf das Objekt (zum Beispiel ein Gebäude) beziehen, das sich in einem visuellen Aufmerksamkeitsbestimmungsort des Fahrers befindet. Die Benachrichtigung kann wie folgt angezeigt werden. Ein Indikator, zum Beispiel ein Rahmen, wird auf dem Objekt, das auf der Windschutzscheibe, dem Monitor, dem Head-up-Display oder der Messanzeige angegeben wird, überlagert und angezeigt, und die Informationen des Objekts können durch Verwendung der Stimme oder der Anzeige mitgeteilt werden. In einem Fall, in dem bestimmt wird, dass der Fahrer zusätzlich zu dem Gebäude einem Verkehrszeichen oder einem Schild visuelle Aufmerksamkeit schenkt, können die Informationen in Bezug auf das zugehörige Objekt dem Fahrer mitgeteilt werden.
  • Auf diese Weise kann gemäß der Alarmvorrichtung 1 der Fahrer selbst dann, wenn er zum ersten Mal einen Ort besucht, mühelos nach einem Gebäude oder einem Geschäft suchen, oder ein ausländischer Besucher, der mit japanischen Verkehrszeichen nicht vertraut ist, kann die Straßenschilder erkennen.
  • Weitere Ausführungsbeispiele
  • In dem zuvor beschriebenen Ausführungsbeispiel wurde der folgende Fall beschrieben. Die Bestimmungseinheit 16 legt den visuellen Aufmerksamkeitsbereich 6, der das visuelle Aufmerksamkeitsbedarfsziel außerhalb des Stammfahrzeugs enthält, auf der virtuellen Ebene 4 fest. In einem Fall, in dem der visuelle Aufmerksamkeitspunkt in dem visuellen Aufmerksamkeitsbereich 6 enthalten ist, wird bestimmt, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt. Die Bestimmungseinheit 16 kann jedoch konfiguriert sein, um eine Bestimmung durchzuführen, ohne die virtuelle Ebene 4 und den visuellen Aufmerksamkeitsbereich 6 festzulegen.
  • Die hier offenbarten Ausführungsbeispiele können für die Alarmvorrichtung verwendet werden, die den Alarm als Reaktion auf den visuellen Aufmerksamkeitsstatus des Fahrers ausgibt, wenn der Fahrer das Stammfahrzeug fährt.
  • Die Grundsätze, die bevorzugte Ausführungsbeispiele und die Betriebsweise der vorliegenden Erfindung wurden in der vorstehenden Beschreibung beschrieben. Die Erfindung, die geschützt werden soll, ist jedoch nicht als auf die bestimmten offenbarten Ausführungsbeispiele beschränkt anzusehen. Des Weiteren sind die hier beschriebenen Ausführungsbeispiele als veranschaulichend und nicht als einschränkend anzusehen. Variationen und Änderungen können von anderen vorgenommen und Äquivalente verwendet werden, ohne vom Geist der vorliegenden Erfindung abzuweichen. Dementsprechend ist es ausdrücklich beabsichtigt, dass alle derartigen Variationen, Änderungen und Äquivalente, die in den Geist und Schutzbereich der vorliegenden Erfindung fallen, wie sie in den Ansprüchen definiert sind, von dieser umfasst werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2007094618 A [0002]

Claims (13)

  1. Alarmvorrichtung (1) mit: einer Stammfahrzeuginformationsbezugseinheit (10), die Stammfahrzeuginformationen bezieht, die einen Zustand eines Stammfahrzeugs (2) angeben; einer Bezugseinheit für externe Fahrzeuginformationen (11), die externe Fahrzeuginformationen bezieht, die einen externen Fahrzeugstatus des Stammfahrzeugs angeben; einer visuellen Aufmerksamkeitszielberechnungseinheit (12), die ein visuelles Aufmerksamkeitsbedarfsziel berechnet, das einer visuellen Aufmerksamkeit eines Fahrers des Stammfahrzeugs bedarf, basierend auf den Stammfahrzeuginformationen und den externen Fahrzeuginformationen; einer Sichtlinieninformationsbezugseinheit (13), die Sichtlinieninformationen bezieht, die eine Sichtlinienrichtung des Fahrers angeben; einer Augapfelpositionsinformationsbezugseinheit (14), die Augapfelpositionsinformationen bezieht, die eine Augapfelposition des Fahrers auf einer dreidimensionalen Koordinate angeben; einer visuellen Aufmerksamkeitspunktberechnungseinheit (15), die einen visuellen Aufmerksamkeitspunkt (7) berechnet, dem der Fahrer visuell Aufmerksamkeit schenkt, basierend auf den Sichtlinieninformationen und den Augapfelpositionsinformationen; einer Bestimmungseinheit (16), die bestimmt, ob der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit schenkt oder nicht, basierend auf dem visuellen Aufmerksamkeitsbedarfsziel und dem visuellen Aufmerksamkeitspunkt; und einer Benachrichtigungseinheit (17), die den Fahrer über ein Bestimmungsergebnis in einem Fall benachrichtigt, in dem bestimmt wird, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt.
  2. Alarmvorrichtung nach Anspruch 1, wobei die visuelle Aufmerksamkeitspunktberechnungseinheit den visuellen Aufmerksamkeitspunkt außerhalb des Stammfahrzeugs berechnet.
  3. Alarmvorrichtung nach Anspruch 1 oder 2, wobei die Bestimmungseinheit einen visuellen Aufmerksamkeitsbereich (6) auf einer virtuellen Ebene (4) festlegt, der das visuelle Aufmerksamkeitsbedarfsziel außerhalb des Stammfahrzeugs enthält, und bestimmt, dass der Fahrer dem visuellen Aufmerksamkeitsbedarfsziel visuelle Aufmerksamkeit in einem Fall schenkt, in dem der visuelle Aufmerksamkeitspunkt in dem visuellen Aufmerksamkeitsbereich enthalten ist.
  4. Alarmvorrichtung nach einem der Ansprüche 1 bis 3, wobei in einem Fall, in dem angenommen wird, dass das Stammfahrzeug basierend auf den Stammfahrzeuginformationen gleichmäßig auf einer Straße fährt, die visuelle Aufmerksamkeitszielberechnungseinheit eine Ampel oder ein Verkehrszeichen als das visuelle Aufmerksamkeitsbedarfsziel berechnet, das der visuellen Aufmerksamkeit des Fahrers bedarf.
  5. Alarmvorrichtung nach einem der Ansprüche 1 bis 3, wobei in einem Fall, in dem das Stammfahrzeug zu fahren beginnt, wenn die Ampel von einem roten Licht zu einem grünen Licht geändert wird, die visuelle Aufmerksamkeitszielberechnungseinheit zumindest eine Person, die das Stammfahrzeug rundum passiert, ein Fahrrad, welches das Stammfahrzeug rundum passiert, und das andere Fahrzeug, welches das Stammfahrzeug rundum passiert, als das Aufmerksamkeitsbedarfsziel berechnet.
  6. Alarmvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Benachrichtigungseinheit den Fahrer benachrichtigt, dass der Fahrer dem Aufmerksamkeitsbedarfsziel keine visuelle Aufmerksamkeit schenkt.
  7. Alarmvorrichtung nach einem der Ansprüche 1 bis 5, wobei die Benachrichtigungseinheit den Fahrer benachrichtigt, um den Fahrer aufzufordern, dem visuellen Aufmerksamkeitsbedarfsziel visuell Aufmerksamkeit zu schenken.
  8. Alarmvorrichtung nach einem der Ansprüche 1 bis 7, wobei die Benachrichtigungseinheit den Fahrer über Informationen benachrichtigt, die angeben, welches das visuelle Aufmerksamkeitsbedarfsziel ist.
  9. Alarmvorrichtung nach einem der Ansprüche 1 bis 8, wobei die Benachrichtigungseinheit einen Alarm ausgibt, wenn das Fahrzeug beginnt, sich vorwärts zu bewegen, in einem Fall, in dem das Bestimmungsergebnis angibt, dass sich der visuelle Aufmerksamkeitspunkt des Fahrers sich nicht vor dem Stammfahrzeug befindet.
  10. Alarmvorrichtung nach Anspruch 9, wobei die Benachrichtigungseinheit eine Vorwärtsbewegung des Stammfahrzeugs stoppt.
  11. Alarmvorrichtung nach einem der Ansprüche 1 bis 10, wobei die Bestimmungseinheit bestimmt, ob der visuelle Aufmerksamkeitspunkt des Fahrers auf dem visuellen Aufmerksamkeitsbedarfsziel liegt oder nicht, das sich vor dem Stammfahrzeug befindet, und in einem Fall, in dem das Bestimmungsergebnis angibt, dass der visuelle Aufmerksamkeitspunkt des Fahrers nicht auf dem Aufmerksamkeitsbedarfsziel liegt, das sich vor dem Stammfahrzeug befindet, die Benachrichtigungseinheit den Fahrer über eine Anleitung benachrichtigt, die bewirkt, dass die Sichtlinienrichtung des Fahrers von einer aktuellen Richtung zu einer Richtung des Aufmerksamkeitsbedarfsziels zu ändern ist, das sich vor dem Stammfahrzeug befindet.
  12. Alarmvorrichtung nach einem der Ansprüche 1 bis 11, wobei die Benachrichtigungseinheit einen Pfeil anzeigt, um die Sichtlinie des Fahrers zu leiten.
  13. Alarmvorrichtung nach einem der Ansprüche 1 bis 3, wobei in einem Fall, in dem der Fahrer wissen möchte, was ein Ziel ist, das sich in einem visuellen Aufmerksamkeitsbestimmungsort des Fahrers befindet, die Benachrichtigungseinheit den Fahrer über Informationen in Bezug auf das Ziel benachrichtigt, das sich in dem visuellen Aufmerksamkeitsbestimmungsort befindet.
DE102019108772.4A 2018-04-04 2019-04-03 Alarmvorrichtung Pending DE102019108772A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-072539 2018-04-04
JP2018072539A JP2019185218A (ja) 2018-04-04 2018-04-04 警報装置

Publications (1)

Publication Number Publication Date
DE102019108772A1 true DE102019108772A1 (de) 2019-10-10

Family

ID=67991683

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019108772.4A Pending DE102019108772A1 (de) 2018-04-04 2019-04-03 Alarmvorrichtung

Country Status (4)

Country Link
US (1) US10632912B2 (de)
JP (1) JP2019185218A (de)
CN (1) CN110348281A (de)
DE (1) DE102019108772A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354913B1 (en) * 2019-11-27 2022-06-07 Woven Planet North America, Inc. Systems and methods for improving vehicle predictions using point representations of scene
CN111292548B (zh) * 2020-02-06 2021-02-05 温州大学 一种基于视觉注意力的安全驾驶方法
CN113570901B (zh) * 2020-04-27 2022-09-20 北京七鑫易维信息技术有限公司 车辆驾驶的辅助方法及装置
CN113696897B (zh) * 2020-05-07 2023-06-23 沃尔沃汽车公司 驾驶员分神预警方法和驾驶员分神预警***
US11651692B2 (en) 2021-10-07 2023-05-16 Qualcomm Incorporated Presenting relevant warnings to a vehicle operator

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094618A (ja) 2005-09-28 2007-04-12 Omron Corp 通知制御装置および方法、記録媒体、並びに、プログラム。

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3324295B2 (ja) * 1994-09-26 2002-09-17 日産自動車株式会社 車両用視線方向計測装置
JP3785669B2 (ja) 1996-03-05 2006-06-14 日産自動車株式会社 視線方向計測装置
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
JP5974915B2 (ja) * 2013-01-29 2016-08-23 株式会社デンソー 覚醒度検出装置、および覚醒度検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094618A (ja) 2005-09-28 2007-04-12 Omron Corp 通知制御装置および方法、記録媒体、並びに、プログラム。

Also Published As

Publication number Publication date
JP2019185218A (ja) 2019-10-24
US20190308554A1 (en) 2019-10-10
US10632912B2 (en) 2020-04-28
CN110348281A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
DE102019108772A1 (de) Alarmvorrichtung
DE102010061922B4 (de) Mit einer Blickrichtung eines Fahrers gekoppeltes System und Verfahren zum Alarmieren einer Frontalaufprallgefahr und ein dasselbe verwendendes Fahrzeug
DE102008046038B4 (de) Anzeigevorrichtung und Verfahren zum Anzeigen eines Bildes
DE102013110339B4 (de) Visuelles leitsystem
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102017003751B4 (de) Fahrassistenzvorrichtung
DE112017003677T5 (de) Parkassistenzeinrichtung
DE102017112567A1 (de) Totwinkel-erkennungssysteme und verfahren
DE102012224499A1 (de) Verfahren und System zum Erkennen eines Raums eines Seitenstreifens
DE102015105248A1 (de) Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs
DE102013110332A1 (de) Visuelles leitsystem
DE112013007100B4 (de) Navigationsvorrichtung
DE102009012917A1 (de) Hinderniserkennungsvorrichtung für Fahrzeuge
DE102013204079A1 (de) Vorrichtung und Verfahren zum Bereitstellen einer Einparkhilfe
DE112017007184T5 (de) Unterstützungsvorrichtung, unterstützungsverfahren und programm
DE112016006199T5 (de) Informationsanzeigeeinrichtung und informationsanzeigeverfahren
DE112016005700T5 (de) Wendeassistenz auf Grundlage der Manövrierschwierigkeit
DE102008010119A1 (de) Vorrichtung zum Erfassen eines Objekts und System zur Kommunikation zwischen Fahrzeugen
DE102014116037A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102016013820A1 (de) Verkehrszeichenerkennungssystem, Verfahren zum Steuern desselben und Computerprogrammprodukt
DE102011087894A1 (de) Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
DE102012213466A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
DE102014211530A1 (de) Überholassistent für Straßen mit Gegenverkehr
DE102016014712B4 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE112021000992T5 (de) Parkunterstützungsvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: AISIN CORPORATION, KARIYA-SHI, JP

Free format text: FORMER OWNER: AISIN SEIKI KABUSHIKI KAISHA, KARIYA-SHI, AICHI-KEN, JP