DE102014220759A1 - Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs - Google Patents

Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs Download PDF

Info

Publication number
DE102014220759A1
DE102014220759A1 DE102014220759.2A DE102014220759A DE102014220759A1 DE 102014220759 A1 DE102014220759 A1 DE 102014220759A1 DE 102014220759 A DE102014220759 A DE 102014220759A DE 102014220759 A1 DE102014220759 A1 DE 102014220759A1
Authority
DE
Germany
Prior art keywords
driver
time
vehicle
attention
steering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102014220759.2A
Other languages
English (en)
Other versions
DE102014220759B4 (de
Inventor
Nico Bogner
Gordon GROßKOPF
Stefan Brosig
Hendrik Franke
Asem ELTAHER
Andreas ZACHMAYER
Robert Büthorn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Volkswagen AG
Original Assignee
Audi AG
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Volkswagen AG filed Critical Audi AG
Priority to DE102014220759.2A priority Critical patent/DE102014220759B4/de
Priority to CN201510979083.8A priority patent/CN105654674B/zh
Priority to US14/882,681 priority patent/US9619721B2/en
Publication of DE102014220759A1 publication Critical patent/DE102014220759A1/de
Application granted granted Critical
Publication of DE102014220759B4 publication Critical patent/DE102014220759B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/14—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated upon collapse of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/172—Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B60T2220/02—Driver type; Driving style; Driver adaptive features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2270/00—Further aspects of brake control systems not otherwise provided for
    • B60T2270/40—Failsafe aspects of brake control systems
    • B60T2270/413—Plausibility monitoring, cross check, redundancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B60W2710/182—Brake pressure, e.g. of fluid or between pad and disc
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

Zum Überwachen eines Aufmerksamkeitsgrads (302) eines Fahrers eines Fahrzeugs wird eine Zeitdauer (330) basierend auf einer Geschwindigkeit des Fahrzeugs bestimmt. Es wird bestimmt, ob eine Lidschlusszeit (301) und/oder eine Lidschließzeit des Fahrers die Zeitdauer (330) überschreitet.

Description

  • Die Erfindung betrifft ein Verfahren zum Überwachen eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs und eine entsprechende Vorrichtung. Die Erfindung betrifft insbesondere Techniken, bei denen bestimmt wird, ob eine Lidschlusszeit des Fahrers eine Zeitdauer überschreitet.
  • Es sind Techniken bekannt, bei denen z.B. in Abhängigkeit eines Lenkverhaltens und einer Fahrzeit eines Fahrers eines Kraftfahrzeugs überprüft wird, ob der Aufmerksamkeitsgrad des Fahrers eingeschränkt ist. Es kann aber vorkommen, dass das Lenkverhalten in Verbindung mit der Fahrzeit nicht ausreichend genau für eine sichere und zuverlässige Überwachung des Aufmerksamkeitsgrad ist. Daraus können gefährliche Situationen für den Fahrer bzw. für weitere Verkehrsteilnehmer resultieren. Insbesondere bei einer Unterstützung durch ein oder mehrere Fahrerassistenz-Systeme kann es zu einem reduzierten Aufmerksamkeitsgrad kommen. Z.B. im Zusammenhang mit Techniken des automatischen Fahrens kann der Aufmerksamkeitsgrad des Fahrers besonders stark reduziert sein. Jedoch kann es auch in solchen Szenarien, bei denen eine weitreichende Unterstützung des Fahrers durch ein oder mehrere Fahrer-Assistenzsysteme stattfindet, erstrebenswert sein, dass der Fahrer einen ausreichenden Aufmerksamkeitsgrad erbringt.
  • Es sind auch Techniken bekannt, bei denen eine Zeitdauer, für die ein Augenlid des Fahrers geschlossen ist (Lidschlusszeit), des Fahrers überwacht wird. Die Lidschlusszeit kann also diejenige Zeitdauer bezeichnen, für die das Augenlid im geschlossenen Zustand verweilt. Derart kann z.B. ein Sekundenschlaf des Fahrers festgestellt werden und der Aufmerksamkeitsgrad dadurch vergleichsweise genau bestimmt werden.
  • Jedoch sind solche Techniken vergleichsweise wenig flexibel. Es kann vorkommen, dass ein reduzierter Aufmerksamkeitsgrad aufgrund einer verlängerten Lidschlusszeit bestimmt wird, obwohl der Fahrer eine angemessene bzw. situationsangepasste Aufmerksamkeit gegenüber der Fahrtsituation aufbringt.
  • Deshalb besteht ein Bedarf für verbesserte Techniken zum Überwachen des Aufmerksamkeitsgrads des Fahrers. Insbesondere besteht ein Bedarf für solche Techniken, welche ein flexibles und situationsangepasstes Überwachen des Aufmerksamkeitsgrads ermöglichen. Insbesondere besteht ein Bedarf für Techniken zum Überwachen des Aufmerksamkeitsgrads, die einen Sekundenschlaf des Fahrers erkennen können.
  • Diese Aufgabe wird von den Merkmalen der unabhängigen Ansprüche gelöst. Die abhängigen Ansprüche definieren Ausführungsformen.
  • Gemäß einem ersten Aspekt betrifft die Erfindung im Verfahren zum Überwachen eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs. Das Verfahren umfasst das Bestimmen einer Zeitdauer, basierend auf einer Geschwindigkeit des Fahrzeugs. Das Verfahren umfasst weiterhin das Empfangen von Bilddaten, die eine Gesichtspartie des Fahrers abbilden. Das Verfahren umfasst weiterhin, basierend auf den Bilddaten, das Bestimmen, ob eine Lidschlag-Zeit des Fahrers die Zeitdauer überschreitet. Das Verfahren umfasst ferner das Überwachen des Aufmerksamkeitsgrads des Fahrers in Abhängigkeit von dem Bestimmen, ob die Lidschlag-Zeit die Zeitdauer überschreitet.
  • Die Lidschlag-Zeit kann z.B. die Lidschlusszeit betreffen. Alternativ oder zusätzlich kann die Lidschlag-Zeit eine Zeitdauer zwischen geöffnetem und geschlossenen Zustand bzw. geschlossenem und geöffnetem des Auges (Lidschließzeit) bezeichnen. Die Lidschließzeit kann also diejenige Zeitdauer bezeichnen, die für ein Ändern des Zustands des Augenlids benötigt wird.
  • Z.B. kann der Aufmerksamkeitsgrad des Fahrers eine Fähigkeit des Fahrers bezeichnen, eine Fahrtsituation, in der sich das Fahrzeug befindet, situationsangemessen wahrzunehmen. Das Überwachen des Aufmerksamkeitsgrads kann bedeuten, dass z.B. kontinuierlich oder in regelmäßigen Zeitabständen eine oder mehrere den Aufmerksamkeitsgrad quantifizierende Größen bestimmt werden und diese Größe z.B. mit einem vorgegebenen Schwellenwert verglichen wird. Dann kann für jeden Überwachungsvorgang oder z.B. gemittelt über mehrere Überwachungsvorgänge festgestellt werden, ob der Aufmerksamkeitsgrad noch ausreichend ist.
  • Falls ein reduzierter Aufmerksamkeitsgrad festgestellt wird, können weitere Aktionen ausgelöst werden. Weitere Aktionen können z.B. das Ausgeben einer Warnung an den Fahrer und/oder das Ausgeben einer Warnung an weitere Verkehrsteilnehmer und/oder das Auslösen einer Fahrerassistenz-Aktion eines Fahrerassistenz-Systems sein.
  • Z.B. kann die Zeitdauer anhand einer vorgegebenen Verknüpfung zwischen der Geschwindigkeit des Fahrzeugs und der Zeitdauer bestimmt werden. Z.B. kann eine längere (kürzere) Zeitdauer für geringere (größere) Geschwindigkeiten bestimmt werden. In anderen Worten ist es möglich, dass die Zeitdauer invers proportional zur Geschwindigkeit des Fahrzeugs bestimmt wird. Typische Bereiche für die Zeitdauer können z.B. 50 ms bis 2 s betragen, vorzugsweise 150 ms bis 800 ms.
  • Die Bilddaten können z.B. von einer Innenraumkamera des Fahrzeugs erhalten werden. Z.B. kann die Innenraumkamera im Bereich eines oberen Teils einer Windschutzscheibe des Fahrzeugs angebracht sein und derart positioniert und orientiert sein, dass ihr Blickfeld zumindest einen Kopfbereich des Fahrers umfasst. Die Bilddaten können z.B. Einzelbilder oder einen Film umfassen. In anderen Worten kann es möglich sein, die Lidschlag-Zeit mit einer größeren oder geringeren Genauigkeit zu bestimmen, je nachdem, wie groß ein zeitlicher Abstand zwischen aufeinanderfolgenden Bilddaten, die zu unterschiedlichen Zeitpunkten die Gesichtspartie des Fahrers abbilden, ist. Dann kann es möglich sein, Techniken zur Bildauswertung einzusetzen, um z.B. die Augen des Fahrers in den Bilddaten zu erkennen und weiterhin zu bestimmen, ob das Augenlid des Fahrers geöffnet oder geschlossen ist. Wenn zudem verschiedene Bilddaten implizit oder explizit mit einem Zeitstempel versehen sind, kann derart die Lidschlag-Zeit des Fahrers ermittelt werden. Anschließend kann z.B. ein Schwellenwertvergleich zwischen der Zeitdauer und der ermittelten Lidschlag-Zeit durchgeführt werden, und bestimmt werden, ob die Lidschlag-Zeit des Fahrers die Zeitdauer überschreitet.
  • Sofern die Lidschlag-Zeit des Fahrers die Zeitdauer überschreitet, kann z.B. angenommen werden, dass der Aufmerksamkeitsgrad des Fahrers reduziert ist. Dann kann es möglich sein, z.B. eine Warnung auszugeben und/oder die Fahrerassistenz-Aktion auszulösen. Die Warnung kann sich z.B. an den Fahrer und/oder weitere Verkehrsteilnehmer richten.
  • Mittels der voranstehend beschriebenen Techniken kann der Effekt einer besonders situationsangepassten Überwachung des Aufmerksamkeitsgrads des Fahrers erreicht werden. Z.B. wäre es möglich, bei vergleichsweise geringen Geschwindigkeiten eine längere Lidschlag-Zeit – durch entsprechendes Bestimmen der Zeitdauer – zu tolerieren; bei vergleichsweise großen Geschwindigkeiten, kann dieselbe Lidschlag-Zeit aber dazu führen, dass ein reduzierter Aufmerksamkeitsgrad des Fahrers angenommen wird.
  • Voranstehend wurden Techniken erläutert, bei denen die Zeitdauer, die mit der Lidschlag-Zeit verglichen wird, anhand der Geschwindigkeit des Fahrzeugs bestimmt wird. Es wäre aber möglich, dass weitere Faktoren beim Bestimmen der Zeitdauer berücksichtigt werden.
  • Z.B. könnte das Verfahren weiterhin das Erhalten eines Steuersignals, das zumindest eines von einem Fahrtsituationsparameter einer Fahrtsituation, in der sich der Fahrer befindet, einem Lenkungsparameter einer Lenkung und einem Fahrspurparameter des Fahrzeugs beschreibt.
  • Der Fahrtsituationsparameter kann z.B. aktuelle Umstände eines Fahrzeugumfelds beschreiben. Alternativ oder zusätzlich kann der Fahrtsituationsparameter für den bisherigen Fahrtverlauf indikativ sein, also eine Entwicklung oder einen Verlauf von Umständen der Fahrt beschreiben; dies kann integriert oder zeitaufgelöst erfolgen. Der Parameter kann einen oder mehrere Umstände der Fahrt betreffen.
  • Z.B. könnte der Fahrtsituationsparameter aus folgender Gruppe ausgewählt sein: eine Fahrzeit; eine Tageszeit; eine Auslösehäufigkeit eines Fahrerassistenz-Systems; eine Häufigkeit einer Änderung der Geschwindigkeit des Fahrzeugs; eine Häufigkeit einer Betätigung von Pedalen des Fahrzeugs; und eine Umfeldhelligkeit. Es können auch weitere oder andere Fahrtsituationsparameter berücksichtigt werden.
  • Es wäre z.B. möglich, dass der Lenkungsparameter aus folgender Gruppe ausgewählt ist: eine Genauigkeit, mit welcher der Fahrer einer Fahrspur folgt; ein Zeitverlauf einer Betätigung der Lenkung des Fahrzeugs; ein Lenkwinkel; ein Verlauf des Lenkwinkels; eine Lenkwinkelgeschwindigkeit; ein Lenkmoment.
  • Es ist möglich, dass der Fahrspurparameter aus folgender Gruppe ausgewählt ist: eine Zeit bis zum Überschreiten einer Spurmarkierung; und eine Distanz zu einer Spurmarkierung.
  • Der Fahrtsituationsparameter und/oder der Lenkungsparameter und/oder der Fahrspurparameter können selbst indikativ für den Aufmerksamkeitsgrad sein, siehe z.B. Deutsche Patentanmeldungen DE 10 2012 001 741 A1 und DE 10 2005 057 267 A1 . Derart kann es z.B. möglich sein, zunächst einen Zwischen-Aufmerksamkeitsgrad bzw. eines Indikator für eine Müdigkeit (Müdigkeitserkennung) basierend auf dem Fahrtsituationsparameter und/oder dem Lenkungsparameter und/oder dem Fahrspurparameter zu bestimmen; dieser könnte anschließend durch Berücksichtigen des Vergleichs der Lidschlag-Zeit mit der Zeitspanne angepasst werden. Derart kann eine besonders genaue und zuverlässige Überwachung des Aufmerksamkeitsgrads erreicht werden.
  • Voranstehend wurden Techniken beschrieben, mit denen es vergleichsweise genau und situationsangepasst möglich ist, einen reduzierten Aufmerksamkeitsgrad des Fahrers festzustellen. Wird ein solcher reduzierter Aufmerksamkeitsgrad festgestellt, kann der Fahrer gewarnt werden. Dies kann bewirken, dass der Fahrer eine der Fahrtsituation angemessene Aufmerksamkeit wiederherstellt.
  • Sofern ein reduzierter Aufmerksamkeitsgrad des Fahrers erkannt wird, kann das Verfahren z.B. weiterhin das Ausgeben einer akustischen Warnung und/oder einer haptischen Warnung an den Fahrer umfassen. Die akustische Warnung bzw. die haptische Warnung können insbesondere geeignet sein, einen situationsangepassten Aufmerksamkeitsgrad des Fahrers wiederherzustellen, also z.B. den Fahrer aufzuwecken. Z.B. könnte die haptische Warnung ein kurzzeitiges Straffen eines Sicherheitsgurts des Fahrzeugs und/oder ein kurzzeitiges Betätigen einer Bremse des Fahrzeugs und/oder ein Rütteln des Lenkrads umfassen. Die akustische Warnung könnte z.B. das Ausgeben eines Warnsignals über Lautsprecher des Fahrzeugs umfassen.
  • Es ist auch möglich, dass eine Fahrerassistenz-Aktion eines Fahrerassistenzsystems des Fahrzeugs ausgelöst wird, wenn das Überwachen einen reduzierten Aufmerksamkeitsgrad ergibt. Derart kann z.B. erreicht werden, dass eine Gefährdung des Fahrers und/oder weiterer Verkehrsteilnehmer durch die Fahrtsituation reduziert wird. Die Fahrerassistenz-Aktion kann z.B. aus folgender Gruppe ausgewählt sein: Querführung des Fahrzeugs zum Folgen einer Fahrspur; Querführung des Fahrzeugs zum Erreichen eines Standstreifens; Abbremsen des Fahrzeugs und Betätigen eines Warmblinkers des Fahrzeugs.
  • Mittels der hierin beschriebenen Techniken kann es auch möglich sein, Fälle eines besonders stark reduzierten Aufmerksamkeitsgrads festzustellen und geeignete Gegenmaßnahmen zu ergreifen. Z.B. kann ein besonders stark reduzierter Aufmerksamkeitsgrad des Fahrers im Falle eines Sekundenschlafs vorliegen. Sekundenschlaf kann dann vorliegen, wenn der Fahrer in einen Schlaf-ähnlichen Zustand während dem Betreiben des Fahrzeugs fällt. Der Sekundenschlaf wird typischerweise dadurch charakterisiert, dass die Lidschlag-Zeit, z.B. insbesondere die Lidschlusszeit, des Fahrers besonders lang wird. Entsprechend könnte das Verfahren weiterhin umfassen: Überwachen, ob der reduzierte Aufmerksamkeitsgrad des Fahrers für eine vorgegebene Zeitdauer fortbesteht.
  • Z.B. könnte das Auslösen der Fahrerassistenz-Aktion dann erfolgen, wenn der reduzierte Aufmerksamkeitsgrad des Fahrers für die vorgegebene weitere Zeitdauer fortbesteht. Insbesondere könnte das Verfahren umfassen: basierend auf den Bilddaten, bestimmen, ob die Lidschlag-Zeit des Fahrers die vorgegebene weitere Zeitdauer überschreitet; in Abhängigkeit von dem Bestimmen, ob die Lidschlag-Zeit des Fahrers die vorgegebene weitere Zeitdauer überschreitet, selektives Auslösen der Fahrerassistenz-Aktion. In anderen Worten kann, wenn z.B. auch nach einer optischen Warnung und/oder einer haptischen Warnung ein situationsangepasster Aufmerksamkeitsgrad des Fahrers nicht wiederhergestellt wird, die Fahrerassistenz-Aktion selektiv ausgelöst werden. Sofern sich der Fahrer in einem Sekundenschlaf befindet, d.h. seine Augen auch nach Durchführen einer Warnung nicht mehr öffnet, kann es er erforderlich sein, geeignete Maßnahmen zum Vermeiden eines Unfalls durch das Auslösen der Fahrerassistenz-Aktion zu ergreifen. Z.B. könnte die vorgegebene weitere Zeitdauer von derselben Größenordnung sein wie die Zeitdauer, die in Abhängigkeit von der Geschwindigkeit des Fahrzeugs bestimmt wird. Es wäre aber auch möglich, dass die vorgegebene weitere Zeitdauer länger ist als die Zeitdauer. Z.B. könnte die vorgegebene Zeitdauer im Bereich von wenigen Sekunden liegen.
  • Im Allgemeinen kann es möglich sein, eine oder mehrere Fahrerassistenz-Aktionen auszulösen. Dies kann z.B. gestaffelt erfolgen. Z.B. könnte das Verfahren weiterhin aufeinanderfolgendes Auslösen von zumindest zwei Fahrerassistenz-Aktionen umfassen, sofern der reduzierte Aufmerksamkeitsgrad fortbesteht. Z.B. können solche Fahrerassistenz-Aktionen, die einem geringeren Eingriff (größeren Eingriff) in die Betriebsparameter des Fahrzeugs entsprechen, früher (später) in Bezug auf das erstmalige Erkennen eines reduzierten Aufmerksamkeitsgrads des Fahrers ausgelöst werden. Derart kann das Auslösen der Fahrerassistenz-Aktionen situationsangepasst erfolgen; ein übertrieben starkes Eingreifen gleich zu Beginn eines erkannten reduzierten Aufmerksamkeitsgrads kann vermieden werden.
  • Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung ein Steuergerät, welches eingerichtet ist, um einen Aufmerksamkeitsgrad eines Fahrers eines Fahrzeugs zu überwachen. Das Steuergerät umfasst eine Schnittstelle. Die Schnittstelle ist eingerichtet, um Bilddaten, die eine Gesichtspartie des Fahrers abbilden, zu empfangen. Das Steuergerät umfasst weiterhin eine Recheneinheit. Die Recheneinheit ist eingerichtet, um eine Zeitdauer basierend auf einer Geschwindigkeit des Fahrzeugs zu bestimmen. Die Recheneinheit ist weiterhin eingerichtet, um basierend auf den Bilddaten zu bestimmen, ob eine Lidschlag-Zeit des Fahrers die Zeitdauer überschreitet. Die Recheneinheit ist weiterhin eingerichtet, um den Aufmerksamkeitsgrad des Fahrers in Abhängigkeit von dem Bestimmen, ob die Lidschlag-Zeit die Zeitdauer überschreitet, zu überwachen.
  • Z.B. kann das Steuergerät gemäß dem gegenwärtig diskutierten Aspekt eingerichtet sein, um das Verfahren zum Überwachen des Aufmerksamkeitsgrads gemäß einem weiteren Aspekt der vorliegenden Erfindung auszuführen.
  • Für ein solches Steuergerät gemäß dem gegenwärtig diskutierten Aspekt können Effekte erzielt werden, die vergleichbar sind mit dem Verfahren zum Überwachen des Aufmerksamkeitsgrad gemäß einem weiteren Aspekt der vorliegenden Erfindung.
  • Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung ein Fahrzeug, das ein Steuergerät, welches zum Überwachen des Aufmerksamkeitsgrads eines Fahrers eingerichtet ist, gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst. Z.B. kann das Fahrzeug ein Personenkraftfahrzeug oder ein Nutzkraftfahrzeug sein.
  • Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung ein Verfahren zum Überwachen eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs. Das Verfahren umfasst das Bestimmen des Aufmerksamkeitsgrads des Fahrers basierend auf zumindest einem von einer Lidschlag-Zeit des Fahrers, einem Fahrtsituationsparameter, einem Lenkungsparameter und/oder einem Fahrspurparameter. Das Verfahren umfasst weiterhin, in Abhängigkeit von dem bestimmten Aufmerksamkeitsgrad: selektives Auslösen einer Warnung des Fahrers. Das Verfahren umfasst weiterhin, sofern der reduzierte Aufmerksamkeitsgrad des Fahrers nach dem Ausgeben der Warnung für eine vorgegebene Zeitdauer fortbesteht: Auslösen einer Fahrerassistenz-Aktion eines Fahrerassistenz-Systems des Fahrzeugs.
  • In anderen Worten kann das Auslösen der Warnung des Fahrers zum Wiederherstellen eines situationsangepassten Aufmerksamkeitsgrads gestaffelt in Bezug auf das Auslösen der Fahrerassistenz-Aktion erfolgen. Zunächst kann durch das Auslösen der Warnung des Fahrers versucht werden, einen nicht reduzierten Aufmerksamkeitsgrad des Fahrers wiederherzustellen. Sofern diese Maßnahme nicht erfolgreich ist, kann in einem zweiten Schritt durch das Auslösen der Fahrerassistenz-Aktion des Fahrerassistenz-Systems erreicht werden, dass eine Kritikalität der Fahrtsituation durch geeignete Gegenmaßnahmen reduziert wird. Hierzu kann für die vorgegebene Zeitdauer zugewartet werden; sofern dann der Aufmerksamkeitsgrad des Fahrers nicht situationsangepasst wiederhergestellt ist, kann z.B. von einem Sekundenschlaf ausgegangen werden.
  • Z.B. könnte der Aufmerksamkeitsgrad basierend auf der Lidschlag-Zeit des Fahrers und dem Fahrtsituationsparameter und dem Lenkungsparameter und dem Fahrspurparameter bestimmt werden. Derart könnte der Aufmerksamkeitsgrad besonders genau bestimmt werden; insbesondere kann durch Überwachen der Lidschlag-Zeit der Sekundenschlaf erkannt werden. Z.B. können zum Bestimmen des Aufmerksamkeitsgrads Techniken eingesetzt werden, die voranstehend in Bezug auf weitere Aspekte der Erfindung diskutiert wurden. Entsprechend kann die Warnung z.B. eine akustische und/oder haptische Warnung sein. Voranstehend wurden verschiedene Fahrerassistenz-Aktionen illustriert; entsprechende Techniken können auch gemäß des gegenwärtig diskutieren Aspekts Anwendung finden.
  • Gemäß einem weiteren Aspekt betrifft die vorliegende Erfindung ein Verfahren zum Überwachen eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs. Das Verfahren umfasst das Bestimmen des Aufmerksamkeitsgrads des Fahrers basierend auf zumindest einem von einer Lidschlag-Zeit des Fahrers, einem Fahrtsituationsparameter, einem Lenkungsparameter, und einem Fahrspurparameter. Sofern ein reduzierter Aufmerksamkeitsgrad bestimmt wird, kann das Verfahren z.B. weiterhin umfassen: aufeinanderfolgendes Auslösen der folgenden Aktionen, solange der reduzierte Aufmerksamkeitsgrad fortbesteht: Auslösen einer Fahrerassistenz-Aktion zur Querführung des Fahrzeugs, um einer Fahrspur zu folgen; dann Auslösen einer haptischen Warnung des Fahrers; dann Auslösen einer optischen Warnung von weiteren Verkehrsteilnehmern; dann Auslösen eines Bremsvorgangs des Fahrzeugs.
  • Z.B. kann die Fahrerassistenz-Aktion zur Querführung des Fahrzeugs gemäß einem Spurhalteassistenten durchgeführt werden. Derart kann erreicht werden, dass das Fahrzeug der Spur folgt, in der es sich gegenwärtig befindet. Ein Verlassen der Fahrspur kann derart weniger wahrscheinlich sein. Die haptische Warnung kann z.B. – wie voranstehend in Bezug auf weitere Aspekte der vorliegenden Erfindung illustriert – in einem kurzzeitigen Straffen eines Sicherheitsgurts des Fahrzeugs und/oder einen Bremsruck umfassen. Die optische Warnung von weiteren Verkehrsteilnehmern kann z.B. durch das Betätigen einer Warnblickanlage des Fahrzeugs erreicht werden.
  • In anderen Worten können also verschiedene Aktionen, wie Warn-Aktionen und Fahrerassistenz-Funktionen, gestaffelt ausgelöst werden, solange der reduzierte Aufmerksamkeitsgrad fortbesteht.
  • Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
  • Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
  • 1 ist eine Aufsicht auf ein erfindungsgemäßes Fahrzeug, das eine Innenraumkamera zum Bereitstellen von Bilddaten, die eine Gesichtspartie des Fahrers abbilden, umfasst.
  • 2 ist eine schematische Ansicht eines Steuergeräts, das in Datenverbindung mit weiteren Komponenten des Fahrzeugs und der Innenraumkamera steht und eingerichtet ist, um einen Aufmerksamkeitsgrad des Fahrers gemäß verschiedener Aspekte der Erfindung zu überwachen.
  • 3 illustriert einen Aufmerksamkeitsgrad des Fahrers in Abhängigkeit von einer Lidschlusszeit des Fahrers, wobei ein reduzierter Aufmerksamkeitsgrad angenommen wird, wenn die Lidschlusszeit eine bestimmte Zeitdauer überschreitet.
  • 4 illustriert eine Abhängigkeit der Zeitdauer von einer Geschwindigkeit des Fahrzeugs.
  • 5 ist ein Flussdiagramm eines Verfahrens zum Überwachen eines Aufmerksamkeitsgrads des Fahrers des Fahrzeugs.
  • Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
  • Nachfolgend werden Techniken zum Überwachen eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs illustriert. Diese Techniken umfassen das Bestimmen einer Zeitdauer basierend auf einer Geschwindigkeit des Fahrzeugs. Diese Zeitdauer wird mit einer Lidschlag-Zeit des Fahrers verglichen. Sofern die Lidschlag-Zeit die Zeitdauer überschreitet, kann von einem reduzierten Aufmerksamkeitsgrads des Fahrers ausgegangen werden. Besteht der Zustand des geschlossenen Augenlids fort, so kann von einem besonders reduzierten Aufmerksamkeitsgrad des Fahrers aufgegangen werden, der z.B. als Sekundenschlaf bezeichnet werden kann.
  • Dabei kann die Lidschlag-Zeit z.B. eine Lidschlusszeit bezeichnen, also eine Zeitspanne, für die sich das Augenlid des Fahrers in einem geschlossenem Zustand befindet. Es wäre aber alternativ oder zusätzlich auch möglich, dass die Lidschlag-Zeit eine Lidschließzeit bezeichnet, d.h. eine Zeitspanne, die das Augenlid für einen Wechsel zwischen dem geöffneten und geschlossenem Zustand benötigt. In einer Implementierung wäre es möglich, z.B. lediglich die Lidschlusszeit oder die Lidschließzeit zu überwachen. In einer weiteren Implementierung wäre es möglich, sowohl die Lidschlusszeit, als auch die Lidschließzeit zu überwachen. Dann kann der Aufmerksamkeitsgrad besonders genau bestimmt werden. Z.B. könnte das Verfahren umfassen: Bestimmen einer ersten Zeitdauer basierend auf der Geschwindigkeit des Fahrzeugs; und Bestimmen einer zweiten Zeitdauer basierend auf der Geschwindigkeit des Fahrzeugs; und basierend auf den Bilddaten, Bestimmen, ob die Lidschlusszeit des Fahrers die erste Zeitdauer überschreitet; und basierend auf den Bilddaten, Bestimmen, ob die Lidschließzeit des Fahrers die zweite Zeitdauer überschreitet; und Überwachen des Aufmerksamkeitsgrads des Fahrers in Abhängigkeit von dem Bestimmen, ob die Lidschlusszeit die erste Zeitdauer überschreitet, und weiterhin in Abhängigkeit von dem Bestimmen, ob die Lidschließzeit die zweite Zeitdauer überschreitet.
  • Bei einem reduzierten Aufmerksamkeitsgrad können geeignete Gegenmaßen in Form einer Fahrer-Warnung und/oder einer Umfeld-Warnung weiterer Verkehrsteilnehmer und/oder dem Auslösen von Fahrerassistenz-Aktionen ausgelöst werden. Insbesondere kann es möglich sein, die Warnung und das Auslösen der Fahrerassistenz-Aktion gestaffelt in Bezug auf das Eintreten des reduzierten Aufmerksamkeitsgrads durchzuführen.
  • Durch das Berücksichtigen der Geschwindigkeit des Fahrzeugs beim Bestimmen der Zeitdauer, kann erreicht werden, dass überwacht wird, ob der Aufmerksamkeitsgrad der Fahrtsituation angemessen ist.
  • In 1 ist ein Personenkraftfahrzeug (PKW) 100 dargestellt, der sich mit einer Geschwindigkeit 101 entlang einer Fahrspur 190 bewegt. Der PKW 100 umfasst eine Innenraumkamera 120, die im oberen Bereich einer vorderen Windschutzscheibe des PKWs 100 befestigt ist. In 1 ist ferner ein Blickfeld der Innenraumkamera 120 illustriert (in 1 mit einer gestrichelten Linie dargestellt). Das Blickfeld 121 ist insbesondere derart ausgerichtet, dass eine Gesichtspartie des Fahrers in von der Innenraumkamera 120 erfassten Bilddaten abgebildet wird.
  • Diese Bilddaten 120a werden von der Innenraumkamera 120 an ein Steuergerät 200 übertragen (s. 2). Dazu umfasst das Steuergerät 200 eine entsprechend eingerichtete Schnittstelle 202. Z.B. könnten die Bilddaten zwischen der Innenraumkamera 120 und dem Steuergerät 200 über ein Fahrzeug-Bus-System übertragen werden. Das Steuergerät 200 umfasst weiterhin eine Recheneinheit 201. Die Recheneinheit 201 ist eingerichtet, um basierend auf den Bilddaten zu bestimmen, ob eine Lidschlusszeit des Fahrers eine Zeitdauer überschreitet.
  • Nachfolgend wird vornehmlich Bezug auf die Lidschlag-Zeit als Lidschlusszeit genommen. Die nachfolgend beschriebenen Techniken lassen sich aber unmittelbar auch auf die Lidschließzeit anwenden. Typischerweise kann dann die Zeitdauer, die mit der Lidschließzeit verglichen wird, kleiner sein, als die Zeitdauer, mit der die Lidschlusszeit verglichen wird.
  • Diese Zeitdauer wird durch die Recheneinheit 201 basierend auf der Geschwindigkeit 101 des PKW 100 bestimmt. Z.B. könnte für größere (kleinere) Geschwindigkeiten 101 die Zeitdauer kürzer (länger) bestimmt werden. Wenn der Vergleich zwischen der Lidschlusszeit und der Zeitdauer ergibt, dass die Lidschlusszeit die Zeitdauer überschreitet, so kann von einem reduzierten Aufmerksamkeitsgrad des Fahrers ausgegangen werden. Dann können entsprechende Gegenmaßnahmen ergriffen werden. Z.B. umfasst der PKW 100 eine Fahrer-Warneinrichtung 250. Die Fahrer-Warneinrichtung 250 ist eingerichtet, um eine optische Warnung und eine haptische Warnung an den Fahrer auszugeben. Derart kann erreicht werden, dass ein nicht-reduzierter und situationsangepasster Aufmerksamkeitsgrad des Fahrers wiederhergestellt wird. Ferner wäre es möglich, dass weiter Verkehrsteilnehmer z.B. durch Betätigen von Warnblinkern 105 (vgl. 1) des PKW 100 gewarnt werden. Der PKW 100 umfasst weiterhin ein Fahrerassistenzsystem 260. Bei erkanntem reduzierten Aufmerksamkeitsgrad des Fahrers kann eine Fahrerassistenz-Aktion des Fahrerassistenz-Systems 260 ausgelöst werden. Z.B. könnte die Fahrerassistenz-Aktion aus folgender Gruppe ausgewählt sein: Querführung des PKWs 100 zum Folgen der Fahrspur 190; Querführung des PKWs 100 zum Erreichen eines Standstreifens; Abbremsen des PKWs 100; Betätigen des Warnblinkers 105 des PKWs 100.
  • In einer einfachen Implementierung wäre es möglich, dass die Steuereinheit 200 entsprechende Steuersignale an die Fahrer-Warneinrichtung 250 des Fahrerassistenz-Systems 260 zeitgleich nach Erkennen des reduzierten Aufmerksamkeitsgrads des Fahrers sendet. Derart kann besonders zügig eine Wiederherstellung des nicht-reduzierten situationsangepassten Aufmerksamkeitsgrads des Fahrers und eine Entschärfung einer Kritikalität der Fahrtsituation des PKW 100 erreicht werden.
  • Es wäre aber auch möglich, dass z.B. zunächst die Warnung des Fahrers durch die Fahrer-Warneinrichtung 250 erfolgt. Das Auslösen der Fahrerassistenz-Aktion kann selektiv dann erfolgen, wenn trotz Warnung der reduzierte Aufmerksamkeitsgrad des Fahrers für eine vorgegebene weitere Zeitdauer fortbesteht. Insbesondere wäre es möglich, nach dem Warnen des Fahrers zu überprüfen, ob das Augenlid weiterhin geschlossen ist – letzteres kann einen besonders reduzierten Aufmerksamkeitsgrad in Form eines Sekundenschlafs indizieren. In anderen Worten kann das Auslösen der Warnung und der Fahrerassistenz-Aktion also gestaffelt erfolgen.
  • Alternativ oder zusätzlich ist es auch möglich, dass die verschieden Fahrerassistenz-Aktionen und die Warnung gemischt und gestaffelt ausgelöst werden, sofern der reduzierte Aufmerksamkeitsgrad des Fahrers fortbesteht. Z.B. könnte zunächst eine Fahrerassistenz-Aktion zur Querführung des Fahrzeugs ausgelöst werden, um der Fahrspur 190 zu folgen; sofern der reduzierte Aufmerksamkeitsgrad des Fahrers dann noch fortbesteht, kann eine haptische Warnung des Fahrers ausgelöst werden; sofern der reduzierte Aufmerksamkeitsgrad des Fahrers dann noch fortbesteht, kann eine optische Warnung von weiteren Verkehrsteilnehmern durch Betätigen des Warnblinkers 105 erfolgen; sofern der reduzierte Aufmerksamkeitsgrad des Fahrers dann noch fortbesteht, kann ein Bremsvorgang des Fahrzeugs ausgelöst werden. Derart kann erreicht werden, dass zunächst vergleichsweise geringe Eingriffe in verschiedene Betriebsparameter des PKWs 100 vorgenommen werden; bei fortbestehendem reduzieren Aufmerksamkeitsgrad kann eine Intensität des Eingriffs in die verschiedenen Betriebsparameter des PKWs 100 erhöht werden, um derart eine sichere Fahrtsituation und einen nicht-reduzierten Aufmerksamkeitsgrad des Fahrers wiederherzustellen.
  • In 2 sind Sensoren 220 dargestellt. Die Sensoren 220 stellen ein Steuersignal bereit, dass einen Fahrtsituationsparameter der Fahrtsituation, in der sich der Fahrer befindet, und einen Lenkungsparameter einer Lenkung des Fahrzeugs 100 indiziert. Es wäre möglich, dass die Zeitdauer weiterhin in Abhängigkeit von dem Fahrtsituationsparameter und/oder dem Lenkungsparameter und/oder dem Fahrspurparameter bestimmt wird. Der Fahrtsituationsparameter kann z.B. eine Fahrzeit; eine Tageszeit; eine Auslösehäufigkeit eines Fahrerassistenz-Systems; eine Häufigkeit einer Änderung einer Geschwindigkeit des Fahrzeugs; und/oder eine Häufigkeit der Betätigung von Pedalen des Fahrzeugs betreffen. Der Lenkungsparameter kann z.B. eine Genauigkeit, mit welcher der Fahrer der Fahrspur 190 folgt; einen Zeitverlauf einer Betätigung der Lenkung des PKW 100; einen Lenkwinkel; einen Verlauf des Lenkwinkels; eine Lenkwinkelgeschwindigkeit; und/oder ein Lenkmoment bezeichnen. Der Fahrspurparameter kann z.B. eine Zeitdauer bis zum Überschreiten einer Spurmarkierung und/oder eine Distanz zu einer Spurmarkierung bezeichnen.
  • Solche vorher genannten Fahrtsituationsparameter bzw. Lenkungsparameter bzw. Fahrspurparameter können für sich genommen indikativ für den Aufmerksamkeitsgrad des Fahrers sein. Durch zusätzliches Berücksichtigen dieser verschiedenen Fahrtsituationsparameter und/oder Lenkungsparameter und/oder Fahrspurparameter kann ein besonders genaues Überwachen des Aufmerksamkeitsgrads erreicht werden. Insbesondere kann es möglich sein, den Aufmerksamkeitsgrad besonders situationsangepasst zu bestimmen. Z.B. wäre es möglich, dass die Zeitdauer länger (kürzer) bestimmt wird, sofern eine kürzere (längere) Fahrzeit vorliegt; eine ein Zeitpunkt unter Tags (eine Nachtzeit) vorliegt; Fahrerassistenz-Systeme vergleichsweise selten (vergleichsweise häufig) auslösen; die Geschwindigkeit 101 vergleichsweise häufig (selten) verändert wird; die Pedale vergleichsweise häufig (selten) betätigt werden; bzw. eine große (geringe) Umfeldhelligkeit vorliegt.
  • Eine vergleichsweise lange (kurze) Zeitdauer also bestimmt werden, sofern eine hohe (geringe) Aktivität des Fahrers über die Fahrtsituationsparameter und/oder die Lenkungsparameter festgestellt wird. Zusammenfassend kann durch das durch Techniken der Sensorfusion besonders genaue Bestimmen der Aufmerksamkeitsgrad des Fahrers erreicht werden.
  • In 3 ist beispielhaft eine Quantifizierung des Aufmerksamkeitsgrads 302 als Funktion der Lidschlusszeit 301 aufgetragen. Mit einer vertikal gestrichelten Linie ist in 3 die Zeitdauer 330 illustriert. Sofern die Lidschlusszeit die Zeitdauer 330 überschreitet, kann von einem reduzierten Aufmerksamkeitsgrad 302 ausgegangen werden. Sofern der Aufmerksamkeitsgrad 302 besonders reduziert ist, kann Sekundenschlaf 340 angenommen werden (in 3 schraffiert dargestellt).
  • Anstatt der Lidschlusszeit 301 könnte in 3 auch die Lidschließzeit berücksichtigt werden. Dann wäre ggf. die Zeitdauer 330 kürzer zu wählen; dies ist der Fall, da typischerweise vergleichsweise kürzere Lidschließzeiten einen reduzierten Aufmerksamkeitsgrad indizieren.
  • Die Zeitdauer 330 kann z.B. als Funktion der Geschwindigkeit 101 des PKW 100 bestimmt werden (vgl. 4). Größere (kleinere) Geschwindigkeiten 101 können geringeren (größeren) Zeitdauern 330 entsprechen. Es wäre alternativ oder zusätzlich auch möglich, die Zeitdauer 330 in Abhängigkeit des Fahrtsituationsparameters und/oder in Abhängigkeit des Lenkungsparameters und/oder des Fahrspurparameters zu bestimmen.
  • In 5 ist ein Flussdiagramm eines Verfahrens zum Überwachen des Aufmerksamkeitsgrads des Fahrers gemäß verschiedener Aspekte der vorliegenden Erfindung dargestellt. Das Verfahren beginnt in Schritt S1. Zunächst wird in Schritt S2 die Zeitdauer 330 basierend auf der Geschwindigkeit 101 des PKW 100 bestimmt (vgl. 4). Dann wird im Schritt S3 bestimmt, ob die Lidschlusszeit länger als die Zeitdauer 330 ist (vgl. 3). Die Lidschlusszeit 301 kann aus den Bilddaten 120a, die von der Innenraumkamera 120 empfangen werden, ermittelt werden. Ist die Lidschlusszeit 301 länger als die Zeitdauer 330, so wird im Schritt S4 der reduzierte Aufmerksamkeitsgrad des Fahrers erkannt. Anschließend ist es möglich, den Fahrer mittels der Fahrer-Warneinrichtung 250 zu warnen und eine Fahrerassistenz-Aktion mittels des Fahrerassistenz-Systems 260 auszulösen. Es ist möglich, dass verschiedene Warnungen und/oder verschiedene Fahrerassistenz-Aktionen gestaffelt ausgelöst werden, je nachdem, wie lange der reduzierte Aufmerksamkeitsgrad des Fahrers fortbesteht oder in Abhängigkeit davon, ob der Sekundenschlaf 340 erkannt wird. Insbesondere kann in diesem Zusammenhang überprüft werden, ob das Augenlid des Fahrers weiterhin geschlossen ist oder wieder geöffnet wird.
  • Das Verfahren endet in Schritt S5.
  • Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
  • Z.B. wurde voranstehend vornehmlich Bezug auf die Lidschlusszeit genommen. Es wäre aber alternativ oder zusätzlich möglich, das Überwachen des Aufmerksamkeitsgrads auch unter Berücksichtigung der Lidschließzeit durchzuführen.
  • Bezugszeichenliste
    • 100
    Fahrzeug
    101
    Geschwindigkeit des Fahrzeugs
    105
    Warnblinker
    120
    Innenraumkamera
    121
    Blickfeld der Innenraumkamera
    120a
    Bilddaten
    190
    Fahrspur
    200
    Steuergerät
    201
    Recheneinheit
    202
    Schnittstelle
    220
    Sensoren
    250
    Fahrer-Warneinrichtung
    260
    Fahrerassistenzsystem
    301
    Lidschlusszeit
    302
    Aufmerksamkeitsgrad
    330
    Zeitdauer
    340
    Sekundenschlaf
    S1–S5
    Verfahrensschritt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102012001741 A1 [0021]
    • DE 102005057267 A1 [0021]

Claims (10)

  1. Verfahren zum Überwachen eines Aufmerksamkeitsgrads (302) eines Fahrers eines Fahrzeugs (100), wobei das Verfahren umfasst: –Bestimmen einer Zeitdauer (330) basierend auf einer Geschwindigkeit (101) des Fahrzeugs (100), – Empfangen von Bilddaten (120a), die eine Gesichtspartie des Fahrers abbilden, – basierend auf den Bilddaten (120a), Bestimmen, ob eine Lidschlag-Zeit (301) des Fahrers die Zeitdauer (330) überschreitet, – Überwachen des Aufmerksamkeitsgrads (302) des Fahrers in Abhängigkeit von dem Bestimmen, ob die Lidschlag-Zeit (301) die Zeitdauer (330) überschreitet.
  2. Verfahren nach Anspruch 1, wobei das Verfahren weiterhin umfasst: – Erhalten eines Steuersignals, das zumindest eines von einem Fahrtsituationsparameter einer Fahrtsituation, in der sich der Fahrer befindet, einem Lenkungsparameter einer Lenkung, und einem Fahrspurparameter des Fahrzeugs (100) indiziert, wobei das Bestimmen der Zeitdauer (330) weiterhin auf dem erhaltenen Steuersignal basiert.
  3. Verfahren nach Anspruch 2, wobei der Fahrtsituationsparameter aus folgender Gruppe ausgewählt ist: eine Fahrzeit; eine Tageszeit; eine Auslösehäufigkeit eines Fahrerassistenzsystems; eine Häufigkeit einer Änderung der Geschwindigkeit (101) des Fahrzeugs (100); eine Häufigkeit einer Betätigung von Pedalen des Fahrzeugs (100); eine Umfeldhelligkeit.
  4. Verfahren nach Anspruch 2 oder 3, wobei der Lenkungsparameter aus folgender Gruppe ausgewählt ist: eine Genauigkeit, mit welcher der Fahrer einer Fahrspur folgt; ein Zeitverlauf einer Betätigung der Lenkung des Fahrzeugs (100); ein Lenkwinkel; ein Verlauf des Lenkwinkels; eine Lenkwinkelgeschwindigkeit; und ein Lenkmoment; und/oder wobei der Fahrspurparameter aus folgender Gruppe ausgewählt ist: eine Zeitdauer bis zum Überschreiten einer Spurmarkierung; und eine Distanz zu einer Spurmarkierung.
  5. Verfahren nach einem der voranstehenden Ansprüche, wobei das Verfahren weiterhin umfasst: – wenn das Überwachen einen reduzierten Aufmerksamkeitsgrad (302) des Fahrers ergibt: Ausgeben einer akustischen Warnung und/oder einer haptisch Warnung an den Fahrer.
  6. Verfahren nach einem der voranstehenden Ansprüche, – wenn das Überwachen einen reduzierten Aufmerksamkeitsgrad (302) des Fahrers ergibt: Auslösen einer Fahrerassistenz-Aktion eines Fahrerassistenzsystems des Fahrzeug (100).
  7. Verfahren nach Anspruch 6, wobei das Auslösen der Fahrerassistenz-Aktion dann erfolgt, wenn der reduzierte Aufmerksamkeitsgrads (302) des Fahrers für eine vorgegebene weitere Zeitdauer fortbesteht.
  8. Verfahren nach Anspruch 6 oder 7, wobei das Verfahren weiterhin umfasst: – sofern der reduzierte Aufmerksamkeitsgrad (302) fortbesteht, aufeinanderfolgendes Auslösen von zumindest zwei Fahrerassistenz-Aktionen, wobei die zumindest zwei Fahrerassistenz-Aktionen aus folgender Gruppe ausgewählt ist: Querführung des Fahrzeugs (100) zum Folgen einer Fahrspur (190); Querführung des Fahrzeugs (100) zum Erreichen eines Standstreifens; Abbremsen des Fahrzeugs (100); und Betätigen eines Warnblinkers (105) des Fahrzeugs (100).
  9. Steuergerät (200), das eingerichtet ist, um einen Aufmerksamkeitsgrad (302) eines Fahrers eines Fahrzeugs (100) zu überwachen, wobei das Steuergerät (200) umfasst: – eine Schnittstelle (202), wobei die Schnittstelle (202) eingerichtet ist, um Bilddaten (120a), die eine Gesichtspartie des Fahrers abbilden, zu empfangen, – eine Recheneinheit (201), wobei die Recheneinheit (201) eingerichtet ist, um eine Zeitdauer (330) basierend auf einer Geschwindigkeit (101) des Fahrzeugs (100) zu bestimmen, wobei die Recheneinheit (201) weiterhin eingerichtet ist, um basierend auf den Bilddaten (120a) zu bestimmen, ob eine Lidschlag-Zeit (301) des Fahrers die Zeitdauer (330) überschreitet, wobei die Recheneinheit (201) weiterhin eingerichtet ist, um den Aufmerksamkeitsgrads (302) des Fahrers in Abhängigkeit von dem Bestimmen, ob die Lidschlag-Zeit (301) die Zeitdauer (330) überschreitet, zu überwachen.
  10. Steuergerät (200) nach Anspruch 9, wobei das Steuergerät (200) eingerichtet ist, um ein Verfahren nach einem der Ansprüche 1–8 durchzuführen.
DE102014220759.2A 2014-10-14 2014-10-14 Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs Active DE102014220759B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014220759.2A DE102014220759B4 (de) 2014-10-14 2014-10-14 Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
CN201510979083.8A CN105654674B (zh) 2014-10-14 2015-10-14 监测车辆的驾驶员专注度
US14/882,681 US9619721B2 (en) 2014-10-14 2015-10-14 Monitoring a degree of attention of a driver of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014220759.2A DE102014220759B4 (de) 2014-10-14 2014-10-14 Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs

Publications (2)

Publication Number Publication Date
DE102014220759A1 true DE102014220759A1 (de) 2016-04-14
DE102014220759B4 DE102014220759B4 (de) 2019-06-19

Family

ID=55644122

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014220759.2A Active DE102014220759B4 (de) 2014-10-14 2014-10-14 Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs

Country Status (3)

Country Link
US (1) US9619721B2 (de)
CN (1) CN105654674B (de)
DE (1) DE102014220759B4 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016014383A1 (de) * 2016-12-02 2018-06-07 Lucas Automotive Gmbh Erweitertes Fahreraufmerksamkeitsmodul für Fahrerassistenzsysteme
WO2023280825A1 (de) 2021-07-06 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum bestimmen einer hands-off-zeit für ein automatisiertes kraftfahrzeug
CN116504375A (zh) * 2023-06-29 2023-07-28 江西江铃汽车集团改装车股份有限公司 一种救护车智慧管理方法及***

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445603B1 (en) * 2015-12-11 2019-10-15 Lytx, Inc. System for capturing a driver image
JP6365554B2 (ja) * 2016-01-14 2018-08-01 マツダ株式会社 運転支援装置
US10527736B2 (en) * 2016-03-17 2020-01-07 Cm Hk Limited Methods and mobile devices with electric vehicle transportation detection
WO2018009567A1 (en) * 2016-07-05 2018-01-11 Nauto Global Limited System and method for automatic driver identification
CN106652351A (zh) * 2016-11-28 2017-05-10 鲁少辉 一种智能防瞌睡报警器
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
CN106781281A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 一种车辆的提示信息生成方法及车载终端
DE102017205386A1 (de) * 2017-03-30 2018-10-04 Robert Bosch Gmbh Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug
WO2019009804A1 (en) * 2017-07-03 2019-01-10 Gp Network Asia Pte. Ltd. PAYMENT PROCESSING
JP7080598B2 (ja) * 2017-07-21 2022-06-06 ソニーセミコンダクタソリューションズ株式会社 車両制御装置および車両制御方法
CN109388242B (zh) * 2018-09-29 2022-03-15 苏州佳世达光电有限公司 自发性眨眼校正方法及眨眼控制方法
US11238671B2 (en) 2019-04-18 2022-02-01 Honda Motor Co., Ltd. System and method for providing haptic alerts within a vehicle
JP7318475B2 (ja) * 2019-10-10 2023-08-01 マツダ株式会社 運転者状態判定装置
CN110807898A (zh) * 2019-11-04 2020-02-18 中国第一汽车股份有限公司 一种防疲劳驾驶方法及***
CN111559382B (zh) * 2020-05-09 2021-11-02 Oppo广东移动通信有限公司 车辆行驶控制方法及装置
JP2022059196A (ja) * 2020-10-01 2022-04-13 マツダ株式会社 自動車の制御方法及び自動車システム
US11447140B2 (en) 2020-10-20 2022-09-20 Toyota Motor Engineering & Manufacturing North America, Inc. Cognitive tunneling mitigation device for driving

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163281A (en) * 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
DE102005057267A1 (de) 2005-12-01 2007-06-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
DE102008007149A1 (de) * 2007-03-30 2008-10-02 Volkswagen Ag Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
US20090027212A1 (en) * 2007-07-26 2009-01-29 Toyota Jidosha Kabushiki Kaisha Drowsy state determination device and method
US20100214087A1 (en) * 2007-01-24 2010-08-26 Toyota Jidosha Kabushiki Kaisha Anti-drowsing device and anti-drowsing method
US20120212353A1 (en) * 2011-02-18 2012-08-23 Honda Motor Co., Ltd. System and Method for Responding to Driver Behavior
US20130073115A1 (en) * 2011-09-02 2013-03-21 Volvo Technology Corporation System And Method For Improving A Performance Estimation Of An Operator Of A Vehicle
DE102012001741A1 (de) 2012-01-28 2013-08-01 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
US20140210625A1 (en) * 2013-01-31 2014-07-31 Lytx, Inc. Direct observation event triggering of drowsiness
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
US5867587A (en) * 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
DE10223210A1 (de) 2002-05-24 2003-12-04 Stotz Feinmesstechnik Gmbh Verfahren und Vorrichtung zum Alarmieren eines Fahrzeugführers
JP2006248363A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者照明装置、運転者撮影装置および運転者監視装置
DE102005017242A1 (de) 2005-04-14 2006-10-19 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
WO2008088070A1 (ja) * 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
JP4518083B2 (ja) 2007-01-29 2010-08-04 株式会社デンソー 覚醒維持装置
JP4985428B2 (ja) * 2007-02-01 2012-07-25 株式会社デンソー ドライバ管理装置および運行管理システム
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
US7719431B2 (en) * 2007-10-05 2010-05-18 Gm Global Technology Operations, Inc. Systems, methods and computer products for drowsy driver detection and response
EP2262427B1 (de) * 2008-03-11 2012-04-25 Toyota Jidosha Kabushiki Kaisha Schlafsteuerungsvorrichtung und steuerungsverfahren dafür
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
CN101281646A (zh) * 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
DE102008056593B4 (de) 2008-11-10 2014-05-22 Daimler Ag Warnstrategie
CN101732055B (zh) * 2009-02-11 2012-04-18 北京智安邦科技有限公司 驾驶员疲劳检测方法及***
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
US8725311B1 (en) * 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
CN102509418B (zh) * 2011-10-11 2013-11-13 东华大学 一种多传感信息融合的疲劳驾驶评估预警方法及装置
DE102012100698A1 (de) 2012-01-30 2013-08-01 Conti Temic Microelectronic Gmbh Verfahren und Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
TWI498857B (zh) * 2012-09-14 2015-09-01 Utechzone Co Ltd 瞌睡提醒裝置
US8930269B2 (en) * 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163281A (en) * 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
DE102005057267A1 (de) 2005-12-01 2007-06-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
US20100214087A1 (en) * 2007-01-24 2010-08-26 Toyota Jidosha Kabushiki Kaisha Anti-drowsing device and anti-drowsing method
DE102008007149A1 (de) * 2007-03-30 2008-10-02 Volkswagen Ag Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
US20090027212A1 (en) * 2007-07-26 2009-01-29 Toyota Jidosha Kabushiki Kaisha Drowsy state determination device and method
US20120212353A1 (en) * 2011-02-18 2012-08-23 Honda Motor Co., Ltd. System and Method for Responding to Driver Behavior
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US20130073115A1 (en) * 2011-09-02 2013-03-21 Volvo Technology Corporation System And Method For Improving A Performance Estimation Of An Operator Of A Vehicle
DE102012001741A1 (de) 2012-01-28 2013-08-01 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
US20140210625A1 (en) * 2013-01-31 2014-07-31 Lytx, Inc. Direct observation event triggering of drowsiness

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016014383A1 (de) * 2016-12-02 2018-06-07 Lucas Automotive Gmbh Erweitertes Fahreraufmerksamkeitsmodul für Fahrerassistenzsysteme
WO2023280825A1 (de) 2021-07-06 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum bestimmen einer hands-off-zeit für ein automatisiertes kraftfahrzeug
DE102021117350A1 (de) 2021-07-06 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum bestimmen einer hands-off-zeit für ein automatisiertes kraftfahrzeug
CN116504375A (zh) * 2023-06-29 2023-07-28 江西江铃汽车集团改装车股份有限公司 一种救护车智慧管理方法及***
CN116504375B (zh) * 2023-06-29 2023-10-17 江西江铃汽车集团改装车股份有限公司 一种救护车智慧管理方法及***

Also Published As

Publication number Publication date
CN105654674B (zh) 2019-02-22
CN105654674A (zh) 2016-06-08
US9619721B2 (en) 2017-04-11
DE102014220759B4 (de) 2019-06-19
US20160104050A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
DE102014220759B4 (de) Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
EP2620314B1 (de) Vorrichtung und Verfahren zur Überwachung des Betriebs eines Fahrzeugs und Vorrichtung und Verfahren zur Warnung des Fahrers
EP2314489B1 (de) Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
EP2392501B1 (de) Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
EP1796949B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
DE102004022581B4 (de) Fahrerassistenzsystem
DE102011121260A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs bei einem Aufmerksamkeitsverlust mit Hilfe eines Fehlerzählers
DE102013013539A1 (de) Fahrerassistenzsystem und Verfahren zum Betreiben eines Fahrerassistenzsystems
DE102006051930A1 (de) Verfahren und Vorrichtung zur Fahrerzustandserkennung
DE102005062275A1 (de) Verfahren zur Erkennung eines drohenden Heckaufpralls
DE602004010685T2 (de) Erfassung von unbeabsichtigem verlassen der fahrspur
DE102009028451A1 (de) Kollisionsüberwachung für ein Kraftfahrzeug
DE102013210682A1 (de) Verfahren und Fahrerassistenzsystem zur Beurteilung und/oder Aufrechterhaltung der Aufmerksamkeit eines Fahrzeugführers
DE102011085825A1 (de) Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
DE102011077384A1 (de) Vorrichtung und Verfahren zum Warnen eines Fahrers eines Kraftfahrzeugs
DE102008056593A1 (de) Warnstrategie
DE102007027000B4 (de) Spurhalteassistent und Verfahren zum Warnen des Fahrers eines Fahrzeugs
WO2003105108A1 (de) Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
DE102013219447A1 (de) Verfahren zum Betreiben einer Warnvorrichtung eines Fahrzeugs, Warnvorrichtung
DE102019201407A1 (de) Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
DE102012023245A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
DE102016222581A1 (de) Fahrzeugassistenzfunktionen
DE102015206209A1 (de) Verfahren zur Bestimmung einer die Aufmerksamkeit eines Fahrzeugführers abbildenden Maßzahl und Vorrichtung zur Aufmerksamkeitsüberwachung eines Fahrzeugführers
DE112019007195T5 (de) Anzeigesteuerungseinrichtung, anzeigesteuerungsverfahren und anzeigesteuerungsprogramm
EP2933164B1 (de) Informationsverfahren und Informationssystem für den Fahrer eines Kraftfahrzeugs

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final