EP3583540A1 - System und verfahren zur erkennung der müdigkeit eines fahrzeugführers - Google Patents

System und verfahren zur erkennung der müdigkeit eines fahrzeugführers

Info

Publication number
EP3583540A1
EP3583540A1 EP17800733.2A EP17800733A EP3583540A1 EP 3583540 A1 EP3583540 A1 EP 3583540A1 EP 17800733 A EP17800733 A EP 17800733A EP 3583540 A1 EP3583540 A1 EP 3583540A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
pupil diameter
driver
fatigue
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP17800733.2A
Other languages
English (en)
French (fr)
Inventor
Elisabeth Schmidt
Stefan Wiedemann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of EP3583540A1 publication Critical patent/EP3583540A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver

Definitions

  • the present invention relates to a system and method for detecting the fatigue of a driver of a vehicle.
  • a system for accurately detecting the fatigue of a driver of a vehicle comprising:
  • At least one camera for detecting the pupil diameter of the leader of
  • At least one sensor for detecting a timely luminance in the vehicle
  • the vehicle may be, for example, a motor vehicle, a rail vehicle, an aircraft, a watercraft, etc.
  • at least one camera can be arranged, which is designed to recognize the pupil diameter of the driver of the vehicle (also referred to below as the driver).
  • the vehicle may include at least one sensor for detecting a timely luminance in the vehicle. The luminance of a surface determines with which surface brightness the eye of the driver perceives the surface and thus has a direct relation to the optical
  • the vehicle also includes a computing module configured to detect the fatigue of the driver of the vehicle by calculation. The calculation is based on the pupil diameter detected by the at least one camera and the detected, up-to-date luminance in the vehicle.
  • the at least one camera preferably comprises a high-resolution interior camera and / or a high-resolution infrared camera.
  • the at least one camera may include a high-resolution interior camera.
  • the at least one camera may comprise a high-resolution infrared camera.
  • the pupil diameter can still be determined very precisely even in very poor lighting conditions in the vehicle.
  • the high-resolution interior camera and the high-resolution infrared camera can be implemented in a camera module. In another example, these may be implemented in different camera modules.
  • the at least one camera can be any and / or suitable numerical combination
  • Indoor cameras and / or infrared cameras include.
  • the at least one sensor for detecting the up-to-date luminance in the vehicle comprises a sensor for the automatic driving light control, AFL sensor.
  • the luminance x [cd / m 2 ] is the quotient of light intensity I [cd] and the visible illuminated area [m 2 ].
  • the light intensity I [cd] is the product on the illuminance E [Ix] and the squared distance r [m] between the illuminated surface and the eye.
  • the conversion can be done for example by the computing module or any other suitable module with appropriate computing capacity in the vehicle.
  • such an AFL sensor already installed in the vehicle in addition to the automatic driving light control of the vehicle can be used for detecting the current luminance x, so that there is no need for an additional sensor for detecting the current luminance in the vehicle.
  • the detection of the fatigue of the driver of the vehicle by the computing module comprises:
  • Pupil diameter; and / or a sensor for high beam regulation can be corrected.
  • the calculation of the pupil diameter D x in [mm] with respect to the detected, current luminance x can be calculated, for example, by the following formula: ⁇ _ ⁇ Q 0.8558-0.000401 + 8.4) 3
  • the detected pupil diameter D xy indicates the pupil diameter of the driver with respect to the current luminance x and the fatigue of the driver y and can be represented as follows:
  • the calculation of the fatigue of the driver of the vehicle by the computing unit may include appropriate correction factors.
  • a correction factor with respect to the speed of reduction of the pupil diameter of the driver can be introduced or used, for example, by a temporal derivative of the pupil diameter of the driver. For example, if the pupil diameter of the driver decreases very rapidly, then the cause is a sudden incidence of light, and the detection of the
  • the pupil diameter of the driver slowly over time (see Figure 3 and Figure 4), then the detection of fatigue by the computing module.
  • the correction factor can result, for example, from the following formula:
  • ⁇ is the constriction of the pupil diameter due to the incidence of light
  • the computing module may also be previously for the driver
  • the up-to-date luminance x can be corrected or regulated by the automatic high beam light sensor.
  • the sensor for automatic high beam light control for example, at night driving an oncoming vehicle with the light on. From this, a correction factor for influencing the pupil diameter of the driver by the light of oncoming vehicles can be taken into account.
  • the correction factor may include suspending the driver's fatigue calculation by the computing module when the oncoming vehicle is oncoming light detected by the automatic high beam light sensor.
  • the computing module may take into account other correction factors in the calculation of the driver's fatigue, e.g. Day and / or seasons and / or current weather conditions in connection with the vehicle orientation.
  • Vehicle orientation can be determined, for example, by a navigation system in the vehicle, with data relating to the daily and / or seasons and current
  • Weather conditions can be obtained from a storage unit in the vehicle and / or one or more (backend) servers.
  • the system further comprises:
  • the control unit is set up to initiate at least a corresponding countermeasure when the driver of the vehicle detects tiredness.
  • the countermeasure may be an optical (eg via a
  • Output unit in the vehicle and / or acoustic (for example via a speaker in the vehicle) and / or to reduce the interior temperature, for example by a
  • the underlying object is achieved by a method for accurately detecting the fatigue of a driver of a vehicle, comprising:
  • the at least one camera preferably comprises a high-resolution interior camera and / or a high-resolution infrared camera.
  • the at least one sensor for detecting the up-to-date luminance in the vehicle comprises a sensor for the automatic driving light control, AFL sensor.
  • the detection of the fatigue of the driver of the vehicle by the computing module comprises:
  • the method preferably includes initiating, by means of at least one control unit, a countermeasure when fatigue is detected.
  • Fig. 1 shows an exemplary system for the exact detection of fatigue of a
  • Fig. 2 shows an exemplary method for the exact detection of fatigue
  • Fig. 3 shows a decrease in the pupil diameter of subjects at
  • FIG. 4 shows an exemplary decrease of the pupil diameter of subjects during monotonous driving and constant light conditions with time as well as the positive influence of an external stimulus on the fatigue of the person
  • FIG. 1 shows an exemplary system 100 for the exact detection of the tiredness of a driver 120 of a vehicle 110 (hereinafter also referred to as driver 120).
  • the vehicle 110 may be, for example, a motor vehicle, a rail vehicle, an aircraft, a watercraft, etc.
  • the system 100 includes at least one camera 1 12 for detecting the pupil diameter of the driver 120.
  • the at least one camera 1 12 can include a high-resolution indoor camera.
  • the pupil diameter of the driver 120 can be determined very accurately by means of a high-resolution interior camera.
  • the at least one camera 12 may comprise a high-resolution infrared camera.
  • the pupil diameter of the driver 120 can still be determined very accurately even in very poor light conditions (eg darkness, tunnels, etc.) in the vehicle 110.
  • the high-resolution interior camera and the high-resolution infrared camera can be implemented in a camera module. In another example, these may be implemented in different camera modules.
  • the at least one camera 12 may comprise any desired and / or suitable numerical combination of interior cameras and / or infrared cameras.
  • the system 100 also includes at least one sensor 1 16 A for detecting a
  • the luminance (of a surface in the vehicle 1 10) determines the surface brightness with which the eye of the driver 120 perceives the surface and thus has a direct relation to the visual sensory perception.
  • the at least one sensor 1 16 A for detecting the timely luminance in the vehicle 1 10 may include a sensor for the automatic driving light control, AFL sensor 1 16 A.
  • the sensor for the automatic driving light control (AFL sensor) 1 16 A for example, a timely luminance x detect.
  • AFL sensor 1 16 A is configured to detect illuminance on the vehicle surroundings (ie, which luminous flux in lumens, Im, falls on a unit area surrounding the vehicle in m 2 , also Lux,
  • the luminance x [cd / m 2 ] is the quotient of light intensity I [cd] and the visible illuminated area [m 2 ].
  • the light intensity I [cd] is the product on the illuminance E [Ix] and the squared distance r [m] between the illuminated surface and the eye.
  • the conversion can for example be done by the computing module 1 14, see below, or any other suitable module (not shown) with corresponding computing capacity in the vehicle 1 10.
  • such an AFL sensor 1 16 A already installed in the vehicle 1 10 can be used for detecting the current luminance x, so that there is no additional sensor for detecting the timely luminance in the vehicle 1 10 needs.
  • the system 100 may further comprise at least one calculation module 1 14 for detecting the fatigue of the driver of the vehicle 120 by calculation, wherein the calculation based on the detected pupil diameter and the detected, timely luminance in the vehicle 1 10.
  • the computing module 1 14 may perform the calculation based on the detected by the at least one camera 1 12 pupil diameter of the driver 120 and the detected by the at least one sensor 1 16 A, timely luminance in the vehicle 1 10. In particular, the computing module 1 14, the calculation of the
  • the pupil diameter D xy detected by the at least one camera 12 indicates the pupil diameter of the driver 120 with reference to the current luminance x and the fatigue of the driver y and can be represented as follows:
  • a comparison of the pupil diameter detected by the at least one camera 12 with the pupil diameter calculated by the computing module 1 14 can be compared
  • the calculation of the fatigue of the driver 120 of the vehicle 1 10 by the computing unit 1 14 may include appropriate correction factors. For example, a
  • Correction factor with respect to the speed of reduction of the pupil diameter of the driver 120 may be introduced or used, for example, by taking a time derivative of the pupil diameter of the driver 120. For example, if the pupil diameter of the driver 120 decreases very rapidly, then the cause is a sudden one
  • the fatigue detection is performed by the computing module 1 14.
  • the correction factor can result, for example, from the following formula:
  • the computing module 1 14 can also be used for data previously stored for the driver 120 (for example in a memory unit 1 18 in the vehicle 1 10)
  • the up-to-the-minute luminance x can be corrected or regulated by the automatic highbeam control sensor 1 16 B
  • the sensor for automatic high beam regulation 1 16 B for example, a night driving
  • the correction factor may be detected by the sensor for automatic high beam regulation 1 16 B,
  • Oncoming vehicle with the light on the suspension of the calculation of the fatigue of the driver 120 by the computing module 1 14 include.
  • Calculation module 1 14 take into account further correction factors in the calculation of the driver's fatigue 120, e.g. Daily and / or seasons and / or current
  • the vehicle orientation can be determined, for example, by a navigation system in the vehicle, wherein data relating to the times of day and / or seasons and current weather conditions can be obtained from a memory unit 118 in the vehicle 110 and / or from one or more (backend) servers 130 ,
  • the system 100 may further comprise at least one control unit 118, wherein the
  • Control unit 1 18 is set to initiate at least recognized a corresponding countermeasure if fatigue of the driver 120 or driver 120 of the vehicle 1 10 detected.
  • the countermeasure may be an optical (e.g.
  • Vehicle 1 10 act, as exemplified below with reference to Figures 3 and 4 explained.
  • FIG. 2 shows an exemplary method 200 for the exact detection of the fatigue of a driver 120 of a vehicle 110 (hereinafter also referred to as driver 120), wherein the
  • Method steps can be performed by a system 100 as described with reference to Figure 1, and the method steps can be carried out as described with reference to Figure 1.
  • the method comprises:
  • Detecting 210 by at least one camera 1 12, the pupil diameter of the guide 120 of the vehicle 1 10, wherein the at least one camera 1 12 may include a high-resolution interior camera and / or a high-resolution infrared camera.
  • Detect 230 by calculation in a computing module 1 14, if there is fatigue of the driver 120 of the vehicle 1 10, wherein the calculation based on the at least one camera 1 12 detected pupil diameter and the detected, timely luminance in the vehicle 1 10.
  • Detecting 230 the fatigue of the driver 120 of the vehicle 1 10 (or driver 120) by the computing module 14 may include:
  • the method may also include initiating 240, by at least one control unit 118, a countermeasure of fatigue 236 detected by the computing module 1 14, as described with reference to FIGS. 3 and 4, for example.
  • FIG. 3 shows a decrease in the average pupil diameter in millimeters (mm) 310 of subjects during monotonous travel over time in minutes (min) 320, whereby the subjects were confronted with external stimuli at specific times, in particular in minutes 5, 10 and 27 ,
  • mm millimeters
  • min minutes
  • FIGS. 3 and 4 show a decrease in the average pupil diameter in millimeters (mm) 310 of subjects during monotonous travel over time in minutes (min) 320, whereby the subjects were confronted with external stimuli at specific times, in particular in minutes 5, 10 and 27 .
  • Pupil diameters in minutes 5, 10 and 27 were created in particular by verbal questioning of the subjects during the test drives in the simulator. In particular, this involves the evaluation or results of a driving simulator study. It thus turns out that a cognitive effort, such as the answer to questions, a widening of the pupil diameter and thus an increased alertness or an increased
  • Attention level includes.
  • FIG. 4 shows an exemplary decrease in the diameter of the pupil in mm 410 of subjects during monotonous driving with time in min 420.
  • the positive influence of an external stimulus on the fatigue of the subjects is shown as of minute 20 as the result of another driving simulator study.
  • the pupil diameter is very well suited as indicator for the tiredness or vigilance of drivers, as long as the lighting conditions are constant.
  • the system 100 and method 200 described with reference to FIGS. 1 and 2 now permit accurate detection of the fatigue of drivers 120 by taking into account non-constant lighting conditions related to the pupil diameter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Die vorliegende Erfindung umfasst ein System zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs. Das System umfasst zumindest eine Kamera zur Erfassung des Pupillendurchmessers des Führers des Fahrzeugs; zumindest einen Sensor zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug; und zumindest ein Rechenmodul zur Erkennung der Müdigkeit des Führers des Fahrzeugs durch Berechnung, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert.

Description

System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers
Die vorliegende Erfindung betrifft ein System und Verfahren zur Erkennung der Müdigkeit eines Führers eines Fahrzeugs.
Es ist bekannt, dass Führer von Fahrzeugen bzw. Fahrzeugführer eine besonders hohe
Daueraufmerksamkeit (Vigilanz) aufweisen müssen. Fällt die Höhe der Aufmerksamkeit des Fahrzeugführers, beispielsweise aufgrund von Müdigkeit durch Schlafmangel und/oder eine monotone Fahrsituation, so erhöht sich das Unfallrisiko und stellt somit für den Fahrzeugführer und andere Verkehrsteilnehmer ein Risiko dar. Dabei kann es Führern von Fahrzeugen selbst bei Tag-Fahrten schwerfallen, eine Daueraufmerksamkeit hinsichtlich des Fahrzeugführens aufrechtzuerhalten. Dies trifft insbesondere bei langen und monotonen Fahrstrecken wie z.B. Autobahnfahrten zu. Eine Herausforderung bei Systemen zur Müdigkeitserkennung eines Führers eines Fahrzeugs liegt darin, sicher zu erkennen, wann sich beim Fahrer eine Müdigkeit einstellt. Wird die Müdigkeit fälschlicher Weise erkannt (d.h. die Vigilanz des Führers des
Fahrzeugs ist vorhanden), so sind entsprechende Maßnahmen für den Fahrzeugführer höchst unkomfortabel. Wird eine Müdigkeit bzw. eine Verringerung der Vigilanz hingegen fälschlicher Weise nicht erkannt, so stellt dies eine Gefahr für den Fahrzeugführer und die beteiligten Verkehrsteilnehmer dar.
Die Aufgabe der Erfindung besteht darin, die vorstehend genannten Nachteile zu vermeiden und eine Lösung zu schaffen, die eine exakte Erkennung der Müdigkeit des Führers eines
Fahrzeugs ermöglicht. Diese Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Gemäß einem ersten Aspekt wird ein System zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs, umfassend:
zumindest eine Kamera zur Erfassung des Pupillendurchmessers des Führers des
Fahrzeugs;
zumindest einen Sensor zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug; und
l zumindest ein Rechenmodul zur Erkennung der Müdigkeit des Führers des Fahrzeugs durch Berechnung, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert. Bei dem Fahrzeug kann es sich beispielsweise um ein Kraftfahrzeug, ein Schienenfahrzeug, ein Flugzeug, ein Wasserfahrzeug etc. handeln. Im Fahrzeug kann zumindest eine Kamera angeordnet sein, die ausgelegt ist, den Pupillendurchmesser des Führers des Fahrzeugs (im Folgenden auch Fahrer genannt) zu erkennen. Darüber hinaus kann das Fahrzeug zumindest einen Sensor zur Erkennung einer zeitaktuellen Leuchtdichte im Fahrzeug umfassen. Die Leuchtdichte einer Fläche bestimmt, mit welcher Flächenhelligkeit das Auge des Fahrers die Fläche wahrnimmt und hat somit einen unmittelbaren Bezug zur optischen
Sinneswahrnehmung. Das Fahrzeug umfasst zudem ein Rechenmodul, welches eingerichtet ist, die Müdigkeit des Führers des Fahrzeugs durch Berechnung zu erkennen. Die Berechnung basiert auf dem durch die zumindest eine Kamera erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug.
Vorzugsweise umfasst die zumindest eine Kamera eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera. Die zumindest eine Kamera kann eine hochauflösende Innenraumkamera umfassen.
Vorteilhafter Weise kann durch eine hochauflösende Innenraumkamera der
Pupillendurchmesser sehr exakt bestimmt werden. Zudem oder alternativ dazu kann die zumindest eine Kamera eine hochauflösende Infrarotkamera umfassen. Vorteilhafter Weise kann so der Pupillendurchmesser auch bei sehr schlechten Lichtverhältnissen im Fahrzeug immer noch sehr exakt bestimmt werden. Die hochauflösende Innenraumkamera und die hochauflösende Infrarotkamera können in einem Kameramodul realisiert sein. In einem anderen Beispiel können diese in verschiedenen Kameramodulen realisiert sein. Die zumindest eine Kamera kann eine beliebige und/oder geeignete, zahlenmäßige Kombination aus
Innen raumkameras und/oder Infrarotkameras umfassen.
Vorzugsweise umfasst der zumindest eine Sensor zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor. Der Sensor für die automatische Fahrlichtsteuerung (AFL-Sensor) kann beispielsweise eine zeitaktuelle Leuchtdichte x erfassen. Falls der AFL-Sensor beispielsweise eingerichtet ist, eine Beleuchtungsstärke E auf die Fahrzeugumgebung zu erfassen (d.h. welcher Lichtstrom in Lumen, Im, auf eine das Fahrzeug umgebene Flächeneinheit in m2 fällt, auch Lux, Ix, genannt: l lx = 1 ^), kann eine entsprechende Umrechnung zunächst in die Lichtstärke in cd und daraufhin in die (zeitaktuelle) Leuchtdichte x in cd/m2 erfolgen.
/ E - r2
X = Ä =—
Hierbei ist die Leuchtdichte x [cd/m2] der Quotient aus Lichtstärke I [cd] und der sichtbaren beleuchteten Fläche [m2]. Die Lichtstärke I [cd] ist das Produkt auf der Beleuchtungsstärke E [Ix] und des quadrierten Abstands r [m] zwischen beleuchteter Fläche und dem Auge. Die
Parameter A und r sind maßgeblich bestimmt von der Größe der Windschutzscheibe und des Abstands zwischen Auge und Windschutzscheiben und bewegen sich im Bereich A=1 ,5m-2,5m und r=0,5m-0,9m. Die Umrechnung kann beispielsweise durch das Rechenmodul oder jedes andere geeignete Modul mit entsprechender Rechenkapazität im Fahrzeug erfolgen. Vorteilhafter Weise kann so ein bereits im Fahrzeug verbauter AFL-Sensor (zusätzlich zur automatischen Fahrlichtsteuerung des Fahrzeugs) zur Erfassung der zeitaktuellen Leuchtdichte x verwendet werden, so dass es keines zusätzlichen Sensors zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug bedarf.
Vorzugsweise umfasst die Erkennung der Müdigkeit des Führers des Fahrzeugs durch das Rechenmodul:
Berechnung des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle
Leuchtdichte;
Vergleich des erfassten Pupillendurchmessers mit dem berechneten
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3mm; k+1 ,4mm] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:
Erkennung der Müdigkeit des Führers des Fahrzeugs,
wobei die Erkennung der Müdigkeit des Führers des Fahrzeugs durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung korrigiert werden kann. Die Berechnung des Pupillendurchmessers Dx in [mm] mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte x kann beispielsweise durch die folgende Formel berechnet werden: ß _ ^Q 0,8558-0,000401 +8,4)3
Diese Berechnung gilt allerdings lediglich den Pupillendurchmesser mit Bezug auf die zeitaktuelle Leuchtdichte x (d.h. ohne weitere Einflussfaktoren) an.
Der erfasste Pupillendurchmesser Dx y hingegen gibt den Pupillendurchmesser des Fahrers mit Bezug auf die zeitaktuelle Leuchtdichte x und die Müdigkeit des Fahrers y an und kann folgendermaßen dargestellt werden:
Γ) _ -^ g0,8558-0,00040l(iO5X+8,4)3 _ . y
Es gilt nun Folgendes:
Falls
Dx— Dx y > [k— 0,3mm; k + 1,4mm], wobei k = 0,6mm; dann liegt eine Müdigkeit des Fahrers vor. Um eine besonders exakte Feststellung der Müdigkeit zu erzielen und somit einen Fehlalarm bei der Müdigkeitserkennung zu vermeiden, kann bevorzugt die Müdigkeit für [k - 0,1mm; k + 1,4mm] ermittelt werden.
Die Berechnung der Müdigkeit des Fahrers des Fahrzeugs durch die Recheneinheit kann dabei angemessene Korrekturfaktoren umfassen. Beispielsweise kann ein Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers des Fahrers eingeführt bzw. verwendet werden, indem beispielsweise eine zeitliche Ableitung des Pupillendurchmessers des Fahrers erfolgt. Verringert sich der Pupillendurchmesser des Fahrers beispielsweise sehr schnell, dann liegt die Ursache an einem plötzlichen Lichteinfall, und die Erkennung der
Müdigkeit durch das Rechenmodul erfolgt nicht. Reduziert sich hingegen der
Pupillendurchmesser des Fahrers langsam im Laufe der Zeit (vgl. Figur 3 und Figur 4), dann erfolgt die Erkennung der Müdigkeit durch das Rechenmodul.
Der Korrekturfaktor kann sich beispielsweise aus folgender Formel ergeben:
AD mm
wenn—— > —0,05 , dann ist die Verengung des Pupillendurchmessers müdigkeitsbedingt AD mm
wenn— < —0,05 , άαηη ist die Verengung des Pupillendurchmessers bedingt durch Lichteinfall wobei
D = erfasster Pupillendurchmesser des Fahrers 120 ;
t = Zeit(punkt);
AD _ D2 - £>!
At ~ t2 - t '
also die Differenz des durch die Kamera erfassten Pupillendurchmesser D2 zum Zeitpunkt t2 und des durch die Kamera erfassten Pupillendurchmessers Di zum Zeitpunkt ti im Verhältnis zum Abstand des Zeitpunktes t2 zum Zeitpunkt ti . In einem weiteren Beispiel kann das Rechenmodul zudem auf vorher für den Fahrer
(beispielsweise in einer Speichereinheit im Fahrzeug) hinterlegte Daten zum
Pupillendurchmesser bei Wachheit und/oder bei Müdigkeit zugreifen, um die Berechnung der Müdigkeit des Fahrers weiter zu präzisieren. Zusätzlich oder alternativ dazu kann die zeitaktuelle Leuchtdichte x durch den Sensor zur automatischen Fernlichtregulierung korrigiert bzw. reguliert werden. Vorteilhafter Weise kann durch die Verwendung des Sensors zur automatischen Fernlichtregulierung beispielsweise bei Nachtfahrten ein entgegenkommendes Fahrzeug mit eingeschaltetem Licht erkannt werden. Daraus kann ein Korrekturfaktor zur Beeinflussung des Pupillendurchmessers des Fahrers durch das Licht entgegenkommender Fahrzeuge berücksichtigt werden. Bei dem Korrekturfaktor kann es sich bei durch den Sensor zur automatischen Fernlichtregulierung erkanntem, entgegenkommendem Fahrzeug mit eingeschaltetem Licht die Aussetzung der Berechnung der Müdigkeit des Fahrers durch das Rechenmodul umfassen. Optional kann das Rechenmodul noch weitere Korrekturfaktoren bei der Berechnung der Müdigkeit des Fahrers berücksichtigen, z.B. Tages- und/oder Jahreszeiten und/oder aktuelle Wetterbedingungen in Verbindung mit der Fahrzeugorientierung. Die
Fahrzeugorientierung kann beispielsweise durch ein Navigationssystem im Fahrzeug ermittelt werden, wobei Daten hinsichtlich der Tages- und/oder Jahreszeiten sowie aktuelle
Wetterbedingungen aus einer Speichereinheit im Fahrzeug und/oder von ein oder mehreren (Backend-) Servern bezogen werden können. Vorzugsweise umfasst das System zudem:
zumindest eine Steuereinheit, wobei die Steuereinheit eingerichtet ist, bei erkannter Müdigkeit des Führers des Fahrzeugs zumindest eine entsprechende Gegenmaßnahme einzuleiten. Beispielsweise kann es sich bei der Gegenmaßnahme um ein optisches (z.B. über eine
Ausgabeeinheit im Fahrzeug) und/oder akustisches (z.B. über einen Lautsprecher im Fahrzeug) und/oder um eine Verringerung der Innenraumtemperatur beispielsweise durch eine
entsprechende Temperaturregelung über die Klimaanlage im Fahrzeug handeln.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird die zugrunde liegende Aufgabe durch ein Verfahren zur exakten Erkennung der Müdigkeit eines Führers eines Fahrzeugs gelöst, umfassend:
Erfassen, durch zumindest eine Kamera, des Pupillendurchmessers des Führers des
Fahrzeugs;
Erfassen, durch zumindest einen Sensor, einer zeitaktuellen Leuchtdichte im Fahrzeug; und
Erkennen, durch Berechnung in einem Rechenmodul, ob eine Müdigkeit des Führers des Fahrzeugs vorliegt, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug basiert.
Vorzugsweise umfasst die zumindest eine Kamera eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera.
Vorzugsweise umfasst der zumindest eine Sensor zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor.
Vorzugsweise umfasst die Erkennung der Müdigkeit des Führers des Fahrzeugs durch das Rechenmodul:
Berechnen des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle
Leuchtdichte;
Vergleichen des erfassten Pupillendurchmessers mit dem berechneten
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:
Erkennen der Müdigkeit des Führers des Fahrzeugs; wobei das Erkennen der Müdigkeit des Führers des Fahrzeugs durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung korrigiert werden kann. Vorzugsweise umfasst das Verfahren Zudem ein Einleiten, durch zumindest eine Steuereinheit, einer Gegenmaßnahme bei erkannter Müdigkeit.
Diese und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus dem Studium der folgenden detaillierten Beschreibung bevorzugter Ausführungsformen und der beiliegenden Figuren verdeutlicht. Es ist ersichtlich, dass - obwohl Ausführungsformen separat beschrieben werden - einzelne Merkmale daraus zu zusätzlichen Ausführungsformen kombiniert werden können.
Fig. 1 zeigt ein beispielhaftes System zur exakten Erkennung der Müdigkeit eines
Führers eines Fahrzeugs;
Fig. 2 zeigt ein beispielhaftes Verfahren zur exakten Erkennung der Müdigkeit
eines Führers eines Fahrzeugs;
Fig. 3 zeigt eine Abnahme des Pupillendurchmessers von Probanden bei
monotoner Fahrt mit der Zeit bei konstanten Lichtverhältnissen, wobei die Probanden zu bestimmten Zeitpunkten mit äußeren Reizen konfrontiert waren;
Fig. 4 zeigt eine beispielhafte Abnahme des Pupillendurchmessers von Probanden bei monotoner Fahrt und konstanten Lichtverhältnissen mit der Zeit sowie den positiven Einfluss eines äußeren Reizes auf die Müdigkeit der
Probanden.
Figur 1 zeigt ein beispielhaftes System 100 zur exakten Erkennung der Müdigkeit eines Führers 120 eines Fahrzeugs 1 10 (im Folgenden auch Fahrer 120 genannt). Bei dem Fahrzeug 1 10 kann es sich beispielsweise um ein Kraftfahrzeug, ein Schienenfahrzeug, ein Flugzeug, ein Wasserfahrzeug etc. handeln. Das System 100 umfasst zumindest eine Kamera 1 12 zur Erfassung des Pupillendurchmessers des Fahrers 120. Die zumindest eine Kamera 1 12 kann eine hochauflösende Innenraumkamera umfassen. Vorteilhafter Weise kann durch eine hochauflösende Innenraumkamera der Pupillendurchmesser des Fahrers 120 sehr exakt bestimmt werden. Zudem oder alternativ dazu kann die zumindest eine Kamera 1 12 eine hochauflösende Infrarotkamera umfassen. Vorteilhafter Weise kann so der Pupillendurchmesser des Fahrers 120 auch bei sehr schlechten Lichtverhältnissen (z.B. Dunkelheit, Tunnel, ...) im Fahrzeug 1 10 immer noch sehr exakt bestimmt werden. Die hochauflösende Innenraumkamera und die hochauflösende Infrarotkamera können in einem Kameramodul realisiert sein. In einem anderen Beispiel können diese in verschiedenen Kameramodulen realisiert sein. Die zumindest eine Kamera 1 12 kann eine beliebige und/oder geeignete, zahlenmäßige Kombination aus Innenraumkameras und/oder Infrarotkameras umfassen.
Das System 100 umfasst zudem zumindest einen Sensor 1 16 A zur Erfassung einer
zeitaktuellen Leuchtdichte im Fahrzeug 100. Die Leuchtdichte (einer Fläche im Fahrzeug 1 10) bestimmt, mit welcher Flächenhelligkeit das Auge des Fahrers 120 die Fläche wahrnimmt und hat somit einen unmittelbaren Bezug zur optischen Sinneswahrnehmung. Der zumindest eine Sensor 1 16 A zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug 1 10 kann einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor 1 16 A umfassen.
Der Sensor für die automatische Fahrlichtsteuerung (AFL-Sensor) 1 16 A kann beispielsweise eine zeitaktuelle Leuchtdichte x erfassen. Falls der AFL-Sensor 1 16 A beispielsweise eingerichtet ist, eine Beleuchtungsstärke auf die Fahrzeugumgebung zu erfassen (d.h. welcher Lichtstrom in Lumen, Im, auf eine das Fahrzeug umgebene Flächeneinheit in m2 fällt, auch Lux,
Ix, genannt: l lx = 1 ^), kann eine entsprechende Umrechnung zunächst in die Lichtstärke in cd und schließlich in die (zeitaktuelle) Leuchtdichte x in cd/m2 erfolgen.
/ E - r2
=— =——
A A
Hierbei ist die Leuchtdichte x [cd/m2] der Quotient aus Lichtstärke I [cd] und der sichtbaren beleuchteten Fläche [m2]. Die Lichtstärke I [cd] ist das Produkt auf der Beleuchtungsstärke E [Ix] und des quadrierten Abstands r [m] zwischen beleuchteter Fläche und dem Auge. Die
Parameter A und r sind maßgeblich bestimmt von der Größe der Windschutzscheibe und des Abstands zwischen Auge und Windschutzscheiben und bewegen sich im Bereich A=1 ,5m-2,5m und r=0,5m-0,9m. Die Umrechnung kann beispielsweise durch das Rechenmodul 1 14, siehe unten, oder jedes andere geeignete Modul (nicht gezeigt) mit entsprechender Rechenkapazität im Fahrzeug 1 10 erfolgen. Vorteilhafter Weise kann so ein bereits im Fahrzeug 1 10 verbauter AFL-Sensor 1 16 A (zusätzlich zur automatischen Fahrlichtsteuerung des Fahrzeugs 1 10) zur Erfassung der zeitaktuellen Leuchtdichte x verwendet werden, so dass es keines zusätzlichen Sensors zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug 1 10 bedarf.
Das System 100 kann zudem zumindest ein Rechenmodul 1 14 zur Erkennung der Müdigkeit des Führers des Fahrzeugs 120 durch Berechnung umfassen, wobei die Berechnung auf dem erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 1 10 basiert. Das Rechenmodul 1 14 kann die Berechnung basierend auf dem durch die zumindest eine Kamera 1 12 erfassten Pupillendurchmesser des Fahrers 120 sowie der durch den zumindest einen Sensor 1 16 A erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 1 10 durchführen. Insbesondere kann das Rechenmodul 1 14 die Berechnung des
Pupillendurchmessers Dx in [mm] mit Bezug auf die erfasste, zeitaktuelle Leuchtdichte x beispielsweise unter Bezugnahme der folgenden Formel durchführen:
ß _ ^Q 0,8558-0,000401 +8,4)3
Diese Berechnung gilt allerdings lediglich den Pupillendurchmesser mit Bezug auf die zeitaktuelle Leuchtdichte x (d.h. ohne weitere Einflussfaktoren wie die Müdigkeit des Fahrers 120) an.
Der durch die zumindest eine Kamera 1 12 erfasste Pupillendurchmesser Dx y hingegen gibt den Pupillendurchmesser des Fahrers 120 mit Bezug auf die zeitaktuelle Leuchtdichte x und die Müdigkeit des Fahrers y an und kann folgendermaßen dargestellt werden:
D = - Q0,8558-0,00040l +8,4)3 _ . y
In einem nächsten Schritt kann ein Vergleich des durch die zumindest eine Kamera 1 12 erfassten Pupillendurchmessers mit dem durch das Rechenmodul 1 14 berechneten
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte erfolgen. Falls der durch die zumindest eine Kamera 1 12 erfasste Pupillendurchmesser mehr als einen Bereich [k-0,3mm; k+1 ,4mm] einer konstante k=0,6mm geringer ist als der berechnete
Pupillendurchmesser, d.h. falls
Dx— Dx y > [k— 0,3mm; k + 1,4mm], wobei k = 0,6mm; Dann wird die Müdigkeit des Fahrers 120 des Fahrzeugs 1 10 erkannt. Um eine besonders exakte Feststellung der Müdigkeit zu erhalten und somit einen Fehlalarm bei der
Müdigkeitserkennung zu vermeiden, kann bevorzugt die Müdigkeit für [k - 0,1mm; k +
1,4mm], wobei k = 0,6mm ermittelt werden.
Die Berechnung der Müdigkeit des Fahrers 120 des Fahrzeugs 1 10 durch die Recheneinheit 1 14 kann dabei angemessene Korrekturfaktoren umfassen. Beispielsweise kann ein
Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers des Fahrers 120 eingeführt bzw. verwendet werden, indem beispielsweise eine zeitliche Ableitung des Pupillendurchmessers des Fahrers 120 erfolgt. Verringert sich der Pupillendurchmesser des Fahrers 120 beispielsweise sehr schnell, dann liegt die Ursache an einem plötzlichen
Lichteinfall, und die Erkennung der Müdigkeit durch das Rechenmodul 1 14 erfolgt nicht.
Reduziert sich hingegen der Pupillendurchmesser des Fahrers 120 langsam im Laufe der Zeit (vgl. Figur 3 und Figur 4), dann erfolgt die Erkennung der Müdigkeit durch das Rechenmodul 1 14.
Der Korrekturfaktor kann sich beispielsweise aus folgender Formel ergeben:
AD mm
wenn— > —0,05 , dann ist die Verengung des Pupillendurchmessers müdigkeitsbedingt
AD mm
wenn— < —0,05 , dann ist die Verengung des Pupillendurchmessers bedingt durch Lichteinfall wobei
D = erfasster Pupillendurchmesser des Fahrers 120;
t = Zeit(punkt);
AD D2 - D1
~Ät ~ t2 - tt '
also die Differenz des durch die Kamera erfassten Pupillendurchmesser D2 zum Zeitpunkt .2 und des durch die Kamera erfassten Pupillendurchmessers Di zum Zeitpunkt ti im Verhältnis zum Abstand des Zeitpunktes t2 zum Zeitpunkt ti.
In einem weiteren Beispiel kann das Rechenmodul 1 14 zudem auf vorher für den Fahrer 120 (beispielsweise in einer Speichereinheit 1 18 im Fahrzeug 1 10) hinterlegte Daten zum
Pupillendurchmesser bei Wachheit und/oder bei Müdigkeit zugreifen, um die Berechnung der Müdigkeit des Fahrers 120 weiter zu präzisieren. Zusätzlich oder alternativ dazu kann die zeitaktuelle Leuchtdichte x durch den Sensor zur automatischen Fernlichtregulierung 1 16 B korrigiert bzw. reguliert werden. Vorteilhafter Weise kann durch die Verwendung des Sensors zur automatischen Fernlichtregulierung 1 16 B beispielsweise bei Nachtfahrten ein
entgegenkommendes Fahrzeug mit eingeschaltetem Licht erkannt werden. Daraus kann ein Korrekturfaktor zur Beeinflussung des Pupillendurchmessers des Fahrers 120 durch das Licht entgegenkommender Fahrzeuge berücksichtigt werden. Bei dem Korrekturfaktor kann es sich bei durch den Sensor zur automatischen Fernlichtregulierung 1 16 B erkanntem,
entgegenkommendem Fahrzeug mit eingeschaltetem Licht die Aussetzung der Berechnung der Müdigkeit des Fahrers 120 durch das Rechenmodul 1 14 umfassen. Optional kann das
Rechenmodul 1 14 noch weitere Korrekturfaktoren bei der Berechnung der Müdigkeit des Fahrers 120 berücksichtigen, z.B. Tages- und/oder Jahreszeiten und/oder aktuelle
Wetterbedingungen in Verbindung mit der Fahrzeugorientierung. Die Fahrzeugorientierung kann beispielsweise durch ein Navigationssystem im Fahrzeug ermittelt werden, wobei Daten hinsichtlich der Tages- und/oder Jahreszeiten sowie aktuelle Wetterbedingungen aus einer Speichereinheit 1 18 im Fahrzeug 1 10 und/oder von ein oder mehreren (Backend-) Servern 130 bezogen werden können.
Das System 100 kann zudem zumindest eine Steuereinheit 1 18 umfassen, wobei die
Steuereinheit 1 18 eingerichtet ist, bei erkannter Müdigkeit des Führers 120 bzw. Fahrers 120 des Fahrzeugs 1 10 zumindest eine entsprechende Gegenmaßnahme einzuleiten.
Beispielsweise kann es sich bei der Gegenmaßnahme um ein optisches (z.B. über eine
Ausgabeeinheit im Bordcomputer des Fahrzeugs 1 10) und/oder akustisches (z.B. über einen Lautsprecher im Fahrzeug 1 10) und/oder um eine Verringerung der Innenraumtemperatur beispielsweise durch eine entsprechende Temperaturregelung über die Klimaanlage im
Fahrzeug 1 10 handeln, wie beispielhaft weiter unten mit Bezug auf Figuren 3 und 4 erläutert.
Figur 2 zeigt ein beispielhaftes Verfahren 200 zur exakten Erkennung der Müdigkeit eines Führers 120 eines Fahrzeugs 1 10 (im Folgenden auch Fahrer 120 genannt), wobei die
Verfahrensschritte durch ein System 100 wie mit Bezug auf Figur 1 beschrieben, ausgeführt werden kann und die Verfahrensschritte wie mit Bezug auf Figur 1 beschrieben erfolgen können. Das Verfahren umfasst dabei:
Erfassen 210, durch zumindest eine Kamera 1 12, des Pupillendurchmessers des Führers 120 des Fahrzeugs 1 10, wobei die zumindest eine Kamera 1 12 eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfassen kann. Erfassen 220, durch zumindest einen Sensor 1 16 A, einer zeitaktuellen Leuchtdichte im Fahrzeug 1 10, wobei der zumindest eine Sensor 1 16 A einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor 1 16 A, umfassen kann; und
Erkennen 230, durch Berechnung in einem Rechenmodul 1 14, ob eine Müdigkeit des Führers 120 des Fahrzeugs 1 10 vorliegt, wobei die Berechnung auf dem durch die zumindest eine Kamera 1 12 erfassten Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug 1 10 basiert.
Das Erkennen 230 der Müdigkeit des Führers 120 des Fahrzeugs 1 10 (bzw. Fahrers 120) durch das Rechenmodul 1 14 kann dabei umfassen:
Berechnen 232 des Pupillendurchmessers mit Bezug auf die durch den zumindest einen Sensor 1 16 A erfasste, zeitaktuelle Leuchtdichte;
Vergleichen 234 des durch die zumindest eine Kamera 1 12 erfassten
Pupillendurchmessers mit dem durch das Rechenmodul 1 14 berechneten Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der durch die zumindest eine Kamera 1 12 erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der durch das Rechenmodul 1 14 berechnete Pupillendurchmesser:
Erkennen 236 der Müdigkeit des Führers 120 des Fahrzeugs 122;
wobei das Erkennen 236 der Müdigkeit des Führers 120 des Fahrzeugs 1 10 durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung 1 16 B korrigiert werden kann. Das Verfahren kann zudem ein Einleiten 240, durch zumindest eine Steuereinheit 1 18, einer Gegenmaßnahme bei durch das Rechenmodul 1 14 erkannter Müdigkeit 236 umfassen, wie beispielsweise mit Bezug auf Figuren 3 und 4 beschrieben.
Figur 3 zeigt eine Abnahme des gemittelten Pupillendurchmessers in Millimetern (mm) 310 von Probanden bei monotoner Fahrt im Laufe der Zeit in Minuten (min) 320, wobei die Probanden zu bestimmten Zeitpunkten, insbesondere in Minuten 5, 10 und 27 mit äußeren Reizen konfrontiert wurden. Es handelt sich um Durchschnittswerte zweier monotoner Fahrten einer Vielzahl von Probanden, die deutlich aufzeigen, dass bei Monotonen Fahrten die Müdigkeit der Probanden kontinuierlich steigt und sich somit der Pupillendurchmesser kontinuierlich verringert. Insbesondere konnte dabei festgestellt werden, dass sich bereits bei halbstündigen Fahrten wie in Figuren 3 und 4 dargestellt der Pupillendurchmesser der Probanden aufgrund von
entstehender Müdigkeit bereits um ca. 0,6 mm verringert. Die Vergrößerung des
Pupillendurchmessers in Minuten 5, 10 und 27 sind insbesondere durch verbale Befragungen der Probanden während den Probefahrten im Simulator entstanden. Es handelt sich dabei insbesondere um die Auswertung bzw. Ergebnisse einer Fahrsimulator-Studie. Es zeigt sich somit, dass eine kognitive Anstrengung wie z.B. die Beantwortung von Fragen, eine Weitung des Pupillendurchmessers und somit eine erhöhte Wachheit bzw. einen erhöhten
Aufmerksamkeitsgrad umfasst.
Figur 4 zeigt eine beispielhafte Abnahme des Pupillendurchmessers in mm 410 von Probanden bei monotoner Fahrt mit der Zeit in min 420. Insbesondere Zeigt sich ab Minute 20 der positive Einfluss eines äußeren Reizes auf die Müdigkeit der Probanden als Ergebnis einer weiteren Fahrsimulator-Studie. Eine erste Fahrt wurde ähnlich wie mit Bezug auf Figur 3 beschrieben, durchgeführt (=monotone Fahrt) mit Befragungen in Minuten 6 und 16 (=monotone Fahrt 430). In einer zweiten monotonen Fahrt (=Gegenmaßnahme 440) wurde ab Minute 20 eine
Gegenmaßnahme eingeleitet, in diesem Fall durch Aktivierung der jeweiligen Probanden durch einen thermischen Reiz. Es ist deutlich zu erkennen, dass sich der thermische Reiz in der Vergrößerung des Pupillendurchmessers der Probanden auswirkt. Dabei stellte sich heraus, dass der Unterschied der Pupillendurchmesser zwischen der monotonen Fahrt 430 und der Fahrt mit Gegenmaßnahme 440 die gekennzeichneten Minuten mit * bzw. ** einen statistisch signifikanten Unterschied aufzeigt, bei der sich die Unterschiede der Pupillendurchmesser der Probanden sich nicht mehr durch aus einer Streuung bzw. durch Zufall ergeben, wobei bei * ein signifikanter Unterschied mit p<0.05 vorliegt und bei ** eine hoch signifikanter Unterschied mit p<0.001 .
Es wird somit gezeigt, dass der Pupillendurchmesser sich sehr gut als Indikator für die Müdigkeit bzw. Vigilanz von Fahrern eignet, so lange die Lichtverhältnisse konstant sind. Das System 100 und Verfahren 200 wie mit Bezug auf Figuren 1 und 2 beschrieben erlauben nun eine exakte Erfassung der Müdigkeit von Fahrern 120 durch Berücksichtigung nicht konstanter Lichtverhältnisse bezogen auf den Pupillendurchmesser.

Claims

Patentansprüche
1 . System (100) zur exakten Erkennung der Müdigkeit eines Führers (120) eines Fahrzeugs (1 10), umfassend:
zumindest eine Kamera (1 12) zur Erfassung des Pupillendurchmessers des Führers (120) des Fahrzeugs (1 10);
zumindest einen Sensor (1 16 A) zur Erfassung einer zeitaktuellen Leuchtdichte im Fahrzeug (1 10); und
zumindest ein Rechenmodul (1 14) zur Erkennung der Müdigkeit des Führers (120) des
Fahrzeugs (1 10) durch Berechnung, wobei die Berechnung auf dem erfassten
Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug (1 10) basiert.
2. System (100) gemäß Anspruch 1 , wobei die zumindest eine Kamera (1 12) eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfasst.
3. System (100) gemäß einem der vorangehenden Ansprüche, wobei der zumindest eine Sensor (1 16 A) zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug (1 10) einen Sensor für die automatische Fahrlichtsteuerung, AFL-Sensor (1 16 A), umfasst.
4. System (100) gemäß einem der vorangehenden Ansprüche, wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch das Rechenmodul (1 14) umfasst:
Berechnung des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle
Leuchtdichte;
Vergleich des erfassten Pupillendurchmessers mit dem berechneten
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:
Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (1 10);
wobei die Erkennung der Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des
Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung (1 16 B) korrigiert werden kann.
5. System (100) gemäß einem der vorangehenden Ansprüche, zudem umfassend:
zumindest eine Steuereinheit (1 18), wobei die Steuereinheit (1 18) eingerichtet ist, bei erkannter Müdigkeit des Führers (120) des Fahrzeugs (1 10) zumindest eine entsprechende Gegenmaßnahme einzuleiten.
6. Verfahren (200) zur exakten Erkennung der Müdigkeit eines Führers (120) eines
Fahrzeugs (1 10), umfassend:
Erfassen (210), durch zumindest eine Kamera (1 12), des Pupillendurchmessers des Führers (120) des Fahrzeugs (1 10);
Erfassen (220), durch zumindest einen Sensor (1 16 A), einer zeitaktuellen Leuchtdichte im Fahrzeug (1 10); und
Erkennen (230), durch Berechnung in einem Rechenmodul (1 14), ob eine Müdigkeit des Führers (120) des Fahrzeugs (1 10) vorliegt, wobei die Berechnung auf dem erfassten
Pupillendurchmesser sowie der erfassten, zeitaktuellen Leuchtdichte im Fahrzeug (1 10) basiert.
7. Verfahren (200) gemäß Anspruch 6, wobei die zumindest eine Kamera (1 12) eine hochauflösende Innenraumkamera und/oder eine hochauflösende Infrarotkamera umfasst.
8. Verfahren (200) gemäß Anspruch 6 oder 7, wobei der zumindest eine Sensor (1 16 A) zur Erfassung der zeitaktuellen Leuchtdichte im Fahrzeug (1 10) einen Sensor für die automatische
Fahrlichtsteuerung, AFL-Sensor (1 16 A) AFL-Sensor, umfasst.
9. Verfahren (200) gemäß einem der Ansprüche 6 bis 8, wobei die Erkennung der
Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch das Rechenmodul (1 14) umfasst:
Berechnen (232) des Pupillendurchmessers mit Bezug auf die erfasste, zeitaktuelle
Leuchtdichte;
Vergleichen (234) des erfassten Pupillendurchmessers mit dem berechneten
Pupillendurchmesser mit Bezug auf die erfasste Leuchtdichte; und
falls der erfasste Pupillendurchmesser mehr als einen konstanten Bereich [k-0,3; k+1 ,4] einer konstante k=0,6mm geringer ist als der berechnete Pupillendurchmesser:
Erkennen (236) der Müdigkeit des Führers des Fahrzeugs (1 10),
wobei das Erkennen (236) der Müdigkeit des Führers (120) des Fahrzeugs (1 10) durch einen zeitlich bezogenen Korrekturfaktor hinsichtlich der Geschwindigkeit der Reduktion des Pupillendurchmessers; und/oder einen Sensor zur Fernlichtregulierung (1 16 B) korrigiert werden kann.
10. Verfahren (200) gemäß einem der Ansprüche 6 bis 9, zudem umfassend:
Einleiten (240), durch zumindest eine Steuereinheit (1 18), einer Gegenmaßnahme bei erkannter Müdigkeit.
EP17800733.2A 2017-02-20 2017-11-02 System und verfahren zur erkennung der müdigkeit eines fahrzeugführers Pending EP3583540A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017202659.6A DE102017202659A1 (de) 2017-02-20 2017-02-20 System und Verfahren zur Erkennung der Müdigkeit eines Fahrzeugführers
PCT/EP2017/078018 WO2018149519A1 (de) 2017-02-20 2017-11-02 System und verfahren zur erkennung der müdigkeit eines fahrzeugführers

Publications (1)

Publication Number Publication Date
EP3583540A1 true EP3583540A1 (de) 2019-12-25

Family

ID=60387991

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17800733.2A Pending EP3583540A1 (de) 2017-02-20 2017-11-02 System und verfahren zur erkennung der müdigkeit eines fahrzeugführers

Country Status (5)

Country Link
US (1) US10832068B2 (de)
EP (1) EP3583540A1 (de)
CN (1) CN110313007B (de)
DE (1) DE102017202659A1 (de)
WO (1) WO2018149519A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021111465A1 (de) 2021-05-04 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Ermittlung einer müdigkeit einer person auf basis einer lidschlaganalyse
CN113925512B (zh) * 2021-10-14 2023-10-20 东风汽车集团股份有限公司 基于视野焦点的疲劳检测方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
AUPS254302A0 (en) 2002-05-24 2002-06-13 Resmed Limited A sleepiness test
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
DE10359125A1 (de) 2003-12-17 2005-07-14 Volkswagen Ag Verfahren zur Erkennung der Reaktionsbereitschaft eines Fahrers eines Kraftfahrzeugs
DE102004005163B3 (de) 2004-02-02 2005-06-02 Braun, Uwe Peter, Dipl.-Ing. Vorrichtung zur Erfassung der Fahrtüchtigkeit eines Fahrers in einem Fahrzeug
KR101049605B1 (ko) 2004-04-01 2011-07-14 윌리엄 씨. 토치 눈 움직임을 모니터하는 바이오센서, 커뮤니케이터, 및컨트롤러 및 그들의 사용 방법
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
WO2008024639A2 (en) * 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
KR101576319B1 (ko) 2008-09-18 2015-12-09 학교법인 츄부대학 졸음 전조 검출장치
CN102439627B (zh) 2010-02-26 2014-10-08 松下电器（美国）知识产权公司 瞳孔检测装置和瞳孔检测方法
US9468372B2 (en) 2013-02-28 2016-10-18 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with rear-facing pupil diameter sensor
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013212877A1 (de) 2013-07-02 2015-01-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung des Zustandes eines Kraftfahrzeugführers
KR101940300B1 (ko) 2014-01-10 2019-01-18 칼튼 라이프 서포트 시스템즈, 아이엔씨. 파일럿에 대한 인지기능 저하 탐지 및 완화 시스템
US10845620B2 (en) * 2014-12-08 2020-11-24 Aleksandr Shtukater Smart contact lens

Also Published As

Publication number Publication date
CN110313007B (zh) 2023-08-04
US10832068B2 (en) 2020-11-10
CN110313007A (zh) 2019-10-08
WO2018149519A1 (de) 2018-08-23
US20190370582A1 (en) 2019-12-05
DE102017202659A1 (de) 2018-08-23

Similar Documents

Publication Publication Date Title
DE102011109564B4 (de) Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102004022581B4 (de) Fahrerassistenzsystem
DE102011016772B4 (de) 12.04.2021Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102018207069B4 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
DE102015216143A1 (de) System und Verfahren zum Erzeugen einer Umgebungsbedingung in einem oder um ein Fahrzeug als Reaktion auf eine ermittelte Stimmung
DE102019003429A1 (de) Verfahren zur Prädiktion und Verringerung kinetosebedingter Störungen
DE112014000591T5 (de) Aufmerksamkeitsgrad-Erfassungsgerät und Aufmerksamkeitsgrad-Erfassungsverfahren
DE102019208663B4 (de) Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
DE102011110486A1 (de) Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102012020901A1 (de) Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
DE102019109505A1 (de) Datenverarbeitungsvorrichtung, überwachungssystem, wecksystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm
DE102014201036A1 (de) Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
DE112017007267T5 (de) Konzentrationsgradbestimmungsvorrichtung, Konzentrationsgradbestimmungsverfahren, und Programm zur Konzentrationsgradbestimmung
DE102012105285A1 (de) Verfahren und ein System zum Assistieren eines Fahrers eines Kraftfahrzeugs
DE102014216208A1 (de) Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
DE102011085825A1 (de) Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
DE102018213230A1 (de) Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
DE102019201407A1 (de) Verfahren und Vorrichtung zum Steuern der Aufmerksamkeit eines Fahrers
WO2004103761A1 (de) Einrichtung zum individuellen einstellen von fahrdynamischen eigenschaften eines kraftfahrzeugs
EP3583540A1 (de) System und verfahren zur erkennung der müdigkeit eines fahrzeugführers
DE102017103391A1 (de) Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
DE102019004692B3 (de) Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
DE102020110417A1 (de) Verfahren und System zur Assistenz eines Fahrers
DE102018217183B4 (de) Erlernen einer Lichtverteilung für einen Scheinwerfer
DE112019007484T5 (de) Informationsverarbeitungsvorrichtung, programm und informationsverarbeitungsverfahren

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190730

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210728

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230502

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED