DE102015211443A1 - Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite - Google Patents

Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite Download PDF

Info

Publication number
DE102015211443A1
DE102015211443A1 DE102015211443.0A DE102015211443A DE102015211443A1 DE 102015211443 A1 DE102015211443 A1 DE 102015211443A1 DE 102015211443 A DE102015211443 A DE 102015211443A DE 102015211443 A1 DE102015211443 A1 DE 102015211443A1
Authority
DE
Germany
Prior art keywords
eye opening
values
opening width
reference level
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015211443.0A
Other languages
English (en)
Inventor
Felix Wulf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102015211443.0A priority Critical patent/DE102015211443A1/de
Priority to US15/187,933 priority patent/US10271723B2/en
Priority to JP2016122284A priority patent/JP6754228B2/ja
Priority to CN201610448540.5A priority patent/CN106257549B/zh
Publication of DE102015211443A1 publication Critical patent/DE102015211443A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1005Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Ophthalmology & Optometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (400) zum Bereitstellen eines Bezugsniveaus (102) für eine Augenöffnungsweite (104), wobei die Augenöffnungsweite (104) einen aktuell erfassten Abstand zwischen den Augenlidern eines Auges (108) repräsentiert, wobei das Verfahren (400) einen Schritt (402) des Ermittelns aufweist, in dem das Bezugsniveau (102) unter Verwendung von Werten (118) der Augenöffnungsweite (104) ermittelt wird, in denen die Augenöffnungsweite (104) größer als ein Grenzwert (114) ist.

Description

  • Stand der Technik
  • Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
  • Die Müdigkeit eines Fahrers eines Fahrzeugs kann indirekt aus seinem Fahrverhalten geschätzt werden.
  • Alternativ dazu beschreibt die WO 2014031042 A1 ein Fitten eines Augenöffnungssignals mit vordefinierten modellierten Signalen, um Blinzelereignisse zu erkennen und daraus Rückschlüsse auf die Aufmerksamkeit des Fahrers zu ziehen.
  • Offenbarung der Erfindung
  • Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
  • Zum Bewerten einer Schläfrigkeit eines Fahrers ist ein Bezugswert einer Augenöffnungsweite erforderlich, da die Augenöffnungsweite in Phasen, in denen die Augen geöffnet sind, beispielsweise aufgrund von Lichtverhältnissen variiert. Um einen verwertbaren Bezugswert zu erhalten, können Phasen, in denen die Augen geschlossen sind, von einer Berechnung des Bezugswerts ausgeschlossen werden. Unter Berücksichtigung dieser Phasen würde der Bezugswert einen zu geringen Wert aufweisen.
  • Es wird ein Verfahren zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite vorgestellt, wobei die Augenöffnungsweite einen aktuell erfassten Abstand zwischen den Augenlidern eines Auges repräsentiert, wobei das Verfahren den Schritt des Ermittelns aufweist, in dem das Bezugsniveau unter Verwendung von Werten der Augenöffnungsweite ermittelt wird, in denen die Augenöffnungsweite größer als ein Grenzwert ist.
  • Unter einem Bezugsniveau kann ein gemittelter Wert verstanden werden, der innerhalb eines definierbaren Zeitfensters aus schwankungsbehafteten Werten gemittelt wird. Werte der Augenöffnungsweite, in denen die Augenöffnungsweite kleiner als der Grenzwert ist, können unberücksichtigt bleiben.
  • Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
  • Das Bezugsniveau kann ferner unter Verwendung von Stützwerten ermittelt werden. Die Stützwerte können die Werte der Augenöffnungsweite ersetzen, die kleiner als der Grenzwert sind. Die Werte der Augenöffnungsweite, die kleiner als der Grenzwert sind, können verworfen werden. Stützwerte können durch die verworfenen Werte der Augenöffnungsweite resultierenden Lücken in einer zeitlichen Abfolgen von Werten der Augenöffnungsweite schließen. Durch die Stützwerte kann eine vereinfachte Berechnung des Bezugsniveaus erfolgen.
  • Das Verfahren kann einen Schritt des Anpassens oder Veränderns aufweisen, in dem der Grenzwert unter Verwendung des Bezugsniveaus und alternativ oder ergänzend unter Verwendung eines gleitenden Mittelwerts der Werte der Augenöffnungsweiten nachgeführt und/oder verändert wird. Das Anpassen kann als ein allgemeines Verändern ausgeführt werden.. Unter einem Nachführen kann hier ein Verändern des Grenzwertes in Abhängigkeit von vorausgegangenen Werten für die Augenöffnungsweite oder das Bezugsniveau verstanden werden. Dabei kann insbesondere eine Erhöhung der zeitlich vorangegangen Werte der Augenöffnungsweite oder des Bezugsniveaus in einer Erhöhung des Grenzwertes resultieren. Beispielsweise kann der Grenzwert ein prozentualer Wert des Bezugsniveaus sein. Dadurch liegt der Grenzwert, ab dem die Werte der Augenöffnungsweite nicht mehr berücksichtigt werden, um einen festen Prozentsatz unterhalb des Bezugsniveaus. Ein gleitender Mittelwert kann über einen kürzeren Zeitraum bestimmt werden, als das Bezugsniveau. Der Zeitraum kann länger sein, als eine erwartete Blinzeldauer.
  • Im Schritt des Anpassens oder Veränderns können ferner die Stützwerte, die Werte der Augenöffnungsweite ersetzen, die kleiner als der Grenzwert sind, nachgeführt oder verändert werden. Unter einem Nachführen kann hier ein Verändern der Stützwerte in Abhängigkeit von vorausgegangenen Werten für die Augenöffnungsweite oder das Bezugsniveau verstanden werden. Dabei kann insbesondere eine Erhöhung der zeitlich vorangegangen Werte der Augenöffnungsweite oder des Bezugsniveaus in einer Erhöhung der Stützwerte resultieren. Die Stützwerte können ebenfalls unter Verwendung des Bezugsniveaus und alternativ oder ergänzend unter Verwendung eines gleitenden Mittelwerts der Werte der Augenöffnungsweiten nachgeführt werden.
  • Das Bezugsniveau kann ferner unter Verwendung eines Geschwindigkeitsgrenzwerts ermittelt werden. Dabei können die Werte der Augenöffnungsweite verwendet werden, wenn eine Lidgeschwindigkeit kleiner als der Geschwindigkeitsgrenzwert ist. Der Geschwindigkeitsgrenzwert bezieht sich somit auf eine Lidgeschwindigkeit. Beim Blinzeln werden die Lider sehr schnell bewegt. Unter Berücksichtigung der Lidgeschwindigkeit kann das Blinzeln erkannt werden, bevor der Grenzwert unterschritten wird.
  • Das Bezugsniveau kann als Bezugsverlauf ermittelt werden. Dabei kann ein zeitlicher Verlauf der Augenöffnungsweite in Bereichen oder Zeitabschnitten verwendet werden, in denen die Werte der Augenöffnungsweite größer als der Grenzwert sind. Das Bezugsniveau kann kontinuierlich ermittelt werden. Damit steht immer ein aktuelles Bezugsniveau zur Verfügung.
  • Die Werte der Augenöffnungsweite können geglättet werden. Beispielsweise können die Werte gemittelt werden. Ebenso können die Werte gewichtet werden. Dadurch ist eine vereinfachte Ermittlung möglich.
  • Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
  • Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
  • Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
  • 1 ein Blockschaltbild einer Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite gemäß einem Ausführungsbeispiel;
  • 2 eine Darstellung eines Verlaufs einer Augenöffnungsweite und eines Bezugsniveaus gemäß einem Ausführungsbeispiel;
  • 3 eine Darstellung einer Architektur eines Gesamtsystems zum Überwachen der Müdigkeit eines Fahrers eines Fahrzeugs gemäß einem Ausführungsbeispiel; und
  • 4 ein Ablaufdiagramm eines Verfahrens zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite gemäß einem Ausführungsbeispiel.
  • In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
  • 1 zeigt ein Blockschaltbild einer Vorrichtung 100 zum Bereitstellen eines Bezugsniveaus 102 für eine Augenöffnungsweite 104 gemäß einem Ausführungsbeispiel. Die Augenöffnungsweite 104 wird hier durch ein Erfassungssystem 106 an einem oder beiden Augen 108 eines Fahrers eines Fahrzeugs erfasst und in einem Augenöffnungsweitensignal 110 abgebildet. Die Augenöffnungsweite 104 repräsentiert einen aktuellen Abstand zwischen den Augenlidern des Auges 108. Das Augenöffnungsweitensignal 110 wird von der Vorrichtung 100 an einem Eingang der Vorrichtung 100 eingelesen. In der Vorrichtung 100 wird das Augenöffnungsweitensignal 110 in einer Aufbereitungseinrichtung 112 aufbereitet. Die Aufbereitungseinrichtung 112 kann auch als Filter 112 bezeichnet werden. Dabei wird ein Wert der Augenöffnungsweite 104 mit einem Grenzwert 114 verglichen. Signalanteile 116, die Werte kleiner als der Grenzwert 114 repräsentieren, werden ausgesondert beziehungsweise verworfen. Signalanteile 118, die Werte größer als der Grenzwert 114 repräsentieren, werden an eine Ermittlungseinrichtung 120 weitergeleitet. In der Ermittlungseinrichtung 120 wird aus den Werten der Augenöffnungsweite 104, in denen die Augenöffnungsweitweite 104 größer als der Grenzwert 114 ist, das Bezugsniveau 102 ermittelt. Das Bezugsniveau 102 wird an einem Ausgang der Vorrichtung 100 bereitgestellt.
  • In einem Ausführungsbeispiel wird das Bezugsniveau 102 unter Verwendung von Stützwerten 122 ermittelt. Die Stützwerte 122 werden verwendet, um die Lücken im Augenöffnungsweitensignal 110, die durch das Aussondern der Signalanteile 116 entstanden sind, aufzufüllen. Durch die Stützwerte 122 kann das Bezugsniveau 102 durchgehend ermittelt werden.
  • Die Stützwerte 122 sind abhängig von dem Bezugsniveau 102. Eine Stützwerteinrichtung 124 liest das Bezugsniveau 102 ein und verwendet das Bezugsniveau 102 zum Bereitstellen der Stützwerte 122.
  • In einem nicht dargestellten Ausführungsbeispiel liest die Stützwerteinrichtung 124 direkt das Augenöffnungsweitensignal 110 oder die oberhalb des Grenzwerts 114 liegenden Signalanteile 118 ein, um die Stützwerte 122 zu erzeugen.
  • Der Grenzwert 114 ist ebenfalls abhängig von dem Bezugsniveau 102. Eine Grenzwerteinrichtung 126 liest das Bezugsniveau 102 ein und verwendet das Bezugsniveau 102 zum Bereitstellen des Grenzwerts 114.
  • In einem nicht dargestellten Ausführungsbeispiel liest die Grenzwerteinrichtung 126 direkt das Augenöffnungsweitensignal 110 oder die oberhalb des Grenzwerts 114 liegenden Signalanteile 118 ein, um den Grenzwert 114 zu erzeugen.
  • Es wird ein System 100 zur robusten Erkennung eines momentanen Augenöffnungsgrades (EON) 102 vorgestellt.
  • Basierend auf Daten einer Videokamera 106 kann ein momentaner Öffnungsgrad 104 der Augen 108 erkannt werden. Dazu werden entsprechende Bildverarbeitungsalgorithmen verwendet. Dabei wird jeweils für beide Augen 108 ein Augenöffnungsniveau 102 detektiert.
  • Aus den Augenöffnungsgraden 104 zweier Augen 108 kann ein gemeinsames Augenöffnungsniveau 102 berechnet werden. Die Berechnung des momentanen Augenöffnungsniveaus 102 kann unter Verwendung von Savitzky-Golay Filtern erfolgen.
  • Der hier vorgestellte Ansatz ermöglicht eine Verbesserung der Erkennungsgüte von Blinzelfeatures auf Basis von zuvor vorgefilterten Augenöffnungsdaten 118. Dabei wird ein momentanes Augenöffnungsniveau 102 berechnet. Das Augenöffnungsniveau 102 kann als EON 102 beziehungsweise eye opening niveau 102 bezeichnet werden. Unter Verwendung des Augenöffnungsniveaus 102 können Blinzelereignisse einfach und robust mit Grenzwerten 114 detektiert werden, die sich relativ zum Augenöffnungsniveau 102 definieren. Bestimmte Features der Blinzelereignisse, wie beispielsweise die Blinzelamplitude können einfach berechnet werden. Ein PERCLOS-Wert, der sich auf das 90. Perzentil des Augenöffnungsniveaus 102 als maximalen Öffnungsgrad bezieht, kann robust berechnet werden. Die Berechnung des Augenöffnungsniveaus 102 kann in ein Gesamt-System zur Erkennung von Schläfrigkeit und/oder Sekundenschlaf eingegliedert werden.
  • Das Augenöffnungsniveau 102 gibt an, wie groß der momentane Abstand 104 der Augenlider im geöffneten Zustand ist. Bei der hier vorgestellten Berechnung des Augenöffnungsniveaus 102 fließen mögliche Blinzelereignisse nicht in den berechneten Wert 102 mit ein. Dadurch ist das Augenöffnungsniveau 102 unbeeinflusst von der Blinzelfrequenz und der Blinzeldauer. Je höher die Frequenz und Dauer der Blinzelereignisse, desto niedriger würde ansonsten das daraus resultierende Augenöffnungsniveau werden.
  • Daher gliedert sich die Berechnung des Augenöffnungsniveaus 102 in mehrere Schritte. Zuerst erfolgt ein robustes und einfaches Erkennen von Bereichen 116, mit temporär zu niedrigem Augenöffnungsgrad 104, wie beispielsweise Blinzelereignisse oder Tachoblicke. Diese Bereiche 116 können auf mehrere Arten identifiziert werden.
  • In einem Ausführungsbeispiel erfolgt eine starke Filterung der Augenöffnungsdaten 110. Alle Bereiche 116 in denen der Augenöffnungsgrad 104 niedriger ist, als der gefilterte werden ausgeschlossen. Sie können beispielsweise mit einem Ersatzwert 122 aufgefüllt werden.
  • Dieser Ersatzwert 122 kann sich beispielsweise aus dem 90. Perzentil des Augenöffnungsgrades 104 der letzten 150 Sekunden zusammensetzen.
  • In einem Ausführungsbeispiel wird ein gleitender Median 114 verwendet, um die Blinzelereignisse effektiv auszuschließen. Dabei weist der Medianfilter eine Fensterlänge von mindestens dem Doppelten der maximal auszuschließenden Blinzeldauer auf. Um Blinzelereignisse bis zu einer Dauer von maximal einer Sekunde effektiv auszuschließen, kann beispielsweise eine Fenstergröße von zwei Sekunden verwendet werden.
  • Alle Bereiche 116 in denen der Augenöffnungsgrad deutlich niedriger als ein geglätteter Median 114 ist, beispielsweise mit einer Abweichung von mehr als 10 %, gelten ausgeschlossen.
  • Blinzelereignisse zeichnen sich dadurch aus, dass die absolute Geschwindigkeit des Lides einen gewissen Wert, wie beispielsweise 0,03 m/s überschreitet. In einem Ausführungsbeispiel werden diese Bereiche 116 ausgeschlossen, bis sich die Lidgeschwindigkeit wieder stabilisiert hat. Dabei wird abgewartet, bis die Geschwindigkeit für eine vorbestimmte Zeit kleiner als der Grenzwert ist.
  • Als Zweites kann eine Berechnung eines Ersatzwertes für die zuvor ausgeschlossenen Bereiche 116 erfolgen.
  • In einem Ausführungsbeispiel wird dieser Ersatzwert aus dem 90. Perzentil des Augenöffnungsgrads 104 der letzten 150 Sekunden zusammengesetzt.
  • In einem Ausführungsbeispiel wird in den ungültigen Bereichen 116 der letzte gültige Wert verwendet. Dieses Vorgehen kann als Sample & Hold bezeichnet werden.
  • Wenn die ungültigen Bereiche 116 mit einem geglätteten Median 114 berechnet werden, kann auch direkt der geglättete Median 114 als Ersatzwert verwendet werden.
  • Als Drittes erfolgt die Berechnung des momentanen Augenöffnungsniveaus 102 unter Verwendung des Ersatzwertes 122 für die zuvor ausgeschlossenen Bereiche 116.
  • Das endgültige Augenöffnungsniveau kann mit einer weiteren Filterung des Signals ermittelt werden. Dazu wird in einem Ausführungsbeispiel ein Savitzky-Golay Filter verwendet. Eine weitere Möglichkeit besteht darin, einen weiteren gleitenden Medianfilter zu verwenden.
  • 2 zeigt eine Darstellung eines Verlaufs 200 einer Augenöffnungsweite und eines Bezugsniveaus 102 gemäß einem Ausführungsbeispiel. Der Verlauf 200 ist in einem Diagramm aufgetragen, das auf der Abszisse eine Zeit in Sekunden [s] und auf der Ordinate einen Abstand in Millimeter [m × 10–3] angetragen hat. Der Verlauf 200 entspricht beispielsweise einem Ausschnitt eines Augenöffnungsweitensignals, wie in 1. Das Bezugsniveau 102 ist durch ein Verfahren gemäß dem hier vorgestellten Ansatz ermittelt worden. Die Werte 200 der Augenöffnungsweite schwanken mehrheitlich um die zehn Millimeter. Während eines Blinzelns 202 sinkt die Augenöffnungsweite kurzzeitig gegen null. Durch den hier vorgestellten Ansatz werden die Werte 116 der Augenöffnungsweite während des Blinzelns 202 nicht für die Berechnung des Bezugsniveaus 102 herangezogen.
  • Dazu werden die Werte des Verlaufs 200 mit einem Grenzwert 114 verglichen, der um wenige Millimeter niedriger als das aktuelle Bezugsniveau 102 ist. Unterhalb des Grenzwerts 114 wird ein Blinzeln 202 erkannt und die Werte 116 werden nicht für die Berechnung des Bezugsniveaus 102 verwendet.
  • Damit für die Berechnung des Bezugsniveaus 102 ein unterbrechungsfreier Verlauf verwendet werden kann, werden die Stellen des Verlaufs 200 mit Stützwerten 122 aufgefüllt. Hier entsprechen die Stützwerte 122 dem Grenzwert 114. Somit wird das Bezugsniveau 102 nicht durch das Blinzeln 202 gesenkt.
  • 3 zeigt eine Darstellung einer Architektur eines Gesamtsystems 300 zum Überwachen der Müdigkeit eines Fahrers eines Fahrzeugs gemäß einem Ausführungsbeispiel. Das hier vorgestellte Bereitstellen 302 eines Bezugsniveaus ist Bestandteil des hier gezeigten Systems 300.
  • Das Gesamtsystem 300 weist drei Hauptbestandteile 304, 306, 308 auf. Der erste Hauptbestandteil 304 wird als Schläfrigkeitsklassifizierung bezeichnet. Der zweite Hauptbestandteil 306 wird als Sekundenschlaferkennung bezeichnet. Der dritte Hauptbestandteil 308 umfasst von der Schläfrigkeitsklassifizierung 304 und der Sekundenschlaferkennung 306 gemeinsam genutzte Module 310. Die Bereitstellung 302 des Bezugsniveaus ist Teil des dritten Hauptbestandteils 308. Die Module 310 können als Augenschlussvorverarbeitung 310 bezeichnet werden. Die Augenschlussvorverarbeitung 310 umfasst eine Erfassung des Augenschlusses rechts und links, eine Filterung des Augenschlusses, eine Geschwindigkeitserfassung des Augenschlusses, eine acc des Augenschlusses, die Bereitstellung 302 des Bezugsniveaus und eine Validierung.
  • Die Augenschlussvorverarbeitung 310 gibt einen momentanen Augenschluss, eine Augenschlussgeschwindigkeit und das Bezugsniveau aus.
  • In der Schläfrigkeitsklassifizierung 304 werden diese Werte in einer Blinzelereignisdetektion 312 verwendet und Blinzelereignisse an eine Blinzelmerkmalsberechnung 314 weitergeleitet.
  • Die Blinzelmerkmalsberechnung 314 gibt Blinzelmerkmale an eine persönliche Blinzelmerkmalserkennung 316 und ein Modul 318 zur Schläfrigkeitsklassifizierung aus. Das Modul liest von der Blinzelmerkmalserkennung 316 ein persönliches Blinzelverhalten ein und gibt ein Schläfrigkeitsniveau aus.
  • In der Sekundenschlaferkennung 306 werden die Werte in einer persönlichen Augenschlusserkennung 320, einer Augenschlusserkennung 322 und einem Modul 324 zur Sekundenschlaferkennung verwendet.
  • Die persönliche Augenschlusserkennung 320 gibt ein persönliches Offenaugenniveau und ein persönliches Geschlossenaugenniveau aus. Beide werden von der Augenschlusserkennung 322 verwendet, um einen binären Augenoffenwert für das Modul 324 bereitzustellen. Das Modul 324 gibt Sekundenschlafereignisse aus.
  • Schläfrigkeit und Sekundenschlaf am Steuer können zu gefährlichen Situationen oder Unfällen führen. Daher kann eine Warnung ausgegeben werden, wenn der Fahrer einen gewissen Schläfrigkeitsgrenzwert überschreitet. Beispielsweise kann eine Kaffeetasse eingeblendet werden. Diese Warnung kann vom Fahrer auch ignoriert werden.
  • Zur Erkennung von Blinzelereignissen aus einem Augenöffnungssignal kann eine sogenannte Referenzamplitude für „normale" Blinzelereignisse verwendet werden. Dabei können "normale" Blinzelereignisse durch eine Dauer der Schließphase und der Plateauphase identifiziert werden. Die Amplituden für diese „normalen" Blinzelereignisse werden akkumuliert. Das 85. Perzentil dieser Amplituden kann als Referenzamplitude verwendet werden.
  • Mithilfe dieser Referenzamplitude können Blinzelereignisse von anderen Blickbewegungsereignissen mit einer Amplitude < 70% der Referenzamplitude sowie absichtlichen Schließbewegungen mit einer Amplitude > 150% der Referenzamplitude unterschieden werden.
  • Die maximalen und minimalen Augenöffnungswerte können robust kalibriert werden. Dabei werden alle Bereiche akkumuliert, in denen die Geschwindigkeit des Lides null ist. Von allen diesen akkumulierten Werten wird jeweils das 10. Und 90. Perzentil als persönliches und momentanes Maximum beziehungsweise Minimum betrachtet. Dieses ist nicht nur von physiologischen Gegebenheiten des Fahrers abhängig, sondern auch von situativen Gegebenheiten, wie beispielsweise der aktuellen Beleuchtungssituation.
  • Vorverarbeitungsschritte zur Erhöhung der Erkennungsgüte des Augenöffnungssignals können im Rahmen einer Augenschlussvorverarbeitung (ECP, Eye Closure Preprocessing) durchgeführt werden. Dabei kann eine Sekundenschlafdetektion integriert werden. Das Augenöffnungsniveau kann auch im Rahmen der Augenschlussvorverarbeitung stattfinden. Das Augenöffnungsniveau kann anschließend im Rahmen einer Blinzelereigniserkennung (BED, Blink Event Detection) und einer Blinzelmerkmalsberechnung (BFC, Blink Feature Calculation) verwendet werden.
  • 4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite gemäß einem Ausführungsbeispiel. Das Verfahren 400 weist einen Schritt 402 des Ermittelns auf. Das Verfahren 400 kann beispielsweise unter Verwendung einer Vorrichtung, wie sie in 1 dargestellt ist, ausgeführt werden. Im Schritt 402 des Ermittelns wird das Bezugsniveau unter Verwendung von Werten der Augenöffnungsweite ermittelt, in denen die Augenöffnungsweite größer als ein Grenzwert ist. Dem Schritt 402 des Ermittelns geht ein Schritt 404 des Unterscheidens voraus. In dem Schritt 404 des Unterscheidens werden die Werte der Augenöffnungsweite in Werte oberhalb des Grenzwerts und Werte unterhalb des Grenzwerts unterschieden.
  • In einem Ausführungsbeispiel folgt auf den Schritt 402 des Ermittelns ein Schritt 406 des Anpassens. Im Schritt 406 des Anpassens wird der Grenzwert unter Verwendung des Bezugsniveaus verändert.
  • Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2014031042 A1 [0003]

Claims (11)

  1. Verfahren (400) zum Bereitstellen eines Bezugsniveaus (102) für eine Augenöffnungsweite (104), wobei die Augenöffnungsweite (104) einen aktuell erfassten Abstand zwischen den Augenlidern eines Auges (108) repräsentiert, wobei das Verfahren (400) einen Schritt (402) des Ermittelns aufweist, in dem das Bezugsniveau (102) unter Verwendung von Werten (118) der Augenöffnungsweite (104) ermittelt wird, in denen die Augenöffnungsweite (104) größer als ein Grenzwert (114) ist.
  2. Verfahren (400) gemäß Anspruch 1, bei dem im Schritt (402) des Ermittelns das Bezugsniveau (102) ferner unter Verwendung von Stützwerten (122) ermittelt wird, wobei die Stützwerte (122) die Werte (116) der Augenöffnungsweite (104) ersetzen, die kleiner als der Grenzwert (114) sind.
  3. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (406) des Anpassens, in dem der Grenzwert (114) unter Verwendung des Bezugsniveaus (102) nachgeführt und/oder verändert wird.
  4. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (406) des Anpassens, in dem der Grenzwert (114) unter Verwendung eines gleitenden Mittelwerts der Werte (110) der Augenöffnungsweiten (104) nachgeführt und/oder verändert wird.
  5. Verfahren (400) gemäß einem der Ansprüche 3 oder 4, bei dem im Schritt (406) des Anpassens ferner Stützwerte (122), die Werte (116) der Auenöffnungsweite (104) ersetzen, die kleiner als der Grenzwert (114) sind, nachgeführt und/oder interpoliert werden.
  6. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (402) des Ermittelns das Bezugsniveau (102) ferner unter Verwendung eines Geschwindigkeitsgrenzwerts ermittelt wird, wobei die Werte (118) der Augenöffnungsweite (104) verwendet werden, wenn eine Lidgeschwindigkeit kleiner als der Geschwindigkeitsgrenzwert ist.
  7. Verfahren (400) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (402) des Ermittelns das Bezugsniveau (102) als Bezugsverlauf (102) ermittelt wird, wobei ein zeitlicher Verlauf der Augenöffnungsweite (118) in Bereichen verwendet wird, in denen die Werte der Augenöffnungsweite (104) größer als der Grenzwert (114) sind.
  8. Verfahren (400) gemäß Anspruch 7, bei dem im Schritt (402) des Ermittelns die Werte (110) der Augenöffnungsweite (104) geglättet werden.
  9. Vorrichtung (100), die eingerichtet ist, das Verfahren (400) gemäß einem der vorangegangenen Ansprüche auszuführen.
  10. Computerprogramm, das dazu eingerichtet ist, das Verfahren (400) gemäß einem der vorangegangenen Ansprüche 1 bis 8 auszuführen.
  11. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 10 gespeichert ist.
DE102015211443.0A 2015-06-22 2015-06-22 Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite Pending DE102015211443A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102015211443.0A DE102015211443A1 (de) 2015-06-22 2015-06-22 Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite
US15/187,933 US10271723B2 (en) 2015-06-22 2016-06-21 Method and apparatus for providing a reference level for an eye-opening width
JP2016122284A JP6754228B2 (ja) 2015-06-22 2016-06-21 目の開度のための参照レベルを供給する方法および装置
CN201610448540.5A CN106257549B (zh) 2015-06-22 2016-06-21 用于提供眼睛睁开距离用的参考水平的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015211443.0A DE102015211443A1 (de) 2015-06-22 2015-06-22 Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite

Publications (1)

Publication Number Publication Date
DE102015211443A1 true DE102015211443A1 (de) 2016-12-22

Family

ID=57467365

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015211443.0A Pending DE102015211443A1 (de) 2015-06-22 2015-06-22 Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite

Country Status (4)

Country Link
US (1) US10271723B2 (de)
JP (1) JP6754228B2 (de)
CN (1) CN106257549B (de)
DE (1) DE102015211443A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214935A1 (de) * 2018-09-03 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740633B2 (en) * 2017-10-02 2020-08-11 Fotonation Limited Human monitoring system incorporating calibration methodology
US11589787B2 (en) 2017-12-20 2023-02-28 Nec Corporation Drowsiness estimating device, drowsiness estimating method, and drowsiness estimating program recording medium
JP7370570B2 (ja) * 2019-09-09 2023-10-30 株式会社トーメーコーポレーション 眼科装置及びコンピュータプログラム
CN112985328B (zh) * 2021-02-26 2022-08-09 山东省交通规划设计院集团有限公司 一种隧道侧向余宽确定方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014031042A1 (en) 2012-08-20 2014-02-27 Autoliv Development Ab Eyelid movement processing for detection of drowsiness

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3960168B2 (ja) * 2002-08-29 2007-08-15 株式会社デンソー 生体状態推定方法及び装置、プログラム
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP4974360B2 (ja) * 2007-02-27 2012-07-11 国立大学法人九州大学 居眠り運転防止装置
JP4957711B2 (ja) * 2008-12-02 2012-06-20 オムロン株式会社 検出装置および方法、並びに、プログラム
JP5208711B2 (ja) * 2008-12-17 2013-06-12 アイシン精機株式会社 眼開閉判別装置及びプログラム
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
JP5832939B2 (ja) * 2012-03-16 2015-12-16 株式会社Nttドコモ 情報処理装置及び画像の拡大表示方法
JP2014071519A (ja) * 2012-09-27 2014-04-21 Aisin Seiki Co Ltd 状態判定装置、運転支援システム、状態判定方法及びプログラム
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子***集成有限公司 实时检测疲劳并提醒的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014031042A1 (en) 2012-08-20 2014-02-27 Autoliv Development Ab Eyelid movement processing for detection of drowsiness

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214935A1 (de) * 2018-09-03 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges
DE102018214935B4 (de) 2018-09-03 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges

Also Published As

Publication number Publication date
JP6754228B2 (ja) 2020-09-09
CN106257549B (zh) 2020-08-11
US20160367127A1 (en) 2016-12-22
US10271723B2 (en) 2019-04-30
JP2017006675A (ja) 2017-01-12
CN106257549A (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
DE102014220759B4 (de) Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
DE102015211443A1 (de) Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite
EP3268942B1 (de) Verfahren und vorrichtung zum erkennen eines müdigkeits- und/oder schlafzustandes eines fahrers eines fahrzeugs
DE102008040709B4 (de) Bestimmungsvorrichtung eines schläfrigen Zustands
EP3248179B1 (de) Verfahren und vorrichtung zum erkennen von sekundenschlaf eines fahrers eines fahrzeugs
DE112017002765T5 (de) Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm
DE102015203354A1 (de) Einstellungen von fahrzeugbedienerüberwachung und betriebsabläufen
DE112010003914T5 (de) Verfahren und Vorrichtung zur Erkennung von Müdigkeit am Steuer sowie ein Fahrzeug
DE102005058678A1 (de) Vorrichtung und Verfahren zur Feststellung einer Ermüdung eines Fahrers
EP2086785A1 (de) Verfahren und vorrichtung zur fahrerzustandserkennung
DE102016201531A1 (de) Verfahren und Vorrichtung zum Erkennen von Müdigkeit eines Fahrers
DE102015214116A1 (de) Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
DE102016215291A1 (de) Verfahren zur Klassifikation von Fahrerbewegungen
DE112016007124T5 (de) Verfahren und Vorrichtungen zur Überwachung eines Aktivitätsniveaus eines Fahrers
DE102016108475A1 (de) Einschlaferfassungsvorrichtung
DE102016215297A1 (de) Verfahren zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug
DE102018213268A1 (de) Verfahren zur anwendung in einem fahrzeug
DE102017103391A1 (de) Verfahren zur Verbesserung der Benutzerfreundlichkeit eines Fahrzeugs
EP3391349B1 (de) Verfahren und vorrichtung zum klassieren von augenöffnungsdaten zumindest eines auges eines insassen eines fahrzeugs und verfahren und vorrichtung zum erfassen einer schläfrigkeit und/oder eines sekundenschlafes eines insassen eines fahrzeugs
EP3310248B1 (de) Verfahren und vorrichtung zum unterscheiden von blinzelereignissen und instrumentenblicken unter verwendung einer augenöffnungsweite
DE102015224889A1 (de) Verfahren zur Müdigkeitsermittlung
DE102020209275A1 (de) Verfahren und System zum proaktiven Einstellen einer biometrischen Fahrzeuginsassen-Überwachungsvorrichtung in Bezug auf bevorstehende Straßenbedingungen
DE102016205311A1 (de) Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug
DE102021111465A1 (de) Ermittlung einer müdigkeit einer person auf basis einer lidschlaganalyse
DE102018205658A1 (de) Nutzen von Videoüberwachungskameras zur Unterstützung von Fahrerassistenzsystemen in Fahrzeugen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: A61B0005180000

Ipc: A61B0003100000