DE102016108475A1 - Einschlaferfassungsvorrichtung - Google Patents

Einschlaferfassungsvorrichtung Download PDF

Info

Publication number
DE102016108475A1
DE102016108475A1 DE102016108475.1A DE102016108475A DE102016108475A1 DE 102016108475 A1 DE102016108475 A1 DE 102016108475A1 DE 102016108475 A DE102016108475 A DE 102016108475A DE 102016108475 A1 DE102016108475 A1 DE 102016108475A1
Authority
DE
Germany
Prior art keywords
series data
image
time
eye
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016108475.1A
Other languages
German (de)
Inventor
Hitoshi Kubota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzuki Motor Corp
Original Assignee
Suzuki Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzuki Motor Corp filed Critical Suzuki Motor Corp
Publication of DE102016108475A1 publication Critical patent/DE102016108475A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Anesthesiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

[Zu lösendes Problem] Eine Einschlaferfassungsvorrichtung bereitzustellen, die eine Erfassungsgenauigkeit und Ansprechempfindlichkeit verbessern kann durch Eliminieren von Effekten von Blinzeln, Umgebungslicht oder dergleichen. [Lösung] Die Einschlaferfassungsvorrichtung umfasst Mittel (12) zum Erfassen eines Augenlid-Öffnungsgrades anhand eines Bildes beider Augen eines Subjekts, Mittel (13) zur Aufnahme des Augenlid-Öffnungsgrades bei einer vorgegebenen Bildrate als Zeitreihendaten, und Einschlafbestimmungsmittel (14, 15, 17) zum Extrahieren eines Grenzbildes (k) als eine Augenschließ-Startzeit, wobei das Grenzbild (k) ein Bild ist, das eine vorgegebene Zahl von kontinuierlichen Erfassungszielbildern (N), umfassend das letzte Bild der Zeitreihendaten, in eine vorhergehende Gruppe (C1) und eine nachfolgende Gruppe (C2) segmentieren, und wobei das Grenzbild (k) ein Bild ist, in welchem ein Separationsgrad (η) zwischen Zeitreihendaten (μ1) der vorhergehenden Gruppe und Zeitreihendaten (μ2) der nachfolgenden Gruppe maximal wird.[Problem to be Solved] To provide a shot detection device that can improve detection accuracy and responsiveness by eliminating effects of blinking, ambient light, or the like. [Solution] The eye detection device comprises means (12) for detecting an eyelid opening degree from an image of both eyes of a subject, means (13) for receiving the eyelid opening degree at a predetermined frame rate as time-series data, and sleep determining means (14, 15, 17) for extracting a boundary image (k) as an eye-closing start time, wherein the boundary image (k) is an image containing a predetermined number of continuous acquisition target images (N) including the last image of the time-series data into a preceding group (C1) and one segment the next group (C2), and wherein the boundary image (k) is an image in which a degree of separation (η) between time series data (μ1) of the preceding group and time series data (μ2) of the subsequent group becomes the maximum.

Description

[Technisches Gebiet][Technical area]

Die vorliegende Erfindung bezieht sich auf eine Einschlaferfassungsvorrichtung, und im Speziellen auf eine Vorrichtung zum Erfassen eines Einschlafens eines Fahrers, der ein Fahrzeug fährt und zum Verhindern eines Fahrens bei Schläfrigkeit.The present invention relates to an eye detecting device, and more particularly, to a device for detecting a fall asleep of a driver driving a vehicle and preventing drowsiness driving.

[Stand der Technik][State of the art]

Als Vorrichtung zum Erfassen eines Fahrens bei Schläfrigkeit sind diverse Vorrichtungen zum Erfassen eines Fahrens bei Schläfrigkeit, wie zum Beispiel eine Vorrichtung, die eine Abbildung des Gesichts des Fahrers mit einer Kamera aufnimmt und Schläfrigkeit anhand der Abbildung bestimmt, und eine Vorrichtung, die einen Einschlafzustand anhand einer Änderung eines Pulses des Fahrers bestimmt, vorgeschlagen worden.As a device for detecting drowsiness driving, there are various devices for detecting drowsiness driving, such as a device that takes a picture of the driver's face with a camera and determines drowsiness from the map, and a device that determines a drowsing state a change of a pulse of the driver has been proposed.

Zum Beispiel offenbart Patentliteratur 1 ein Extrahieren eines Extremwerts aus einer Gradverteilung eines Augenöffnungsgrades eines Fahrers und ein Schätzen einer Zustandsänderung des Fahrers durch Erfassen einer zeitlichen Änderung des Extremwerts. In diesem Verfahren werden ein Extremwert nach Augenöffnen und ein Extremwert nach Augenschließen extrahiert, und wenn der Extremwert eines Augenschließ-Zustands tendenziell größer wird, wird bestimmt, dass der Fahrer schläfrig ist.For example, Patent Literature 1 discloses extracting an extreme value from a degree distribution of an eye opening degree of a driver and estimating a state change of the driver by detecting a temporal change of the extreme value. In this method, an extreme value after eye opening and an extreme value after eye closure are extracted, and when the extreme value of an eye closure condition tends to increase, it is determined that the driver is drowsy.

Mit dem oben beschriebenen Verfahren gibt es jedoch zum Beispiel ein Problem, dass ein Fall, in welchem ein Geschlossenes-Auge-Zustand und ein Geöffnetes-Auge-Zustand innerhalb einer kurzen Zeitdauer wiederholt werden, wie etwa in einem Fall, in welchem der Fahrer auf kontinuierliche Weise wiederholt zwinkert, fälschlicherweise als ein größer werdender Extremwert des Augenschließ-Zustands bestimmt wird. Ferner gibt es auch einen Fall, in welchem eine Erfassung temporär unterbrochen ist aufgrund eines Umgebungslichtes, und daher eine Messung nicht immer kontinuierlich durchgeführt wird.However, with the above-described method, for example, there is a problem that a case in which a closed-eye state and an open-eye state are repeated within a short period of time, such as in a case where the driver is on continuously winks repeatedly, is erroneously determined as an increasing extreme value of the eye-closing condition. Further, there is also a case where detection is temporarily interrupted due to an ambient light, and therefore measurement is not always performed continuously.

Ferner, da der Geschlossenes-Auge-Zustand anhand der Frequenzverteilung in einer fixen Messungsperiode bestimmt wird, gibt es auch ein Problem, dass der Geschlossenes-Auge-Zustand nicht erfasst werden kann, bis die Messungsperiode abgelaufen ist. Mit anderen Worten, es ist unmöglich, zu spezifizieren, zu welchem Zeitpunkt innerhalb der Messungsperiode der Zustand in den Geschlossenes-Auge-Zustand übergeht, und ein Zeitunterschied tritt auf zwischen einer Zeit, zu welcher der Zustand tatsächlich in den Geschlossenes-Auge-Zustand übergeht und einer Zeit, zu welcher der Geschlossenes-Auge-Zustand erfasst wird, was eine Verzögerung verursachen kann.Further, since the closed-eye state is determined from the frequency distribution in a fixed measurement period, there is also a problem that the closed-eye state can not be detected until the measurement period has elapsed. In other words, it is impossible to specify at which time within the measurement period the state transitions to the closed-eye state, and a time difference occurs between a time when the state actually transitions to the closed-eye state and a time at which the closed-eye state is detected, which may cause a delay.

Andererseits offenbart Patentliteratur 2 ein Verwenden einer Schwelle, um den Einfluss von Blinzeln und Umgebungslicht als Rauschen zu eliminieren. Jedoch tritt, falls eine Schwelle verwendet wird, um den Geschlossenes-Auge-Zustand zu bestimmen, ein unvermeidbarer Fehler auf aufgrund einer Definition der Schwelle. In erster Linie, da es einen individuellen Unterschied in den Augengrößen gibt, und die Größen der Augen durch diverse Faktoren wie zum Beispiel Ausdruck und Haltung beeinflusst werden, ist ein Setzen der Schwelle selbst schwierig.On the other hand, Patent Literature 2 discloses using a threshold to eliminate the influence of blinking and ambient light as noise. However, if a threshold is used to determine the closed-eye condition, an unavoidable error occurs due to a definition of the threshold. First of all, since there is an individual difference in the size of the eyes, and the sizes of the eyes are affected by various factors such as expression and posture, setting the threshold itself is difficult.

[Liste der Referenzen][List of references]

[Patentliteratur][Patent Literature]

  • [Patentliteratur 1] Japanische Patentoffenlegungsschrift Nr. 2008-99884 [Patent Literature 1] Japanese Patent Laid-Open Publication No. 2008-99884
  • [Patentliteratur 2] Japanische Patentoffenlegungsschrift Nr. 2010-184067 [Patent Literature 2] Japanese Patent Laid-Open Publication No. 2010-184067

[Zusammenfassung der Erfindung]Summary of the Invention

[Von der Erfindung zu lösendes Problem][Problem to be Solved by the Invention]

Die vorliegende Erfindung ist in Anbetracht der oben beschriebenen Umstände gemacht worden, und ein Ziel der vorliegenden Erfindung ist, eine Erfassungsgenauigkeit und Ansprechempfindlichkeit durch Eliminieren von Effekten von Blinzeln, Umgebungslicht oder dergleichen in einer Einschlaferfassungsvorrichtung zu verbessern.The present invention has been made in view of the above-described circumstances, and an object of the present invention is to improve a detection accuracy and responsiveness by eliminating effects of blinking, ambient light or the like in an eye detection apparatus.

[Mittel zum Lösen des Problems][Means for Solving the Problem]

Um das oben beschriebene Problem zu lösen, umfasst eine Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung:
Mittel zum Erfassen eines Augenlid-Öffnungsgrades in einer Abbildung beider Augen eines Subjekts;
Mittel zum Aufnehmen des Augenlid-Öffnungsgrades bei einer vorgegebenen Bildrate als Zeitreihendaten; und
Einschlafbestimmungsmittel zum Extrahieren eines Grenzbildes als eine Augenschließ-Startzeit, wobei das Grenzbild ein Bild ist, das eine vorgegebene Zahl von kontinuierlichen Erfassungszielbildern, umfassend das letzte Bild der Zeitreihendaten, in eine vorhergehende Gruppe und eine nachfolgende Gruppe segmentiert, und wobei das Grenzbild ein Bild ist, in welchem ein Separationsgrad zwischen Zeitreihendaten der vorhergehenden Gruppe und Zeitreihendaten der nachfolgenden Gruppe maximal wird.In order to solve the problem described above, a soak detection apparatus according to the present invention comprises:
Means for detecting an eyelid opening degree in an image of both eyes of a subject;
Means for recording the eyelid opening degree at a predetermined frame rate as time-series data; and
Sleep-determining means for extracting a boundary image as an eye-closing start time, wherein the boundary image is an image segmenting a predetermined number of continuous detection-target images comprising the last image of the time-series data into a preceding group and a subsequent group, and wherein the boundary image is an image in which a degree of separation between time series data of the preceding group and time series data of the subsequent group becomes the maximum.

[Vorteilhafte Effekte der Erfindung][Advantageous Effects of Invention]

Gemäß der obigen Konfiguration tritt, da ein Einschlafen nicht unmittelbar startet, nachdem eine Erfassung in einer normalen Implementierung der Einschlaferfassungsvorrichtung gestartet wird, während ein Augenlid-Öffnungsgrad, unmittelbar nachdem die Erfassung gestartet wird, auf einem Geöffnetes-Auge-Niveau für die Gesamtheit der Erfassungszielbilder ist und der Separationsgrad zwischen der vorhergehenden Gruppe und der nachfolgenden Gruppe weiterhin ein sehr kleiner Wert ist, wenn eine Tendenz eines Einschlafens auftritt, ein niedriges Niveau des Augenlid-Öffnungsgrades in der nachfolgenden Gruppe auf, und der Separationsgrad erhöht sich. Deshalb ist es möglich, eine Änderung direkt zu erfassen, bei welcher sich der Zustand von dem vorherigen Zustand anhand der kontinuierlichen Zeitreihendaten ändert, und es ist vorteilhaft für eine Verbesserung der Erfassungsgenauigkeit und Ansprechempfindlichkeit.According to the above configuration, since falling asleep does not start immediately after a Detection in a normal implementation of the eye detection device is started while an eyelid opening degree immediately after the detection is started is at an opened-eye level for the entirety of the detection target images, and the degree of separation between the preceding group and the subsequent group continues to be very high small value, when a tendency of falling asleep, is a low level of the eyelid opening degree in the subsequent group, and the degree of separation increases. Therefore, it is possible to directly detect a change in which the state changes from the previous state based on the continuous time-series data, and it is advantageous to improve the detection accuracy and responsiveness.

Außerdem ist, zusätzlich zu einer Änderung in einer kurzen Zeitdauer wie zum Beispiel Blinzeln und fehlender Daten aufgrund Umgebungslichtes, die kaum den Separationsgrad ändern, selbst wenn ein in den Abbildungen erfasster Größenunterschied aufgrund eines individuellen Unterschieds wie zum Beispiel Augengröße und ein Öffnungsgrad, ein Haltungswechsel, eine das Gesicht neigende Handlung oder dergleichen auftritt, da diese im Voraus zu einem Zeitpunkt, wenn diese in Zeitreihen als Daten der vorhergehenden Gruppe aufgenommen werden, berücksichtigt werden, eine Verarbeitungsprozedur oder eine Vorverarbeitung zu deren Eliminierung nicht erforderlich, was die Verarbeitung und eine Vorrichtung vereinfachen kann, und ist vorteilhaft zur Prävention einer fehlerhaften Erfassung.In addition, in addition to a change in a short period of time such as blinking and missing data due to ambient light, which hardly change the degree of separation, even if a size difference detected in the images is due to an individual difference such as eye size and opening degree, a change of posture, a face-tending action or the like occurs because they are considered in advance at a time when they are taken in time series as data of the preceding group, a processing procedure or preprocessing for their elimination is not required, which simplifies the processing and a device can, and is advantageous for preventing erroneous detection.

In einem bevorzugten Aspekt der vorliegenden Erfindung erhält das Einschlafbestimmungsmittel eine Dispersion als den Separationsgrad zwischen den Zeitreihendaten der vorhergehenden Gruppe und den Zeitreihendaten der nachfolgenden Gruppe unter der Annahme, dass, für alle Bilder der vorgegebenen Zahl von Erfassungszielbildern, jedes Bild das Grenzbild ist, und extrahiert ein Grenzbild, in welchem die Dispersion maximal wird, als die Augenschließ-Startzeit. Gemäß dieses Aspekts ist es, da jede Gruppe, wenn der Separationsgrad zwischen der vorhergehenden Gruppe und der nachfolgenden Gruppe bestimmt wird, mit der Zahl von Bildern gewichtet wird, vorteilhaft für eine stabile Einschlaferfassung durch ein Eliminieren von Einflüssen durch zeitliche und sporadische Fluktuation wie zum Beispiel Blinzeln. In a preferred aspect of the present invention, the sleep-determining means obtains a dispersion as the degree of separation between the time-series data of the preceding group and the time-series data of the subsequent group on the assumption that, for all the images of the predetermined number of detection-target images, each image is the boundary image, and extracts a boundary image in which the dispersion becomes maximum, as the eye-closing start time. According to this aspect, since each group is weighted with the number of images when the degree of separation between the preceding group and the subsequent group is determined, it is advantageous for stable inclusion detection by eliminating influences of temporal and sporadic fluctuation such as, for example Blink.

Eine Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung kann auch implementiert werden durch Bereitstellen einer arithmetischen Verarbeitungseinheit (Computer), die ausführen kann:
einen Schritt, einen Augenlid-Öffnungsgrad in einer Abbildung beider Augen eines Subjekts zu erfassen,
einen Schritt, den Augenlid-Öffnungsgrad bei einer vorgegebenen Bildrate als Zeitreihendaten aufzunehmen,
einen Schritt, Zeitreihendaten einer vorgegebenen Zahl von kontinuierlichen Erfassungszielbildern, umfassend das letzte Bild, von einem Mittel zum Aufnehmen der Zeitreihendaten zu laden,
einen Schritt, die Zeitreihendaten der Erfassungszielbilder in eine vorhergehende Gruppe und eine nachfolgende Gruppe zu segmentieren unter der Annahme, dass, für alle Bilder der vorgegebenen Zahl von Erfassungszielbildern, jedes Bild ein Grenzbild ist, und einen Separationsgrad zwischen Zeitreihendaten der vorhergehenden Gruppe und Zeitreihendaten der nachfolgenden Gruppe zu berechnen, und
einen Schritt, ein Grenzbild, in welchem der Separationsgrad zwischen den Zeitreihendaten der vorhergehenden Gruppe und den Zeitreihendaten der nachfolgenden Gruppe maximal wird, als die Augenschließ-Startzeit zu extrahieren.An eye detection device according to the present invention may also be implemented by providing an arithmetic processing unit (computer) capable of:
a step of detecting an eyelid opening degree in an image of both eyes of a subject,
a step of taking the eyelid opening degree at a predetermined frame rate as time-series data,
a step of loading time series data of a predetermined number of continuous acquisition target images, including the last image, by means for receiving the time series data,
a step of segmenting the time series data of the acquisition target images into a preceding group and a subsequent group, on the assumption that, for all the images of the predetermined number of acquisition target images, each image is a border image, and a separation degree between time series data of the preceding group and time series data of the subsequent ones Calculate group, and
a step of extracting a boundary image in which the degree of separation between the time series data of the preceding group and the time series data of the subsequent group becomes maximum, as the eye-closing start time.

Ferner werden, in einem weiteren bevorzugten Aspekt der vorliegenden Erfindung, die Zahl der Bilder N der vorgegebenen Zahl von Erfassungszielbildern, ein Mittelwert μ1 der Zeitreihendaten der vorhergehenden Gruppe, ein Mittelwert μ2 der Zeitreihendaten der nachfolgenden Gruppe und ein Separationsgrad ηk in dem Grenzbild k anhand der folgenden Gleichung berechnet: ηk = (μ1 – μ2)2 (wobei wenn μ2 > μ1, ηk = 0)Further, in a further preferred aspect of the present invention, the number of images N of the predetermined number of detection target images, an average μ1 of the time series data of the preceding group, an average μ2 of the time series data of the subsequent group, and a separation degree ηk in the boundary image k are determined from FIG calculates the following equation: ηk = (μ1 - μ2) 2 (where if μ2> μ1, ηk = 0)

Gemäß dieses Aspekts gibt es Vorteile, dass es möglich ist, eine Berechnung und eine Verarbeitung zu vereinfachen, während die Erfassungsgenauigkeit beibehalten wird.According to this aspect, there are advantages that it is possible to simplify calculation and processing while maintaining the detection accuracy.

In einem bevorzugten Aspekt der vorliegenden Erfindung ist das Einschlafbestimmungsmittel so konfiguriert, dass es ein Einschlafen bestimmt, nachdem ein Geschlossenes-Auge-Zustand für eine vorgegebene Zeitdauer andauert, nachdem eine Augenschließ-Startzeit erfasst ist. Gemäß dieses Aspekts ist es durch Setzen einer zulässigen Periode als die vorgegebene Periode gemäß eines Verwendungszwecks der Einschlaferfassungsvorrichtung möglich, eine Augenschließ-Handlung auszuschließen, die keine Auswirkung auf den Verwendungszweck hat. In a preferred aspect of the present invention, the sleep-determining means is configured to determine falling asleep after a closed-eye state continues for a predetermined period of time after an eye-closing start time is detected. According to this aspect, by setting a permissible period as the predetermined period according to a purpose of use of the impact detecting device, it is possible to exclude an eye-closing action having no effect on the intended use.

Die Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung ist dafür geeignet, in einem System eines Fahrzeugs zum Verhindern eines Fahrens bei Schläfrigkeit implementiert zu werden. Zum Beispiel ist das Subjekt ein Fahrer des Fahrzeugs, und wenn ein Einschlafen durch das Einschlafbestimmungsmittel bestimmt ist, wird ein Alarm an den Fahrer ausgelöst oder ein Kontrollsignal an das Fahrzeug ausgegeben.The on-eye detection apparatus according to the present invention is adapted to be implemented in a system of a vehicle for preventing drowsiness driving. For example, the subject is a driver of the vehicle, and when falling asleep is determined by the sleep-determining means, an alarm is issued to the driver or a control signal is output to the vehicle.

[Kurze Beschreibung der Zeichnungen] [Brief Description of the Drawings]

1 ist ein Blockdiagramm, das eine Ausführungsform einer Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung veranschaulicht. 1 FIG. 10 is a block diagram illustrating an embodiment of a soak detection apparatus according to the present invention.

2 ist ein schematisches Diagramm, das ein Fahrzeug veranschaulicht, in welchem die Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung implementiert ist. 2 FIG. 10 is a schematic diagram illustrating a vehicle in which the impact detection apparatus according to the present invention is implemented. FIG.

3 ist ein schematisches Diagramm, das eine Erfassung eines Augenlid-Öffnungsgrades veranschaulicht. 3 Fig. 10 is a schematic diagram illustrating detection of an eyelid opening degree.

4 ist ein Flussdiagramm, das einen Betrieb der Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung veranschaulicht. 4 FIG. 10 is a flowchart illustrating an operation of the impact detecting device according to the present invention. FIG.

5 ist ein Graph, der eine zeitliche Änderung des Augenlid-Öffnungsgrades veranschaulicht. 5 Fig. 10 is a graph illustrating a temporal change of the eyelid opening degree.

6 ist ein Flussdiagramm, das einen Erfassungsprozess einer Augenschließ-Startzeit in der Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung veranschaulicht. 6 FIG. 10 is a flowchart illustrating a detection process of an eye-closing start time in the on-state detection device according to the present invention. FIG.

7 ist ein Graph, der einen Klassenseparationsgrad und eine Erfassung einer Augenschließ-Startzeit veranschaulicht. 7 Fig. 10 is a graph illustrating a class separation degree and an eye closure start time detection.

8 ist ein Graph, der eine zeitliche Veränderung eines Augenlid-Öffnungsgrades in dem Fall veranschaulicht, in welchem sich eine Haltung ändert. 8th Fig. 12 is a graph illustrating a time change of an eyelid opening degree in the case where a posture changes.

9 ist ein Graph (linke Seite), der eine zeitliche Veränderung eines Augenlid-Öffnungsgrades in Zeitreihen (a) bis (d) veranschaulicht, und ein Graph (rechte Seite), der eine zeitliche Veränderung eines Separationsgrads veranschaulicht. 9 Fig. 12 is a graph (left side) illustrating a temporal change of an eyelid opening degree in time series (a) to (d), and a graph (right side) illustrating a temporal change of a degree of separation.

[Ausführungsformen der Erfindung]Embodiments of the Invention

Eine Ausführungsform der vorliegenden Erfindung wird nachfolgend im Detail in Bezug auf die Zeichnungen beschrieben werden.An embodiment of the present invention will be described below in detail with reference to the drawings.

2 veranschaulicht den Umriss eines Fahrzeugs 4, in welchem eine Einschlaferfassungsvorrichtung 1 gemäß der vorliegenden Erfindung als System zum Verhindern eines Fahrens bei Schläfrigkeit implementiert ist, und in der Zeichnung ist das System zum Verhindern eines Fahrens bei Schläfrigkeit mit der Einschlaferfassungsvorrichtung 1, einem Fahrzeuginformation-Erfassungsmittel 20, einer Kamera 21, einer Alarmvorrichtung 22 und dergleichen konfiguriert, und erfasst einen Augenlid-Öffnungsgrad eines Fahrers 30 im Zeitverlauf anhand einer mit der Kamera 21 aufgenommenen Abbildung, und, wenn bestimmt wird, dass ein Zustand des Fahrers 30 in einen Einschlaf-Zustand übergeht, Präventivmaßnahmen ergreift, zum Beispiel, ein Aufwecken des Fahrers 30 durch die Alarmvorrichtung 22. 2 illustrates the outline of a vehicle 4 in which a soak detection device 1 According to the present invention, it is implemented as a drowsiness preventing system, and in the drawing, the drowsiness preventing system is provided with the impact detecting device 1 , a vehicle information acquisition means 20 , a camera 21 , an alarm device 22 and the like, and detects an eyelid opening degree of a driver 30 over time using a camera 21 taken picture, and if it is determined that a condition of the driver 30 in a fall asleep state, taking preventive measures, for example, a waking up of the driver 30 through the alarm device 22 ,

Das Fahrzeuginformation-Erfassungsmittel 20 erfasst eine Sensorausgabe von jeder Einheit des Fahrzeugs als ein Draht- oder Drahtlossignal, und zum Beispiel wird ein Controller Area Network (CAN), das Fahrzeuginformationen wie zum Beispiel Betriebszustände einer Fahrzeuggeschwindigkeit, einen Lenkradlenkwinkel, eine Gaspedalposition, einen Bremsschalter und einen Blinkerschalter als Drahtlossignal erfasst, entsprechend genutzt.The vehicle information acquiring means 20 detects a sensor output from each unit of the vehicle as a wire or wireless signal, and, for example, a controller area network (CAN) that detects vehicle information such as vehicle speed conditions, steering wheel steering angle, accelerator pedal position, brake switch, and turn signal switch as the wireless signal , used accordingly.

Die Kamera 21 ist bei einem Armaturenbrett oder einer Säulenabdeckung bereitgestellt, während sie dem Gesicht des Fahrers 30 so gegenübergestellt ist, dass sie in der Lage ist, eine Abbildung von mindestens beiden Augen des Fahrers 30 aufzunehmen, und eine Digitalkamera, die einen Festkörperbildsensor wie zum Beispiel ein CCD und ein CMOS verwendet, wird entsprechend verwendet.The camera 21 is provided on a dashboard or pillar cover while facing the driver's face 30 so faced that she is able to take a picture of at least both eyes of the driver 30 and a digital camera using a solid-state image sensor such as a CCD and a CMOS is used accordingly.

Wie in 1 veranschaulicht, ist die Einschlaferfassungsvorrichtung 1 hauptsächlich konfiguriert mit einer Fahrzeuginformation-Aufnahmeeinheit 10, einer Bildaufnahmeeinheit 11, einer Augenlid-Öffnungsgrad-Erfassungseinheit 12, einer Zeitreihendaten-Aufnahmeeinheit 13, einer Klassenseparationsgrad-Berechnungseinheit 14, eine Augenschließ-Startzeit-Erfassungseinheit 15, einer Augenschließ-Endzeit-Erfassungseinheit 16, einer Einschlaf-Zustand-Bestimmungseinheit 17 und einer Signal-Ausgabeeinheit 18.As in 1 1 is the impact detection device 1 mainly configured with a vehicle information acquisition unit 10 , an image acquisition unit 11 , an eyelid opening degree detection unit 12 a time-series data acquisition unit 13 , a class separation degree calculation unit 14 , an eye-closing start-time detection unit 15 , an eye close end time detection unit 16 , a sleep state determination unit 17 and a signal output unit 18 ,

Diese sind entsprechend konfiguriert mit einem Computer, umfassend ein ROM, welches ein Programm und Daten speichert, die arbeiten können, um jede Funktion auszuführen, eine CPU, die arithmetische Verarbeitung ausführt, ein RAM, in welches das Programm ausgelesen wird und welches eine Arbeitsfläche der CPU oder eine zeitliche Speicherfläche eines arithmetischen Resultats wird, eine Eingabeschnittstelle, mit der eingabeseitige externe Ausrüstung (20, 21) verbunden ist, eine Ausgabeschnittstelle, mit welcher ausgabeseitige externe Ausrüstung (22) verbunden ist oder dergleichen. These are appropriately configured with a computer comprising a ROM which stores a program and data that can operate to perform each function, a CPU that performs arithmetic processing, a RAM to which the program is read out and which is a work surface of the program CPU or a temporal storage area of an arithmetic result, an input interface, with the input side external equipment ( 20 . 21 ), an output interface with which output-side external equipment ( 22 ) or the like.

Ein Betrieb jeder Einheit der Einschlaferfassungsvorrichtung 1 wird im Detail nachfolgend mit Bezug auf das Blockdiagramm von 1 und das Flussdiagramm von 4 beschrieben werden.An operation of each unit of the impact detecting device 1 will be described in detail below with reference to the block diagram of 1 and the flowchart of 4 to be discribed.

Die Fahrzeuginformation-Aufnahmeeinheit 10 nimmt Fahrzeuginformationen auf, die durch das Fahrzeuginformation-Erfassungsmittel 20 erfasst werden, und wenn, zum Beispiel, die Fahrzeuggeschwindigkeit 0 ist, wird es so aufgefasst, dass das Fahrzeug geparkt ist, und wenn ein Betrieb des Lenkradlenkwinkels, der Gaspedalposition, des Bremsschalters, des Blinkerschalters oder dergleichen erfasst wird, wird es so aufgefasst, dass der Fahrer 30 wach ist, und die Einschlaferfassungsvorrichtung 1 wird nicht aktiviert (S101). Außerdem ist es möglich, eine Zeitdauer in einer Bestimmung eines Einschlafzustandes gemäß der Fahrzeuggeschwindigkeit zu ändern, was später beschrieben werden wird.The vehicle information acquisition unit 10 picks up vehicle information provided by the vehicle information acquisition means 20 is detected, and if, for example, the vehicle speed is 0, it is considered that the vehicle is parked, and when an operation of the Lenkradlenkwinkels, the accelerator pedal position, the brake switch, the turn signal switch or the like is detected, it is understood that the driver 30 is awake, and the impact detection device 1 is not activated (S101). In addition, it is possible to change a period of time in a determination of a sleep state according to the vehicle speed, which will be described later.

Die Bildaufnahmeeinheit 11 nimmt eine durch die Kamera 21 erfasste Abbildung als Zeitreihendaten bei einer vorgegebenen Bildrate auf (S102). Es ist auch möglich, ein Schema zu verwenden, in welchem Daten der Zahl von Bildern, die zur Bestimmung des Einschlafzustandes nötig sind, was später beschrieben werden wird, vorübergehend gehalten und sequenziell upgedatet werden, oder ein Schema, in welchem die Daten sequenziell überschrieben werden, nachdem sie gespeichert wurden und eine vorgegebene Speicherkapazität erreicht haben.The image capture unit 11 takes one through the camera 21 acquired image as time-series data at a predetermined frame rate (S102). It is also possible to use a scheme in which data of the number of images necessary for determining the sleep state, which will be described later, is temporarily held and updated sequentially, or a scheme in which the data is sequentially overwritten after they have been saved and have reached a given storage capacity.

Die Augenlid-Öffnungsgrad-Erfassungseinheit 12 führt eine Bildverarbeitung aus, um einen Augenlid-Öffnungsgrad durch Verarbeiten der aufgenommenen Abbildung zu erhalten (S103). Für die Bildverarbeitungsprozedur zum Erhalten des Augenlid-Öffnungsgrades kann ein öffentlich bekanntes Verfahren, das sich auf Bildverarbeitung und Bilderkennung bezieht, verwendet werden. Zum Beispiel, wenn eine Abbildung von beiden Augen 2L und 2R, wie in 3 veranschaulicht, binarisiert wird, werden eine Linie des Augenlid und ein Pupillenbereich schwarze Pixel. Daher entspricht in der erhaltenen binarisierten Abbildung ein Maximalwert der Zahl von schwarzen Pixeln in jeder Pixelreihe, die beide Augen 2L und 2R vertikal überstreicht, einer Breite in einer vertikalen Richtung der Zentren von rechten und linken Pupillen und wird zu Augenlid-Öffnungsgraden OL und OR.The eyelid opening degree detection unit 12 performs image processing to obtain an eyelid opening degree by processing the captured image (S103). For the image processing procedure for obtaining the eyelid opening degree, a publicly known method relating to image processing and image recognition may be used. For example, if a picture of both eyes 2L and 2R , as in 3 A line of the eyelid and a pupil area become black pixels. Therefore, in the obtained binarized image, a maximum value corresponds to the number of black pixels in each pixel row, both eyes 2L and 2R vertically sweeps, a width in a vertical direction of the centers of right and left pupils, and becomes eyelid opening degrees O L and O R.

Es sollte beachtet werden, dass, da es aufgefasst werden kann, dass der Zustand in einem erwachten Zustand ist wie mit einem Bezugszeichen 3' in 3 bezeichnet unmittelbar nachdem eine Aufnahme gestartet ist (unmittelbar nachdem einen Fahren gestartet ist), während es auch möglich ist, ein Verhältnis in Bezug auf den Augenlid-Öffnungsgrad (OLMAX, ORMAX) in diesem Fall als den Augenlid-Öffnungsgrad OL, OR (%) zu verwenden, ist es in der vorliegenden Erfindung, wie später beschrieben werden wird, weil ein Separationsgrad zwischen einem Geöffnetes-Auge-Zustand und einem Geschlossenes-Auge-Zustand erfasst wird, nicht notwendig, einen absoluten Wert des Augenlid-Öffnungsgrades und des Augenlid-Öffnungsgrades selbst basierend auf dem absoluten Wert des Augenlid-Öffnungsgrades zu erhalten, und der Maximalwert der Zahl von schwarzen Pixeln kann, wie er ist, als die Augenlid-Öffnungsgrade OL, OR verwendet werden. Ferner ist es möglich, einen Mittelwert des linken und des rechten Augenlid-Öffnungsgrades OL, OR zu verwenden oder einen größeren Wert von den linken und rechten Augenlid-Öffnungsgraden unter der Bedingung des Faktors zu verwenden, dass es nur notwendig ist, dass eines der beiden Augen in einem Geöffnetes-Auge-Zustand ist. Im Gegenzug ist es möglich, einen kleineren Wert von den linken und rechten Augenlid-Öffnungsgraden zu verwenden.It should be noted that since it can be understood that the state is in an awake state as with a reference numeral 3 ' in 3 immediately after a recording is started (immediately after a running is started), while it is also possible to have a relation with respect to the eyelid opening degree (O LMAX , O RMAX ) in this case as the eyelid opening degree O L , O R (%), in the present invention, as will be described later, because a degree of separation between an opened-eye state and a closed-eye state is detected, it is not necessary to have an absolute value of the eyelid opening degree and the eyelid opening degree itself based on the absolute value of the eyelid opening degree, and the maximum value of the number of black pixels can be used as it is as the eyelid opening degrees O L , O R. Further, it is possible to use a mean value of the left and right eyelid opening degrees O L , O R or to use a larger value of the left and right eyelid opening degrees under the condition of the factor that it is only necessary that one the two eyes are in an open-eye state. In turn, it is possible to use a smaller value of the left and right eyelid opening degrees.

Die Zeitreihendaten-Aufnahmeeinheit 13 nimmt die Augenlid-Öffnungsgrade OL, OR auf, die bei der Augenlid-Öffnungsgrad-Erfassungseinheit 12 als Zeitreihendaten bei einer vorgegebenen Bildrate erhalten werden (S104). Die Bildrate ist nicht auf besondere Weise beschränkt, aber beträgt passenderweise 10 bis 30 Bilder pro Sekunde in Anbetracht von Eigenschaften einer Blinzel-Handlung.The time-series data acquisition unit 13 picks up the eyelid opening degrees O L , O R , which at the eyelid opening degree detection unit 12 are obtained as time-series data at a predetermined frame rate (S104). The frame rate is not particularly limited, but is aptly 10 to 30 frames per second given the characteristics of a Blinzel plot.

Falls die Bildrate zu hoch ist, erhöht sich die Last auf die Vorrichtung, was die zum Sicherstellen einer notwendigen Verarbeitungsgeschwindigkeit benötigten Vorrichtungskosten erhöhen kann.If the frame rate is too high, the load on the device increases, which may increase the device cost needed to ensure a necessary processing speed.

Ferner werden bei der Zeitreihendaten-Aufnahmeeinheit 13 Daten gehalten, die einer minimalen Zahl von Bildern entsprechen, die nötig sind, um einen Einschlafzustand zu bestimmen, und Daten, bevor die Daten, die der minimalen Zahl von Bildern entsprechen, auf sequenzielle Weise gelöscht werden, und Daten eines gegenwärtigen Bildes werden neu hinzugefügt. Durch dieses Mittel wird ein Betrieb ausgeführt, während Zeitreihendaten der vergangenen fixen Periode auf konstante Weise upgedatet und gehalten werden.Further, in the time series data acquisition unit 13 Holding data corresponding to a minimum number of images necessary to determine a sleep state and data before the data corresponding to the minimum number of images are deleted in a sequential manner and data of a current image are newly added , By this means, an operation is performed while time series data of the past fixed period are updated and maintained in a constant manner.

5 ist ein Graph, der ein Beispiel von Zeitreihendaten des Augenlid-Öffnungsgrades veranschaulicht, in welchem der Zustand in einem Geöffnetes-Auge-Zustand mit dem Augenlid-Öffnungsgrad von ungefähr 90% ungefähr –10 bis –3 Sekunden basierend auf der gegenwärtigen Zeit ist, und eine augenblickliche Abnahme des Augenlid-Öffnungsgrades aufgrund von Blinzeln oder zeitlichen Daten, die aufgrund von Umgebungslicht fehlen, wird festgestellt. Von einem solchen Geöffnetes-Auge-Zustand geht der Zustand nach –3 Sekunden weitgehend in einen Geschlossenes-Auge-Zustand über. 5 FIG. 12 is a graph illustrating an example of eyelid opening degree time-series data in which the state in an opened-eye state with the eyelid opening degree of about 90% is about -10 to -3 seconds based on the current time, and FIG an instantaneous decrease in the eyelid opening degree due to blinks or temporal data missing due to ambient light is detected. From such an open-eye condition, the condition largely goes into a closed-eye state after -3 seconds.

Obwohl später im Detail beschrieben, werden vorzugsweise, um einen Fall, in welchem der Augenschließ-Zustand für zwei Sekunden oder länger andauert, anhand des Separationsgrades zu erfassen, während eine Fahrzeuggeschwindigkeit oder dergleichen berücksichtigt wird, Zeitreihendaten gehalten, die mindestens vier Sekunden entsprechen, was das Doppelte der zwei Sekunden ist. In der vorliegenden Ausführungsform werden, um eine verlässliche Erfassung zu ermöglichen, Zeitreihendaten, die N = 150 Bildern bei einer Bildrate von 30 Bildern/Sekunde entsprechen, gehalten unter der Annahme eines Falls, in welchem Zeitreihendaten, die fünf Sekunden entsprechen, gehalten werden.Although described in detail later, preferably, in order to detect a case in which the eye-closing state lasts for two seconds or more based on the degree of separation while considering a vehicle speed or the like, time-series data corresponding to at least four seconds is kept which is twice the two seconds. In the present embodiment, in order to enable reliable detection, time-series data corresponding to N = 150 images at a frame rate of 30 frames / second is held assuming a case, in which time series data corresponding to five seconds are held.

Die Klassenseparationsgrad-Berechnungseinheit 14 segmentiert Zeitreihendaten, die N wie oben beschrieben erfassten Bildern entsprechen, in eine vohergehende Gruppe C1 und eine nachfolgende Gruppe C2 wie in 7 veranschaulicht, berechnet einen Separationsgrad zwischen Zeitreihendaten der vorhergehenden Gruppe C1 und Zeitreihendaten der nachfolgenden Gruppe C2 und erhält einen Grenzwert, bei welchem dieser Separationsgrad ein Maximum wird (S105). Im Prinzip, da es so aufgefasst werden kann, dass der Fahrer 30 wach ist beim Start des Fahrens, werden Zeitreihendaten einer Geöffnetes-Auge-Zustandsklasse, in welcher der Augenlid-Öffnungsgrad hoch ist, in der vorhergehenden Gruppe C1 zum Beginn der Erfassung aufgenommen, und wenn Einschlafen erfasst wird, treten Zeitreihendaten einer Geschlossenes-Auge-Zustandsklasse, in welcher der Augenlid-Öffnungsgrad niedrig ist, in der nachfolgenden Gruppe auf.The class separation degree calculation unit 14 segmented time series data corresponding to N acquired images as described above into a preceding group C1 and a subsequent group C2 as in FIG 7 11 illustrates a degree of separation between time-series data of the preceding group C1 and time-series data of the subsequent group C2 and obtains a limit value at which this degree of separation becomes a maximum (S105). In principle, since it can be understood that the driver 30 awake at the start of driving, time-series data of an opened-eye condition class in which the eyelid opening degree is high are taken in the preceding group C1 to start detection, and when falling asleep, time-series data of a closed-eye condition class comes in which the eyelid opening degree is low, in the following group.

Der Separationsgrad zwischen den zwei Klassen kann erhalten werden anhand der folgenden Gleichung als ein Verhältnis η zwischen Dispersion zwischen Klassen σB 2 und voller Dispersion σT 2 η = σB 2/σT 2 = ω1ω2(μ1 – μ2)2/(ω1 + ω2)2σT 2 wobei μ1 und μ2 Mittelwerte von jeweiligen Klassen sind, und ω1 und ω2 die Zahl der Dateneinheiten von jeweiligen Klassen sind.The degree of separation between the two classes can be obtained from the following equation as a ratio η between dispersion between classes σ B 2 and full dispersion σ T 2 η = σ B 2 / σ T 2 = ω 1 ω 2 (μ 1 - μ 2 ) 2 / (ω 1 + ω 2 ) 2 σ T 2 where μ1 and μ2 are means of respective classes, and ω 1 and ω 2 are the number of data units of respective classes.

Durch Erhalten eines Grenzwerts zwischen Klassen, bei welchem dieser Separationsgrad η maximal wird, ist es möglich, einen Änderungspunkt von der Geöffnetes-Auge-Zustandsklasse zu der Geschlossenes-Auge-Zustandsklasse zu definieren. Zu diesem Zeitpunkt, da volle Dispersion σT 2 ein fixer Wert in Bezug auf individuelle Daten ist, ist es nur notwendig, einen Grenzwert zu erhalten, bei welchem ein Quadrat einer Differenz zwischen den Mittelwerten μ1 und μ2 von jeweiligen Klassen in einer Dispersion σB 2 zwischen Klassen ein Maximum wird. By obtaining a threshold value between classes at which this separation degree η becomes maximum, it is possible to define a change point from the opened-eye condition class to the closed-eye condition class. At this time, since full dispersion σ T 2 is a fixed value with respect to individual data, it is only necessary to obtain a threshold value where one square of a difference between the mean values μ1 and μ2 of respective classes in a dispersion σ B 2 between classes becomes a maximum.

Genauer gesagt berechnet die Klassenseparationsgrad-Berechnungseinheit 14 einen Separationsgrad η zwischen den Zeitreihendaten der vorhergehenden Gruppe C1 und den Zeitreihendaten der nachfolgenden Gruppe C2 in einem Fall, in welchem ein Grenzbild k, das N zu erfassende Bilder in die vorhergehende Gruppe C1 und die nachfolgende Gruppe C2 segmentiert, jedes Bild von 0 bis N ist, und setzt das Grenzbild k, in welchem der Separationsgrad η ein Maximum wird, als eine Augenschließ-Startzeit.More specifically, the class separation degree calculation unit calculates 14 a separation degree η between the time-series data of the preceding group C1 and the time-series data of the subsequent group C2 in a case where a boundary image k segments the N images to be acquired into the preceding group C1 and the subsequent group C2, each image from 0 to N is, and sets the boundary image k, in which the separation degree η becomes a maximum, as an eye-closing start time.

Die Augenschließ-Startzeit-Erfassungseinheit 15 misst eine abgelaufene Zeit nach der Augenschließ-Startzeit (Startbild), die durch die Klassenseparationsgrad-Berechnungseinheit 14 erhalten wurde (S106). Die Einschlaf-Zustand-Bestimmungseinheit 17 bestimmt, dass ein Einschlafen eingetreten ist, wenn der Maximalwert des Separationsgrades η auf kontinuierliche Weise über eine vorgegebene Periode (vorgegebenes Bild) oder länger, gemäß einer Fahrzeuggeschwindigkeit gewählt, auf kontinuierliche Weise erfasst wird (S109).The eye close start time detection unit 15 measures an elapsed time after the eye closure start time (startup image) generated by the class separation level calculation unit 14 was obtained (S106). The sleep state determination unit 17 determines that falling asleep has occurred when the maximum value of the separation degree η is detected continuously in a continuous manner over a predetermined period (predetermined image) or longer, according to a vehicle speed (S109).

Es sollte beachtet werden, dass, wenn ein Änderungspunkt von der Augenschließ-Zustand-Klasse zu der Geöffnetes-Auge-Zustandsklasse erfasst wird durch die Augenschließ-Endzeit-Erfassungseinheit 16 (S107), nach dem die Augenschließ-Startzeit-Erfassungseinheit 15 die Augenschließ-Startzeit (Startbild) erfasst, eine dafür benötigte Periode berechnet wird (S108), und es bestimmt wird, dass ein Einschlafen aufgetreten ist (S109).It should be noted that when a change point from the eye close state class to the open eye state class is detected by the eye close end time detection unit 16 (S107) after the eye-closing start-time acquiring unit 15 the eye-closing start time (start image) is detected, a period required therefor is calculated (S108), and it is determined that falling asleep has occurred (S109).

Wenn ein Einschlafzustand durch die Einschlaf-Zustand-Bestimmungseinheit 17 erfasst ist, und falls das Fahrzeug fährt, und kein Betrieb eines Lenkrad, eines Gaspedals, einer Bremse, eines Blinklichts oder dergleichen ausgeführt wird, gibt die Signal-Ausgabeeinheit 18 ein Kontrollsignal an die Alarmvorrichtung 22 (S111) aus, um einen Alarm auszulösen, um den Fahrer aufzuwecken, während Bezug genommen wird auf gegenwärtige Fahrzeuginformation, die in der Fahrzeuginformation-Aufnahmeeinheit 10 erfasst wird (S110).When a falling asleep state by the sleep state determination unit 17 is detected, and if the vehicle is running, and no operation of a steering wheel, an accelerator pedal, a brake, a flashing light or the like is performed, outputs the signal output unit 18 a control signal to the alarm device 22 (S111) to raise an alarm to wake the driver while referring to current vehicle information stored in the vehicle information taking unit 10 is detected (S110).

Es ist auch möglich, einen Alarm auf einer Anzeigeeinheit des Fahrzeugs anzuzeigen oder eine Verarbeitung, das Fahrzeug zur gleichen Zeit auf automatische Weise zu stoppen, auszuführen. Andererseits, wenn anhand der Fahrzeuginformation bestimmt wird, dass das Fahrzeug fährt, wird kein Kontrollsignal ausgegeben.It is also possible to display an alarm on a display unit of the vehicle or to perform processing to automatically stop the vehicle at the same time. On the other hand, when it is determined based on the vehicle information that the vehicle is running, no control signal is output.

Als nächstes wird ein spezifisches Beispiel eines Prozesses zum Erfassen der Augenschließ-Startzeit anhand der Zeitreihendaten beschrieben werden in Bezug auf das Flussdiagramm von 6 und den Graph von 7.Next, a specific example of a process for detecting the eye-closing start time based on the time-series data will be described with reference to the flowchart of FIG 6 and the graph of 7 ,

Zuerst werden Augenlid-Öffnungsgrad-Daten einer fixen Zahl von in der Zeitreihendaten-Aufnahmeeinheit 13 aufgenommenen Bildern (0 bis N) ausgelesen (S201). Hierbei werden, um einen Einschlaf-Zustand zu erfassen, während ein Zustand, in welchem ein Geschlossenes-Auge-Zustand für zwei Sekunden oder länger andauert, als der Einschlaf-Zustand gewählt wird, Daten der Zahl von Bildern (N = 150), die fünf Sekunden bei einer Bildrate von 30 Bildern/pro Sekunde entsprechen, ausgelesen. Es sollte beachtet werden, dass, in dem veranschaulichten Beispiel, während die gegenwärtige Bildnummer als 0 gewählt ist und die Bildnummer umso größer wird, je weiter zurück in der Zeit, es auch möglich ist, die älteste Bildnummer als 0 zu wählen, falls eine Zeit mit den Bildnummern assoziiert werden kann.First, eyelid opening degree data of a fixed number of times in the time series data acquisition unit 13 recorded pictures (0 to N) are read out (S201). Here, in order to detect a falling asleep state, while a state in which a closed-eye state lasts for two seconds or more than the falling asleep state is selected, data of the number of images (N = 150) five seconds at a frame rate of 30 frames per second, read out. It should be noted that, in the illustrated example, while the current frame number is selected as 0 and the frame number becomes larger, the farther back in time, it is also possible oldest picture number than 0, if a time can be associated with the picture numbers.

Als nächstes wird eine Berechnungsflagge k, die dem Grenzbild zwischen der vorhergehenden Gruppe C1 (Geöffnetes-Auge-Zustandsklasse) und der nachfolgenden Gruppe C2 (Geschlossenes-Auge-Zustandsklasse) entspricht, initialisiert (S202).Next, a calculation flag k corresponding to the boundary image between the preceding group C1 (opened-eye condition class) and the subsequent group C2 (closed-eye condition class) is initialized (S202).

Als nächstes wird ein Mittelwert μ2 der Augenlid-Öffnungsgrad-Daten in einem Bereich der nachfolgenden Gruppe C2 (0 bis k) berechnet (S203), und ein Mittelwert μ1 der Augenlid-Öffnungsgrad-Daten wird in einem Bereich der vorhergehenden Gruppe C1(k + 1 bis N) berechnet (S204).Next, an average value μ2 of the eyelid opening degree data in a range of the following group C2 (0 to k) is calculated (S203), and an average value μ1 of the eyelid opening degree data is set in a range of the preceding group C1 (k + 1 to N) is calculated (S204).

Ein Separationsgrad ηk in der Berechnungsflagge k, die dem Grenzbild entspricht, wird anhand der folgenden Gleichung berechnet und aufgenommen (S205): ηk = (μ1 – μ2)2 wobei wenn μ2 > μ1, ηk = 0.A separation degree ηk in the calculation flag k corresponding to the boundary image is calculated and recorded by the following equation (S205): ηk = (μ1 - μ2) 2 where μ2> μ1, ηk = 0.

Ein Wert der Berechnungsflagge k, die dem Grenzbild entspricht, wird hochgezählt (S206).A value of the calculation flag k corresponding to the boundary image is counted up (S206).

Es wird bestimmt, ob der Wert der Berechnungsflagge k, die dem Grenzbild entspricht, N erreicht (S207), und falls der Wert der Berechnungsflagge k nicht N erreicht, kehrt die Verarbeitung zu dem Schritt (S203) zurück, und eine Schleifenverarbeitung bis zu dem Schritt (S206) wird wiederholt.It is determined whether the value of the calculation flag k corresponding to the boundary image reaches N (S207), and if the value of the calculation flag k does not reach N, the processing returns to the step (S203), and loop processing until that Step (S206) is repeated.

Wenn der Wert der Berechnungsflagge k, die dem Grenzbild entspricht, N erreicht, wird die Schleifenverarbeitung beendet, und ein Grenzbild kmax, in welchem der Separationsgrad maximal ist, wird aus den durch die Schleifenverarbeitung erhaltenen Separationsgraden η1 bis ηN – 1 bestimmt (S208).When the value of the calculation flag k corresponding to the boundary image reaches N, the loop processing is ended, and a boundary image kmax in which the degree of separation is maximum is determined from the separation degrees η1 to ηN-1 obtained by the loop processing (S208).

Das Grenzbild kmax wird als die Augenschließ-Startzeit ausgegeben (S209).The boundary image kmax is output as the eye-closing start time (S209).

(Betrieb in dem Fall, in welchem eine Gesichtsrichtung sich auf vertikale Weise ändert) Als nächstes veranschaulicht 8 eine zeitliche Änderung des Augenlid-Öffnungsgrades in dem Fall, in welchem die Gesichtsrichtung sich auf vertikale Weise ändert. Wenn das Gesicht des Fahrers 30 nach oben oder unten zeigt, weil Augen in dem Bild in 3 sich offensichtlich verengen, werden die von der Augenlid-Öffnungsgrad-Erfassungseinheit 12 erfassten Augenlid-Öffnungsgrade OL, OR äußerst kleine Werte verglichen mit dem Augenlid-Öffnungsgrad (OLMAX, ORMAX) in einem Anfangszustand.(Operation in the case where a face direction changes in a vertical manner) Next illustrated 8th a temporal change of the eyelid opening degree in the case where the face direction changes in a vertical manner. When the driver's face 30 pointing up or down, because eyes in the picture in 3 Obviously narrowing are those of the eyelid opening degree detection unit 12 detected eyelid opening degrees O L , O R extremely small values compared to the eyelid opening degree (O LMAX , O RMAX ) in an initial state.

Jedoch ist es, bei der Einschlaferfassungsvorrichtung 1 gemäß der vorliegenden Erfindung, durch Erhalten eines Separationsgrad zwischen der vorhergehenden Gruppe C1 und der nachfolgenden Gruppe C2 ohne Bestimmen des Augenlid-Öffnungsgrad OL und OR selbst unter Verwendung einer Schwelle, da es möglich ist, die Augenschließ-Startzeit (Grenzbild k) auf direkte Weise zu erfassen, nicht nur in dem Fall, in welchem die Gesichtsrichtung sich auf vertikale Weise ändert, sondern auch in dem Fall, in welchem ein individueller Unterschied auftritt, wenn sich der Fahrer ändert, nicht nötig, Parameter anzupassen oder eine Kalibrierung oder dergleichen durchzuführen.However, it is with the impact detection device 1 According to the present invention, by obtaining a degree of separation between the preceding group C1 and the subsequent group C2 without determining the eyelid opening degree O L and O R itself using a threshold, since it is possible to have the eye-closing start time (boundary image k) direct manner, not only in the case where the face direction changes in a vertical manner, but also in the case where an individual difference occurs when the driver changes, not necessary to adjust parameters or calibration or the like perform.

(Beispiel einer Erfassung einer Augenschließ-Startzeit und Einschlafbestimmung) Vier Graphen auf der linken Seite von (a) bis (d) in 9 zeigen zeitliche Änderungen des Augenlid-Öffnungsgrades, der mit einem Zeitunterschied von jeweils einer Sekunde (30 Bilder) übergeht, und Beispiele einer Erfassung der Augenschließ-Startzeit und Einschlaf-Bestimmungsresultate werden nachfolgend mit Bezug auf die Zeichnungen beschrieben werden.(Example of detecting an eye-closing start time and falling asleep) Four graphs on the left side of (a) to (d) in FIG 9 show temporal changes of the eyelid opening degree, which transits with a time difference of one second (30 images), and examples of detection of the eye-closing start time and sleep determination results will be described below with reference to the drawings.

Zuerst nimmt, in 9(a), während der Geöffnetes-Auge-Zustand andauert, obwohl es einen augenblicklichen Geschlossenes-Auge-Zustand gibt aufgrund von Blinzeln oder fehlenden Daten aufgrund von Umgebungslicht, was den Separationsgrad nicht auf signifikante Weise beeinflusst, bei einer Zeit A der Augenlid-Öffnungsgrad ab, und der Separationsgrad wird maximal. Zu diesem Zeitpunkt, während Zeit A als die Augenschließ-Startzeit gewählt wird, wie es anhand den nachfolgenden Zeichnungen klar ist, wird, bei einem Zeitpunkt, bei welchem eine Zeit A nicht ein maximaler Separationsgrad wird, ein Zeitpunkt A von der Augenschließ-Startzeit ausgeschlossen.First, take in 9 (a) while the opened-eye state continues, although there is a momentary closed-eye condition due to blinking or missing data due to ambient light, which does not significantly affect the degree of separation, at a time A the eyelid opening degree decreases, and the degree of separation becomes maximum. At this time, while time A is selected as the eye-closing start time, as is clear from the following drawings, at a time when a time A does not become a maximum degree of separation, a time A is excluded from the eye-closing start time ,

Andererseits wird, in 9(b), der Separationsgrad ein Maximum bei einer Zeit B, und die Zeit B wird als die Augenschließ-Startzeit gewählt, und auch in nachfolgender Figur (c) und (d) ist die Zeit B kontinuierlich der maximale Separationsgrad, und in (d) wird bestimmt, dass der Zustand ein Einschlafzustand ist, weil der Geschlossenes-Auge-Zustand für eine vorgegebene Periode (zwei Sekunden) andauert.On the other hand, in 9 (b) , the degree of separation is a maximum at a time B, and the time B is selected as the eye-closing start time, and also in the following figures (c) and (d), the time B is continuously the maximum degree of separation, and in (d) is determined in that the state is a sleep state because the closed-eye state lasts for a predetermined period (two seconds).

Es sollte beachtet werden, dass, in der oben beschriebenen Ausführungsform, während ein Fall beschrieben worden ist, in welchem ein Änderungspunkt von der Offenes-Auge-Zustandsklasse zu der Geschlossenes-Auge-Zustandsklasse spezifiziert ist durch Erhalten eines Grenzwerts, bei welchem ein Quadrat einer Differenz zwischen den Mittelwerten μ1 und μ2 von jeweiligen Klassen ein Maximum wird als ein Grenzwert zwischen Klassen, bei welchen der Separationsgrad η ein Maximum wird, es auch möglich ist, den Änderungspunkt von der Geöffnetes-Auge-Zustandsklasse zu der Geschlossenes-Auge-Zustandsklasse zu spezifizieren durch Erhalten eines Grenzwerts, bei welchem ein Absolutwert der Differenz zwischen den Mittelwerten μ1 und μ2 von jeweiligen Klassen maximal wird. Jedoch wird die Änderung des Separationsgrads η kleiner.It should be noted that, in the above-described embodiment, while a case has been described in which a change point from the open-eye condition class to the closed-eye condition class is specified by obtaining a limit value in which one square of one Difference between the mean values μ1 and μ2 of respective classes A maximum becomes, as a limit between classes at which the degree of separation η becomes a maximum, it is also possible to change the point of change from the opened-eye condition class to the closed-eye condition class specifying by obtaining a limit value at which an absolute value of the difference between the mean values μ1 and μ2 of respective classes becomes maximum. However, the change of the separation degree η becomes smaller.

Andererseits wird, wenn der Separationsgrad als ein Verhältnis η zwischen einer Dispersion zwischen Klassen σB 2 und voller Dispersion σT 2 erhalten wird, weil die Zahl von Dateneinheiten ω1 und ω2 von jeweiligen Klassen reflektiert werden, der Separationsgrad nicht steil ansteigen wie in 9(b) veranschaulicht nach Erreichen des Änderungspunktes von der Geöffnetes-Auge-Zustandsklasse zu der Geschlossenes-Auge-Zustandsklasse, aber es kann gesagt werden, dass eine Einschlaferfassung eine hohe Stabilität in Bezug auf zeitliche Fluktuation wie zum Beispiel Blinzeln hat.On the other hand, if the degree of separation is obtained as a ratio η between a dispersion between classes σ B 2 and full dispersion σ T 2 , because the number of data units ω 1 and ω 2 are reflected from respective classes, the degree of separation will not increase sharply as in FIG 9 (b) Fig. 12 illustrates, after reaching the point of change from the open-eye condition class to the closed-eye condition class, but it can be said that a lock detection has high stability with respect to temporal fluctuation such as blinking.

Während die Ausführungsform der vorliegenden Erfindung oben beschrieben worden ist, ist die vorliegende Erfindung nicht beschränkt auf die oben beschriebene Ausführungsform, und diverse Modifikationen und Änderungen sind möglich basierend auf einer technischen Idee der vorliegenden Erfindung.While the embodiment of the present invention has been described above, the present invention is not limited to the embodiment described above, and various modifications and changes are possible based on a technical idea of the present invention.

Zum Beispiel, obwohl in der oben beschriebenen Ausführungsform ein Fall beschrieben worden ist, in welchem die vorliegende Erfindung in einem System zum Verhindern von Fahren bei Schläfrigkeit in einem Fahrzeug implementiert worden ist, kann die Einschlaferfassungsvorrichtung gemäß der vorliegenden Erfindung auch in einer Einschlaferfassung in anderem als einem Fahrzeug implementiert werden, wie zum Beispiel in einem Betrieb, der Starren auf einen Monitor erfordert.For example, although in the above-described embodiment, a case has been described in which the present invention has been implemented in a system for preventing drowsiness in a vehicle, the impact detection device according to the present invention can also be used in a lock detection in other than be implemented in a vehicle, such as in an operation requiring rigging on a monitor.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
EinschlaferfassungsvorrichtungEinschlaferfassungsvorrichtung
2L, 2R2L, 2R
beide Augenboth eyes
33
oberes Augenlidupper eyelid
44
Fahrzeugvehicle
1010
Fahrzeuginformation-AufnahmeeinheitVehicle information acquisition unit
1111
BildaufnahmeeinheitImaging unit
1212
Augenlid-Öffnungsgrad-ErfassungseinheitEyelid opening degree detection unit
1313
Zeitreihendaten-AufnahmeeinheitTime series data acquisition unit
1414
Klassenseparationsgrad-BerechnungseinheitClass Separation degree calculation unit
1515
Augenschließ-Startzeit-ErfassungseinheitEyes closing start time detection unit
1616
Augenschließ-Endzeit-ErfassungseinheitEyes closed end time detection unit
1717
Einschlaf-Zustand-BestimmungseinheitSleep state determining unit
1818
Alarmanzeigekontrollsignal-AusgabeeinheitAlarm display control signal output unit
2020
Fahrzeuginformation-ErfassungsmittelVehicle information detection means
2121
Kameracamera
2222
Alarmvorrichtungalarm device
3030
Fahrerdriver
NN
Zahl von ErfassungszielbildernNumber of acquisition target images
OL, OR O L , O R
Augenlid-ÖffnungsgradEyelid opening degree
η, ηkη, ηk
Separationsgraddegree of separation
μ1, μ2μ1, μ2
MittelwertAverage

Claims (6)

Einschlaferfassungsvorrichtung, umfassend: Mittel zum Erfassen eines Augenlid-Öffnungsgrades in einer Abbildung beider Augen eines Subjekts; Mittel zum Aufnehmen des Augenlid-Öffnungsgrades bei einer vorgegebenen Bildrate als Zeitreihendaten; und Einschlafbestimmungsmittel zum Extrahieren eines Grenzbildes als eine Augenschließ-Startzeit, wobei das Grenzbild ein Bild ist, das eine vorgegebene Zahl von kontinuierlichen Erfassungszielbildern, umfassend das letzte Bild der Zeitreihendaten, in eine vorhergehende Gruppe und eine nachfolgende Gruppe segmentiert, und wobei das Grenzbild ein Bild ist, in welchem ein Separationsgrad zwischen Zeitreihendaten der vorhergehenden Gruppe und Zeitreihendaten der nachfolgenden Gruppe maximal wird.A blind detection device, comprising: Means for detecting an eyelid opening degree in an image of both eyes of a subject; Means for recording the eyelid opening degree at a predetermined frame rate as time-series data; and Sleep-determining means for extracting a boundary image as an eye-closing start time, wherein the boundary image is an image segmenting a predetermined number of continuous detection-target images comprising the last image of the time-series data into a preceding group and a subsequent group, and wherein the boundary image is an image in which a degree of separation between time series data of the preceding group and time series data of the subsequent group becomes the maximum. Einschlaferfassungsvorrichtung nach Anspruch 1, wobei das Einschlafbestimmungsmittel so konfiguriert ist, dass es eine Dispersion als den Separationsgrad zwischen den Zeitreihendaten der vorhergehenden Gruppe und den Zeitreihendaten der nachfolgenden Gruppe unter der Annahme erhält, dass, für alle Bilder der vorgegebenen Zahl von Erfassungszielbildern, jedes Bild das Grenzbild ist, und ein Grenzbild, in welchem die Dispersion maximal wird, als die Augenschließ-Startzeit extrahiert.The onset detection apparatus according to claim 1, wherein the sleep determination means is configured to obtain a dispersion as the separation degree between the time series data of the preceding group and the time series data of the subsequent group on the assumption that, for all the images of the predetermined number of detection target images, each image Boundary image, and a boundary image in which the dispersion becomes maximum, is extracted as the eye-closing start time. Einschlaferfassungsvorrichtung, umfassend eine arithmetische Verarbeitungseinheit, die ausführen kann: einen Schritt, einen Augenlid-Öffnungsgrad in einer Abbildung beider Augen eines Subjekts zu erfassen; einen Schritt, den Augenlid-Öffnungsgrad bei einer vorgegebenen Bildrate als Zeitreihendaten aufzunehmen; einen Schritt, Zeitreihendaten einer vorgegebenen Zahl von kontinuierlichen Erfassungszielbildern, umfassend das letzte Bild, von einem Mittel zum Aufnehmen der Zeitreihendaten zu laden; einen Schritt, die Zeitreihendaten der Erfassungszielbilder in eine vorhergehende Gruppe und eine nachfolgende Gruppe zu segmentieren unter der Annahme, dass, für alle Bilder der vorgegebenen Zahl von Erfassungszielbildern, jedes Bild ein Grenzbild ist, und einen Separationsgrad zwischen Zeitreihendaten der vorhergehenden Gruppe und Zeitreihendaten der nachfolgenden Gruppe zu berechnen; und einen Schritt, ein Grenzbild, in welchem der Separationsgrad zwischen den Zeitreihendaten der vorhergehenden Gruppe und den Zeitreihendaten der nachfolgenden Gruppe maximal wird, als die Augenschließ-Startzeit zu extrahieren.An eye detection apparatus comprising an arithmetic processing unit that can execute: a step of detecting an eyelid opening degree in an image of both eyes of a subject; a step of taking the eyelid opening degree at a predetermined frame rate as time-series data; a step of loading time series data of a predetermined number of continuous acquisition target images, including the last image, by means for receiving the time series data; a step of segmenting the time series data of the acquisition target images into a preceding group and a subsequent group, on the assumption that, for all the images of the predetermined number of acquisition target images, each image is a border image, and a separation degree between time series data of the preceding group and time series data of the subsequent ones Calculate group; and a step, a boundary image in which the degree of separation between the time series data of the preceding group and the time series data of the Following group becomes maximum, as the eye-closing start time to extract. Einschlaferfassungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Zahl der Bilder N der vorgegebenen Zahl von Erfassungszielbildern, ein Mittelwert μ1 der Zeitreihendaten der vorhergehenden Gruppe, ein Mittelwert μ2 der Zeitreihendaten der nachfolgenden Gruppe und ein Separationsgrad ηk in dem Grenzbild k anhand der folgenden Gleichung berechnet werden: ηk = (μ1 – μ2)2 wobei wenn μ2 > μ1, ηk = 0.An eye detection apparatus according to any one of claims 1 to 3, wherein the number of images N is the predetermined number of detection target images, an average μ1 of the time series data of the preceding group, an average μ2 of the time series data of the subsequent group, and a separation degree ηk in the boundary image k from the following equation be calculated: ηk = (μ1 - μ2) 2 where μ2> μ1, ηk = 0. Einschlaferfassungsvorrichtung nach einem der Ansprüche 1 bis 4, wobei das Einschlafbestimmungsmittel so konfiguriert ist, dass es ein Einschlafen bestimmt, nachdem ein Geschlossenes-Auge-Zustand für eine vorgegebene Zeitdauer andauert, nachdem eine Augenschließ-Startzeit erfasst ist.A sleep detection apparatus according to any one of claims 1 to 4, wherein the sleep determination means is configured to determine falling asleep after a closed-eye state continues for a predetermined period of time after an eye-closing start time is detected. Einschlaferfassungsvorrichtung nach einem der Ansprüche 1 bis 5, wobei das Subjekt ein Fahrer eines Fahrzeugs ist, und wenn ein Einschlafen durch das Einschlafbestimmungsmittel bestimmt ist, ein Alarm an den Fahrer ausgelöst oder ein Kontrollsignal an das Fahrzeug ausgegeben wird.An onset detection apparatus according to any one of claims 1 to 5, wherein the subject is a driver of a vehicle, and when falling asleep is determined by the sleep determination means, an alarm is issued to the driver or a control signal is output to the vehicle.
DE102016108475.1A 2015-05-07 2016-05-09 Einschlaferfassungsvorrichtung Pending DE102016108475A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015094709A JP6399311B2 (en) 2015-05-07 2015-05-07 Dozing detection device
JP2015-094709 2015-05-07

Publications (1)

Publication Number Publication Date
DE102016108475A1 true DE102016108475A1 (en) 2016-11-10

Family

ID=57179276

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016108475.1A Pending DE102016108475A1 (en) 2015-05-07 2016-05-09 Einschlaferfassungsvorrichtung

Country Status (3)

Country Link
JP (1) JP6399311B2 (en)
CN (1) CN106108922B (en)
DE (1) DE102016108475A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019068933A (en) * 2017-10-06 2019-05-09 カルソニックカンセイ株式会社 Estimation device and estimation method
JP7247499B2 (en) * 2018-09-20 2023-03-29 いすゞ自動車株式会社 Vehicle monitoring device
CN109671318B (en) * 2019-02-02 2020-09-08 广州宏途教育网络科技有限公司 Online teaching equipment, method and system based on image processing
JP6828932B1 (en) * 2019-04-04 2021-02-10 株式会社ユピテル Mounting members, suspended mounting stays and systems, etc.
CN113885225A (en) * 2020-07-03 2022-01-04 威海北洋电气集团股份有限公司北京分公司 Shading device and shading degree adjusting method
WO2023144951A1 (en) * 2022-01-27 2023-08-03 三菱電機株式会社 Occupant state detection device and occupant state detection method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099884A (en) 2006-10-19 2008-05-01 Toyota Motor Corp Condition estimating apparatus
JP2010184067A (en) 2009-02-13 2010-08-26 Toyota Motor Corp Biological state prediction device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006209582A (en) * 2005-01-31 2006-08-10 Konica Minolta Holdings Inc Device and method for estimating degree of eye-opening
JP4677963B2 (en) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 Dozing detection device, dozing detection method
JP4297155B2 (en) * 2006-10-13 2009-07-15 トヨタ自動車株式会社 In-vehicle warning device
US8570176B2 (en) * 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events
JP5210773B2 (en) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 Sleepiness determination apparatus and program
JP5270415B2 (en) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 Sleepiness determination apparatus and program
CN101872171B (en) * 2009-04-24 2012-06-27 中国农业大学 Driver fatigue state recognition method and system based on information fusion
JP5444898B2 (en) * 2009-07-09 2014-03-19 アイシン精機株式会社 Status detection device, status detection method and program
CN101692980B (en) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 Method and device for detecting fatigue driving
CN102122357B (en) * 2011-03-17 2012-09-12 电子科技大学 Fatigue detection method based on human eye opening and closure state
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
CN104013414B (en) * 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 A kind of Study in Driver Fatigue State Surveillance System based on intelligent movable mobile phone

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099884A (en) 2006-10-19 2008-05-01 Toyota Motor Corp Condition estimating apparatus
JP2010184067A (en) 2009-02-13 2010-08-26 Toyota Motor Corp Biological state prediction device

Also Published As

Publication number Publication date
JP2016209231A (en) 2016-12-15
JP6399311B2 (en) 2018-10-03
CN106108922A (en) 2016-11-16
CN106108922B (en) 2019-04-05

Similar Documents

Publication Publication Date Title
DE102016108475A1 (en) Einschlaferfassungsvorrichtung
EP3248179B1 (en) Method and apparatus for recognising microsleep in a driver of a vehicle
DE102008040709B4 (en) Determination device of a drowsy state
EP3268942B1 (en) Method and device for detecting a tiredness and/or sleeping state of a driver of a vehicle
DE202015002316U1 (en) Device for detecting a microsleep
WO2003060826A1 (en) Method and device for recognizing obstructions of view in image sensor systems
DE112013003276T5 (en) Object recognition device
DE102016201531A1 (en) Method and device for detecting fatigue of a driver
DE112008002646T5 (en) In-vehicle image processing device, image processing method and program
DE112017004596T5 (en) Line of sight measurement device
DE102012112625A1 (en) Mirror control and computer-readable storage medium
WO2005124713A1 (en) Method and device for detecting fatigue in the driver of a vehicle
DE102018119223A1 (en) Blinzeldetektionsvorrichtung
DE112014005389T5 (en) Blickbereichabschätzvorrichtung
DE102018130654A1 (en) State estimation device, state estimation method, and state estimation program
DE10359125A1 (en) Motor vehicle driver`s reflex action recognizing method, involves measuring brightness of ambient light and reflex time taken by pupil of driver against light, and generating threshold value for automatic tiredness estimate of driver
DE112019007484T5 (en) INFORMATION PROCESSING DEVICE, PROGRAM AND INFORMATION PROCESSING METHOD
DE102019106258A1 (en) PASSENGER MONITORING DEVICE
DE102018206237A1 (en) Method and device for detecting fatigue of a person
DE102014224557A1 (en) Image processing by means of cross-correlation
WO2019063255A1 (en) Method for recognizing a leaf edge, method for the targeted treatment of plants by means of a leaf treatment agent, and use of an event-based image sensor for the recognition of a leaf edge
DE102018214935B4 (en) Method, device, computer program and computer program product for determining the attention of a driver of a vehicle
EP3310248B1 (en) Method and device for distinguishing blinking events and instrument glances by using an eye opening width
DE102021123849A1 (en) Method and monitoring device for determining an eye condition of a person and motor vehicle
DE3208324A1 (en) Method for the automatic detection of suspicious objects in images of optronic observing or monitoring systems

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication