CN103974656B - 瞌睡检测方法和设备 - Google Patents

瞌睡检测方法和设备 Download PDF

Info

Publication number
CN103974656B
CN103974656B CN201280043229.2A CN201280043229A CN103974656B CN 103974656 B CN103974656 B CN 103974656B CN 201280043229 A CN201280043229 A CN 201280043229A CN 103974656 B CN103974656 B CN 103974656B
Authority
CN
China
Prior art keywords
time
eye
nictation
closed
sleepy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280043229.2A
Other languages
English (en)
Other versions
CN103974656A (zh
Inventor
中村清実
高野博史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyama Prefectural University
Original Assignee
FU SHANXIAN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FU SHANXIAN filed Critical FU SHANXIAN
Publication of CN103974656A publication Critical patent/CN103974656A/zh
Application granted granted Critical
Publication of CN103974656B publication Critical patent/CN103974656B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Anesthesiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)

Abstract

公开了一种瞌睡检测方法和设备,能够通过使用简单的设备精确地检测多发眨眼和在瞌睡检测中呈现改进的速度和精确度。在人类眼睛的从闭眼到睁眼的状态之中，眼睛基本上睁开的状态定义为睁眼时间以及所有其他状态定义为闭眼时间。将相对短于在警觉状态中的健康成人的平均眨眼间隔的时间定义为第一阈值时间。将相对长于在警觉状态中的健康成人的平均闭眼时间的时间定义为第二阈值时间。当检测到等于或短于第一阈值时间的睁眼时，将在睁眼前后的眨眼定义为多发眨眼。当在多发眨眼过程中的眨眼之中的眨眼的闭眼时间达到第二阈值时间或超过时，确定是瞌睡状态，该眨眼在等于或短于第一阈值时间的睁眼时间之后发生。当在多发眨眼过程中的眨眼之中的眨眼的闭眼时间等于或长于第二阈值时间时，立即确定是瞌睡状态，该眨眼在等于或短于第一阈值时间的睁眼时间之前发生。还有在闭眼相对长于第二阈值时间的情况中，确定是瞌睡状态。

Description

瞌睡检测方法和设备
技术领域
本发明涉及检测瞌睡的瞌睡检测方法以及还涉及其设备，瞌睡的意思是人类的觉醒水平降低的状态。
背景技术
作为检测瞌睡的方法，传统上，提出一种方法，其中通过检测多发眨眼来检测在觉醒水平上的降低，多发眨眼的意思是多个眼睛闭合发生在短时间内(例如，1秒钟内)。例如，专利文献1公开一种检测方法，其中当在从检测到多发眨眼开始的预定时间内检测到缓慢眼动(SEM)时，确定觉醒度降低(处于瞌睡状态)，缓慢眼动(SEM)是伴随眼睑闭合的眼球的横向移动。眨眼多发和SEM是出现在睡眠开始的早期阶段的特有现象，以及通过其组合确定觉醒度上的降低。
专利文献2公开一种觉醒降低检测设备，该设备包括：眨眼检测装置，该眨眼检测装置检测对象的眨眼；眨眼确定装置，该眨眼确定装置在通过眨眼检测装置检测到的眨眼之中确定其中在眨眼和前一眨眼之间的眨眼间隔在预定时间内的多发眨眼中的眨眼以及具有预定时间或更长时间的长时间闭眼的眨眼；以及觉醒降低检测装置，该觉醒降低检测装置根据从多发眨眼的眨眼到具有长时间闭眼的眨眼的时间确定觉醒度。
然而，根据专利文献2中描述的检测方法，当在多发眨眼之后发生的、除了多发眨眼之外的眨眼的闭眼时间长于阈值时，确定觉醒程度降低，因此需要一组至少三个眨眼，即来自多发眨眼的两个眨眼和除了多发眨眼之外的一个眨眼。因而，存在仅通过多发眨眼或除了多发眨眼之外的眨眼不能检测到觉醒程度降低的问题。此外，在该检测方法中，提取眨眼而没有辨别正常眨眼和多发眨眼之间的不同，且因此该提取方法不是专用于多发眨眼。因此，在该检测方法中，不能检测到经常在多发眨眼过程中观察到的眨眼现象，在该多发眨眼中眼睛转变从闭合到半睁开且接着回到闭合，因此存在不能高精确度地检测到多发眨眼的问题。可替选地，检测方法也具有缺少检测觉醒程度降低的实时性能的问题。
因此，为了高精确度地检测多发眨眼，专利文献3提出困倦评估装置，该困倦评估装置包括：图像捕获装置，该图像捕获装置连续捕获包括评估对象的眼睛的区域的图像：睁开检测装置，该睁开检测装置基于通过图像捕获装置连续捕获的图像检测眼睑睁开的时序数据；多发眨眼检测装置，该多发眨眼检测装置基于通过睁开检测装置检测到眼睑睁开的时序数据从其中眼睑睁开持续小于预定阈值的范围获取任何最大和最小值并当在设置在提取的最大值和提取的最小值之间的阈值下检测到的眨眼间隔在预定时间内时检测多发眨眼；以及困倦状态评估装置，该困倦状态评估装置基于通过多发眨眼检测装置检测到的结果评估评估对象的睡意状态。
另一方面，在非专利文献1和2中，研究在多发眨眼过程中的第一眨眼的闭眼时间和睡意分级(rated sleepines)之间的关系以仅基于眨眼特征检测瞌睡状态。作为结果，描述了：当觉醒度降低时，第一眨眼的闭眼时间变得更长。
引用列表
专利文献
专利文献1：日本未经审查的专利申请公开第2006-136556号
专利文献2：日本未经审查的专利申请公开第2008-73335号
专利文献3：日本未经审查的专利申请公开第2010-224637号
非专利文献
非专利文献1：电气学会北陆分会的2010联合会议论文集B-3(Heisei 22nendodenki kankei gakkai hokurikushibu rengou taikai kouen ronbunshuu B-3)
非专利文献1：日本医学和生物工程学会北陆分会的2010会议论文集第25到26页(Heisei 22nendo nihon seitaiikougakkai hokurikusibutaikai kouen ronbunshuupp.25to 26)
发明内容
技术问题
如图2(b)和图3(b)所示，在根据上述背景技术的专利文献1和2中所公开的本发明的多发眨眼的检测中，闭眼的最小值和下一个闭眼的最小值之间的时间通常测量为眨眼间隔TOp(i)。此外，确定参考值ThO设定成例如1秒，以及当眨眼间隔TOp(i)不大于确定参考值ThO时的情形定义为多发眨眼。在该情形中的眨眼间隔TOp(i)中，闭眼状态的最小值和睁眼之间的时间以及睁眼状态和闭眼的极限值之间的时间包含在测量中，以及在其中闭合或睁开眼睑的动作时间变长的多发眨眼过程中的眨眼不会被检测到。因此，不能够精确地检测多发眨眼。
在专利文献3中公开的检测方法中，检测眼睑睁开的时序数据，且基于检测到的眼睑睁开的时序数据，在其中眼睑睁开持续小于预定阈值的范围内确定是多发眨眼，以及因此很难精确地测量半闭合状态中的眼睑睁开，且容易发生测量误差。
在非专利文献1和2中，没有提到从多发眨眼过程中的眨眼的闭眼时间检测瞌睡状态的参考和实时检测定时，以及因此不能够精确地确定瞌睡状态。此外，在仅基于多发眨眼过程中的第一眨眼的闭眼时间确定瞌睡状态中，瞌睡检测精确度低，且有瞌睡检测定时延迟的问题。
鉴于背景技术的前述问题已实现本发明，以及本发明的目的是提供使用相对简单的设备的瞌睡检测方法，通过该方法能够精确地检测瞌睡和提高瞌睡检测的速度和精确度，以及还提供瞌睡检测设备。
问题的解决方案
本发明是一种瞌睡检测方法，该方法包括：在人类眼睛的从闭眼到睁眼的状态之中，测量睁眼时间和闭眼时间，所述睁眼时间是所述眼睛基本上睁开的状态，所述闭眼时间是其他状态；将相对短于在警觉状态中的健康成人的平均睁眼时间的时间设置为第一阈值时间(基于睁眼时间的多发眨眼的确定参考值ThO)；将相对长于在警觉状态中的健康成人的平均闭眼时间的时间设置为第二阈值时间(瞌睡确定参考ThC1)；当检测到等于或短于所述第一阈值时间(s2)的睁眼并且当紧接在等于或短于所述第一阈值时间的睁眼时间之后发生的眨眼的闭眼时间达到所述第二阈值时间或超过(s5)时，立即确定是瞌睡状态的第一瞌睡确定处理步骤。
此外，本发明是瞌睡检测方法，包括当眨眼的闭眼时间等于或长于所述第二阈值时间(s3)，所述眨眼紧接在等于或短于所述第一阈值时间的所述睁眼时间之前发生时，在没有测量紧接在等于或短于第一阈值时间的睁眼时间之后的所述闭眼时间的情况下，在等于或短于所述第一阈值时间的睁眼时间结束时，立即确定是瞌睡状态的早期瞌睡确定处理步骤。
本发明是瞌睡检测方法，其中，将相对长于第二阈值时间的闭眼时间定义为第三阈值时间，以及包括当眨眼的闭眼时间达到第三阈值时间(瞌睡确定参考ThC2)或超过(s6)时，再次确定是瞌睡状态的第二瞌睡确定处理步骤，所述眨眼在等于或短于第一阈值时间的睁眼时间之后发生。
本发明是瞌睡检测方法，其中，将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，在检测睁眼时间中，当检测到长于第一阈值时间的睁眼时且当在紧接所述睁眼之前眨眼发生之前紧接的睁眼时间长于第一阈值时间时，将所述之前的眨眼确定为单独眨眼，并且包括当所单独眨眼的闭眼时间等于或长于第三阈值时间(s9)时，在所述单独眨眼之后的睁眼结束时，立即确定是瞌睡状态的第三瞌睡确定处理步骤。
本发明是瞌睡检测方法，其中，将相对长于第二阈值时间的闭眼时间定义为第三阈值时间，以及包括在检测睁眼时间中，当检测到长于第一阈值时间的睁眼时且当紧接所述睁眼之后的眨眼的闭眼时间达到第三阈值时间或超过(s11)时，立即确定是瞌睡状态的第四瞌睡确定处理步骤。
另外，例如，当作为在多发眨眼过程中的眨眼的闭眼时间和除了多发眨眼外的眨眼的闭眼时间的和得到的总闭眼时间相对长于第三阈值时间时，可确定是瞌睡状态。此外，所述总闭眼时间通过分别使所述闭眼时间中的每一个被加权，以及通过将加权过的闭眼时间相加得到。
另外，本发明是一种瞌睡检测设备，该设备包括：闭眼检测装置，所述闭眼检测装置通过识别人类眼睛的位置检测所述眼睛从闭眼到睁眼的状态；以及眨眼时间测量装置，所述眨眼时间测量装置通过所述闭眼检测装置测量所述人类眼睛基本上睁开的状态作为睁眼时间和其他状态作为闭眼时间，其中所述瞌睡检测设备包括：将相对短于在警觉状态中的健康成人的平均睁眼时间的时间设置为第一阈值时间(基于睁眼时间的多发眨眼的确定参考值ThO)；以及将相对长于在警觉状态中的健康成人的平均闭眼时间的时间设置为第二阈值时间(瞌睡确定参考ThC1)；以及所述瞌睡检测设备包括：瞌睡辨别装置，当所述眨眼时间测量装置检测到睁眼等于或短于所述第一阈值时间并且当紧接在等于或短于所述第一阈值时间的睁眼时间之后发生的眨眼的闭眼时间达到所述第二阈值时间或超过时，所述瞌睡区别装置立即确定是瞌睡状态。
此外，当眨眼的闭眼时间等于或长于所述第二阈值时间，所述眨眼在等于或短于所述第一阈值时间的所述睁眼时间之前发生时，在没有测量紧接在等于或短于所述第一阈值时间的所述睁眼时间之后的所述闭眼时间的情况下，在等于或短于所述第一阈值时间的睁眼时间结束时，所述瞌睡辨别装置立即确定是瞌睡状态。
所述瞌睡辨别装置将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，以及当眨眼的闭眼时间达到所述第三阈值时间(瞌睡确定参考ThC2)或超过时，所述瞌睡辨别装置再次确定是瞌睡状态，所述眨眼在等于或短于所述第一阈值时间的睁眼时间之后发生。
所述瞌睡辨别装置将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，在检测所述睁眼时间中，当通过眨眼时间测量装置检测到长于所述第一阈值时间的睁眼时且当在紧接所述睁眼之前的眨眼发生之前的紧接的睁眼时间长于所述第一阈值时间时，将所述之前的眨眼确定为单独眨眼，并且当所述单独眨眼的闭眼时间等于或长于所述第三阈值时间时，在所述单独眨眼之后的睁眼的末尾，所述瞌睡辨别装置立即确定是瞌睡状态。
所述瞌睡辨别装置将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，以及当通过眨眼时间测量装置检测到长于所述第一阈值时间的睁眼时且当紧接所述睁眼之后的眨眼的闭眼时间达到所述第三阈值时间或超过时，所述瞌睡辨别装置立即确定是瞌睡状态。例如，第三阈值时间可能是相对长于除了在警觉状态中的健康成人的所述多发眨眼外的眨眼的平均闭眼时间的闭眼时间。
当作为在通过所述多发眨眼辨别装置检测到的所述多发眨眼过程中的眨眼的闭眼时间以及通过所述眨眼时间测量装置检测到的除了所述多发眨眼外的眨眼的闭眼时间的和得到的总闭眼时间相对长于所述第三阈值时间时，所述瞌睡辨别装置确定是瞌睡状态。所述瞌睡辨别装置通过分别使所述闭眼时间中的每一个被加权，以及通过将加权过的闭眼时间相加得到总闭眼时间。
本发明可以是包括报警装置的瞌睡检测设备，该报警装置基于瞌睡状态的确定结果发出瞌睡报警。
而且，本发明可应用于包括瞌睡检测设备的车辆。
发明的有利效果
本发明的瞌睡检测方法及其设备使用简单的装置，不会招致高成本，且可精确和快速地检测瞌睡。因此，例如，可快速发现车辆中驾驶员的瞌睡以及能够提高驾驶安全。
附图说明
图1：图1是根据本发明实施例的瞌睡检测设备的示意图。
图2：图2是示出根据本发明实施例的瞌睡检测方法的眨眼定义(a)和眨眼传统定义(b)的时间图。
图3：图3是示出当闭眼时间长时，根据本发明实施例的瞌睡检测方法的眨眼定义(a)和眨眼传统定义(b)的时间图。
图4：图4是根据本发明实施例的瞌睡检测方法的流程图。
图5：图5是用于根据本发明实施例的瞌睡检测设备的眼睛检测方法的模板的示意图。
图6：图6是示出根据本发明实施例的瞌睡检测设备的眼睛检测方法的原理的示意图。
图7：图7是示出根据本发明实施例的瞌睡检测设备的眨眼检测方法的图像和示意图。
图8：图8是用来示出本发明实施例的示例的实验***的示意图。
图9：图9示出针对两个对象的根据本发明中的多发眨眼定义的第一闭眼时间的分布，以及根据多发眨眼的传统定义的第一闭眼时间的分布。
图10：图10示出针对两个对象的根据本发明中的多发眨眼定义的第二闭眼时间的分布，以及根据多发眨眼的传统定义的第二闭眼时间的分布。
图11：图11是示出根据本发明示例的实验结果中的瞌睡检测结果的曲线图。
图12：图12是示出根据本发明示例的实验结果中的瞌睡检测结果的曲线图。
图13：图13是示出根据本发明示例的实验结果中的瞌睡检测结果的曲线图。
图14：图14是示出根据本发明示例和传统技术的瞌睡检测时间的曲线图。
图15：图15是示出根据本发明示例和传统技术的瞌睡检测时间的曲线图。
图16：图16是示出根据本发明示例的瞌睡检测的曲线图(a)，以及示出根据传统技术的瞌睡检测的曲线图(b)。
图17：图17是根据本发明示例，示出睡意定级的曲线图(a)，示出在多发眨眼过程中的眨眼的总闭眼时间的曲线图(b)，示出单独眨眼的平均闭眼时间的曲线图(c)，以及示出在多发眨眼和单独眨眼中的眨眼的总闭眼时间的和的曲线图(d)。
具体实施方式
以下将根据参考附图给出本发明的实施例的描述。图1到7示出本发明的实施例。如图1中所示，本实施例的瞌睡检测设备30包括：拍摄单元32，包括CCD照相机等等的该拍摄单元32拍摄驾驶员31的脸；以及驾驶员监视器ECU 33，在该驾驶员监视器ECU 33中，例如，执行通过处理由拍摄单元32产生的图像实施眨眼的检测等的瞌睡检测算法。驾驶员监视器ECU 33连接到显示觉醒水平和当瞌睡状态发生时可视地呼叫报警的导航***34。另外，当驾驶员31进入瞌睡状态时，驾驶员监视器ECU 33还通过由扬声器发声呼叫报警。而且，当驾驶员31的瞌睡状态持续时，驾驶员监视器ECU 33通过制动控制装置36实施车辆制动控制。
驾驶员监视器ECU 33包括CPU、存储诸如控制例程的程序的ROM、存储数据等等的RAM，以及存储其他程序或数据的诸如硬盘的存储装置。
设置在驾驶员监视器ECU 33中的瞌睡检测功能通过瞌睡检测算法的执行程序配置，其包括：闭眼检测装置，该闭眼检测装置通过处理由拍摄单元32拍摄的图像检测本发明中定义的眨眼；眨眼时间测量装置，该眨眼时间测量装置测量由闭眼检测装置检测到的眨眼的睁眼时间和闭眼时间；多发眨眼辨别装置，该多发眨眼辨别装置基于眨眼时间测量装置测量的眨眼时间辨别多发眨眼；以及瞌睡辨别装置，该瞌睡辨别装置基于这些测量结果确定瞌睡。
基于图2(a)和图3(a)中所示的根据睁眼时间TO(i)的多发眨眼的确定实施瞌睡状态的检测和确定，如图4的流程图中所示。首先，睁眼时间TO(i)(i是自然数)通过设置在驾驶员监视器ECU 33中的多发眨眼辨别装置测量(s1)。检查在测量过程中通过由闭眼检测装置检测闭眼状态完成的睁眼时间TO(i)是否等于或短于确定参考值ThO(s2)，该确定参考值ThO是第一阈值时间，如图3(a)所示。当睁眼时间TO(i)等于或短于多发眨眼的确定参考值ThO时，在睁眼状态之前发生的眨眼和在睁眼状态之后将发生的眨眼确定为多发眨眼。在该实施例中，确定参考值ThO＝1秒。在此时，当在睁眼状态之前发生的眨眼的闭眼时间TC(i-1)等于或长于瞌睡确定参考时，在该时点瞌睡辨别装置确定是瞌睡状态(s3，早期瞌睡确定步骤)，该瞌睡确定参考是第二阈值时间。然后，瞌睡警报1通过声音等发出。这里，在人类眼睛的从闭眼到睁眼的状态之中，眼睛基本上睁开的状态定义为睁眼时间以及其他状态定义为闭眼时间。此外，相对短于在警觉状态中的健康成人的平均睁眼时间的时间定义为第一阈值时间(基于睁眼时间的多发眨眼的确定参考值ThO)。而且，相对长于在警觉状态中的健康成人的平均闭眼时间的时间定义为第二阈值时间(瞌睡确定参考Th)。
其次，通过多发眨眼辨别装置测量闭眼时间TC(i)(s4)。当闭眼时间TC(i)变成等于或长于瞌睡确定参考ThC1时，立即确定是瞌睡状态(s5，第一瞌睡确定步骤)，并且瞌睡警报2通过声音等发出。此外，当闭眼时间TC(i)变成等于或长于另一瞌睡确定参考ThC2(瞌睡确定参考ThC2>瞌睡确定参考ThC1)时，再次确定是瞌睡状态(s6，第二瞌睡确定步骤)，并且瞌睡警报3通过声音等发出，该瞌睡确定参考ThC2是长于第二阈值时间的第三阈值时间。接着，当通过闭眼检测装置检测睁眼状态时，确定眨眼结束以及通过多发眨眼辨别装置确定闭眼时间TC(i)(s7)。这里，虽然第三阈值时间设置成相对长于第二阈值时间的闭眼时间，但如果必要的话，例如，第三阈值时间可以是相对长于除了在警觉状态中健康成人的多发眨眼外的眨眼的平均闭眼时间的闭眼时间。
另一方面，当睁眼时间TO(i)长于多发眨眼的确定参考值ThO时，且当在紧接睁眼状态的之前的眨眼之前的睁眼时间TO(i-1)长于多发眨眼的确定参考值ThO时，该紧接睁眼状态之前的眨眼被确定是单独眨眼(除了多发眨眼外的眨眼)(s8)。此外，当在紧接睁眼状态之前的眨眼的闭眼时间TC(i-1)等于或长于另一瞌睡确定参考ThC2时，确定是瞌睡状态(s9)。然后，瞌睡警报4通过声音等发出。其次，通过多发眨眼辨别装置测量闭眼时间TC(i)(s10)。当闭眼时间TC(i)变成等于或长于瞌睡确定参考ThC3时，立即确定是瞌睡状态(s11)。并且，瞌睡警报5通过声音等发出。接着，当通过闭眼检测装置检测到睁眼状态时，确定眨眼结束以及通过多发眨眼辨别装置确定闭眼时间TC(i)(s12)。。
在下文中，将描述眨眼检测方法的示例。首先，在眼睛位置检测方法中，通过拍摄单元32获得的脸的灰度图像通过阈值处理被二元化，通过图5中所示的一个眼睛部分模板20匹配的模板在二元化图像上实施。例如，连续相似性检测方法用于模板匹配。
通常，如图5中所示，成人眼睛24的角膜直径大约11mm(在垂直宽度上9.3到11mm，在水平宽度为10.6到12mm)。为瞳孔的虹膜22的尺寸基本上匹配角膜尺寸，以及因此在该实施例中，虹膜22的尺寸设置成直径为11mm。例如，一个眼睛部分模板20通过形成十字的直线构成并在监视器16的屏幕上设置成水平宽度为11mm和垂直宽度为6mm。具有一定长度的线画在监视器16上，以及每1mm的像素数根据线的像素数计算。在该实施例中，1mm对应于4.2像素，11mm对应于大约46像素，以及6mm对应于大约25像素。通过使用这种十字形的一个眼睛部分模板20，即使当眼睛24倾斜时，也不会影响圆形虹膜22，以及因此能够实现与虹膜22的精确匹配。
在该实施例中，为了加快处理，例如，在以四像素移动一个眼睛部分模板20的同时实施模板匹配。一个眼睛部分模板20的匹配度在水平宽度上与图像中的每个像素比较，以及一个眼睛部分模板20的匹配度在垂直宽度上与每隔一个像素比较。当水平宽度上90％或以上的匹配度和垂直宽度上40％或以上的匹配度都满足时，确定与一个眼睛部分模板20重叠的部分假设为眼睛。
在图像上任何眼睛状的部分可通过错误地使用一个眼睛部分模板20的模板匹配检测到。作为对抗错误的对策，眼睛24周围的特征可用作检查项目，即，如图6中所示，在一个眼睛部分模板20的上下部分上的眉毛28的存在可用作作出判定的信息。例如，当虹膜22具有11mm大小时，在考虑人脸的个体差异的同时，眉毛28的位置的检查点a设置在离一个眼睛部分模板20的中心上方25到50mm，眉毛28和眼睛24之间的检查点b设置在离中心上方15到27mm，眼睛24下方的检查点c设置在离中心上方15到22mm，以及像素的每个二元化数值与待确定的阈值比较。因此，从二元化图像数据，能够将以下情况处理成用来作出判定是否检测到眼睛的信息。即，紧接眼睛24上方没有黑色部分，为眉毛28的黑色部分在其上方被检测到，以及在眼睛24下方没有黑色部分。
与基于像素值的阈值比较，当在眼睛24上方的部分，获得在眉毛28位置的10％或以上的匹配度和在眉毛28和眼睛24之间位置的20％或以上的匹配度以及在眼睛24下方位置的20％或以上的匹配度时，确定这些检查项目的匹配度满足眼睛24***的条件匹配。另外，通过使用一个眼睛部分模板20的模板匹配和眼睛24周围的特征性检查项目作出确定是眼睛24的最终确定。
在检测到眼睛24之后，检测眼睛24的眨眼。在眨眼检测中，根据黑色部分的虹膜22的面积的变化检测眨眼，如图2(a)和图3(a)所示。在眨眼检测中，虹膜22的面积从通过拍摄单元12获得的灰度图像测量。例如，储存虹膜22的面积的最大值以及比最大值狭窄5到15％(优选是10％)的面积设置成阈值Sth，以及睁眼状态通过虹膜22的面积的测量结果是否等于或大于预定阈值Sth确定。
虹膜22的面积通过扫描眼睛24的二元化图像测量。首先，当在虹膜22和一个眼睛部分模板20之间在水平宽度上的匹配度是例如85到95％(优选地是90％或以上)时，确定很可能是眼睛，以及确定当眼睛睁开时虹膜22的水平宽度与一个眼睛部分模板20的水平宽度匹配。此外，如图7中所示，当眼睛闭合时，在水平方向上长的黑色部分是由睫毛26产生的。因此，为了不会高估真实面积，在水平方向上的虹膜22的面积的测量范围设置成一个眼睛部分模板20的水平宽度。而且，例如，在虹膜22中存在匹配于一个眼睛部分模板20的若干点，以及因此，在考虑匹配点从虹膜22中心偏离的同时，在垂直方向上的测量范围设置在垂直方向上离一个眼睛部分模板20的中心50像素内的范围。
在测量虹膜面积的过程中，虹膜22的面积在识别眼睛24之后测量。实施从一个眼睛部分模板20的中心位置移动到左边，直到像素密度值变成等于或大于虹膜22的二元化阈值，以及计算由此得到的移动距离。其次，以类似方式，还可计算在向右方向上的距离，以及在左右方向上的移动距离的和设置成虹膜22的水平宽度。此外，通过在测量范围内和在一个眼睛部分模板20上方重复类似工作来合计水平宽度。而且，以类似方式，合计在一个眼睛部分模板20下方的水平宽度。当眼睛闭合时，该测量以类似方式实施。当眼睛闭合时，由睫毛26产生的在水平方向上长的黑色部分出现。然而，在水平方向上的测量范围是一个眼睛部分模板20的水平宽度，以及具有等于或小于虹膜22的二元化阈值的低像素密度的黑色部分变成在垂直方向上的睫毛26的垂直宽度。因此，在测量范围内，当眼睛睁开时虹膜22的面积的数值大于在当眼睛闭合时测量睫毛26的情形下的数值。
作为结果，当图7中在测量范围内具有等于或小于虹膜22的二元化阈值的低像素密度值的黑色点(在移动距离内的部分)的和等于或大于图2和图3中所示的预定阈值Sth时，确定是虹膜22且还确定眼睛处于睁开状态。此外，当和等于或小于阈值Sth时，确定眼睛处于闭合状态。
在本实施例的使用瞌睡检测设备30的方法中，瞌睡检测设备30设置在汽车、货车或其他工作机器的驾驶员座位附近，通过拍摄单元32拍摄驾驶员，通过基于上述第一阈值时间(确定参考值ThO)的处理检测多发眨眼，当在多发眨眼过程中的眨眼的闭眼时间中的任何一个等于或长于第二阈值时间(瞌睡确定参考ThC1)时，确定是瞌睡状态，此外，当除了多发眨眼外的眨眼的闭眼时间等于或长于第三阈值时间(瞌睡确定参考ThC2)时，也确定是瞌睡状态。然后，瞌睡警报1-5通过声音等发出，并且执行其他控制。因此，能够大大地提高汽车等等的驾驶安全。
在上述一般多发眨眼检测方法中，如图2(b)和图3(b)中所示，闭眼的最小值之间的时间测量为眨眼间隔TOp(i)。然而，有非典型方法，其中，闭眼开始和下一闭眼开始之间的时间测量为眨眼间隔TOp(i)，或其中，闭眼结束和下一闭眼结束之间的时间测量为眨眼间隔TOp(i)。然而，这些非典型测量方法不能检测在包括长时间闭眼的多发眨眼过程中的眨眼，以及因此这些非典型测量方法不能解决上述一般多发眨眼检测方法的问题。因此，可以说根据本发明的多发眨眼检测方法在瞌睡检测上更好。
在本实施例的瞌睡检测设备中，多发眨眼通过仅根据睁眼时间作为确定参考的第一阈值时间(确定参考值ThO)加以检测，在多发眨眼过程中的每个眨眼的闭眼时间通过第二阈值时间(瞌睡确定参考ThC1)加以确定，以及除了多发眨眼外的眨眼的闭眼时间通过第三阈值时间(瞌睡确定参考ThC2)加以确定，从而快速地辨别瞌睡状态。因此，瞌睡检测设备有助于安全预防瞌睡。
[示例]
其次，将描述根据包括本发明瞌睡检测设备配置的实验***的示例。图8示出包括瞌睡检测设备的实验***的示意图。实验***由包括CCD照相机等等的拍摄单元12和计算机14构成，该拍摄单元12对对象11的脸拍摄，在该计算机14中，安装通过处理由拍摄单元12产生的图像实施眨眼检测的瞌睡检测程序等等。计算机14连接到显示拍摄图像的诸如液晶显示器的监视器16。此外，提供显示在驾驶过程中可见度的屏幕18以及包括对象11坐在其上的薄板13、方向盘15、仪表显示单元17、加速器19等。因此，实验***具有普通汽车的类似配置。而且，记录在实验过程中对象11的脸部表情以获得睡意定级，睡意定级是指示对象11在实验过程中觉醒度的相对指数。在该事例中，睡意度由两个审查人对若干对象11加以评估，以及对象11的睡意定级通过评分被数字化。此外，两个审查人的确定数值的平均被设置成睡意定级，睡意定级通过每5秒的30秒移动平均进行平滑并绘制在曲线图上。睡意定级通过赋予以下数值被数字化。
5.非常清醒
4.轻微瞌睡
3.适度瞌睡
2.显著瞌睡
1.睡觉
在示例中，定义为第一阈值时间的多发眨眼的确定参考值ThO设置成1秒。首先，图9中示出针对两个对象(对象1-1，对象2-1)，根据本发明中的多发眨眼的定义的第一闭眼时间的分布(上部水平)以及根据多发眨眼的传统定义的第一闭眼时间的分布(下部水平)。纵轴示出多发眨眼的第一闭眼时间，以及水平轴示出睡意定级。图9示出当睡意定级是2到3时，从根据本发明定义的多发眨眼的第一闭眼时间(图2(a))和根据眨眼的传统定义的多发眨眼的第一闭眼时间(图2(b))之间的比较，可以看到在上部水平中在根据本发明定义的曲线图中有更大量的具有闭眼等于或长于1秒的多发眨眼。此外，图10中示出针对其他两个对象(对象8-1，对象6-2)，根据本发明中的多发眨眼的定义的第二闭眼时间的分布(上部水平)以及根据多发眨眼的传统定义的第二闭眼时间的分布(下部水平)。纵轴示出多发眨眼的第二闭眼时间，以及水平轴示出睡意定级。图10示出当睡意定级是2到3时，从根据本发明定义的多发眨眼的第二闭眼时间(图2(a))和根据眨眼的传统定义的多发眨眼的第二闭眼时间(图2(b))之间的比较，可以看到在上部水平中在根据本发明定义的曲线图中有更大量的具有闭眼等于或长于1秒的多发眨眼。这是因为，由于仅当眼睛睁开时的时间定义为眨眼间隔，能够通过根据本发明的多发眨眼定义检测包括长时间闭眼的多发眨眼，然而，如图3(b)中所示，由于从闭眼到睁眼的阶段以及从睁眼到闭眼的阶段包括在除了睁眼时间外的眨眼间隔中，不能够通过传统定义检测包括长时间闭眼的多发眨眼。作为结果，应当明白，通过本发明的多发眨眼定义的瞌睡检测具有更精确地实施的可能性。因此，在该示例中，定义为第二阈值时间的瞌睡确定参考ThC1根据第一闭眼时间和第二闭眼时间的上述分布的分布结果设置成1秒。此外，第三阈值时间(瞌睡确定参考ThC2)设置成2秒作为相对长于第二阈值时间的闭眼时间。在该示例中，第三阈值时间(瞌睡确定参考ThC2)用作除了多发眨眼(单独眨眼)外的眨眼的瞌睡确定参考。
图11示出通过根据本发明的瞌睡检测方法的瞌睡检测。如图11中所示，可以看见在开始实验之后(黑色圆)立即检测到对象(对象1-1)的多发眨眼，以及接着，在第一时间点(1086秒)确定是瞌睡，在该第一时间点，第一次检测到1秒或以上的第二闭眼(面向下的白色三角形)。在此时，对象的睡意定级在中心3的上下方向上变化，以及因此可以看见，对象在抵抗睡意。而且，接着，睡意定级减到2，以及因此可以看见，可检测到在进入造成驾驶麻烦的瞌睡状态之前的状态。因此，可以确认，通过本发明的检测方法可精确地检测瞌睡。
图12示出关于对象(对象5-1)的示例。类似于对象(对象1-1)，在开始实验之后(黑色圆)立即检测到多发眨眼。接着，在第一时间点(322秒)确定是瞌睡，在该第一时间点，第一次检测到1秒或以上的第一闭眼(面向下的灰色三角形)。在此时的状态中，睡意定级大约是3，以及接着，睡意定级进一步减小。因此，可以看见，状态处于进入当进入瞌睡状态的时间，以及因此，可以确认，通过本发明的检测方法可精确地检测瞌睡状态。
在图13中所示的对象(对象3-2)的示例中，在开始实验之后(黑色圆)立即检测到多发眨眼，以及在第一时间点(454秒)确定是瞌睡，在该第一时间点，检测到2秒或以上的不是多发眨眼的单独眨眼的闭眼时间(面向上的灰色三角形)。在此时的状态中，睡意定级大约是2，以及接着，睡意定级在3左右变化。因此，可以看见，状态处于当进入瞌睡状态的时间，以及因此，精确地检测瞌睡。
图14示出针对图13的对象(对象3-2)，在本发明和先前的方法之间在检测时间上的差异。作为传统方法，使用专利文献2中公开的方法。在传统方法中，在第一眨眼的闭眼的结束和第二眨眼的闭眼的结束之间的时间被设置为眨眼间隔TOP(i)。当TOP(i)等于或短于1秒时，确定多发眨眼发生并且在紧接多发眨眼发生之后直到第三长闭眼的眨眼的结束时间的时间变成10秒或更少的时间点之中，将时间变成10秒或更少的最早的点的时间作标记。作为结果，在本发明中，瞌睡通过确定2秒或以上的单独眨眼(面向上的灰色三角形)的闭眼时间加以检测，以及因此，可在早期时间(454秒)检测到瞌睡。相比之下，以传统方法，瞌睡的检测时间是从测量开始939秒，以及即，可以确认，时间迟于根据本发明的方法的时间。
图15示出针对另一对象(对象2-2)，根据本发明和先前的方法的测量瞌睡检测时间的结果。在该对象的示例中，在本发明中，瞌睡通过确定2秒或以上的单独眨眼(面向上的灰色三角形)的闭眼时间加以检测，以及因此，可在早期检测到瞌睡(781秒)。相比之下，以传统方法，瞌睡的检测时间是从测量开始之后1129秒，以及即，可以看见时间迟于根据本发明的方法的时间。此外，如图15中所示，从第一次确定1秒或以上的多发眨眼的第一闭眼(面向下的灰色三角形)的时间点和第一次确定1秒或以上的第二闭眼(面向上的白色三角形)的时间点，可以看见，本发明的检测方法早于传统方法检测到瞌睡。因此，由此可以看见，本发明的方法可在早期检测瞌睡。
图16示出图11的对象(对象1-1)的睡意定级的时间过渡。图16(a)示出根据本发明的检测方法的多发眨眼发生位置(黑色圆)，以及图16(b)示出根据传统方法的多发眨眼发生位置(白色圆)。图16(a)示出在多发眨眼过程中检测到的1秒或以上的第一闭眼(面向下的灰色三角形)或第二闭眼(面向上的白色三角形)的点。图16(b)示出根据传统方法的多发眨眼发生位置(白色圆)和眨眼的闭眼时间变成1秒或以上的点(长闭眼)(面向上的灰色三角形)。
在根据先前的方法的图16(b)的曲线图中，多发眨眼之后的长时间闭眼是10秒或以下的时间点用A到E表示。在传统方法中，最早瞌睡检测时间是开始实验之后1315秒，其用A表示。另一方面，如图16(a)中所示，在根据本发明的方法中，在开始实验之后1086秒检测到瞌睡，其是在多发眨眼过程中的第二闭眼发生1秒或以上的第一时间点(第一个面向下的白色三角形)。此外，在本发明中，从在多发眨眼过程中的第一闭眼发生1秒或以上的第一时间点(第一个面向下的灰色三角形)，可以看见比先前的方法更早检测到瞌睡。
其次，图17中示出根据具有包括本发明的瞌睡检测设备的配置的实验***(图8)的另一实施例的示例。图17是对象(对象8-1)的实验结果，图17(a)示出睡意定级，图17(b)示出通过将多发眨眼过程中的所有眨眼的闭眼时间相加得到的总闭眼时间(秒)，图17(c)示出在30秒期间的单独眨眼的平均闭眼时间(秒)，以及图17(d)示出通过将多发眨眼过程中的所有眨眼的闭眼时间(秒)和在30秒期间的单独眨眼的平均闭眼时间相加得到的总闭眼时间(秒)的时间过渡。作为结果，可以看见，总闭眼时间根据觉醒度的减小延长。此外，在觉醒度减小的同时，总闭眼时间总是长的。因此，应当理解，瞌睡状态通过测量多发眨眼和单独眨眼的总闭眼时间被稳定地检测。此外，如方程式(1)所示，当多发眨眼过程中的第j次眨眼的闭眼时间是，以及单独眨眼的平均闭眼时间是时，总闭眼时间可通过将这些闭眼时间分别乘以权重(WB(j)，WI)且通过将加权过的数值相加得到。在图17中所示的示例中，WB(j)＝1，以及WI＝1。然而，可替代地，每个权重可不同地变成例如WB(j)＝0.5到1.5，和WI＝0.5到1.5且相加以得到总闭眼时间Tsum。
数学式1：
T s u m = W I · T I + Σ j W B ( j ) · T B ( j ) - - - ( 1 )
应当注意，本发明的瞌睡检测设备不限于上述实施例，眨眼检测通过除了上述方法外的方法实施，以及当检测到在短时间内连续发生至少两个眨眼时，可确定是多发眨眼。另外，本发明的睁眼时间和闭眼时间的定义和确定参考值包括四舍五入成整数的数值。具体地说，例如，根据本发明的1秒的定义包括从0.5秒到小于1.5秒的范围，以及该范围可确定为1秒。
附图标记列表
10 瞌睡检测实验***
11 对象
12，32 拍摄单元
14 个人计算机
16 监视器
30 瞌睡检测设备
31 驾驶员
33 驾驶员监视器ECU
34 导航***
35 扬声器
36 制动控制装置

Claims (17)

1.一种瞌睡检测方法，包括：
在人类眼睛的从闭眼到睁眼的状态之中，测量睁眼时间和闭眼时间，所述睁眼时间是所述眼睛基本上睁开的状态，所述闭眼时间是其他状态；
将相对短于在警觉状态中的健康成人的平均睁眼时间的时间设置为第一阈值时间；
将相对长于在警觉状态中的健康成人的平均闭眼时间的时间设置为第二阈值时间；
当检测到睁眼等于或短于所述第一阈值时间并且当紧接在等于或短于所述第一阈值时间的睁眼时间之后发生的眨眼的闭眼时间达到所述第二阈值时间或超过时，立即确定是瞌睡状态的第一瞌睡确定处理步骤；以及
当眨眼的闭眼时间等于或长于所述第二阈值时间，所述眨眼紧接在等于或短于所述第一阈值时间的所述睁眼时间之前发生时，在没有测量紧接在等于或短于所述第一阈值时间的所述睁眼时间之后的所述闭眼时间的情况下，在等于或短于所述第一阈值时间的睁眼时间结束时，立即确定是瞌睡状态的早期瞌睡确定处理步骤。
2.如权利要求1所述的瞌睡检测方法，其中，
将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，以及包括当眨眼的闭眼时间达到所述第三阈值时间或超过时，再次确定是瞌睡状态的第二瞌睡确定处理步骤，所述眨眼在等于或短于所述第一阈值时间的睁眼时间之后发生。
3.如权利要求1所述的瞌睡检测方法，其中，
将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，在检测所述睁眼时间中，当检测到长于所述第一阈值时间的睁眼时且当在紧接所述睁眼之前的眨眼发生之前紧接睁眼时间长于所述第一阈值时间时，将所述之前的眨眼设置为单独眨眼，并且包括当所述单独眨眼的闭眼时间等于或长于所述第三阈值时间时，在所述单独眨眼之后的睁眼结束时，立即确定是瞌睡状态的第三瞌睡确定处理步骤。
4.如权利要求1所述的瞌睡检测方法，其中，
将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，以及包括在检测所述睁眼时间中，当检测到长于所述第一阈值时间的睁眼时且当紧接所述睁眼之后的眨眼的闭眼时间达到所述第三阈值时间或超过时，立即确定是瞌睡状态的第四瞌睡确定处理步骤。
5.如权利要求2所述的瞌睡检测方法，其中，
所述第三阈值时间是相对长于除了在警觉状态中的健康成人的多发眨眼外的眨眼的平均闭眼时间的闭眼时间，其中所述多发眨眼被定义为当检测到睁眼等于或短于所述第一阈值时间时，在所述睁眼前后发生的眨眼。
6.如权利要求5所述的瞌睡检测方法，其中，
当作为在所述多发眨眼过程中的眨眼的闭眼时间以及除了所述多发眨眼外的眨眼的闭眼时间的和得到的总闭眼时间相对长于所述第三阈值时间时，确定是瞌睡状态。
7.如权利要求6所述的瞌睡检测方法，其中，
所述总闭眼时间通过分别使所述闭眼时间中的每一个被加权，以及通过将加权过的闭眼时间相加得到。
8.一种瞌睡检测设备，包括：
闭眼检测装置，所述闭眼检测装置通过识别人类眼睛的位置检测所述眼睛从闭眼到睁眼的状态；以及
眨眼时间测量装置，所述眨眼时间测量装置通过所述闭眼检测装置测量所述人类眼睛基本上睁开的状态作为睁眼时间和其他状态作为闭眼时间，其中所述瞌睡检测设备包括：
将相对短于在警觉状态中的健康成人的平均睁眼时间的时间设置为第一阈值时间；以及
将相对长于在警觉状态中的健康成人的平均闭眼时间的时间设置为第二阈值时间；以及所述瞌睡检测设备包括：
瞌睡辨别装置，当所述眨眼时间测量装置检测到等于或短于所述第一阈值时间的睁眼并且当紧接在等于或短于所述第一阈值时间的睁眼时间之后发生的眨眼的闭眼时间达到所述第二阈值时间或超过时，所述瞌睡辨别装置立即确定是瞌睡状态，
其中，当眨眼的闭眼时间等于或长于所述第二阈值时间，所述眨眼在等于或短于所述第一阈值时间的所述睁眼时间之前发生时，在没有测量紧接在等于或短于所述第一阈值时间的所述睁眼时间之后的所述闭眼时间的情况下，在等于或短于所述第一阈值时间的睁眼时间结束时，所述瞌睡辨别装置立即确定是瞌睡状态。
9.如权利要求8所述的瞌睡检测设备，其中，
所述瞌睡辨别装置将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，以及眨眼的闭眼时间达到所述第三阈值时间或超过时，所述瞌睡辨别装置再次确定是瞌睡状态，所述眨眼在等于或短于所述第一阈值时间的睁眼时间之后发生。
10.如权利要求8所述的瞌睡检测设备，其中，
所述瞌睡辨别装置将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，当由眨眼时间测量装置检测到长于所述第一阈值时间的睁眼时且当在紧接所述睁眼之前的眨眼发生之前紧接的睁眼时间也长于所述第一阈值时间时，将所述紧接所述睁眼之前的眨眼设置为单独眨眼，并且当所述单独眨眼的闭眼时间等于或长于所述第三阈值时间时，在所述单独眨眼之后的睁眼结束时，所述瞌睡辨别装置立即确定是瞌睡状态。
11.如权利要求8所述的瞌睡检测设备，其中，
所述瞌睡辨别装置将相对长于所述第二阈值时间的闭眼时间定义为第三阈值时间，以及当由眨眼时间测量装置检测到长于所述第一阈值时间的睁眼时且当紧接所述睁眼之后的眨眼的闭眼时间达到所述第三阈值时间或超过时，所述瞌睡辨别装置立即确定是瞌睡状态。
12.如权利要求9所述的瞌睡检测设备，其中，
所述第三阈值时间是相对长于除了在警觉状态中的健康成人的多发眨眼外的眨眼的平均闭眼时间的闭眼时间，其中所述多发眨眼被定义为当检测到睁眼等于或短于所述第一阈值时间时，在所述睁眼前后发生的眨眼。
13.如权利要求12所述的瞌睡检测设备，其中，
当作为在通过所述多发眨眼辨别装置检测到的所述多发眨眼过程中的眨眼的闭眼时间以及通过所述眨眼时间测量装置检测到的除了所述多发眨眼外的眨眼的闭眼时间的和得到的总闭眼时间相对长于所述第三阈值时间时，所述瞌睡辨别装置确定是瞌睡状态。
14.如权利要求13所述的瞌睡检测设备，其中，
所述瞌睡辨别装置通过分别使所述闭眼时间中的每一个被加权，以及通过将加权过的闭眼时间相加得到所述总闭眼时间。
15.如权利要求8所述的瞌睡检测设备，其中，
所述闭眼检测装置测量所述人眼的虹膜的面积。
16.如权利要求8至15中任一项所述的瞌睡检测设备，其中，
所述瞌睡检测设备包括报警装置，所述报警装置基于瞌睡状态的确定结果发出瞌睡报警。
17.一种车辆，所述车辆包括如权利要求8至16中任一项所述的瞌睡检测设备。
CN201280043229.2A 2011-09-05 2012-09-04 瞌睡检测方法和设备 Expired - Fee Related CN103974656B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011192591 2011-09-05
JP2011-192591 2011-09-05
JP2011249662 2011-11-15
JP2011-249662 2011-11-15
PCT/JP2012/072497 WO2013035704A1 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置

Publications (2)

Publication Number Publication Date
CN103974656A CN103974656A (zh) 2014-08-06
CN103974656B true CN103974656B (zh) 2016-10-12

Family

ID=47832149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280043229.2A Expired - Fee Related CN103974656B (zh) 2011-09-05 2012-09-04 瞌睡检测方法和设备

Country Status (6)

Country Link
US (1) US9286515B2 (zh)
EP (1) EP2754393A4 (zh)
JP (1) JP5679066B2 (zh)
KR (1) KR101604232B1 (zh)
CN (1) CN103974656B (zh)
WO (1) WO2013035704A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
KR102068049B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
CN103280072B (zh) * 2013-05-30 2016-08-10 苏州福丰科技有限公司 一种防疲劳驾驶装置
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
JP6338445B2 (ja) * 2014-05-12 2018-06-06 学校法人慶應義塾 瞬き検出システムおよび方法
AU2015276536B2 (en) * 2014-06-20 2017-12-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method, and computer program for detecting momentary sleep
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置
JP5880741B1 (ja) * 2014-12-26 2016-03-09 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
US20160343229A1 (en) * 2015-05-18 2016-11-24 Frank Colony Vigilance detection method and apparatus
CN105030244B (zh) * 2015-06-29 2018-05-11 杭州镜之镜科技有限公司 一种眨眼的检测方法和检测***
JP2017068576A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体
CN205440259U (zh) * 2016-03-25 2016-08-10 深圳市兼明科技有限公司 基于虹膜识别的安全驾驶装置
JP6638523B2 (ja) * 2016-03-31 2020-01-29 オムロン株式会社 顔画像処理装置および顔画像処理システム
CN105869356B (zh) * 2016-06-15 2018-08-21 上海帝仪科技有限公司 一种铁路司机工作状态的评估干预***及方法
US10281980B2 (en) 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
CN106725322B (zh) * 2016-12-22 2020-10-30 东软集团股份有限公司 确定处于睡眠临界区的方法及装置
WO2018134875A1 (ja) * 2017-01-17 2018-07-26 三菱電機株式会社 瞼検出装置、居眠り判定装置、および瞼検出方法
WO2019123569A1 (ja) * 2017-12-20 2019-06-27 日本電気株式会社 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
JP2021131708A (ja) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 運転支援装置
JP7392536B2 (ja) * 2020-03-19 2023-12-06 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法
WO2022061403A1 (en) * 2020-09-22 2022-03-31 Sdip Holdings Pty Ltd Devices and processing systems configured to enable assessment of a condition of a human subject based on sensorimotor gating of blinks
DE102021111465A1 (de) * 2021-05-04 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Ermittlung einer müdigkeit einer person auf basis einer lidschlaganalyse
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation
CN113967014B (zh) * 2021-12-22 2022-04-08 成都航空职业技术学院 基于大数据的学生行为分析装置、***及方法
CN115869547B (zh) * 2022-12-19 2024-03-26 光朗(海南)生物科技有限责任公司 一种可识别睁闭眼状态的近视治疗设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
CN102149326A (zh) * 2008-09-16 2011-08-10 爱信精机株式会社 困倦判定装置及程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP2000199703A (ja) 1999-01-06 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
AU767533B2 (en) * 1999-01-27 2003-11-13 Compumedics Limited Vigilance monitoring system
JP2006136556A (ja) 2004-11-12 2006-06-01 Toyota Motor Corp 居眠り検出装置及び検出方法
JP4896002B2 (ja) * 2005-03-01 2012-03-14 パナソニック株式会社 電子表示媒体および電子表示媒体に用いられる画面表示制御方法
JP4677963B2 (ja) 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
JP2008073335A (ja) * 2006-09-22 2008-04-03 Toyota Central R&D Labs Inc 覚醒低下検出装置及び覚醒低下検出プログラム
EP2082383B1 (en) * 2006-10-13 2012-06-13 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
JP4492652B2 (ja) * 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
JP5050794B2 (ja) 2007-11-14 2012-10-17 トヨタ自動車株式会社 眠気検知装置、眠気検知方法
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
JP5287875B2 (ja) * 2009-02-13 2013-09-11 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
JP2010184067A (ja) * 2009-02-13 2010-08-26 Toyota Motor Corp 生体状態推定装置
JP5270415B2 (ja) * 2009-03-19 2013-08-21 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP5642945B2 (ja) * 2009-05-29 2014-12-17 浜松ホトニクス株式会社 瞬目計測装置
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
CN102149326A (zh) * 2008-09-16 2011-08-10 爱信精机株式会社 困倦判定装置及程序

Also Published As

Publication number Publication date
EP2754393A1 (en) 2014-07-16
KR20140066162A (ko) 2014-05-30
KR101604232B1 (ko) 2016-03-17
JP5679066B2 (ja) 2015-03-04
US9286515B2 (en) 2016-03-15
EP2754393A4 (en) 2015-05-06
CN103974656A (zh) 2014-08-06
WO2013035704A1 (ja) 2013-03-14
US20140205149A1 (en) 2014-07-24
JPWO2013035704A1 (ja) 2015-03-23

Similar Documents

Publication Publication Date Title
CN103974656B (zh) 瞌睡检测方法和设备
Yan et al. Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing
JP5210773B2 (ja) 眠気判定装置及びプログラム
CN104361716A (zh) 实时检测疲劳并提醒的方法
EP3081156B1 (en) Sleepiness detecting device
JP5045492B2 (ja) 覚醒度推定装置
CN102356416A (zh) 困倦判定装置及程序
Liu et al. Driver fatigue detection through pupil detection and yawing analysis
CN104068868A (zh) 一种基于机器视觉的驾驶人疲劳监测方法及装置
JP2007229218A (ja) 覚醒度推定装置及びシステム並びに方法
CN108021875A (zh) 一种车辆驾驶员个性化疲劳监测及预警方法
CN110859609A (zh) 基于语音分析的多特征融合疲劳驾驶检测方法
JP2008140266A (ja) 状態推定装置
Liu et al. A review of driver fatigue detection: Progress and prospect
Nakamura et al. Driver drowsiness estimation from facial expression features computer vision feature investigation using a CG model
Chen Research on driver fatigue detection strategy based on human eye state
He et al. Estimation of driver’s fatigue based on steering wheel angle
CN103729646A (zh) 一种眼睛图像有效性检测方法
EP3056375B1 (en) Sleepiness detecting device
CN105894732A (zh) 一种疲劳驾驶监测***
CN110097012A (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
Yin et al. A driver fatigue detection method based on multi-sensor signals
Feldhütter et al. A new approach for a real-time non-invasive fatigue assessment system for automated driving
JP6604266B2 (ja) 眠気検知装置
CN110059599A (zh) 驾驶疲劳预警方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170124

Address after: Toyama County

Patentee after: Public University Corporation Toyama Prefectural University

Address before: Toyama County

Patentee before: Fu Shanxian

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161012

Termination date: 20190904

CF01 Termination of patent right due to non-payment of annual fee