CN109426797A - 瞌睡检测装置及其瞌睡检测方法 - Google Patents

瞌睡检测装置及其瞌睡检测方法 Download PDF

Info

Publication number
CN109426797A
CN109426797A CN201710816272.2A CN201710816272A CN109426797A CN 109426797 A CN109426797 A CN 109426797A CN 201710816272 A CN201710816272 A CN 201710816272A CN 109426797 A CN109426797 A CN 109426797A
Authority
CN
China
Prior art keywords
eyes
eye
drowsiness
eye closing
pixel threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710816272.2A
Other languages
English (en)
Other versions
CN109426797B (zh
Inventor
刘政德
陈裕彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN109426797A publication Critical patent/CN109426797A/zh
Application granted granted Critical
Publication of CN109426797B publication Critical patent/CN109426797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Hospice & Palliative Care (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Mechanical Engineering (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种瞌睡检测装置，包括：一图像捕获设备，用以持续地捕获一使用者的多张人脸图像；一警告设备；一瞌睡判断电路，用以从该多张人脸图像中的一目前图像取得一眼睛区域，并计算该眼睛区域的一垂直直方图，并依据该垂直直方图判断一眼睛部位，其中该瞌睡判断电路将该眼睛部位的一像素高度与一闭眼像素阈值比较以进行一闭眼判断，并依据该闭眼判断的结果进行一瞌睡检测，其中当该瞌睡检测的结果为该使用者处于一瞌睡状态，该瞌睡判断电路发送一控制信号至该警告设备以发出一警告声。

Description

瞌睡检测装置及其瞌睡检测方法
技术领域
本发明涉及瞌睡检测装置，特别涉及一种瞌睡检测装置及其瞌睡检测方法。
背景技术
目前车用安全相关的***，有针对车外的驾驶辅助***(Advanced DriverAssistance Systems，ADAS)，也有针对车内的瞌睡检测***(Drowsiness DetectionSystem)。以瞌睡检测***来说，在检测到驾驶人精神状况不好或打瞌睡时，要适时发出警告唤醒驾驶人。但要如何检测驾驶人的状况是件困难的技术，目前接触式的技术直接检测驾驶人心跳、血氧等参数的技术，也有非接触式的技术直接检测驾驶人外观的技术。以非接触式的技术来说，可利用检测驾驶人的眼睛来判断是否打瞌睡。然而，计算机装置并不懂何谓张眼与闭眼，因此要由图像中的眼睛大小来判断，但眼睛大小的阈值很难决定，不仅每个驾驶人不同，同一个驾驶人改变姿势也会影响眼睛的大小。因此，传统的方法并无法准确地利用图像判断驾驶人的眼睛部位，这也会影响到瞌睡检测的准确率。
因此，需要一种瞌睡检测装置及其瞌睡检测方法以解决上述问题。
发明内容
本发明提供一种瞌睡检测装置，包括：一图像捕获设备，用以持续地捕获一使用者的多张人脸图像；一警告设备；一瞌睡判断电路，用以从该多张人脸图像中的一目前图像取得一眼睛区域，并计算该眼睛区域的一垂直直方图，并依据该垂直直方图判断一眼睛部位，其中该瞌睡判断电路将该眼睛部位的一像素高度与一闭眼像素阈值比较以进行一闭眼判断，并依据该闭眼判断的结果进行一瞌睡检测，其中当该瞌睡检测的结果为该使用者处于一瞌睡状态，该瞌睡判断电路发送一控制信号至该警告设备以发出一警告声。
在本发明的一实施例中，瞌睡判断电路统计一目前周期中的该多张人脸图像中的一最大像素高度，并依据该最大像素高度与该闭眼像素阈值的一差值决定是否更新该闭眼像素阈值。
承上述实施例，当该最大像素高度与该闭眼像素阈值的该差值大于或等于一预定值，该瞌睡判断电路将该闭眼像素阈值更新为该最大像素高度，其中当该最大像素高度与该闭眼像素阈值的该差值小于该预定值，该瞌睡判断电路不更新该闭眼像素阈值。
在本发明的一实施例中，当该目前图像的该眼睛部位的该像素高度小于该闭眼像素阈值，该瞌睡判断电路判断在该目前图像中的该眼睛部位处于一闭眼状态，其中当该目前图像的该眼睛部位的该像素高度大于或等于该闭眼像素阈值，该瞌睡判断电路判断在该目前图像中的该眼睛部位处于一张眼状态。该瞌睡判断电路更计算在一预定期间中的该眼睛部位处于该闭眼状态的一数量，且当该数量超过一预定数量时，该瞌睡判断电路发送该控制信号至该警告设备以发出该警告声。
在本发明的一实施例中，该瞌睡判断电路统计在该眼睛区域中的每一列的黑色像素数量以产生该垂直直方图。依据该垂直直方图以取得多个相对峰值，并由该多个相对峰值决定一最大峰值，且依据该最大峰值以从该多个相对峰值过滤出多个有效峰值，其中该瞌睡判断电路由该多个有效峰值中决定一最大范围以做为该眼睛部位。
本发明更提供一种瞌睡检测方法，用于一瞌睡检测装置，其中该瞌睡装置包括一图像捕获设备及一警告设备，该方法包括：利用该图像捕获设备持续地捕获一使用者的多张人脸图像；从该多张人脸图像中的一目前图像取得一眼睛区域；计算该眼睛区域的一垂直直方图，并依据该垂直直方图判断一眼睛部位；将该眼睛部位的一像素高度与一闭眼像素阈值比较以进行一闭眼判断，并依据该闭眼判断的结果进行一瞌睡检测；以及当该瞌睡检测的结果为该使用者处于一瞌睡状态，发送一控制信号至该警告设备以发出一警告声。
附图说明
图1是显示依据本发明一实施例的瞌睡检测装置的功能方块图。
图2A是显示依据本发明一实施例中的图像信号的示意图。
图2B是显示依据本发明一实施例中的图像信号中的眼睛区域的垂直直方图。
图3是显示依据本发明一实施例中的瞌睡检测方法的流程图。
附图标记说明
20～使用者；
100～瞌睡检测装置；
110～图像捕获设备；
120～瞌睡判断电路；
130～警告设备；
131～控制器；
132～扬声器；
210～人脸区域；
220～眼睛区域；
221－226～相对峰值。
具体实施方式
为使本发明的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下。
图1是显示依据本发明一实施例的瞌睡检测装置的功能方块图。
如图1所示，瞌睡检测装置100对一用户20进行瞌睡检测。举例来说，瞌睡检测装置100可安装于车辆上的车用***，用以检测在车内的驾驶人(即使用者20)的眼睛的开合情况，并据以判断驾驶人的精神状态是否良好。
在一实施例中，瞌睡检测装置100包括一图像捕获设备110、一瞌睡判断电路120、以及一警告设备130。
图像捕获设备110例如可为具有感光耦合组件(Charge-coupled device，CCD)或是互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)感光组件的一摄影机。图像捕获设备110用以持续拍摄检测目标(例如车辆的驾驶)的脸部并产生一图像信号。
瞌睡判断电路120接收来自图像捕获设备110的图像信号，并分析该图像信号以判断用户20是否有打瞌睡的情况。上述判断流程的细节将详述于后。举例来说，瞌睡判断电路120例如可为一应用导向集成电路(application-specific integrated circuit，ASIC)、或是可由现场可程序化门阵列(Field-Programmable Gate Array，FPGA)或是特定的逻辑电路所实现，但本发明并不限于此。。在一些实施例中，瞌睡判断电路120例如可用一中央处理器(CPU)、数字信号处理器(DSP)、或图像信号处理器(ISP)所实现，但本发明并不限于此。
警告设备130例如包括一控制器131以及一扬声器132，其中控制器131接收来自瞌睡判断电路120的一控制信号，并控制扬声器132发出相应的警告声。
当瞌睡判断电路120判断用户20有打瞌睡的情况，则瞌睡判断电路120会发出一控制信号至警告设备130。此时，警告设备130依据来自瞌睡判断电路120的一控制信号以发出一警告声以提醒使用者20。
图2A是显示依据本发明一实施例中的图像信号的示意图。
在一实施例中，当瞌睡判断电路120接收到来自图像捕获设备110的图像信号，瞌睡判断电路120分析该图像信号以判断用户的人脸区域210，并依据判断出的人脸区域决定眼睛区域220，其中上述眼睛区域220亦可称为感兴趣区域(Region of Interest，ROI)。接着，瞌睡判断电路120计算眼睛区域220的垂直直方图(vertical histogram)。需注意的是，眼睛区域220是指在人眼部位及其周围的区域，也就是可能包括了镜框、眉毛、眼睑等区域。
图2B是显示依据本发明一实施例中的图像信号中的眼睛区域的垂直直方图。
详细而言，因为眼睛区域220在图像信号中所占的比例较小，因此可针对眼睛区域中的每一列的像素进行统计。举例来说，人的眼睛的像素通常只有黑跟白，也就是灰阶值小于一预定阈值的像素被判断为黑色像素，灰阶值大于一预定阈值的像素被判断为白色像素。然而，在眼睛区域220(即感兴趣区域)可能包括了眼镜的镜框、或是眉毛等等非人眼的对象。因此，瞌睡判断电路120可分别统计在眼睛区域220中的每一列的黑色像素的数量，并据以产生该垂直直方图，其中垂直直方图的水平方向表示像素数量、垂直方向则表示在眼睛区域220中的列数。本发明利用垂直直方图搭配后续的判断流程则可从眼睛区域220中过滤出人眼的部份。
在一实施例中，瞌睡判断电路120会先从眼睛区域的垂直直方图中判断出多个相对峰值。举例来说，当在垂直直方图中的一特定列的黑色像素数量与其邻近上下两列的黑色像素数量的差异大于一预定值时，则可判断该特定列为一相对峰值，例如相对峰值221～226。接着，瞌睡判断电路120由该多个相对峰值中找出多个有效峰值。
更进一步而言，瞌睡判断电路120会先由该多个相对峰值中决定一最大相对峰值，并依据该最大相对峰值设定一阈值。举例来说，上述阈值可为该最大相对峰值的一预定比例，例如2/3。需注意的是，上述预定比例可依实际情况进行调整。
请参考图2B，相对峰值221是在所有相对峰值221～226中的最大值，故瞌睡判断电路120会决定相对峰值221为最大相对峰值。瞌睡判断电路120以最大相对峰值乘上预定比例以做为阈值并过滤该多个相对峰值。以预定比例＝2/3为例，会由该多个相对峰值中过滤出相对峰值221、223、及226，此即为有效峰值。
在取得有效峰值后，瞌睡判断电路120会进一步判断眼睛部位。举例来说，瞌睡判断电路120会从上述几个有效峰值中找出范围最大的区域并定义为眼睛部位，意即此区域即为眼睛部位的像素。更进一步而言，上述范围的定义是指“从有效峰值往上与下找到第一个谷底”。因此，从图2B的例子来看，有效峰值223所相应的上下谷底峰值227及228之间会具有最大的范围。故瞌睡判断电路120会将峰值227及228之间的区域定义为眼睛部位并取得眼睛部位的像素高度(以像素数量表示)。在一实施例中，因为图像捕获设备110持续拍摄用户的人脸图像，瞌睡判断电路120会进一步定义出眼睛部位的图像张数。意即，瞌睡判断电路120会统计有找到眼睛部位并且有计算出眼睛部位的像素高度的图像，并统计其数量。当图像数量未达到一预定数量，则瞌睡判断电路120储存目前图像的眼睛部位的像素高度。当图像数量已累积达到一预定数量(例如20张或300张，非限定)，则瞌睡判断电路120则会从在该预定数量中的图像找出眼睛部位的最大像素高度，并更新最大像素高度的数值。需注意的是，该预定数量可视实际情况进行调整。
更进一步而言，瞌睡判断电路120主要是判断车辆的驾驶人在驾驶状态下的眼睛部位的状态。然而，驾驶人在座位上往往会有各种动作(例如是喝咖啡、开置物箱、调整出风口、调整冷气温度、设定导航***、转头聊天、检视简讯等等)，且在动作过程中有可能会让眼睛部位的像素高度变小。因此，若图像张数的预定数量太小，瞌睡判断电路120所取得的眼睛部位的最大像素高度可能是动作过程中的眼睛部位，而不是驾驶状态时的眼睛部位。
在一实施例中，瞌睡判断电路120更新眼睛部位的最大像素高度以该预定数量的图像做为单位。举例来说，当图像数量已累积达到一预定数量(例如20张或300张，非限定)，则瞌睡判断电路120则会从在该预定数量中的图像找出眼睛部位的最大像素高度，并更新最大像素高度的数值，以及重置累积的图像张数。更新后的最大像素高度，则会用于下一个周期的瞌睡检测判断，例如在目前周期的图像数量尚未累积至该预定数量时，瞌睡判断电路120会以上一个周期的最大像素高度进行闭眼判断。
承上述实施例，在瞌睡判断电路120取得最大像素高度后会先判断是否已设定一闭眼像素阈值。举例来说，若瞌睡判断电路120判断目前图像的眼睛部位的像素高度小于该闭眼像素阈值，则会累积一闭眼图像计数值。当在一预定时间内的闭眼图像计数值达到一上限值时，瞌睡判断电路120则判断该用户有打瞌睡，并传送一控制信号至警告设备130以发出警告声以提醒使用者。
更进一步而言，若尚未设定闭眼像素阈值(例如瞌睡检测装置100刚启动时)，瞌睡判断电路120则会将目前周期的最大像素高度设定为该闭眼像素阈值，意即在第一个周期中可不进行瞌睡判断。若已设定闭眼像素阈值，瞌睡判断电路120则判断目前周期所计算出的最大像素高度与该闭眼像素阈值之间的差值(取其绝对值)是否大于或等于一预定值X。若是，瞌睡判断电路120则会将该闭眼像素阈值更新为目前周期所计算出的最大像素高度。若否，瞌睡判断电路120则不更新该闭眼像素阈值。
举例来说，在已设定闭眼像素阈值的情况下，瞌睡判断电路120是要判断驾驶人的头部有没有移动，即以上述的预定值X做为标准。意即，移动量大于或等于预定值X表示驾驶人的头部有移动，需要更新闭眼像素阈值。移动量未超过预定值X表示驾驶人的头部没有移动或移动程度很小，不需要更新闭眼像素阈值。
表1是示出依据本发明一实施例中判断闭眼像素阈值的示意图。
表1
请参考表1，在此实施例中设定该预定值X为2，且每一周期的图像数量为300，上述数值仅为用于说明，但本发明并不以此为限。
在图像0～300的第一周期，即瞌睡检测装置100刚启动，用户正常驾驶，且此时并未设定闭眼检测阈值。
在图像301～600的第二周期，用户正常驾驶。因尚未设定闭眼像素阈值，故在第一周期的最后一张图像(即图像300)的计算结束后，瞌睡判断电路120则会将上一周期(图像0～300)所计算出的最大像素高度(例如12)设定为闭眼像素阈值，用于第二周期(图像301～600)的判断。
在第二周期的最后一张图像(即图像600)的计算结束后，瞌睡判断电路120则会将第二周期(图像301～600)所计算出的最大像素高度(例如12)与目前的闭眼像素阈值(例如12)进行比较，因两者的差距为0，故瞌睡判断电路120则不更新闭眼像素阈值，继续用于第三周期(图像601～900)的判断。
在图像601～900的第三周期，用户有抬头的动作。在第三周期的最后一张图像(即图像900)的计算结束后，瞌睡判断电路120则会将第三周期(图像601～900)所计算出的最大像素高度(例如9)与目前的闭眼像素阈值(例如12)进行比较，因两者的差距为3，已大于该预定值X，故瞌睡判断电路120将闭眼像素阈值更新为第三周期的最大像素高度(例如9)，并用于第四周期(图像901～1200)的判断。
在图像901～1200的第四周期，用户正常驾驶。在第四周期的最后一张图像(即图像1200)的计算结束后，瞌睡判断电路120则会将第四周期(图像901～1200)所计算出的最大像素高度(例如11)与目前的闭眼像素阈值(例如9)进行比较，因两者的差距为2，已等于该预定值X，故瞌睡判断电路120将闭眼像素阈值更新为第四周期的最大像素高度(例如11)，并用于第五周期(图像1201～1500)的判断。
在图像1201～1500的第五周期，用户往后移动(例如调整驾驶座)。在第五周期的最后一张图像(即图像1500)的计算结束后，瞌睡判断电路120则会将第五周期(图像1201～1500)所计算出的最大像素高度(例如8)与目前的闭眼像素阈值(例如11)进行比较，因两者的差距为3，已大于该预定值X，故瞌睡判断电路120将闭眼像素阈值更新为第五周期的最大像素高度(例如8)，并用于第六周期(图像1501～1800)的判断。
在图像1501～1800的第六周期，用户正常驾驶。在第六周期的最后一张图像(即图像1800)的计算结束后，瞌睡判断电路120则会将第六周期(图像1501～1800)所计算出的最大像素高度(例如10)与目前的闭眼像素阈值(例如8)进行比较，因两者的差距为2，已等于该预定值X，故瞌睡判断电路120将闭眼像素阈值更新为第六周期的最大像素高度(例如10)，并用于第七周期(图像1801～2100)的判断。
在图像1801～2100的第七周期，用户正常驾驶。在第七周期的最后一张图像(即图像2100)的计算结束后，瞌睡判断电路120则会将第七周期(图像1801～2100)所计算出的最大像素高度(例如12)与目前的闭眼像素阈值(例如10)进行比较，因两者的差距为2，已等于该预定值X，故瞌睡判断电路120将闭眼像素阈值更新为第七周期的最大像素高度(例如10)，并用于后续判断。
图3是显示依据本发明一实施例中的瞌睡检测方法的流程图。
在步骤S302，利用图像捕获设备持续地捕获一使用者的多张人脸图像。
在步骤S304，从该多张人脸图像中的一目前图像取得一眼睛区域。举例来说，瞌睡判断电路120会先从目前图像中计算出一人脸区域，并由该人脸区域中判断出一眼睛区域，其中上述决定人脸区域及眼睛区域的方法已为本发明中具有通常知识者所熟知，故其细节于此不再赘述。
在步骤S306，计算该眼睛区域的一垂直直方图。举例来说，瞌睡判断电路120会统计在该眼睛区域中的每一列的黑色像素的数量，以产生该垂直直方图。
在步骤S308，依据垂直直方图以判断一眼睛部位。举例来说，瞌睡判断电路120依据该眼睛区域中的该垂直直方图以取得多个相对峰值，并由该多个相对峰值决定一最大峰值，并且依据该最大峰值以从该多个相对峰值过滤出多个有效峰值，以及由该多个有效峰值中决定一最大范围以做为该眼睛部位。
在步骤S310，判断累积的人脸图像数量是否已达到一预定数量N。若是，则执行步骤S314，若否，则执行步骤S312。
在步骤S312，记录眼睛部位的像素高度。举例来说，瞌睡判断电路120在决定用户的眼睛部位是否闭眼的闭眼像素阈值均是以周期计算，每个周期都会有固定的图像数量。此外，最大像素高度亦是每个周期中的人脸图像的像素高度的最大值。因此，在每个周期的最后一张图像处理后即可决定该周期的最大像素高度。
在步骤S314，取得眼睛部位的最大像素高度H。
在步骤S316，判断是否已设定闭眼像素阈值。若是，则执行步骤S318，若否，则执行步骤S320。
在步骤S318，判断最大像素高度与闭眼像素阈值THeye的差值的绝对值是否大于等于一预定值X。若是，则执行步骤S320，若否，则执行步骤S322。
在步骤S320，将闭眼像素阈值THeye更新为最大像素高度H。
在步骤S322，进行闭眼判断。举例来说，若目前图像的眼睛部位的像素高度小于闭眼像素阈值，则瞌睡判断电路120可判断目前图像的眼睛部位处于一闭眼状态。若目前图像的眼睛部位的像素高度大于或等于闭眼像素阈值，则瞌睡判断电路120可判断目前图像的眼睛部位处于一张眼状态。
在步骤S324，进行瞌睡检测。举例来说，若瞌睡判断电路120判断目前图像的眼睛部位的像素高度小于该闭眼像素阈值，则会累积一闭眼图像计数值。当在一预定时间内的闭眼图像计数值达到一上限值时，瞌睡判断电路120则判断该用户有打瞌睡，并传送一控制信号至警告设备130以发出警告声以提醒使用者。
综上所述，本发明提供一种瞌睡检测装置及其瞌睡检测方法，其可使用动态检测的方法调整眼睛部位的阈值，即便驾驶人改变姿势也能对应修正阈值以避免误差。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附权利要求的范围所界定者为准。

Claims (14)

1.一种瞌睡检测装置，包括：
图像捕获设备，用以持续地捕获使用者的多张人脸图像；
警告设备；以及
瞌睡判断电路，用以从该多张人脸图像中的目前图像取得眼睛区域，并计算该眼睛区域的垂直直方图，并依据该垂直直方图判断眼睛部位；
其中该瞌睡判断电路将该眼睛部位的像素高度与闭眼像素阈值比较以进行闭眼判断，并依据该闭眼判断的结果进行瞌睡检测；
其中当该瞌睡检测的结果为该使用者处于瞌睡状态，该瞌睡判断电路发送控制信号至该警告设备以发出警告声。
2.如权利要求1所述的瞌睡检测装置，其中该瞌睡判断电路统计目前周期中的该多张人脸图像中的该眼睛部位的最大像素高度，并依据该最大像素高度与该闭眼像素阈值的差值决定是否更新该闭眼像素阈值。
3.如权利要求2所述的瞌睡检测装置，其中当该最大像素高度与该闭眼像素阈值的该差值大于或等于预定值，该瞌睡判断电路将该闭眼像素阈值更新为该最大像素高度；
其中当该最大像素高度与该闭眼像素阈值的该差值小于该预定值，该瞌睡判断电路不更新该闭眼像素阈值。
4.如权利要求1所述的瞌睡检测装置，其中当该目前图像的该眼睛部位的该像素高度小于该闭眼像素阈值，该瞌睡判断电路判断在该目前图像中的该眼睛部位处于闭眼状态；
其中当该目前图像的该眼睛部位的该像素高度大于或等于该闭眼像素阈值，该瞌睡判断电路判断在该目前图像中的该眼睛部位处于张眼状态。
5.如权利要求4所述的瞌睡检测装置，其中该瞌睡判断电路还计算在预定期间中的该眼睛部位处于该闭眼状态的数量，且当该数量超过预定数量时，该瞌睡判断电路发送该控制信号至该警告设备以发出该警告声。
6.如权利要求1所述的瞌睡检测装置，其中该瞌睡判断电路统计在该眼睛区域中的每一列的黑色像素数量以产生该垂直直方图。
7.如权利要求6所述的瞌睡检测装置，其中该瞌睡判断电路还依据该垂直直方图以取得多个相对峰值，并由该多个相对峰值决定最大峰值，且依据该最大峰值以从该多个相对峰值过滤出多个有效峰值；
其中该瞌睡判断电路由该多个有效峰值中决定最大范围以做为该眼睛部位。
8.一种瞌睡检测方法，用于瞌睡检测装置，其中该瞌睡装置包括图像捕获设备及警告设备，该方法包括：
利用该图像捕获设备持续地捕获使用者的多张人脸图像；
从该多张人脸图像中的目前图像取得眼睛区域；
计算该眼睛区域的垂直直方图，并依据该垂直直方图判断眼睛部位；
将该眼睛部位的像素高度与闭眼像素阈值比较以进行闭眼判断，并依据该闭眼判断的结果进行瞌睡检测；以及
当该瞌睡检测的结果为该使用者处于瞌睡状态，发送控制信号至该警告设备以发出警告声。
9.如权利要求8所述的瞌睡检测方法，还包括：
统计目前周期中的该多张人脸图像中的该眼睛部位的最大像素高度；以及
依据该最大像素高度与该闭眼像素阈值的差值决定是否更新该闭眼像素阈值。
10.如权利要求9所述的瞌睡检测方法，还包括：
当该最大像素高度与该闭眼像素阈值的该差值大于或等于预定值，将该闭眼像素阈值更新为该最大像素高度；以及
当该最大像素高度与该闭眼像素阈值的该差值小于该预定值，不更新该闭眼像素阈值。
11.如权利要求8所述的瞌睡检测方法，还包括：
当该目前图像的该眼睛部位的该像素高度小于该闭眼像素阈值，判断在该目前图像中的该眼睛部位处于闭眼状态；以及
当该目前图像的该眼睛部位的该像素高度大于或等于该闭眼像素阈值，判断在该目前图像中的该眼睛部位处于张眼状态。
12.如权利要求11所述的瞌睡检测方法，还包括：
计算在预定期间中的该眼睛部位处于该闭眼状态的数量；以及
当该数量超过预定数量时，发送该控制信号至该警告设备以发出该警告声。
13.如权利要求8所述的瞌睡检测方法，还包括：
统计在该眼睛区域中的每一列的黑色像素数量以产生该垂直直方图。
14.如权利要求13所述的瞌睡检测方法，还包括：
依据该眼睛区域中的该垂直直方图以取得多个相对峰值，并由该多个相对峰值决定最大峰值；
依据该最大峰值以从该多个相对峰值过滤出多个有效峰值；以及
由该多个有效峰值中决定最大范围以做为该眼睛部位。
CN201710816272.2A 2017-08-28 2017-09-12 瞌睡检测装置及其瞌睡检测方法 Active CN109426797B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106129147 2017-08-28
TW106129147A TWI647666B (zh) 2017-08-28 2017-08-28 瞌睡偵測裝置及其瞌睡偵測方法

Publications (2)

Publication Number Publication Date
CN109426797A true CN109426797A (zh) 2019-03-05
CN109426797B CN109426797B (zh) 2020-12-04

Family

ID=65437087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710816272.2A Active CN109426797B (zh) 2017-08-28 2017-09-12 瞌睡检测装置及其瞌睡检测方法

Country Status (3)

Country Link
US (1) US10482350B2 (zh)
CN (1) CN109426797B (zh)
TW (1) TWI647666B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11345362B2 (en) * 2018-12-31 2022-05-31 Robert Bosch Gmbh Adaptive warnings and emergency braking for distracted drivers
CN110349381A (zh) * 2019-06-20 2019-10-18 镇江畅行交通科技有限公司 一种基于公交场景的人脸识别技术在公共安全方面的应用***
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications
TWI799343B (zh) * 2022-08-26 2023-04-11 中原大學 運用田口法於汽車駕駛人夜間瞌睡偵測方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299498A (zh) * 1998-01-15 2001-06-13 霍尔丁B·E·V·股份有限公司 用于检测打磕睡的方法和设备
CN101425136A (zh) * 2008-10-24 2009-05-06 北京工业大学 视频图像局部二进制模式特征的获取方法和装置
CN102316805A (zh) * 2009-02-13 2012-01-11 丰田自动车株式会社 生理状态推测装置和车辆控制装置
CN103150560A (zh) * 2013-03-15 2013-06-12 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
US20130182905A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for building automation using video content analysis with depth sensing
EP3081156A1 (en) * 2015-04-18 2016-10-19 Toyota Jidosha Kabushiki Kaisha Sleepiness detecting device
CN106214166A (zh) * 2016-09-30 2016-12-14 防城港市港口区高创信息技术有限公司 一种戴眼镜驾驶员疲劳检测方法
CN106898118A (zh) * 2017-04-26 2017-06-27 华迅金安（北京）科技有限公司 防止疲劳驾驶的智能***及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541688B2 (ja) * 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
US6419638B1 (en) * 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US20070036438A1 (en) * 2005-08-15 2007-02-15 Lexmark International, Inc. Methods and systems for identifying red eye pairs
KR101078466B1 (ko) * 2007-01-19 2011-10-31 아사히 가세이 가부시키가이샤 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
WO2011067788A2 (en) * 2009-12-02 2011-06-09 Tata Consultancy Services Limited A cost effective and robust system and method for eye tracking and driver drowsiness identification
TW201140511A (en) * 2010-05-11 2011-11-16 Chunghwa Telecom Co Ltd Drowsiness detection method
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
TWI511095B (zh) * 2014-07-17 2015-12-01 Nat Univ Chin Yi Technology 結合眼球影像與腦波之疲勞偵測方法
US20170119298A1 (en) * 2014-09-02 2017-05-04 Hong Kong Baptist University Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1299498A (zh) * 1998-01-15 2001-06-13 霍尔丁B·E·V·股份有限公司 用于检测打磕睡的方法和设备
CN101425136A (zh) * 2008-10-24 2009-05-06 北京工业大学 视频图像局部二进制模式特征的获取方法和装置
CN102316805A (zh) * 2009-02-13 2012-01-11 丰田自动车株式会社 生理状态推测装置和车辆控制装置
US20130182905A1 (en) * 2012-01-17 2013-07-18 Objectvideo, Inc. System and method for building automation using video content analysis with depth sensing
CN103150560A (zh) * 2013-03-15 2013-06-12 福州龙吟信息技术有限公司 一种汽车智能安全驾驶的实现方法
EP3081156A1 (en) * 2015-04-18 2016-10-19 Toyota Jidosha Kabushiki Kaisha Sleepiness detecting device
CN106214166A (zh) * 2016-09-30 2016-12-14 防城港市港口区高创信息技术有限公司 一种戴眼镜驾驶员疲劳检测方法
CN106898118A (zh) * 2017-04-26 2017-06-27 华迅金安（北京）科技有限公司 防止疲劳驾驶的智能***及方法

Also Published As

Publication number Publication date
US20190065898A1 (en) 2019-02-28
TWI647666B (zh) 2019-01-11
CN109426797B (zh) 2020-12-04
TW201913585A (zh) 2019-04-01
US10482350B2 (en) 2019-11-19

Similar Documents

Publication Publication Date Title
CN109426797A (zh) 瞌睡检测装置及其瞌睡检测方法
US10528810B2 (en) Detecting user viewing difficulty from facial parameters
US20200334477A1 (en) State estimation apparatus, state estimation method, and state estimation program
EP3143545B1 (en) Electronic device with method for controlling access to the same
CN103729981B (zh) 一种儿童坐姿监控智能终端
US7253739B2 (en) System and method for determining eye closure state
CN103210332B (zh) 摄像装置、摄像装置的对焦控制方法及集成电路
US10346698B2 (en) Vehicle display system and method of controlling vehicle display system
WO2015158087A1 (zh) 一种检测人眼健康状态的方法、装置及移动终端
US9526448B2 (en) State estimation device and state estimation program
EP2395420A1 (en) Information display device and information display method
US9098243B2 (en) Display device and method for adjusting observation distances thereof
CN105095885B (zh) 一种人眼状态的检测方法和检测装置
WO2015118953A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN103312972B (zh) 电子装置及其焦距调整方法
JP4742921B2 (ja) 覚醒度推定装置
WO2017067399A1 (zh) 一种基于图像识别的预警方法及装置
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
JP2013009825A (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
US11161470B2 (en) Occupant observation device
JP2003150942A (ja) 目位置追跡方法
JP2008065776A (ja) 居眠り検知装置、居眠り検知方法
CN110472614A (zh) 一种晕倒行为的识别方法
US20080151078A1 (en) Image Pickup Apparatus and Imaging Method
WO2017209225A1 (ja) 状態推定装置、状態推定方法、及び状態推定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant