CN115171024A - 一种基于视频序列的面部多特征融合疲劳检测方法及*** - Google Patents

一种基于视频序列的面部多特征融合疲劳检测方法及*** Download PDF

Info

Publication number
CN115171024A
CN115171024A CN202210873975.XA CN202210873975A CN115171024A CN 115171024 A CN115171024 A CN 115171024A CN 202210873975 A CN202210873975 A CN 202210873975A CN 115171024 A CN115171024 A CN 115171024A
Authority
CN
China
Prior art keywords
pupil
face
image
preset
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210873975.XA
Other languages
English (en)
Inventor
田会娟
张晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN202210873975.XA priority Critical patent/CN115171024A/zh
Publication of CN115171024A publication Critical patent/CN115171024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频序列的面部多特征融合疲劳检测方法及***，涉及机器视觉与智能控制领域，包括如下步骤：(1)通过预设设备的相机获取目标对象的人脸视频图像；(2)将视频图像分解成每一帧进行预处理；(3)并行提取预处理后图像中的额头区域、眼部区域、嘴部区域、下巴区域的特征；(4)对眼部区域的色彩空间进行融合，自适应定位瞳孔并提取其特征信息。(5)根据提取的多个特征得出当前被观测者的疲劳程度、脸部与设备之间的距离；(6)设备根据得到的结果设备做出相应的措施。本发明利用预设设备可实现：疲劳检测、脸部与屏幕之间距离检测、自适应调节屏幕以及环境亮度。在不影响使用者对设备使用的情况下有效的保护了眼部健康。

Description

一种基于视频序列的面部多特征融合疲劳检测方法及***
技术领域
本发明涉及机器视觉与智能控制领域，具体是涉及一种基于视频序列的面部多特征融合疲劳检测方法及***。
背景技术
青少年是国家的未来，青少年安全问题始终是全社会重点关注的领域，因此，需要研究一些方法来保护青少年的眼部健康。由于人眼是直接感知外界光环境的重要器官，因此改善青少年学习空间的照明环境是一个重要的环节。
除此之外，随着现代人民生活水平的提高，人们对照明质量的需求也在不断的提高。舒适感知是科学界长期研究的课题，他们分析舒适感知与环境条件之间的关系。在EN12665中，视觉舒适度被定义为“由视觉环境引起的视觉幸福感的主观条件”，其对于建筑使用者的幸福感与生产力是非常重要的。同时，在比利时召开的IEC/TC100 AGS会议上，中国电子技术标准化研究院的专家提出了建立视觉舒适度标准研究组的建议旨在研究VDT产品的视觉舒适度，也从侧面反映出视觉舒适度的重要性。
视觉舒适度是指观看LCD屏幕时眼睛主观的疲劳感受，人眼的视疲劳程度越高，LCD屏幕对人眼视觉舒适度的影响越大。在之前的研究过程中，基于生理信息特征的疲劳检测需要被检测人员穿戴测量设备，或用到昂贵的外设传感器。首先增加使用的成本，不能够普遍使用。虽然能够起到检测疲劳的作用，但是实际使用过程中存在诸多的不便。
基于脸部反应指标的疲劳检测技术，其主要基于比较明显的疲劳特征，如基于PERCLOS 算法的疲劳检测技术、基于打哈欠的疲劳检测技术。但是这些现有的技术往往因为识别速度不理想，检测的特征容易出现漏检、误检的情况。
目前，市场上存在的疲劳检测只能起到提醒作用，并不能起到调节视觉感知的作用。因此，本领域的技术人员致力于研究出一种不仅能够检测疲劳，而且还能改善VDT工作空间的照明环境的技术。
发明内容
有鉴于现有技术上的不足，本发明所要解决的技术问题是：(1)如何在疲劳检测的同时不影响电子产品正常的使用；(2)如何提高检测的准确率；(3)如何能够检测脸部和屏幕之间的距离；(4)如何改善VDT工作空间的照明环境。
为了解决上述的问题，根据本发明的一种基于视频序列的面部多特征融合疲劳检测方法及***，所述技术方案如下：
根据本发明实施例的第一方面，提供了一种基于视频序列的面部多特征融合疲劳检测方法，包括：
通过预设设备的相机获取目标对象的人脸视频图像；
将所述人脸视频图像按照预设帧数进行预处理，以得到视频序列图像；
确定预处理后人脸视频序列图像的感兴趣区域并进行特征提取，其中，所述感兴趣区域包括：额头区域、眼部区域、嘴部区域、下巴区域；
对眼部区域进行瞳孔定位，并提取其特征信息。
对所述感兴趣区域进行特征提取，以得到图像的特征；
基于所述图像的特征得到生理指标以构建多参数疲劳检测模型。
在一个实施例中，对所述感兴趣区域进行特征提取的算法为像素级分割并行检测算法。
在一个实施例中，还包括一种基于疲劳程度的屏幕及环境自适应调光***：
通过构建的多参数疲劳检测模型获得疲劳的程度Dn；
将预设设备屏幕亮度的标准定义值划分为P1n个区间，环境亮度划分为P2n个区间；
建立目标对象的疲劳程度与最适屏幕亮度、环境亮度之间的相关性因子Q；
根据当前目标对象的疲劳程度计算当前预设设备屏幕及环境对应的相关性因子Q，预设设备对自身屏幕及环境亮度进行自适应调节，以满足目标对象的照明需求。
在一个实施例中，所述眼部区域的瞳孔直径，其获取算法包括：
对眼部区域图像进行色彩空间融合，以实现瞳孔区域的对比度增强；
计算瞳孔的阈值并对瞳孔进行粗定位；
构建瞳孔检测区域，使瞳孔边界坐落在检测区域内；
检测区域内预设An个检测轨迹，计算每个轨迹的色值变化率，以定位瞳孔边界坐标，并对瞳孔区域进行划分，筛选出置信度最高的瞳孔边界点；
通过最小二乘法椭圆对置信度最高的边界点进行拟合以得到瞳孔中心坐标以及直径。
在一个实施例中，所述的色彩空间融合，包括：
将人眼图像由RGB色彩空间转到YCbCr色彩空间，提取Y分量构建为光照图像L(x，y)；
通过Gamma校正对光照图像进行处理从获得增强的光照图像L1(x，y)；
计算RGB中R、G、B三个通道中瞳孔区域与背景区域之间的比对度，筛选出对比度最大的通道作为颜色图像R(x，y)；
对L1(x，y)和R(x，y)进行细化，并构建新的图像LR(x，y)；
在一个实施例中，所述的对瞳孔进行粗定位，包括：
采用多阈值Otsu算法进行瞳孔进行阈值求解；
筛选出波峰处的类间方差进行聚类分析，计算出最大类间方差，并提高其阈值计算速度；
结合线性形态学滤波以及最大连通域，消除残留睫毛以及眼睑的影响；
对处理后的区域采用水平积分投影以及垂直积分投影，以实现瞳孔的粗定位；
在一个实施例中，所述筛选出置信度最高的瞳孔边界点包括：
根据瞳孔的外接矩形的长宽比对瞳孔区域，选择进行水平或垂直分区；
结合检测轨迹间隔角度设置N1-Ni个样本区域；
剔除被遮挡的样本区域，以得到置信度最高的样本区域及瞳孔边界点。
在一个实施例中，所述构建的多参数疲劳检测模型，包括：输入、判定函数、输出，其中：
模型的输入为：PERCLOS值f、瞳孔直径变化率、眨眼频率、眨眼频率变化率、眨眼时间、嘴部张闭合状态等生理指标；
模型的输出为：目标对象的疲劳程度。
在一个实施例中，所述图像特征包括：左眼的Ln个特征点坐标、右眼的Rn个特征点坐标、嘴巴的Mn个特征点坐标、额头的Hn个特征点坐标及下巴的Jn个特征点坐标、眼部区域的瞳孔直径。
在一个实施例中，所述的特征点坐标通过标记的特征点模型获取，其中标记特征点的模型为：左眼预设Ln个特征点、右眼预设Rn个特征点、嘴巴预设Mn个特征点、额头预设Hn个特征点及下巴预设Jn个特征点。
在一个实施例中，所述的眨眼频率、眨眼频率变化率，其计算方法包括：通过眼部特征点的坐标来判断目标眼睛是否眨眼；
设置时间点函数，分别在前一次眨眼结束以及后一次眨眼开始设置时间点，计算出两次眨眼之间的间隔时间；
根据预设段数连续眨眼时间的平均值来计算眨眼频率，往后依次迭代；
使用所求出的眨眼频率来计算眨眼频率变化率。
在一个实施例中，所述的通过眼部特征点的坐标来判断目标眼睛是否眨眼的算法为：
Figure BSA0000279081030000031
其中，li代表第i个特征点的坐标，t1，t2为预设的时间点，E为判断是否眨眼的参数。
根据本发明实施例的第二方面，提供了一种目标对象与预设设备之间实际距离的算法，其特征在于，包括：
通过目标脸部与预设设备之间的固定距离、脸部的实际高度、脸部的像素高度，计算出预设设备的相机焦距；使用脸部的实际高度、脸部的像素高度和预设设备的相机焦距来计算目标脸部与设备的实际距离；
F＝(P×D)/H，
D’＝(H×F)/P；
其中D为目标脸部与预设设备之间的固定距离，H为脸部的实际高度，P为脸部的像素高度。F为预设设备的相机焦距，D’为目标脸部与设备的实际距离。
本发明的实施例提供的技术方案可以包括以下有益效果：
(1)本发明通过预设设备本身自带的摄像头采集目标对象的脸部信息进行疲劳检测、距离提醒，自适应调节屏幕以及环境的亮度。
(2)本发明在训练集标记自己所需要的特征点进行训练，减少资源的浪费。
(3)本发明并性检测划分的区域，减少对目标图像的检测步骤，提高眼睑以及嘴部移动特征的获取速度，提升判断速度。
(4)本发明通过对比前后两帧瞳孔得出瞳孔直径相对变化率，提高了检测的正确率。
(5)本发明通过设置时间点函数，分别在前一次眨眼结束以及后一次眨眼开始设置时间点，能够计算出两次眨眼之间的间隔时间。取连续预设段数的眨眼时间平均值来计算眨眼频率，往后依次迭代，降低了偶然率。
(6)本发明为了不影响操作者对预设设备的使用，可在设备后台进行疲劳检测、屏幕以及环境亮度的自适应调节。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一实施例中一种基于视频序列的面部多特征融合疲劳检测方法及***的流程示意图；
图2为本发明一实施例中多参数疲劳检测模型图；
图3为本发明一实施例中人脸区域划分图；
图4为本发明一实施例中瞳孔检测流程示意图；
图5为本发明一实施例中眨眼频率计算流程示意图；
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明一实施例中的一种基于视频序列的面部多特征融合疲劳检测方法及***的流程示意图。如图1所示，该方法可被实施为以下步骤S1-S5：
在步骤S1中，通过预设设备的相机获取目标对象的人脸视频图像；
在步骤S2中，将所述人脸视频图像按照预设帧数进行预处理，以得到视频序列图像；
在步骤S3中，并行提取预处理后图像中的额头区域、眼部区域、嘴部区域、下巴区域的特征；
在步骤S4中，对眼部区域的色彩空间进行融合，自适应定位瞳孔并提取其特征信息；
在步骤S5中，根据眼部区域、嘴部区域、瞳孔区域提取的特征构建疲劳检测模型，得出当前被观测者的疲劳程度。根据额头区域脸部、下巴区域提取的特征计算出目标对象与设备之间的距离；
在步骤S6中，***根据不同的疲劳程度、脸部与屏幕的距离做出相应的提醒和自适应调节设备屏幕及环境的亮度。
首先，通过预设设备的相机获取目标对象的人脸视频图像；然后将所述人脸视频图像按照预设帧数进行预处理，以得到视频序列图像；再提取预处理后的图像中的额头区域、眼部区域、嘴部区域、下巴区域，将得到的区域并行特征提取；其次，对眼部区域的色彩空间进行融合，自适应定位瞳孔并提取其特征信息；进而，根据提取的特征得出当前被观测者的疲劳程度、目标对象与设备之间的距离；最后，***根据不同的疲劳程度、脸部与屏幕的距离做出相应的提醒和自适应调节设备屏幕及环境的亮度。本发明的技术方案在不影响目标对象对预设设备使用的情况下，通过预设设备本身自带的摄像头采集目标对象的脸部信息进行提醒，并且能够自适应调节屏幕及环境的亮度。
在一个实施例中，还包括一种基于疲劳程度的屏幕及环境自适应调光***：
通过构建的多参数疲劳检测模型获得疲劳的程度Dn；
将预设设备屏幕亮度的标准定义值划分为P1n个区间，环境亮度划分为P2n个区间；
建立目标对象的疲劳程度与最适屏幕亮度、环境亮度之间的相关性因子Q；
根据当前目标对象的疲劳程度计算当前预设设备屏幕及环境对应的相关性因子Q，预设设备对自身屏幕及环境亮度进行自适应调节，以满足目标对象的照明需求。
在一个实施例中，提供了一种目标对象与预设设备之间实际距离的算法，其特征在于，包括：
通过目标脸部与预设设备之间的固定距离、脸部的实际高度、脸部的像素高度，计算出预设设备的相机焦距；使用脸部的实际高度、脸部的像素高度和预设设备的相机焦距来计算目标脸部与设备的实际距离；
F＝(P×D)/H，
D’＝(H×F)/P；
其中D为目标脸部与预设设备之间的固定距离，H为脸部的实际高度，P为脸部的像素高度。F为预设设备的相机焦距，D’为目标脸部与设备的实际距离。
图2为本发明一实施例中多参数疲劳检测模型图，在一个实施例中，所述疲劳检测模型的构造为：输入、判定函数、输出。其中，输入：PERCLOS值f、瞳孔直径变化率、眨眼频率、眨眼频率变化率、眨眼时间、嘴部张闭合状态等生理指标。输出：目标对象的疲劳程度。本发明的疲劳检测模型的输入有多个指标，能够有效的减小结果的误判。
图3为本发明一实施例中人脸区域划分图。在一个实施例中，在上述步骤S3中的特征提取算法为像素级分割并行检测算法。在检测特征点时的会遍历脸部所有像素，造成一部分检测延时。避免遍历整个脸部的检测，如图3所示，本发明对脸部区域进行划分，并行检测划分的区域减少对目标图像的检测步骤，提高眼睑以及嘴部移动特征的获取速度，提升判断速度。
在一个实施例中，所述的图像特征包括：左眼的Ln个特征点坐标、右眼的Rn个特征点坐标、嘴巴的Mn个特征点坐标、额头的Hn个特征点坐标及下巴的Jn个特征点坐标、眼部区域的瞳孔直径。
在一个实施例中，所述的特征点坐标通过标记的特征点模型获取，其中标记特征点的模型为：左眼预设Ln个特征点、右眼预设Rn个特征点、嘴巴预设Mn个特征点、额头预设Hn个特征点及下巴预设Jn个特征点。本发明在训练集标记自己所需要的特征点进行训练，减少资源的浪费。
如图4所示，在一个实施例中，所述的瞳孔检测分为步骤S31-S35：
在步骤S31中，对眼部区域图像进行色彩空间融合，以实现瞳孔区域的对比度增强；
在步骤S32中，计算瞳孔的阈值并对瞳孔进行粗定位；
在步骤S33中，构建瞳孔检测区域，使瞳孔边界坐落在检测区域内；
在步骤S34中，检测区域内预设An个检测轨迹，计算每个轨迹的色值变化率，以定位瞳孔边界坐标，并对瞳孔区域进行划分，筛选出置信度最高的瞳孔边界点；
在步骤S35中，通过最小二乘法椭圆对置信度最高的边界点进行拟合以得到瞳孔中心坐标以及直径。
首先，将所述眼部区域图像进行色彩空间融合，以实现瞳孔区域的对比度增强；再计算瞳孔的阈值并对瞳孔进行粗定位；构建检测区域，使瞳孔边界坐落在检测区域内；其次，检测区域内预设An个检测轨迹，计算每个轨迹的色值变化率，以定位瞳孔边界坐标，并对瞳孔区域进行划分，筛选出置信度最高的瞳孔边界点；最后，通过最小二乘法椭圆对置信度最高的边界点进行拟合以得到瞳孔中心坐标以及直径。
在一个实施例中所，述的色彩空间融合，包括：
将人眼图像由RGB色彩空间转到YCbCr色彩空间，提取Y分量构建为光照图像L(x，y)；
通过Gamma校正对光照图像进行处理从获得增强的光照图像L1(x，y)；
计算RGB中R、G、B三个通道中瞳孔区域与背景区域之间的比对度，筛选出对比度最大的通道作为颜色图像R(x，y)；
对L1(x，y)和R(x，y)进行细化，并构建新的图像LR(x，y)；
在一个实施例中，所述的对瞳孔进行粗定位，包括：
采用多阈值Otsu算法进行瞳孔进行阈值求解；
筛选出波峰处的类间方差进行聚类分析，计算出最大类间方差，并提高其阈值计算速度；
结合线性形态学滤波以及最大连通域，消除残留睫毛以及眼睑的影响；
对处理后的区域采用水平积分投影以及垂直积分投影，以实现瞳孔的粗定位；
在一个实施例中，所述筛选出置信度最高的瞳孔边界点包括：
根据瞳孔的外接矩形的长宽比对瞳孔区域，选择进行水平或垂直分区；
结合检测轨迹间隔角度设置N1-Ni个样本区域；
剔除被遮挡的样本区域，以得到置信度最高的样本区域及瞳孔边界点。
在一个实施例中，所述的瞳孔直径变化率通过对比前后两帧瞳孔，得出瞳孔直径相对变化率；
Figure BSA0000279081030000071
其中，i代表帧数，h(i)代表第i帧的瞳孔直径，V代表瞳孔直径变化率。
如图5所示，在一个实施例中，所述的眨眼频率、眨眼频率变化率的计算分为步骤S41-S44：
在步骤S41中，通过眼部特征点的坐标来判断目标眼睛是否眨眼；
在步骤S42中，设置时间点函数，分别在前一次眨眼结束以及后一次眨眼开始设置时间点，计算出两次眨眼之间的间隔时间；
在步骤S43中，根据预设段数连续眨眼时间的平均值来计算眨眼频率，往后依次迭代；
在步骤S44中，使用所求出的眨眼频率来计算眨眼频率变化率。
首先，通过眼部特征点的坐标来判断目标眼睛是否眨眼；再设置时间点函数，分别在前一次眨眼结束以及后一次眨眼开始设置时间点，计算出两次眨眼之间的间隔时间；进而根据预设段数连续眨眼时间的平均值来计算眨眼频率，往后依次迭代；最后，使用所求出的眨眼频率来计算眨眼频率变化率。
在一个实施例中，所述的通过眼部特征点的坐标来判断目标眼睛是否眨眼的算法为：
Figure BSA0000279081030000081
其中，li代表第i个特征点的坐标，t1，t2为预设的时间点，E为判断是否眨眼的参数。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/ 或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/ 或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于视频序列的面部多特征融合疲劳检测方法，其特征在于，包括：
通过预设设备的相机获取目标对象的人脸视频图像；
将所述人脸视频图像按照预设帧数进行预处理，以得到视频序列图像；
确定预处理后人脸视频序列图像的感兴趣区域并进行特征提取，其中，所述感兴趣区域包括：额头区域、眼部区域、嘴部区域、下巴区域；
对眼部区域进行瞳孔定位，并提取其特征信息。
对所述感兴趣区域进行特征提取，以得到图像的特征；
基于所述图像的特征得到生理指标以构建多参数疲劳检测模型。
2.如权利要求1所述的方法，其特征在于，还包括一种基于疲劳程度的屏幕及环境自适应调光***：
通过构建的多参数疲劳检测模型获得疲劳的程度Dn；
将预设设备屏幕亮度的标准定义值划分为P1n个区间，环境亮度划分为P2n个区间；
建立目标对象的疲劳程度与最适屏幕亮度、环境亮度之间的相关性因子Q；
根据当前目标对象的疲劳程度计算当前预设设备屏幕及环境对应的相关性因子Q，预设设备对自身屏幕及环境亮度进行自适应调节，以满足目标对象的照明需求。
3.如权利要求1所述的方法，其特征在于，所述对眼部区域进行瞳孔定位，其算法包括：
对眼部区域图像进行色彩空间融合，以实现瞳孔区域的对比度增强；
计算瞳孔的阈值并对瞳孔进行粗定位；
构建瞳孔检测区域，使瞳孔边界坐落在检测区域内；
检测区域内预设An个检测轨迹，计算每个轨迹的色值变化率，以定位瞳孔边界坐标，并对瞳孔区域进行划分，筛选出置信度最高的瞳孔边界点；
通过最小二乘法椭圆对置信度最高的边界点进行拟合以得到瞳孔中心坐标以及直径。
4.如权利要求1所述的方法，其特征在于，所述图像特征包括：左眼的Ln个特征点坐标、右眼的Rn个特征点坐标、嘴巴的Mn个特征点坐标、额头的Hn个特征点坐标及下巴的Jn个特征点坐标、眼部区域的瞳孔直径。
5.如权利要求1所述的方法，其特征在于，所述构建的多参数疲劳检测模型，包括：输入、判定函数、输出，其中：
模型的输入为：PERCLOS值f、瞳孔直径变化率、眨眼频率、眨眼频率变化率、眨眼时间、嘴部张闭合状态等多参数生理指标；
模型的输出为：目标对象的疲劳程度。
6.如权利要求3所述的方法，其特征在于，所述的色彩空间融合，包括：
将人眼图像由RGB色彩空间转到YCbCr色彩空间，提取Y分量构建为光照图像L(x，y)；
通过Gamma校正对光照图像进行处理从而获得增强的光照图像L1(x，y)；
计算RGB中R、G、B三个通道中瞳孔区域与背景区域之间的比对度，筛选出对比度最大的通道作为颜色图像R(x，y)；
对L1(x，y)和R(x，y)进行细化，并构建新的图像LR(x，y)。
7.如权利要求3所述的方法，其特征在于，所述的对瞳孔进行粗定位，包括：
采用多阈值Otsu算法进行瞳孔进行阈值求解；
筛选出波峰处的类间方差进行聚类分析，计算出最大类间方差，并提高其阈值计算速度；
结合线性形态学滤波以及最大连通域，消除残留睫毛以及眼睑的影响；
对处理后的区域采用水平积分投影以及垂直积分投影，以实现瞳孔的粗定位。
8.如权利要求3所述的方法，其特征在于，所述筛选出置信度最高的瞳孔边界点包括：
根据瞳孔的外接矩形的长宽比对瞳孔区域，选择进行水平或垂直分区；
结合检测轨迹间隔角度设置N1-Ni个样本区域；
剔除被遮挡的样本区域，以得到置信度最高的样本区域及瞳孔边界点。
9.如权利要求5所述的方法，其特征在于，所述的通过眼部特征点的坐标来判断目标眼睛是否眨眼的算法为：
Figure FSA0000279081020000031
其中，li代表第i个特征点的坐标，t1，t2为预设的时间点，E为判断是否眨眼的参数。
10.一种所述目标对象与预设设备之间实际距离的算法，其特征在于，包括：
通过目标脸部与预设设备之间的固定距离、脸部的实际高度、脸部的像素高度，计算出预设设备的相机焦距；使用脸部的实际高度、脸部的像素高度和预设设备的相机焦距来计算目标脸部与设备的实际距离；
F＝(P×D)/H，
D’＝(H×F)/P；
其中D为目标脸部与预设设备之间的固定距离，H为脸部的实际高度，P为脸部的像素高度。F为预设设备的相机焦距，D’为目标脸部与设备的实际距离。
CN202210873975.XA 2022-07-25 2022-07-25 一种基于视频序列的面部多特征融合疲劳检测方法及*** Pending CN115171024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210873975.XA CN115171024A (zh) 2022-07-25 2022-07-25 一种基于视频序列的面部多特征融合疲劳检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210873975.XA CN115171024A (zh) 2022-07-25 2022-07-25 一种基于视频序列的面部多特征融合疲劳检测方法及***

Publications (1)

Publication Number Publication Date
CN115171024A true CN115171024A (zh) 2022-10-11

Family

ID=83497313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210873975.XA Pending CN115171024A (zh) 2022-07-25 2022-07-25 一种基于视频序列的面部多特征融合疲劳检测方法及***

Country Status (1)

Country Link
CN (1) CN115171024A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449968A (zh) * 2023-06-20 2023-07-18 深圳市联志光电科技有限公司 一种计算机屏幕控制方法、装置及计算设备
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN117082665A (zh) * 2023-10-17 2023-11-17 深圳市帝狼光电有限公司 一种led护眼台灯照明控制方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449968A (zh) * 2023-06-20 2023-07-18 深圳市联志光电科技有限公司 一种计算机屏幕控制方法、装置及计算设备
CN116449968B (zh) * 2023-06-20 2023-08-22 深圳市联志光电科技有限公司 一种计算机屏幕控制方法、装置及计算设备
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及***
CN117082665A (zh) * 2023-10-17 2023-11-17 深圳市帝狼光电有限公司 一种led护眼台灯照明控制方法及***
CN117082665B (zh) * 2023-10-17 2023-12-15 深圳市帝狼光电有限公司 一种led护眼台灯照明控制方法及***

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及***
WO2021004138A1 (zh) 一种屏幕显示方法、终端设备及存储介质
WO2020125499A1 (zh) 一种操作提示方法及眼镜
JP3673834B2 (ja) 眼球運動を用いた視線入力コミュニケーション方法
US20150050628A1 (en) Autism diagnosis support method and system, and autism diagnosis support device
JP2008234208A (ja) 顔部位検出装置及びプログラム
CN103902958A (zh) 人脸识别的方法
CN104133548A (zh) 确定视点区域及控制屏幕亮度的方法及装置
KR101051433B1 (ko) 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
CN109165630A (zh) 一种基于二维人眼识别的疲劳监测方法
CN112732071A (zh) 一种免校准眼动追踪***及应用
CN109028226A (zh) 基于双区域图像采集进行油烟浓度判断的油烟机
CN112183502B (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN109840484A (zh) 一种基于边缘滤波、椭圆评价和瞳孔验证的瞳孔检测方法
CN110472546B (zh) 一种婴幼儿非接触式眼动特征提取装置及方法
CN113255476B (zh) 一种基于眼动追踪的目标跟踪方法、***及存储介质
CN109028237A (zh) 基于双区域图像采集进行风速调节的油烟机
CN113887386B (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN105380590B (zh) 一种具有眼位检测功能的设备及其实现方法
CN113297966A (zh) 一种基于多重刺激的夜间学习方法
JP2004192552A (ja) 開閉眼判定装置
CN115022616B (zh) 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法
WO2022137601A1 (ja) 視距離推定方法、視距離推定装置、及び視距離推定プログラム
CN110751064B (zh) 基于图像处理的眨眼次数分析方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication