CN114049676A - 疲劳状态检测方法、装置、设备及存储介质 - Google Patents

疲劳状态检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114049676A
CN114049676A CN202111430996.6A CN202111430996A CN114049676A CN 114049676 A CN114049676 A CN 114049676A CN 202111430996 A CN202111430996 A CN 202111430996A CN 114049676 A CN114049676 A CN 114049676A
Authority
CN
China
Prior art keywords
pixel
state
image
region
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111430996.6A
Other languages
English (en)
Inventor
刘兴廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202111430996.6A priority Critical patent/CN114049676A/zh
Publication of CN114049676A publication Critical patent/CN114049676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术，揭露了一种疲劳状态检测方法，包括：对获取的用户在预设时间段内的多张面部图像进行像素增强处理；提取增强后的图像中用户的眼部区域和嘴部区域；根据眼部区域构建第一像素矩阵，以及根据嘴部区域构建第二像素矩阵；利用预设的分类器对第一像素矩阵进行分类，得到眼部区域状态，以及利用预设的分类器对第二像素矩阵进行分类，得到嘴部区域状态；根据预设时间段内每张面部图像中眼部区域状态和嘴部区域状态计算用户的疲劳程度。此外，本发明还涉及区块链技术，面部图像可存储于区块链的节点。本发明还提出一种疲劳状态检测装置、电子设备以及存储介质。本发明可以解决对用户疲劳程度进行识别的精确度较低的问题。

Description

疲劳状态检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种疲劳状态检测方法、装置、电子设备及计算机可读存储介质。
背景技术
身体疲劳是指劳动者连续工作一段时间后，出现工作能力暂时下降的现象，连续性的长时间工作是导致身体疲劳的主要原因。日常生活中，长时间专注工作或久坐都容易使身体进入疲劳状态。一旦身体进入疲劳态会使注意力不集中，严重影响工作效率和质量，甚至威胁身体健康和生命财产安全。所以，进行身体疲劳监测、警示就显得尤为重要。
现有的疲劳检测方法主要是通过图像检测提取人体面部特征点，分析其生理表现是否符合疲劳态现象(如打哈欠、闭眼等)来判断人体的疲劳状况。上述检测方法一方面需要依赖清晰的特征图像，检测难度较高，无法在复杂工作环境下对身体疲劳状态进行精准检测。另一方面，通过简单的特征点计算来判断工作疲劳状态，准确性也较低。
发明内容
本发明提供一种疲劳状态检测方法、装置及计算机可读存储介质，其主要目的在于解决对用户疲劳程度进行识别的精确度较低的问题。
为实现上述目的，本发明提供的一种疲劳状态检测方法，包括：
获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
可选地，所述对所述多张面部图像进行像素增强处理，得到增强图像集，包括：
逐个从所述多张面部图像中选取其中一张面部图像；
利用n×n的图像窗口在被选取的所述面部图像中依次进行区域选择，得到多个图像区域，其中，所述n为正整数；
根据每个所述图像区域的中心像素以及所述中心像素的邻域像素，利用预设算法计算每个所述图像区域的中心像素的二进制码元；
根据所述二进制码元对所述中心像素进行像素增强，并将所有增强后的面部图像汇集为增强图像集。
可选地，所述根据每个所述图像区域的中心像素以及所述中心像素的邻域像素，利用预设算法计算每个所述图像区域的中心像素的二进制码元，包括：
利用如下算法计算所述图像区域的中心像素的二进制码元
Figure BDA0003380167620000021
Figure BDA0003380167620000022
其中，P0为所述图像区域的中心像素，Pe为所述中心像素的邻域像素的均值，n为所述邻域像素的个数，s(P0-Pe)为量化运算。
可选地，所述提取所述目标图像中所述用户的眼部区域和嘴部区域，包括：
利用预先训练的区域分割模型对所述目标图像中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；
利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到所述低维特征表达的高维特征表达；
利用预设的激活函数计算每个所述高维特征表中每个特征与预设眼部特征之间的第一匹配值，以及利用预设的激活函数计算每个所述高维特征表中每个特征与预设嘴部特征之间的第二匹配值；
确定所述第一匹配值大于预设第一阈值的像素点为眼部像素点，以及确定所述第二匹配值大于预设第二阈值的像素点为嘴部像素点；
分割出所述目标图像中所述眼部像素点组成的区域为眼部区域，以及分割出所述目标图像中所述嘴部像素点组成的区域为嘴部区域。
可选地，所述根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，包括：
将所述眼部区域按照预设比例划分为多个区域像素块；
根据每个区域像素块内各像素点的像素值计算每个区域像素块中每个像素的像素梯度；
根据所述像素梯度统计得到每个区域像素块的梯度直方图；
将所述梯度直方图转换为向量，并将所述向量拼接为所述眼部区域的第一像素矩阵。
可选地，所述利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，包括：
根据所述图像分类器在预设坐标系内生成分类函数曲线；
将所述第一像素矩阵映射至所述预设坐标系内，得到矩阵坐标；
当所述矩阵坐标在所述分类函数曲线的上方时，确定所述眼部区域状态为睁眼状态；
当所述矩阵坐标在所述分类函数曲线的下方时，确定所述眼部区域状态为闭眼状态；
当所述矩阵坐标在所述分类函数曲线上时，确定所述眼部区域状态为未知状态。
可选地，所述根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度，包括：
统计所述用户在所述预设时间段内眼部区域状态为闭眼状态的面部图像的数量为第一数量；
统计所述用户在所述预设时间段内嘴部区域状态为打哈欠状态的面部图像的数量为第二数量；
根据所述第一数量与所述第二数量计算所述用户的疲劳数值；
当所述疲劳数值位于预设第一数值区间内，确定所述用户的疲劳程度为正常状态；
当所述疲劳数值位于预设第二数值区间内，确定所述用户的疲劳程度为轻微疲劳状态；
当所述疲劳数值位于预设第三数值区间内，确定所述用户的疲劳程度为严重疲劳状态。
为了解决上述问题，本发明还提供一种疲劳状态检测装置，所述装置包括：
图像增强模块，用于获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
图像分割模块，用于逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
矩阵构建模块，用于根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
状态识别模块，用于利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
疲劳程度分析模块，用于根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的疲劳状态检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的疲劳状态检测方法。
本发明实施例能够从每张包含用户面部区域的图像中分割出眼部区域和嘴部区域，避免在对图像进行分析时，引入画面中其他区域的冗余特征，进而导致最终分析结果的精确度降低；同时，针对眼部区域和嘴部区域进行状态分析，以判断用户在预设时间段内表现出疲劳的次数(闭眼次数与打哈欠次数)，进而结合眼部区域和嘴部区域的状态对用户的疲劳程度进行多方面的综合检测，提高了对用户疲劳程度检测的精确度。因此本发明提出的疲劳状态检测方法、装置、电子设备及计算机可读存储介质，可以解决对用户疲劳程度进行识别的精确度较低的问题。
附图说明
图1为本发明一实施例提供的疲劳状态检测方法的流程示意图；
图2为本发明一实施例提供的对多张面部图像进行像素增强处理的流程示意图；
图3为本发明一实施例提供的根据眼部区域内每个像素点的像素值构建第一像素矩阵的流程示意图；
图4为本发明一实施例提供的疲劳状态检测装置的功能模块图；
图5为本发明一实施例提供的实现所述疲劳状态检测方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种疲劳状态检测方法。所述疲劳状态检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述疲劳状态检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的疲劳状态检测方法的流程示意图。在本实施例中，所述疲劳状态检测方法包括：
S1、获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集。
本发明实施例中，所述多张面部图像为预设时间段内获取到的包含所述用户的面部画面的图像，例如，通过安装于用户的工位上的摄像头捕获到的用户在工作时间内的多张面部图像。
详细地，可利用具有数据抓取功能的计算机语句(如java语句、python语句)从预先确定的用于存储面部画像的存储区域中抓取所述多张面部图像，其中，所述存储区域包括但不限于数据库、区块链节点好、网络缓存。
本发明其中一个实际应用场景中，由于获取到的多张面部图像受拍摄环境、拍摄设备等多方因素影响，图像中可能存在噪点、模糊等情况，因此，为了提高利用所述多张面部图像对用户的疲劳程度进行分析的精确度，可对所述多张面部图像进行像素增强处理，以提升每张面部图像的画面质量。
本发明实施例中，参图2所示，所述对所述多张面部图像进行像素增强处理，得到增强图像集，包括：
S21、逐个从所述多张面部图像中选取其中一张面部图像；
S22、利用n×n的图像窗口在被选取的所述面部图像中依次进行区域选择，得到多个图像区域，其中，所述n为正整数；
S23、根据每个所述图像区域的中心像素以及所述中心像素的邻域像素，利用预设算法计算每个所述图像区域的中心像素的二进制码元；
S24、根据所述二进制码元对所述中心像素进行像素增强，并将所有增强后的面部图像汇集为增强图像集。
可选地，所述根据每个所述图像区域的中心像素以及所述中心像素的邻域像素，利用预设算法计算每个所述图像区域的中心像素的二进制码元，包括：
利用如下算法计算所述图像区域的中心像素的二进制码元
Figure BDA0003380167620000071
Figure BDA0003380167620000072
其中，P0为所述图像区域的中心像素，Pe为所述中心像素的邻域像素的均值，n为所述邻域像素的个数，s(P0-Pe)为量化运算。
本发明实施例对转换后的面部图像进行细节增强处理，将转换后的面部图像中噪声像素点进行过滤，并对图像细节进行局部纹理加深，突出了图像中的细节特征，有利于提高对图像进行分析的精确度。
S2、逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域。
本发明其中一个实际应用场景中，当用户出现疲劳是，往往会表现出打哈欠、闭眼等疲劳现象，因此，可对所述增强图像集中每张图像进行特征分析(如分析眼部是否闭眼、嘴部是否打哈欠等)，进而判断用户的疲劳状况，但由于所述增强图像内包含了该用户全部的面部信息，因此，若直接对所述增强图像进行分析，会导致分析眼部及嘴部特征时，引入画面中其他区域的冗余特征，进而导致最终分析结果的精确度降低。
因此，可逐个从所述增强图像集中选取一张图像为目标图像，并从每张被选取的目标图像中分割出眼部区域和嘴部区域，以提出图像中其余区域的影像，提高最终对用户的疲劳状态进行判断的精确度。
本发明实施例中，可采用预先训练的区域分割模型对所述目标图像进行分割，以从所述目标图像中提取出眼部区域和嘴部区域，其中，所述区域分割模型可采用通用的卷积神经网络进行架构而成，通过大量包含面部的训练图像进行训练得到所述区域分割模型。
本申请其中一个实施例中，所述区域分割模型的训练过程包括：
获取训练面部图像，以及所述训练面部图像对应的眼部区域位置和嘴部区域位置；
利用预设的卷积神经网络对所述训练面部图像和噪声图像进行卷积、池化，得到每一张图像的图像特征；
利用预设的激活函数计算每一张图像的图像特征的输出值，汇集所述输出值大于预设输出阈值的图像特征对应的图像为目标图像，并对所述目标图像生成训练面部图像的中预测眼部区域位置和预测嘴部区域位置；
并利用预设的损失函数计算所述预测眼部区域位置和预测嘴部区域位置与所述眼部区域位置和嘴部区域位置之间的损失值；
根据所述损失值对所述卷积神经网络进行参数优化，并返回利用预设的卷积神经网络对所述训练集进行卷积、池化的步骤，直至所述损失值小于预设损失阈值，确定所述卷积神经网络为标分割模型。
详细地，所述激活函数包括但不限于softmax激活函数、Relu激活函数、sigmoid激活函数；所述损失函数包括但不限于对数损失函数、交叉熵损失函数、平方误差损失函数。
具体地，当所述损失值大于或等于所述预设损失阈值时，则说明该卷积神经网络的精确度不够，会出现较多的错误判断，因此，需要对该卷积神经网络进行参数优化，以提高该卷积神经网络的精确度。
本实施例中，可根据所述损失值，利用预设的梯度下降算法计算所述卷积神经网络中参数的更新梯度，进而根据所述更新梯度对该卷积神经网络中的参数进行调整，直至所述损失值小于预设损失阈值，其中，所述梯度下降算法包括但不限于小批量梯度下降算法、批量梯度下降算法、随机梯度下降算法。
本实施例中，利用训练面部图像与噪声图像对卷积神经网络进行训练得到区域分割模型，可提高训练得到的区域分割模型的精确度。
进一步地，训练得到所述区域分割模型后，本发明实施例可利用所述区域分割模型对所述目标图像进行分析，以从所述目标图像中分割出包含地标的目标图像。
本发明实施例中，所述提取所述目标图像中所述用户的眼部区域和嘴部区域，包括：
利用预先训练的区域分割模型对所述目标图像中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；
利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到所述低维特征表达的高维特征表达；
利用预设的激活函数计算每个所述高维特征表中每个特征与预设眼部特征之间的第一匹配值，以及利用预设的激活函数计算每个所述高维特征表中每个特征与预设嘴部特征之间的第二匹配值；
确定所述第一匹配值大于预设第一阈值的像素点为眼部像素点，以及确定所述第二匹配值大于预设第二阈值的像素点为嘴部像素点；
分割出所述目标图像中所述眼部像素点组成的区域为眼部区域，以及分割出所述目标图像中所述嘴部像素点组成的区域为嘴部区域。
详细地，通过卷积、池化等操作，可将所述目标图像中每一帧的图像中像素点包含的多维度的信息降低为低维特征表达，有利于提高从所述目标图像中提取像素点的特征的精确度和效率。
具体地，可利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，例如，将在二维平面中坐标形式的低维特在表达(x，y)映射至预先构建的三维空间中以(x，y，z)进行表达，将特征的维度提高，有利于提高对所述特征进行计算并输出时的精确度，进而提高分割出目标图像内眼部区域和嘴部区域的精确度。
本发明实施例中，通过分割出目标图像中的眼部区域和嘴部区域，可避免在对所述增强图像进行分析时，引入画面中其他区域的冗余特征，进而导致最终分析结果的精确度降低。
S3、根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵。
本发明实施例中，由于所述眼部区域和所述嘴部区域均为像素信息，不利于对所述眼部区域以及所述嘴部区域的分析，因此，根据所述眼部区域内的每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵，进而实现将所述眼部区域和所述嘴部区域的数值化处理，以提升后续对所述眼部区域和所述嘴部区域处理的效率。
本发明实施例中，参图3所示，所述根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，包括：
S31、将所述眼部区域按照预设比例划分为多个区域像素块；
S32、根据每个区域像素块内各像素点的像素值计算每个区域像素块中每个像素的像素梯度；
S33、根据所述像素梯度统计得到每个区域像素块的梯度直方图；
S34、将所述梯度直方图转换为向量，并将所述向量拼接为所述眼部区域的第一像素矩阵。
详细地，可将所述眼部区域按照预设比例划分为多个区域像素块，并逐一计算每一个区域像素块中每个像素点的像素值，并根据所述像素值计算像素点的像素梯度，进而根据所述像素梯度统计得到每个区域像素块的梯度直方图，已将梯度直方图转换为向量，并利用转换得到的向量拼接为所述眼部区域的第一像素矩阵。
其中，可利用预设的梯度算法计算每一个区域像素块中每个像素的像素梯度，所述梯度算法包括但不限于二维离散求导算法、soble算子等。
具体地，可根据所述像素梯度，统计出每个区域像素块中的梯度直方图，进而利用所述梯度直方图中各梯度的值，生成用于标识该梯度直方图的向量，并将所述眼部区域的所有梯度直方图的向量拼接所述眼部区域的第一像素矩阵。
本发明实施例中，所述根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵的步骤，与所述根据所述眼部区域内每个像素点的像素值构建第一像素矩阵的步骤一致，在此不做赘述。
S4、利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态。
本发明实施例中，所述分类器可以为预先利用多张不同状态(睁眼/闭眼、打哈欠/未打哈欠)的眼部区域图像和嘴部区域图像训练完成的分类模型，如SVM(support vectormachines，支持向量机)模型、GBTD(Gradient Boosting Decision Tree，梯度提升决策树)模型、朴素贝叶斯模型。
详细地，所述图像分类器可将图像对应的像素矩阵进行坐标映射，进而根据映射得到的坐标与图像分类器内预设的分类曲线的相对位置信息来实现对图像进行分类。
具体地，可利用多张不同状态(睁眼/闭眼、打哈欠/未打哈欠)的眼部区域图像和嘴部区域图像对该图像分类器进行训练，以提升图像分类器的精确度。
例如，将多张不同状态(睁眼/闭眼、打哈欠/未打哈欠)的眼部区域图像和嘴部区域图像作为训练数据输入至所述图像分类器，得到该图像分类器对每一张图像的状态的预测标签，将该预测标签与每一张图像预设的正确标签进行比对，并利用预设的损失函数(softmax损失函数、exponential损失函数等)根据比对的结果计算该图像分类器的损失值，进而利用预设的梯度下降算法(例如批量梯度下降算法、小批量梯度下降算法、随机梯度下降算法等)根据所述损失值对所述图像分类器进行参数优化，以提升所述图像分类器的精确度。
本发明实施例中，所述利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，包括：
根据所述图像分类器在预设坐标系内生成分类函数曲线；
将所述第一像素矩阵映射至所述预设坐标系内，得到矩阵坐标；
当所述矩阵坐标在所述分类函数曲线的上方时，确定所述眼部区域状态为睁眼状态；
当所述矩阵坐标在所述分类函数曲线的下方时，确定所述眼部区域状态为闭眼状态；
当所述矩阵坐标在所述分类函数曲线上时，确定所述眼部区域状态为未知状态。
详细地，可利用预设的python提取所述分类器内部的分类函数，并在预设坐标系内对所述分类函数进行绘制，得到所述分类函数曲线。
具体地，由于矩阵本质为数值的一种形式，因此，可将所述第一像素矩阵通过预设的映射函数映射至该预设坐标系内，得到所述第一像素矩阵的矩阵坐标，其中，所述映射函数包括但不限于高斯函数、mapping函数。
本发明实施例中，可根据所述矩阵坐标与所述分类函数曲线的位置关系来确定所述眼部区域的状态，例如，当所述矩阵坐标在所述分类函数曲线的上方时，确定所述眼部区域状态为睁眼状态；当所述矩阵坐标在所述分类函数曲线的下方时，确定所述眼部区域状态为闭眼状态；当所述矩阵坐标在所述分类函数曲线上时，确定所述眼部区域状态为未知状态。
本发明实施例中，所述利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态的步骤，与所述利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态的步骤一致，在此不做赘述。
S5、根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
本发明其中一个实际应用场景中，由于用户的疲劳状态存在着时间累积性，即用户在一定时间段内表现出的疲劳反应的次数越多，则该用户的疲劳程度越高，因此，可根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
本发明实施例中，所述根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度，包括：
统计所述用户在所述预设时间段内眼部区域状态为闭眼状态的面部图像的数量为第一数量；
统计所述用户在所述预设时间段内嘴部区域状态为打哈欠状态的面部图像的数量为第二数量；
根据所述第一数量与所述第二数量计算所述用户的疲劳数值；
当所述疲劳数值位于预设第一数值区间内，确定所述用户的疲劳程度为正常状态；
当所述疲劳数值位于预设第二数值区间内，确定所述用户的疲劳程度为轻微疲劳状态；
当所述疲劳数值位于预设第三数值区间内，确定所述用户的疲劳程度为严重疲劳状态。
例如，对所述第一数量和所述第二数量进行求和处理，并将所述第一数量和所述第二数量的数值之合作为所述用户的疲劳数值，存在预设的第一数值区间为(0,10]，第一数值区间为(10,50]，第一数值区间为(50,100]，当所述疲劳数值位于预设第一数值区间(0,10]内，确定所述用户的疲劳程度为正常状态；当所述疲劳数值位于预设第二数值区间(10,50]内，确定所述用户的疲劳程度为轻微疲劳状态；当所述疲劳数值位于预设第三数值区间(50,100]内，确定所述用户的疲劳程度为严重疲劳状态。
本发明实施例能够从每张包含用户面部区域的图像中分割出眼部区域和嘴部区域，避免在对图像进行分析时，引入画面中其他区域的冗余特征，进而导致最终分析结果的精确度降低；同时，针对眼部区域和嘴部区域进行状态分析，以判断用户在预设时间段内表现出疲劳的次数(闭眼次数与打哈欠次数)，进而结合眼部区域和嘴部区域的状态对用户的疲劳程度进行多方面的综合检测，提高了对用户疲劳程度检测的精确度。因此本发明提出的疲劳状态检测方法，可以解决对用户疲劳程度进行识别的精确度较低的问题。
如图4所示，是本发明一实施例提供的疲劳状态检测装置的功能模块图。
本发明所述疲劳状态检测装置100可以安装于电子设备中。根据实现的功能，所述疲劳状态检测装置100可以包括图像增强模块101、图像分割模块102、矩阵构建模块103、状态识别模块104及疲劳程度分析模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像增强模块101，用于获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
所述图像分割模块102，用于逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
所述矩阵构建模块103，用于根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
所述状态识别模块104，用于利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
所述疲劳程度分析模块105，用于根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
详细地，本发明实施例中所述疲劳状态检测装置100中所述的各模块在使用时采用与上述图1至图3中所述的疲劳状态检测方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现疲劳状态检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如疲劳状态检测程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行疲劳状态检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如疲劳状态检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的疲劳状态检测程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种疲劳状态检测方法，其特征在于，所述方法包括：
获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
2.如权利要求1所述的疲劳状态检测方法，其特征在于，所述对所述多张面部图像进行像素增强处理，得到增强图像集，包括：
逐个从所述多张面部图像中选取其中一张面部图像；
利用n×n的图像窗口在被选取的所述面部图像中依次进行区域选择，得到多个图像区域，其中，所述n为正整数；
根据每个所述图像区域的中心像素以及所述中心像素的邻域像素，利用预设算法计算每个所述图像区域的中心像素的二进制码元；
根据所述二进制码元对所述中心像素进行像素增强，并将所有增强后的面部图像汇集为增强图像集。
3.如权利要求2所述的疲劳状态检测方法，其特征在于，所述根据每个所述图像区域的中心像素以及所述中心像素的邻域像素，利用预设算法计算每个所述图像区域的中心像素的二进制码元，包括：
利用如下算法计算所述图像区域的中心像素的二进制码元
Figure FDA0003380167610000011
Figure FDA0003380167610000012
其中，P0为所述图像区域的中心像素，Pe为所述中心像素的邻域像素的均值，n为所述邻域像素的个数，s(P0-Pe)为量化运算。
4.如权利要求1所述的疲劳状态检测方法，其特征在于，所述提取所述目标图像中所述用户的眼部区域和嘴部区域，包括：
利用预先训练的区域分割模型对所述目标图像中的每个像素点进行卷积及池化操作，得到每一个像素点对应的低维特征表达；
利用预设的映射函数将所述低维特征表达映射至预先构建的高维空间，得到所述低维特征表达的高维特征表达；
利用预设的激活函数计算每个所述高维特征表中每个特征与预设眼部特征之间的第一匹配值，以及利用预设的激活函数计算每个所述高维特征表中每个特征与预设嘴部特征之间的第二匹配值；
确定所述第一匹配值大于预设第一阈值的像素点为眼部像素点，以及确定所述第二匹配值大于预设第二阈值的像素点为嘴部像素点；
分割出所述目标图像中所述眼部像素点组成的区域为眼部区域，以及分割出所述目标图像中所述嘴部像素点组成的区域为嘴部区域。
5.如权利要求1所述的疲劳状态检测方法，其特征在于，所述根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，包括：
将所述眼部区域按照预设比例划分为多个区域像素块；
根据每个区域像素块内各像素点的像素值计算每个区域像素块中每个像素的像素梯度；
根据所述像素梯度统计得到每个区域像素块的梯度直方图；
将所述梯度直方图转换为向量，并将所述向量拼接为所述眼部区域的第一像素矩阵。
6.如权利要求1至5中任一项所述的疲劳状态检测方法，其特征在于，所述利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，包括：
根据所述图像分类器在预设坐标系内生成分类函数曲线；
将所述第一像素矩阵映射至所述预设坐标系内，得到矩阵坐标；
当所述矩阵坐标在所述分类函数曲线的上方时，确定所述眼部区域状态为睁眼状态；
当所述矩阵坐标在所述分类函数曲线的下方时，确定所述眼部区域状态为闭眼状态；
当所述矩阵坐标在所述分类函数曲线上时，确定所述眼部区域状态为未知状态。
7.如权利要求6中任一项所述的疲劳状态检测方法，其特征在于，所述根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度，包括：
统计所述用户在所述预设时间段内眼部区域状态为闭眼状态的面部图像的数量为第一数量；
统计所述用户在所述预设时间段内嘴部区域状态为打哈欠状态的面部图像的数量为第二数量；
根据所述第一数量与所述第二数量计算所述用户的疲劳数值；
当所述疲劳数值位于预设第一数值区间内，确定所述用户的疲劳程度为正常状态；
当所述疲劳数值位于预设第二数值区间内，确定所述用户的疲劳程度为轻微疲劳状态；
当所述疲劳数值位于预设第三数值区间内，确定所述用户的疲劳程度为严重疲劳状态。
8.一种疲劳状态检测装置，其特征在于，所述装置包括：
图像增强模块，用于获取用户在预设时间段内的多张面部图像，对所述多张面部图像进行像素增强处理，得到增强图像集；
图像分割模块，用于逐个从所述增强图像集中选取一张图像为目标图像，提取所述目标图像中所述用户的眼部区域和嘴部区域；
矩阵构建模块，用于根据所述眼部区域内每个像素点的像素值构建第一像素矩阵，以及根据所述嘴部区域内每个像素点的像素值构建第二像素矩阵；
状态识别模块，用于利用预设的图像分类器对所述第一像素矩阵进行分类，得到眼部区域状态，以及利用所述图像分类器对所述第二像素矩阵进行分类，得到嘴部区域状态，其中，所述眼部区域状态包括睁眼状态和闭眼状态，所述嘴部区域状态包括打哈欠状态和未打哈欠状态；
疲劳程度分析模块，用于根据所述预设时间段内每张面部图像中所述眼部区域状态中不同状态的数量和所述嘴部区域状态中不同状态的数量计算所述用户的疲劳程度。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的疲劳状态检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的疲劳状态检测方法。
CN202111430996.6A 2021-11-29 2021-11-29 疲劳状态检测方法、装置、设备及存储介质 Pending CN114049676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111430996.6A CN114049676A (zh) 2021-11-29 2021-11-29 疲劳状态检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111430996.6A CN114049676A (zh) 2021-11-29 2021-11-29 疲劳状态检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114049676A true CN114049676A (zh) 2022-02-15

Family

ID=80211552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111430996.6A Pending CN114049676A (zh) 2021-11-29 2021-11-29 疲劳状态检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114049676A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178798A1 (zh) * 2022-03-25 2023-09-28 平安科技（深圳）有限公司 图像分类方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578008A (zh) * 2017-09-02 2018-01-12 吉林大学 基于分块特征矩阵算法和svm的疲劳状态检测方法
CN107704805A (zh) * 2017-09-01 2018-02-16 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
WO2018113680A1 (en) * 2016-12-23 2018-06-28 Hong Kong Baptist University Method and apparatus for eye gaze tracking and detection of fatigue
CN109770922A (zh) * 2018-12-28 2019-05-21 新大陆数字技术股份有限公司 嵌入式疲劳检测***及方法
CN110119672A (zh) * 2019-03-26 2019-08-13 湖北大学 一种嵌入式疲劳状态检测***及方法
CN111104817A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的疲劳检测方法
CN112395900A (zh) * 2019-08-12 2021-02-23 天津大学青岛海洋技术研究院 基于YOLOv3算法的疲劳驾驶状态检测算法
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
US20210085258A1 (en) * 2019-09-25 2021-03-25 PathPartner Technology Private Limited System and method to predict a state of drowsiness in a subject
CN112686161A (zh) * 2020-12-31 2021-04-20 遵义师范学院 基于神经网络的疲劳驾驶检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113680A1 (en) * 2016-12-23 2018-06-28 Hong Kong Baptist University Method and apparatus for eye gaze tracking and detection of fatigue
CN107704805A (zh) * 2017-09-01 2018-02-16 深圳市爱培科技术股份有限公司 疲劳驾驶检测方法、行车记录仪及存储装置
CN107578008A (zh) * 2017-09-02 2018-01-12 吉林大学 基于分块特征矩阵算法和svm的疲劳状态检测方法
CN111104817A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的疲劳检测方法
CN109770922A (zh) * 2018-12-28 2019-05-21 新大陆数字技术股份有限公司 嵌入式疲劳检测***及方法
CN110119672A (zh) * 2019-03-26 2019-08-13 湖北大学 一种嵌入式疲劳状态检测***及方法
CN112395900A (zh) * 2019-08-12 2021-02-23 天津大学青岛海洋技术研究院 基于YOLOv3算法的疲劳驾驶状态检测算法
US20210085258A1 (en) * 2019-09-25 2021-03-25 PathPartner Technology Private Limited System and method to predict a state of drowsiness in a subject
CN112528843A (zh) * 2020-12-07 2021-03-19 湖南警察学院 一种融合面部特征的机动车驾驶人疲劳检测方法
CN112686161A (zh) * 2020-12-31 2021-04-20 遵义师范学院 基于神经网络的疲劳驾驶检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAMZA UR REHMAN ET AL.: "Eye Tracking based Real-Time Non- Interfering Driver Fatigue Detection System", <ECAI 2018 - INTERNATIONAL CONFERENCE – 10TH EDITION>, 4 April 2019 (2019-04-04), pages 1 - 5 *
HYUNGJOON KIM ET AL.: "FLSNet: Robust Facial Landmark Semantic Segmentation", 《 IEEE ACCESS》, vol. 8, 23 June 2020 (2020-06-23), pages 116163, XP011796464, DOI: 10.1109/ACCESS.2020.3004359 *
J. RAJEVENCELTHA ET AL.: "A novel approach for Drowsiness Detection using Local Binary Patterns and Histogram of Gradients", 《2019 INTERNATIONAL CONFERENCE ON ELECTRICAL AND COMPUTING TECHNOLOGIES AND APPLICATIONS (ICECTA)》, 16 January 2020 (2020-01-16), pages 1 - 6 *
戴诗琪;曾智勇;: "基于深度学习的疲劳驾驶检测算法", 计算机***应用, vol. 27, no. 07, 15 July 2018 (2018-07-15), pages 113 - 120 *
游峰;梁昭德;: "基于深度学习的驾驶人疲劳监测算法研究", 武汉理工大学学报(交通科学与工程版), vol. 42, no. 03, 15 June 2018 (2018-06-15), pages 417 - 421 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178798A1 (zh) * 2022-03-25 2023-09-28 平安科技（深圳）有限公司 图像分类方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN113283446B (zh) 图像中目标物识别方法、装置、电子设备及存储介质
CN110197146A (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
CN111770317B (zh) 用于智慧社区的视频监控方法、装置、设备及介质
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
CN115690615B (zh) 一种面向视频流的深度学习目标识别方法及***
CN113705460A (zh) 图像中人脸睁眼闭眼检测方法、装置、设备及存储介质
CN116681923A (zh) 一种基于人工智能的眼科疾病自动分类方法及***
CN115471775A (zh) 基于录屏视频的信息验证方法、装置、设备及存储介质
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN114022841A (zh) 人员监控识别方法、装置、电子设备及可读存储介质
CN114049676A (zh) 疲劳状态检测方法、装置、设备及存储介质
CN114973107B (zh) 基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法
CN113792801B (zh) 人脸炫光程度的检测方法、装置、设备及存储介质
CN114187476A (zh) 基于图像分析的车险信息核对方法、装置、设备及介质
CN114783042A (zh) 基于多移动目标的人脸识别方法、装置、设备及存储介质
CN113920590A (zh) 活体检测方法、装置、设备及可读存储介质
CN113705459A (zh) 人脸抓拍方法、装置、电子设备及存储介质
CN114067360A (zh) 一种行人属性检测方法及装置
CN113869269A (zh) 活动现场拥挤度检测方法、装置、电子设备及存储介质
CN112580505A (zh) 网点开关门状态识别方法、装置、电子设备及存储介质
CN112528908B (zh) 活体检测方法、装置、电子设备及存储介质
CN114495290B (zh) 活体检测方法、装置、设备及存储介质
CN117333929B (zh) 基于深度学习实现道路施工下的异常人员识别方法及***
CN113920586A (zh) 基于行为匹配的身份识别方法、装置、设备及存储介质
CN113705690B (zh) 正脸定位方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination