CN109190515A - 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备 - Google Patents

一种疲劳驾驶检测方法、计算机可读存储介质及终端设备 Download PDF

Info

Publication number
CN109190515A
CN109190515A CN201810921792.4A CN201810921792A CN109190515A CN 109190515 A CN109190515 A CN 109190515A CN 201810921792 A CN201810921792 A CN 201810921792A CN 109190515 A CN109190515 A CN 109190515A
Authority
CN
China
Prior art keywords
skin pixel
pixel point
skin
subgraph
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810921792.4A
Other languages
English (en)
Inventor
姜军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201810921792.4A priority Critical patent/CN109190515A/zh
Priority to PCT/CN2018/123790 priority patent/WO2020034541A1/zh
Publication of CN109190515A publication Critical patent/CN109190515A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机技术领域，尤其涉及一种基于人脸识别的疲劳驾驶检测方法、计算机可读存储介质及终端设备。所述方法采集驾驶员的人脸图像；从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；计算所述第一子图像的特征向量；计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。通过本发明实施例，为对驾驶员进行疲劳驾驶检测提供了可靠的检测标准，可以大大减少交通意外事故的发生。

Description

一种疲劳驾驶检测方法、计算机可读存储介质及终端设备
技术领域
本发明属于计算机技术领域，尤其涉及一种疲劳驾驶检测方法、计算机可读存储介质及终端设备。
背景技术
目前，随着汽车的普及程度越来越高，由汽车驾驶而带来的安全隐患也越来越多。驾驶员在驾车过程中，因自身疲劳而引发交通意外事故的情况时有发生，如何能够对驾驶员是否处于疲劳驾驶状态进行掌握已成为亟待解决的问题。但目前一般只能依靠驾驶员自身的感觉或者身边乘客对其状态的观察来判断其是否处于疲劳驾驶状态，可靠性极差，极易导致交通意外事故的发生。
发明内容
有鉴于此，本发明实施例提供了一种疲劳驾驶检测方法、计算机可读存储介质及终端设备，以解决目前的疲劳驾驶检测方法可靠性极差，极易导致交通意外事故的发生的问题。
本发明实施例的第一方面提供了一种疲劳驾驶检测方法，可以包括：
采集驾驶员的人脸图像；
从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；
计算所述第一子图像的特征向量；
计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；
若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。
本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
采集驾驶员的人脸图像；
从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；
计算所述第一子图像的特征向量；
计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；
若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
采集驾驶员的人脸图像；
从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；
计算所述第一子图像的特征向量；
计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；
若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过图像分析处理的手段实现了对驾驶员疲劳驾驶状态的自动化检测，考虑到驾驶员在疲劳驾驶时眼睛区域会出现较易识别的显著特征，本发明实施例将眼睛图像的特征向量作为检测的依据，首先采集驾驶员的人脸图像，从中提取出眼睛区域的图像，并计算其特征向量，然后将处于疲劳状态的眼睛图像的特征向量作为对比的基准向量，若两者的相似度大于一定的阈值，这说明驾驶员的眼睛区域已经呈现出了疲劳的生理特征，可确定该驾驶员正处于疲劳驾驶状态。通过本发明实施例，为对驾驶员进行疲劳驾驶检测提供了可靠的检测标准，可以大大减少交通意外事故的发生。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种疲劳驾驶检测方法的一个实施例流程图；
图2为采集驾驶员的人脸图像的示意流程图；
图3为从驾驶员的人脸图像中提取出第一子图像的示意流程图；
图4为本发明实施例中一种疲劳驾驶检测装置的一个实施例结构图；
图5为本发明实施例中一种终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种疲劳驾驶检测方法的一个实施例可以包括：
步骤S101、采集驾驶员的人脸图像。
为了确保采集到的是人脸图像，而不是无驾驶员时的背景图像，本实施例通过基于肤色判断的方法对采集到的图像进行鉴别，肤色作为人的体表显著特征之一，尽管人的肤色因为人种的不同有差异，呈现出不同的颜色，但是在排除了亮度和视觉环境等对肤色的影响后，皮肤的色调基本一致，因此可作为鉴别的依据。
具体地，步骤S101可以包括如图2所示的步骤：
步骤S1011、接收驾驶区域前方的摄像头采集的所述驾驶区域的图像。
步骤S1012、将所述驾驶区域的图像由RGB空间转换到YCbCr空间，得到转换后的驾驶区域图像。
在YCbCr空间中，Y代表亮度，Cb和Cr分别代表蓝色分量和红色分量，两者合称为色彩分量。YCbCr空间具有将色度与亮度分离的特点，在YCbCr空间中，肤色的聚类特性比较好，而且是两维独立分布，能够比较好地限制肤色的分布区域，并且受人种的影响不大。对比RGB空间和YCbCr空间，当光强发生变化时，RGB空间中的R(红色分量)、G(绿色分量)、B(蓝色分量)三个颜色分量会同时发生变化，而YCbCr空间中受光强影响相对独立，色彩分量受光强度影响不大，因此YCbCr空间更适合用于肤色识别。
具体地，可以通过以下公式实现由RGB空间到YCbCr空间的转换，得到转换后的驾驶区域图像：
Y＝0.257×R+0.564×G+0.098×B+16；
Cb＝-0.148*R-0.291*G+0.439*B+128；
Cr＝0.439*R-0.368*G-0.071*B+128。
步骤S1013、在所述转换后的驾驶区域图像中将满足预设的肤色判定条件的像素点确定为肤色像素点，并构造由各个肤色像素点组成的肤色像素点集合。
由于肤色在YCbCr空间的两路色彩分量受亮度信息的影响较小，本方案直接考虑YCbCr空间的CbCr分量，映射为两维独立分布的CbCr空间。在CbCr空间下，肤色类聚性好，利用预设的肤色判定条件即可将肤色像素点确定出来，在本实施例中，优选采用的肤色判定条件为：77<Cb<127且133<Cr<173，满足该肤色判定条件的像素点即为肤色像素点。
步骤S1014、统计所述肤色像素点集合中肤色像素点的数目，并计算所述肤色像素点集合的分散度。
具体地，可以根据下式计算所述肤色像素点集合的分散度：
其中，n为所述肤色像素点集合中肤色像素点的序号，1≤n≤N，N为所述肤色像素点集合中肤色像素点的数目，SkinPixXn为所述肤色像素点集合中第n个肤色像素点的横坐标，SkinPixYn为所述肤色像素点集合中第n个肤色像素点的纵坐标，DisperDeg为所述肤色像素点集合的分散度，其取值越大，则说明这些像素点越分散，其取值越小，则说明这些像素点越集中。
步骤S1015、判断预设的人脸判定条件是否成立。
对于人脸图像而言，应该是由众多的肤色像素点连接而成的一个集中区域，因此，所述人脸判定条件为所述肤色像素点集合中肤色像素点的数目大于预设的数目阈值，且所述肤色像素点集合的分散度小于预设的分散度阈值，即：
其中，NumThresh为所述数目阈值，可以根据实际情况将其设置为1000、2000、5000或者其它的取值，DisperThresh为所述分散度阈值，可以根据实际情况将其设置为30、50、100或者其它的取值。
若所述人脸判定条件不成立，则返回执行步骤S1011，若所述人脸判定条件成立，则执行步骤S1016及其后续步骤。
步骤S1016、将所述肤色像素点集合所覆盖的区域确定为人脸图像区域。
步骤S1017、提取所述人脸图像区域中的图像，并将所述人脸图像区域中的图像确定为所述驾驶员的人脸图像。
步骤S102、从所述驾驶员的人脸图像中提取出第一子图像。
所述第一子图像为所述驾驶员的眼睛所在区域的图像。
具体地，步骤S102可以包括如图3所示的步骤：
步骤S1021、将所述肤色像素点集合划分为左侧肤色像素点子集和右侧肤色像素点子集。
其中，所述左侧肤色像素点子集中的像素点均满足：
所述右侧肤色像素点子集中的像素点均满足：
ln为所述左侧肤色像素点子集中的像素点的序号，1≤ln≤LN，LN为所述左侧肤色像素点子集中的像素点的总数目，LSkinPixXln为所述左侧肤色像素点子集中的第ln个像素点的横坐标，rn为所述右侧肤色像素点子集中的像素点的序号，1≤rn≤RN，RN为所述右侧肤色像素点子集中的像素点的总数目，RSkinPixXrn为所述右侧肤色像素点子集中的第rn个像素点的横坐标。
步骤S1022、分别计算左眼的中心位置的横坐标以及右眼的中心位置的横坐标。
具体地，可以根据下式分别计算左眼的中心位置的横坐标以及右眼的中心位置的横坐标：
其中，LeftEyeX为左眼的中心位置的横坐标，RightEyeX为右眼的中心位置的横坐标；
步骤S1023、从所述肤色像素点集合划分出上侧肤色像素点子集。
其中，所述左侧肤色像素点子集中的像素点均满足：
tn为所述上侧肤色像素点子集中的像素点的序号，1≤tn≤TN，TN为所述上侧肤色像素点子集中的像素点的总数目，TopSkinPixYtn为所述上侧肤色像素点子集中的第tn个像素点的纵坐标。
步骤S1024、分别计算左眼的中心位置的纵坐标以及右眼的中心位置的纵坐标。
具体地，可以根据下式分别计算左眼的中心位置的纵坐标以及右眼的中心位置的纵坐标：
其中，LeftEyeY为左眼的中心位置的纵坐标，RightEyeY为右眼的中心位置的纵坐标。
步骤S1025、根据左眼的中心位置、右眼的中心位置、预设的眼睛区域高度和预设的眼睛区域宽度确定眼睛所在区域，并将从所述眼睛所在区域提取出的图像作为所述第一子图像。
在本实施例中，可以使用[X1,X2,Y1,Y2]来表示横坐标从X1到X2，纵坐标从Y1到Y2的矩形区域，则可确定出眼睛所在区域为：
LeftEyeArea＝[LeftEyeX1,LeftEyeX2,LeftEyeY1,LeftEyeY2]
RightEyeArea＝[RightEyeX1,RightEyeX2,RightEyeY1,RightEyeY2]
其中：
Width为预设的眼睛区域宽度，可以根据实际情况将其设置为10、15、20或者其它取值，Height为预设的眼睛区域高度，可以根据实际情况将其设置为5、8、10或者其它取值。
步骤S103、计算所述第一子图像的特征向量。
在本实施例中，可以通过局部二值模式(Local Binary Patterns，LBP)算法来计算所述第一子图像的特征向量，具体地，构造一种衡量一个像素点与其周围像素点的关系，对所述第一子图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把像素的灰度值转化为一个八位二进制序列。以中心点的像素值为阈值，如果邻域点的像素值小于中心点，则邻域点被二值化为0，否则为1；将二值化得到的0、1序列看成一个8位二进制数，将该二进制数转化为十进制就可得到中心点处的LBP值。计算出每个所述第一子图像像素点的LBP值后，将LBP特征谱的统计直方图确定为所述第一子图像的特征向量。
由于利用了周围点与该点的关系对该点进行量化。量化后可以更有效地消除光照对图像的影响。只要光照的变化不足以改变两个点像素值之间的大小关系，那么LBP值不会发生变化，即保证了所述第一子图像特征信息提取的准确性。
步骤S104、计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度。
所述基准向量为处于疲劳状态的眼睛图像的特征向量，其具体计算过程与步骤S103类似，具体可参照步骤S103中的详细叙述，此处不再赘述。
在本实施例中，具体可以根据下式计算所述第一子图像的特征向量与所述基准向量之间的向量相似度：
其中，所述第一子图像的特征向量为X＝(x1,x2,...,xd,...,xDim)，所述基准向量为Y＝(y1,y2,...,yd,...,yDim)，d为向量的维度序号，1≤d≤Dim，Dim为所述第一子图像的特征向量或所述基准向量的维度数目，xd为所述第一子图像的特征向量在第d个维度上的分量，yd为所述基准向量在第d个维度上的分量，SimDeg为所述第一子图像的特征向量与所述基准向量之间的向量相似度。
步骤S105、判断所述第一子图像的特征向量与所述基准向量之间的向量相似度是否大于预设的相似度阈值。
若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于所述相似度阈值，则执行步骤S106，若所述第一子图像的特征向量与所述基准向量之间的向量相似度小于或等于所述相似度阈值，则执行步骤S107。
所述相似度阈值可以根据实际情况进行设置，例如，可以将其设置为60％、70％、80％或者其它取值。
步骤S106、确定所述驾驶员处于疲劳驾驶状态。
步骤S107、确定所述驾驶员处于正常状态。
由于驾驶员的某些正常眨眼动作也可能被误判为疲劳状态，因此，为了增加准确度，可以在设定的时间段内(5分钟、10分钟、20分钟或者其它取值)每隔一定的周期(1秒、2秒、10秒或者其它取值)即采集一次图像并重复上述过程。然后统计疲劳驾驶状态的人脸图像在总的人脸图像中的占比，若占比大于预设的比例阈值时(该比例阈值可以根据实际情况设置为60％、70％、80％或者其它取值)，则可判定驾驶员为疲劳驾驶驾驶，若占比小于或等于该比例阈值时，则可判定驾驶员为正常状态。
综上所述，本发明实施例通过图像分析处理的手段实现了对驾驶员疲劳驾驶状态的自动化检测，考虑到驾驶员在疲劳驾驶时眼睛区域会出现较易识别的显著特征，本发明实施例将眼睛图像的特征向量作为检测的依据，首先采集驾驶员的人脸图像，从中提取出眼睛区域的图像，并计算其特征向量，然后将处于疲劳状态的眼睛图像的特征向量作为对比的基准向量，若两者的相似度大于一定的阈值，这说明驾驶员的眼睛区域已经呈现出了疲劳的生理特征，可确定该驾驶员正处于疲劳驾驶状态。通过本发明实施例，为对驾驶员进行疲劳驾驶检测提供了可靠的检测标准，可以大大减少交通意外事故的发生。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种疲劳驾驶检测方法，图4示出了本发明实施例提供的一种疲劳驾驶检测装置的一个实施例结构图。
本实施例中，一种疲劳驾驶检测装置可以包括：
人脸图像采集模块401，用于采集驾驶员的人脸图像；
子图像提取模块402，用于从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；
特征向量计算模块403，用于计算所述第一子图像的特征向量；
向量相似度计算模块404，用于计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；
疲劳驾驶状态确定模块405，用于若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。
进一步地，所述人脸图像采集模块包括：
图像采集单元，用于接收驾驶区域前方的摄像头采集的所述驾驶区域的图像；
图像空间转换单元，用于将所述驾驶区域的图像由RGB空间转换到YCbCr空间，得到转换后的驾驶区域图像；
肤色像素点确定单元，用于在所述转换后的驾驶区域图像中将满足预设的肤色判定条件的像素点确定为肤色像素点，并构造由各个肤色像素点组成的肤色像素点集合；
肤色像素点统计单元，用于统计所述肤色像素点集合中肤色像素点的数目；
分散度计算单元，用于计算所述肤色像素点集合的分散度；
人脸图像区域确定单元，用于若所述肤色像素点集合中肤色像素点的数目大于预设的数目阈值，且所述肤色像素点集合的分散度小于预设的分散度阈值，则将所述肤色像素点集合所覆盖的区域确定为人脸图像区域；
人脸图像确定单元，用于提取所述人脸图像区域中的图像，并将所述人脸图像区域中的图像确定为所述驾驶员的人脸图像。
进一步地，所述分散度计算单元可以包括：
分散度计算子单元，用于根据下式计算所述肤色像素点集合的分散度：
其中，n为所述肤色像素点集合中肤色像素点的序号，1≤n≤N，N为所述肤色像素点集合中肤色像素点的数目，SkinPixXn为所述肤色像素点集合中第n个肤色像素点的横坐标，SkinPixYn为所述肤色像素点集合中第n个肤色像素点的纵坐标，DisperDeg为所述肤色像素点集合的分散度。
进一步地，所述子图像提取模块可以包括：
第一划分单元，用于将所述肤色像素点集合划分为左侧肤色像素点子集和右侧肤色像素点子集，其中，所述左侧肤色像素点子集中的像素点均满足：
所述右侧肤色像素点子集中的像素点均满足：
ln为所述左侧肤色像素点子集中的像素点的序号，1≤ln≤LN，LN为所述左侧肤色像素点子集中的像素点的总数目，LSkinPixXln为所述左侧肤色像素点子集中的第ln个像素点的横坐标，rn为所述右侧肤色像素点子集中的像素点的序号，1≤rn≤RN，RN为所述右侧肤色像素点子集中的像素点的总数目，RSkinPixXrn为所述右侧肤色像素点子集中的第rn个像素点的横坐标；
第一计算单元，用于根据下式分别计算左眼的中心位置的横坐标以及右眼的中心位置的横坐标：
其中，LeftEyeX为左眼的中心位置的横坐标，RightEyeX为右眼的中心位置的横坐标；
第二划分单元，用于从所述肤色像素点集合划分出上侧肤色像素点子集，其中，所述左侧肤色像素点子集中的像素点均满足：
tn为所述上侧肤色像素点子集中的像素点的序号，1≤tn≤TN，TN为所述上侧肤色像素点子集中的像素点的总数目，TopSkinPixYtn为所述上侧肤色像素点子集中的第tn个像素点的纵坐标；
第二计算单元，用于根据下式分别计算左眼的中心位置的纵坐标以及右眼的中心位置的纵坐标：
其中，LeftEyeY为左眼的中心位置的纵坐标，RightEyeY为右眼的中心位置的纵坐标；
子图像提取单元，用于根据左眼的中心位置、右眼的中心位置、预设的眼睛区域高度和预设的眼睛区域宽度确定眼睛所在区域，并将从所述眼睛所在区域提取出的图像作为所述第一子图像。
进一步地，所述向量相似度计算模块可以包括：
向量相似度计算单元，用于根据下式计算所述第一子图像的特征向量与所述基准向量之间的向量相似度：
其中，所述第一子图像的特征向量为X＝(x1,x2,...,xd,...,xDim)，所述基准向量为Y＝(y1,y2,...,yd,...,yDim)，d为向量的维度序号，1≤d≤Dim，Dim为所述第一子图像的特征向量或所述基准向量的维度数目，xd为所述第一子图像的特征向量在第d个维度上的分量，yd为所述基准向量在第d个维度上的分量，SimDeg为所述第一子图像的特征向量与所述基准向量之间的向量相似度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
图5示出了本发明实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。
在本实施例中，所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备5可包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52，例如执行上述的疲劳驾驶检测方法的计算机可读指令。所述处理器50执行所述计算机可读指令52时实现上述各个疲劳驾驶检测方法实施例中的步骤，例如图1所示的步骤S101至S107。或者，所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块401至405的功能。
示例性的，所述计算机可读指令52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令52在所述终端设备5中的执行过程。
所述处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述终端设备5所需的其它指令和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，包括：
采集驾驶员的人脸图像；
从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；
计算所述第一子图像的特征向量；
计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；
若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。
2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述采集驾驶员的人脸图像包括：
接收驾驶区域前方的摄像头采集的所述驾驶区域的图像；
将所述驾驶区域的图像由RGB空间转换到YCbCr空间，得到转换后的驾驶区域图像；
在所述转换后的驾驶区域图像中将满足预设的肤色判定条件的像素点确定为肤色像素点，并构造由各个肤色像素点组成的肤色像素点集合；
统计所述肤色像素点集合中肤色像素点的数目，并计算所述肤色像素点集合的分散度；
若所述肤色像素点集合中肤色像素点的数目大于预设的数目阈值，且所述肤色像素点集合的分散度小于预设的分散度阈值，则将所述肤色像素点集合所覆盖的区域确定为人脸图像区域；
提取所述人脸图像区域中的图像，并将所述人脸图像区域中的图像确定为所述驾驶员的人脸图像。
3.根据权利要求2所述的疲劳驾驶检测方法，其特征在于，所述计算所述肤色像素点集合的分散度包括：
根据下式计算所述肤色像素点集合的分散度：
其中，n为所述肤色像素点集合中肤色像素点的序号，1≤n≤N，N为所述肤色像素点集合中肤色像素点的数目，SkinPixXn为所述肤色像素点集合中第n个肤色像素点的横坐标，SkinPixYn为所述肤色像素点集合中第n个肤色像素点的纵坐标，DisperDeg为所述肤色像素点集合的分散度。
4.根据权利要求3所述的疲劳驾驶检测方法，其特征在于，所述从所述驾驶员的人脸图像中提取出第一子图像包括：
将所述肤色像素点集合划分为左侧肤色像素点子集和右侧肤色像素点子集，其中，所述左侧肤色像素点子集中的像素点均满足：
所述右侧肤色像素点子集中的像素点均满足：
ln为所述左侧肤色像素点子集中的像素点的序号，1≤ln≤LN，LN为所述左侧肤色像素点子集中的像素点的总数目，LSkinPixXln为所述左侧肤色像素点子集中的第ln个像素点的横坐标，rn为所述右侧肤色像素点子集中的像素点的序号，1≤rn≤RN，RN为所述右侧肤色像素点子集中的像素点的总数目，RSkinPixXrn为所述右侧肤色像素点子集中的第rn个像素点的横坐标；
根据下式分别计算左眼的中心位置的横坐标以及右眼的中心位置的横坐标：
其中，LeftEyeX为左眼的中心位置的横坐标，RightEyeX为右眼的中心位置的横坐标；
从所述肤色像素点集合划分出上侧肤色像素点子集，其中，所述左侧肤色像素点子集中的像素点均满足：
tn为所述上侧肤色像素点子集中的像素点的序号，1≤tn≤TN，TN为所述上侧肤色像素点子集中的像素点的总数目，TopSkinPixYtn为所述上侧肤色像素点子集中的第tn个像素点的纵坐标；
根据下式分别计算左眼的中心位置的纵坐标以及右眼的中心位置的纵坐标：
其中，LeftEyeY为左眼的中心位置的纵坐标，RightEyeY为右眼的中心位置的纵坐标；
根据左眼的中心位置、右眼的中心位置、预设的眼睛区域高度和预设的眼睛区域宽度确定眼睛所在区域，并将从所述眼睛所在区域提取出的图像作为所述第一子图像。
5.根据权利要求1至4中任一项所述的疲劳驾驶检测方法，其特征在于，所述计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度包括：
根据下式计算所述第一子图像的特征向量与所述基准向量之间的向量相似度：
其中，所述第一子图像的特征向量为X＝(x1,x2,...,xd,...,xDim)，所述基准向量为Y＝(y1,y2,...,yd,...,yDim)，d为向量的维度序号，1≤d≤Dim，Dim为所述第一子图像的特征向量或所述基准向量的维度数目，xd为所述第一子图像的特征向量在第d个维度上的分量，yd为所述基准向量在第d个维度上的分量，SimDeg为所述第一子图像的特征向量与所述基准向量之间的向量相似度。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的疲劳驾驶检测方法的步骤。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
采集驾驶员的人脸图像；
从所述驾驶员的人脸图像中提取出第一子图像，所述第一子图像为所述驾驶员的眼睛所在区域的图像；
计算所述第一子图像的特征向量；
计算所述第一子图像的特征向量与预设的基准向量之间的向量相似度，所述基准向量为处于疲劳状态的眼睛图像的特征向量；
若所述第一子图像的特征向量与所述基准向量之间的向量相似度大于预设的相似度阈值，则确定所述驾驶员处于疲劳驾驶状态。
8.根据权利要求7所述的终端设备，其特征在于，所述采集驾驶员的人脸图像包括：
接收驾驶区域前方的摄像头采集的所述驾驶区域的图像；
将所述驾驶区域的图像由RGB空间转换到YCbCr空间，得到转换后的驾驶区域图像；
在所述转换后的驾驶区域图像中将满足预设的肤色判定条件的像素点确定为肤色像素点，并构造由各个肤色像素点组成的肤色像素点集合；
统计所述肤色像素点集合中肤色像素点的数目，并计算所述肤色像素点集合的分散度；
若所述肤色像素点集合中肤色像素点的数目大于预设的数目阈值，且所述肤色像素点集合的分散度小于预设的分散度阈值，则将所述肤色像素点集合所覆盖的区域确定为人脸图像区域；
提取所述人脸图像区域中的图像，并将所述人脸图像区域中的图像确定为所述驾驶员的人脸图像。
9.根据权利要求8所述的终端设备，其特征在于，所述计算所述肤色像素点集合的分散度包括：
根据下式计算所述肤色像素点集合的分散度：
其中，n为所述肤色像素点集合中肤色像素点的序号，1≤n≤N，N为所述肤色像素点集合中肤色像素点的数目，SkinPixXn为所述肤色像素点集合中第n个肤色像素点的横坐标，SkinPixYn为所述肤色像素点集合中第n个肤色像素点的纵坐标，DisperDeg为所述肤色像素点集合的分散度。
10.根据权利要求9所述的终端设备，其特征在于，所述从所述驾驶员的人脸图像中提取出第一子图像包括：
将所述肤色像素点集合划分为左侧肤色像素点子集和右侧肤色像素点子集，其中，所述左侧肤色像素点子集中的像素点均满足：
所述右侧肤色像素点子集中的像素点均满足：
ln为所述左侧肤色像素点子集中的像素点的序号，1≤ln≤LN，LN为所述左侧肤色像素点子集中的像素点的总数目，LSkinPixXln为所述左侧肤色像素点子集中的第ln个像素点的横坐标，rn为所述右侧肤色像素点子集中的像素点的序号，1≤rn≤RN，RN为所述右侧肤色像素点子集中的像素点的总数目，RSkinPixXrn为所述右侧肤色像素点子集中的第rn个像素点的横坐标；
根据下式分别计算左眼的中心位置的横坐标以及右眼的中心位置的横坐标：
其中，LeftEyeX为左眼的中心位置的横坐标，RightEyeX为右眼的中心位置的横坐标；
从所述肤色像素点集合划分出上侧肤色像素点子集，其中，所述左侧肤色像素点子集中的像素点均满足：
tn为所述上侧肤色像素点子集中的像素点的序号，1≤tn≤TN，TN为所述上侧肤色像素点子集中的像素点的总数目，TopSkinPixYtn为所述上侧肤色像素点子集中的第tn个像素点的纵坐标；
根据下式分别计算左眼的中心位置的纵坐标以及右眼的中心位置的纵坐标：
其中，LeftEyeY为左眼的中心位置的纵坐标，RightEyeY为右眼的中心位置的纵坐标；
根据左眼的中心位置、右眼的中心位置、预设的眼睛区域高度和预设的眼睛区域宽度确定眼睛所在区域，并将从所述眼睛所在区域提取出的图像作为所述第一子图像。
CN201810921792.4A 2018-08-14 2018-08-14 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备 Pending CN109190515A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810921792.4A CN109190515A (zh) 2018-08-14 2018-08-14 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备
PCT/CN2018/123790 WO2020034541A1 (zh) 2018-08-14 2018-12-26 一种疲劳驾驶检测方法、可读存储介质、终端设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810921792.4A CN109190515A (zh) 2018-08-14 2018-08-14 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN109190515A true CN109190515A (zh) 2019-01-11

Family

ID=64921459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810921792.4A Pending CN109190515A (zh) 2018-08-14 2018-08-14 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备

Country Status (2)

Country Link
CN (1) CN109190515A (zh)
WO (1) WO2020034541A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858403A (zh) * 2019-01-16 2019-06-07 深圳壹账通智能科技有限公司 一种监测司机开车使用手机的方法及摄像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI741892B (zh) * 2020-12-01 2021-10-01 咸瑞科技股份有限公司 車內駕駛監測系統
CN113591533A (zh) * 2021-04-27 2021-11-02 浙江工业大学之江学院 基于道路监控的防疲劳驾驶方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130961A1 (en) * 2004-11-12 2008-06-05 Koichi Kinoshita Face Feature Point Detection Apparatus and Feature Point Detection Apparatus
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置
CN106096575A (zh) * 2016-06-24 2016-11-09 苏州大学 一种行车状态监测方法及***
CN107578008A (zh) * 2017-09-02 2018-01-12 吉林大学 基于分块特征矩阵算法和svm的疲劳状态检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226690B (zh) * 2012-01-30 2016-03-02 展讯通信（上海）有限公司 检测红眼的方法及装置、去除红眼的方法及装置
CN104013414B (zh) * 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
CN104809445B (zh) * 2015-05-07 2017-12-19 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN106485191B (zh) * 2015-09-02 2018-12-11 腾讯科技（深圳）有限公司 一种驾驶员疲劳状态检测方法及***
CN105354985B (zh) * 2015-11-04 2018-01-12 中国科学院上海高等研究院 疲劳驾驶监控装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130961A1 (en) * 2004-11-12 2008-06-05 Koichi Kinoshita Face Feature Point Detection Apparatus and Feature Point Detection Apparatus
CN104346621A (zh) * 2013-07-30 2015-02-11 展讯通信(天津)有限公司 创建眼睛模板及检测眼睛状态的方法与装置
CN106096575A (zh) * 2016-06-24 2016-11-09 苏州大学 一种行车状态监测方法及***
CN107578008A (zh) * 2017-09-02 2018-01-12 吉林大学 基于分块特征矩阵算法和svm的疲劳状态检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858403A (zh) * 2019-01-16 2019-06-07 深圳壹账通智能科技有限公司 一种监测司机开车使用手机的方法及摄像装置

Also Published As

Publication number Publication date
WO2020034541A1 (zh) 2020-02-20

Similar Documents

Publication Publication Date Title
CN107862247B (zh) 一种人脸活体检测方法及终端设备
CN111488756B (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN110084135B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN105354530B (zh) 一种车身颜色识别方法及装置
CN109635818A (zh) ***防伪检验方法、装置及计算机可读存储介质
CN111597870B (zh) 一种基于注意力机制与多任务学习的人体属性识别方法
CN106384095B (zh) 基于手机拍摄图像的轿车故障指示灯识别方法
CN106845328B (zh) 一种基于双摄像头的智能人脸识别方法及***
CN109190515A (zh) 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备
CN108416336A (zh) 一种智慧社区人脸识别的方法和***
CN103544484A (zh) 一种基于surf的交通标志识别方法及***
CN105354554A (zh) 基于颜色和奇异值特征的人脸活体检测方法
CN109636825A (zh) ***图形分割方法、装置及计算机可读存储介质
CN107506738A (zh) 特征提取方法、图像识别方法、装置及电子设备
CN109871751A (zh) 基于人脸表情识别的服务态度评估方法、装置及存储介质
CN110287787A (zh) 图像识别方法、装置及计算机可读存储介质
CN110598574A (zh) 智能人脸监控识别方法及***
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN108230536A (zh) 一种对光可变防伪标识识别方法及装置
CN109389111A (zh) 图像采集处理方法、装置及计算机可读存储介质
CN111832464A (zh) 一种基于近红外摄像头的活体检测方法及装置
Chin et al. Facial skin image classification system using Convolutional Neural Networks deep learning algorithm
CN111582045A (zh) 一种活体的检测方法、装置以及电子设备
CN110427828A (zh) 人脸活体检测方法、装置及计算机可读存储介质
CN109753912A (zh) 一种基于张量的多光谱掌纹匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190111

WD01 Invention patent application deemed withdrawn after publication