CN109101881B - 一种基于多尺度时序图像的实时眨眼检测方法 - Google Patents

一种基于多尺度时序图像的实时眨眼检测方法 Download PDF

Info

Publication number
CN109101881B
CN109101881B CN201810743856.6A CN201810743856A CN109101881B CN 109101881 B CN109101881 B CN 109101881B CN 201810743856 A CN201810743856 A CN 201810743856A CN 109101881 B CN109101881 B CN 109101881B
Authority
CN
China
Prior art keywords
human eye
image
time sequence
eyes
tracker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810743856.6A
Other languages
English (en)
Other versions
CN109101881A (zh
Inventor
肖阳
胡桂雷
曹治国
孟璐斌
熊拂
张博深
姜文祥
王焱乘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810743856.6A priority Critical patent/CN109101881B/zh
Publication of CN109101881A publication Critical patent/CN109101881A/zh
Application granted granted Critical
Publication of CN109101881B publication Critical patent/CN109101881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度时序图像的实时眨眼检测方法，包括：对时序图像中的第一帧图像进行定位得到双眼位置；利用其从第一帧图像中提取人眼图像，得到人眼模板；利用人眼模板初始化人眼追踪器，利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，并更新人眼追踪器，提取处理后的时序人眼图像的人工描述子，再提取人工描述子的differ特征，并将其和人工描述子串接，得到人眼特征。将人眼特征按照时序编码成眨眼行为特征热图；再将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；最后将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像是否含有眨眼行为。本发明提高了无约束条件下眨眼检测的正确率和稳定性。

Description

一种基于多尺度时序图像的实时眨眼检测方法
技术领域
本发明属于数字图像识别技术领域，更具体地，涉及一种基于多尺度时序图像的实时眨眼检测方法。
背景技术
随着各种智能化的应用设备的普及，通过观测人的眨眼行为来反应目标当前状态应成为一种良好的人际交互方式，所以无论是活体验证，疲劳驾驶检测，测谎等情形都对其有着很大的需求。
目前的主要的眨眼检测算法主要分为以下两种：一种是提取单帧传统特征(LBP，HOG等)，然后利用分类器(SVM，Adboost等)进行训练，得出判定当前眼睛的睁闭状态；另一种就是基于某种启发式规则进行眨眼检测，如hough变换检测瞳孔等。
上述方法存在以下不足之处，对于第一种方法，由于眨眼是一种时序行为，单张图片的特征判断眼睛状态并不能解释这一行为，同时单张图片的检测算法在自然条件下成功率低，鲁棒性差。另一种算法是基于某些启发式规则进行的眨眼检测，这种算法在无约束条件下存在模型能力不足，极易误判，并且如检测连通域中心变化等规则在自然条件下会出现规则崩溃，无法检测的现象。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多尺度时序图像的实时眨眼检测方法，其目的在于通过引入多帧时序图像中的时序信息，同时对图像提取人工描述子，编码得到眨眼行为特征图，再考虑不同时序尺度，以提高自然条件下眨眼检测的正确率和稳定性。由此解决现有技术存在正确率低和稳定性差的技术问题。
为实现上述目的，本发明提供了一种基于多尺度时序图像的实时眨眼检测方法，包括：
(1)建立包含人眼的时序图像的数据库，对数据库中时序图像的第一帧图像进行定位得到双眼位置；
(2)利用双眼位置从第一帧图像中提取人眼图像，得到人眼模板；
(3)利用人眼模板初始化人眼追踪器，利用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像并更新人眼追踪器；
(4)利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，对时序人眼图像依次进行灰度化处理和图像均衡化处理，得到处理后的时序人眼图像；
(5)提取处理后的时序人眼图像的人工描述子，提取人工描述子的differ特征，再将differ特征和人工描述子串接，得到人眼特征，之后将人眼特征按照时序信息编码成一张眨眼行为特征热图；
(6)将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；
(7)将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像中是否包含眨眼行为。
进一步地，步骤(1)包括：
利用包含人眼的视频数据库建立包含人眼的时序图像的数据库，利用人脸对齐算法对数据库中时序图像的第一帧图像进行定位得到双眼位置。
进一步地，步骤(2)包括：
(2-1)利用双眼位置，得到双眼之间的距离，基于双眼之间的距离确定人眼区域的宽高，得到人眼区域；
(2-2)根据人眼区域，从第一帧图像中提取人眼图像，对人眼图像进行灰度化处理后依据人眼图像的大小，判断是否将人眼图像缩小K倍，K≥0，最后将得到的人眼图像作为人眼模板。
进一步地，步骤(3)包括：
(3-1)利用人眼模板初始化人眼追踪器；
(3-2)使用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像，获得后续帧图像的人眼位置Pos，并反馈每次追踪的置信度C；
(3-3)设置追踪分数阈值T，若C＞T，利用人眼位置Pos提取出新的人眼图像，得到新的人眼模板，若C≤T，则执行步骤(1)；
(3-4)将新的人眼模板初始化后的追踪器和初始化后的人眼追踪器加权融合，更新人眼追踪器。
进一步地，differ特征为：将处理后的时序人眼图像提取的每帧人工描述子都与前一帧人工描述子对应位相减得到的差值特征。
进一步地，步骤(6)包括：
(6-1)建立一个n个cell的LSTM网络，每个cell含有h个隐藏层，LSTM网络的输入不使用消除过拟合的dropout技术，LSTM网络的细胞间传递的细胞状态使用幅度为d的dropout技术，d＜1；
(6-2)利用含有标签的样本热图训练LSTM网络，得到多个样本隐藏状态，将多个样本隐藏状态进行串接得到样本多尺度时序特征后训练sphereface模型，得到sphereface模型的参数和训练好的LSTM网络；
(6-3)将眨眼行为特征热图按行逐条输入训练好的LSTM网络，得到多个隐藏状态。
进一步地，步骤(7)包括：
将多个隐藏状态进行串接得到多尺度时序特征后输入sphereface模型进行眨眼检测，判断时序图像是否包含眨眼行为。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)首先本发明实现了实时运算，再者将将differ特征和人工描述子串接，得到人眼特征，具有更强的语义信息；其次，将眨眼行为编码成眨眼行为特征热图，更有利于直观观察与图像领域算法的处理，最后，利用LSTM网络，得到多个隐藏状态，适应不同人眨眼速度不同的问题。使得本发明相较于传统的眨眼检测算法在无约束条件下的时序眨眼数据库中，在速度和准确度上均具有更好的表现。
(2)眨眼是一种基于时序的行为，时序信息的引入对于识别眨眼的本质特征有着重要意义，基于现有技术没有基于时序信息建立的眨眼数据库，本发明利用包含人眼的视频数据库建立包含人眼的时序图像数据库。定位算法能力较为准确的确定出人眼的位置，由于处于初始化的步骤中，其耗时的问题并不会影响程序的实时性。本发明基于定位算法得到的比较准确的人眼图像，初始化后的人眼追踪器能够较为准确且快速的追踪人眼区域，保证了程序在实时性和定位准确性上都能得到满意的结果。
(3)本发明利用图像均衡化处理能够在一定程度上减少因为光照强度不同带来的影响，增强程序的鲁棒性。由于程序受环境，定位准确性等因素的影响，不可避免会引入噪声，本发明使用差分机构能在一定程度上削弱低频噪声。LSTM在提取时序样本的时序信息上有着很大的优势，能够很好的提取时序样本中的时序信息。
附图说明
图1是本发明实施例提供的一种基于多尺度时序图像的实时眨眼检测方法的流程图；
图2(a)是本发明实施例1提供的有眨眼行为的时序图像的示意图；
图2(b)是本发明实施例1提供的无眨眼行为的时序图像的示意图；
图3是本发明实施例1提供的眨眼检测方法的流程示意图；
图4是本发明实施例1提供的获取人眼特征的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种基于多尺度时序图像的实时眨眼检测方法，包括：
(1)利用包含人眼的视频数据库建立包含人眼的时序图像的数据库，利用人脸对齐算法对数据库中时序图像的第一帧图像进行定位得到双眼位置。
(2)利用双眼位置，得到双眼之间的距离，基于双眼之间的距离确定人眼区域的宽高，得到人眼区域；根据人眼区域，从第一帧图像中提取人眼图像，对人眼图像进行灰度化处理后依据人眼图像的大小，判断是否将人眼图像缩小K倍，K≥0，最后将得到的人眼图像作为人眼模板。
(3)利用人眼模板初始化人眼追踪器；使用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像，获得后续帧图像的人眼位置Pos，并反馈每次追踪的置信度C；设置追踪分数阈值T，若C＞T，利用人眼位置Pos提取出新的人眼图像，得到新的人眼模板，若C≤T，则执行步骤(1)；将新的人眼模板初始化后的追踪器和初始化后的人眼追踪器加权融合，更新人眼追踪器。
(4)利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，对时序人眼图像依次进行灰度化处理和图像均衡化处理，得到处理后的时序人眼图像；
(5)提取处理后的时序人眼图像的人工描述子，提取人工描述子的differ特征，再将differ特征和人工描述子串接，得到人眼特征，之后将人眼特征按照时序信息编码成一张眨眼行为特征热图；differ特征为：将处理后的时序人眼图像提取的每帧人工描述子都与前一帧人工描述子对应位相减得到的差值特征。
(6)建立一个n个cell的LSTM网络，每个cell含有h个隐藏层，LSTM网络的输入不使用消除过拟合的dropout技术，LSTM网络的节点间传递的细胞状态使用幅度为d的dropout技术，d＜1；利用含有标签的样本热图训练LSTM网络，得到多个样本隐藏状态，将多个样本隐藏状态串接得到样本多尺度时序特征后训练sphereface模型，得到sphereface模型的参数和训练好的LSTM网络；将眨眼行为特征热图按行逐条输入训练好的LSTM网络，得到多个隐藏状态。
(7)将多个隐藏状态串接得到多尺度时序特征后输入sphereface模型进行眨眼检测，判断时序图像是否包含眨眼行为。
实施例1
步骤1，利用包含人眼的视频数据库建立包含人眼的时序图像的数据库，利用人脸对齐算法对数据库中时序图像的第一帧图像进行定位得到双眼位置，包括以下几个步骤：
(1-1)建立自然条件下包含人眼的视频数据库，视频数据库含有200多个帧长度不等的包含人眼的时序图像，利用包含人眼的视频数据库建立图2(a)所示的有眨眼行为的时序图像和图2(b)所示的无眨眼行为的时序图像；
本发明实施例中利用包含人眼的视频数据库建立370多个自然条件下和400个左右室内的包含人眼的时序图像；
(1-2)如图3所示，数据库图像即为包含人眼的时序图像，利用人脸对齐算法对时序图像中的第一帧图像进行定位得到双眼位置。
步骤2，制成追踪算法的初模板，包括以下子步骤：
(2-1)利用双眼位置，得到双眼之间的距离，基于双眼之间的距离确定人眼区域的宽和高，如下：
Figure BDA0001722780620000071
其中，
Figure BDA0001722780620000072
表示右眼的x坐标，
Figure BDA0001722780620000073
表示左眼的x坐标，
Figure BDA0001722780620000074
表示右眼的y坐标，
Figure BDA0001722780620000075
表示左眼的y坐标，width表示眼睛区域的宽，height表示眼睛区域的高，以双眼位置为中心，依据眼睛区域的宽和高确定人眼区域；
(2-2)根据人眼区域，提取出人眼图像并进行灰度化处理，
K＝0.2989×R+0.5870×G+0.1140×B
其中，K是灰度图像，R，G，B为人眼图像的三个通道；
(2-3)依据人眼图像的大小，判断是否将人眼图像调整成原来的0.7倍，最后将调整后人眼图像作为人眼模板。
步骤3，利用人眼模板，结合KCF(Kernel Correlation Filter)算法，进行实时追踪并更新追踪器，包括以下子步骤：
(3-1)将人眼模板输入人眼追踪器，利用人眼模板初始化人眼追踪器：
tracker＝init(image)
其中，tracker是初始化后获得的人眼追踪器，image是初始化使用的人眼模板；
(3-2)使用初始化后的人眼追踪器tracker追踪后续帧图像，获得人眼位置Pos，并反馈每次追踪的置信度C：
[Pos，C]＝tracker(image0_c)
其中，image0是后续帧图像，Pos为该图像对应的人眼的位置，C为其置信度；
(3-3)设置追踪分数阈值0.35，若C＞0.35，利用人眼位置Pos提取出新的人眼图像，得到新的人眼模板，若C≤0.35，则执行步骤(1)；
(3-4)将新的人眼模板初始化后的追踪器和初始化后的人眼追踪器加权融合，更新人眼追踪器：
Figure BDA0001722780620000081
其中，image是当前帧图像，tracker_new为新的人眼模板初始化后的追踪器，image_next为下一帧待测图像，Pos为下一帧待测图像对应的定位结果。
步骤4，提取人眼图片进行预处理，包括以下几个步骤：
(4-1)对于时序图像，利用更新后的人眼追踪器追踪时序图像，获得每帧图像中的人眼图像，将其按时序排列，组成时序人眼图像E1，E2，...En。
E＝image(Pos)
其中，image是当前帧图像，E为提取出的人眼图像；
(4-2)对于时序人眼图像中的每帧图像Ei(i＝1，2，...n)，首先进行灰度化处理，再利用直方图均衡化算法处理灰度化，获得处理后的时序人眼图像
Figure BDA0001722780620000082
Epro＝histgram(rgb2gray(E))
其中，E是当前人眼图像，Epro为处理后的时序人眼图像。
步骤5，提取处理后的时序人眼图像的人工描述子，编码成眨眼行为特征热图：
(5-1)对于时序人眼图像
Figure BDA0001722780620000083
采取LBP(Local Binary Pattern)特征，提取每帧图像的LBP特征，得到该帧图像的LBP特征图
Figure BDA0001722780620000084
Figure BDA0001722780620000085
其中，(xc，yc)是中心坐标点，p是邻域的第p个像素，ip为邻域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数，如下：
Figure BDA0001722780620000086
(5-2)对于得出的LBP特征图
Figure BDA0001722780620000091
将其每个像素先二值化得到一个二值化长串数据：
S＝{Sxy[b1，b2，...b8]{bi＝0 or 1(i＝1，2，..8)}}。
其中Sxy表示
Figure BDA0001722780620000092
中坐标为(x，y)处的二进制数值；
(5-3)对于S中的每个Sxy，首先统计该长串中没有跳变的序列，即全0或是全1序列，分为2类；
(5-3)对于S中的每个Sxy，再统计该长串中只有一次(0→1 or 1→0)的跳变序列，按照发生在序列中的第p个位置，将这些序列分为14类；
(5-4)之后统计S中发生两次跳变的序列Sxy，找第1，2次跳变位置的不同，再将这些序列分为42类；
(5-5)将剩下的特征归入最后1类，对所有同一类的序列标注同一数值，则将LBP特征替换为维度为59的uniform-LBP特征；
(5-6)将第n帧的uniform-LBP特征(即为人工描述子)都与前一帧的uniform-LBP特征对应位相减，得到差值特征(differ特征)，再将differ特征串接在第n帧的uniform-LBP特征后面，得到第n帧的LBP-differ特征(人眼特征)；
LBP_differi＝[uniform_LBPi，(uniform_LBPi⊙uniform_LBPi-1)]
其中：
Figure BDA0001722780620000093
具体地，如图4所示，提取Frame1和Frame2的uniform-LBP特征，将Frame2的uniform-LBP特征与Framel的uniform-LBP特征对应位相减，得到Frame2的differ特征，再将Frame2的differ特征串接在Frame2的uniform-LBP特征后面，得到Frame2的LBP-differ特征。
(5-7)将n帧人眼特征按时序拼接为一张9*118的眨眼行为特征热图map：
map＝[LBP_differ1；LBP_differ2；...；LBP_differn]
步骤6，LSTM处理眨眼行为特征热图，得出结果，包括以下几个步骤：
(6-1)建立一个9个cell的LSTM网络，每个cell含有2个隐藏层，隐藏层为128个，网络的输入不使用dropout，节点间传递的细胞状态使用幅度为0.5的dropout；
(6-2)将9*118的眨眼行为特征热图依据其代表的时序，按行依次作为训练好的LSTM神经网络的输入，得到多个隐藏状态。
步骤7，将多个隐藏状态串接得到多尺度时序特征后输入sphereface模型进行眨眼检测，判断时序图像是否包含眨眼行为，包括以下几个步骤：
(7-1)取出LSTM网络后2个隐藏层的128维输出隐藏状态Oi(i＝1，2，...n)，对其按时序进行串接：
Ocomb＝[On-1，On]
其中Ocomb为LSTM网络的256维多时间尺度输出，Oi为第i个cell的输出；
(7-2)将Ocomb作为训练好参数的sphereface模型输入，计算得出结果res[res1，res2]；利用：
state＝argmax(res)
其中，state为最终结果，0表示时序图像未眨眼，1表示时序图像发生眨眼行为，argmax函数的表示形式为：
Figure BDA0001722780620000101
sphereface模型采用的是A-softmax类的损失函数，具体如下：
Figure BDA0001722780620000102
其中，i函数表示第1表示第i类，数的表示形式为：1表示该图像序列发生眨眼行为，
Figure BDA0001722780620000112
表示yi，wi之间的夹角，
Figure BDA0001722780620000111
首先本发明实现了实时运算，再者将differ特征和人工描述子串接，得到人眼特征，具有更强的语义信息；其次，将眨眼行为编码成眨眼行为特征热图，更有利于直观观察与图像领域算法的处理，最后，利用LSTM网络，得到多个隐藏状态，将其串接为多尺度时序特征进行训练能够适应不同人眨眼速度不同的问题。使得本发明相较于传统的眨眼检测算法在无约束条件下的时序眨眼数据库中，在速度和准确度上均具有更好的表现。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，包括：
(1)建立包含人眼的时序图像的数据库，对数据库中时序图像的第一帧图像进行定位得到双眼位置；
(2)利用双眼位置从第一帧图像中提取人眼图像，得到人眼模板；
(3)利用人眼模板初始化人眼追踪器，利用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像并更新人眼追踪器；
(4)利用更新后的人眼追踪器追踪时序图像，得到时序人眼图像，对时序人眼图像依次进行灰度化处理和图像均衡化处理，得到处理后的时序人眼图像；
(5)提取处理后的时序人眼图像的人工描述子，提取人工描述子的differ特征，将differ特征和人工描述子串接，得到人眼特征，将人眼特征按照时序信息编码成一张眨眼行为特征热图；
(6)将眨眼行为特征热图按行逐条输入LSTM网络，得到多个隐藏状态；
(7)将多个隐藏状态进行串接得到多尺度时序特征后进行眨眼检测，判断时序图像是否包含眨眼行为；
所述differ特征为：将处理后的时序人眼图像提取的每帧人工描述子都与前一帧人工描述子对应位相减得到的差值特征。
2.如权利要求1所述的一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，所述步骤(1)包括：
利用包含人眼的视频数据库建立包含人眼的时序图像的数据库，利用人脸对齐算法对数据库中时序图像的第一帧图像进行定位得到双眼位置。
3.如权利要求1或2所述的一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，所述步骤(2)包括：
(2-1)利用双眼位置，得到双眼之间的距离，基于双眼之间的距离确定人眼区域的宽高，得到人眼区域；
(2-2)根据人眼区域，从第一帧图像中提取人眼图像，对人眼图像进行灰度化处理后，依据人眼图像的大小，判断是否将人眼图像缩小K倍，K≥0，最后将得到的人眼图像作为人眼模板。
4.如权利要求1或2所述的一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，所述步骤(3)包括：
(3-1)利用人眼模板初始化人眼追踪器；
(3-2)使用初始化后的人眼追踪器追踪时序图像中的第一帧图像的后续帧图像，获得后续帧图像的人眼位置Pos，并反馈每次追踪的置信度C；
(3-3)设置追踪分数阈值T，若C＞T，利用人眼位置Pos提取出新的人眼图像，得到新的人眼模板，若C≤T，则执行步骤(1)；
(3-4)将新的人眼模板初始化后的追踪器和初始化后的人眼追踪器加权融合，更新人眼追踪器。
5.如权利要求1或2所述的一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，所述步骤(6)包括：
(6-1)建立一个n个cell的LSTM网络，每个cell含有h个隐藏层，LSTM网络的输入不使用消除过拟合的dropout技术,LSTM网络的细胞间传递的细胞状态使用幅度为d的dropout技术，d＜1；
(6-2)利用含有标签的样本热图训练LSTM网络，得到多个样本隐藏状态，将多个样本隐藏状态按照时序进行串接后得到样本多尺度时序特征，训练sphereface模型，得到sphereface模型的参数和训练好的LSTM网络；
(6-3)将眨眼行为特征热图按行逐条输入训练好的LSTM网络，得到多个隐藏状态。
6.如权利要求5所述的一种基于多尺度时序图像的实时眨眼检测方法，其特征在于，所述步骤(7)包括：
将多个隐藏状态按照时序进行串接后得到的多尺度时序特征输入sphereface模型进行眨眼检测，判断时序图像是否包含眨眼行为。
CN201810743856.6A 2018-07-06 2018-07-06 一种基于多尺度时序图像的实时眨眼检测方法 Active CN109101881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810743856.6A CN109101881B (zh) 2018-07-06 2018-07-06 一种基于多尺度时序图像的实时眨眼检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810743856.6A CN109101881B (zh) 2018-07-06 2018-07-06 一种基于多尺度时序图像的实时眨眼检测方法

Publications (2)

Publication Number Publication Date
CN109101881A CN109101881A (zh) 2018-12-28
CN109101881B true CN109101881B (zh) 2021-08-20

Family

ID=64845821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810743856.6A Active CN109101881B (zh) 2018-07-06 2018-07-06 一种基于多尺度时序图像的实时眨眼检测方法

Country Status (1)

Country Link
CN (1) CN109101881B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738129B (zh) * 2019-09-20 2022-08-05 华中科技大学 一种基于r-c3d网络的端到端视频时序行为检测方法
CN110969109B (zh) * 2019-11-26 2023-04-18 华中科技大学 一种非受限条件下眨眼检测模型及其构建方法和应用
CN112183215A (zh) * 2020-09-02 2021-01-05 重庆利龙科技产业(集团)有限公司 一种结合多特征级联svm与人眼模板的人眼定位方法及***
CN117152025B (zh) * 2023-10-30 2024-03-01 硕橙（厦门）科技有限公司 基于复合尺度特征的过亮图像增强方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096544A (zh) * 2016-06-02 2016-11-09 安徽大学 基于二阶盲辨识的非接触式眨眼与心率联合检测***及方法
CN107992794A (zh) * 2016-12-30 2018-05-04 腾讯科技（深圳）有限公司 一种活体检测方法、装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4898532B2 (ja) * 2007-04-13 2012-03-14 富士フイルム株式会社 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096544A (zh) * 2016-06-02 2016-11-09 安徽大学 基于二阶盲辨识的非接触式眨眼与心率联合检测***及方法
CN107992794A (zh) * 2016-12-30 2018-05-04 腾讯科技（深圳）有限公司 一种活体检测方法、装置和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Eye Blink Detection》;Andreij Fogelton;《Information Sciences and Technologies Bulletin of the ACM Slovakia 》;20180630;全文 *
《眨眼检测与眼睛跟踪》;刘瑞安 等;《计算机应用》;20061231;第26卷(第12期);全文 *

Also Published As

Publication number Publication date
CN109101881A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
Jain et al. Hybrid deep neural networks for face emotion recognition
Lin et al. Improving person re-identification by attribute and identity learning
CN109101881B (zh) 一种基于多尺度时序图像的实时眨眼检测方法
US20200285896A1 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN111339990B (zh) 一种基于人脸特征动态更新的人脸识别***和方法
Shivashankara et al. American sign language recognition system: an optimal approach
Chen et al. Face-mask recognition for fraud prevention using Gaussian mixture model
CN106951867A (zh) 基于卷积神经网络的人脸识别方法、装置、***及设备
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
Zhang et al. Physiognomy: Personality traits prediction by learning
CN108961358B (zh) 一种获得样本图片的方法、装置及电子设备
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
CN109034090A (zh) 一种基于肢体动作的情感识别***及方法
CN114662497A (zh) 一种基于协同神经网络的虚假新闻检测方法
CN111291863A (zh) 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备
TW202147156A (zh) 對象再識別方法、儲存介質及電腦設備
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
CN112733764A (zh) 一种基于多模态识别视频情感信息的方法
Younis et al. A new parallel bat algorithm for musical note recognition.
CN114596605A (zh) 一种多特征融合的表情识别方法
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
Huang et al. Meta clothing status calibration for long-term person re-identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant