CN111898454A - 权重二值化神经网络与迁移学习人眼状态检测方法及设备 - Google Patents

权重二值化神经网络与迁移学习人眼状态检测方法及设备 Download PDF

Info

Publication number
CN111898454A
CN111898454A CN202010624577.5A CN202010624577A CN111898454A CN 111898454 A CN111898454 A CN 111898454A CN 202010624577 A CN202010624577 A CN 202010624577A CN 111898454 A CN111898454 A CN 111898454A
Authority
CN
China
Prior art keywords
neural network
human eye
network model
predicted
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010624577.5A
Other languages
English (en)
Inventor
刘振焘
吴敏
曹卫华
蒋承汕
李锶涵
郝曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202010624577.5A priority Critical patent/CN111898454A/zh
Publication of CN111898454A publication Critical patent/CN111898454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种权重二值化神经网络与迁移学习人眼状态检测方法及设备，方法包括以下：采集人眼图像并进行预处理；构建基于权重二值化的人眼定位卷积神经网络模型，预测得到双目坐标；以双目坐标为中心构建一个边界框；构建基于权重二值化的人眼检测卷积神经网络模型，采用迁移学习，利用人脸数据库和人眼数据库完成基于权重二值化的人眼检测卷积神经网络模型的训练；将边界框作为基于权重二值化的人眼检测卷积神经网络模型的输入，完成人眼状态检测；本发明提供的有益效果是：减小甚至克服头部姿态的不确定性、外部环境光照、复杂背景条件下的干扰、遮挡对人眼识别带来的影响，提高人眼识别的鲁棒性。

Description

权重二值化神经网络与迁移学习人眼状态检测方法及设备
技术领域
本发明涉及图像处理领域，尤其涉及一种权重二值化神经网络与迁移学习人眼状态检测方法及设备。
背景技术
目前人眼状态检测的方法可以大致分成基于特征分析和基于模式分类的两类方法。基于特征分析的方法主要依靠眼睛的几何特征，如虹膜、瞳孔、眼睑形状或人眼宽高比来辨别眼睛的睁闭状态，或是根据眼睛图像中白色像素的比例判断。这类方法依赖精确的眼睛定位，很容易受到环境干扰导致判断错误。基于模式分类的检测方法首先提取眼睛区域的形状或者纹理特征，比如局部二值模式特征、方向梯度直方图特征、Haar特征以及Gabor小波特征等，然后通过支持向量机、Adaboost分类器或者神经网络等方法训练分类器来自动学习分类规则，以此判断眼睛的睁闭状态。
这些方法各有优势，但在实际应用中都易受到光照、脸部姿态、图像清晰度等因素的干扰。
发明内容
有鉴于此，本发明提供了权重二值化神经网络与迁移学习人眼状态检测方法，此方法能够极大程度上减小甚至克服头部姿态的不确定性、外部环境光照的影响、复杂背景条件下的干扰、遮挡的影响等问题，本发明提出的方法更具鲁棒性，能够更好的适应环境变化；方法包括以下流程：
S101：利用相机采集人脸RGB图像；
S102：对所述人脸RGB图像进行预处理，得到预处理后的人脸图像，并构建人眼定位的权重二值化卷积神经网络模型并利用人脸数据库训练所述人眼定位的权重二值化卷积神经网络模型；所述人眼定位的权重二值化卷积神经网络模型包括四个层级；第一层级结构包括三个卷积神经网络，分别为F1、LE1和RE1；第二层级结构包括五个卷积神经网络，分别为F2、LE21、LE22、RE21和RE22；第三层级结构包括三个卷积神经网络，分别为F3、LE3和RE3；第四层级结构包括两个卷积神经网络，分别为LE4和RE4；
S103：所述预处理后的人脸图像作为所述人眼定位的权重二值化卷积神经网络模型的输入，所述人眼定位的权重二值化卷积神经网络模型输出即为人眼的最终预测坐标，完成人眼定位；
S104：以所述人眼的最终预测坐标为中心，构建裁剪框对人眼区域进行裁剪获得最终提取的人眼图像；
S105：构建人眼状态检测的权重二值化的级联卷积神经网络模型，所述人眼状态检测的权重二值化的级联卷积神经网络模型包括六个卷积层、两个池化层和两个全连接层；
S106：利用人脸数据库和人眼状态数据库依次训练人眼状态检测的权重二值化的级联卷积神经网络模型，得到训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型；
S107：将步骤S104中所述的最终提取的人眼图像输入至所述训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型，得到人眼最终状态。
进一步地，步骤S102中，对所述人脸RGB图像进行预处理，得到预处理后的人脸图像具体为：将所述人脸RGB图像进行灰度变换，得到人脸灰度图像；对人脸灰度图像进行尺寸裁剪，分别得到人脸的左脸图像和右脸图像。
进一步地，步骤S103具体为：
S201：将所述人脸灰度图像输入至F1，得到F1预测的双目坐标；将所述左脸图像输入至LE1，得到LE1预测的左眼坐标；将所述右脸图像输入至RE1，得到RE1预测的右眼坐标；
S202：将所述F1预测的双目坐标、LE1预测的左眼坐标和RE1预测的右眼坐标对应相加，并除以2，得到所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标；
S203：以所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第一层级的F2的输入，得到F2预测的双目坐标；以所述LE1预测的左眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的LE21和LE22的输入，得到LE21和LE22预测的左眼坐标；以所述RE1预测的右眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的RE21和RE22的输入，得到RE21和RE22 预测的右眼坐标；
S204：将所述F2预测的双目坐标、LE21、LE22预测的左眼坐标和RE21、RE22 预测的右眼坐标对应相加，并除以3，得到所述人眼定位的权重二值化卷积神经网络模型第二层级最终预测的双目坐标；
S205：以第二层级最终预测的双目坐标为中心，构建一个边界框，作为第三层级F3的输入，得到第三层级F3预测的双目坐标；以LE21和LE22预测的左眼坐标之和除以2为中心构建一个边界框，作为第三层级LE3的输入，得到第三层级LE3预测的左眼坐标；以RE21和RE22预测的右眼坐标之和除以2为中心构建一个边界框，作为第三层级RE3的输入，得到第三层级RE3预测的右眼坐标；
S206：将第三层级F3预测的双目坐标、第三层级LE3预测的左眼坐标和第三层级RE4预测的右眼坐标对应相加，除以2，得到第三层级最终预测的双目坐标；
S207：以第三层级最终预测的双目坐标中的左眼坐标为中心，构建一个边界框，作为第四层级LE4的输入，得到第四层级LE4预测的左眼坐标；以第三层级最终预测的双目坐标中的右眼坐标为中心，构建一个边界框，作为第四层级RE4 的输入，得到第四层级RE4预测的右眼坐标；所述第四层级LE4预测的左眼坐标和所述第四层级RE4预测的右眼坐标共同构成所述人眼定位的权重二值化卷积神经网络模型输出的人眼的最终预测坐标。
进一步地，步骤S105中，构建人眼状态检测的权重二值化的级联卷积神经网络模型，具体为：所述人眼状态检测的权重二值化的级联卷积神经网络模型，包括两个，分别为主权重二值化的级联卷积神经网络模型和副权重二值化的级联卷积神经网络模型；所述主权重二值化的级联卷积神经网络模型和副权重二值化的级联卷积神经网络模型结构相同。
进一步地，步骤S106具体为：
S301：利用具有大量样本的人脸图像数据库对所述副权重二值化的级联卷积神经网络模型进行预训练，得到所述副权重二值化的级联卷积神经网络模型初始参数；
S302：通过迁移学习将所述副权重二值化级联卷积神经网络模型的初始参数传输到所述主权重二值化的级联卷积神经网络模型，得到具备初始参数的主权重二值化的级联卷积神经网络模型；
S303：利用标记好人眼状态的图像数据库对所述具备初始参数的主权重二值化的级联卷积神经网络模型再次训练，得到训练完成的主权重二值化的级联卷积神经网络模型；所述训练完成的主权重二值化的级联卷积神经网络模型即为训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型。
一种存储设备，所述存储设备存储指令及数据用于一种权重二值化神经网络与迁移学习人眼状态检测方法。
一种基于权重二值化卷积神经网络与迁移学习的人眼状态检测设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现一种权重二值化神经网络与迁移学习人眼状态检测方法。
本发明提供的有益效果是：减小甚至克服头部姿态的不确定性、外部环境光照、复杂背景条件下的干扰、遮挡对人眼识别带来的影响，提高人眼识别的鲁棒性。
附图说明
图1是本发明权重二值化神经网络与迁移学习人眼状态检测方法的流程示意图；
图2是本发明人眼定位的权重二值化卷积神经网络模型结构示意图；
图3是本发明人眼状态检测的权重二值化卷积神经网络结构示意图；
图4是本发明权重二值化卷积神经网络训练过程示意图；
图5是本发明实施例的硬件设备工作示意图；
图6是传统人眼检测方法与本发明人眼检测方法准确率的柱状对比示意图；
图7是传统人眼检测方法与本发明人眼检测方法准确率的表格对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，本发明的实施例提供了权重二值化神经网络与迁移学习人眼状态检测方法，包括以下：
S101：利用相机采集人脸RGB图像；
本实施例中本发明常规的摄像头进行人脸图像的获取，帧速率约为每秒30 帧，图像输出格式为RGB；
S102：对所述人脸RGB图像进行预处理，得到预处理后的人脸图像，并构建人眼定位的权重二值化卷积神经网络模型并利用人脸数据库训练所述人眼定位的权重二值化卷积神经网络模型；所述人眼定位的权重二值化卷积神经网络模型包括四个层级；第一层级结构包括三个卷积神经网络，分别为F1、LE1和RE1；第二层级结构包括五个卷积神经网络，分别为F2、LE21、LE22、RE21和RE22；第三层级结构包括三个卷积神经网络，分别为F3、LE3和RE3；第四层级结构包括两个卷积神经网络，分别为LE4和RE4；
请参考图2，图2是本发明人眼定位的权重二值化卷积神经网络模型结构示意图；
本实施例中，训练所述人眼定位的权重二值化卷积神经网络模型时，采用的数据库为Labeled Faces in the Wild(LFW)数据库；
本实施例中，所述权重二值化，具体权重被限制为1或-1；
S103：所述预处理后的人脸图像作为所述人眼定位的权重二值化卷积神经网络模型的输入，所述人眼定位的权重二值化卷积神经网络模型输出即为人眼的最终预测坐标，完成人眼定位；
S104：以所述人眼的最终预测坐标为中心，构建裁剪框对人眼区域进行裁剪获得最终提取的人眼图像；
S105：构建人眼状态检测的权重二值化的级联卷积神经网络模型，具体结构请参考图2，图3本发明人眼状态检测的权重二值化卷积神经网络结构示意图；
S106：利用人脸数据库和人眼状态数据库依次训练人眼状态检测的权重二值化的级联卷积神经网络模型，得到训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型；
本实施例中，训练人眼状态检测的权重二值化级联卷积神经网络模型采用的人脸数据库来自于fer2013人脸表情数据库；人眼状态数据库的数据样本来自于 CEW数据库和ZJU数据库相结合的数据样本；
S107：将步骤S104中所述的最终提取的人眼图像输入至所述训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型，得到人眼最终状态。
步骤S102中，对所述人脸RGB图像进行预处理，得到预处理后的人脸图像具体为：将所述人脸RGB图像进行灰度变换，得到人脸灰度图像；对人脸灰度图像进行尺寸裁剪，分别得到人脸的左脸图像和右脸图像。
步骤S103具体为：
S201：将所述人脸灰度图像输入至F1，得到F1预测的双目坐标；将所述左脸图像输入至LE1，得到LE1预测的左眼坐标；将所述右脸图像输入至RE1，得到RE1预测的右眼坐标；
S202：将所述F1预测的双目坐标、LE1预测的左眼坐标和RE1预测的右眼坐标对应相加，并除以2，得到所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标；
S203：以所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第一层级的F2的输入，得到F2预测的双目坐标；以所述LE1预测的左眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的LE21和LE22的输入，得到LE21和LE22预测的左眼坐标；以所述RE1预测的右眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的RE21和RE22的输入，得到RE21和RE22 预测的右眼坐标；
S204：将所述F2预测的双目坐标、LE21、LE22预测的左眼坐标和RE21、RE22 预测的右眼坐标对应相加，并除以3，得到所述人眼定位的权重二值化卷积神经网络模型第二层级最终预测的双目坐标；
S205：以第二层级最终预测的双目坐标为中心，构建一个边界框，作为第三层级F3的输入，得到第三层级F3预测的双目坐标；以LE21和LE22预测的左眼坐标之和除以2为中心构建一个边界框，作为第三层级LE3的输入，得到第三层级LE3预测的左眼坐标；以RE21和RE22预测的右眼坐标之和除以2为中心构建一个边界框，作为第三层级RE3的输入，得到第三层级RE3预测的右眼坐标；
S206：将第三层级F3预测的双目坐标、第三层级LE3预测的左眼坐标和第三层级RE4预测的右眼坐标对应相加，除以2，得到第三层级最终预测的双目坐标；
S207：以第三层级最终预测的双目坐标中的左眼坐标为中心，构建一个边界框，作为第四层级LE4的输入，得到第四层级LE4预测的左眼坐标；以第三层级最终预测的双目坐标中的右眼坐标为中心，构建一个边界框，作为第四层级RE4 的输入，得到第四层级RE4预测的右眼坐标；所述第四层级LE4预测的左眼坐标和所述第四层级RE4预测的右眼坐标共同构成所述人眼定位的权重二值化卷积神经网络模型输出的人眼的最终预测坐标。
步骤S105中，构建人眼状态检测的权重二值化的级联卷积神经网络模型，具体为：所述人眼状态检测的权重二值化的级联卷积神经网络模型，包括两个，分别为主权重二值化的级联卷积神经网络模型和副权重二值化的级联卷积神经网络模型；所述主权重二值化的级联卷积神经网络模型和副权重二值化的级联卷积神经网络模型结构相同，即为图3所示结构。
请参考图4，图4是本发明权重二值化卷积神经网络训练过程示意图；
步骤S106具体为：
S301：利用具有大量样本的人脸图像数据库对所述副权重二值化的级联卷积神经网络模型进行预训练，得到所述副权重二值化的级联卷积神经网络模型初始参数；
S302：通过迁移学习将所述副权重二值化级联卷积神经网络模型的初始参数传输到所述主权重二值化的级联卷积神经网络模型，得到具备初始参数的主权重二值化的级联卷积神经网络模型；
S303：利用标记好人眼状态的图像数据库对所述具备初始参数的主权重二值化的级联卷积神经网络模型再次训练，得到训练完成的主权重二值化的级联卷积神经网络模型；所述训练完成的主权重二值化的级联卷积神经网络模型即为训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型。
请参见图5，图5是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种基于权重二值化卷积神经网络与迁移学习的人眼状态检测设备 401、处理器402及存储设备403。
一种基于权重二值化卷积神经网络与迁移学习的人眼状态检测设备401：所述一种基于权重二值化卷积神经网络与迁移学习的人眼状态检测设备401实现所述一种权重二值化神经网络与迁移学习人眼状态检测方法。
处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种权重二值化神经网络与迁移学习人眼状态检测方法。
存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种权重二值化神经网络与迁移学习人眼状态检测方法。
请参考图6和图7；图6为本发明实施例在CEW数据库中特征提取方法的人眼状态检测准确率比较示意图；图7为本发明实施例在ZJU数据库上各人眼状态检测方法的准确率比较。
图6中的Open表示人睁眼状态下的识别准确率，Closed表示人闭眼状态下的识别准确率，Average表示平均的人眼状态识别准确率。图中的Gabor、LBP、 HOG Method、MultiHPOG均是一些传统的特征提取方法，Our method即是本发明提出的基于权重二值化卷积神经网络和迁移学习的人眼检测方法。从图中我们可以看到，LBP和MultiHPOG的人眼状态检测能力更好，Gabor的表现最差，本发明提出的人眼状态检测方法的准确率明显高于传统方法。
图7中的Method列是一些已经提出的应用在人眼状态检测上的方法，其中 Ourmethod是本发明提出的权重二值化神经网络和迁移学习人眼状态检测方法。 Accuracy列是各方法在ZJU数据库上进行人眼状态检测的准确率结果。
本发明综合考虑除了杂乱的图像背景会影响对人眼的定位与状态分类，眉毛和嘴唇等脸部器官本身也会对眼睛的定位及睁闭状态分类造成困扰。传统的方法如级联分类器法十分容易进行错误的判断。本发明通过六个卷积层，两个池化层和两个全连接的层以及各组成层精细的参数调整，克服了传统方法在上述情况下容易产生误判段的错误。
本发明综合考虑了模型训练中的训练效率以及样本数量的问题，与传统的卷积神经网络方法相比，本发明通过迁移学习，以及权重二值化，克服了传统卷积神经网络的训练时间过长、训练样本不足等问题，使其能在完成高准确度的人眼状态识别的情况下，降低各种时间成本，提高识别效率。
本发明综合考虑了推广的难易度，无需穿戴任何物理测量设备，不会影响被检测人的正常行为举动，具有良好的普适性，可推广到诸如生产作业疲劳检测和汽车驾驶疲劳检测以及航空器驾驶注意力检测等方面。
基于权重二值化的卷积神经网络和迁移学习的人眼状态检测方法。该方法包含的二值化卷积神经网络可以有效地提取人眼的状态特征，而二进制的神经网络不仅有助于减小模型的存储量，而且可以加快计算速度。迁移学习将从源域学习到的知识应用于目标域，即将已训练好的模型参数迁移到新的模型来帮助新模型训练从而提高了新模型的训练效率
本发明实施的有益效果是：减小甚至克服头部姿态的不确定性、外部环境光照、复杂背景条件下的干扰、遮挡对人眼识别带来的影响，提高人眼识别的鲁棒性。
在不冲突的情况下，本发明中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：具体包括以下步骤：
S101：利用相机采集人脸RGB图像；
S102：对所述人脸RGB图像进行预处理，得到预处理后的人脸图像，并构建人眼定位的权重二值化卷积神经网络模型并利用人脸数据库训练所述人眼定位的权重二值化卷积神经网络模型；所述人眼定位的权重二值化卷积神经网络模型包括四个层级；第一层级结构包括三个卷积神经网络，分别为F1、LE1和RE1；第二层级结构包括五个卷积神经网络，分别为F2、LE21、LE22、RE21和RE22；第三层级结构包括三个卷积神经网络，分别为F3、LE3和RE3；第四层级结构包括两个卷积神经网络，分别为LE4和RE4；
S103：所述预处理后的人脸图像作为所述人眼定位的权重二值化卷积神经网络模型的输入，所述人眼定位的权重二值化卷积神经网络模型输出即为人眼的最终预测坐标，完成人眼定位；
S104：以所述人眼的最终预测坐标为中心，构建裁剪框对人眼区域进行裁剪获得最终提取的人眼图像；
S105：构建人眼状态检测的权重二值化的级联卷积神经网络模型，所述人眼状态检测的权重二值化的级联卷积神经网络模型包括六个卷积层、两个池化层和两个全连接层；
S106：利用人脸数据库和人眼状态数据库依次训练人眼状态检测的权重二值化的级联卷积神经网络模型，得到训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型；
S107：将步骤S104中所述的最终提取的人眼图像输入至所述训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型，得到人眼最终状态。
2.如权利要求1所述的一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：步骤S102中，对所述人脸RGB图像进行预处理，得到预处理后的人脸图像具体为：将所述人脸RGB图像进行灰度变换，得到人脸灰度图像；对人脸灰度图像进行尺寸裁剪，分别得到人脸的左脸图像和右脸图像。
3.如权利要求2所述的一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：步骤S103具体为：
S201：将所述人脸灰度图像输入至F1，得到F1预测的双目坐标；将所述左脸图像输入至LE1，得到LE1预测的左眼坐标；将所述右脸图像输入至RE1，得到RE1预测的右眼坐标；
S202：将所述F1预测的双目坐标、LE1预测的左眼坐标和RE1预测的右眼坐标对应相加，并除以2，得到所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标；
S203：以所述人眼定位的权重二值化卷积神经网络模型第一层级最终预测的双目坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第一层级的F2的输入，得到F2预测的双目坐标；以所述LE1预测的左眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的LE21和LE22的输入，得到LE21和LE22预测的左眼坐标；以所述RE1预测的右眼坐标为中心，预设一个边界框，作为所述人眼定位的权重二值化卷积神经网络模型第二层级的RE21和RE22的输入，得到RE21和RE22预测的右眼坐标；
S204：将所述F2预测的双目坐标、LE21、LE22预测的左眼坐标和RE21、RE22预测的右眼坐标对应相加，并除以3，得到所述人眼定位的权重二值化卷积神经网络模型第二层级最终预测的双目坐标；
S205：以第二层级最终预测的双目坐标为中心，构建一个边界框，作为第三层级F3的输入，得到第三层级F3预测的双目坐标；以LE21和LE22预测的左眼坐标之和除以2为中心构建一个边界框，作为第三层级LE3的输入，得到第三层级LE3预测的左眼坐标；以RE21和RE22预测的右眼坐标之和除以2为中心构建一个边界框，作为第三层级RE3的输入，得到第三层级RE3预测的右眼坐标；
S206：将第三层级F3预测的双目坐标、第三层级LE3预测的左眼坐标和第三层级RE4预测的右眼坐标对应相加，除以2，得到第三层级最终预测的双目坐标；
S207：以第三层级最终预测的双目坐标中的左眼坐标为中心，构建一个边界框，作为第四层级LE4的输入，得到第四层级LE4预测的左眼坐标；以第三层级最终预测的双目坐标中的右眼坐标为中心，构建一个边界框，作为第四层级RE4的输入，得到第四层级RE4预测的右眼坐标；所述第四层级LE4预测的左眼坐标和所述第四层级RE4预测的右眼坐标共同构成所述人眼定位的权重二值化卷积神经网络模型输出的人眼的最终预测坐标。
4.如权利要求1所述的一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：步骤S105中，构建人眼状态检测的权重二值化的级联卷积神经网络模型，具体为：所述人眼状态检测的权重二值化的级联卷积神经网络模型，包括两个，分别为主权重二值化的级联卷积神经网络模型和副权重二值化的级联卷积神经网络模型；所述主权重二值化的级联卷积神经网络模型和副权重二值化的级联卷积神经网络模型结构相同。
5.如权利要求4所述的一种权重二值化神经网络与迁移学习人眼状态检测方法，其特征在于：步骤S106具体为：
S301：利用具有大量样本的人脸图像数据库对所述副权重二值化的级联卷积神经网络模型进行预训练，得到所述副权重二值化的级联卷积神经网络模型初始参数；
S302：通过迁移学习将所述副权重二值化级联卷积神经网络模型的初始参数传输到所述主权重二值化的级联卷积神经网络模型，得到具备初始参数的主权重二值化的级联卷积神经网络模型；
S303：利用标记好人眼状态的图像数据库对所述具备初始参数的主权重二值化的级联卷积神经网络模型再次训练，得到训练完成的主权重二值化的级联卷积神经网络模型；所述训练完成的主权重二值化的级联卷积神经网络模型即为训练完成的人眼状态检测的权重二值化的级联卷积神经网络模型。
6.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～5所述的任意一种权重二值化神经网络与迁移学习人眼状态检测方法。
7.一种权重二值化卷积神经网络与迁移学习的人眼状态检测设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～5所述的任意一种权重二值化神经网络与迁移学习人眼状态检测方法。
CN202010624577.5A 2020-07-02 2020-07-02 权重二值化神经网络与迁移学习人眼状态检测方法及设备 Pending CN111898454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010624577.5A CN111898454A (zh) 2020-07-02 2020-07-02 权重二值化神经网络与迁移学习人眼状态检测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010624577.5A CN111898454A (zh) 2020-07-02 2020-07-02 权重二值化神经网络与迁移学习人眼状态检测方法及设备

Publications (1)

Publication Number Publication Date
CN111898454A true CN111898454A (zh) 2020-11-06

Family

ID=73191782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010624577.5A Pending CN111898454A (zh) 2020-07-02 2020-07-02 权重二值化神经网络与迁移学习人眼状态检测方法及设备

Country Status (1)

Country Link
CN (1) CN111898454A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329752A (zh) * 2021-01-06 2021-02-05 腾讯科技（深圳）有限公司 人眼图像处理模型的训练方法、图像处理方法及装置
CN112818938A (zh) * 2021-03-03 2021-05-18 长春理工大学 一种自适应光照干扰环境的人脸识别算法及人脸识别装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108614999A (zh) * 2018-04-16 2018-10-02 贵州大学 基于深度学习的眼睛睁闭状态检测方法
CN110738071A (zh) * 2018-07-18 2020-01-31 浙江中正智能科技有限公司 一种基于深度学习和迁移学习的人脸算法模型训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108614999A (zh) * 2018-04-16 2018-10-02 贵州大学 基于深度学习的眼睛睁闭状态检测方法
CN110738071A (zh) * 2018-07-18 2020-01-31 浙江中正智能科技有限公司 一种基于深度学习和迁移学习的人脸算法模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHEN-TAO LIU等: "Eye localization based on weight binarization cascade convolution neural network", NEUROCOMPUTING *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329752A (zh) * 2021-01-06 2021-02-05 腾讯科技（深圳）有限公司 人眼图像处理模型的训练方法、图像处理方法及装置
CN112818938A (zh) * 2021-03-03 2021-05-18 长春理工大学 一种自适应光照干扰环境的人脸识别算法及人脸识别装置

Similar Documents

Publication Publication Date Title
CN106599883B (zh) 一种基于cnn的多层次图像语义的人脸识别方法
CN104050471B (zh) 一种自然场景文字检测方法及***
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
Lajevardi et al. Higher order orthogonal moments for invariant facial expression recognition
CN108614999B (zh) 基于深度学习的眼睛睁闭状态检测方法
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN112837344B (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN110781829A (zh) 一种轻量级深度学习的智慧营业厅人脸识别方法
Sajanraj et al. Indian sign language numeral recognition using region of interest convolutional neural network
KR102132407B1 (ko) 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN114092793B (zh) 适用于复杂水下环境的端到端生物目标检测方法
CN110728185A (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
CN110889397A (zh) 一种以人为主体的视觉关系分割方法
CN111898454A (zh) 权重二值化神经网络与迁移学习人眼状态检测方法及设备
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN116071575A (zh) 一种基于多模态数据融合的学生课堂异常行为检测方法及检测***
García et al. Pollen grains contour analysis on verification approach
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法
CN111553202B (zh) 进行活体检测的神经网络的训练方法、检测方法及装置
CN114038035A (zh) 一种基于大数据的人工智能识别装置
Karim et al. Bangla Sign Language Recognition using YOLOv5
CN111353353A (zh) 跨姿态的人脸识别方法及装置
Venkatesan et al. Advanced classification using genetic algorithm and image segmentation for Improved FD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination