CN105631423A - 一种利用图像信息来识别人眼状态的方法 - Google Patents

一种利用图像信息来识别人眼状态的方法 Download PDF

Info

Publication number
CN105631423A
CN105631423A CN201511004081.3A CN201511004081A CN105631423A CN 105631423 A CN105631423 A CN 105631423A CN 201511004081 A CN201511004081 A CN 201511004081A CN 105631423 A CN105631423 A CN 105631423A
Authority
CN
China
Prior art keywords
human eye
eye image
eye
image
local binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511004081.3A
Other languages
English (en)
Inventor
卢磊
文正
胡燕彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Reconova Information Technology Co Ltd
Original Assignee
Xiamen Reconova Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Reconova Information Technology Co Ltd filed Critical Xiamen Reconova Information Technology Co Ltd
Priority to CN201511004081.3A priority Critical patent/CN105631423A/zh
Publication of CN105631423A publication Critical patent/CN105631423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种用图像信息来识别人眼状态的方法，利用图像统一局部二值模式特征来描述人眼图像，将垂直投影特征和局部二值模式特征结合作为人眼图像状态的描述特征；并使用支持向量机及Sigmoid核函数作为人眼图像状态的分类器，计算出最终的人眼图像状态，提升了人眼状态识别的正确率，由于本发明采用了统一局部二值模式特征值和垂直投影特征对人眼图像进行描述，在图像旋转、光照不均的场景进行测试均具有比较好的鲁棒性。

Description

一种利用图像信息来识别人眼状态的方法
技术领域
本发明涉及一种利用图像信息来识别人眼状态的方法。
背景技术
人眼的状态识别具有非常广泛的应用场景，比如通过判断人眼状态来识别驾驶员是否疲劳驾驶，通过人眼状态来进行人机交互等。目前国内外人眼状态识别的方法主要有三种：基于灰度投影的方法、基于灰度直方图的方法和基于几何参数特征匹配方法。
由于人眼的眼球、虹膜、皮肤的灰度各不相同，因此人眼在张开和闭合时眼睛区域的图像灰度会有比较明显的区别。基于这样的原理，灰度投影的方法首先将人眼图像转换为灰度图像，然后将图像进行大小归一化和灰度均衡，接着计算图像的灰度水平投影和灰度垂直投影，将灰度投影作为特征数据进行训练，最终获得基于灰度投影的人眼状态分类器。由于基于灰度投影的方法利用水平和垂直投影的方式来获取图像中的人眼状态特征，因此该方法对人眼的定位、角度、光照都有比较强的依赖。在光源不稳定的场景投影曲线的峰值变化很大，人眼定位不是很精确或人眼倾斜时的投影曲线也会发生不同程度的偏移，严重影响分类器分类的效果，进而影响人眼状态的识别效果。
由于人眼在张开和闭合时，图像中眼睛区域各个灰阶所占的比重不同，基于灰度直方图的方法通过各个灰阶所占的比重来判断人眼的状态。计算的流程如下：首先将人眼图像进行灰度转换、归一化和灰度均衡，然后计算图像的灰度直方图，再将灰度直方图中的256个灰阶合并为64个灰阶，将64个灰阶直方图特征进行训练，最终获得基于灰度直方图的人眼状态分类器。由于人眼的状态和图像的灰度具有强相关性，因此在光照变化比较大的情况下直方图会产生很明显的噪音，识别效果也比较差。
由于人眼在张开和闭合时的眼睑的弧度不同，而且闭合时看不到瞳孔。因此只要能判断图像中眼睛区域边缘轮廓的曲线弧度，就可以判断人眼的状态。基于几何参数特征的方法根据曲线拟合的方式获得曲线方程的参数信息，判断曲线的弧度来判断眼睛的状态。具体流程如下：首先将人眼图像进行灰度转换，再使用Canny算子对图像进行边缘检测，再对边缘图像进行Hough变换，结合边缘检测中的角点信息，就可以计算瞳孔的半径和眼睑椭圆的长轴、短轴等参数信息，判断出眼脸的弧度。通过经验方程，通过判断是否有瞳孔和眼脸的弧度就可以确定人眼张开和闭合的状态，如图1。基于几何参数特征的方法依赖边缘特征进行人眼状态识别，与前两种方法比较，该方法对光照具有比较强的鲁棒性。但是在人眼图像倾斜的情况下，曲线拟合算法会出现偏差；另外，眼睑曲线拟合的精度严重依赖于左眼角和右眼角的检测精度，由于左、右眼角检测所使用的角点检测算法本身也存在不少技术难点，该角点检测算法给***带来的叠加误差也影响了最终的人眼状态识别率。
发明内容
本发明的目的在于提供一种用图像信息来识别人眼状态的方法，能在复杂场景中进行人眼状态识别，提升了人眼状态识别的正确率，能推动人眼状态识别技术的应用发展。
本发明一种用图像信息来识别人眼状态的方法，包括人眼状态识别分类器训练和人眼状态识别分类器分类两个步骤：
步骤1、人眼状态识别分类器训练：
步骤11、获取人眼图像
对采集的人眼样本图像进行人眼检测运算，获取人眼位置信息，分割出人眼图像；
步骤12、人眼图像灰度均衡处理
遍历人眼图像并统计图像的灰度直方图，然后将灰度直方图进行拉伸，使得直方图累计函数保持线性增长，记录下拉伸前和拉伸后的灰度值对应关系，然后根据灰度值对应关系对原始人眼图像进行灰度转换；
步骤13、计算灰度图像垂直投影特征
首先对灰度均衡处理后的人眼图像进行大小归一化到32x16的像素大小，然后遍历人眼图像，分别统计人眼图像每行和每列的平均灰度值组成一个32维的垂直投影特征向量；
步骤14、计算人眼图像统一局部二值模式特征值
计算灰度均衡处理后人眼图像的每个像素点和其邻域其他像素点的差值，如果差值大于0则赋值为1，如果差值小于0则赋值为0，按照3X3的邻域范围计算，就有8位的二进制结果，将这8位二进制结果组成一个新的字节，作为表示该像素点的局部二值模式特征值，从256个局部二值模式特征值中抽取具有旋转不变性的59个特征值作为统一局部二值模式特征值，每个人眼图像共获得1344个统一局部二值模式特征值的特征向量；
步骤15、人眼状态识别分类器训练
将32维的垂直投影特征向量和1344个统一局部二值模式特征值的特征向量结合，则每个人眼图像样本获得一个1376维的特征向量，将该特征向量输入支持向量机的人眼状态分类器中，采用支持向量机进行样本训练获得人眼状态分类模型；
步骤2、人眼状态识别分类器分类：
对采集的图像进行人眼检测运算得到人眼图像，通过步骤11至步骤14，对人眼图像进行预处理，获取人眼图像的统一局部二值模式特征值的特征向量和垂直投影特征向量，将这些特征向量输入人眼状态分类器中，并加载人眼状态分类模型后对人眼图像进行分类，判定人眼状态。
所述的支持向量机对人眼状态模型进行训练，使用Sigmoid函数作为核函数，该Sigmoid核函数定义如下：，
其中x表示输入向量，y表示输出标签，g为特征值初始权重，c为噪声偏置。
本发明利用图像统一局部二值模式特征来描述人眼图像，将垂直投影特征和局部二值模式特征结合作为人眼图像状态的描述特征；并使用支持向量机及Sigmoid核函数作为人眼图像状态的分类器，计算出最终的人眼图像状态，提升了人眼状态识别的正确率。
由于本发明采用了统一局部二值模式特征值和垂直投影特征对人眼图像进行描述，在图像旋转、光照不均的场景进行测试均具有比较好的鲁棒性。使用本发明对不包含在训练集中的2056个人眼图像样本进行测试，判断人眼状态是张开还是关闭，其中正确识别1987个，正确识别率为96.6%，高于前述其他方法的识别率。
附图说明
图1为基于几何参数特征方法中眼睑和瞳孔曲线模型的示意图；
图2为本发明人眼状态训练流程图；
图3为本发明人眼状态分类流程图。
以下结合附图和具体实施例对本发明做进一步详述。
具体实施方式
本发明一种用图像信息来识别人眼状态的方法，包括人眼状态识别分类器训练和人眼状态识别分类器分类两个步骤：
步骤1、人眼状态识别分类器训练，如图2所示：
步骤11、获取人眼图像
对采集的样本图像进行人眼检测运算，获取人眼位置信息，分割出人眼图像；
步骤12、人眼图像灰度均衡处理
遍历人眼图像并统计图像的灰度直方图，然后将灰度直方图进行拉伸，使得直方图累计函数保持线性增长，记录下拉伸前和拉伸后的灰度值对应关系，然后根据灰度值对应关系对原始人眼图像进行灰度转换；
步骤13、计算灰度图像垂直投影特征
首先对灰度均衡处理后的人眼图像进行大小归一化到32x16的像素大小，然后遍历人眼图像，分别统计人眼图像每行和每列的平均灰度值组成一个32维的垂直投影特征向量；
步骤14、计算人眼图像统一局部二值模式特征值
本发明的关键部分就是计算统一局部二值模式特征值，计算方法如下：计算灰度均衡处理后人眼图像的每个像素点和其邻域其他像素点的差值，如果差值大于0则赋值为1，如果差值小于0则赋值为0，按照3X3的邻域范围计算，就有8位的二进制结果，将这8位二进制结果组成一个新的字节，作为表示该像素点的局部二值模式特征值，该特征值描述了像素点四周的梯度变化情况，和传统的特征描述方法相比，局部二值模式特征值包含了图像各个方向的梯度信息，能很好地描述图像纹理信息，而且局部二值模式特征值具有旋转不变性，受光照的影响也比较小，从256个这样的局部二值模式特征值中抽取最具有旋转不变性的59个特征值表示统一局部二值模式特征值，在图像有旋转的场景，统一局部二值模式特征值比局部二值模式特征值具有更好的鲁棒性。本发明在32x16大小的人眼图像中提取统一局部二值模式特征值，采用8x8的cell大小，4x4的移动步长，进行特征提取，每个人眼图像共获得1344个统一局部二值模式特征值的特征向量；
步骤15、人眼状态识别分类器训练
将32维的垂直投影特征向量和1344个统一局部二值模式特征值的特征向量结合，则每个人眼图像样本获得一个1376维的特征向量，将该特征向量输入支持向量机的人眼状态分类器中，采用支持向量机进行样本训练获得人眼状态分类模型；
本发明将6000个睁眼图像和6000个闭眼图像分成4组样本，每组样本包含1500个睁眼图像和1500个闭眼图像，采用支持向量机对人眼状态模型进行训练，使用Sigmoid函数作为核函数，该Sigmoid核函数定义如下：，
其中x表示输入向量，y表示输出标签，g为特征值初始权重，c为噪声偏置；
通过4组样本交叉验证，在g=0.5，c=8的情况下找到68个支撑向量，并获得98.13%的识别准确率；
步骤2、人眼状态识别分类器分类，如图3所示：
对采集的图像进行人眼检测运算得到人眼图像，通过步骤11至步骤14，对人眼图像进行预处理，获取人眼图像的统一局部二值模式特征值的特征向量和垂直投影特征向量，将这些特征向量输入人眼状态分类器中，并加载人眼状态分类模型后对人眼图像进行分类，判定人眼状态。
***初始化时，人眼状态识别分类器需要使用统一局部二值模式特征值和垂直投影特征对人眼图像进行描述，以提升利用图像进行人眼状态识别的准确率。替代方案可以利用HOG特征对人眼图像进行描述，也能取得和本发明类似的识别效果。但是HOG特征的运算中使用了大量的浮点运算，运算复杂度相对比较大，影响在现实应用场景中的推广使用。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种用图像信息来识别人眼状态的方法，其特征在于包括人眼状态识别分类器训练和人眼状态识别分类器分类两个步骤：
步骤1、人眼状态识别分类器训练：
步骤11、获取人眼图像
对采集的人眼样本图像进行人眼检测运算，获取人眼位置信息，分割出人眼图像；
步骤12、人眼图像灰度均衡处理
遍历人眼图像并统计图像的灰度直方图，然后将灰度直方图进行拉伸，使得直方图累计函数保持线性增长，记录下拉伸前和拉伸后的灰度值对应关系，然后根据灰度值对应关系对原始人眼图像进行灰度转换；
步骤13、计算灰度图像垂直投影特征
首先对灰度均衡处理后的人眼图像进行大小归一化到32x16的像素大小，然后遍历人眼图像，分别统计人眼图像每行和每列的平均灰度值组成一个32维的垂直投影特征向量；
步骤14、计算人眼图像统一局部二值模式特征值
计算灰度均衡处理后人眼图像的每个像素点和其邻域其他像素点的差值，如果差值大于0则赋值为1，如果差值小于0则赋值为0，按照3X3的邻域范围计算，就有8位的二进制结果，将这8位二进制结果组成一个新的字节，作为表示该像素点的局部二值模式特征值，从256个局部二值模式特征值中抽取具有旋转不变性的59个特征值作为统一局部二值模式特征值，每个人眼图像共获得1344个统一局部二值模式特征值的特征向量；
步骤15、人眼状态识别分类器训练
将32维的垂直投影特征向量和1344个统一局部二值模式特征值的特征向量结合，则每个人眼图像样本获得一个1376维的特征向量，将该特征向量输入支持向量机的人眼状态分类器中，采用支持向量机进行样本训练获得人眼状态分类模型；
步骤2、人眼状态识别分类器分类：
对采集的图像进行人眼检测运算得到人眼图像，通过步骤11至步骤14，对人眼图像进行预处理，获取人眼图像的统一局部二值模式特征值的特征向量和垂直投影特征向量，将这些特征向量输入人眼状态分类器中，并加载人眼状态分类模型后对人眼图像进行分类，判定人眼状态。
2.根据权利要求1所述的一种用图像信息来识别人眼状态的方法，其特征在于：所述的支持向量机对人眼状态模型进行训练，使用Sigmoid函数作为核函数，该Sigmoid核函数定义如下：，其中x表示输入向量，y表示输出标签，g为特征值初始权重，c为噪声偏置。
CN201511004081.3A 2015-12-29 2015-12-29 一种利用图像信息来识别人眼状态的方法 Pending CN105631423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511004081.3A CN105631423A (zh) 2015-12-29 2015-12-29 一种利用图像信息来识别人眼状态的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511004081.3A CN105631423A (zh) 2015-12-29 2015-12-29 一种利用图像信息来识别人眼状态的方法

Publications (1)

Publication Number Publication Date
CN105631423A true CN105631423A (zh) 2016-06-01

Family

ID=56046336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511004081.3A Pending CN105631423A (zh) 2015-12-29 2015-12-29 一种利用图像信息来识别人眼状态的方法

Country Status (1)

Country Link
CN (1) CN105631423A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于***图像的方法和装置
CN111652014A (zh) * 2019-03-15 2020-09-11 上海铼锶信息技术有限公司 一种眼神识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346842A (zh) * 2010-07-26 2012-02-08 比亚迪股份有限公司 一种人眼状态检测方法及装置
US8351662B2 (en) * 2010-09-16 2013-01-08 Seiko Epson Corporation System and method for face verification using video sequence
CN104091147A (zh) * 2014-06-11 2014-10-08 华南理工大学 一种近红外眼睛定位及眼睛状态识别方法
CN104616016A (zh) * 2015-01-30 2015-05-13 天津大学 一种全局与局部特征相结合的纹理特征描述方法
CN104732216A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于关键点和局部特征的表情识别方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346842A (zh) * 2010-07-26 2012-02-08 比亚迪股份有限公司 一种人眼状态检测方法及装置
US8351662B2 (en) * 2010-09-16 2013-01-08 Seiko Epson Corporation System and method for face verification using video sequence
CN104091147A (zh) * 2014-06-11 2014-10-08 华南理工大学 一种近红外眼睛定位及眼睛状态识别方法
CN104616016A (zh) * 2015-01-30 2015-05-13 天津大学 一种全局与局部特征相结合的纹理特征描述方法
CN104732216A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 基于关键点和局部特征的表情识别方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165571A (zh) * 2018-08-03 2019-01-08 北京字节跳动网络技术有限公司 用于***图像的方法和装置
US11205290B2 (en) 2018-08-03 2021-12-21 Beijing Bytedance Network Technology Co., Ltd. Method and device for inserting an image into a determined region of a target eye image
CN111652014A (zh) * 2019-03-15 2020-09-11 上海铼锶信息技术有限公司 一种眼神识别方法

Similar Documents

Publication Publication Date Title
US9842247B2 (en) Eye location method and device
CN103093215B (zh) 人眼定位方法及装置
CN106960202B (zh) 一种基于可见光与红外图像融合的笑脸识别方法
CN103810490B (zh) 一种确定人脸图像的属性的方法和设备
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN104091147B (zh) 一种近红外眼睛定位及眼睛状态识别方法
CN105447441B (zh) 人脸认证方法和装置
CN103218605B (zh) 一种基于积分投影与边缘检测的快速人眼定位方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN104715238A (zh) 一种基于多特征融合的行人检测方法
CN105335725A (zh) 一种基于特征融合的步态识别身份认证方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN104091155A (zh) 光照鲁棒的虹膜快速定位方法
CN104008364B (zh) 人脸识别方法
CN106203375A (zh) 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN104794441B (zh) 复杂背景下基于主动形状模型和poem纹理模型的人脸特征定位方法
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN109409298A (zh) 一种基于视频处理的视线追踪方法
Banerjee et al. Iris segmentation using geodesic active contours and grabcut
Parikh et al. Effective approach for iris localization in nonideal imaging conditions
CN105631423A (zh) 一种利用图像信息来识别人眼状态的方法
Moeslund et al. BLOB analysis
CN104517300A (zh) 基于颜色统计特征的视觉判别跟踪方法
Zhang et al. Pupil localization algorithm combining convex area voting and model constraint

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601

RJ01 Rejection of invention patent application after publication