CN108256391A - 一种基于投影积分和边缘检测的瞳孔区域定位方法 - Google Patents

一种基于投影积分和边缘检测的瞳孔区域定位方法 Download PDF

Info

Publication number
CN108256391A
CN108256391A CN201611237359.6A CN201611237359A CN108256391A CN 108256391 A CN108256391 A CN 108256391A CN 201611237359 A CN201611237359 A CN 201611237359A CN 108256391 A CN108256391 A CN 108256391A
Authority
CN
China
Prior art keywords
pupil region
human eye
integral
edge detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611237359.6A
Other languages
English (en)
Inventor
钟鸿飞
覃争鸣
杨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Original Assignee
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou filed Critical Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority to CN201611237359.6A priority Critical patent/CN108256391A/zh
Publication of CN108256391A publication Critical patent/CN108256391A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于投影积分和边缘检测的瞳孔区域定位方法，包括：S1，图像预处理，对摄像头捕获的人脸图像进行预处理；S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；S3，人眼区域定位，根据人眼比例和积分计算结果定位人眼区域；S4，瞳孔区域定位，使用边缘检测定位瞳孔区域。本发明方案使用灰度投影积分，将人脸结构特征结合灰度投影积分，在水平和垂直两个方向上计算人眼区域的灰度变化，从而得到人眼区域定位，再使用边缘检测算子实现瞳孔区域的精确定位，无需使用LED光源直射用户眼睛，且计算快捷，易于实现。

Description

一种基于投影积分和边缘检测的瞳孔区域定位方法
技术领域
本发明涉及人机交互领域，具体涉及一种基于投影积分和边缘检测的瞳孔区域定位方法。
背景技术
为了帮助残疾人/老年人保持与外界的交流、沟通，提高他们的独立生活能力，减轻家庭、社会的负担，世界各地许多科学家们开始探索研究新型的人机交互方式。所谓交互技术包括人与执行机构(如机器人等)的交互和执行机构与环境的交互。前者的意义在于可由人去实现执行机构在未知或非确定环境中难以做到的规划和决策；而后者的意义在于可由机器人去完成人所不能达到的恶劣环境或远距离环境中的作业任务。
传统的人机交互设备主要有键盘、鼠标、手写板、触摸屏、游戏控制器等，这些设备利用使用者的手部运动来实现人机交互的功能。然而对于许多残疾人士，尤其是如上所述的肢体残体人士(全身瘫痪、肌肉萎缩症患者等)，这些传统的设备通常无法满足其正常交互的需求。
基于眼动信息的人机交互方式是通过摄像机采集用户图像、进行模式识别来实现的，由于其具有直接性、自然性与双向性的特点，代替键盘输入、鼠标移动的交互功能。常用的基于眼动信息的人机交互方式依靠LED红外光源提取角膜反射信息，进而获得判别特征，但LED红外光源易受光线影响，且LED光源长期照射人眼，对人眼容易造成损伤。
基于眼动信息的人机交互方式关键在于眼睛瞳孔定位和瞳孔动作识别的准确性，因此如何在自然光环境下，使用单目摄像头准确定位出瞳孔区域，对于实现高效的基于眼动信息的人机交互，具有重要的意义。
发明内容
本发明目的在于克服现有技术的不足，尤其解决现有使用LED红外光的基于眼动信息的人机交互技术中，LED红外光源易受光线影响，且LED光源长期照射人眼，对人眼容易造成损伤的问题。
为解决上述技术问题，本发明提出一种基于投影积分和边缘检测的瞳孔区域定位方法，主要步骤包括：
S1，图像预处理，对摄像头捕获的人脸图像进行预处理；
S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；
S3，人眼区域粗定位，根据人眼比例和积分计算结果定位人眼区域；
S4，瞳孔区域定位，使用边缘检测定位瞳孔区域。
进一步地，所述步骤S1图像预处理操作包括：S11图像灰度化、S12图像均衡化、图像二值化、图像负片操作；
进一步地，所述步骤S2投影积分计算操作包括：水平垂直积分操作和垂直积分投影操作；
进一步地，所述步骤S2投影积分计算操作中，将图像分成左右两部分，分别进行投影积分计算；
进一步地，所述步骤S3人眼区域定位操作中，根据人左右两眼间距的比例获取人眼区域；
进一步地，所述步骤S4瞳孔区域定位操作包括：S41高斯滤波平滑、S42计算梯度幅值和方向、S43梯度幅值非极大值抑制、S44边缘检测和连接。
本发明与现有技术相比具有以下的有益效果：
本发明方案使用灰度投影积分，将人脸结构特征结合灰度投影积分，在水平和垂直两个方向上计算人眼区域的灰度变化，从而得到人眼区域定位，再使用边缘检测算子实现瞳孔区域的精确定位，无需使用LED光源直射用户眼睛，且计算快捷，易于实现。
附图说明
图1为本发明基于投影积分和边缘检测的瞳孔区域定位方法的一个实施例的流程图。
图2为本发明实施例的图像二值化结果示意图。
图3为本发明实施例的图像负片结果示意图。
图4为本发明实施例的积分投影计算结果曲线图。
图5为本发明实施例的人眼参数比例关系示意图。
图6为本发明实施例的瞳孔区域定位效果图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
参见图1，本发明实施例的基于投影积分和边缘检测的瞳孔区域定位方法，主要步骤包括：
S1，图像预处理，具体过程包括：S11图像灰度化、S12图像均衡化、S13图像二值化、S14图像负片操作。
S11图像灰度化：相机获取的人眼图像是彩色图像，包含的信息量大，图像处理速度较慢。考虑到人机交互对实时性的要求高，对彩色图像进行灰度化处理是必须的。灰度化就是使彩色像素的R、G、B分量值相等的过程，灰度图像中的灰度值等于原彩色图像中的RGB平均值，即
Gray＝(R+G+B)/3 (1)
S12图像均衡化：直方图均衡化使图像的灰度间距拉开或使灰度分布均匀，从而增大反差，使图像细节清晰，达到图像增强的目的。其具体方法是：
首先给出原始图像的所有灰度级Sk(k＝0,1,......,L-1)；然后统计原始图像各灰度级的像素数nk；利用式(2)计算原始图像的直方图后再用(3)式计算原始图像的积累直方图：
P(Sk)＝nk/n,k＝0,1,...,L-1 (2)
p(tk)＝nk/n (4)
其中，n是图像像素总数。对灰度值tk取整，确定Sk→tk的映射关系后统计新直方图各灰度级的像素数nk；最后利用式(4)计算新的直方图。
S13图像二值化：用最大类间方差法进行图像二值化，过程为：
设图像共有L个灰度级，灰度值为i的像素点共有ni个，图像共有N个像素点，归一化灰度直方图，令
设定一个阈值t，根据灰度值将像素点分成c0和c1两类。c0的概率ω0、均值μ0：
c1的概率ω1、均值μ1：
其中，由此可知c0和c1的类间方差σ2(t)为：
σ2(t)＝ω0(μ-μ0)2+ω1(μ1-μ)2 (9)
于是将t从0到i进行取值，当σ取最大值时t为最佳阈值，即可得到最佳的二值化图像，二值化结果参见图2。
S14图像负片：图像负片是指将二值化图像中，黑色部分映射为白色，白色部分映射为黑色，从而突出原本为黑色部分的眼部区域，负片结果参见图3。
S2，投影积分计算；对于人脸图像来说，由于可能存在一定角度的平面内旋转，人的双眼并非处于同一水平线上，若对整张人脸图像进行全局水平投影，则得到的眼睛纵坐标就不够准确。因此在本实施例中，首先将人脸图像居中分为大小完全相同的左右两部分，分别包含人的左、右眼睛，对这左、右两部分图像分别作水平积分投影计算：
I(x,y)是图像I在位置点(x,y)处的像素灰度值，则图像分别在区间[y1,y2]和[x1,x2]上的垂直积分投影IPFv(x)和水平积分投影IPFh(x)分别为：
本实施例中，对左、右两部分图像分别作水平积分投影计算，得到结果参见图4，横轴代表各个位置点，纵轴代表在这点位置上的像素和，图4(a)中最大峰值所对应的横轴上的位置点就是相应的右眼的纵坐标值yR，图4(b)中最大峰值所对应的横轴上的位置点就是相应的左眼的纵坐标值yL，图4(c)中两段波形中最大的波峰值所对应的横轴上的两个位置点是相应的左右眼的横坐标值，即xL和xR，且xR<xL。
S3，人眼区域定位。用灰度积分投影的方法计算出来的人眼中心坐标，就是人眼灰度积分的水平极大值和垂直极大值所在直线的交点坐标，即点(xL,yL)对应左眼睛中心点，点(xR,yR)对应右眼睛中心点。参见图5，根据图5所示的人眼参数比例关系划出矩形人眼窗口，矩形人眼窗口即人眼定位区域。
S4，瞳孔区域定位，使用边缘检测定位瞳孔区域，具体过程包括：S41高斯滤波平滑；S42计算梯度幅值和方向；S43梯度幅值非极大值抑制；S44边缘检测和连接。
S41高斯滤波平滑。给定粗定位的人眼区域f(x,y)，使用高斯函数H(x,y)对人眼区域图像进行平滑：
其中，G(x,y)表示平滑后的人眼区域图像，σ表示高斯核系数。
S42计算梯度幅值和方向。计算人眼区域图像中各个像素点的梯度幅值和梯度变化方向，使用一阶差分卷积模板Hx和Hy(x,y)进行梯度计算：
则像素点x方向y方向的一阶偏导数矩阵的数学表达式为：
幅值表示形式为：
像素点(x,y)的梯度方向θ(x,y)为：
S43梯度幅值非极大值抑制。即寻找像素点局部最大值，将非局部极大值点所对应的灰度值置为0，以得到细化的边缘，剔除掉一大部分非边缘的点。
S44边缘检测和连接。使用两个阈值T1,T2(T1＜T2)，T1用来找到每条线段，T2用来在这些线段的两个方向上延伸寻找边缘的断裂处，并连接这些边缘。从而可以得到两个阈值边缘图像N1(x,y)和N2(x,y)。由于N2(x,y)使用高阈值得到，因而含有很少的假边缘，但有间断(不闭合)。双阈值法要在N2(x,y)中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在N1(x,y)的8邻域位置寻找可以连接到轮廓上的边缘。这样，算法不断在N1(x,y)中收集边缘，直到将N2(x,y)连接起来为止。边缘检测后的连通区域的质心作为瞳孔中心，连通区域的边缘即是瞳孔轮廓。参见图6，图6为本实施例提取的瞳孔区域。

Claims (2)

1.一种基于投影积分和边缘检测的瞳孔区域定位方法，其特征在于，包括：
S1，图像预处理，对摄像头捕获的人脸图像进行预处理；
S2，投影积分计算，使用积分投影方法计算人脸图像的灰度变化；
S3，人眼区域定位，根据人眼比例和积分计算结果定位人眼区域；
S4，瞳孔区域定位，使用边缘检测定位瞳孔区域。
2.根据权利要求1所述的一种基于投影积分和边缘检测的瞳孔区域定位方法，其特征在于，所述步骤S4瞳孔区域定位操作包括：S41高斯滤波平滑、S42计算梯度幅值和方向、S43梯度幅值非极大值抑制、S44边缘检测和连接操作。
CN201611237359.6A 2016-12-29 2016-12-29 一种基于投影积分和边缘检测的瞳孔区域定位方法 Pending CN108256391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611237359.6A CN108256391A (zh) 2016-12-29 2016-12-29 一种基于投影积分和边缘检测的瞳孔区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611237359.6A CN108256391A (zh) 2016-12-29 2016-12-29 一种基于投影积分和边缘检测的瞳孔区域定位方法

Publications (1)

Publication Number Publication Date
CN108256391A true CN108256391A (zh) 2018-07-06

Family

ID=62719580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611237359.6A Pending CN108256391A (zh) 2016-12-29 2016-12-29 一种基于投影积分和边缘检测的瞳孔区域定位方法

Country Status (1)

Country Link
CN (1) CN108256391A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110623629A (zh) * 2019-07-31 2019-12-31 毕宏生 一种基于眼球运动的视觉注意检测方法及***
CN110942043A (zh) * 2019-12-02 2020-03-31 深圳市迅雷网络技术有限公司 一种瞳孔图像处理方法及相关装置
CN111160291A (zh) * 2019-12-31 2020-05-15 上海易维视科技有限公司 基于深度信息与cnn的人眼检测方法
CN113221798A (zh) * 2021-05-24 2021-08-06 南京伯索网络科技有限公司 一种基于网络课堂学员积极度评价***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110623629A (zh) * 2019-07-31 2019-12-31 毕宏生 一种基于眼球运动的视觉注意检测方法及***
CN110942043A (zh) * 2019-12-02 2020-03-31 深圳市迅雷网络技术有限公司 一种瞳孔图像处理方法及相关装置
CN110942043B (zh) * 2019-12-02 2023-11-14 深圳市迅雷网络技术有限公司 一种瞳孔图像处理方法及相关装置
CN111160291A (zh) * 2019-12-31 2020-05-15 上海易维视科技有限公司 基于深度信息与cnn的人眼检测方法
CN111160291B (zh) * 2019-12-31 2023-10-31 上海易维视科技有限公司 基于深度信息与cnn的人眼检测方法
CN113221798A (zh) * 2021-05-24 2021-08-06 南京伯索网络科技有限公司 一种基于网络课堂学员积极度评价***

Similar Documents

Publication Publication Date Title
CN108256391A (zh) 一种基于投影积分和边缘检测的瞳孔区域定位方法
CN108256392A (zh) 基于投影积分和区域灰度极值的瞳孔区域定位方法
CN108256379A (zh) 一种基于瞳孔定位的眼睛姿势识别方法
CN106796449A (zh) 视线追踪方法及装置
CN110619628A (zh) 一种人脸图像质量评估方法
CN106980852A (zh) 基于角点检测与匹配的药品识别***及其识别方法
Marrugo et al. Retinal image analysis: preprocessing and feature extraction
CN1885314A (zh) 一种虹膜图像预处理方法
Mohsin et al. Pupil detection algorithm based on feature extraction for eye gaze
Everingham et al. Head-mounted mobility aid for low vision using scene classification techniques
CN112287765A (zh) 人脸活体检测方法、装置、设备及可读存储介质
Parikh et al. Effective approach for iris localization in nonideal imaging conditions
CN108268125A (zh) 一种基于计算机视觉的运动手势检测及跟踪方法
Zaim Automatic segmentation of iris images for the purpose of identification
Khilari Iris tracking and blink detection for human-computer interaction using a low resolution webcam
CN108256387A (zh) 一种基于灰度投影积分的眼睛区域定位方法
CN113011333B (zh) 基于近红外图像获取最佳静脉穿刺点和方向的***及方法
CN206363347U (zh) 基于角点检测与匹配的药品识别***
Everingham et al. Head-mounted mobility aid for low vision using scene classification techniques
CN107392170A (zh) 一种符合自然生长规律的掌纹主线提取方法
CN109902539A (zh) 一种新的瞳孔区域定位方法
Hassan et al. Enhance iris segmentation method for person recognition based on image processing techniques
De Luca et al. Deploying an Instance Segmentation Algorithm to Implement Social Distancing for Prosthetic Vision
Wang et al. Face detection based on adaboost and face contour in e-learning
Beigzadeh et al. Detection of face and facial features in digital images and video frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180706

WD01 Invention patent application deemed withdrawn after publication