CN105809085B - 人眼定位方法及装置 - Google Patents
人眼定位方法及装置 Download PDFInfo
- Publication number
- CN105809085B CN105809085B CN201410837111.8A CN201410837111A CN105809085B CN 105809085 B CN105809085 B CN 105809085B CN 201410837111 A CN201410837111 A CN 201410837111A CN 105809085 B CN105809085 B CN 105809085B
- Authority
- CN
- China
- Prior art keywords
- angle point
- image
- eye
- mask
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000001747 pupil Anatomy 0.000 claims description 27
- 230000005484 gravity Effects 0.000 claims description 20
- 230000001629 suppression Effects 0.000 claims description 12
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 4
- 241001300078 Vitrea Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人眼定位方法及装置,所述人眼定位方法包括以下步骤:根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;基于预先获取的人眼图像及所述掩膜板获取掩膜图像;根据掩膜图像从人眼图像中获取强角点的位置信息;基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置。本发明能够对人眼的特征点进行准确的定位。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人眼定位方法及装置。
背景技术
在人机交互技术领域,人脸识别技术起到越来越重要的作用,特别是对于人脸中的双眼、嘴巴等形态丰富的部位,可以对其进行分析实现表情识别、年龄识别等。目前,对于人眼的定位,所采用的技术主要是通过边缘或者轮廓进行处理的,如使用左右角点再加上轮廓进行定位,但轮廓容易受到外界干扰,特别是在人戴眼镜的情况下,由于眼镜会对人眼轮廓产生影响从而造成人眼定位并不准确;另外,在受到背景较为复杂以及光照的影响时,会进一步影响人眼的定位,定位的效果不理想。
发明内容
本发明的主要目的在于提供一种人眼定位方法及装置,旨在解决人眼的定位不够准确的技术问题。
为实现上述目的,本发明提供一种人眼定位方法,所述人眼定位方法包括以下步骤:
根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;
基于预先获取的人眼图像及所述掩膜板获取掩膜图像;
根据掩膜图像从人眼图像中获取强角点的位置信息;
基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置。
优选地,所述根据人眼的特征点的对称特征建立掩膜板的步骤包括:
建立一与人眼形状对应的掩膜板,其中,所述掩膜板中与所述外角点对应的位置的像素数量从所述掩膜板上外角点位置的边缘至所述掩膜板中心的方向呈等差数列;所述掩膜板中与所述内角点对应的位置的像素数量从所述掩膜板上内角点位置的边缘至所述掩膜板中心的方向呈等差数列。
优选地,所述基于预先获取的人眼图像及所述掩膜板获取掩膜图像的步骤包括:
将所述掩膜板在所述人眼图像上移动并进行像素值比较,根据比较结果获取所述人眼图像上的有效像素点;
对所述有效像素点进行统计并进行阈值化及非极大值抑制处理,获取掩膜图像;
计算所述掩膜图像的中心位置及重心位置,根据所述中心位置及重心位置对所述掩膜图像进行修正。
优选地,所述根据掩膜图像从人眼图像中获取强角点的位置信息的步骤包括:
根据掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息。
优选地,所述基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图形中人眼的特征点的位置的步骤包括:
基于预先从人眼图形中获取的人眼的特征点的粗略位置信息计算瞳孔的中心位置;
获取各强角点与对应的人眼的特征点及瞳孔的中心位置两点所在的连线的距离,以距离最小对应的强角点的位置作为人眼图像中所述人眼的特征点的位置。
此外,为实现上述目的,本发明还提供一种人眼定位装置,所述人眼定位装置包括:
建立模块,用于根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;
第一获取模块,用于基于预先获取的人眼图像及所述掩膜板获取掩膜图像;
强角点获取模块,用于根据掩膜图像从人眼图像中获取强角点的位置信息;
第二获取模块,用于基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置。
优选地,所述建立模块进一步用于建立一与人眼形状对应的掩膜板,其中,所述掩膜板中与所述外角点对应的位置的像素数量从所述掩膜板上外角点位置的边缘至所述掩膜板中心的方向呈等差数列;所述掩膜板中与所述内角点对应的位置的像素数量从所述掩膜板上内角点位置的边缘至所述掩膜板中心的方向呈等差数列。
优选地,所述第一获取模块包括:
比较单元,用于将所述掩膜板在所述人眼图像上移动并进行像素值比较,根据比较结果获取所述人眼图像上的有效像素点;
处理单元,用于对所述有效像素点进行统计并进行阈值化及非极大值抑制处理,获取掩膜图像;
修正单元,用于计算所述掩膜图像的中心位置及重心位置,根据所述中心位置及重心位置对所述掩膜图像进行修正。
优选地,所述强角点获取模块具体用于根据掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息。
优选地,所述第二获取模块包括:
计算单元,用于基于预先从人眼图像中获取的人眼的特征点的粗略位置信息计算瞳孔的中心位置;
获取单元,用于获取各强角点与对应的人眼的特征点及瞳孔的中心位置两点所在的连线的距离,以距离最小对应的强角点的位置作为人眼图像中所述人眼的特征点的位置。
本发明一种人眼定位方法及装置,所选取人眼的特征点包括外角点、内角点、最高角点及最低角点,根据人眼的外角点、内角点、最高角点及最低角点的对称特性建立掩膜板,掩膜板的形状更接近人眼的形状,然后根据人眼图像及掩膜板获取掩膜图像,根据掩膜图像从人眼图像中获取强角点,根据人眼的特征点的粗略位置及强角点的位置选取出最佳像素点,以其位置作为人眼的特征点的位置,实现人眼特征点的定位,本发明由于使用多个角点来建立掩膜板,且掩膜板的面积大小要小于人眼图像的面积大小,即使在受到外界干扰或者是在人戴眼镜的情况下,能通过掩膜板获取眼镜框内的特征点,从而能够对人眼的特征点进行准确的定位。
附图说明
图1为本发明人眼定位方法一实施例的流程示意图;
图2为本发明人眼的特征点的示意图;
图3为本发明建立的掩膜板的示意图;
图4为图1中步骤S102的细化流程示意图;
图5为图1中步骤S104的细化流程示意图;
图6为本发明人眼定位装置一实施例的功能模块示意图;
图7为图6中第一获取模块的细化功能模块示意图;
图8为图6中第二获取模块的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种人眼定位方法,参照图1,在一实施例中,该人眼定位方法包括:
步骤S101,根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;
本实施例中,在对输入人眼图像进行分析的过程中,双眼的位置为左右眼各采用4个特征点进行表述,如图2所示,以人的右眼为例,外角点为01,内角点为02、最高角点为03及最低角点为04,左眼与右眼进行类似的设计和处理,本发明需要对这四个特征点进行准确的定位。
本实施例中掩膜板是根据人眼的物理形状分布特性,即对称性进行设计。具体为:以像素点建立一与人眼形状对应的窗口模板,其中,窗口模板中与外角点、内角点对应的位置的像素点从边缘至中心的方向呈等差数列。建立完成后的窗口模板即为掩膜板,掩膜板的面积大小小于人眼图像的面积大小。
如图3所示,本实施例的掩膜板近似为棱形(阴影部分),建立与人眼形状对应的掩膜板,01、02、03、04分别对应外角点、内角点、最高角点及最低角点,掩膜板为一预设大小的二值化图像,即固定的图像大小,四个角点在模板中的相对位置是固定的,并符合人眼形状特征,掩膜板上四个角点组成的区域内为有效像素区域,像素值为1,而区域外像素值为0,以便通过有效像素去掉人眼图像中非人眼区域图像的干扰。掩膜板中与外角点对应区域的像素数量从掩膜板上外角点所在位置的边缘至掩膜板的中心的方向呈等差数列(如虚线所框住的部分),掩膜板中与内角点对应区域的像素数量从掩膜板上内角点所在位置的边缘至中心的方向呈等差数列(如虚线所框住的部分),对右眼的外角点01(或内角点),第一列像素数为1,第二列像素数为3,第三列像素数为5成等差数列;其中第一列是靠近外角点位置的边缘,而第三列是靠近掩膜板中心位置(即掩膜板上瞳孔所在位置),而在最高角点(或最低角点),行像素数可以不成等差数列或者成等差数列。另外,在进行掩膜板设计的过程中,掩膜板的列像素的数量要大于行像素的数量,这主要是因为人眼在最高角点(或最低角点)的弧度要大于在外角点(或内角点)的弧度。
本实施例中,可以只建立包括外角点、内角点、最高角点及最低角点的一个掩膜板,也可以每一个角点建立一个掩膜板,如单独建立外角点的掩膜板、内角点的掩膜板、最高角点的掩膜板、最低角点的掩膜板共四个掩膜板,四个掩膜板合并后与人眼形状对应,且同样地,外角点及内角点对应的这两个掩膜板的像素数量从掩膜板上角点所在位置的边缘至中心的方向呈等差数列。
步骤S102,基于预先获取的人眼图像及所述掩膜板获取掩膜图像;
本实施例中,将掩膜板在人眼图像上进行移动,并将掩膜板上的像素与人眼图像上的像素的像素值进行比较,以获取人眼图像中的有效像素点,其中,各角点的有效像素点的集合组成人眼图像中对应角点的有效像素区域。
然后,对人眼图像中的有效像素点进行阈值化得到掩膜图像,但该掩膜图像中存在大量的伪特征,因此,需要对存在大量伪特征的掩膜图像进行修正,以最终得到包含少量有效像素点的掩膜图像。
步骤S103,根据掩膜图像从人眼图像中获取强角点的位置信息;
其中,本步骤包括两种获取强角点的位置信息的方式。
在第一实施例中,步骤S103获取强角点的位置信息的第一种方式包括:根据掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息,即按照掩膜图像中有效像素点的像素位置确定人眼图像中有效像素点的位置,然后对确定人眼图像中有效像素点位置的像素进行预设的强角点算法,确定人眼图像中强角点的位置信息。
在第二实施例中,在第一实施例的基础上,步骤S103获取强角点的位置信息的第二种方式包括:根据掩膜图像从人眼图像中获取强角点位置信息之前还进一步包括对掩膜图像进行去伪处理,掩膜图像去伪处理具体包括:可对掩膜图像采用预定的强角点算法进行计算,计算得到掩膜图像的响应函数值,通过响应函数值与预设的阈值来判断掩膜图像中的有效像素点是否为强角点,从而进一步对有效像素点进行筛选,剔除大量的伪角点,获取到掩膜图像上强角点的位置信息,然后再利用该去伪处理后的掩膜图像的强角点作为去伪处理后掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取人眼图像的强角点的位置信息。
其中,上述两种获取强角点的位置信息方式中,按照预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息包括:对于人眼的外角点、内角点、最高角点及最低角点各自的粗略位置,利用预设的强角点算法(如Harris算法)求得角点响应函数值,然后根据掩膜图像来定义非极大值抑制的局部范围,并进行非极大值抑制,最终通过像素点的响应函数值是否满足预设角点阈值来确定人眼图像的强角点。
步骤S104,基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置。
本实施例中,对于人眼的外角点、内角点、最高角点及最低角点各自的粗略位置,可采用现有技术中的各种实现方式,如可首先利用Haar特征等人脸检测算法,获取人脸的位置,然通过AAM(Active Appearance Model,主观外观模型)算法获取人脸的位置,并得到左右眼的八个特征点的粗略位置信息,同时获取瞳孔的中心位置,或者也可以采用其他方法,如采用adaBoost(即迭代)训练得到级联式的眼角检测器定位眼角的位置(即外角点),根据分类器得到内外两个角点的位置信息,然后利用反向投影得到眼睛最高角点及最低角点的位置。
本实施例分别根据瞳孔的中心位置及人眼的特征点的粗略位置之间的连线,根据该连线与上述强角点之间的点到线的距离关系从上述强角点中选出最佳像素点,以其位置作为人眼的特征点的位置,其中,距离最近对应的强角点为人眼的特征点。
与现有技术相比,本实施例中,所选取人眼的特征点包括外角点、内角点、最高角点及最低角点,根据人眼的外角点、内角点、最高角点及最低角点的对称特性建立掩膜板,掩膜板的形状更接近人眼的形状,然后根据人眼图像及掩膜板获取掩膜图像,根据掩膜图像从人眼图像中获取强角点,根据人眼的特征点的粗略位置及强角点的位置选取出最佳像素点,以其位置作为人眼的特征点的位置,实现人眼特征点的定位,本实施例由于使用多个角点来建立掩膜板,且掩膜板的面积大小要小于人眼图像的面积大小,即使在受到外界干扰或者是在人戴眼镜的情况下,能通过掩膜板获取眼镜框内的特征点,从而能够对人眼的特征点进行准确的定位。
在一优选的实施例中,如图4所示,在上述图1的实施例的基础上,上述步骤S102包括:
步骤S1021,将所述掩膜板在所述人眼图像上移动并进行像素值比较,根据比较结果获取所述人眼图像上的有效像素点;
步骤S1022,对所述有效像素点进行统计并进行阈值化及非极大值抑制处理,获取掩膜图像;
步骤S1023,计算所述掩膜图像的中心位置及重心位置,根据所述中心位置及重心位置对所述掩膜图像进行修正。
本实施例中,掩膜板与人眼图像使用同一坐标,两者的像素的位置对应。将掩膜板在人眼图像上进行移动,在移动的过程中,将该掩膜板有效像素内的对人眼图像的所有像素值与人眼图像上各特征点位置像素值进行比较;其中,I(i)指与掩膜板相对应的第i个有效像素所对应的位置下,人眼图像的像素值;I(o)指与掩膜板相对应的当前所计算的特征点所对应的位置下,人眼图像的像素值;C(i)与掩膜板相对应的第i个有效像素所对应的位置下像素比较结果;如下所示:
其中,i值为掩膜板的像素位置,t是一个像素差异阈值,通常对于对比度比较低的区域,选取较小的t;反之,则t的阈值可以选择大些,C(i)=1的像素点为有效像素点,本实施例中,
将上述有效像素点进行求和统计,即:
然后,进行阈值化及非极大值抑制处理,得到掩模图像在当前特征点下某位置的值mask(o);
其中,g为[1,55]之间的一阈值。
上述方式得到的掩模图像mask(o)中,包含大量的伪特征,因此需要根据掩模图像mask(o)的中心位置及重心位置对其进行修正,重心位置的计算如下:
(x0,y0)即为重心位置,x为横坐标轴,y为纵坐标轴,m为掩模图像mask(o)所有像素点的总个数,中心位置的计算可采用现有技术。
设定一阈值g,g为有效像素的个数,掩模图像mask(o)的中心位置及重心位置两者的距离大于该阈值时,对掩模图像mask(o)进行修正。
在一优选的实施例中,如图5所示,在上述图4的实施例的基础上,上述步骤S104包括:
步骤S1041,基于预先从人眼图像中获取的人眼的特征点的粗略位置信息计算瞳孔的中心位置;
步骤S1042,获取各强角点与对应的人眼的特征点及瞳孔的中心位置两点所在的连线的距离,以距离最小对应的强角点的位置作为所述人眼图像中人眼的特征点的位置。
本实施例中,在获取强角点后,候选的像素点已经比较少了,接下来要在这些候选点中提取最佳的角点作为眼睛特征点,其包括:基于特征图像获取瞳孔的中心位置,根据瞳孔的中心位置分别与特征点各自的粗略位置连线与所述强角点之间的距离关系选取出人眼的特征点。
本实施例中,使用上述的AAM算法获知人眼瞳孔的位置,根据瞳孔的中心位置分别与特征点各自的粗略位置建立直线方程,如瞳孔的中心位置与最高角点的直线方程为:y=kx+b,则强角点到该直线的的距离L为最佳人眼特征点的权重,当距离L越大,权重越低,可去除;距离L越小,权重越大,保留对应的强角点。
然后计算所保留的强角点到瞳孔间的距离L与人眼宽度的差值,该差值在一定误差之内的强角点成为最佳强角点,该最佳强角点作为人眼的特征点,然后获取其位置。若无最佳强角点,则将上述对应的粗略位置作为最佳的人眼的特征点。
本实施例中,获取左右眼的内角点粗略位置,计算两者之间的距离d,可根据该值计算出人眼的宽度。
本发明提供一种人眼定位装置,参照图6,在一实施例中,该人眼定位装置包括:
建立模块101,用于根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;
本实施例中,在对输入人眼图像进行分析的过程中,双眼的位置为左右眼各采用4个特征点进行表述,如图2所示,以人的右眼为例,外角点为01,内角点为02、最高角点为03及最低角点为04,左眼与右眼进行类似的设计和处理,本发明需要对这四个特征点进行准确的定位。
本实施例中掩膜板是根据人眼的物理形状分布特性,即对称性进行设计。具体为:以像素点建立一对称的且与人眼形状对应的窗口模板,其中,窗口模板中与外角点、内角点对应的位置的像素点从边缘至中心的方向呈等差数列。建立完成后的窗口模板即为掩膜板,掩膜板面积的大小小于人眼图像面积的大小。
如图3所示,本实施例的掩膜板近似为棱形(阴影部分),建立与人眼形状对应的掩膜板,01、02、03、04分别对应外角点、内角点、最高角点及最低角点,掩膜板为一预设大小的二值化图像,即固定的图像大小,四个角点在模板中的相对位置是固定的,并符合人眼形状特征,掩膜板上四个角点组成的区域内为有效像素区域,像素值为1,而区域外像素值为0,以便通过有效像素去掉人眼图像中非人眼区域图像的干扰。掩膜板中与外角点对应区域的像素数量从掩膜板上外角点所在位置的边缘至掩膜板的中心的方向呈等差数列(如虚线所框住的部分),掩膜板中与内角点对应区域的像素数量从掩膜板上内角点所在位置的边缘至中心的方向呈等差数列(如虚线所框住的部分),对右眼的外角点01(或内角点),第一列像素数为1,第二列像素数为3,第三列像素数为5成等差数列;其中第一列是靠近外角点位置的边缘,而第三列是靠近掩膜板中心位置(即掩膜板上瞳孔所在位置),而在最高角点(或最低角点),行像素数可以不成等差数列或者成等差数列。另外,在进行掩膜板设计的过程中,掩膜板的列像素的数量要大于行像素的数量,这主要是因为人眼在最高角点(或最低角点)的弧度要大于在外角点(或内角点)的弧度。
本实施例中,可以只建立包括外角点、内角点、最高角点及最低角点的一个掩膜板,也可以每一个角点建立一个掩膜板,如单独建立外角点的掩膜板、内角点的掩膜板、最高角点的掩膜板、最低角点的掩膜板共四个掩膜板,四个掩膜板合并后与人眼形状对应,且同样地,外角点及内角点对应的这两个掩膜板的像素数量从掩膜板上角点所在位置的边缘至中心的方向呈等差数列。
第一获取模块102,用于基于预先从人眼图像中获取的人眼图像及所述掩膜板获取掩膜图像;
本实施例中,将掩膜板在人眼图像上进行移动,并将掩膜板上的像素与人眼图像上的像素的像素值进行比较,以获取人眼图像中的有效像素点,其中,各角点的有效像素点的集合组成人眼图像中对应角点的有效像素区域。
然后,对人眼图像中的有效像素点进行阈值化得到掩膜图像,但该掩膜图像中存在大量的伪特征,因此,需要对存在大量伪特征的掩膜图像进行修正,以最终得到包含少量有效像素点的掩膜图像。
强角点获取模块103,用于根据掩膜图像从人眼图像中获取强角点的位置信息;
其中,强角点获取模块103获取强角点的位置信息包括两种方式。
在第一实施例中,强角点获取模块103获取强角点的位置信息的第一种方式包括:根据掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息,即按照掩膜图像中有效像素点的像素位置确定人眼图像中有效像素点的位置,然后对确定人眼图像中有效像素点位置的像素进行预设的强角点算法,确定人眼图像中强角点的位置信息。
在第二实施例中,在第一实施例的基础上,强角点获取模块103获取强角点的位置信息的第二种方式包括:强角点获取模块103先对掩膜图像进行去伪处理,掩膜图像去伪处理具体包括:可对掩膜图像采用预定的强角点算法进行计算,计算得到掩膜图像的响应函数值,通过响应函数值与预设的阈值来判断掩膜图像中的有效像素点是否为强角点,从而进一步对有效像素点进行筛选,剔除大量的伪角点,获取到掩膜图像上强角点的位置信息,然后再利用该去伪处理后的掩膜图像的强角点作为去伪处理后掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取人眼图像的强角点的位置信息。
其中,上述两种获取强角点的位置信息方式中,按照预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息包括:对于人眼的外角点、内角点、最高角点及最低角点各自的粗略位置,利用Harris算法求得角点响应函数值,然后根据掩膜图像来定义非极大值抑制的局部范围,并进行非极大值抑制,最终通过像素点的响应函数值是否满足预设角点阈值来确定人眼图像的强角点。
第二获取模块104,用于基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置。
本实施例中,对于人眼的外角点、内角点、最高角点及最低角点各自的粗略位置,可采用现有技术中的各种实现方式,如可首先利用Haar特征等人脸检测算法,获取人脸的位置,然通过AAM主观外观模型算法获取人脸的位置,并得到左右眼的八个特征点的粗略位置信息,同时获取瞳孔的中心位置,或者也可以采用其他方法,如采用adaBoost(即迭代)训练得到级联式的眼角检测器定位眼角的位置(即外角点),根据分类器得到内外两个角点的位置信息,然后利用反向投影得到眼睛最高角点及最低角点的位置。
本实施例分别根据瞳孔的中心位置及人眼的特征点的粗略位置之间的连线,根据该连线与上述强角点之间的点到线的距离关系从上述强角点中选出最佳像素点,以其位置作为人眼的特征点的位置,其中,距离最近对应的强角点为人眼的特征点。
在一优选的实施例中,如图7所示,在上述图6的实施例的基础上,所述第一获取模块102包括:
比较单元1021,用于将所述掩膜板在所述人眼图像上移动并进行像素值比较,根据比较结果获取所述人眼图像上的有效像素点;
处理单元1022,用于对所述有效像素点进行统计并进行阈值化及非极大值抑制处理,获取掩膜图像;
修正单元1023,用于计算所述掩膜图像的中心位置及重心位置,根据所述中心位置及重心位置对所述掩膜图像进行修正。
本实施例中,掩膜板与人眼图像使用同一坐标,两者的像素的位置对应。将掩膜板在人眼图像上进行移动,在移动的过程中,将该掩膜板有效像素内的对人眼图像的所有像素值与人眼图像上各特征点位置像素值进行比较;其中,I(i)指与掩膜板相对应的第i个有效像素所对应的位置下,人眼图像的像素值;I(o)指与掩膜板相对应的当前所计算的特征点所对应的位置下,人眼图像的像素值;C(i)与掩膜板相对应的第i个有效像素所对应的位置下像素比较结果;如下所示:
其中,i值为掩膜板的像素位置,t是一个像素差异阈值,通常对于对比度比较低的区域,选取较小的t;反之,则t的阈值可以选择大些,C(i)=1的像素点为有效像素点,本实施例中,
将上述有效像素点进行求和统计,即:
然后,进行阈值化及非极大值抑制处理,得到掩模图像在当前特征点下某位置的值mask(o);
其中,g为[1,55]之间的一阈值。
上述方式得到的掩模图像mask(o)中,包含大量的伪特征,因此需要根据掩模图像mask(o)的中心位置及重心位置对其进行修正,重心位置的计算如下:
(x0,y0)即为重心位置,x为横坐标轴,y为纵坐标轴,m为掩模图像mask(o)所有像素点的总个数,中心位置的计算可采用现有技术。
设定一阈值g,g为有效像素的个数,掩模图像mask(o)的中心位置及重心位置两者的距离大于该阈值时,对掩模图像mask(o)进行修正。
在一优选的实施例中,如图8所示,在上述图6的实施例的基础上,所述第二获取模块104包括:
计算单元1041,用于基于预先从人眼图像中获取的人眼的特征点的粗略位置信息计算瞳孔的中心位置;
获取单元1042,用于获取各强角点与对应的人眼的特征点及瞳孔的中心位置两点所在的连线的距离,以距离最小对应的强角点的位置作为所述人眼图像中人眼的特征点的位置。
本实施例中,在获取强角点后,候选的像素点已经比较少了,接下来要在这些候选点中提取最佳的角点作为眼睛特征点,其包括:基于特征图像获取瞳孔的中心位置,根据瞳孔的中心位置分别与特征点各自的粗略位置连线与所述强角点之间的距离关系选取出人眼的特征点。
本实施例中,使用上述的AAM算法获知人眼瞳孔的位置,根据瞳孔的中心位置分别与特征点各自的粗略位置建立直线方程,如瞳孔的中心位置与最高角点的直线方程为:y=kx+b,则强角点到该直线的的距离L为最佳人眼特征点的权重,当距离L越大,权重越低,可去除;距离L越小,权重越大,保留对应的强角点。
然后计算所保留的强角点到瞳孔间的距离L与人眼宽度的差值,该差值在一定误差之内的强角点成为最佳强角点,该最佳强角点作为人眼的特征点,然后获取其位置。若无最佳强角点,则将上述对应的粗略位置作为最佳的人眼的特征点。
本实施例中,获取左右眼的内角点粗略位置,计算两者之间的距离d,可根据该值计算出人眼的宽度。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种人眼定位方法,其特征在于,所述人眼定位方法包括以下步骤:
根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;
基于预先获取的人眼图像及所述掩膜板获取掩膜图像;
根据掩膜图像从人眼图像中获取强角点的位置信息;
基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置;
所述基于预先获取的人眼图像及所述掩膜板获取掩膜图像的步骤包括:
将所述掩膜板在所述人眼图像上移动并进行像素值比较,根据比较结果获取所述人眼图像上的有效像素点;
对所述有效像素点进行统计并进行阈值化及非极大值抑制处理,获取掩膜图像;
计算所述掩膜图像的中心位置及重心位置,根据所述中心位置及重心位置对所述掩膜图像进行修正。
2.如权利要求1所述的人眼定位方法,其特征在于,所述根据人眼的特征点的对称特征建立掩膜板的步骤包括:
建立一与人眼形状对应的掩膜板,其中,所述掩膜板中与所述外角点对应的位置的像素数量从所述掩膜板上外角点位置的边缘至所述掩膜板中心的方向呈等差数列;所述掩膜板中与所述内角点对应的位置的像素数量从所述掩膜板上内角点位置的边缘至所述掩膜板中心的方向呈等差数列。
3.如权利要求1所述的人眼定位方法,其特征在于,所述根据掩膜图像从人眼图像中获取强角点的位置信息的步骤包括:
根据掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息。
4.如权利要求1所述的人眼定位方法,其特征在于,所述基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图形中人眼的特征点的位置的步骤包括:
基于预先从人眼图形中获取的人眼的特征点的粗略位置信息计算瞳孔的中心位置;
获取对应的人眼的特征点及瞳孔的中心位置两点所在的连线以及各强角点与该连线的距离,以距离最小对应的强角点的位置作为人眼图像中所述人眼的特征点的位置。
5.一种人眼定位装置,其特征在于,所述人眼定位装置包括:
建立模块,用于根据人眼的特征点的对称特征建立掩膜板,所述特征点包括外角点、内角点、最高角点及最低角点;
第一获取模块,用于基于预先获取的人眼图像及所述掩膜板获取掩膜图像,所述第一获取模块包括:
比较单元,用于将所述掩膜板在所述人眼图像上移动并进行像素值比较,根据比较结果获取所述人眼图像上的有效像素点;
处理单元,用于对所述有效像素点进行统计并进行阈值化及非极大值抑制处理,获取掩膜图像;
修正单元,用于计算所述掩膜图像的中心位置及重心位置,根据所述中心位置及重心位置对所述掩膜图像进行修正;
强角点获取模块,用于根据掩膜图像从人眼图像中获取强角点的位置信息;
第二获取模块,用于基于预先从人眼图像中获取的人眼的特征点的粗略位置信息及所述强角点的位置信息获取人眼图像中人眼的特征点的位置。
6.如权利要求5所述的人眼定位装置,其特征在于,所述建立模块进一步用于建立一与人眼形状对应的掩膜板,其中,所述掩膜板中与所述外角点对应的位置的像素数量从所述掩膜板上外角点位置的边缘至所述掩膜板中心的方向呈等差数列;所述掩膜板中与所述内角点对应的位置的像素数量从所述掩膜板上内角点位置的边缘至所述掩膜板中心的方向呈等差数列。
7.如权利要求5所述的人眼定位装置,其特征在于,所述强角点获取模块具体用于根据掩膜图像的有效像素点以及预设的强角点算法从人眼图像中获取特征点对应的强角点的位置信息。
8.如权利要求5所述的人眼定位装置,其特征在于,所述第二获取模块包括:
计算单元,用于基于预先从人眼图像中获取的人眼的特征点的粗略位置信息计算瞳孔的中心位置;
获取单元,用于获取对应的人眼的特征点及瞳孔的中心位置两点所在的连线以及各强角点与该连线的距离,以距离最小对应的强角点的位置作为人眼图像中所述人眼的特征点的位置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410837111.8A CN105809085B (zh) | 2014-12-29 | 2014-12-29 | 人眼定位方法及装置 |
PCT/CN2014/095742 WO2016106617A1 (zh) | 2014-12-29 | 2014-12-31 | 人眼定位方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410837111.8A CN105809085B (zh) | 2014-12-29 | 2014-12-29 | 人眼定位方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105809085A CN105809085A (zh) | 2016-07-27 |
CN105809085B true CN105809085B (zh) | 2019-07-26 |
Family
ID=56283892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410837111.8A Active CN105809085B (zh) | 2014-12-29 | 2014-12-29 | 人眼定位方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105809085B (zh) |
WO (1) | WO2016106617A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107240112B (zh) * | 2017-06-28 | 2021-06-22 | 北京航空航天大学 | 一种复杂场景下个体x角点提取方法 |
CN107808397B (zh) * | 2017-11-10 | 2020-04-24 | 京东方科技集团股份有限公司 | 瞳孔定位装置、瞳孔定位方法和视线追踪设备 |
CN110443203B (zh) * | 2019-08-07 | 2021-10-15 | 中新国际联合研究院 | 基于对抗生成网络的人脸欺骗检测***对抗样本生成方法 |
CN111783621B (zh) * | 2020-06-29 | 2024-01-23 | 北京百度网讯科技有限公司 | 人脸表情识别及模型训练的方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120308124A1 (en) * | 2011-06-02 | 2012-12-06 | Kriegman-Belhumeur Vision Technologies, Llc | Method and System For Localizing Parts of an Object in an Image For Computer Vision Applications |
CN103514452A (zh) * | 2013-07-17 | 2014-01-15 | 浙江大学 | 一种水果形状检测方法及装置 |
CN103839050A (zh) * | 2014-02-28 | 2014-06-04 | 福州大学 | 基于特征点扩充及pca特征提取的asm定位算法 |
CN104063700A (zh) * | 2014-07-04 | 2014-09-24 | 武汉工程大学 | 自然光照正面人脸图像中的眼睛中心点定位的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100452081C (zh) * | 2007-06-01 | 2009-01-14 | 华南理工大学 | 一种人眼定位及人眼状态识别方法 |
WO2012144020A1 (ja) * | 2011-04-19 | 2012-10-26 | アイシン精機株式会社 | 瞼検出装置、瞼検出方法及びプログラム |
CN102831399A (zh) * | 2012-07-30 | 2012-12-19 | 华为技术有限公司 | 确定眼睛状态的方法和装置 |
CN103136512A (zh) * | 2013-02-04 | 2013-06-05 | 重庆市科学技术研究院 | 一种瞳孔定位方法及*** |
-
2014
- 2014-12-29 CN CN201410837111.8A patent/CN105809085B/zh active Active
- 2014-12-31 WO PCT/CN2014/095742 patent/WO2016106617A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120308124A1 (en) * | 2011-06-02 | 2012-12-06 | Kriegman-Belhumeur Vision Technologies, Llc | Method and System For Localizing Parts of an Object in an Image For Computer Vision Applications |
CN103514452A (zh) * | 2013-07-17 | 2014-01-15 | 浙江大学 | 一种水果形状检测方法及装置 |
CN103839050A (zh) * | 2014-02-28 | 2014-06-04 | 福州大学 | 基于特征点扩充及pca特征提取的asm定位算法 |
CN104063700A (zh) * | 2014-07-04 | 2014-09-24 | 武汉工程大学 | 自然光照正面人脸图像中的眼睛中心点定位的方法 |
Non-Patent Citations (2)
Title |
---|
Semantic feature extraction for accurate eye corner detection;Cui Xu 等;《19th International Conference on Pattern Recognition》;20081211;正文第1-4页 * |
基于近红外光和可变形模板的人眼特征检测方法;黄志武 等;《电脑知识与技术》;20080520;第1300-1308页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2016106617A1 (zh) | 2016-07-07 |
CN105809085A (zh) | 2016-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
US11403874B2 (en) | Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium | |
US7953253B2 (en) | Face detection on mobile devices | |
CN105205480B (zh) | 一种复杂场景中人眼定位方法及*** | |
CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
CN104036278B (zh) | 人脸算法标准脸部图像的提取方法 | |
CN103093210B (zh) | 人脸识别中眼镜的鉴别方法及装置 | |
CN109670430A (zh) | 一种基于深度学习的多分类器融合的人脸活体识别方法 | |
CN106570447B (zh) | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 | |
Jana et al. | Age estimation from face image using wrinkle features | |
CN103971112B (zh) | 图像特征提取方法及装置 | |
US20240021015A1 (en) | System and method for selecting images for facial recognition processing | |
CN104050448B (zh) | 一种人眼定位、人眼区域定位方法及装置 | |
CN105893946A (zh) | 一种正面人脸图像的检测方法 | |
CN105359162A (zh) | 用于图像中的与脸部有关的选择和处理的图像掩模 | |
CN104318603A (zh) | 从手机相册调取照片生成3d模型的方法及*** | |
CN105809085B (zh) | 人眼定位方法及装置 | |
CN105117705B (zh) | 一种虹膜图像质量级联式评价方法 | |
CN103902958A (zh) | 人脸识别的方法 | |
CN106446862A (zh) | 一种人脸检测方法及*** | |
CN105893963B (zh) | 一种筛选视频中单个行人目标的最佳易识别帧的方法 | |
CN104008364B (zh) | 人脸识别方法 | |
CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
CN109858375A (zh) | 活体人脸检测方法、终端及计算机可读存储介质 | |
CN106203375A (zh) | 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |