CN106570447B - 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 - Google Patents
基于灰度直方图匹配的人脸照片太阳镜自动去除方法 Download PDFInfo
- Publication number
- CN106570447B CN106570447B CN201510941267.5A CN201510941267A CN106570447B CN 106570447 B CN106570447 B CN 106570447B CN 201510941267 A CN201510941267 A CN 201510941267A CN 106570447 B CN106570447 B CN 106570447B
- Authority
- CN
- China
- Prior art keywords
- eye
- target
- gray
- sunglasses
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000001508 eye Anatomy 0.000 claims abstract description 159
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 24
- 230000001815 facial effect Effects 0.000 claims abstract description 17
- 239000011521 glass Substances 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 210000005252 bulbus oculi Anatomy 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000012986 modification Methods 0.000 abstract description 3
- 230000004048 modification Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于灰度直方图匹配的人脸照片太阳镜自动去除方法，包括以下步骤：包括以下步骤：获取采集的初始人脸图像，从而根据特征点信息获得描述全脸轮廓线信息和脸部五官的特征点位置和五官轮廓线信息；获取描述左右两只眼睛和两只眉毛的特征点的具***置，分别获得左右两只眼睛部位的横向、纵向上最值，勾勒出目标图片区；获取未佩戴太阳镜的参考人脸图像；并根据获得的左右两只眼睛和两只眉毛的位置，分别计目标图片区中眉毛区域和眼睛区域各自的灰度直方图；对修饰后目标图片灰度直方图进行直方图均衡化操作，修饰后目标图片灰度直方图的灰度分布均会完全覆盖[0,255]；将获得的太阳镜目标区域取并集获得修正后太阳镜目标区域。本发明大大提高了最终的识别率，提高该技术的易用性和实用性。
Description
技术领域
本发明涉及一种人脸识别及其相关领域的方法，尤其涉及一种基于灰度直方图匹配的人脸照片太阳镜自动去除方法。
背景技术
在机器学习、模式识别和计算机视觉等领域，人脸识别技术是一项热门的研究和应用领域。该技术直接基于人的脸部特征信息进行身份识别或其它面部信息的提取和判断，广泛应用于诸如安全领域(门禁***或监视***，智能手机的解锁应用)、娱乐领域(游戏、面部表情模仿)以及服务领域(服务类机器人)。
本领域相关现有技术主要集中在对未佩戴任何遮挡物(包括眼镜、帽子或口罩)的提取和识别；对于佩戴眼镜的人脸照片，也主要集中于佩戴没有变色效果的眼镜。经过试验得出，一旦人脸佩戴上有色的太阳眼镜，其识别率会大大降低，严重影响该技术的推广和应用。为了提高该技术的易用性和实用性，本专利提出一种恢复被太阳眼镜覆盖区域图像信息的方法，从而大大提高最终的识别率。
发明内容
本发明的目的是提供一种基于灰度直方图匹配的人脸照片太阳镜自动去除方法，该人脸照片太阳镜自动去除方法克服了人脸佩戴上有色的太阳眼镜，其识别率会大大降低，严重影响该技术的推广和应用的不足，大大提高了最终的识别率，提高该技术的易用性和实用性。
为达到上述目的，本发明采用的技术方案是：一种基于灰度直方图匹配的人脸照片太阳镜自动去除方法，包括以下步骤：
步骤一、获取采集的初始人脸图像，并通过已训练好的主动形状模型获取79个特征点信息，从而根据79个特征点信息获得描述全脸轮廓线信息和脸部五官的特征点位置和五官轮廓线信息；
步骤二、根据步骤一中获取的79个特征点中，选取描述左、右眼球中心的两个特征点，对整幅照片进行-θ角的旋转操作后获得旋转后初始人脸图像，再重复步骤一获得旋转后初始人脸图像的修正后79个特征点，从而根据修正后79个特征点信息获得描述修正后全脸轮廓线信息和脸部五官的特征点位置和五官轮廓线信息，旋转角度如下：
上述公式中，θ为实际照片偏角，xl和yl为左眼中心的像素坐标，xr和yr为右眼中心的像素坐标；
步骤三、根据步骤二的获取的修正后79个特征点中描述左右两只眼睛和两只眉毛的特征点的具***置，获得横向、纵向上最值，从而勾勒出左、右眼及其周围部位的目标图片区；
步骤四、由于在眼睛及其周围部位的头片区域中，眼睑内部分和眼见外皮肤部分的灰度分布有明显差异，眼睑内部分主要为白色和黑色分布，灰度分布集中于全体灰度取值的两个端点处；眼睛周围部位主要为灰色，灰度分布集中于全体灰度取值的中间部位处，因此，获取未佩戴太阳镜的参考人脸图像，并对参考人脸图像依次进行所述步骤一～步骤三操作获取参考人脸图像中左、右眼及其周围部位的参考图片区，将参考图片区分为眼睛部位区和眼睛周围皮肤部位区，分别计算眼睛部位区和眼睛周围皮肤部位区的目标直方图获得相应的眼睛参考灰度直方图和眼睛周围皮肤参考灰度直方图，所述眼睛参考灰度直方图和眼睛周围皮肤参考灰度直方图表示图像中具有某种灰度级的像素个数，并反映了图像中某种灰度出现的频率，具体表达为：px(i)＝ni/n,i∈0,1,...,255，式中，px(i)代表像素值为i的像素出现的频率，ni为其出现的次数，n为图像中像素总数；
步骤五-1、根据步骤三获得的左右两只眼睛和两只眉毛的位置，分别计算目标图片区中眉毛区域和眼睛区域各自的灰度直方图，将眉毛区域的灰度直方图与其人脸额头部位的图像像素点的灰度分布直方图进行匹配,将眼睛区域的灰度直方图与对应眼睛周围皮肤的图像像素点的灰度直方图进行匹配,从而获得抹去眉毛和眼睛后目标图片区，并计算得出其灰度直方图，获得修饰后目标图片区域灰度直方图；
步骤五-2、对修饰后目标图片灰度直方图进行直方图均衡化操作，修饰后目标图片灰度直方图的灰度分布均会完全覆盖[0,255]；
步骤五-3、引入一类似带通滤波器作用的上下阈值操作，将高于上阈值和低于下阈值的像素点全部映射到最高的灰度(255)，在下阈值和上阈值之间的像素点灰度不变化，获得经过带通滤波后的修饰后目标图片；
步骤五-4、对于经过带通滤波后的修饰后目标图片，根据步骤三中获得的左右两只眼睛的具***置以及眼睛中心位置，进行类似步骤三的操作，获得横向、纵向上最值，从而获取左右两只眼睛的边界框，并计算得出该边界框在像素上的长度和高度；
步骤五-5、根据灰度亮度梯度对经过上述过程后所得到的图片进行边界检测并获取初始边界轮廓。对于每一条初始轮廓，计算轮廓上每一个点到相应眼睛中心的距离，并选取该距离的上下两阈值：上阈值为相应眼睛长度的一半、下阈值为相应眼睛高度的一半。比较每一个点到中心点的距离并计数：如果全轮廓中超过三成以上的点到相应眼睛的中心点的距离均超过上阈值或均超过下阈值，则判断该轮廓为无效的眼镜轮廓，并将该轮廓剔除；如果所有轮廓线均被剔除，则可判断该人脸图片并未佩戴眼镜；如果仍有轮廓线未被剔除，则只可判断为该人脸图片可能佩戴了眼睛；
步骤六、使用K-Means算法对从步骤三中所获得的，目标区域图像进行像素点分类，
因为通过肉眼观察，被太阳镜遮盖的部分与未遮盖部分在灰度取值上有着明显的不同，因此考虑使用两个簇(cluster)的K-Means聚类算法，具体实现方法如下：
(1).对于目标图片的所有像素点，随机选取其中2个像素点，作为聚类质心点(cluster centroids)，为μ1和μ2；
(2).重复以下过程，直到收敛：{
①.遍历区域中所有像素点，对于其中每一个像素点，计算其应该属于的簇：
X(i)为当前像素点的像素值
②.重新计算两个聚类的质心：
其中：指示函数1{true}＝1，1{false}＝0}
收敛后，判断两类的平均灰度，并选取平均灰度较低的一个聚类为疑似眼镜区域。
步骤七-1、将步骤五和步骤六各自获得的太阳镜目标区域取并集获得修正后太阳镜目标区域；
步骤七-2、对于修正后太阳镜目标区域，分别计算对应左右两只眼睛的区域所占像素点的个数，对于一副256*256大小的输入人脸图片，如果左眼镜及右眼镜两区域所覆盖的像素点个数在[600,1800]之间时，即可确认该幅人脸照片确实佩戴了眼镜；对于只有一只眼镜满足上述条件，则将不满足上述条件的眼睛区域删除，并将对侧眼镜区域进行图片镜像操作，仍确认为佩戴眼镜的人连照片；对于两个区域均不满足上述条件，则将其确认为未佩戴眼镜的人脸照片。
步骤八-1、根据步骤七获得修正后太阳镜目标区域，根据眼睛特征点分别将修正后太阳镜目标区域分为太阳镜目标眼睛部位区和太阳镜目标眼睛周围皮肤部位区，分别计算太阳镜目标眼睛部位区和太阳镜目标眼睛周围皮肤部位区的直方图获得相应的眼睛目标灰度直方图和眼睛周围皮肤目标灰度直方图；
步骤八-2、将眼睛目标灰度直方图和眼睛周围皮肤目标灰度直方图均进行直方图均衡化操作获得均衡化眼睛目标灰度直方图和均衡化眼睛周围皮肤目标灰度直方图；
并将步骤四的眼睛参考灰度直方图和眼睛周围皮肤参考灰度直方图均衡化操作获得均衡化眼睛参考灰度直方图和均衡化眼睛周围皮肤参考灰度直方图；
步骤八-3、根据均衡化眼睛目标灰度直方图中某个目标灰度值对应的概率值寻找均衡化眼睛参考灰度直方图中与其概率取值最接近的参考灰度取值，然后用具有最接近概率取值的参考灰度取值替换相应的目标灰度值，并依次对均衡化眼睛目标灰度直方图中其它目标灰度值作同样操作；
步骤八-4、根据均衡化眼睛周围皮肤目标灰度直方图中某个目标灰度值对应的概率值寻找均衡化眼睛周围皮肤参考灰度直方图中与其概率取值最接近的参考灰度取值，然后用具有最接近概率取值的参考灰度取值替换相应的目标灰度值，并依次对均衡化眼睛周围皮肤目标灰度直方图中其它目标灰度值作同样操作，从而完成人脸照片太阳镜自动去除。
上述技术方案中进一步改进的技术方案如下：
1.上述方案中，所述步骤四的未佩戴太阳镜的参考人脸图像选择使用所有照片均无佩戴眼镜的“日本女性面部表情数据库”。
2.上述方案中，所述步骤五-3中下阈值为50，上阈值为75。
3.上述方案中，所述步骤三中根据步骤二的获取的修正后79个特征点中描述左右两只眼睛和两只眉毛的特征点的具***置，分别获得左右两只眼睛部位的横向、纵向上最值，并经过适当放大后，勾勒出左、右眼及其周围部位的目标图片区。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
1.本发明基于灰度直方图匹配的人脸照片太阳镜自动去除方法，其克服了人脸佩戴上有色的太阳眼镜，其识别率会大大降低，严重影响该技术的推广和应用的不足，大大提高了最终的识别率，提高该技术的易用性和实用性。
2.本发明基于灰度直方图匹配的人脸照片太阳镜自动去除方法，实际测试过程中发现，仅通过Canny边界检测算子，并不能可靠地将所有太阳镜镜片区域进行提取，尤其是在镜片透光率较高的情况下(>＝75％)，会发现有部分眼镜的边界部分并未被准确地判断为眼镜部分，所获得的可靠性会大大降低；仅通过K-Means聚类的方案，对目标区域图像进行像素点分类，发现部分眼镜镜片中间部分并未被准确地判断为眼睛部分；根据上文所描述的情况，本发明中提出使用上述两种检测方案的并集，将镜片的边界部分和中间部分均判断为眼镜部分，从而更好地提高眼镜区域提取的精度。
附图说明
附图1为本发明中使用STASM软件包自动获取的79个面部特征点示意图
附图2为本发明太阳镜自动去除方法中初始人脸图像旋转前后图；
附图3为本发明太阳镜自动去除方法中目标图片区位置示意图；
附图4为本发明人脸照片太阳镜自动去除方法中参考目标人脸图像图；
附图5为本发明人脸照片太阳镜自动去除方法中恢复前图像；
附图6为本发明人脸照片太阳镜自动去除方法中恢复后图像；
附图7(a)为本发明步骤五-1中抹去眉毛和眼镜的修饰后目标图片；
附图7(b)为本发明步骤五-2中直方图均衡化目标图片；
附图7(c)为本发明步骤五-3中阈值分离后所获得经过带通滤波后的修饰后目标图片；
附图7(d)为本发明步骤五-5中Canny算子计算得出的疑似眼镜区域图；
附图7(e)为本发明步骤六中K-Means**计算得出的疑似眼镜区域图；
附图7(f)为本发明步骤七中最终眼镜区域图；
附图8(a)为本发明人脸照片太阳镜自动去除方法中均衡化之前灰度分布图；
附图8(b)为本发明人脸照片太阳镜自动去除方法中均衡化之后的灰度分布图。
具体实施方式
下面结合实施例对本发明作进一步描述：
实施例：一种基于灰度直方图匹配的人脸照片太阳镜自动去除方法：使用一种基于“主动形状模型(Active Shape Model:ASM)”的方法,自动定位人脸正脸照片的五官轮廓(眼睛、眉毛、鼻子、嘴巴、耳朵)以及全脸外轮廓；此后，根据所截取到的眉毛和眼睛的轮廓位置信息，通过图像切割的方法，自动切割出可能佩戴了眼镜的目标图像区域；分析和处理所得出的轮廓，从而判断是否佩戴了太阳镜；此后，对于被切割的图像区域，通过灰度直方图匹配的方法以及保存在数据库中的未戴上太阳镜的直方图数据(目标直方图)，自动将被目标图像区域的灰度分布直方图匹配至目标直方图，从而获得太阳镜自动去除的效果。所述之方法包括以下步骤：
第一步、自动获取轮廓及五官特征点
“主动形状模型”通过训练过程获取训练图像样本的特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应的特征点的位置。
假设训练样本中包含N张样本图像，每一张都有手动标记好的79个特征点，记录每个点的坐标，并对其归一化和向量化。对每个特征点，计算对应的局部灰度模型作为局部特征点调整用的特征向量。对训练样本中所有样本图像均进行上述处理，并使用主成分分析的方法进行降维，即可得到面部轮廓及五官轮廓特征点的统计学模型：其中，为平均形状，P是向量化坐标的协方差矩阵的前t个特征向量，b是对应的特征值。
对于未知特征点的新的正脸图片，首先使用上述计算出的平均形状来对图片轮廓进行初始化。此后，对于每一个特征点，均通过重复迭代的方法，即在寻找某个特征点的下一个位置的时候，采用局部灰度模型寻找与轮廓线垂直方向上与原先对应特征点的距离(欧式距离或马氏距离)最小的特征点作为当前特征点即将移动到的位置，并称之为疑似点。找到所有的疑似点就可以获得一个搜索的疑似轮廓线。将当前模型通过参数调整，可以使得当前的模型最逼近到疑似轮廓线，并使用重复迭代实现算法最终收敛。在本专利中，主动形状模型被用于对全脸轮廓线以及脸部五官(眉毛、眼睛、鼻子、耳朵、嘴巴)轮廓线的搜索。本专利中，使用一种基于ASM模型的软件包(STASM)。对于一张新的正脸照片，使用该软件包后，79个特征点可以自动地被提取。
第二步、根据以上获取的特征点，自动对人脸照片进行偏转旋转校正
根据第一步中获取的79个特征点中，选取描述左右眼球中心的两个特征点，对整幅照片进行偏转旋转校正。校正方法如下：
上述公式中，θ为实际测量所得的照片偏角，xl和yl为左眼中心的像素坐标，xr和yr为右眼中心的像素坐标。因此，对于整张照片，需要进行一个-θ角的旋转操作。第三步、自动截取眼睛及其周围部位的图片区域(目标图片区域)
根据在STASM中所获取的79个特征点中描述左右两只眼睛和两只眉毛的特征点的具***置，并计算以上特征点在四个方向上(上、下、左、右)的极限位置，并进行适当缩放，可以大致获取左右两只眼睛及其周围部位的图片区域。
上排两张图片为原始图片，下排两张图片分别为截取的左右眼睛及其周围区域，即作为目标图片区域。
第四步、计算未佩戴眼镜的目标区域的平均灰度直方图，作为目标直方图：
灰度直方图表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。如果将图像的总像素亮度(灰度级别)看成是一个随机变量，则其分布情况就反应了图像的统计特征，并可以由概率密度函数来描述和刻画，表现为灰度直方图。数学表达为：px(i)＝ni/n,i∈0,1,...,255，式中，px(i)代表像素值为i的像素出现的频率，ni为其出现的次数，n为图像中像素总数。
首先，因为未佩戴眼镜的人眼附近灰度色彩分布比较单一，因此选择使用所有照片均无佩戴眼镜的“日本女性面部表情数据库(Japanese Female Facial Expression(JAFFE)Database)”中所有图片的对应目标区域，并截取和统计目标区域的灰度直方图，从而计算出平均直方图，作为此后匹配用的目标直方图。
因为被太阳镜镜片遮盖的部位包括全部的眼睛部分和眼睛周围皮肤部分，两者在灰度分布上差异明显，因此，计算所得的目标直方图分为眼睛目标直方图和眼睛周围皮肤的目标直方图。
第五步、使用Canny边界检测算子从佩戴太阳镜的人脸正脸照片及其周围区域中截取眼镜轮廓
㈠.因为太阳镜会对眼睛及其周围部位的灰度特征带来极大影响。因此，在讨论恢复被太阳镜遮挡的灰度信息时，准确地选取和定位太阳镜的轮廓是十分必要的。同时，根据以下描述的提取太阳镜轮廓的算法，也可以有效地得出该照片中人物是否佩戴了太阳镜的信息。
㈡.因眉毛、眼睛部分灰度分布与太阳镜的灰度分布有相似性，并且在空间位置上有它们也具有很高的重叠性，从而会对以下获取眼镜轮廓的操作带来干扰。因此，使用直方图匹配算法(具体实现过程将在下文中详细叙述)，根据STASM所自动获取的眉毛和眼睛的准确位置，将眉毛部分的灰度直方图与其人脸额头部位的图像像素点的灰度分布直方图进行匹配，将眼睛部分的灰度直方图与对应眼睛周围皮肤的图像像素点的灰度直方图进行匹配，从而尽可能地减少眉毛和眼睛对眼镜镜片轮廓带来的混淆作用。
㈢.为更好地突出被眼镜遮挡的部分，此后，须对目标区域图像进行直方图均衡化操作，从而提高目标区域图像的全局对比度。实际上，直方图均衡化操作对应的函数表示即为计算像素频率在全灰度范围的累积分布函数(Cumulative Distribution Function:CDF)，其数学表达为：不论目标区域图像原先的灰度分布如何，经过这一步均衡化操作后，目标区域的灰度分布均会完全覆盖[0,255]。
㈣.因佩戴太阳镜后，被太阳镜覆盖部分的灰度值会比未佩戴太阳镜时有所降低，并且集中在某一个灰度值区间。因此，可以引入一阈值操作，即引入一带通滤波器，将高于或低于某一个灰度区间的像素点全部映射到最高的灰度(255)，从而更加突出眼镜的轮廓。根据实验数据，在本专利中，该带通滤波器所选择的下阈值为50，上阈值75。
㈤.此后，使用Canny边界检测算子对经过上述过程后所得到的图片进行边界检测，即可获得太阳镜的大致轮廓。Canny边界包括降噪、寻找图像中的亮度梯度、在图像中跟踪边缘三个主要步骤。
⑴.降噪：对原始图像根据高斯平滑模板做卷积操作，得到的图像与原始图像相比有轻微的模糊效果。这样，单独的一个像素的图像噪声在经过高斯平滑的图像上会变得几乎没有影响；
⑵.寻找图像中的亮度梯度：图像中的边缘可能会指向不同的方向，所以Canny边界检测算子使用4个不同的检测算子用以检测水平、垂直以及两条对角线方向上的边缘。原始图形与每个检测算子所做的卷积都存储起来，且对于每个像素点，其卷积最大值及对应的边缘方向都被标识和记录下来。如此，原始图像上每个像素点的亮度梯度及其方向即可得出；
⑶.Canny检测算子使用滞后阈值的方式来判断所检测到的较大亮度梯度是否为有效边缘。该阈值分为高阈值与低阈值。假设图像中的中央边缘都是连续曲线，通过跟踪给定曲线中模糊部分，并且避免将没有组成曲线的噪声像素误解成边缘。因此，我们从一个较大的阈值开始(较大阈值处有较高的可能性为真实边缘的一部分)，使用之前获得的方向信息，根据较小的阈值(更利于跟踪曲线的模糊部分)，在整个图像中跟踪整个边缘，并保证最终可以跟踪到曲线的起点。该过程可得出一副二值图像，其中每个点的0或1的取值代表了当前像素点是否为一个边缘点。
㈥.由Canny检测算子检测出的轮廓并不仅仅有眼镜镜片的轮廓，同时还包括了目标图像区域中可能出现的其它边界(如眼睛、面部斑点等)。因此，须根据一般眼镜的实际大小及其形状特征，从Canny检测算子中检测获取的众多轮廓中准确地提取出眼镜的轮廓并经行后期处理。所涉及到的步骤如下：
⑴.去除与眼镜镜片无关的无效轮廓(轮廓中心点距离与之相对应的眼睛中心点过于遥远、轮廓所围成面积过小等)；此时，如果得出的轮廓数目为零，则说明该人脸照片未佩戴眼镜，否则，则可判定为已经佩戴上了眼睛；
⑵.剪除同一条轮廓上所有两者之间相同或者距离过近的点；
⑶.按照顺时针(或逆时针)方向重新排列轮廓上的点；
⑷.轮廓点平滑处理；
⑸.轮廓点插值处理，使得轮廓上相邻两点间距离不超过一个像素；
⑹.使用“水漫填充”算法将以上所得的轮廓进行填充，从而形成最终的眼镜的镜片区域。
第六步：使用K-Means方式从佩戴太阳镜的人脸正脸照片及其周围区域中截取眼镜轮廓。
实际测试过程中发现，仅仅通过Canny边界检测算子，并不能可靠地将所有太阳镜镜片区域进行提取，尤其是在镜片透光率较高的情况下(>＝75％)，所获得的可靠性会大大降低。因此，本专利又提出使用K-Means聚类的方案，对目标区域图像进行像素点分类。
因为通过肉眼观察，被太阳镜遮盖的部分与未遮盖部分在灰度取值上有着明显的不同，因此考虑使用两个簇(cluster)的K-Means聚类算法。具体实现方法如下：
⑴.随机选取2个聚类质心点(cluster centroids)，为μ1和μ2；
⑵.重复一下过程，直到收敛：{
①.对于每一个样例i，计算其应该属于的簇：
②.对于每一个类j，重新计算该类的质心：
其中：指示函数1{true}＝1，1{false}＝0。
}
最终所检测到的太阳镜镜片区域为第五步与第六步所检测区域的并集。
第七步、使用灰度直方图匹配的方法对被太阳镜覆盖的图片像素区域进行恢复操作。灰度直方图的具体操作步骤如下所述：
⑴.对已经被检测并判断为佩戴太阳镜的人脸图像，对检测到的眼睛镜片区域首先进行直方图均衡化操作(使用累积分布函数：CDF)，同时，对前述步骤所得到的目标直方图同样进行直方图均衡化操作，使得两者直方图的分布均覆盖[0,255]，处在同一投影空间之中。均衡化操作所根据的数学公式如下所示：
以上两个公式中，vk和sk分别代表已经被均衡化的需要被恢复的图片和目标图片的直方图，mj/m和nj/n分别代表需要被恢复的图片和目标图片中灰度值为j的像素所占到的全部像素数目的比例，G(zi)和T(rj)代表上述对于两幅图片的直方图均衡化操作。该操作所得的灰度直方图如附图8所示，图8(a)和图8(b)两图分别为均衡化之前和之后的灰度分布，其中，图8(a)为原图像(需要被恢复的图像，红色)和目标图像(蓝色)的灰度直方图，图8(b)为执行直方图均衡化操作后两者的灰度分布。
⑵.根据上文所述，两幅图片的灰度分布均被均衡化，使之覆盖全部的灰度取值。就此可以认为两者处于同一空间，即vk＝sk条件成立，即为：
T(rj)＝G(zi)
由此，可以反推得到：
zi＝G-1(zi)＝G-1[T(rj)]
根据以上公式以及上文所提及的灰度直方图，对于需要被恢复的照片中任意一像素点取值rj，首先根据其CDF函数找到其函数值T(rj)，再从目标直方图的CDF函数中找到与T(rj)相等的函数值G(zi)，对其计算逆函数G-1(zi)，即可获得像素值rj所对应的目标像素值zi。对从0到255所有可能取值，均可由此方法找到与其有一一对应关系的目标像素值。
实际操作时，首先运用统计方法获取目标图像中被检测到的眼镜区域(分为眼睛区域和眼睛附近皮肤区域)的灰度直方图，并且读取存储于数据库中的目标灰度直方图；此后，使用CDF函数计算两者直方图均衡化后的脂肪分布；此时，对于任意一个原始图像上的灰度取值(如rj)，首先找到其在均衡化过后的概率取值(T(rj))，并且在目标直方图对应的CDF函数上找到与T(rj)相等的(或取值最相近)的对应概率取值(G(zi)，即根据T(rj)＝G(zi))，从而反查出G(zi)所对应的灰度取值zi。由此，对于每一个灰度取值rj，均可找到与之一一对应的目标灰度取值zi，从而建立映射关系。进行图像恢复时，只需按照以上的映射关系进行简单查表，将原始像素值rj替换为对应像素值zi，即可完成眼镜修复的全过程。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于灰度直方图匹配的人脸照片太阳镜自动去除方法，其特征在于：
包括以下步骤：
步骤一、获取采集的初始人脸图像，并通过已训练好的主动形状模型获取79个特征点信息，从而根据79个特征点信息获得描述全脸轮廓线信息和脸部五官的特征点位置和五官轮廓线信息；
步骤二、根据步骤一中获取的79个特征点中，选取描述左、右眼球中心的两个特征点，对整幅照片进行角的旋转操作后获得旋转后初始人脸图像，再重复步骤一获得旋转后初始人脸图像的修正后79个特征点，从而根据修正后79个特征点信息获得描述修正后全脸轮廓线信息和脸部五官的特征点位置和五官轮廓线信息，旋转角度如下：
上述公式中，为实际照片偏角，和为左眼中心的像素坐标，和为右眼中心的像素坐标；
步骤三、根据步骤二的获取的修正后79个特征点中描述左右两只眼睛和两只眉毛的特征点的具***置，分别获得左右两只眼睛部位的横向、纵向上最值，勾勒出左、右眼及其周围部位的目标图片区；
步骤四、获取未佩戴太阳镜的参考人脸图像，并对参考人脸图像依次进行所述步骤一~步骤三操作获取参考人脸图像中左、右眼及其周围部位的参考图片区，将参考图片区分为眼睛部位区和眼睛周围皮肤部位区，分别计算眼睛部位区和眼睛周围皮肤部位区的目标直方图，并获得相应的眼睛参考灰度直方图和眼睛周围皮肤参考灰度直方图，所述眼睛参考灰度直方图和眼睛周围皮肤参考灰度直方图表示图像中具有某种灰度级的像素个数，并反映了图像中某种灰度出现的频率，具体表达为：，式中，代表像素值为的像素出现的频率，为其出现的次数，为图像中像素总数；
步骤五-1、根据步骤三获得的左右两只眼睛和两只眉毛的位置，分别计算目标图片区中眉毛区域和眼睛区域各自的灰度直方图，将眉毛区域的灰度直方图与其人脸额头部位的图像像素点的灰度分布直方图进行匹配,将眼睛区域的灰度直方图与对应眼睛周围皮肤的图像像素点的灰度直方图进行匹配,从而获得抹去眉毛和眼睛后目标图片区，并计算得出其灰度直方图，获得修饰后目标图片区域灰度直方图；
步骤五-2、对修饰后目标图片灰度直方图进行直方图均衡化操作，修饰后目标图片灰度直方图的灰度分布均会完全覆盖[0,255]；
步骤五-3、引入一类似带通滤波器作用的上下阈值操作，将高于上阈值和低于下阈值的像素点全部映射到最高的灰度（255），在下阈值和上阈值之间的像素点灰度不变化，获得经过带通滤波后的修饰后目标图片；
步骤五-4、对于经过带通滤波后的修饰后目标图片，根据步骤二中获得的左右两只眼睛的具***置以及眼睛中心位置，进行类似步骤三的操作，获得横向、纵向上最值，从而获取左右两只眼睛的边界框，并计算得出该边界框在像素上的长度和高度；
步骤五-5、根据灰度亮度梯度对经过上述过程后所得到的图片进行边界检测并获取初始边界轮廓，对于每一条初始轮廓，计算轮廓上每一个点到相应眼睛中心的距离，并选取该距离的上下两阈值：上阈值为相应眼睛长度的一半、下阈值为相应眼睛高度的一半，比较每一个点到中心点的距离并计数：如果全轮廓中超过三成以上的点到相应眼睛的中心点的距离均超过上阈值或均超过下阈值，则判断该轮廓为无效的眼镜轮廓，并将该轮廓剔除；如果所有轮廓线均被剔除，则可判断该人脸图片并未佩戴眼镜；如果仍有轮廓线未被剔除，则只可判断为该人脸图片可能佩戴了眼睛；
步骤六、使用K-Means算法对从步骤三中所获得的，目标区域图像进行像素点分类，
因为通过肉眼观察，被太阳镜遮盖的部分与未遮盖部分在灰度取值上有着明显的不同，因此考虑使用两个簇（cluster）的K-Means聚类算法，具体实现方法如下：
（1）对于目标图片的所有像素点，随机选取其中2个像素点，作为聚类质心点（clustercentroids），为和；
（2）重复以下过程，直到收敛：{
①. 遍历区域中所有像素点，对于其中每一个像素点，计算其应该属于的簇：
X（i）为当前像素点的像素值
②.重新计算两个聚类的质心：
其中：指示函数
收敛后，判断两类的平均灰度，并选取平均灰度较低的一个聚类为疑似眼镜区域；
步骤七-1、将步骤五和步骤六各自获得的太阳镜目标区域取并集获得修正后太阳镜目标区域；
步骤七-2、对于修正后太阳镜目标区域，分别计算对应左右两只眼睛的区域所占像素点的个数，对于一副256*256大小的输入人脸图片，如果左眼镜及右眼镜两区域所覆盖的像素点个数在[600,1800]之间时，即可确认该幅人脸照片确实佩戴了眼镜；对于只有一只眼镜满足上述条件，则将不满足上述条件的眼镜区域删除，并将对侧眼镜区域进行图片镜像操作，仍确认为佩戴眼镜的人脸照片；对于两个区域均不满足上述条件，则将其确认为未佩戴眼镜的人脸照片；
步骤八-1、根据步骤七获得修正后太阳镜目标区域，根据眼睛特征点分别将修正后太阳镜目标区域分为太阳镜目标眼睛部位区和太阳镜目标眼睛周围皮肤部位区，分别计算太阳镜目标眼睛部位区和太阳镜目标眼睛周围皮肤部位区的直方图获得相应的眼睛目标灰度直方图和眼睛周围皮肤目标灰度直方图；
步骤八-2、将眼睛目标灰度直方图和眼睛周围皮肤目标灰度直方图均进行直方图均衡化操作获得均衡化眼睛目标灰度直方图和均衡化眼睛周围皮肤目标灰度直方图；
并将步骤四的眼睛参考灰度直方图和眼睛周围皮肤参考灰度直方图均衡化操作获得均衡化眼睛参考灰度直方图和均衡化眼睛周围皮肤参考灰度直方图；
步骤八-3、根据均衡化眼睛目标灰度直方图中某个目标灰度值对应的概率值寻找均衡化眼睛参考灰度直方图中与其概率取值最接近的参考灰度取值，然后用具有最接近概率取值的参考灰度取值替换相应的目标灰度值，并依次对均衡化眼睛目标灰度直方图中其它目标灰度值作同样操作；
步骤八-4、根据均衡化眼睛周围皮肤目标灰度直方图中某个目标灰度值对应的概率值寻找均衡化眼睛周围皮肤参考灰度直方图中与其概率取值最接近的参考灰度取值，然后用具有最接近概率取值的参考灰度取值替换相应的目标灰度值，并依次对均衡化眼睛周围皮肤目标灰度直方图中其它目标灰度值作同样操作，从而完成人脸照片太阳镜自动去除。
2.根据权利要求1所述的基于灰度直方图匹配的人脸照片太阳镜自动去除方法，其特征在于：所述步骤四的未佩戴太阳镜的参考人脸图像选择使用所有照片均无佩戴眼镜的“日本女性面部表情数据库”。
3.根据权利要求1所述的基于灰度直方图匹配的人脸照片太阳镜自动去除方法，其特征在于：所述步骤五-3中下阈值为50，上阈值为75。
4.根据权利要求1所述的基于灰度直方图匹配的人脸照片太阳镜自动去除方法，其特征在于：所述步骤三中根据步骤二的获取的修正后79个特征点中描述左右两只眼睛和两只眉毛的特征点的具***置，分别获得左右两只眼睛部位的横向、纵向上最值，并经过适当放大后，勾勒出左、右眼及其周围部位的目标图片区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510941267.5A CN106570447B (zh) | 2015-12-16 | 2015-12-16 | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510941267.5A CN106570447B (zh) | 2015-12-16 | 2015-12-16 | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106570447A CN106570447A (zh) | 2017-04-19 |
| CN106570447B true CN106570447B (zh) | 2019-07-12 |
Family
ID=58508673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510941267.5A Active CN106570447B (zh) | 2015-12-16 | 2015-12-16 | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106570447B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107730457B (zh) * | 2017-08-28 | 2020-02-14 | 广东数相智能科技有限公司 | 一种图像补全方法、装置、电子设备及存储介质 |
| CN109753850B (zh) * | 2017-11-03 | 2022-10-25 | 富士通株式会社 | 面部识别模型的训练方法和训练设备 |
| CN109977727A (zh) * | 2017-12-27 | 2019-07-05 | 广东欧珀移动通信有限公司 | 视力保护方法、装置、存储介质及移动终端 |
| CN110010228B (zh) * | 2019-03-26 | 2022-12-23 | 广州艾颜佳美容美发设备有限公司 | 一种基于图像分析的脸部皮肤透视算法 |
| CN113095148B (zh) * | 2021-03-16 | 2022-09-06 | 深圳市雄帝科技股份有限公司 | 眉毛区域被遮挡的检测方法、***、拍照设备和存储介质 |
| CN113052120B (zh) * | 2021-04-08 | 2021-12-24 | 深圳市华途数字技术有限公司 | 一种戴口罩人脸识别的门禁设备 |
| CN113435361B (zh) * | 2021-07-01 | 2023-08-01 | 南开大学 | 一种基于深度相机的口罩识别方法 |
| CN117173158B (zh) * | 2023-10-25 | 2024-01-30 | 深圳市德海威实业有限公司 | 一种精密连接器质量智能检测方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163288A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 眼镜检测方法和装置 |
| CN103020579A (zh) * | 2011-09-22 | 2013-04-03 | 上海银晨智能识别科技有限公司 | 人脸识别方法及***、人脸图像的眼镜框去除方法与装置 |
-
2015
- 2015-12-16 CN CN201510941267.5A patent/CN106570447B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163288A (zh) * | 2011-04-06 | 2011-08-24 | 北京中星微电子有限公司 | 眼镜检测方法和装置 |
| CN103020579A (zh) * | 2011-09-22 | 2013-04-03 | 上海银晨智能识别科技有限公司 | 人脸识别方法及***、人脸图像的眼镜框去除方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| A New Facial Expression Recognition Method Based on Geometric Alignment and LBP Features;Xun Wang 等;《2014 IEEE 17th International Conference on Computational Science and Engineering》;20141231;1734-1737 |
| 去除人脸图像中眼镜的方法;张志刚 等;《计算机工程与设计》;20091231;第30卷(第10期);2480-2481 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106570447A (zh) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570447B (zh) | 基于灰度直方图匹配的人脸照片太阳镜自动去除方法 | |
| CN107403168B (zh) | 一种面部识别*** | |
| WO2017036160A1 (zh) | 人脸识别的眼镜消除方法 | |
| CN105205480B (zh) | 一种复杂场景中人眼定位方法及*** | |
| Asteriadis et al. | Facial feature detection using distance vector fields | |
| US8682073B2 (en) | Method of pupil segmentation | |
| CN109840565A (zh) | 一种基于眼部轮廓特征点纵横比的眨眼检测方法 | |
| CN107844736A (zh) | 虹膜定位方法和装置 | |
| CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
| CN103778406B (zh) | 对象检测方法及设备 | |
| CN103902958A (zh) | 人脸识别的方法 | |
| CN111898569B (zh) | 基于活体检测的人脸辨识方法 | |
| CN104318603A (zh) | 从手机相册调取照片生成3d模型的方法及*** | |
| CN106446862A (zh) | 一种人脸检测方法及*** | |
| CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
| CN109558825A (zh) | 一种基于数字视频图像处理的瞳孔中心定位方法 | |
| WO2022137603A1 (ja) | 判定方法、判定装置、及び判定プログラム | |
| CN109409298A (zh) | 一种基于视频处理的视线追踪方法 | |
| KR101641500B1 (ko) | 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법 | |
| CN111222433A (zh) | 自动人脸稽核方法、***、设备及可读存储介质 | |
| CN112069986A (zh) | 高龄老人眼动机器视觉跟踪方法及装置 | |
| CN109446935B (zh) | 一种用于远距离行进中虹膜识别的虹膜定位方法 | |
| CN105809085B (zh) | 人眼定位方法及装置 | |
| US20230020160A1 (en) | Method for determining a value of at least one geometrico-morphological parameter of a subject wearing an eyewear | |
| Parikh et al. | Effective approach for iris localization in nonideal imaging conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |