CN104268523A - 基于小样本去除人脸图像中眼镜框的方法 - Google Patents

基于小样本去除人脸图像中眼镜框的方法 Download PDF

Info

Publication number
CN104268523A
CN104268523A CN201410490947.5A CN201410490947A CN104268523A CN 104268523 A CN104268523 A CN 104268523A CN 201410490947 A CN201410490947 A CN 201410490947A CN 104268523 A CN104268523 A CN 104268523A
Authority
CN
China
Prior art keywords
image
matrix
glasses frame
frame
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410490947.5A
Other languages
English (en)
Inventor
陈叶飞
彭文东
袁新飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI HONGJIAN INTELLIGENCE TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI HONGJIAN INTELLIGENCE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI HONGJIAN INTELLIGENCE TECHNOLOGY Co Ltd filed Critical SHANGHAI HONGJIAN INTELLIGENCE TECHNOLOGY Co Ltd
Priority to CN201410490947.5A priority Critical patent/CN104268523A/zh
Publication of CN104268523A publication Critical patent/CN104268523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于小样本去除人脸图像中眼镜框的方法，其方法无需大量样本及参数，其首先将图像采集装置采集到的人脸图像根据脸部关键点进行尺寸以及位置归一化并生成列向量。接着将该列向量与事先准备的小样本人脸图像训练矩阵组成新的矩阵，通过低秩矩阵计算求解，将该列向量分解成不含眼镜框的列向量以及包含眼镜框的干扰列向量。接着，将干扰列向量还原成原始图像尺寸大小。然后对该图像进行二值化处理得到包含眼镜框位置信息的图像。最后通过差值技术，将原图中眼镜框位置的像素进行填充。最终实现基于小样本去除人脸图像中眼镜框的方法。该技术充分利用人脸肤色的相关性以及镜框干扰幅值大、数量稀疏的特点，自动实现人脸图像中眼镜框的去除。

Description

基于小样本去除人脸图像中眼镜框的方法
技术领域
本发明涉及一种基于小样本去除人脸图像中眼镜框的方法。 
背景技术
随着人脸识别技术的推广，越来越多的场合需要人脸识别技术的应用，如小区门禁、智能楼宇、监狱、银行金库等场合。但一个智能的人脸识别技术必须能够自动去除人脸图像中的一些配饰信息，以免配饰对人脸识别带来影响，而眼镜框则是其中的一种。其次，传统的基于肤色模型或者几何特征的镜框去除方法没有先验地结合眼镜框的位置信息，且忽略了配饰对于人脸而言具有的一些特征：眼镜框与人脸相比差异较大即像素值幅值差异大，眼镜框相较于整个人脸属于小范围区域具有稀疏性。 
发明内容
本发明的目的在于提供一种基于样本训练的有效去除人脸图像中眼镜框的方法，以提高人脸识别的准确性，同时通过低秩矩阵计算充分保留了人脸图像的位置信息，从而有效地提取出眼镜框的位置，最终得到还原后的人脸图像。 
为了达到上述目的，本发明提供的方法主要包括以下步骤：1）事先通过任意图像采集设备采集到10-50张不戴配饰的不同人脸图像，然后将所有二维图像分别张成一维列向量，并重新组成小样本人脸图像训练矩阵，用于后续步骤的眼镜框去除。2）开始人脸图像的眼镜框去除。将任意采集设备采集到的人脸图像根据人脸图像的关键点进行定位根据该定位信息对人脸进行大小和位置归一化，并将二维图像张成一维列向量。3）将得到的列向量与事先得到的小样本人脸图像训练矩阵组成新的矩阵并通过低秩矩阵求解干扰矩阵。4）从干扰矩阵中抽取出对应人脸图像的那一列向量并还还原成原始图像大小。5）将得到的图像进行二值化。根据二值化后的图像对使用者采集的原始图像中的镜框位置的像素点进行差值填充得到去除眼镜框的图像。 
其中，在低秩矩阵求解后，利用干扰矩阵中所包含的信息去判断镜框的位置而非还原矩阵。由于人脸图像训练矩阵具有小样本的特性，因此，人脸图像间的线性关系并不强烈，通过求解后，强行线性要求会使得还原后的人脸图像具有一定的变形和扭曲，而干扰矩阵中的数值则很好的保留了干扰的成分。本发明充分利用干扰中部分的信息对眼镜框进行去除，而非传统的还原方法。 
综上所述，本发明通过小样本人脸图像训练矩阵的低秩矩阵求解，获得眼镜框的位置信息，从而对人脸图像进行镜框去除的方法，可以有效地避免因为镜框所导致无法识别人脸图像的缺点，从而提高人脸识别率。 
附图说明
图1是本发明的基于小样本去除人脸图像中眼镜框的方法应用于具有图像采集装置的人脸识别***的流程图。 
图2是小样本训练矩阵与新加入的列向量关系图。 
具体实施方式
请参阅图1本发明的基于小样本去除人脸图像中眼镜框的方法应用于具有图像采集装置的人脸识别***的流程图，其包括以下步骤。 
 第一步，事先通过任意图像采集设备采集到10-50张不戴配饰的不同人脸图像，根据人脸图像的关键点进行定位（如：眼角、鼻尖、嘴角、下巴等），根据该定位信息对人脸进行大小和位置归一化，使得各个人脸图像的关键点基本在同一位置。然后将所有二维图像分别张成一维列向量，并重新组成新的矩阵，其中每列都是先前张成的一维列向量。该矩阵就是小样本人脸图像训练矩阵，用于后续步骤的眼镜框去除。 
第二步，开始人脸图像的眼镜框去除。将任意采集设备采集到的人脸图像根据人脸图像的关键点进行定位根据该定位信息对人脸进行大小和位置归一化，使得各个人脸图像的关键点基本在同一位置。然后将二维图像张成一维列向量。 
第三步，将第二部中得到的列向量与第一步中事先得到的小样本人脸图像训练矩阵组成新的矩阵，组成方式与第一步一致，新的列向量拼接在小样本人脸图像训练矩阵之后，具体样式请参阅图2小样本训练矩阵与新加入的列向量关系图。至此，得到了需要处理并求解的图像矩阵。 
第四步，根据公式（1）求解低秩矩阵，其中D是第三步中得到的图像矩阵，A是还原后的人脸图像矩阵（即不含配饰等干扰的人脸图像矩阵），E是分离出的干扰矩阵，该矩阵中包含眼镜框等配饰干扰信息。由此，获得了矩阵A和E，其中E是使用者需要的矩阵。其中D之所以能够分解成A加E主要是因为该矩阵中的列满足以下特征：1）各个列之间具有一定的线性关系，由于人脸图像在低维嵌入空间中是具有一定的线性关系且人的肤色图像具有一定的线性相关性。从而满足了公式（1）中的约束rank(A)<r。2）干扰对于各个列来说是少量的且稀疏的，这是因为眼镜框的干扰对于整个人脸图像而言是少量的，从而满足了公式（1）中的约束||E||0<epsilon。因此，使用者可以合理地求解出A和E。求解低秩矩阵的方法已有很多，且不在本方法内，所以不做说明。 
第五步，从干扰矩阵E中抽取出对应使用者采集的人脸图像的那一列向量并还还原成原始图像大小。 
第六步，对第五步中得到的图像进行二值化，其中阈值可以设定为20。根据二值化后的图像，认为那些大小为1的像素点是镜框所在的位置，因此根据此信息对使用者采集的原始图像中的镜框位置的像素点进行差值填充得到去除眼镜框的图像。 
综上所述，本发明的基于小样本去除人脸图像中眼镜框的方法对佩戴眼镜框的人员图像进行基于样本的眼镜框去除，通过少量样本达到镜框去除的效果，从而对可见光、近红外都可以达到显著的识别效果提升。 
公式1：D = A + E s.t ||E||0<epsilon, rank(A)<r 。

Claims (2)

1.一种基于小样本去除人脸图像中眼镜框的方法，应用于具有图像采集装置的人脸识别***，其主要步骤包括：
1）事先准备的小样本人脸训练矩阵，该矩阵由将采集到10-50张不戴配饰的人脸图像进行关键区域定位归一化后张成的列向量组成；
2）将任意采集设备采集到的人脸图像根据人脸图像的关键点进行定位根据该定位信息对人脸进行大小和位置归一化，并将二维图像张成一维列向量；
同时与事先准备的小样本人脸训练矩阵组成低秩矩阵；
3）通过低秩矩阵求解干扰矩阵，从干扰矩阵中抽取出对应人脸图像的那一列向量并还还原成原始图像大小；
4）将得到的图像进行二值化；
根据二值化后的图像对使用者采集的原始图像中的镜框位置的像素点进行差值填充得到去除眼镜框的图像。
2.如权利要求1所述的一种基于小样本去除人脸图像中眼镜框的方法，其特征在于：眼镜框信息的获取是通过低秩矩阵求解出的干扰矩阵获得。
CN201410490947.5A 2014-09-24 2014-09-24 基于小样本去除人脸图像中眼镜框的方法 Pending CN104268523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410490947.5A CN104268523A (zh) 2014-09-24 2014-09-24 基于小样本去除人脸图像中眼镜框的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410490947.5A CN104268523A (zh) 2014-09-24 2014-09-24 基于小样本去除人脸图像中眼镜框的方法

Publications (1)

Publication Number Publication Date
CN104268523A true CN104268523A (zh) 2015-01-07

Family

ID=52160043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410490947.5A Pending CN104268523A (zh) 2014-09-24 2014-09-24 基于小样本去除人脸图像中眼镜框的方法

Country Status (1)

Country Link
CN (1) CN104268523A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945126A (zh) * 2017-11-20 2018-04-20 杭州登虹科技有限公司 一种图像中眼镜框消除方法、装置和介质
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN108076290A (zh) * 2017-12-20 2018-05-25 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108765289A (zh) * 2018-05-25 2018-11-06 李锐 一种数字图像的抽取拼接及还原填充方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180671A1 (en) * 2007-10-19 2009-07-16 Samsung Electronics Co., Ltd. Multi-view face recognition method and system
CN103632134A (zh) * 2013-10-17 2014-03-12 浙江师范大学 基于Fisher低秩矩阵恢复的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090180671A1 (en) * 2007-10-19 2009-07-16 Samsung Electronics Co., Ltd. Multi-view face recognition method and system
CN103632134A (zh) * 2013-10-17 2014-03-12 浙江师范大学 基于Fisher低秩矩阵恢复的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANGMUZI ZHANG，AND ETC: "Learning Structured Low-rank Representations for Image Classification", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018072102A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种人脸图像中眼镜去除方法及装置
CN107945126A (zh) * 2017-11-20 2018-04-20 杭州登虹科技有限公司 一种图像中眼镜框消除方法、装置和介质
CN108076290A (zh) * 2017-12-20 2018-05-25 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108765289A (zh) * 2018-05-25 2018-11-06 李锐 一种数字图像的抽取拼接及还原填充方法
CN108765289B (zh) * 2018-05-25 2022-02-18 李锐 一种数字图像的抽取拼接及还原填充方法

Similar Documents

Publication Publication Date Title
CN107220611B (zh) 一种基于深度神经网络的空时特征提取方法
CN103020965B (zh) 一种基于显著性检测的前景分割方法
CN102184534B (zh) 一种利用多尺度高帽选择变换的图像融合方法
CN104268523A (zh) 基于小样本去除人脸图像中眼镜框的方法
CN105574515B (zh) 一种无重叠视域下的行人再识别方法
CN102567716B (zh) 一种人脸合成***及实现方法
CN105389574B (zh) 一种检测图片中人眼虹膜的方法及***
CN103679147A (zh) 手机型号的识别方法与装置
CN109509164A (zh) 一种基于gdgf的多传感器图像融合方法及***
CN103400155A (zh) 基于图半监督学习的色***检测方法
CN105894513B (zh) 顾及影像对象时空变化的遥感影像变化检测方法及***
CN103530638A (zh) 多摄像头下的行人匹配方法
CN106485698A (zh) 从凝胶电泳条带图像中获取dna色谱的方法
CN110458115A (zh) 一种基于时序的多帧集成目标检测算法
CN109886170A (zh) 一种钉螺智能检测识别与统计***
CN106228157A (zh) 基于图像识别技术的彩色图像文字段落分割与识别方法
CN103108124A (zh) 图像获取方法、装置及移动终端
CN103327359A (zh) 一种应用于视频质量评价的视频显著性区域搜索方法
CN103996033A (zh) 一种基于人脸五官坐标跟踪的真人识别方法
CN110826612A (zh) 深度学习的训练识别方法
CN104239883A (zh) 纹理特征提取方法及装置
CN103824067B (zh) 一种图像主要目标的定位与识别方法
CN101763513A (zh) 一种消除光照影响的前景提取方法
CN103605959A (zh) 一种虹膜图像去除光斑的方法及装置
CN104063879B (zh) 一种基于通量和遮挡系数的行人流估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150107