CN109035171B - 一种网纹人脸图像修复方法 - Google Patents

一种网纹人脸图像修复方法 Download PDF

Info

Publication number
CN109035171B
CN109035171B CN201810867459.XA CN201810867459A CN109035171B CN 109035171 B CN109035171 B CN 109035171B CN 201810867459 A CN201810867459 A CN 201810867459A CN 109035171 B CN109035171 B CN 109035171B
Authority
CN
China
Prior art keywords
face
pixel
reticulate
mesh
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810867459.XA
Other languages
English (en)
Other versions
CN109035171A (zh
Inventor
章东平
倪佩青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810867459.XA priority Critical patent/CN109035171B/zh
Publication of CN109035171A publication Critical patent/CN109035171A/zh
Application granted granted Critical
Publication of CN109035171B publication Critical patent/CN109035171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种网纹人脸图像修复方法，其目的在于修复网纹人脸图像提升人脸识别的性能。利用图像处理技术实现从网纹人脸图像中恢复出清晰人脸图像，其技术关键在于（1）利用Dlib库实现对人脸68个关键点的提取；（2）采用最小二乘实现人脸对称轴的拟合；（3）根据图像的像素信息对图像进行分割；（4）根据背景网纹的分布信息，分析得到
Figure 33178DEST_PATH_IMAGE001
的值并作为先验知识提取整幅图像的网纹；（5）利用拟合得到的人脸对称轴和提取到的网纹进行人脸修复。本发明所采用的方法实现了输入一张网纹人脸图像，输出即为去网纹的清晰人脸图像。本发明不仅提升了图像的视觉效果，还提高了网纹人脸图像的识别准确率。

Description

一种网纹人脸图像修复方法
技术领域
本发明属于图像处理领域，尤其涉及到一种网纹人脸图像修复方法。
背景技术
随着大数据时代的到来和深度学习的发展，人脸识别技术取得了重大突破。人脸识别已经被广泛地应用于公共安防、银行金融、公安刑侦、社交媒体等领域。由于人脸图像包含个人的身份信息并且容易获取，不法分子极易利用人脸图像冒充或盗取用户的身份信息。因此，保护人脸图像信息不被滥用成为了一个日趋重要的社会隐私问题和科学研究问题。
网纹人脸(MeshFace)提供了一种简单而且低廉的方式保护人脸信息，它是在清晰人脸图像上加随机的网纹状条纹，这些网纹状条纹的位置、波形、深浅都是随机的。这种随机的网纹会破坏人脸图像的部分信息，从而达到保护人脸身份的目的。网纹人脸图像已经被广泛应用到金融领域用于保护用户身份信息。虽然网纹人脸图像对人脸身份的保护具有重要作用，但是它也极大地影响了人脸识别的性能。因此，修复网纹人脸图像对于人脸识别的性能具有巨大的实际价值。
网纹人脸图像可以被看成一种遮挡人脸图像，但是相比于一般的遮挡人脸补充问题，网纹人脸图像的遮挡位置是未知的且完全随机，算法需要检测并修复被遮挡的区域。网纹人脸图像的研究历史并不长。为了解决网纹人脸图像的识别问题，研究人员提出了一系列的方法：张树，赫然，谭铁牛等人提出一种基于全卷积神经网络的网纹人脸图像识别方法，结合像素级别的重建损失以及人脸特征级别的重建损失，搭配使用空间变换模块在网络中进行人脸区域的精确对准以实现人脸区域特征的准确提取；张宁，伍瓶辉等人提出被网纹覆盖的人脸图片的修复方法，通过先提取网纹边缘，在进行去除网纹最后填补网纹并对整幅图像进行平滑处理，达到还原人脸的目的；李平立，耿奕廷等人提出一种图像网纹去除方法及***，通过结合待去除网纹图像可信度度量使相对权重自适应变化，从而达到更好地去除图像网纹的效果；袁梦尤等人提出去除图像中网纹的方法与***，利用了网纹的周期性分布的结构特征，因而能够更好地去除网纹，并尽可能的保持原始图像细节的完整性。
虽然已有多种网纹人脸图像修复方法，但是实际应用中仍存在以下问题：
(1)网纹人脸图像上的网纹位置、波形、深浅都是随机的，每张图像对应的网纹都不相同。
(2)覆盖在人脸不同区域的网纹像素值会有很大差别，比如头发与皮肤处，如果使用同一阈值进行分割，效果较差。
发明内容
本发明的目的在于提高网纹人脸图像用于人脸识别时的准确率，提出了一种网纹人脸图像修复方法。利用图像处理技术，分析得到网纹线条的深浅和宽度，根据先验知识完成对网纹人脸图像的修复，从而达到提高人脸识别准确率的效果。
本发明采用的技术方案是：
一种网纹人脸图像修复方法，包括以下步骤：
步骤1：人脸关键点提取。利用Dlib库实现人脸68个关键点的提取，所述Dlib是一个包含机器学习算法的C++开源工具包，并且免费。Dlib库中具有基于回归树算法训练的人脸关键点模型。人脸关键点模型的输入为一张人脸图像，输出为人脸68个关键点的位置信息((x1，y1)，(x2，y2)…(x68，y68))。
步骤2：人脸对称轴拟合。选取由步骤1得到的68个关键点中的第37，46，32，36，49，55这六个点进行人脸对称轴拟合，使用方程y＝Ax+B表示拟合的对称轴直线L。
采用最小二乘法求出方程y＝Ax+B的两个参数A，B的公式为：
Figure BDA0001750680240000021
Figure BDA0001750680240000022
Figure BDA0001750680240000023
其中，
Figure BDA0001750680240000024
步骤3：网纹人脸图像分割。采用深度神经网络将网纹人脸图像I分割为背景I1,头发I2，皮肤I3，衣服I4。所述深度神经网络为全卷积网络，该网络包含7个卷积层，对第7个卷积层的输出进行上采样,使它恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图对原网纹人脸图像上的每个像素进行分类；
步骤4：网纹灰度信息分布提取。所需提取的信息为μ1，σ1，W，其中μ1表示I1′区域网纹像素值的均值，σ1表示I1′区域网纹像素值的标准差，W表示P′区域网纹线条的宽度；
(4a)μ1和σ1的计算方法为：将I1转换为灰度图I1′，采用类间最大距离法选取阈值T，计算灰度级小于T的像素均值μ1和标准差σ1。
所述阈值T的取值步骤为：
①给定一个初始阈值T＝T0,将I1′分为C0和C1两类；
②分别按照公式
Figure BDA0001750680240000038
计算两类中的灰度均值μ0，μ1，其中i，j分别为像素点的横坐标与纵坐标，
Figure BDA0001750680240000032
为第t类中的像素个数。
③计算相随距离度量值S：
Figure BDA0001750680240000033
④选择最佳阈值T＝T*,使得图像按照该阈值分为C0和C1两类后，满足S|T＝T*＝max{S}。
所述求μ1和σ1的公式为：
Figure BDA0001750680240000034
Figure BDA0001750680240000035
(4b)W的计算方法为：对I1′进行二值化得到Mesh，Mesh的提取公式为：
Mesh＝I1′(i,j)＝1,I1′(i,j)∈[μ1-σ1,μ1+σ1] (7)
Figure BDA0001750680240000036
依次读取Mesh的像素值,当读取到像素值为1时，统计该像素点所在连通域中水平方向上像素值为1的个数记为w1；统计该像素点所在连通域中垂直方向上像素值为1的个数记为w2；统计该像素点所在连通域中斜45°方向上像素值为1的个数记为w3；统计该像素点所在连通域中斜135°方向上像素值为1的个数记为w4，选取w1,w2,w3，w4中的最小值记为该像素处的网纹宽度Wk。遍历Mesh后取均值即为估计的网纹宽度W。
所述W的取值算法为：
Wk＝min(w1,w2,w3,w4) (9)
Figure BDA0001750680240000037
其中m为Mesh中像素值为1的个数，k∈[1,m]。
步骤5：网纹提取。利用中步骤4(4a)所述求阈值T和均值μ1方法，得到I2，I3，I4对应的μ2，μ3，μ4，且σ4＝σ3＝σ2＝σ1。为了提高人脸识别准确率，对μ2进行了优化。
所述μ2优化公式为：
μ2′＝λμ1+(1-λ)μ2，其中λ为权重因子 (11)
最终I2，I3，I4部分的网纹提取算法为：
Mesh2＝I2(i,j)＝1,I2(i,j)∈[μ2′-σ2,μ2′+σ2] (12)
Figure BDA0001750680240000041
Mesh3＝I3(i,j)＝1,I3(i,j)∈[μ3-σ3,μ3+σ3] (14)
Figure BDA0001750680240000042
Mesh4＝I4(i,j)＝1,I4(i,j)∈[μ4-σ4,μ4+σ4] (16)
Figure BDA0001750680240000043
依次读取Mesh1,Mesh2,Mesh3,Mesh4的像素值，当
Figure BDA0001750680240000044
时，像素值为1处的区域不做更改，
Figure BDA0001750680240000045
时，像素值为1处的区域的像素值为0。
步骤6：人脸图像修复。根据步骤2得到人脸对称轴以及步骤5提取得到的网纹对人脸图像进行修复，判断对称轴左右相同距离l处是否为网纹覆盖区域。
(6a)：当对称轴左右两边相同距离处，左边是网纹覆盖区域，右边是非网纹覆盖区域时，使左边的像素值等于右边的像素值。
所述赋值方法为：
I(i,j-l)＝I(i,j+l) (18)
其中，I(i,j-l)为左边网纹覆盖区域的像素值，I(i,j+l)为右边非网纹覆盖区域的像素值
(6b)：当对称轴左右两边相同距离处，右边是网纹覆盖区域，左边是非网纹覆盖区域时，使右边的像素值等于左边的像素值。
进一步的,所述赋值方法为：
I(i,j+l)＝I(i,j-l) (19)
其中，I(i,j-l)为左边非网纹覆盖区域的像素值，I(i,j+l)为右边网纹覆盖区域的像素值
(6c)：当对称轴左右两边相同距离处都是非网纹覆盖区域时，不做任何改变。
(6d)：当对称轴左右两边相同距离处都是网纹覆盖区域时，搜索I(i,j-l)周围8个最近邻的非网纹像素值，记为p1、p2、p3、p4、p5、p6、p7、p8，像素I(i,j-l)与p1、p2、p3、p4、p5、p6、p7、p8的距离记为d1、d2、d3、d4、d5、d6、d7、d8；I(i,j+l)周围8个最近邻的非网纹像素值，记为p9、p10、p11、p12、p13、p14、p15、p16，像素I(i,j+l)与p9、p10、p11、p12、p13、p14、p15、p16距离记为d9、d10、d11、d12、d13、d14、d15、d16。
当
Figure BDA0001750680240000051
时，
Figure BDA0001750680240000052
当
Figure BDA0001750680240000053
时，
Figure BDA0001750680240000054
附图说明
以下结合附图，对本发明的具体实施方式做进一步的详细描述。
图1为本发明的一种网纹人脸图像修复方法所述用于图像分割的全卷积网络；
图2为本发明的一种网纹人脸图像修复方法所述人脸对称轴拟合方法示意图；
图3为本发明的一种网纹人脸图像修复方法所述网纹线条宽度W估计方法示意图；
图4为本发明的一种网纹人脸图像修复方法所述人脸修复示意图。
具体实施方式
本发明公开了一种网纹人脸图像修复方法，下面结合附图对本发明的具体实施方式做详细的说明。
步骤1：人脸关键点提取。利用Dlib库实现人脸68个关键点的提取，所述Dlib是一个包含机器学习算法的C++开源工具包，并且免费。Dlib库中具有基于回归树算法训练的人脸关键点模型。人脸关键点模型的输入为一张人脸图像，输出为人脸68个关键点的位置信息((x1，y1)，(x2，y2)…(x68，y68))。
步骤2：人脸对称轴拟合。选取由步骤1得到的68个关键点中的第37，46，32，36，49，55这六个点进行人脸对称轴拟合，使用方程y＝Ax+B表示拟合的对称轴直线L。
采用最小二乘法求出方程y＝Ax+B的两个参数A，B的公式为：
Figure BDA0001750680240000061
Figure BDA0001750680240000062
Figure BDA0001750680240000063
其中，
Figure BDA0001750680240000064
Figure BDA0001750680240000065
步骤3：网纹人脸图像分割。采用深度神经网络将网纹人脸图像I分割为背景I1,头发I2，皮肤I3，衣服I4。所述深度神经网络为全卷积网络，该网络包含7个卷积层，对第7个卷积层的输出进行上采样,使它恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图对原网纹人脸图像上的每个像素进行分类。
步骤4：网纹灰度信息分布提取。所需提取的信息为μ1，σ1，W，其中μ1表示I1′区域网纹像素值的均值，σ1表示I1′区域网纹像素值的标准差，W表示P′区域网纹线条的宽度。
(4a)μ1和σ1的计算方法为：将I1转换为灰度图I1′，采用类间最大距离法选取阈值T，计算灰度级小于T的像素均值μ1和标准差σ1。
所述阈值T的取值步骤为：
①给定一个初始阈值T＝T0,将I1′分为C0和C1两类；
②分别按照公式
Figure BDA0001750680240000066
计算两类中的灰度均值μ0，μ1，其中i，j分别为像素点的横坐标与纵坐标，
Figure BDA0001750680240000067
为第t类中的像素个数。
③计算相随距离度量值S：
Figure BDA0001750680240000071
④选择最佳阈值T＝T*,使得图像按照该阈值分为C0和C1两类后，满足S|T＝T*＝max{S}。
所述求μ1和σ1的公式为：
Figure BDA0001750680240000072
Figure BDA0001750680240000073
(4b)W的计算方法为：对I1′进行二值化得到Mesh，Mesh的提取公式为：
Mesh＝I1′(i,j)＝1,I1′(i,j)∈[μ1-σ1,μ1+σ1] (28)
Figure BDA0001750680240000074
依次读取Mesh的像素值,当读取到像素值为1时，统计该像素点所在连通域中水平方向上像素值为1的个数记为w1；统计该像素点所在连通域中垂直方向上像素值为1的个数记为w2；统计该像素点所在连通域中斜45°方向上像素值为1的个数记为w3；统计该像素点所在连通域中斜135°方向上像素值为1的个数记为w4，选取w1,w2,w3，w4中的最小值记为该像素处的网纹宽度Wk。遍历Mesh后取均值即为估计的网纹宽度W。
所述W的取值算法为：
Wk＝min(w1,w2,w3,w4) (30)
Figure BDA0001750680240000075
其中m为Mesh中像素值为1的个数，k∈[1,m]。
步骤5：网纹提取。利用中步骤4(4a)所述求阈值T和均值μ1方法，得到I2，I3，I4对应的μ2，μ3，μ4，且σ4＝σ3＝σ2＝σ1。为了提高人脸识别准确率，对μ2进行了优化。
所述μ2优化公式为：
μ2′＝λμ1+(1-λ)μ2，其中λ为权重因子 (32)
最终I2，I3，I4部分的网纹提取算法为：
Mesh2＝I2(i,j)＝1,I2(i,j)∈[μ2′-σ2,μ2′+σ2] (33)
Figure BDA0001750680240000081
Mesh3＝I3(i,j)＝1,I3(i,j)∈[μ3-σ3,μ3+σ3] (35)
Figure BDA0001750680240000082
Mesh4＝I4(i,j)＝1,I4(i,j)∈[μ4-σ4,μ4+σ4] (37
Figure BDA0001750680240000083
依次读取Mesh1,Mesh2,Mesh3,Mesh4的像素值，当
Figure BDA0001750680240000084
时，像素值为1处的区域不做更改，
Figure BDA0001750680240000085
时，像素值为1处的区域的像素值为0。
步骤6：人脸图像修复。根据步骤2得到人脸对称轴以及步骤5提取得到的网纹对人脸图像进行修复，判断对称轴左右相同距离l处是否为网纹覆盖区域。
(6a)：当对称轴左右两边相同距离处，左边是网纹覆盖区域，右边是非网纹覆盖区域时，使左边的像素值等于右边的像素值。
所述赋值方法为：
I(i,j-l)＝I(i,j+l) (39)
其中，I(i,j-l)为左边网纹覆盖区域的像素值，I(i,j+l)为右边非网纹覆盖区域的像素值
(6b)：当对称轴左右两边相同距离处，右边是网纹覆盖区域，左边是非网纹覆盖区域时，使右边的像素值等于左边的像素值。
进一步的,所述赋值方法为：
I(i,j+l)＝I(i,j-l) (40)
其中，I(i,j-l)为左边非网纹覆盖区域的像素值，I(i,j+l)为右边网纹覆盖区域的像素值
(6c)：当对称轴左右两边相同距离处都是非网纹覆盖区域时，不做任何改变。
(6d)：当对称轴左右两边相同距离处都是网纹覆盖区域时，搜索I(i,j-l)周围8个最近邻的非网纹像素值，记为p1、p2、p3、p4、p5、p6、p7、p8，像素I(i,j-l)与p1、p2、p3、p4、p5、p6、p7、p8的距离记为d1、d2、d3、d4、d5、d6、d7、d8；I(i,j+l)周围8个最近邻的非网纹像素值，记为p9、p10、p11、p12、p13、p14、p15、p16，像素I(i,j+l)与p9、p10、p11、p12、p13、p14、p15、p16距离记为d9、d10、d11、d12、d13、d14、d15、d16。
当
Figure BDA0001750680240000091
时，
Figure BDA0001750680240000092
当
Figure BDA0001750680240000093
时，
Figure BDA0001750680240000094

Claims (1)

1.一种网纹人脸图像修复方法，其特征在于包括如下步骤：
步骤1：人脸关键点提取：利用Dlib库实现人脸68个关键点的提取，所述Dlib是一个包含机器学习算法的C++开源工具包，并且免费；Dlib库中具有基于回归树算法训练的人脸关键点模型；人脸关键点模型的输入为一张人脸图像，输出为人脸68个关键点的位置信息((x1，y1)，(x2，y2)…(x68，y68))；
步骤2：人脸对称轴拟合：选取由步骤1得到的68个关键点中的第37，46，32，36，49，55这六个点进行人脸对称轴拟合，使用方程y＝Ax+B表示拟合的对称轴直线L；
采用最小二乘法求出方程y＝Ax+B的两个参数A，B的公式为：
Figure FDA0003017742110000011
Figure FDA0003017742110000012
Figure FDA0003017742110000013
其中，
Figure FDA0003017742110000014
步骤3：网纹人脸图像分割：采用深度神经网络将网纹人脸图像I分割为背景I1,头发I2，皮肤I3，衣服I4；所述深度神经网络为全卷积网络，该网络包含7个卷积层，对第7个卷积层的输出进行上采样,使它恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图对原网纹人脸图像上的每个像素进行分类；
步骤4：网纹灰度信息分布提取：所需提取的信息为μ1，σ1，W，其中μ1表示I1′区域网纹像素值的均值，σ1表示I1′区域网纹像素值的标准差，W表示P′区域网纹线条的宽度；
(4a)μ1和σ1的计算方法为：将I1转换为灰度图I1′，采用类间最大距离法选取阈值T，计算灰度级小于T的像素均值μ1和标准差σ1；
所述阈值T的取值步骤为：
①给定一个初始阈值T＝T0,将I1′分为C0和C1两类；
②分别按照公式
Figure FDA0003017742110000015
计算两类中的灰度均值μ0，μ1，其中i，j分别为像素点的横坐标与纵坐标，
Figure FDA0003017742110000016
为第t类中的像素个数；
③计算相随距离度量值S：
Figure FDA0003017742110000021
④选择最佳阈值T＝T*,使得图像按照该阈值分为C0和C1两类后，满足
Figure FDA0003017742110000022
所述μ1和σ1的计算公式为：
Figure FDA0003017742110000023
Figure FDA0003017742110000024
(4b)W的计算方法为：对I1′进行二值化得到Mesh，Mesh的提取公式为：
Mesh＝I1′(i,j)＝1,I1′(i,j)∈[μ1-σ1,μ1+σ1] (7)
Figure FDA0003017742110000025
依次读取Mesh的像素值,当读取到像素值为1时，统计该像素点所在连通域中水平方向上像素值为1的个数记为w1；统计该像素点所在连通域中垂直方向上像素值为1的个数记为w2；统计该像素点所在连通域中斜45°方向上像素值为1的个数记为w3；统计该像素点所在连通域中斜135°方向上像素值为1的个数记为w4，选取w1,w2,w3，w4中的最小值记为该像素处的网纹宽度Wk；遍历Mesh后取均值即为估计的网纹宽度W；
所述W的取值算法为：
Wk＝min(w1,w2,w3,w4) (9)
Figure FDA0003017742110000026
其中m为Mesh中像素值为1的个数，k∈[1,m]；
步骤5：网纹提取：利用中步骤4(4a)所述阈值T和均值μ1计算方法，得到I2，I3，I4对应的μ2，μ3，μ4，且σ4＝σ3＝σ2＝σ1；为了提高人脸识别准确率，对μ2进行了优化；
所述μ2优化公式为：
μ2′＝λμ1+(1-λ)μ2，其中λ为权重因子 (11)
最终I2，I3，I4部分的网纹提取算法为：
Mesh2＝I2(i,j)＝1,I2(i,j)∈[μ2′-σ2,μ2′+σ2] (12)
Figure FDA0003017742110000031
Mesh3＝I3(i,j)＝1,I3(i,j)∈[μ3-σ3,μ3+σ3] (14)
Figure FDA0003017742110000032
Mesh4＝I4(i,j)＝1,I4(i,j)∈[μ4-σ4,μ4+σ4] (16)
Figure FDA0003017742110000033
依次读取Mesh1,Mesh2,Mesh3,Mesh4的像素值，当
Figure FDA0003017742110000034
时，像素值为1处的区域不做更改，
Figure FDA0003017742110000035
时，像素值为1处的区域的像素值为0；
步骤6：人脸图像修复：根据步骤2得到人脸对称轴以及步骤5提取得到的网纹对人脸图像进行修复，判断对称轴左右相同距离l处是否为网纹覆盖区域；步骤6具体包括如下步骤：
(6a)：当对称轴左右两边相同距离处，左边是网纹覆盖区域，右边是非网纹覆盖区域时，使左边的像素值等于右边的像素值；
所述赋值方法为：
I(i,j-l)＝I(i,j+l) (18)
其中，I(i,j-l)为左边网纹覆盖区域的像素值，I(i,j+l)为右边非网纹覆盖区域的像素值；
(6b)：当对称轴左右两边相同距离处，右边是网纹覆盖区域，左边是非网纹覆盖区域时，使右边的像素值等于左边的像素值；
进一步的，所述赋值方法为：
I(i,j+l)＝I(i,j-l) (19)
其中，I(i,j-l)为左边非网纹覆盖区域的像素值，I(i,j+l)为右边网纹覆盖区域的像素值；
(6c)：当对称轴左右两边相同距离处都是非网纹覆盖区域时，不做任何改变；
(6d)：当对称轴左右两边相同距离处都是网纹覆盖区域时，搜索I(i,j-l)周围8个最近邻的非网纹像素值，记为p1、p2、p3、p4、p5、p6、p7、p8，像素I(i,j-l)与p1、p2、p3、p4、p5、p6、p7、p8的距离记为d1、d2、d3、d4、d5、d6、d7、d8；I(i,j+l)周围8个最近邻的非网纹像素值，记为p9、p10、p11、p12、p13、p14、p15、p16，像素I(i,j+l)与p9、p10、p11、p12、p13、p14、p15、p16距离记为d9、d10、d11、d12、d13、d14、d15、d16；
当
Figure FDA0003017742110000041
时，
Figure FDA0003017742110000042
当
Figure FDA0003017742110000043
时，
Figure FDA0003017742110000044
CN201810867459.XA 2018-08-01 2018-08-01 一种网纹人脸图像修复方法 Active CN109035171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810867459.XA CN109035171B (zh) 2018-08-01 2018-08-01 一种网纹人脸图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810867459.XA CN109035171B (zh) 2018-08-01 2018-08-01 一种网纹人脸图像修复方法

Publications (2)

Publication Number Publication Date
CN109035171A CN109035171A (zh) 2018-12-18
CN109035171B true CN109035171B (zh) 2021-06-15

Family

ID=64648782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810867459.XA Active CN109035171B (zh) 2018-08-01 2018-08-01 一种网纹人脸图像修复方法

Country Status (1)

Country Link
CN (1) CN109035171B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612798B (zh) * 2020-05-15 2023-04-18 中南大学 面向人脸数据对完整的人脸网纹修复方法、***及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567957A (zh) * 2010-12-30 2012-07-11 北京大学 去除图像中网纹的方法与***
CN102572201A (zh) * 2010-12-31 2012-07-11 北京大学 一种图像网纹去除方法及***
CN104952111A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 采用便携式相机获得三维脸部模型的方法和装置
CN107016657A (zh) * 2017-04-07 2017-08-04 河北工业大学 被网纹覆盖的人脸图片的修复方法
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法
CN108121978A (zh) * 2018-01-10 2018-06-05 马上消费金融股份有限公司 一种人脸图像处理方法、***及设备和存储介质
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
US10002286B1 (en) * 2015-04-28 2018-06-19 Carnegie Mellon University System and method for face recognition robust to multiple degradations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567957A (zh) * 2010-12-30 2012-07-11 北京大学 去除图像中网纹的方法与***
CN102572201A (zh) * 2010-12-31 2012-07-11 北京大学 一种图像网纹去除方法及***
CN104952111A (zh) * 2014-03-31 2015-09-30 特里库比奇有限公司 采用便携式相机获得三维脸部模型的方法和装置
US10002286B1 (en) * 2015-04-28 2018-06-19 Carnegie Mellon University System and method for face recognition robust to multiple degradations
CN107016657A (zh) * 2017-04-07 2017-08-04 河北工业大学 被网纹覆盖的人脸图片的修复方法
CN108122197A (zh) * 2017-10-27 2018-06-05 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法
CN108121978A (zh) * 2018-01-10 2018-06-05 马上消费金融股份有限公司 一种人脸图像处理方法、***及设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
半色调图像去网方法的研究;罗彬.;《中国优秀硕士学位论文全文数据库（电子期刊）》;20070227;全文 *
扫描半色调图像去网纹算法研究;陈飞.;《中国优秀硕士学位论文全文数据库（电子期刊）》;20170331;全文 *

Also Published As

Publication number Publication date
CN109035171A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
Bunk et al. Detection and localization of image forgeries using resampling features and deep learning
Ramola et al. Study of statistical methods for texture analysis and their modern evolutions
Xu et al. Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model
Mayer et al. Exposing fake images with forensic similarity graphs
CN109509164B (zh) 一种基于gdgf的多传感器图像融合方法及***
CN109447073B (zh) 一种基于张量鲁棒主成分分析的红外弱小目标检测方法
CN107862677A (zh) 一种基于梯度类间阈值算法的隧道衬砌裂缝识别方法及***
CN105335947A (zh) 图像去噪方法和图像去噪装置
Ram et al. Image denoising using nl-means via smooth patch ordering
CN109509163B (zh) 一种基于fgf的多聚焦图像融合方法及***
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及***
Bacchuwar et al. A jump patch-block match algorithm for multiple forgery detection
Yin et al. Dynamic difference learning with spatio-temporal correlation for deepfake video detection
CN111223063A (zh) 基于纹理特征和双核函数的手指静脉图像nlm去噪方法
Reddy et al. Classification of child and adulthood using GLCM based on diagonal LBP
Kumar et al. A hybrid method for the removal of RVIN using self organizing migration with adaptive dual threshold median filter
Qi et al. Research on the image segmentation of icing line based on NSCT and 2-D OSTU
Sivakumar et al. A brief study of image segmentation using thresholding technique on a noisy image
Hu et al. Effective composite image detection method based on feature inconsistency of image components
Song et al. Depth-aware saliency detection using discriminative saliency fusion
CN109035171B (zh) 一种网纹人脸图像修复方法
Saealal et al. Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance
CN102013101A (zh) 一种经过模糊后处理的置换篡改图像盲检测方法
Dixit et al. Copy-move image forgery detection a review
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant