CN113658088B - 一种基于多判别器的人脸合成方法及装置 - Google Patents
一种基于多判别器的人脸合成方法及装置 Download PDFInfo
- Publication number
- CN113658088B CN113658088B CN202110994564.1A CN202110994564A CN113658088B CN 113658088 B CN113658088 B CN 113658088B CN 202110994564 A CN202110994564 A CN 202110994564A CN 113658088 B CN113658088 B CN 113658088B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- face image
- gray
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 79
- 230000001815 facial effect Effects 0.000 claims description 37
- 238000010606 normalization Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 abstract description 30
- 230000006870 function Effects 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种人脸合成的技术领域，公开了一种基于多判别器的人脸合成方法，包括：获取真实人脸图像，并对所获取的真实人脸图像进行预处理，得到规范化的真实人脸图像，将规范化的真实人脸图像作为数据集1；构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2；将图像集1和图像集2中的图像分别输入到多个判别器中；按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，利用调整后最优的生成器网络进行人脸图像生成。本发明还提供了一种基于多判别器的人脸合成装置。本发明实现了人脸图像合成。
Description
技术领域
本发明涉及人脸合成的技术领域，尤其涉及一种基于多判别器的人脸合成方法及装置。
背景技术
随着互联网和数字图像捕获设备的快速发展，人们的日常生活中产生了海量的图像数据，这些海量图像数据加快了现代计算机对图像内容的理解。在人脸图像理解领域，人脸合成技术可以对人脸年龄等属性进行编辑，合成身份特征不变的人脸图像，在进行跨年龄段身份认证过程中，减少了年龄、发型等属性变化对身份认证带来的不利影响，因此人脸合成技术成为了当前研究的热门领域。
传统的人脸合成技术主要基于特征表达技术，包括主成分分析法和稀疏表达法，这种方法可将人脸图像表达为特征向量和特征矩阵，并通过加权融合不同人脸特征向量合成新的人脸图像，但所合成的人脸图像质量较低。
鉴于此，如何合成图像质量更高的人脸图像，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于多判别器的人脸合成方法，通过对真实人脸图像进行预处理，得到规范化的人脸图像作为图像集1；构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2，将图像集1和图像集2中的图像分别输入到多个判别器中进行判断，按照AHP层次分析法对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，从而利用生成器网络实现人脸图像生成。
为实现上述目的，本发明提供的一种基于多判别器的人脸合成方法，包括：
获取真实人脸图像，并对所获取的真实人脸图像进行预处理，得到规范化的真实人脸图像，将规范化的真实人脸图像作为数据集1；
构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2；
将图像集1和图像集2中的图像分别输入到多个判别器中；
按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，利用调整后最优的生成器网络进行人脸图像生成。
可选地，所述对所获取的真实人脸图像进行预处理，包括：
获取真实人脸图像，并对所获取的真实人脸图像进行规格化处理，使所有人脸图像为统一的图像大小，所述规格化处理后的人脸图像大小为M*N像素，图像规格化的步骤包括对图像进行伸缩、旋转处理，在本发明一个具体实施例中，M的值为256，N的值为256；
对所获取的真实人脸图像进行预处理，所述预处理完成的真实人脸图像为规范化的真实人脸图像，并将所有规范化的真实人脸图像作为数据集1，所述图像预处理流程包括：
1)对真实人脸图像中每一个像素的三个颜色分量求最大值，并将该最大值设置为该像素点的灰度值，得到真实人脸图像的灰度图，所述灰度化处理的公式为：
Gray(i,j)＝max{R(i,j),G(i,j),B(i,j)}
其中：
(i,j)为真实人脸图像中的一个像素点；
R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；
Gray(i,j)为像素点(i,j)的灰度值；
2)对于所述灰度图，利用分段线性变换的方式对图像的灰度进行线性拉伸，所述的公式为：
其中：
Gray(i,j)为像素点(i,j)的原始灰度值；
MINGray为灰度图中的最小灰度值；
MAXGray为灰度图中的最大灰度值；
g(i,j)为经灰度拉伸后像素点(i,j)的灰度值。
可选地，所述构建生成器网络，利用生成器网络生成人脸图像，包括：
对真实人脸图像中不同面部组件的图像区域进行标注，并构造M×N的灰度矩阵Q，按像素点的位置将真实人脸图像中每个像素点的灰度值填写到灰度矩阵中，得到若干人脸图像灰度矩阵；在本发明一个具体实施例中，所述面部组件包括人脸的眼睛、头发、耳朵、鼻子等；
构建生成器网络，在本发明一个具体实施例中，生成器网络由三个卷积层、一个残差层以及一个转置卷积核组成，卷积层中卷积核的尺寸为3×3像素，第一个卷积层的滤波器个数为32个，第二个卷积层的滤波器个数为64个，第三个卷积层的滤波器个数为128个，残差层由9个残差块组成，残差块的步长为1，大小为3×3像素，转置卷积核大小为3×3像素，用来将卷积后的特征复原为原始M*N像素大小的图像；
将人脸图像灰度矩阵输入到生成器网络中，所述利用生成器网络实现人脸图像生成的流程为：
1)卷积层接收人脸图像灰度矩阵，并对人脸图像灰度矩阵Q进行卷积处理，所述卷积处理的流程为：
h1c＝Conv1(Qc)
h2c＝Conv2(h1c)
h3c＝Conv3(h2c)
其中：
Conv,Conv1,Conv2为生成器网络的三个卷积层，Conv(·)表示对输入值进行卷积处理；
Qc表示面部组件c的图像灰度矩阵，所述面部组件包括眼睛、头发、耳朵、鼻子、面部形状；
h1c,h2c,h3c表示面部组件c的特征图；
在本发明一个具体实施例中，每个卷积层后存在3个残差块，使得卷积后的特征图残差为0；
2)将不同面部组件的特征图进行组合，组合后的特征图包括所有面部组件，且不存在相同面部组件；
3)将组合后的特征图h输入到标准化层，所述标准化层对特征图中的面部组件位置进行优化处理：
其中：
c表示面部组件，cm表示面部组件中的面部形状；
SP(·)表示对输入特征图进行标准化处理；
hn,x,y表示特征图的通道数为n，特征图的宽度为x，高度为y；
μn为特征图在特征通道维度上的平均值；
σn为特征图在特征通道维度上的标准差；
αn,x,y(·)为标准化层中的映射函数，将除面部形状外的面部组件映射到人脸图像的对应位置；
βn,x,y(·)为标准化层中的映射函数，将面部形状映射为人脸图像的人脸形状；
4)将标准化层的输出结果输入到转置卷积核，从而将特征图映射为M*N像素大小的图像。
可选地，所述利用卷积神经网络判别器对图像集2中图像进行判别的流程为：
1)输入图像集1中的所有图像，利用4层卷积层分别提取不同人脸图像的颜色特征、形状特征以及人脸面部组件的比例特征；在本发明一个具体实施例中，所述卷积层中卷积核的大小为3*3像素，第一层卷积层滤波器个数为32个，第二层卷积层滤波器个数为64个，第三层卷积层滤波器个数为128个，第四层卷积层滤波器个数为256个；
2)输入图像集2中的生成图像，利用4层卷积层分别提取每个生成图像的颜色特征、形状特征以及人脸面部组件的比例特征，对于任意生成图像，计算生成图像的颜色特征、形状特征以及人脸面部组件的比例特征与图像集1中对应维度特征的最大相似性，将颜色特征、形状特征以及人脸面部组件的比例特征的最大相似性，作为生成图像在人脸肤色、人脸形状、人脸各部位比例维度符合真实人脸图像标准的程度；
3)计算图像集2中生成图像的特征图与图像集1中真实人脸图像的特征图进行相似性比较，生成图像x在真实人脸图像集合Y＝{y1,y2,...}中最大相似性值即为生成图像x是人脸图像的概率。
可选地，所述利用KNN判别器对图像集2中图像进行判别的流程为：
计算图像集2中生成图像x的像素矩阵与图像集1中所有真实人脸图像像素矩阵的差异值：
其中：
Zx为图像集2中生成图像x的像素矩阵；
将所计算的N个差异值进行归一化处理，将1-dmin作为生成图像在人脸肤色、人脸形状、人脸各部位比例维度符合真实人脸图像标准的程度，以及生成图像x是人脸图像的概率，其中dmin表示不同像素矩阵中生成图像与真实图像的最小差异值。
可选地，所述按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，包括：
1)建立AHP层次模型结构，所建立的AHP层次模型结构的目标层为输入的图像集2图像是否为人脸图像，准则层为人脸肤色、人脸形状以及人脸各部位比例，措施层为卷积神经网络判别器以及KNN判别器；
2)对准则层以及措施层建立判断矩阵，矩阵中的元素为两项指标重要程度的比较；在本发明一个具体实施例中，例如对准则层建立判断，其中人脸肤色、人脸形状以及人脸各部位比例分别为a1,a2,a3，所建立的判断矩阵为：
其中：
aij即表示指标ai对指标aj的重要程度，其值越高，表明ai对目标层的影响程度越大；
3)分别计算准则层判断矩阵的最大特征根λ1和措施层判断矩阵的最大特征根λ2，并分别计算其一致性指标CI＝(λ-r)/(r-1)，其中r为判断矩阵的阶数，并对一致性指标进行修正CR＝CI/RI，其中RI为修正因子，当CR<0.1，则认为判断矩阵可信，否则需要修改判断矩阵；
4)根据最终的判断矩阵，逐层确定措施层对目标结果的影响权重，将影响权重作为判别器的赋权。
选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断。
此外，为实现上述目的，本发明还提供一种基于多判别器的人脸合成装置，所述装置包括：
图像获取装置，用于获取真实人脸图像；
图像处理器，用于所获取的真实人脸图像进行预处理，得到规范化的真实人脸图像，将规范化的真实人脸图像作为数据集1；将图像集1和图像集2中的图像分别输入到多个判别器中；
人脸图像合成装置，用于构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2；按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，利用调整后最优的生成器网络进行人脸图像生成。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸图像合成程序指令，所述人脸图像合成程序指令可被一个或者多个处理器执行，以实现如上所述的基于多判别器的人脸合成的实现方法的步骤。
相对于现有技术，本发明提出一种基于多判别器的人脸合成方法，该技术具有以下优势：
首先，本方案提出一种人脸图像生成的生成器网络，所述利用生成器网络实现人脸图像生成的流程为：卷积层接收人脸图像灰度矩阵，并对人脸图像灰度矩阵Q进行卷积处理，所述卷积处理的流程为：
h1c＝Conv1(Qc)
h2c＝Conv2(h1c)
h3c＝Conv3(h2c)
其中：Conv,Conv1,Conv2为生成器网络的三个卷积层，Conv(·)表示对输入值进行卷积处理；Qc表示面部组件c的图像灰度矩阵，所述面部组件包括眼睛、头发、耳朵、鼻子、面部形状；h1c,h2c,h3c表示面部组件c的特征图；在本发明一个具体实施例中，每个卷积层后存在3个残差块，使得卷积后的特征图残差为0；将不同面部组件的特征图进行组合，组合后的特征图包括所有面部组件，且不存在相同面部组件；将组合后的特征图h输入到标准化层，所述标准化层对特征图中的面部组件位置进行优化处理：
其中：c表示面部组件，cm表示面部组件中的面部形状；SP(·)表示对输入特征图进行标准化处理；hn,x,y表示特征图的通道数为n，特征图的宽度为x，高度为y；μn为特征图在特征通道维度上的平均值；σn为特征图在特征通道维度上的标准差；αn,x,y(·)为标准化层中的映射函数，将除面部形状外的面部组件映射到人脸图像的对应位置；βn,x,y(·)为标准化层中的映射函数，将面部形状映射为人脸图像的人脸形状；将标准化层的输出结果输入到转置卷积核，从而将特征图映射为M*N像素大小的图像。相较于传统技术，本方案分别提取不同面部组件的特征，通过将面部组件构成用来进行人脸合成的特征图，通过函数映射将不同面部组件映射到人脸对应的位置，同时本方案可自行设定函数映射关系，实现自定义的人脸图像生成方案。
同时，本方案将图像集1和图像集2中的图像分别输入到多个判别器中，从人脸肤色、人脸形状、人脸各部位比例维度，判断图像集2中的图像与图像集1中真实人脸图像在各维度的相似性，并判断图像集2中的图像是否为人脸图像，所选取的判别器包括卷积神经网络判别器以及KNN判别器；同时本方案建立AHP层次模型结构，所建立的AHP层次模型结构的目标层为输入的图像集2图像是否为人脸图像，准则层为人脸肤色、人脸形状以及人脸各部位比例，措施层为卷积神经网络判别器以及KNN判别器；对准则层以及措施层建立判断矩阵，矩阵中的元素为两项指标重要程度的比较；分别计算准则层判断矩阵的最大特征根λ1和措施层判断矩阵的最大特征根λ2，并分别计算其一致性指标CI＝(λ-r)/(r-1)，其中r为判断矩阵的阶数，并对一致性指标进行修正CR＝CI/RI，其中RI为修正因子，当CR<0.1，则认为判断矩阵可信，否则需要修改判断矩阵；根据最终的判断矩阵，逐层确定措施层对目标结果的影响权重，将影响权重作为判别器的赋权，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，对生成器网络中的参数进行更新调整，直到所生成的图像均被判别为人脸图像。相较于传统技术仅存在单个判别器，需要利用损失函数进行参数调整，本方案通过引入多个判别器，从人脸肤色、人脸形状以及人脸各部位比例等维度进行人脸图像判断，从而建立层次分析模型，实现利用层次分析法进行生成图像是否为人脸图像的判断，该方案的判断流程更为简明，且计算流程简单。
附图说明
图1为本发明一实施例提供的一种基于多判别器的人脸合成方法的流程示意图；
图2为本发明一实施例提供的一种基于多判别器的人脸合成装置的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过对真实人脸图像进行预处理，得到规范化的人脸图像作为图像集1；构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2，将图像集1和图像集2中的图像分别输入到多个判别器中进行判断，按照AHP层次分析法对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，从而利用生成器网络实现人脸图像生成。参照图1所示，为本发明一实施例提供的基于多判别器的人脸合成方法示意图。
在本实施例中，基于多判别器的人脸合成方法包括：
S1、获取真实人脸图像，并对所获取的真实人脸图像进行预处理，得到规范化的真实人脸图像，将规范化的真实人脸图像作为数据集1。
首先，本发明获取真实人脸图像，并对所获取的真实人脸图像进行规格化处理，使所有人脸图像为统一的图像大小，所述规格化处理后的人脸图像大小为M*N像素，图像规格化的步骤包括对图像进行伸缩、旋转处理，在本发明一个具体实施例中，M的值为256，N的值为256；
进一步地，本发明对所获取的真实人脸图像进行预处理，所述预处理完成的真实人脸图像为规范化的真实人脸图像，并将所有规范化的真实人脸图像作为数据集1，所述图像预处理流程包括：
1)对真实人脸图像中每一个像素的三个颜色分量求最大值，并将该最大值设置为该像素点的灰度值，得到真实人脸图像的灰度图，所述灰度化处理的公式为：
Gray(i,j)＝max{R(i,j),G(i,j),B(i,j)}
其中：
(i,j)为真实人脸图像中的一个像素点；
R(i,j),G(i,j),B(i,j)分别为像素点(i,j)在R、G、B三个颜色通道中的值；
Gray(i,j)为像素点(i,j)的灰度值；
2)对于所述灰度图，利用分段线性变换的方式对图像的灰度进行线性拉伸，所述的公式为：
其中：
Gray(i,j)为像素点(i,j)的原始灰度值；
MINGray为灰度图中的最小灰度值；
MAXGray为灰度图中的最大灰度值；
g(i,j)为经灰度拉伸后像素点(i,j)的灰度值。
S2、构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2。
对于数据集1中真实人脸图像，本发明对真实人脸图像中不同面部组件的图像区域进行标注，并构造M×N的灰度矩阵Q，按像素点的位置将真实人脸图像中每个像素点的灰度值填写到灰度矩阵中，得到若干人脸图像灰度矩阵；在本发明一个具体实施例中，所述面部组件包括人脸的眼睛、头发、耳朵、鼻子等；
进一步地，本发明构建生成器网络，在本发明一个具体实施例中，生成器网络由三个卷积层、一个残差层以及一个转置卷积核组成，卷积层中卷积核的尺寸为3×3像素，第一个卷积层的滤波器个数为32个，第二个卷积层的滤波器个数为64个，第三个卷积层的滤波器个数为128个，残差层由9个残差块组成，残差块的步长为1，大小为3×3像素，转置卷积核大小为3×3像素，用来将卷积后的特征复原为原始M*N像素大小的图像；
将人脸图像灰度矩阵输入到生成器网络中，所述利用生成器网络实现人脸图像生成的流程为：
1)卷积层接收人脸图像灰度矩阵，并对人脸图像灰度矩阵Q进行卷积处理，所述卷积处理的流程为：
h1c＝Conv1(Qc)
h2c＝Conv2(h1c)
h3c＝Conv3(h2c)
其中：
Conv,Conv1,Conv2为生成器网络的三个卷积层，Conv(·)表示对输入值进行卷积处理；
Qc表示面部组件c的图像灰度矩阵，所述面部组件包括眼睛、头发、耳朵、鼻子、面部形状；
h1c,h2c,h3c表示面部组件c的特征图；
在本发明一个具体实施例中，每个卷积层后存在3个残差块，使得卷积后的特征图残差为0；
2)将不同面部组件的特征图进行组合，组合后的特征图包括所有面部组件，且不存在相同面部组件；
3)将组合后的特征图h输入到标准化层，所述标准化层对特征图中的面部组件位置进行优化处理：
其中：
c表示面部组件，cm表示面部组件中的面部形状；
SP(·)表示对输入特征图进行标准化处理；
hn,x,y表示特征图的通道数为n，特征图的宽度为x，高度为y；
μn为特征图在特征通道维度上的平均值；
σn为特征图在特征通道维度上的标准差；
αn,x,y(·)为标准化层中的映射函数，将除面部形状外的面部组件映射到人脸图像的对应位置；
βn,x,y(·)为标准化层中的映射函数，将面部形状映射为人脸图像的人脸形状；
4)将标准化层的输出结果输入到转置卷积核，从而将特征图映射为M*N像素大小的图像。
进一步地，本发明将生成器网络所生成的所有人脸图像作为数据集2。
S3、将图像集1和图像集2中的图像分别输入到多个判别器中。
进一步地，本发明将图像集1和图像集2中的图像分别输入到多个判别器中，从人脸肤色、人脸形状、人脸各部位比例维度，判断图像集2中的图像与图像集1中真实人脸图像在各维度的相似性，并判断图像集2中的图像是否为人脸图像；在本发明一个具体实施例中，所选取的判别器包括卷积神经网络判别器以及KNN判别器；
所述利用卷积神经网络判别器对图像集2中图像进行判别的流程为：
1)输入图像集1中的所有图像，利用4层卷积层分别提取不同人脸图像的颜色特征、形状特征以及人脸面部组件的比例特征；在本发明一个具体实施例中，所述卷积层中卷积核的大小为3*3像素，第一层卷积层滤波器个数为32个，第二层卷积层滤波器个数为64个，第三层卷积层滤波器个数为128个，第四层卷积层滤波器个数为256个；
2)输入图像集2中的生成图像，利用4层卷积层分别提取每个生成图像的颜色特征、形状特征以及人脸面部组件的比例特征，对于任意生成图像，计算生成图像的颜色特征、形状特征以及人脸面部组件的比例特征与图像集1中对应维度特征的最大相似性，将颜色特征、形状特征以及人脸面部组件的比例特征的最大相似性，作为生成图像在人脸肤色、人脸形状、人脸各部位比例维度符合真实人脸图像标准的程度；
3)计算图像集2中生成图像的特征图与图像集1中真实人脸图像的特征图进行相似性比较，生成图像x在真实人脸图像集合Y＝{y1,y2,...}中最大相似性值即为生成图像x是人脸图像的概率。
所述利用KNN判别器对图像集2中图像进行判别的流程为：
计算图像集2中生成图像x的像素矩阵与图像集1中所有真实人脸图像像素矩阵的差异值：
其中：
Zx为图像集2中生成图像x的像素矩阵；
将所计算的N个差异值进行归一化处理，将1-dmin作为生成图像在人脸肤色、人脸形状、人脸各部位比例维度符合真实人脸图像标准的程度，以及生成图像x是人脸图像的概率，其中dmin表示不同像素矩阵中生成图像与真实图像的最小差异值。
S4、按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，利用调整后最优的生成器网络进行人脸图像生成。
进一步地，本发明按照AHP层次分析法对判别器进行赋权，所述AHP层次分析法的流程为：
1)建立AHP层次模型结构，所建立的AHP层次模型结构的目标层为输入的图像集2图像是否为人脸图像，准则层为人脸肤色、人脸形状以及人脸各部位比例，措施层为卷积神经网络判别器以及KNN判别器；
2)对准则层以及措施层建立判断矩阵，矩阵中的元素为两项指标重要程度的比较；在本发明一个具体实施例中，例如对准则层建立判断，其中人脸肤色、人脸形状以及人脸各部位比例分别为a1,a2,a3，所建立的判断矩阵为：
其中：
aij即表示指标ai对指标aj的重要程度，其值越高，表明ai对目标层的影响程度越大；
3)分别计算准则层判断矩阵的最大特征根λ1和措施层判断矩阵的最大特征根λ2，并分别计算其一致性指标CI＝(λ-r)/(r-1)，其中r为判断矩阵的阶数，并对一致性指标进行修正CR＝CI/RI，其中RI为修正因子，当CR<0.1，则认为判断矩阵可信，否则需要修改判断矩阵；
4)根据最终的判断矩阵，逐层确定措施层对目标结果的影响权重，将影响权重作为判别器的赋权。
选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断；
对生成器网络中的参数进行更新调整，直到所生成的图像均被判别为人脸图像，利用最终的生成器网络进行人脸合成，在本发明一个具体实施例中，所采用的参数更新方法为Adam方法。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为Matlab2018b；对比方法为基于RNN的人脸合成方法以及基于GAN的人脸合成方法。
在本发明所述算法实验中，本实验利用算法模型生成人脸图像，将人脸图像生成的准确性作为算法可行性的评价指标，其中人脸图像生成的准确性越高，则说明算法的有效性、可行性越高。
根据实验结果，基于RNN的人脸合成方法的人脸图像生成准确性为77.6％，基基于GAN的人脸合成方法的人脸图像生成准确性为84.5％，本发明所述方法的基于多判别器的人脸图像生成准确性为89.3％，相较于对比算法，本发明所提出的基于多判别器的人脸合成方法能够实现更有效的人脸图像生成。
发明还提供一种基于多判别器的人脸合成装置。参照图2所示，为本发明一实施例提供的基于多判别器的人脸合成装置的内部结构示意图。
在本实施例中，所述基于多判别器的人脸合成装置1至少包括图像获取装置11、图像处理器12、人脸图像合成装置13，通信总线14，以及网络接口15。
其中，图像获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机、摄像头等终端设备，也可以是一种服务器等。
图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是基于多判别器的人脸合成装置1的内部存储单元，例如该基于多判别器的人脸合成装置1的硬盘。图像处理器12在另一些实施例中也可以是基于多判别器的人脸合成装置1的外部存储设备，例如基于多判别器的人脸合成装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，图像处理器12还可以既包括基于多判别器的人脸合成装置1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于基于多判别器的人脸合成装置1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
人脸图像合成装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，包括监控单元，用于运行图像处理器12中存储的程序代码或处理数据，例如人脸图像合成程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在基于多判别器的人脸合成装置1与其他电子设备之间建立通信连接。
可选地，基于多判别器的人脸合成装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于多判别器的人脸合成装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及基于多判别器的人脸合成装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于多判别器的人脸合成装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的基于多判别器的人脸合成装置1实施例中，图像处理器12中存储有人脸图像合成程序指令16；人脸图像合成装置13执行图像处理器12中存储的人脸图像合成程序指令16的步骤，与基于多判别器的人脸合成方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸图像合成程序指令，所述人脸图像合成程序指令可被一个或多个处理器执行，以实现如下操作：
获取真实人脸图像，并对所获取的真实人脸图像进行预处理，得到规范化的真实人脸图像，将规范化的真实人脸图像作为数据集1；
构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2；
将图像集1和图像集2中的图像分别输入到多个判别器中；
按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，利用调整后最优的生成器网络进行人脸图像生成。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种基于多判别器的人脸合成方法，其特征在于，所述方法包括：
S1:获取真实人脸图像，并对所获取的真实人脸图像进行预处理，得到规范化的真实人脸图像，将规范化的真实人脸图像作为数据集1；
S2:构建生成器网络，利用生成器网络生成人脸图像，将所生成的人脸图像作为图像集2；
S3:将图像集1和图像集2中的图像分别输入到多个判别器中；
S4:按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，并根据判断结果对生成器网络进行调整，利用调整后最优的生成器网络进行人脸图像生成；
所述按照AHP层次分析法对判别器进行赋权，根据判别器的层次权重，选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断，包括：
S41:建立AHP层次模型结构，所建立的AHP层次模型结构的目标层为输入的图像集2图像是否为人脸图像，准则层为人脸肤色、人脸形状以及人脸各部位比例，措施层为卷积神经网络判别器以及KNN判别器；
S42:对准则层以及措施层建立判断矩阵，矩阵中的元素为两项指标重要程度的比较，
对准则层建立判断，其中人脸肤色、人脸形状以及人脸各部位比例分别为
，所建
立的判断矩阵为：
其中：
S43:分别计算准则层判断矩阵的最大特征根
和措施层判断矩阵的最大特征根
，
并分别计算其一致性指标
，其中r为判断矩阵的阶数，并对一致性
指标进行修正
，其中
为修正因子，当
，则认为判断矩阵可信，否
则需要修改判断矩阵；
S44:根据最终的判断矩阵，逐层确定措施层对目标结果的影响权重，将影响权重作为判别器的赋权；
利用卷积神经网络判别器对图像集2中图像进行判别的流程为：
A1:输入图像集1中的所有图像，利用4层卷积层分别提取不同人脸图像的颜色特征、形状特征以及人脸面部组件的比例特征；
A2:输入图像集2中的生成图像，利用4层卷积层分别提取每个生成图像的颜色特征、形状特征以及人脸面部组件的比例特征，对于任意生成图像，计算生成图像的颜色特征、形状特征以及人脸面部组件的比例特征与图像集1中对应维度特征的最大相似性，将颜色特征、形状特征以及人脸面部组件的比例特征的最大相似性，作为生成图像在人脸肤色、人脸形状、人脸各部位比例维度符合真实人脸图像标准的程度；
A3:计算图像集2中生成图像的特征图与图像集1中真实人脸图像的特征图进行相似性
比较，生成图像x在真实人脸图像集合
中最大相似性值即为生成图像x是
人脸图像的概率；
利用KNN判别器对图像集2中图像进行判别的流程为：
B1:计算图像集2中生成图像x的像素矩阵与图像集1中所有真实人脸图像像素矩阵的差异值：
其中：
B2:将所计算的N个差异值进行归一化处理，将
作为生成图像在人脸肤色、人
脸形状、人脸各部位比例维度符合真实人脸图像标准的程度，以及生成图像x是人脸图像的
概率，其中
表示不同像素矩阵中生成图像与真实图像的最小差异值；
S5:选取层次权重最高的判别器对输入图像的是否为人脸图像进行判断。
2.如权利要求1所述的一种基于多判别器的人脸合成方法，其特征在于，所述对所获取的真实人脸图像进行预处理，包括：
获取真实人脸图像，并对所获取的真实人脸图像进行规格化处理，使所有人脸图像为
统一的图像大小，所述规格化处理后的人脸图像大小为
像素，图像规格化的步骤包
括对图像进行伸缩、旋转处理；
对所获取的真实人脸图像进行预处理，所述预处理完成的真实人脸图像为规范化的真实人脸图像，并将所有规范化的真实人脸图像作为数据集1，所述图像预处理流程包括：
1）对真实人脸图像中每一个像素的三个颜色分量求最大值，并将该最大值设置为该像素点的灰度值，得到真实人脸图像的灰度图，所述灰度化处理的公式为：
其中：
2）对于所述灰度图，利用分段线性变换的方式对图像的灰度进行线性拉伸，所述的公式为：
其中：
3.如权利要求2所述的一种基于多判别器的人脸合成方法，其特征在于，所述构建生成器网络，利用生成器网络生成人脸图像，包括：
对真实人脸图像中不同面部组件的图像区域进行标注，并构造
的灰度矩阵Q，
按像素点的位置将真实人脸图像中每个像素点的灰度值填写到灰度矩阵中，得到若干人脸
图像灰度矩阵；
将人脸图像灰度矩阵输入到生成器网络中，所述利用生成器网络实现人脸图像生成的流程为：
1）卷积层接收人脸图像灰度矩阵，并对人脸图像灰度矩阵Q进行卷积处理，所述卷积处理的流程为：
其中：
2）将不同面部组件的特征图进行组合，组合后的特征图包括所有面部组件，且不存在相同面部组件；
3）将组合后的特征图h输入到标准化层，所述标准化层对特征图中的面部组件位置进行优化处理：
其中：
c表示面部组件，
表示面部组件中的面部形状；
4）将标准化层的输出结果输入到转置卷积核，从而将特征图映射为
像素大小的
图像。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸图像合成程序指令，所述人脸图像合成程序指令可被一个或者多个处理器执行，以实现如权利要求1所述的基于多判别器的人脸合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110994564.1A CN113658088B (zh) | 2021-08-27 | 2021-08-27 | 一种基于多判别器的人脸合成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110994564.1A CN113658088B (zh) | 2021-08-27 | 2021-08-27 | 一种基于多判别器的人脸合成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658088A CN113658088A (zh) | 2021-11-16 |
| CN113658088B true CN113658088B (zh) | 2022-12-02 |
Family
ID=78493076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110994564.1A Active CN113658088B (zh) | 2021-08-27 | 2021-08-27 | 一种基于多判别器的人脸合成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658088B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257677A (zh) * | 2020-11-19 | 2021-01-22 | 汪金玲 | 一种在大数据集群中处理深度学习任务的方法及装置 |
| CN112561786A (zh) * | 2020-12-22 | 2021-03-26 | 作业帮教育科技（北京）有限公司 | 基于图像卡通化的在线直播方法、装置和电子设备 |
| CN113220114A (zh) * | 2021-01-22 | 2021-08-06 | 华南理工大学 | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778538A (zh) * | 2016-11-28 | 2017-05-31 | 上海工程技术大学 | 基于层次分析法的智能驾驶行为评判方法 |
| CN109447894A (zh) * | 2018-08-20 | 2019-03-08 | 广州市久邦数码科技有限公司 | 一种基于数据分析的图像处理方法及其*** |
| CN111476717B (zh) * | 2020-04-07 | 2023-03-24 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
-
2021
- 2021-08-27 CN CN202110994564.1A patent/CN113658088B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257677A (zh) * | 2020-11-19 | 2021-01-22 | 汪金玲 | 一种在大数据集群中处理深度学习任务的方法及装置 |
| CN112561786A (zh) * | 2020-12-22 | 2021-03-26 | 作业帮教育科技（北京）有限公司 | 基于图像卡通化的在线直播方法、装置和电子设备 |
| CN113220114A (zh) * | 2021-01-22 | 2021-08-06 | 华南理工大学 | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于大规模人眼图像合成的视线估计方法研究";赵彤彤;《道客巴巴》;20200611;第14，18，43，51，63页 * |
| "高校教师聘期考核***的设计与实现";邵玉春;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190915(第09期);第13，15-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658088A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Dynamic selection network for image inpainting | |
| WO2020098250A1 (zh) | 字符识别方法、服务器及计算机可读存储介质 | |
| CA2934514C (en) | System and method for identifying faces in unconstrained media | |
| US11983850B2 (en) | Image processing method and apparatus, device, and storage medium | |
| KR101183391B1 (ko) | 메트릭 임베딩에 의한 이미지 비교 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| US9171226B2 (en) | Image matching using subspace-based discrete transform encoded local binary patterns | |
| Tuzel et al. | Global-local face upsampling network | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN108229419A (zh) | 用于聚类图像的方法和装置 | |
| US11887270B2 (en) | Multi-scale transformer for image analysis | |
| CN111339897A (zh) | 活体识别方法、装置、计算机设备和存储介质 | |
| CN111178187A (zh) | 一种基于卷积神经网络的人脸识别方法及装置 | |
| CN111553838A (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| CN112200147A (zh) | 一种人脸识别方法、装置、计算机设备以及可存储介质 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN111985454A (zh) | 人脸识别方法、装置、设备及计算机可读存储介质 | |
| CN110008922A (zh) | 用于终端设备的图像处理方法、设备、装置、介质 | |
| CN116310462B (zh) | 一种基于秩约束自表示的图像聚类方法及装置 | |
| Chen et al. | Face super resolution based on parent patch prior for VLQ scenarios | |
| CN113658088B (zh) | 一种基于多判别器的人脸合成方法及装置 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 | |
| CN114841851A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| Wang et al. | A study of convolutional sparse feature learning for human age estimate | |
| Amelia | Age Estimation on Human Face Image Using Support Vector Regression and Texture-Based Features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A face synthesis method and device based on multiple discriminators Granted publication date: 20221202 Pledgee: Bank of China Limited Liangxi Branch, Wuxi Pledgor: Novartis film technology (Jiangsu) Co.,Ltd. Registration number: Y2024980024876 |