CN109815893A - 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 - Google Patents
基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 Download PDFInfo
- Publication number
- CN109815893A CN109815893A CN201910061571.9A CN201910061571A CN109815893A CN 109815893 A CN109815893 A CN 109815893A CN 201910061571 A CN201910061571 A CN 201910061571A CN 109815893 A CN109815893 A CN 109815893A
- Authority
- CN
- China
- Prior art keywords
- illumination
- domain
- image
- picture
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000001815 facial effect Effects 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 15
- 230000004069 differentiation Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000005021 gait Effects 0.000 claims description 6
- 230000013016 learning Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000004956 Amodel Substances 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 abstract description 4
- 239000000203 mixture Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，包括以下步骤：S1:建立用于彩色人脸图像光照归一化的循环生成对抗网络模型；S2:建立模型的损失函数；S3:进行模型的训练，并在测试集上测试。本发明是对多种光照下的彩色人脸图像进行到指定目标光照域的转换，输入不均匀光照的彩色人脸图片，使用循环生成对抗网络作为模型架构，以目标均匀光照域为目标，实现人脸图像多光照的归一化，归一化的图像不仅可以较好的保持原有人脸的脸部属性特征，还可以很好实现跨数据集迁移。
Description
技术领域
本发明涉及计算机视觉人脸光照领域，更具体地，涉及一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法。
背景技术
近年来，由于深度学习在计算机视觉的快速发展，基于二维人脸的分析技术，如人脸识别、人脸匹配、人脸属性识别等方向受到了极大的关注。目前，许多的在人脸领域的算法能够达到近乎完美的表现，也得到了广泛的使用。这些效果表现很好的算法，都是基于对人脸图像的姿态，拍摄环境，表情，光照等非人脸身份信息进行了严格的控制，对于在自然无限制的现实环境下，其应用会存在一定的不足。在自然条件下，其性能容易受到光照、拍摄角度、遮挡等多方面的影响，其中光照的变化是影响其算法性能最重要的因素之一。由于人脸是3D结构，不同角度的光照投射出的阴影，会加强或者减弱原有的人脸特征，尤其是当光照不足时候造成的脸部阴影，会导致这些二维人脸的分析算法性能急剧下降。同时，已有的理论实验证明，一个人脸个体因为光照变化引起的差异，甚至会大于相同关照下不同个体之间的差异。因此，探索合适的方法对不同光照变化环境下的人脸图像进行预处理，模拟人脸图像可能出现的光照成像环境，对于改善人脸分析算法的性能具有很大的意义。
早期的方法是注重于人脸灰度图片，利用灰度的调整重新分配原始人脸图像的强度，使人脸图像不易发生光照变化，例如直方图均衡化，这些方法仅考虑人脸图像的整体强度分布，难以处理人脸图像中因光照产生的硬阴影、高光等。接下来提出的方法注重于提取同一人脸不同光照条件下的图像的光照不变特征，例如自商图像方法、S&L光照标准化方法等，这些方法同样不适用于硬阴影，处理生成的人脸图像容易丢失边缘信息，细节信息等，同时也只是应用在人脸图像的灰度图，难以拓展到彩色空间，现实应用存在较大的限制。
随着深度学习的发展，卷积神经网络也被用以推断光照参数和重建光照环境图；另外，也有直接融合使用三维模型产生多视图和各个光照条件下的样本，再利用神经网络的非线性转化能力，构建一个能同时处理多光照的模型。这些方法复杂度比较高，计算成本比较大，多数的方法还是局限于处理精心分割好并且严格对齐的脸部区域，对于完整的人脸图像鲁棒性不高。
生成对抗网络是现在计算机视觉研究比较热门的领域，其中，生成对抗网络被成功应用到了图像域间转换和域间迁移。这些模型学习如何将图像从一个域转换到另外一个域。这给我们的人脸图像多光照域之间进行转换提供了思路，模拟原有的人脸在可能出现的光照域成像情况，可以通过生成对抗网络的域转换的思路来实现。其优点在于，在进行人脸光照处理时，不需要切割人脸部位，不需要严格的人脸对齐，可以很好的对人脸和背景进行光照的转换，更加符合现实场景。同时，也存在一定的局限性，例如在进行光照转换时候，要保留原有图像的身份信息。更加具体为，脸部属性特征、毛发、人脸上的遮挡物等。现有的一些进行域转换的生成对抗网络模型，生成的图像容易产生噪声，丢失细节信息，存在局部模糊的情况。基于CycleGAN的人脸灰度图光照归一化，但是其只是对于人脸图像灰度图进行归一化，并且是基于严格剪裁的人脸区域，不包括头发，耳朵等部位，难以拓展到彩色空间，在自然环境下存在一定的应用限制。还有基于生成对抗网络和Triplet loss的彩色人脸图像归一化方法，但是在训练模型时候，其判别器需要对目标光照域人脸具体身份类别进行判别，以具体的人脸身份类别信息来训练模型，重构时候添加triplet loss，使用了具体的人脸身份信息，一定程度上相当于使用配对数据进行光照域的转换。这限制了该方法的对于训练数据集外的人脸图像的适应性，对于跨数据集测试，其生成的光照归一化效果不好，其应用也存在很大的限制。我们的光照域的转换生成对抗网络模型采用的是跨数据集非配对数据，并且要克服上述的这些问题，要更加注重转换生成的人脸图像的质量和跨数据集迁移的效果。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法。
为了达到上述目的，本发明采用以下技术方案：
一种基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，包括以下步骤：
S1：建立用于彩色人脸图像光照归一化的循环生成对抗网络模型，该循环生成对抗网络模型包括生成网络和鉴别网络，所述生成网络通过构建生成器生成人脸特征重构图片，所述鉴别网络通过构建鉴别器来鉴别光照域；
S2：建立模型的损失函数，使生成对抗网络训练稳定，并且使得生成器在学习目标光照域光照信息时能够比较好保留输入图像的脸部特征；
S3：进行模型的训练，将不同光照类别的图像分成不均匀光照域和目标光照域，进行在生成对抗网络中循环训练，并在测试集上测试，并查看生成的人脸图像效果图。
进一步地，所述步骤S1的具体过程是：
S11：构建生成网络，构建两个生成器GA和GB。其中，GA生成器以光照域集合A中的人脸图像Areal作为输入，生成与目标光照域B具有相同光照特征的图像Afake，以GB生成器生成的图片Bfake作为输入，生成与Breal具有相同光照特征与人脸特征的重构图片Arec；GB生成器以GA生成器生成的图片Afake作为输入，生成与Areal具有相同光照特征和人脸特征的重构图像Brec，并且以光照域B之中的图像Breal作为输入生成与光照域集合A光照特征相同的图片Bfake。GA生成器和GB生成器具有相同的网络结构，其网络共有四个卷积层、六个残差模块和两个转置卷积层组成，其中第一个卷积层为输入层，两个用作下采样的卷积层与两个用作上采样的转置卷积层一一对称，中间嵌入六个残差模块，保证输出图像与输入图像的大小一致。最后一个输出层也为卷积层，使用Tanh激活函数保证输出的数值在0到255之间。剩余六个卷积层与六个残差模块均使用实例归一化策略和ReLU激活函数，其中六个残差模块通道数均为256，卷积均为3x3，步长与填充均为为1；第一个和最后一个卷积层通道数为64，卷积核为7x7，填充为3，步长为1；其余卷积层通道数为上一层的两倍或者一半，卷积核大小均为3x3，步长均为2，填充均为1。
S12：构建鉴别网络，构建两个鉴别器DA和DB，DA鉴别器用以鉴别人脸光照域集合A中图片Areal与生成器GB生成的图片Bfake的光照域类别；DB鉴别器用以鉴别人脸光照域B中图片Breal与生成器GA生成图片Afake的光照域间类别。鉴别器用以鉴别光照域类别时候，均采用使用多尺度特征图来进行鉴别，共有六个卷积层，六个卷积层通道数按照是前一层的两倍递增，卷积核均为3x3，步长与填充均为2和1，激活函数为LeakyReLU，在进行鉴别时，使用了后三层的特征图；
进一步地，所述步骤S2的具体过程是：
S21：判别器D的判别损失构建，设Dsrc(x)为判别器D使用多尺度特征融合计算得到的输入样本x为正样本的概率，当鉴别为真实时输出接近1，鉴别为假时输出接近0。生成器G旨在让生成图像xfake与真实图像xreal的表现一致，使得判别器D区分不出。而判别器D旨在尽量区分出生成图像与真实图像，因此，判别器D判别损失定义为：
表示取一个训练批次中所有样本计算的期望值，训练判别器D时，旨在最大化Ladv。为了保证训练过程稳定并且生成质量高的图像，在这里使用WGAN梯度惩罚策略重新定义损失函数Ladv，具体为：
其中，为真实图像xreal与生成图像xfake的连接线上随机进行插值采样得到：
λgp为梯度惩罚项的权重系数，α为0到1的随机数。
所以，判别器DA的损失函数力：
判别器DB的损失函数为：
此时，判别器DA和DB最小化以上损失函数。
S24：生成器G的重构损失构建，为了保***G能有效学习到普遍适用于各个光照域的可靠特征，这里使用重构学习约束域间的映射转换。具体为：通过生成器G将人脸图像从原始光照域映射转换到目标光照域，再以生成图像为输入，使其逆映射转换成原始光照域的人脸图像，计算该重构图像与原始图像之间的距离误差。在这里结合了三种距离衡量方法，具体如下：
L1范数衡量重构前后两人脸图像之间距离：
其中，x为原始光照域的人脸图像，l′为目标光照域的类标，G(x)为原始图像转换到目标光照域的生成图像，G(G(x))表示生成图像到原始光照域人脸图像的逆转换，即是重构图像。
L1距离衡量的是两幅相同大小图像对应通道位置的像素值差值的绝对值，容易忽略图像像素与其邻域之间的空间关系，例如容易导致边缘，纹理等信息的丢失，与人类的视觉认知相符性不高。
为了使得生成的人脸图像更多的保留原有人脸图像的身份信息，减少生成图像细节失真，减少噪声污染，更好显示视觉真实性，这里额外使用了两个衡量图像之间相似度的距离指标，MS-SSIM(MS structural similarity index多层级结构相似性)，PSNR。
其中，MS-SSIM损失具体如下：
亮度差距：
对比度差距：
结构差距：
原始图像x和重构图像y最终的MS-SSIM衡量损失为：
其中，μ.为均值，σ.为方差，β1＝(k1L)2，β2＝(k2L)2，k1＝0.01，k2＝0.03，L为图像像素值的取值范围，M代表缩放因子，表明图像宽高以2M-1进行缩放，这里取M＝2，ω1＝μ1＝ρ1＝0.0448，ω2＝μ2＝ρ2＝0.2856计算结果取值范围为[-1，1]，取值越大表示两幅图像相似度越高。
PSNR损失具体如下：
原始图像x和重构图像y均为RGB彩色图像，他们的均方差定义为：
其中，w，h为图像宽高，(i，j)1，(i，j)2，(i，j)3分别表示RGB图像第一，第二，第三通道中位置(i，j)的数值。
PSNR损失如下：
其中，为原始图像x和重构图像y中最大的像素值。
最终，重构损失具体为：
Lrec(x，y)＝L1(x，y)+α1(1-LSSIM(x，y))-α2LPSNR(x，y)
其中，α2，α3为权重系数。
S25：生成器G的整体损失函数，在生成对抗网络中训练生成器G时，判别网络D对生成图像的真假判别误差，都有利于生成器不断迭代完善自己的参数。生成器G结合鉴别器D以及重构损失的整体损失函数具体为：
LG＝Ladv+α3Lrec(x，y)
其中，Ladv为鉴别器D的多尺度判别损失，Lrec为重构损失，α1，α2，α3为权重系数。生成器G最小化以上损失函数。
这里，生成器GA具体的生成损失为：
生成器GB具体的生成损失为：
生成器总的损失函数为：
进一步地，所述步骤S3的具体过程如下：
S31：将人脸光照图像分别按照光照域进行分为A，B两类，其中A类为多个光照域集合，B为单一目标光照域集合。将A中的人脸图像A_real输入到GA得到生成图片Afake，将B中的人脸图像Breal输入到GB中得到生成图像Bfake，然后将Afake输入到GB中得到重构图片Brec，将Bfake输入到GA得到重构图片Arec，然后将Areal与Bfake输入到判别器DA中作是否为A集合中光照类别的真假判别，将Breal与Afake输入到判别器DB中做是否为B集合中光照类别的真假判别。在训练过程中，对于生成网络和判别网络使用分布训练的方法，练生成器时候，固定鉴别器的模型参数，此时不对鉴别器的参数进行更新；训练鉴别器的时候，固定生成器的模型参数，此时不对生成器G的模型参数进行更新。
S32：对于上述的输出，通过步骤S2中所述的方式来计算损失函数，使用Adam优化器来优化损失函数，在分布训练过程更新模型参数。
S33：将A数据集按照9∶1的比例划分训练集与测试集，并在额外的数据集上随机取样光照不均匀的彩色人脸图像，组成测试集。在训练集中迭代训练2000次。将训练后的模型保存，最后使用生成器GA的模型，并在测试集上进行测试，查看生成的人脸图像效果。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明可以实现对非严格裁剪对齐的彩色人脸图像光照归一化的处理，包括彩色图像中的背景和完整的人脸部分，例如耳朵，头发等部位。
2.本发明可以实现跨数据集的非配对彩色人脸光照图像归一化实现，在训练时不以具体的人脸身份信息进行分类作为鉴别器的限制，从测试集中可以看出，对于训练集以外的彩色人脸图像，其光照归一化效果较好，说明该模型能应用到更多的非限制条件下的多光照彩色人脸图像。
3.本发明生成图片在改变输入图像的光照情况同时，能较好保持原有图像的人脸属性细节部分，较好的保留了人脸的脸部结构，对于头发，眼睛，还有肤色等细节部位，显示了很好的视觉效果，并且对于眼镜等遮挡物，也能很好的保留，这有利于保留输入的不均匀光照的人物身份信息。
附图说明
图1为本发明人脸彩色图像光照归一化的方法流程图；
图2为实施例1中的方法的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本发明是针对人脸彩色图片多光照域归一化的转换，我们使用的数据集是CMU-multi-PIE的人脸数据集，该数据集是由美国***梅隆大学视觉科研团队采集，数据集图像中包含了337个人脸身份，每个人脸身份均有19种不同的光照条件抓拍的20张图片，其中第一张和最后一张没有任何摄像机闪光照明，其余由18台环形闪光灯分别单独闪光拍摄。我们选用其中18420张中性表情的正面人脸图像上，其中，随机选取1800张作为测试集，剩余的16620张作为训练集，输入输出均调整为128x128。从训练集中选取光照类别为06，07，08的均匀光照人脸图片构建目标光照域间集合B，剩余的人脸图像构建成多光照域集合A。
如图1、图2所示，基于循环生成对抗网络的彩色人脸图像光照域归一化的方法步骤如下：对于人脸光照图片集合A和B，将A中的人脸图像A_real输入到GA得到生成图片Afake，将B中的人脸图像Breal输入到GB中得到生成图像Bfake，然后将Afake输入到GB中得到重构图片Brec，将Bfake输入到GA得到重构图片Arec，然后将Areal与Bfake输入到判别器DA中作是否为A集合中光照类别的真假判别，将Breal与Afake输入到判别器DB中做是否为B集合中光照类别的真假判别。在训练过程中，为保证该循环生成对抗网络训练的稳定性，对于生成网络和判别网络使用分步训练的方法，训练生成器时候，固定鉴别器的模型参数，此时不对鉴别器的参数进行更新，只更生成器的参数；训练鉴别器的时候，固定生成器的模型参数，此时不对生成器G的模型参数进行更新，只更新鉴别器的参数。细节如下：
1.读入CMU-multi-PIE数据集，并按照9∶1的比例随机选取生成训练集与测试集，额外在FRGC数据集多次随机选取1000张组成多个测试集合。然后在训练集中选取第06，07，08类光照的人脸图片组成目标光照域集合B，训练集中剩余的组成人脸多光照域集合A。图片大小均设置为128x128。
2.构建含有两个生成器GA，GB和两个鉴别器DA、DB的生成对抗神经网络模型，生成器和鉴别器在每个训练周期参数更新的次数分别为1和3。在每个训练周期，每个训练批次设置为32，即是分别从A和B中随机选取32张图片。首先固定生成器的参数，训练鉴别器DA、DB3次，每次分别从A和B中采样一个批次Areal和Breal，将Areal输入生成器GA得到生成图片Afake，将Breal输入到生成器GB来得到生成图片Bfake，然后将Areal和Bfake输入到DA进行判别真假，将Breal和Afake输入到判别器DB进行判别真假，计算损失函数和分别对鉴别器DA和DB的参数进行更新；鉴别器训练完之后，固定其参数，开始训练生成器1次，将Areal输入生成器GA得到生成图片Afake，将Breal输入到生成器GB来得到生成图片Bfake，然后将Areal和Bfake输入到DA进行判别真假，将Breal和Afake输入到判别器DB进行判别真假，计算损失函数和然后将Bfake输入到GA得到重构生成图片Arec，将Afake输入到GB得到重构生成图片Brec，计算损失和然后分别对两个生成器参数进行更新。
其中，在训练鉴别器时候，其损失函数的权重系数设置如下：
LD＝-Ladv
判别器DA和DB判别损失Ladv中的梯度惩罚项的权重系数λgp均设置为10。
在训练生成器G时候，其损失函数的参数设置如下：
LG＝Ladv+α3Lrec(x，y)
Lrec(x，y)＝L1+α1(1-LMS-SSIM(x，y))-α2LPSNR(x，y)
生成器GA和GB在训练时候，重构损失Lrec权重系数设置α3为10，权重系数α1和α2分别设置为0.5，0.3。
3.为了保证训练的稳定性，加快收敛，在训练判别器DA和DB时候，使用历史值监督训练策略。设置一个历史值缓存区，存储判别器判别过的上一批次的生成图像，在当前批次进行计算鉴别器损失函数时候，随机从历史值缓存区采样半个批次的历史生成图像与半个当前批次的生成图像来组成一个批次的生成图像用以鉴别器的判别，计算损失函数并更新鉴别器参数。
4.训练周期为2000，前1000个周期所有网络学习率均设置为0.0002，后1000轮线性衰减到0，使用Adam优化算法，β1设置为0.5，β2设置为0.999。
5.然后在训练好的生成网络模型中的生成模型GA中，使用跨数据集测试集来做测试，查看生成图片效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，包括以下步骤：
S1：建立用于彩色人脸图像光照归一化的循环生成对抗网络模型，该循环生成对抗网络模型包括生成网络和鉴别网络，所述生成网络通过构建生成器生成转换成指定光照域的人脸图片和人脸特征重构图片，所述鉴别网络通过构建鉴别器来鉴别光照域；
S2：建立模型的损失函数，使生成对抗网络训练稳定，并且使得生成器在学习目标光照域光照信息时能够比较好保留输入图像的脸部特征；
S3：进行模型的训练，将不同光照类别的图像分成不均匀光照域和目标均匀光照域，进行在生成对抗网络中循环训练，并在测试集上测试，并查看生成的人脸图像效果图。
2.根据权利要求1所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S1的具体过程是：
S11：构建生成网络，构建两个生成器GA和GB；其中，GA生成器以多光照域集合A中的人脸图片Areal作为输入，生成与目标光照域B具有相同光照特征的图片Afake，以GB生成器生成的图片Bfake作为输入，生成与Breal具有相同光照特征与人脸特征的重构图片Arec；GB生成器以GA生成器生成的图片Afake作为输入，生成与Areal具有相同光照特征和人脸特征的重构图片Brec，并且以光照域B之中的图像Breal作为输入生成与光照域集合A光照特征相同的图片Bfake；
S12：构建鉴别网络，构建两个鉴别器DA和DB，DA鉴别器用以鉴别人脸光照域集合A中图片Areal与生成器GB生成的图片Bfake的光照域类别；DB鉴别器用以鉴别人脸光照域B中图片Breal与生成器GA生成图片Afake的光照域间类别，鉴别器用以鉴别光照域时候，均采用多尺度特征图来进行鉴别。
3.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述生成器GA和生成器GB具有相同的网络结构，其网络共有四个卷积层、六个残差模块和两个转置卷积层，其中第一个卷积层为输入层，两个用作下采样的卷积层与两个用做上采样的转置卷积层中间嵌入六个残差模块，保证输出图像与输入图像的大小一致。
4.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述鉴别器DA和鉴别器DB均采用使用多尺度特征图来进行鉴别，共有六个卷积层，六个卷积层通道数按照是前一层的两倍递增。
5.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S2的具体过程是：
S21：对于判别器DA，其损失函数是对多光照域集合A中的人脸图片Areal和将光照域B之中的图像Breal输入GB生成器生成的图像Bfake的光照域类别的鉴别损失，使用了多尺度特征图进行鉴别，当鉴别为真实时输出接近1，鉴别为假时输出接近0；
S22：对于判别器DB，其损失函数是对目标光照域集合B中的人脸图片Breal和将集合A之中的图像Areal输入GA生成器生成的图像Afake的光照域类别的鉴别损失，使用了多尺度特征图进行鉴别，当鉴别为真实时输出接近1，鉴别为假时输出接近0；
S23：对于判别器GA和GB的损失函数，均结合了WGAN梯度惩罚策略，判别器GA和GB以最小化损失函数为优化目标；
S24：生成器的重构损失Lrec构建，结合三种距离衡量方法计算重构图像与原始图像之间的距离误差，分别为L1范数误差，MS-SSIM误差，PSNR误差；
S25：生成器GA的整体损失函数其结合了鉴别器DB损失函数的相反数和对集合A之中的图像Areal与GB生成器生成的重构图片Brec的重构误差；
S26：生成器GB的整体损失函数其结合了鉴别器DA损失函数的相反数和对集合B之中的图像Breal与GA生成器生成的重构图片Arec的重构误差；
α1为重构误差权重参数；
S26：生成器总的损失函数为：以最小化该损失函数同时优化更新生成器GA和GB的参数。
6.根据权利要求5所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，步骤S21中，为了保证训练过程稳定并且生成质量高的图像，在这里使用WGAN梯度惩罚策略重新定义损失函数Ladv，具体为：
其中，为真实图像xreal与生成图像xfake的连接线上随机进行插值采样得到：
λgp为梯度惩罚项的权重系数，α为0到1的随机数；
所以，判别器DA的损失函数为：
判别器DB的损失函数为：
此时，判别器DA和DB最小化以上损失函数。
7.根据权利要求5所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，步骤S21中，三种距离衡量方法，具体如下：
L1范数衡量重构前后两人脸图像之间距离：
其中，x为原始光照域的人脸图像，l′为目标光照域的类标，G(x)为原始图像转换到目标光照域的生成图像，G(G(x))表示生成图像到原始光照域人脸图像的逆转换，即是重构图像；
MS-SSIM衡量损失为：
其中，μ.为均值，σ.为方差，β1＝(k1L)2，β2＝(k2L)2，k1＝0.01，k2＝0.03，L为图像像素值的取值范围，M代表缩放因子，表明图像宽高以2M-1进行缩放；
PSNR重构损失具体为：
Lrec(x，y)＝L1(x，y)+α1(1-LSSIM(x，y))-α2LPSNR(x，y)
其中，α2，α3为权重系数。
8.根据权利要求2所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S3的具体过程如下：
S31：将人脸图像分别按照光照域进行分为A、B两类，其中A类为多个光照域集合，B为目标光照域集合；将A中的人脸图像Areal输入到GA得到生成图片Afake，将B中的人脸图像Breal输入到GB中得到生成图像Bfake，然后将Afake输入到GB中得到重构图片Brec，将Bfake输入到GA得到重构图片Arec，然后将Areal与Bfake输入到判别器DA中作是否为A集合中光照类别的真假判别，将Breal与Afake输入到判别器DB中做是否为B集合中光照类别的真假判别，计算判别器损失和生成器的损失函数，进行模型参数的更新；
S32：对于上述的输出，通过步骤S2中所述的方式来计算损失函数，使用Adam优化器来优化损失函数，在分步训练过程更新模型参数；
S33：将A数据集按照设定比例划分训练集与测试集，将训练后的模型保存，最后使用生成器GA的模型，在测试集上进行测试，查看生成的人脸图像效果。
9.根据权利要求8所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S32中，在训练过程中，对于生成网络和判别网络使用分步训练的方法，训练生成器时候，固定鉴别器的模型参数；训练鉴别器的时候，固定生成器的模型参数。
10.根据权利要求8所述基于循环生成对抗网络的彩色人脸图像光照域归一化的方法，其特征在于，所述步骤S32中，所述设定比例为9∶1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910061571.9A CN109815893B (zh) | 2019-01-23 | 2019-01-23 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910061571.9A CN109815893B (zh) | 2019-01-23 | 2019-01-23 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109815893A true CN109815893A (zh) | 2019-05-28 |
| CN109815893B CN109815893B (zh) | 2021-03-26 |
Family
ID=66604827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910061571.9A Active CN109815893B (zh) | 2019-01-23 | 2019-01-23 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815893B (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197226A (zh) * | 2019-05-30 | 2019-09-03 | 厦门大学 | 一种无监督图像翻译方法及*** |
| CN110210556A (zh) * | 2019-05-29 | 2019-09-06 | 中国科学技术大学 | 行人再识别数据生成方法 |
| CN110415297A (zh) * | 2019-07-12 | 2019-11-05 | 北京三快在线科技有限公司 | 定位方法、装置及无人驾驶设备 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
| CN111047509A (zh) * | 2019-12-17 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 一种图像特效处理方法、装置及终端 |
| CN111179228A (zh) * | 2019-12-16 | 2020-05-19 | 浙江大学 | 一种基于深度学习的单能ct能谱成像方法 |
| CN111275692A (zh) * | 2020-01-26 | 2020-06-12 | 重庆邮电大学 | 基于生成对抗网络的红外小目标检测方法 |
| CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111429436A (zh) * | 2020-03-29 | 2020-07-17 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
| CN111539897A (zh) * | 2020-05-09 | 2020-08-14 | 北京百度网讯科技有限公司 | 用于生成图像转换模型的方法和装置 |
| CN111832229A (zh) * | 2020-07-17 | 2020-10-27 | 中国人民解放军海军工程大学 | 基于CycleGAN模型的振动传递***及其训练方法 |
| CN112102424A (zh) * | 2019-06-18 | 2020-12-18 | 顺丰科技有限公司 | 车牌图像生成模型构建方法、生成方法及装置 |
| CN112131975A (zh) * | 2020-09-08 | 2020-12-25 | 东南大学 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
| CN112259119A (zh) * | 2020-10-19 | 2021-01-22 | 成都明杰科技有限公司 | 基于堆叠沙漏网络的音乐源分离方法 |
| CN112287779A (zh) * | 2020-10-19 | 2021-01-29 | 华南农业大学 | 一种低光照度图像自然光照度补强方法及应用 |
| CN112446873A (zh) * | 2020-12-11 | 2021-03-05 | 深圳高性能医疗器械国家研究院有限公司 | 一种图像伪影的去除方法 |
| CN112634126A (zh) * | 2020-12-22 | 2021-04-09 | 厦门美图之家科技有限公司 | 人像减龄处理方法、训练方法、装置、设备及存储介质 |
| CN113378715A (zh) * | 2021-06-10 | 2021-09-10 | 北京华捷艾米科技有限公司 | 一种基于彩色人脸图像的活体检测方法及相关设备 |
| CN113609893A (zh) * | 2021-06-18 | 2021-11-05 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN113689527A (zh) * | 2020-05-15 | 2021-11-23 | 武汉Tcl集团工业研究院有限公司 | 一种人脸转换模型的训练方法、人脸图像转换方法 |
| CN114119356A (zh) * | 2021-11-24 | 2022-03-01 | 北京理工大学 | 基于CycleGAN的热红外图像转类可见光彩色图像方法 |
| CN115297263A (zh) * | 2022-08-24 | 2022-11-04 | 广州方图科技有限公司 | 适用于拍立方的自动拍照控制方法、***及拍立方 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107909640A (zh) * | 2017-11-06 | 2018-04-13 | 清华大学 | 基于深度学习的人脸重光照方法及装置 |
| CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| CN108334848A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种基于生成对抗网络的微小人脸识别方法 |
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
-
2019
- 2019-01-23 CN CN201910061571.9A patent/CN109815893B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107909640A (zh) * | 2017-11-06 | 2018-04-13 | 清华大学 | 基于深度学习的人脸重光照方法及装置 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| CN108334848A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种基于生成对抗网络的微小人脸识别方法 |
| CN108334904A (zh) * | 2018-02-07 | 2018-07-27 | 深圳市唯特视科技有限公司 | 一种基于统一生成对抗网络的多域图像转换技术 |
| CN108711138A (zh) * | 2018-06-06 | 2018-10-26 | 北京印刷学院 | 一种基于生成对抗网络的灰度图片彩色化方法 |
Non-Patent Citations (1)
| Title |
|---|
| WEI MA等: "Face Image Illumination Processing Based on Generative Adversarial Nets", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210556B (zh) * | 2019-05-29 | 2022-09-06 | 中国科学技术大学 | 行人再识别数据生成方法 |
| CN110210556A (zh) * | 2019-05-29 | 2019-09-06 | 中国科学技术大学 | 行人再识别数据生成方法 |
| CN110197226B (zh) * | 2019-05-30 | 2021-02-09 | 厦门大学 | 一种无监督图像翻译方法及*** |
| CN110197226A (zh) * | 2019-05-30 | 2019-09-03 | 厦门大学 | 一种无监督图像翻译方法及*** |
| CN112102424A (zh) * | 2019-06-18 | 2020-12-18 | 顺丰科技有限公司 | 车牌图像生成模型构建方法、生成方法及装置 |
| CN110415297A (zh) * | 2019-07-12 | 2019-11-05 | 北京三快在线科技有限公司 | 定位方法、装置及无人驾驶设备 |
| CN110415297B (zh) * | 2019-07-12 | 2021-11-05 | 北京三快在线科技有限公司 | 定位方法、装置及无人驾驶设备 |
| CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
| CN110706152B (zh) * | 2019-09-25 | 2021-09-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| CN111179228A (zh) * | 2019-12-16 | 2020-05-19 | 浙江大学 | 一种基于深度学习的单能ct能谱成像方法 |
| CN111047509A (zh) * | 2019-12-17 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 一种图像特效处理方法、装置及终端 |
| CN111275692B (zh) * | 2020-01-26 | 2022-09-13 | 重庆邮电大学 | 基于生成对抗网络的红外小目标检测方法 |
| CN111275692A (zh) * | 2020-01-26 | 2020-06-12 | 重庆邮电大学 | 基于生成对抗网络的红外小目标检测方法 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111325661B (zh) * | 2020-02-21 | 2024-04-09 | 京工慧创(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
| CN111429436B (zh) * | 2020-03-29 | 2022-03-15 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
| CN111429436A (zh) * | 2020-03-29 | 2020-07-17 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
| CN111539897A (zh) * | 2020-05-09 | 2020-08-14 | 北京百度网讯科技有限公司 | 用于生成图像转换模型的方法和装置 |
| CN113689527A (zh) * | 2020-05-15 | 2021-11-23 | 武汉Tcl集团工业研究院有限公司 | 一种人脸转换模型的训练方法、人脸图像转换方法 |
| CN111832229A (zh) * | 2020-07-17 | 2020-10-27 | 中国人民解放军海军工程大学 | 基于CycleGAN模型的振动传递***及其训练方法 |
| CN112131975A (zh) * | 2020-09-08 | 2020-12-25 | 东南大学 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
| CN112259119A (zh) * | 2020-10-19 | 2021-01-22 | 成都明杰科技有限公司 | 基于堆叠沙漏网络的音乐源分离方法 |
| CN112259119B (zh) * | 2020-10-19 | 2021-11-16 | 深圳市策慧科技有限公司 | 基于堆叠沙漏网络的音乐源分离方法 |
| CN112287779B (zh) * | 2020-10-19 | 2022-03-25 | 华南农业大学 | 一种低光照度图像自然光照度补强方法及应用 |
| CN112287779A (zh) * | 2020-10-19 | 2021-01-29 | 华南农业大学 | 一种低光照度图像自然光照度补强方法及应用 |
| CN112446873A (zh) * | 2020-12-11 | 2021-03-05 | 深圳高性能医疗器械国家研究院有限公司 | 一种图像伪影的去除方法 |
| CN112634126A (zh) * | 2020-12-22 | 2021-04-09 | 厦门美图之家科技有限公司 | 人像减龄处理方法、训练方法、装置、设备及存储介质 |
| CN113378715A (zh) * | 2021-06-10 | 2021-09-10 | 北京华捷艾米科技有限公司 | 一种基于彩色人脸图像的活体检测方法及相关设备 |
| CN113378715B (zh) * | 2021-06-10 | 2024-01-05 | 北京华捷艾米科技有限公司 | 一种基于彩色人脸图像的活体检测方法及相关设备 |
| CN113609893A (zh) * | 2021-06-18 | 2021-11-05 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN113609893B (zh) * | 2021-06-18 | 2024-04-16 | 大连民族大学 | 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 |
| CN114119356A (zh) * | 2021-11-24 | 2022-03-01 | 北京理工大学 | 基于CycleGAN的热红外图像转类可见光彩色图像方法 |
| CN114119356B (zh) * | 2021-11-24 | 2024-06-11 | 北京理工大学 | 基于CycleGAN的热红外图像转类可见光彩色图像方法 |
| CN115297263A (zh) * | 2022-08-24 | 2022-11-04 | 广州方图科技有限公司 | 适用于拍立方的自动拍照控制方法、***及拍立方 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109815893B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815893A (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN113469356B (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN108830150B (zh) | 一种基于三维人体姿态估计方法及装置 | |
| CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
| CN108389192A (zh) | 基于卷积神经网络的立体图像舒适度评价方法 | |
| CN109886881B (zh) | 人脸妆容去除方法 | |
| CN113822982B (zh) | 一种人体三维模型构建方法、装置、电子设备及存储介质 | |
| CN109214298B (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
| CN108830796A (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN108875935A (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
| CN109360178A (zh) | 基于融合图像的无参考立体图像质量评价方法 | |
| CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移***及方法 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN111401132A (zh) | 监控场景下高层语义指导的行人属性识别方法 | |
| CN112002009A (zh) | 一种基于生成对抗网络的无监督重建三维人脸方法 | |
| CN107066979A (zh) | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 | |
| CN115484410A (zh) | 基于深度学习的事件相机视频重建方法 | |
| CN113592018A (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
| CN107481243A (zh) | 基于羊只俯视图的羊只体尺检测方法 | |
| Ma et al. | Color discrimination enhancement for dichromats using self-organizing color transformation | |
| CN112489048B (zh) | 一种基于深度网络的视神经自动分割方法 | |
| CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |