CN110706152B - 基于生成对抗网络的人脸光照迁移方法 - Google Patents
基于生成对抗网络的人脸光照迁移方法 Download PDFInfo
- Publication number
- CN110706152B CN110706152B CN201910910650.2A CN201910910650A CN110706152B CN 110706152 B CN110706152 B CN 110706152B CN 201910910650 A CN201910910650 A CN 201910910650A CN 110706152 B CN110706152 B CN 110706152B
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- generator
- face
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013508 migration Methods 0.000 title claims abstract description 37
- 230000005012 migration Effects 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000000694 effects Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011387 Li's method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003648 hair appearance Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的人脸光照迁移方法，包括步骤：(1)获取正面人脸图像的样本数据；(2)从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，作为生成器的输入，生成器输出重光照图像，判别器将真实图像和重光照图像的误差反馈给生成器，分类器将目标人脸图像和重光照图像的身份信息的误差反馈给生成器。生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；(3)人脸光照迁移。本发明采用生成对抗网络架构及损失函数，利用注意力机制使得模型能够有效地处理对局部光照细节。网络训练中不需要使用人脸的3D信息，也不需要对齐人脸，进行端到端训练，具有很好的重光照结果。
Description
技术领域
本发明涉及人脸光照迁移与生成网络领域，特别涉及一种基于生成对抗网络的人脸光照迁移方法。
背景技术
人脸图像的光照效果广泛应用于电影制作、虚拟现实、游戏娱乐等，但掌握图像的光照处理技术需要多年的实操经验。虽然图像的编辑技术也可以用于实现人脸的光照处理，但专业的图像编辑工具会不可避免地涉及到许多复杂的操作。因此，有必要开发一种更加智能的人脸光照处理方法。
在人脸光照处理方法中有一种处理方式是人脸光照迁移，即将参考图像上的光照效果迁移到目标图像上。针对人脸光照迁移问题，许多学者提出了多种方法。Li等人使用对数总变差模型对人脸光照迁移进行了研究。该方法先将目标人脸图像和参考图像进行对齐，然后将图像分解为光照相关部分和光照不变部分，通过将目标图像的光照相关部分与参考图像的光照相关部分进行交换，实现光照迁移。Chen等人进一步拓展了Li的工作，他们在分解前使用加权最小二乘滤波器来保持最终重光照图像的颜色。此外，还有几种利用附加信息来进行人脸光照迁移的方法。Wen等人将球面谐波和形态模型结合起来表示任意光照下的人脸。与他们不同的是，Shu等人利用标准颜色直方图匹配而不是球面谐波来表示光照，他们使用一个通用的三维可变形人脸模型来表示光照可知的人脸几何特征。
现有的人脸光照迁移方法还存在以下不足：需要进行人脸对齐或者需要利用人脸的3D信息来解决问题，这大大增加了问题的复杂性。而且，对于人脸对齐和人脸的3D结构，需要对人脸的关键点进行检测，在一些极端光照条件下算法可能会失效，这也是需要考虑的一点。
发明内容
为了克服现有的人脸光照迁移方法的不足，本发明提出了一种基于生成对抗网络的人脸光照迁移方法，该方法通过端到端的训练使得光照效果自适应地从参考图像迁移到目标图像上，减少了额外的依赖信息。
本发明的目的通过以下的技术方案实现：基于生成对抗网络的人脸光照迁移方法，包括步骤：
(1)获取正面人脸图像的样本数据；
(2)生成对抗网络的对抗训练：从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，将上述两张图像作为生成器的输入，生成器输出重光照图像；
判别器将目标人脸图像和当前生成的重光照图像的误差反馈给生成器，分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器；将当前生成的重光照图像作为新的当前目标人脸图像，将与原目标人脸具有相同光照效果的图像作为新的参考光照图像，重新输入到生成器中，生成器输出重构图像，将原目标人脸图像和重构图像的误差反馈给生成器，这个误差称之为循环一致性损失；
生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；
(3)人脸光照迁移：利用训练好的最优人脸光照迁移模型进行人脸光照迁移，输入目标人脸图像和参考光照图像，即可输出光照迁移后带有参考光照的目标人脸图像。
本发明采用生成对抗网络架构及损失函数，利用注意力机制使得最优人脸光照迁移模型能够有效地处理对局部光照细节，网络训练中不需要使用人脸的3D信息，也不需要对齐人脸，可进行端到端训练，具有很好的重光照结果。
优选的，所述步骤(1)中，样本数据的图像采用CMUMulti-PIE中正面、中性表情图像，样本数据的图像进行归一化处理。
优选的，所述步骤(2)中，生成对抗网络的框架包括一个生成器，一个判别器和一个分类器，生成器由下采样层、残差层和上采样层组成，判别器采用PatchGANs的网络架构，在判别器的最后一层加上一个卷积层，作为辅助的分类器。
优选的，所述步骤(2)中，目标人脸图像和当前生成的重光照图像的误差的计算方法为：
(2-1-1)计算生成器的损失函数：
其中，I为目标人脸图像，R为参考光照图像，Dsrc为判别器，输入为一张图像，得到多尺度特征输出来判断图像的真假，
表示取一个训练批次中所有训练样本计算值的期望值；G(I，R)表示重光照图像；
(2-1-2)为了训练的稳定性，定义判别器的损失函数为：
其中，
是由目标人脸图像I和重光照图像G(I，R)的连接线上随机进行插值采样取得，λgp是惩罚项系数，
表示求
关于
的梯度。
优选的，所述步骤(2)中，目标人脸图像和当前生成的重光照图像的身份信息的误差的计算方法为：
(2-2-1)关于目标人脸图像身份信息的损失函数：
(2-2-2)关于生成重光照图像身份信息的损失函数：
其中，
表示目标人脸图像和重光照图像的身份信息。Dcls为分类器，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别
的交叉熵作为损失函数。
优选的，所述步骤(2)中，循环一致性损失的计算方式为：
(2-3-1)PSNR损失：
其中，x，y为给定的两张图像，PSNR(x，y)表示x和y之间的相似度，MAX表示x，y中最大的像素值；
(2-3-2)SSIM损失：
其中，x，y分别表示两张图像，μx，μy分别表示图像x，y的均值，σx，σy分别表示图像x，y的方差，σxy表示图像x，y之间的协方差。C1，C2为两个常数，以避免除零的情况出现。每次计算的时候都从图像上取一个子窗口，然后不断滑动子窗口，最后取子窗口的平均值作为全局的SSIM。
(2-3-3)attention-SSIM损失：
由于原始SSIM是取所有子窗口的平均值作为最终的值，没有着重注意光照所造成的局部影响，因此这里引入注意力机制对局部光照效果进行评估。其中，M是子窗口的总数，SSIMi是第i个子窗口SSIM值，atti表示第i个子窗口的权值，权值越高表示越重要。
更进一步的，计算attention-SSIM损失时，attention-SSIM中使用一个显著性网络来提取所有子窗口的权值，这个显著性网络采用与判别器同样的网络架构，也是使用PatchGANs，并且提前训练好，在生成对抗网络训练时保持参数不变，显著性网络训练时使用的损失函数为：
其中S表示输入图像。Vcls表示显著性网络，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别c的交叉熵作为损失函数。
优选的，所述步骤(2)中，原目标人脸图像和重构图像的误差的计算方法为：
(2-4-1)重构损失：
(2-4-2)PSNR损失：
(2-4-3)SSIM损失：
(2-4-4)attention-SSIM损失：
其中，G(G(I，R)，I′)表示重构图像，I′表示与I具有相同光照效果的图像。这四个损失统称为循环一致性损失。
本发明与现有技术相比，具有如下优点和有益效果：
1)本发明通过端到端训练生成对抗网络得到最优生成器G，直接根据参考光照图像对目标人脸图像进行光照迁移，免除了人脸对齐的预处理操作，避免了人工设计先验模型，解决了传统人脸光照迁移中对人脸3D信息的依赖，提高人脸光照的实际应用价值，改善了人脸光照迁移的时间效率。
2)本发明提出了一个显著性网络来对局部光照效果进行关注，使得生成器G不仅考虑全局范围的光照，而且还会处理局部光照细节，使得生成的图像更加真实自然。
附图说明
图1是本发明总的网络框架图；
图2是本实施例采用显著性网络计算attention-SSIM损失时的示意图。
图3是不同算法结果的可视化对比，前两列分别为目标人脸图像和参考光照图像，第三到六列分别是Li、Chen、Wen、Shu的方法的结果，第七列是本发明的结果，最后一列是真实目标结果；
图4是验证本发明提出的attention-SSIM loss的可视化效果，前两列分别为目标图像和参考图像，第三列是不带attention-SSIM损失函数训练的模型的结果，第四列是带有attention-SSIM损失函数训练的模型的结果。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本发明实施例提供一种基于生成对抗网络的人脸光照迁移方法，其实施过程的网络框架如图1所示，实施步骤如下：
S1：获取训练的样本数据。
本实施例中采用CMUMulti-PIE中正面、中性表情图像作为训练数据集。在训练前进行归一化，将图像大小统一调整设置为128*128像素。
S2：生成对抗网络的对抗训练，得到最优人脸光照迁移模型。
参见图1，生成对抗网络框架包括一个生成器(图中为了便于显示处理流程，根据流程走向画成两个生成器)，一个判别器和一个分类器。生成器由下采样层、残差层和上采样层组成，判别器采用PatchGANs的网络架构，在判别器的最后一层加上一个卷积层，作为辅助的分类器。
生成对抗网络的对抗训练的步骤是：
S2-1：在从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，将其作为生成器的输入，分别记为I和R，生成器G输出重光照图像G(I，R)。
S2-2：判别器D将目标图像和重光照图像的误差反馈给生成器，目标图像和重光照图像的误差的计算方法具体为：
(a)计算生成器的损失函数：
其中，I为目标人脸图像，R为参考光照图像，Dsrc为判别器，输入为一张图像，得到多尺度特征输出来判断图像的真假。
表示取一个训练批次中所有训练样本计算值的期望值。
(b)为了训练的稳定性，定义判别器的损失函数为：
其中，
是从目标图像I和生成图像G(I，R)的连接线上随机进行插值采样得到的，λgp是惩罚项系数。
表示求
关于
的梯度。
S2-3：分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器。关于目标人脸图像和生成图像的身份信息的误差的计算方法具体为：
(a)关于目标人脸图像身份信息的损失函数：
(b)关于生成图像身份信息的损失函数：
其中，
表示目标人脸图像和生成图像的身份信息。Dcls为分类器，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别
的交叉熵作为损失函数。
S2-4：再将G(I，R)作为目标人脸图像，I作为参考光照图像，输入到生成器中，生成器输出重构图像G(G(I，R)，I′)，将原目标人脸图像I和重构图像G(G(I，R)，I′)的误差反馈给生成器，这个误差称之为循环一致性损失。
这里所述的循环一致性损失，具体计算方式为：
(a)PSNR损失：
PSNR是常用来做图像质量评估的指标之一。其中，x，y分别表示两张图像，MAX表示x，y中最大的像素值。
(b)SSIM损失：
SSIM也是图像质量评估的常用指标。其中，x，y分别表示两张图像，μx，μv分别表示图像x，y的均值，σx，σv分别表示图像x，y的方差，σxy表示图像x，y之间的协方差。C1，C2为两个常数，以避免除零的情况出现。值得一提的是，每次计算的时候都从图片上取一个子窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的SSIM。
(c)attention-SSIM损失：
由于原始SSIM是取所有子窗口的平均值作为最终的值，没有着重注意光照所造成的局部影响，因此这里引入注意力机制对局部光照效果进行评估。其中，M是子窗口的总数，SSIMi是第i个子窗口SSIM值，atti表示第i个子窗口的权值，权值越高表示越重要。
参见图2，attention-SSIM中使用一个显著性网络来提取所有子窗口的权值，这个显著性网络采用与判别器同样的网络架构，也是使用PatchGANs，并且提前训练好，在生成对抗网络训练时保持参数不变，显著性网络训练时使用的损失函数为：
其中S表示输入图像。Vcls表示显著性网络，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别c的交叉熵作为损失函数。
其中，关于原目标人脸图像和重构图像的误差的计算方法具体为：
(a)重构损失：
(b)PSNR损失：
(c)SSIM损失：
(d)attention-SSIM损失：
其中，G(G(I，R)，I′)表示重构图像，I′表示与I具有相同光照效果的图像。这四个损失统称为循环一致性损失，这里所述的一致性代表的是要重构图像与原目标人脸图像保持一致。
S2-5：生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型。
S3：人脸光照迁移：利用训练好的最优人脸光照迁移模型进行人脸光照迁移，输入目标人脸图像和参考图像，输出光照迁移后带有参考光照的目标人脸图像。
本实施例将本发明与现有技术中的若干个方法进行比较，具体的，包括Q.Li等在文章《Image-based face illuminationtransferring using logarithmic totalvariation models.》中的方法，X.Chen等在文章《Face illuminationtransfer throughedge-preserving filters.》中的方法，Z.Wen等在文章《Face relighting withradianceenvironment maps.》中的方法，Z.Shu等在文章《Portrait lighting transferusing a mass transportapproach》中的方法。为了全面且客观地比较算法的结果，本实验从可视化结果和量化结果两方面对不同算法来进行对比。本实验从CMUMultiPIE中选择1000张图像对组成测试集。其中，每个图像对包括一张目标图像和参考图像，并且都是正面、中性表情的图像。
实验各个模型的可视化结果比较如图3所示。从图3中可以看到，Li的方法在目标图像和参考图像肤色相近的情况下表现良好，有些会出现伪影。一旦肤色不同，Li的方法会表现得很糟糕。Chen的方法也会出现类似的肤色问题，而且伪影的问题比Li更加严重。值得一提的是，Li和Chen的方法都需要对图像进行对齐，对齐这个操作需要用到关键点检测，在一些光照条件不佳的情况下可能无法检测到关键点而造成算法失效。Wen的方法严重依赖于3D人脸的重构，如果重构的过程发生一些误差，重建后的人脸会发生很大的变化。从图3中可以看出Wen的结果在总体色度和目标图像发生了很大的变化。Shu的方法它仍然不能解决面部肤色的问题，对头发和胡须的颜色呈现也有不良的影响。更糟的是，在某些情况下，它可能会导致图像过度曝光。从与各个算法的可视化结果比较上看，本发明生成的图像与真实目标图像更加逼近，生成效果更好。
实验各个模型的量化结果比较如表1所示。本实验采用PSNR和SSIM来对生成图像进行评估。其中，评估值越大，表示图像的生成质量越好。从表1中可以看出，本发明取得了最好的重光照效果。
表1不同算法结果的量化对比
另外，本实施例还验证了本发明提出的attention-SSIM的效果。为了客观公平地比较，本实验仅增删新提出的attention-SSIM部分，网络结构和超参数保持模型的默认设置。同时，训练集和测试集，以及训练策略均保持一致。
类似地，本实验也从可视化结果和量化结果两方面对不同算法来进行对比。本实验从CMUMultiPIE中选择1000张图像对组成测试集。其中，每个图像对包括一张目标图像和参考图像，并且都是正面、中性表情的图像。
可视化结果如图4所示。带有attention-SSIM的损失函数训练的模型能够有效地处理局部光照细节，图像看起来更加真实自然。量化结果如表2所示，也可以看到，带有attention-SSIM的损失函数训练的模型生成的图像质量较好
表2验证本发明提出的attention-SSIM loss的量化结果
| 算法 | SSIM | PSNR |
| 带有attention-SSIM loss训练 | 0.7247 | 22.6659 |
| 不带有attention-SSIM loss训练 | 0.7958 | 35.4536 |
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.基于生成对抗网络的人脸光照迁移方法，其特征在于，
(1)获取正面人脸图像的样本数据；
(2)生成对抗网络的对抗训练：从样本数据中选择两张图像分别作为目标人脸图像和参考光照图像，将上述两张图像作为生成器的输入，生成器输出重光照图像；
判别器将目标人脸图像和当前生成的重光照图像的误差反馈给生成器，分类器将目标人脸图像和当前生成的重光照图像的身份信息的误差反馈给生成器；将当前生成的重光照图像作为新的当前目标人脸图像，将与原目标人脸具有相同光照效果的图像作为新的参考光照图像，重新输入到生成器中，生成器输出重构图像，将原目标人脸图像和重构图像的误差反馈给生成器，这个误差称之为循环一致性损失；循环一致性损失的计算方式为：
(2-3-1)PSNR损失：
其中，x,y为给定的两张图像，PSNR(x,y)表示x和y之间的相似度，MAX表示x,y中最大的像素值；
(2-3-2)SSIM损失：
其中，x,y分别表示两张图像，μx,μy分别表示图像x,y的均值，σx,σy分别表示图像x,y的方差，σxy表示图像x,y之间的协方差；C1,C2为两个常数，以避免除零的情况出现；每次计算的时候都从图像上取一个子窗口，然后不断滑动子窗口，最后取子窗口的平均值作为全局的SSIM；
(2-3-3)attention-SSIM损失：
其中，M是子窗口的总数，SSIMi是第i个子窗口SSIM值，atti表示第i个子窗口的权值，权值越高表示越重要；
生成器、判别器和分类器进行反复对抗训练，得到最优人脸光照迁移模型；
(3)人脸光照迁移：利用训练好的最优人脸光照迁移模型进行人脸光照迁移，输入目标人脸图像和参考光照图像，即可输出光照迁移后带有参考光照的目标人脸图像。
2.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(1)中，样本数据的图像采用CMUMulti-PIE中正面、中性表情图像，样本数据的图像进行归一化大小处理。
3.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，生成对抗网络的框架包括一个生成器，一个判别器和一个分类器，生成器由下采样层、残差层和上采样层组成，判别器采用PatchGANs的网络架构，在判别器的最后一层加上一个卷积层，作为辅助的分类器。
4.根据权利要求1所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，目标人脸图像和当前生成的重光照图像的误差的计算方法为：
(2-1-1)计算生成器的损失函数：
其中，I为目标人脸图像，R为参考光照图像，Dsrc为判别器，输入为一张图像，得到多尺度特征输出来判断图像的真假，
表示取一个训练批次中所有训练样本计算值的期望值；G(I,R)表示重光照图像；
(2-1-2)定义判别器的损失函数为：
其中，
是由目标人脸图像I和重光照图像G(I,R)的连接线上随机进行插值采样取得，λgp是惩罚项系数，
表示求
关于
的梯度。
5.根据权利要求4所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，目标人脸图像和当前生成的重光照图像的身份信息的误差的计算方法为：
(2-2-1)关于目标人脸图像身份信息的损失函数：
(2-2-2)关于生成重光照图像身份信息的损失函数：
其中，
表示目标人脸图像和重光照图像的身份信息；Dcls为分类器，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别
的交叉熵作为损失函数。
6.根据权利要求4所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，计算attention-SSIM损失时，attention-SSIM中使用一个显著性网络来提取所有子窗口的权值，这个显著性网络采用与判别器同样的网络架构，也是使用PatchGANs，并且提前训练好，在生成对抗网络训练时保持参数不变，显著性网络训练时使用的损失函数为：
其中S表示输入图像，Vcls表示显著性网络，输入一张图片，输出其预测的身份类别，计算与本身真实的身份类别c的交叉熵作为损失函数。
7.根据权利要求4所述的基于生成对抗网络的人脸光照迁移方法，其特征在于，所述步骤(2)中，原目标人脸图像和重构图像的误差的计算方法为：
(2-4-1)重构损失：
(2-4-2)PSNR损失：
(2-4-3)SSIM损失：
(2-4-4)attention-SSIM损失：
其中，G(G(I,R),I′)表示重构图像，I′表示与I具有相同光照效果的图像，这四个损失统称为循环一致性损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910910650.2A CN110706152B (zh) | 2019-09-25 | 2019-09-25 | 基于生成对抗网络的人脸光照迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910910650.2A CN110706152B (zh) | 2019-09-25 | 2019-09-25 | 基于生成对抗网络的人脸光照迁移方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110706152A CN110706152A (zh) | 2020-01-17 |
| CN110706152B true CN110706152B (zh) | 2021-09-17 |
Family
ID=69197185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910910650.2A Active CN110706152B (zh) | 2019-09-25 | 2019-09-25 | 基于生成对抗网络的人脸光照迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110706152B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275613A (zh) * | 2020-02-27 | 2020-06-12 | 辽宁工程技术大学 | 一种引入注意力机制生成对抗网络人脸属性编辑方法 |
| CN111429436B (zh) * | 2020-03-29 | 2022-03-15 | 西北工业大学 | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
| CN111553202B (zh) * | 2020-04-08 | 2023-05-16 | 浙江大华技术股份有限公司 | 进行活体检测的神经网络的训练方法、检测方法及装置 |
| CN111798546B (zh) * | 2020-06-03 | 2022-04-26 | 浙江大学 | 一种基于生成对抗机制的多人表情迁移方法 |
| CN112002009B (zh) * | 2020-08-04 | 2022-10-28 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
| CN112131975B (zh) * | 2020-09-08 | 2022-11-15 | 东南大学 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
| CN113744307A (zh) * | 2021-08-06 | 2021-12-03 | 上海有个机器人有限公司 | 一种基于阈值动态调整的图像特征点跟踪方法和*** |
| CN113743284A (zh) * | 2021-08-30 | 2021-12-03 | 杭州海康威视数字技术股份有限公司 | 图像识别方法、装置、设备、相机及门禁设备 |
| CN113850169B (zh) * | 2021-09-17 | 2024-03-08 | 西北工业大学 | 一种基于图像分割和生成对抗网络的人脸属性迁移方法 |
| CN114266937A (zh) * | 2021-12-20 | 2022-04-01 | 北京百度网讯科技有限公司 | 模型训练、图像处理方法，装置，设备以及存储介质 |
| CN114187380B (zh) * | 2022-02-17 | 2022-05-31 | 杭州并坚科技有限公司 | 基于视觉显著性和通道注意力机制的色彩传递方法 |
| CN117391924A (zh) * | 2022-06-30 | 2024-01-12 | 魔门塔(苏州)科技有限公司 | 一种图像处理方法、装置和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11710300B2 (en) * | 2017-11-06 | 2023-07-25 | Google Llc | Computing systems with modularized infrastructure for training generative adversarial networks |
| CN107909640B (zh) * | 2017-11-06 | 2020-07-28 | 清华大学 | 基于深度学习的人脸重光照方法及装置 |
| CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
| CN108537743B (zh) * | 2018-03-13 | 2022-05-20 | 杭州电子科技大学 | 一种基于生成对抗网络的面部图像增强方法 |
| CN108985464A (zh) * | 2018-07-17 | 2018-12-11 | 重庆科技学院 | 基于信息最大化生成对抗网络的人脸连续特征生成方法 |
| CN109583342B (zh) * | 2018-11-21 | 2022-11-04 | 重庆邮电大学 | 基于迁移学习的人脸活体检测方法 |
-
2019
- 2019-09-25 CN CN201910910650.2A patent/CN110706152B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308450A (zh) * | 2018-08-08 | 2019-02-05 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110706152A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110706152B (zh) | 基于生成对抗网络的人脸光照迁移方法 | |
| CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| CN110751098B (zh) | 一种基于光照、姿态生成对抗网络的人脸识别方法 | |
| CN108428229A (zh) | 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法 | |
| CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| CN102073995B (zh) | 基于纹理金字塔与正则化局部回归的色彩恒常方法 | |
| CN112581593B (zh) | 神经网络模型的训练方法及相关设备 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN109410158B (zh) | 一种基于卷积神经网络的多焦点图像融合方法 | |
| CN117274760A (zh) | 一种基于多尺度混合变换器的红外与可见光图像融合方法 | |
| Zhao et al. | Saan: Semantic attention adaptation network for face super-resolution | |
| Qu et al. | Umle: Unsupervised multi-discriminator network for low light enhancement | |
| CN114639174A (zh) | 联邦协作下的隐私型深度伪造检测方法 | |
| Wei et al. | Facial image inpainting with deep generative model and patch search using region weight | |
| Zhang et al. | Semantic prior guided face inpainting | |
| CN113077405A (zh) | 二分割分块的颜色传递及其质量评价体系 | |
| CN116823983A (zh) | 基于风格收集机制的一对多风格书法图片生成方法 | |
| US11734389B2 (en) | Method for generating human-computer interactive abstract image | |
| Xiong et al. | Image Aesthetics Assessment Via Learnable Queries | |
| Yang et al. | Depth super-resolution via fully edge-augmented guidance | |
| Qian et al. | An efficient fuzzy clustering-based color transfer method | |
| CN111899161A (zh) | 一种超分辨率重建方法 | |
| Xia et al. | Dual Aggregated Federated Learning with Depthwise Separable Convolution for Smart Healthcare | |
| Liu et al. | A complex image restoration method based on generating adversarial neural networks | |
| Pan et al. | Image Super-Resolution Model Based on Bypass Convolution and Feature Weighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |