CN111275651B - 一种基于对抗神经网络的人脸有光去除方法 - Google Patents

一种基于对抗神经网络的人脸有光去除方法 Download PDF

Info

Publication number
CN111275651B
CN111275651B CN202010115474.6A CN202010115474A CN111275651B CN 111275651 B CN111275651 B CN 111275651B CN 202010115474 A CN202010115474 A CN 202010115474A CN 111275651 B CN111275651 B CN 111275651B
Authority
CN
China
Prior art keywords
image
discriminator
face
generator
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010115474.6A
Other languages
English (en)
Other versions
CN111275651A (zh
Inventor
朱婷
夏思宇
杨凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010115474.6A priority Critical patent/CN111275651B/zh
Publication of CN111275651A publication Critical patent/CN111275651A/zh
Application granted granted Critical
Publication of CN111275651B publication Critical patent/CN111275651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于对抗神经网络的人脸有光去除方法，该方法包括：通过计算机图像学的方法合成人脸，建立虚拟人脸有光和人脸无光对应的虚拟人脸数据集，通过普通拍摄和利用偏振镜片拍摄获得真实人脸有光和人脸无光对应的真实人脸数据集；建立对抗神经网络，用数据集训练网络参数，获得有光去除的网络模型，将有光的人脸图像输入训练好的有光去除网络模型，得到该人脸的无光图像。本发明通过对抗神经网络能够实现更加自然、真实的人脸有光去除。

Description

一种基于对抗神经网络的人脸有光去除方法
技术领域
本发明涉及模式识别领域，具体涉及一种基于对抗神经网络的人脸有光去除方法。
背景技术
皮肤表面会由于环境光源的照射而反射光线，在图像上表现为皮肤有光。皮肤表面有光掩盖了该部位原本的颜色和纹理，而人脸上的局部有光对计算机视觉、计算机图形学和医学检查等方面都有影响，在计算机视觉方面，人面部有光会对人脸检测、人脸识别等带来困难，造成检测不到，识别错误等问题；在计算机图形学方面，真实人脸有光需要与环境相一致，在不会产生有光的光源下，皮肤不应有高亮；在医学检查方面，对于人脸面部色素性皮肤病的检测造成干扰，皮肤有光覆盖的部分难以分辨是否存在该类皮肤病，对于病情判断和治疗方案的设计有阻碍作用。所以。人脸有光去除有其必要性。
由于皮肤的材质较为复杂性，所以一般的有光去除方法不适用，现有的去有光技术的研究还未能实现自然真实地消去人脸皮肤上的光，尤其是当脸上有雀斑之类的密集斑纹时，要在自然地去除有光的同时，尽可能的恢复有光部分的原本皮肤和皮肤上的斑、痣等特征。因此，人脸有光去除是一个复杂而有挑战性的问题。通过建立光照模型的光照去除方法，受限于物理光照模型，不能完全反映真实的光照环境，尤其是对于人脸、皮肤这种复杂材质，因此去除有光的效果不够真实。
随着人工智能技术的兴起，深度学习算法不断发展，和通过建立光照模型的去光照方法相比，用端到端的神经网络，直接根据有光的原图像预测出对应的无光图像，能够不受限于固定的光照模型，能够更好更真实的恢复人脸有光部分的皮肤。
发明内容
发明目的：本发明所要解决的技术问题是提出一种基于对抗神经网络的人脸有光去除方法，通过该方法能够利用端到端的神经网络实现对人脸有光区域的修复，达到自然真实地去除人脸有光区域，恢复对应部分的本来皮肤肤色和纹理，适用于各式各样的人脸有光。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：本发明设计了一种基于对抗神经网络的人脸有光去除方法。包括以下几个步骤：一种基于对抗神经网络的人脸有光去除方法，该方法包括以下步骤：
(1)通过计算机图像学的方法合成人脸，生成虚拟的人脸有光和人脸无光图像对，建立虚拟人脸数据集；
(2)通过普通拍摄和利用偏振镜片拍摄人脸，获得真实环境下人脸有光和人脸无光的图像对，建立真实人脸数据集；
(3)搭建生成式对抗神经网络模型；
(4)用虚拟人脸数据集预训练神经网络；
(5)用真实人脸数据集调整预训练的神经网络参数，得到最终的有光去除网络模型；
(6)将待去有光的人脸图像输入有光去除网络模型中，得到对应的无光人脸图像。
进一步的，所述步骤(1)建立虚拟人脸数据集的方法如下：
(1.1)在网络上搜集人正脸无光图像，作为生成三维人脸的素材；
(1.2)通过HeadShot生成图像对应的三维人脸，添加光源，给人脸材质设置不同的反射程度，并通过预设的人脸三维模型的表情得到该人脸不同表情下的不同有光图像，通过截取的方式，获得无光源环境下的人脸无光图像和有光源环境下的人脸有光图像，建立虚拟人脸数据集。
进一步的，步骤(2)中建立真实人脸数据集的方法如下：
(2.1)用相机采集数据，设置好相机位置、被拍摄者位置、偏振镜的位置、光源位置和角度，使拍摄时能够用偏振镜消除有光；
(2.2)采集图像时，被拍摄者在固定的位置保持不动，在不同强度光照下拍摄出不同有光的真实人脸图像，再用偏振镜拍摄对应图像的无光版本，建立真实人脸数据集。
进一步的，步骤(3)中，搭建生成式对抗神经网络模型，方法如下：
构建对抗神经网络，包括生成器和判别器，生成器采用U-net的结构，总层数为15，将第i层特征与第15-i层特征之间连接起来,其中i∈[1,7]，对应层共享底层信息，从而优化输出结果；生成器输入图像的大小为256*256，经过卷积核大小为4*4的卷积、批量归一化和ReLu激活，实现下采样，经过8次上述的下采样，每次采样后得到的特征的维度依次为：128*128、64*64、32*32、16*16、8*8*、4*4、2*2和1*1；再进行激活、卷积核大小为4*4的反卷积、批量归一化，实现上采样，经过8次上述的上采样，每次采样后得到维度依次为：2*2、4*4、8*8、16*16、32*32、64*64、128*128的特征和大小为256*256的输出；
判别器为马尔科夫判别器(PatchGAN)，其工作原理是将输入图像分割出N*N的小块进行判断，以所有小块的判别结果的平均值作为输出结果，通过改变输入图像大小而不改变判别器的参数N，实现多尺度判别，判别器结果为2个不同尺度判别器结果的平均值，训练过程采用Adam优化器优化。
进一步，步骤(3)中用虚拟人脸数据集预训练神经网络，方法如下：对于步骤(3)构建好的神经网络，先用虚拟人脸数据集进行预训练，得到预训练模型的生成器和判别器的参数，具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G(a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果
Figure BDA0002391369250000031
由于最开始生成器生成的结果不真实，判别器认为该图像为真实图像概率为0，即判别器的结果
Figure BDA0002391369250000032
为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果
Figure BDA0002391369250000033
判别器认为输入图像为真实图像，故判别器的结果
Figure BDA0002391369250000034
为1，更新生成器的参数，使生成图为真实图像的概率
Figure BDA0002391369250000035
最大化，该最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率
Figure BDA0002391369250000036
最小化，该最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器认为真实图像与生成图像一致，即生成器和判别器之间达到纳什均衡，则训练完成；
为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分，整体损失函数为
Figure BDA0002391369250000037
其中生成器和判别器的损失函数
Figure BDA0002391369250000038
训练判别器D时，目标是使LGAN最小，训练生成器G时，目标是使LGAN最大，L1范数损失函数L1＝Ea,a‘[||a‘-G(a)||1]，E为期望，λ为系数。
进一步的，步骤(5)中，用真实人脸数据集调整预训练的神经网络参数，得到最终的有光去除网络模型，方法如下：在步骤(4)基础上，用真实人脸数据集训练，调整生成器和判别器的参数，使最终的有光去除网络模型能够生成与真实人脸一样的无光人脸图像，具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G(a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果
Figure BDA0002391369250000041
由于最开始生成器生成的结果不真实，判别器认为该图像为真实图像概率为0，即判别器的结果
Figure BDA0002391369250000042
为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果
Figure BDA0002391369250000043
判别器认为输入图像为真实图像，故判别器的结果
Figure BDA0002391369250000044
为1，更新生成器的参数，使生成图为真实图像的概率
Figure BDA0002391369250000045
最大化，该最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率
Figure BDA0002391369250000046
最小化，该最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器判别认为真实图像与生成图像一致，即生成器和判别器之间达到纳什均衡，则训练完成；
为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分，整体损失函数为
Figure BDA0002391369250000047
其中生成器和判别器的损失函数LGAN＝Ea,a‘[logD(a,a‘)]+Ea[log(1-D(a,G(a)))]，训练判别器D时，目标是使LgAN最小，训练生成器G时，目标是使LGAN最大，L1范数损失函数L1＝Ea,a‘[||a‘-G(a)||1]，E为期望，λ为系数。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
(1)本发明实现了利用端到端的神经网络达到去除人脸有光的效果，不受限于固定的物理光照模型，能够生成更加真实的有光去除效果；
(2)此外，相比与其他材质的有光去除，本发明对于皮肤这种复杂材质有良好的适应性；
(3)此外，本发明不仅能够恢复有光区域本来的肤色，对于该区域的斑点、色块等也能有一定的复原能力；
(4)本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明实施的基于对抗神经网络的人脸有光去除方法的流程图；
图2是本发明训练对抗神经网络的流程图；
图3是本发明搭建的对抗神经网络生成器的结构示意图；
图4是本发明的有光去除效果示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明实施的基于对抗神经网络的人脸有光去除方法的流程图，下面参照图1，详细说明各个步骤。
步骤S110，由于没有公开的人脸有光图像的数据集，而采集大量成对的真实人脸有光数据费时费力，难以实现，故采用计算机图形学的方法，对人脸图像加上有光，得到成对的虚拟人脸有光图和人脸无光图，建立虚拟人脸数据集。
人脸图像从网络上搜集，通过HeadShot生成图像对应的三维人脸，添加光源，给人脸材质设置不同的反射程度，并通过预设的人脸三维模型的表情得到该人脸不同表情下的不同有光图像。虚拟人脸数据集中包括黑种人、白种人、黄种人的男性女性，确保了数据集的全面性，为使后续神经网络训练的结果能够适用的各类人群提供基础。
步骤S120，由于计算机图形学生成的人脸有一定的虚假感，为了弥补这一点，需要真实有光人脸和无光人脸的对应图像。为此，采集图像时，被拍摄者在固定的位置保持不动，在不同强度光照下(光源角度固定)，拍摄出不同有光的真实人脸图像，再用安置在固定角度的偏振镜片去除光，得到相同人脸的无光版本。由此建立数量较小的真实人脸数据集。
步骤S130，构建对抗神经网络，包括生成器和判别器，通过之后的训练得到生成器和判别器的参数，使生成器能够生成自然的无光图像，使判别器认为生成的图像是真实自然的无光图像。
步骤S140，对于上述构建好的神经网络，先用虚拟人脸数据集进行预训练。得到预训练模型的生成器和判别器的参数。
步骤S150，在预训练模型的基础上，用真实人脸数据集训练，调整生成器和判别器的参数，使最终的有光去除网络模型能够生成与真实人脸一样自然不虚假的无光人脸图像。由于真实人脸数据集数量较小，用图像翻转的方式进数据增强，增加数据量，使训练后的网络性能更好。保存最后训练得到的生成器和判别器参数。
步骤S160，将有光的人脸图像输入上一步得到的有光去除网络模型中，得到对应的无光人脸图像。
图2为本发明训练对抗神经网络的流程图，分为预训练和参数调整两步。对抗神经网络分为两个部分，生成器和判别器，生成器采用U-net的结构，总层数为15，将第i层特征与第15-i层特征之间连接起来，对应层共享底层信息，从而优化输出结果。用常用的马尔科夫判别器(PatchGAN)作为判别器，鉴于单个判别器的感受范围有限，本发明在判别器上采用多尺度的方式，分别把握细节信息和全局信息。通过改变输入图像的尺寸，输入到相同结构的判别器中，实现提取图像不同尺度的细节信息。判别器损失为各个尺度判别的损失之和。
无论虚拟人脸数据集还是真是人脸数据集，都是成对的，为了将网络的注意力集中在有光区域的不同，将成对的图像联接起来作为输入，网络能够自动学习到图像的残差，从而有效地针对有光区域进行特征学习。整体损失函数为生成器和判别器的对抗损失加上生成器输出的生成图像与数据集中对应的无光图像之间的L1范数损失。训练过程采用Adam优化器优化。
具体训练的步骤为，先用虚拟人脸数据集进行预训练，得到大致的生成器和判别器的参数，后用真实人脸数据集训练，根据真实人脸图像来微调生成器和判别器的参数，使生成器的生成结果更加真实自然，判别器对于图像真实性、有光去除效果的判断更加准确。具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G(a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果
Figure BDA0002391369250000061
由于最开始生成器生成的结果真实性很差，判别器认为该图像为真实图像概率为0，即判别器的结果
Figure BDA0002391369250000062
为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果
Figure BDA0002391369250000063
判别器认为输入图像为真实图像，故判别器的结果
Figure BDA0002391369250000064
为1，更新生成器的参数，使生成图为真实图像的概率
Figure BDA0002391369250000065
最大化，该最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率
Figure BDA0002391369250000071
最小化，该最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器无法判别生成器生成的图像是否真实(认为真实图像与生成图像无法区分)，即生成器和判别器之间达到纳什均衡，则训练完成。为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分。整体损失函数为
Figure BDA0002391369250000072
Figure BDA0002391369250000073
其中生成器和判别器的损失函数LGAN＝Ea,a‘[logD(a,a‘)]+Ea[log(1-D(a,G(a)))]，训练判别器D时，目标是使LGAN最小，训练生成器G时，目标是使LGAN最大，L1范数损失函数L1＝Ea,a‘[||a‘-G(a)||1]，E为期望，λ为系数，训练时设为100。
图3为本发明搭建的对抗神经网络生成器的结构示意图，是在简单的Encoder-Decoder结构的基础上添加了维度拼接。生成器采用U-net的结构，总层数为15，将第i层特征与第15-i层特征之间连接起来(其中i∈[1,7])，对应层共享底层信息，从而优化输出结果。生成器输入图像的大小为256*256，经过卷积(卷积核大小为4*4)、批量归一化和ReLu激活，实现下采样，经过8次上述的下采样，每次采样后得到的特征的维度依次为：128*128、64*64、32*32、16*16、8*8*、4*4、2*2和1*1；再进行激活、反卷积(卷积核大小为4*4)、批量归一化，实现上采样，经过8次上述的上采样，每次采样后得到维度依次为：2*2、4*4、8*8、16*16、32*32、64*64、128*128的特征和大小为256*256的输出。
图4是本发明的有光去除效果图。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (3)

1.一种基于对抗神经网络的人脸有光去除方法，其特征在于，该方法包括以下步骤：
(1)通过计算机图像学的方法合成人脸，生成虚拟的人脸有光和人脸无光图像对，建立虚拟人脸数据集；
(2)通过普通拍摄和利用偏振镜片拍摄人脸，获得真实环境下人脸有光和人脸无光的图像对，建立真实人脸数据集；
(3)搭建生成式对抗神经网络模型；
(4)用虚拟人脸数据集预训练神经网络；
(5)用真实人脸数据集调整预训练的神经网络参数，得到最终的有光去除网络模型；
(6)将待去有光的人脸图像输入有光去除网络模型中，得到对应的无光人脸图像；
步骤(3)中，搭建生成式对抗神经网络模型，方法如下：
构建对抗神经网络，包括生成器和判别器，生成器采用U-net的结构，总层数为15，将第i层特征与第15-i层特征之间连接起来,其中i∈[1,7]，对应层共享底层信息，从而优化输出结果；生成器输入图像的大小为256*256，经过卷积核大小为4*4的卷积、批量归一化和ReLu激活，实现下采样，经过8次上述的下采样，每次采样后得到的特征的维度依次为：128*128、64*64、32*32、16*16、8*8*、4*4、2*2和1*1；再进行激活、卷积核大小为4*4的反卷积、批量归一化，实现上采样，经过8次上述的上采样，每次采样后得到维度依次为：2*2、4*4、8*8、16*16、32*32、64*64、128*128的特征和大小为256*256的输出；
判别器为马尔科夫判别器(PatchGAN)，其工作原理是将输入图像分割出N*N的小块进行判断，以所有小块的判别结果的平均值作为输出结果，通过改变输入图像大小而不改变判别器的参数N，实现多尺度判别，判别器结果为2个不同尺度判别器结果的平均值，训练过程采用Adam优化器优化；
步骤(3)中用虚拟人脸数据集预训练神经网络，方法如下：对于步骤(3)构建好的神经网络，先用虚拟人脸数据集进行预训练，得到预训练模型的生成器和判别器的参数，具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G（a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果由于最开始生成器生成的结果不真实，判别器认为该图像为真实图像概率为0，即判别器的结果为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果判别器认为输入图像为真实图像，故判别器的结果为1，更新生成器的参数，使生成图为真实图像的概率最大化，最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率最小化，最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器认为真实图像与生成图像一致，即生成器和判别器之间达到纳什均衡，则训练完成；
为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分，整体损失函数为其中生成器和判别器的损失函数训练判别器D时，目标是使LGAN最小，训练生成器G时，目标是使LGAN最大，L1范数损失函数L1＝Ea,a‘[||a‘-G(a)||1]，E为期望，λ为系数；
步骤(5)中，用真实人脸数据集调整预训练的神经网络参数，得到最终的有光去除网络模型，方法如下：在步骤(4)基础上，用真实人脸数据集训练，调整生成器和判别器的参数，使最终的有光去除网络模型能够生成与真实人脸一样的无光人脸图像，具体对抗训练原理如下：将训练集中有光的图像a输入生成器G中，得到生成的图像G(a)，将生成图G(a)与训练集中对应的有光图像a输入到尺度不同的判别器D1、D2中，得到判别器结果由于最开始生成器生成的结果不真实，判别器认为该图像为真实图像概率为0，即判别器的结果为0，而将训练集中有光的图像a与训练集中对应的无光图像a‘输入到判别器D1、D2中，得到判别器结果判别器认为输入图像为真实图像，故判别器的结果为1，更新生成器的参数，使生成图为真实图像的概率最大化，最大值大于0.5，此时判别器认为生成器生成的图像为真实图像；再保持生成器参数不变，训练判别器，使生成图为真实图像的概率最小化，最小值小于0.5，此时判别器认为生成器生成的图像不真实；如此交替训练生成器和判别器，直到判别器判别认为真实图像与生成图像一致，即生成器和判别器之间达到纳什均衡，则训练完成；
为了保证生成图G(a)与训练集中无光图像a‘之间的相似性，加入了G(a)与a‘的L1距离作为损失函数的一部分，整体损失函数为其中生成器和判别器的损失函数LGAN＝Ea，a′[logD(a，a‘)]+Ea[log(1-D(a，G(a)))]，训练判别器D时，目标是使LGAN最小，训练生成器G时，目标是使LGAN最大，L1范数损失函数L1＝Ea，a‘[||a‘-G(a)||1]，E为期望，λ为系数。
2.根据权利要求1所述的一种基于对抗神经网络的人脸有光去除方法，其特征在于，所述步骤(1)建立虚拟人脸数据集的方法如下：
(1.1)在网络上搜集人正脸无光图像，作为生成三维人脸的素材；
(1.2)通过HeadShot生成图像对应的三维人脸，添加光源，给人脸材质设置不同的反射程度，并通过预设的人脸三维模型的表情得到该人脸不同表情下的不同有光图像，通过截取的方式，获得无光源环境下的人脸无光图像和有光源环境下的人脸有光图像，建立虚拟人脸数据集。
3.根据权利要求1所述的一种基于对抗神经网络的人脸有光去除方法，其特征在于，步骤(2)中建立真实人脸数据集的方法如下：
(2.1)用相机采集数据，设置好相机位置、被拍摄者位置、偏振镜的位置、光源位置和角度，使拍摄时能够用偏振镜消除有光；
(2.2)采集图像时，被拍摄者在固定的位置保持不动，在不同强度光照下拍摄出不同有光的真实人脸图像，再用偏振镜拍摄对应图像的无光版本，建立真实人脸数据集。
CN202010115474.6A 2020-02-25 2020-02-25 一种基于对抗神经网络的人脸有光去除方法 Active CN111275651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115474.6A CN111275651B (zh) 2020-02-25 2020-02-25 一种基于对抗神经网络的人脸有光去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115474.6A CN111275651B (zh) 2020-02-25 2020-02-25 一种基于对抗神经网络的人脸有光去除方法

Publications (2)

Publication Number Publication Date
CN111275651A CN111275651A (zh) 2020-06-12
CN111275651B true CN111275651B (zh) 2023-05-12

Family

ID=71002283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115474.6A Active CN111275651B (zh) 2020-02-25 2020-02-25 一种基于对抗神经网络的人脸有光去除方法

Country Status (1)

Country Link
CN (1) CN111275651B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951373B (zh) * 2020-06-30 2024-02-13 重庆灵翎互娱科技有限公司 一种人脸图像的处理方法和设备
CN112598598B (zh) * 2020-12-25 2023-11-28 南京信息工程大学滨江学院 一种基于两级反射光消除网络的图像反射光去除方法
CN112669284A (zh) * 2020-12-29 2021-04-16 天津大学 一种利用生成对抗网络来实现肺结节检测的方法
CN115018996A (zh) * 2022-08-08 2022-09-06 海马云（天津）信息技术有限公司 根据真人人脸照片生成3d人脸模型的方法与装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN108596062B (zh) * 2018-04-12 2021-04-06 清华大学 基于深度学习的人脸图片实时高光去除方法及装置
CN109308450A (zh) * 2018-08-08 2019-02-05 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN109815893B (zh) * 2019-01-23 2021-03-26 中山大学 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN110728628B (zh) * 2019-08-30 2022-06-17 南京航空航天大学 一种基于条件生成对抗网络的人脸去遮挡方法

Also Published As

Publication number Publication date
CN111275651A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111275651B (zh) 一种基于对抗神经网络的人脸有光去除方法
Han et al. Underwater image processing and object detection based on deep CNN method
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN113192055B (zh) 一种合成图像的和谐化方法及模型
CN109948467A (zh) 人脸识别的方法、装置、计算机设备和存储介质
CN112700390A (zh) 一种基于机器学习的白内障oct图像修复方法及***
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
Muhammad et al. Spec-Net and Spec-CGAN: Deep learning models for specularity removal from faces
CN109034016A (zh) 一种普适性的基于s-cnn模型的手背静脉图像识别方法
TW202119274A (zh) 臉部影像重建方法與系統
CN111612717A (zh) 一种基于对抗网络的水面图像去反光修复方法和装置
CN110909634A (zh) 可见光与双红外线相结合的快速活体检测方法
CN115311619A (zh) 一种基于深度学习的遮挡行人重识别方法
CN113298742A (zh) 基于图像配准的多模态视网膜图像融合方法及***
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN112784783A (zh) 基于虚拟样本的行人重识别方法
CN115861570A (zh) 基于光度一致性匹配和优化算法的多视角人体重建方法
Huang et al. Learning Based Resolution Enhancement of Iris Images.
CN115439669A (zh) 基于深度学习的特征点检测网络及跨分辨率图像匹配方法
CN114266713A (zh) 基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及***
Huang et al. Learning based enhancement model of iris
Zhu et al. A Stereo Matching and Depth Map Acquisition Algorithm Based on Deep Learning and Improved Winner Takes All-Dynamic Programming
Worthington et al. 3D surface topography from intensity images
CN114581984B (zh) 一种基于低秩注意力机制的口罩人脸识别算法
CN115511882B (zh) 一种基于病变权重特征图的黑色素瘤识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant