CN112131975A - 基于Retinex分解和生成对抗网络的人脸光照处理方法 - Google Patents
基于Retinex分解和生成对抗网络的人脸光照处理方法 Download PDFInfo
- Publication number
- CN112131975A CN112131975A CN202010935702.4A CN202010935702A CN112131975A CN 112131975 A CN112131975 A CN 112131975A CN 202010935702 A CN202010935702 A CN 202010935702A CN 112131975 A CN112131975 A CN 112131975A
- Authority
- CN
- China
- Prior art keywords
- face
- illumination
- module
- image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于Retinex分解和生成对抗网络的人脸光照处理方法,框架包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。光照分解模块由一个卷积神经网络构成,输入一对人脸图像,通过无监督学习将人脸图像分解为反射分量和光照分量;人脸重构模块由一个编解码卷积神经网络构成,其输入包含低光照人脸图像的反射分量、光照分量及目标光照等级标签,该模块可以将低光照图像的光照分量调整到目标光照等级;判别器模块通过对抗学习判别输入人脸图像的真实性并分类光照等级;人脸验证模块包含一个预训练的人脸分类器以保证生成的人脸图像和目标人脸图像具有相同的身份信息。本发明鲁棒性高,人脸重构效果好,可适用于夜间光照昏暗条件下的人脸光照处理。
Description
技术领域
本发明属于图像处理和模式识别领域,涉及基于Retinex分解和生成对抗网络的人脸光照处理方法。
背景技术
人脸识别长期以来一直是计算机领域的热门研究课题之一。近年来该技术被广泛的应用于社交多媒体、公共安全,智能监控等领域。目前的人脸识别算法在实际应用中仍存在一些难点仍需解决,其中光照变化严重的影响着人脸识别的鲁棒性能,特别是在夜间光照昏暗的场景下,现有的算法很难识别出人脸身份。因此人脸光照处理算法具有重要的研究意义和应用价值。
现有的人脸光照处理算法主要可以分为光照预处理算法和光照不变特征提取方法这两大类。光照预处理方法直接采用图像处理相关技术直接移除图片中的光照影响,如采用伽马变换,直方图均衡化等方式。光照不变特征提取方法可以从图像中提取人脸本征特征,如自商图像特征,小波特征和LBP纹理特征等。现在人脸光照处理算法的主要问题包括:
(1)在夜间恶劣光照条件下的表现不佳,对局部阴影的处理效果差,无法完全消除光照影响。
(2)处理后的人脸图像容易出现失真和扭曲变形,人脸细节纹理特征的恢复效果不佳。
(3)处理后的人脸图像丢失部分人脸身份信息,以至于现有的人脸识别算法仍无法识别处理后的人脸图像。
发明内容
针对以上问题,本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法,该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量;人脸重构模块调整输入人脸图片的光照等级;判别器模块使用生成对抗学习保证合成人脸图像的真实程度;人脸验证模块保留合成人脸图像的身份信息,本专利提供基于Retinex分解和生成对抗网络的人脸光照处理方法,包括下列步骤:
步骤1:建立人脸光照处理数据集;
步骤2:构建光照分解模块,该模块由一个卷积神经网络构成,用于人脸图像的Retinex光照分解,并输出人脸图像的反射分量和光照分量;
步骤3:构建人脸重构模块,该模块由一个编解码卷积神经网络构成,用于人脸图像光照分量重构,将低光照人脸图像的光照分量调整到目标光照等级;
步骤4:构建判别器模块,判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像,并分类人脸图像的光照等级,该模块由一个卷积神经网络构成;
步骤5:构建人脸验证模块,该模块由预训练的VGGFace网络组成,以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸验证信息,该模块只用于提取人脸身份特征和传递感知损失,而不进行参数更新;
步骤6:模型训练,使用Pytorch开源库搭建深度集成神经网路模型,使用NVIDIATITAN X GPU,Ubuntu 18.04操作***下训练人脸光照处理模型;
步骤7:使用训练好的模型测试光照处理结果,给定一张输入人脸图片并给出目标光照等级标签,模型输出光照处理后的合成人脸图片。
作为本发明进一步改进,步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集,该数据集包含10种光照条件下的共1666张人脸图片,其中1498张人脸图片为训练样本包括180个人脸实例,剩余198张人脸图片为测试样本包括20个实例。
作为本发明进一步改进,步骤2构建光照分解模块具体如下;
步骤201:对于给定的输入人脸图像Sin和目标人脸图像Star,光照分解模块的输入为图像对{Sin,Star},该模块由6个卷积层组成,其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息,剩余的卷积层采用3×3卷积核和ReLU激活函数,最后,Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间,该网络不包含池化层且卷积操作的步长为1,以保证反射分量R,光照分量I的尺寸与输入图像S的尺寸一致,光照分解模块的操作具体表示为:
Rin,Iin,Rtar,Itar=Dec(Sin,Star) (1)
其中Dec(·)表示光照分解模块,Rin,Iin,Rtar,Itar为输入人脸图片Sin和目标人脸图片Star的Retinex光照分解结果;
步骤202:光照分解模块通过人脸图像对的本征约束进行无监督学习,其目标函数由以下部分组成;
(4)反射分量一致性损失:根据Retinex理论,输入图像和目标图像的反射分量是近似一致的,其主要的差异体现在光照分量上,反射一致性损失用于约束输入图像的反射分量Rin和目标图像的反射分量Rtar之间的距离,其损失函数具体表示为:
(5)像素回归损失:光照分解模块输出的反射分量{Rin,Rtar}和光照分量{Iin,Itar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像,其损失函数具体定义为:
(6)平滑损失:全变分模型用于平滑光照分解模块输出的光照分量{Iin,Itar}并过滤噪声,其损失具体表示为:
光照分解模块的目标损失函数为不同学习任务的损失加权组合,最终的损失函数表示为:
作为本发明进一步改进,步骤3构建人脸重构模块具体如下;
步骤301:人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构,其输入包括三个部分:人脸图像反射分量Rin,人脸图像光照分量Iin和目标光照标签ltar,其中光照标签采用one-hot的编码方式,人脸重构模块的输出为调整后的人脸光照分量Irec,在编码网络中,3×3卷积核用于提取人脸图像的光照不变信息,解码网络使用反卷积对特征图进行上采样操作,编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息,人脸重构模块的操作具体表示为:
Irec=Rec(Rin,Iin|ltar) (6)
其中Rec(·)表示人脸重构模块,Rin,Iin和ltar分别表示分解得到的反射分量和光照分量及目标光照标签,Irec为重构的人脸光照分量;
步骤302:人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量,其目标函数由以下部分组成;
(2)像素回归损失:人脸重构模块输出的人脸光照分量Irec与反射分量Rin进行矩阵元素相乘运算即可得到人脸重构图像Srec,人脸重构图像与目标图像Star的L1范数距离即为人脸重构模块的像素回归损失,具体定义为:
(7)循环一致性损失:人脸重构模块采用闭环结构保留重构图像的内容信息,具体地,经调整后的人脸光照分量Irec被重新送入人脸重构模块中,在光照标签lin的引导下将光照分量调整至输入图像的光照等级,其损失函数具体表示为:
(8)平滑损失:全变分模型也被用于平滑人脸重构模块输出的光照分量,该损失函数具体表示为
(9)对抗损失:人脸重构模块采用了生成对抗学习方法合成人脸图像Srec,以使得判别器模块无法判断合成人脸图像Srec的真实性,该损失函数具体表示为:
(10)标签分类损失:人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像,以使得判别器模块正确的分类光照等级,该损失函数具体定义为:
(11)感知损失:人脸重构模块输出的合成人脸图像Srec被送入人脸验证模块以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸身份信息,其损失函数具体定义为:
人脸重构模块的目标损失函数为不同学习任务的损失加权组合,最终的损失函数表示为:
作为本发明进一步改进,步骤4中构建判别器模块的目标函数由以下部分组成;
(3)对抗损失:判别器模块同时输入目标人脸图像和合成人脸图像,并判别这一组图像的真实程度,其损失函数具体定义为:
(4)标签分类损失:判别器模块输入目标人脸图像,并分类光照等级,该损失函数具体定义为:
判别器的目标损失函数为不同学习任务的损失加权组合,最终的损失函数表示为:
作为本发明进一步改进,步骤6中模型训练具体步骤如下;
步骤601:单独训练光照分解模块,使得该模块能够将输入人脸图像分解为反射分量和光照分量;
步骤602:训练整个人脸光照处理框架,包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。
有益效果:
本发明涉及基于Retinex分解和生成对抗网络的人脸光照处理方法,其鲁棒性高,人脸重构效果好,可适用于夜间光照昏暗条件下的人脸光照处理。发明在智能交通和公共安全领域有重要的应用价值。
附图说明
图1是本发明工作流程图;
图2是本发明中人脸光照处理数据集样例图;
图3是本发明中人脸光照处理算法框架示意图;
图4是本发明中光照分解模块Retinex分解结果示意图;
图5是本发明中人脸光照处理示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提供基于Retinex分解和生成对抗网络的人脸光照处理方法,该方法提出的模型包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。其中光照分解模块提取人脸图片的反射分量和光照分量;人脸重构模块调整输入人脸图片的光照等级;判别器模块使用生成对抗学习保证合成人脸图像的真实程度;人脸验证模块保留合成人脸图像的身份信息。
具体流程参阅图1所示,本实施例提供基于Retinex分解和生成对抗网络的人脸光照处理方法,具体实施步骤如下:
步骤1:建立人脸光照处理数据集,使用中国科学院计算研究所公开的CAS-PEAL数据集。如图2所示,该数据集包含10种光照条件下的共1666张人脸图片,其中1498张人脸图片(180个人脸实例)为训练样本,剩余198张人脸图片(20个实例)为测试样本。
步骤2:构建光照分解模块。该模块由一个卷积神经网络构成,用于人脸图像的Retinex光照分解,并输出人脸图像的反射分量和光照分量;
步骤201:对于给定的输入人脸图像Sin和目标人脸图像Star,光照分解模块的输入为图像对{Sin,Star}。该模块由6个卷积层组成,其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息。剩余的卷积层采用3×3卷积核和ReLU激活函数。最后,Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间。该网络不包含池化层且卷积操作的步长为1,以保证反射分量R,光照分量I的尺寸与输入图像S的尺寸一致。光照分解模块的操作具体可以表示为:
Rin,Iin,Rtar,Itar=Dec(Sin,Star) (1)
其中Dec(·)表示光照分解模块,Rin,Iin,Rtar,Itar为输入人脸图片Sin和目标人脸图片Star的Retinex光照分解结果。
步骤202:光照分解模块通过人脸图像对的本征约束进行无监督学习,其目标函数由以下部分组成。
(1)反射分量一致性损失:根据Retinex理论,输入图像和目标图像的反射分量是近似一致的,其主要的差异体现在光照分量上。反射一致性损失用于约束输入图像的反射分量Rin和目标图像的反射分量Rtar之间的距离,其损失函数具体可表示为:
(2)像素回归损失:光照分解模块输出的反射分量{Rin,Rtar}和光照分量{Iin,Itar}可以通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像,其损失函数具体可定义为:
(3)平滑损失:全变分模型可以用于平滑光照分解模块输出的光照分量{Iin,Itar}并过滤噪声,其损失具体可表示为:
光照分解模块的目标损失函数为不同学习任务的损失加权组合,最终的损失函数可表示为:
步骤3:构建人脸重构模块。该模块由一个编解码卷积神经网络构成,用于人脸图像光照分量重构,将低光照人脸图像的光照分量调整到目标光照等级。
步骤301:人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构,其输入包括三个部分:人脸图像反射分量Rin,人脸图像光照分量Iin和目标光照标签ltar,其中光照标签采用one-hot的编码方式。人脸重构模块的输出为调整后的人脸光照分量Irec。在编码网络中,3×3卷积核用于提取人脸图像的光照不变信息,解码网络使用反卷积对特征图进行上采样操作。编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息。人脸重构模块的操作具体可表示为:
Irec=Rec(Rin,Iin|ltar) (6)
其中Rec(·)表示人脸重构模块。Rin,Iin和ltar分别表示分解得到的反射分量和光照分量及目标光照标签,Irec为重构的人脸光照分量。
步骤302:人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量,其目标函数由以下部分组成。
(1)像素回归损失:人脸重构模块输出的人脸光照分量Irec与反射分量Rin进行矩阵元素相乘运算即可得到人脸重构图像Srec。人脸重构图像与目标图像Star的L1范数距离即为人脸重构模块的像素回归损失,具体可定义为:
(2)循环一致性损失:人脸重构模块采用闭环结构保留重构图像的内容信息。具体地,经调整后的人脸光照分量Irec被重新送入人脸重构模块中,在光照标签lin的引导下可以将光照分量调整至输入图像的光照等级,其损失函数具体可表示为:
(3)平滑损失:全变分模型也被用于平滑人脸重构模块输出的光照分量,该损失函数具体可表示为
(4)对抗损失:人脸重构模块采用了生成对抗学习方法合成人脸图像Srec,以使得判别器模块无法判断合成人脸图像Srec的真实性,该损失函数具体可表示为:
(5)标签分类损失:人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像,以使得判别器模块可以正确的分类光照等级,该损失函数具体可定义为:
(6)感知损失:人脸重构模块输出的合成人脸图像Srec被送入人脸验证模块以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸身份信息,其损失函数具体可定义为:
人脸重构模块的目标损失函数为不同学习任务的损失加权组合,最终的损失函数可表示为:
步骤4:构建判别器模块。判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像,并分类人脸图像的光照等级。该模块由一个卷积神经网络构成,其目标函数由以下部分组成。
(1)对抗损失:判别器模块同时输入目标人脸图像和合成人脸图像,并判别这一组图像的真实程度,其损失函数具体可定义为:
(2)标签分类损失:判别器模块输入目标人脸图像,并分类光照等级,该损失函数具体可定义为:
判别器的目标损失函数为不同学习任务的损失加权组合,最终的损失函数可表示为:
步骤5:构建人脸验证模块,该模块由预训练的VGGFace网络组成,以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸验证信息。该模块只用于提取人脸身份特征和传递感知损失,而不进行参数更新。
步骤6:模型训练,使用Pytorch开源库搭建深度集成神经网路模型,使用NVIDIATITAN X GPU,Ubuntu 18.04操作***下训练人脸光照处理模型;
步骤601:单独训练光照分解模块,使得该模块能够将输入人脸图像分解为反射分量和光照分量,如图3所示。
步骤602:训练整个人脸光照处理框架,包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。该框架的整体示意图如图4所示。
步骤7:使用训练好的模型测试光照处理结果。给定一张输入人脸图片并给出目标光照等级标签,模型输出光照处理后的合成人脸图片,如图5所示。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。
Claims (6)
1.基于Retinex分解和生成对抗网络的人脸光照处理方法,其特征在于,包括下列步骤:
步骤1:建立人脸光照处理数据集;
步骤2:构建光照分解模块,该模块由一个卷积神经网络构成,用于人脸图像的Retinex光照分解,并输出人脸图像的反射分量和光照分量;
步骤3:构建人脸重构模块,该模块由一个编解码卷积神经网络构成,用于人脸图像光照分量重构,将低光照人脸图像的光照分量调整到目标光照等级;
步骤4:构建判别器模块,判别器模块通过生成对抗学习区分目标人脸图像和合成人脸图像,并分类人脸图像的光照等级,该模块由一个卷积神经网络构成;
步骤5:构建人脸验证模块,该模块由预训练的VGGFace网络组成,以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸验证信息,该模块只用于提取人脸身份特征和传递感知损失,而不进行参数更新;
步骤6:模型训练,使用Pytorch开源库搭建深度集成神经网路模型,使用NVIDIA TITANX GPU,Ubuntu 18.04操作***下训练人脸光照处理模型;
步骤7:使用训练好的模型测试光照处理结果,给定一张输入人脸图片并给出目标光照等级标签,模型输出光照处理后的合成人脸图片。
2.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法,其特征在于;步骤1建立人脸光照处理数据集使用中国科学院计算研究所公开的CAS-PEAL数据集,该数据集包含10种光照条件下的共1666张人脸图片,其中1498张人脸图片为训练样本包括180个人脸实例,剩余198张人脸图片为测试样本包括20个实例。
3.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法,其特征在于;步骤2构建光照分解模块具体如下;
步骤201:对于给定的输入人脸图像Sin和目标人脸图像Star,光照分解模块的输入为图像对{Sin,Star},该模块由6个卷积层组成,其中第一个卷积层使用9×9卷积核学习人脸图像的全局信息,剩余的卷积层采用3×3卷积核和ReLU激活函数,最后,Sigmoid激活函数用于将网络输出的反射分量R和光照分量I的像素值归一化至[0,1]区间,该网络不包含池化层且卷积操作的步长为1,以保证反射分量R,光照分量I的尺寸与输入图像S的尺寸一致,光照分解模块的操作具体表示为:
Rin,Iin,Rtar,Itar=Dec(Sin,Star) (1)
其中Dec(·)表示光照分解模块,Rin,Iin,Rtar,Itar为输入人脸图片Sin和目标人脸图片Star的Retinex光照分解结果;
步骤202:光照分解模块通过人脸图像对的本征约束进行无监督学习,其目标函数由以下部分组成;
(1)反射分量一致性损失:根据Retinex理论,输入图像和目标图像的反射分量是近似一致的,其主要的差异体现在光照分量上,反射一致性损失用于约束输入图像的反射分量Rin和目标图像的反射分量Rtar之间的距离,其损失函数具体表示为:
(2)像素回归损失:光照分解模块输出的反射分量{Rin,Rtar}和光照分量{Iin,Itar}通过矩阵元素相乘运算重构输入人脸图像和目标人脸图像,其损失函数具体定义为:
(3)平滑损失:全变分模型用于平滑光照分解模块输出的光照分量{Iin,Itar}并过滤噪声,其损失具体表示为:
光照分解模块的目标损失函数为不同学习任务的损失加权组合,最终的损失函数表示为:
4.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法,其特征在于;步骤3构建人脸重构模块具体如下;
步骤301:人脸重构模块采用类似于U-NET编解码网络模型对人脸光照分量进行重构,其输入包括三个部分:人脸图像反射分量Rin,人脸图像光照分量Iin和目标光照标签ltar,其中光照标签采用one-hot的编码方式,人脸重构模块的输出为调整后的人脸光照分量Irec,在编码网络中,3×3卷积核用于提取人脸图像的光照不变信息,解码网络使用反卷积对特征图进行上采样操作,编码网络和解码网络之间采用跳跃连接策略以获取人脸细节信息,人脸重构模块的操作具体表示为:
Irec=Rec(Rin,Iin|ltar) (6)
其中Rec(·)表示人脸重构模块,Rin,Iin和ltar分别表示分解得到的反射分量和光照分量及目标光照标签,Irec为重构的人脸光照分量;
步骤302:人脸重构模块结合了像素回归学习和生成对抗学习重构人脸光照分量,其目标函数由以下部分组成;
(1)像素回归损失:人脸重构模块输出的人脸光照分量Irec与反射分量Rin进行矩阵元素相乘运算即可得到人脸重构图像Srec,人脸重构图像与目标图像Star的L1范数距离即为人脸重构模块的像素回归损失,具体定义为:
(2)循环一致性损失:人脸重构模块采用闭环结构保留重构图像的内容信息,具体地,经调整后的人脸光照分量Irec被重新送入人脸重构模块中,在光照标签lin的引导下将光照分量调整至输入图像的光照等级,其损失函数具体表示为:
(3)平滑损失:全变分模型也被用于平滑人脸重构模块输出的光照分量,该损失函数具体表示为
(4)对抗损失:人脸重构模块采用了生成对抗学习方法合成人脸图像Srec,以使得判别器模块无法判断合成人脸图像Srec的真实性,该损失函数具体表示为:
(5)标签分类损失:人脸重构模块以目标光照标签作为引导合成特定光照等级的人脸图像,以使得判别器模块正确的分类光照等级,该损失函数具体定义为:
(6)感知损失:人脸重构模块输出的合成人脸图像Srec被送入人脸验证模块以保证合成人脸图像Srec与输入图像Sin、目标图像Star具有相同的人脸身份信息,其损失函数具体定义为:
人脸重构模块的目标损失函数为不同学习任务的损失加权组合,最终的损失函数表示为:
5.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法,其特征在于;步骤4中构建判别器模块的目标函数由以下部分组成;
(1)对抗损失:判别器模块同时输入目标人脸图像和合成人脸图像,并判别这一组图像的真实程度,其损失函数具体定义为:
(2)标签分类损失:判别器模块输入目标人脸图像,并分类光照等级,该损失函数具体定义为:
判别器的目标损失函数为不同学习任务的损失加权组合,最终的损失函数表示为:
6.根据权利要求1中所述基于Retinex分解和生成对抗网络的人脸光照处理方法,其特征在于;步骤6中模型训练具体步骤如下;
步骤601:单独训练光照分解模块,使得该模块能够将输入人脸图像分解为反射分量和光照分量;
步骤602:训练整个人脸光照处理框架,包含光照分解模块、人脸重构模块、判别器模块和人脸验证模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010935702.4A CN112131975B (zh) | 2020-09-08 | 2020-09-08 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010935702.4A CN112131975B (zh) | 2020-09-08 | 2020-09-08 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131975A true CN112131975A (zh) | 2020-12-25 |
CN112131975B CN112131975B (zh) | 2022-11-15 |
Family
ID=73845297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010935702.4A Active CN112131975B (zh) | 2020-09-08 | 2020-09-08 | 基于Retinex分解和生成对抗网络的人脸光照处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131975B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862713A (zh) * | 2021-02-02 | 2021-05-28 | 山东师范大学 | 一种基于注意力机制的低光图像增强方法及*** |
CN113034353A (zh) * | 2021-04-09 | 2021-06-25 | 西安建筑科技大学 | 一种基于交叉卷积神经网络的本质图像分解方法及*** |
CN113158784A (zh) * | 2021-03-10 | 2021-07-23 | 苏州臻迪智能科技有限公司 | 具有提高的识别精度的人脸识别方法及无人机 |
CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
WO2023172108A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Co., Ltd. | A method and electronic device for modifying image illumination without ground-truth image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
CN111428667A (zh) * | 2020-03-31 | 2020-07-17 | 天津中科智能识别产业技术研究院有限公司 | 一种基于解耦表达学习生成对抗网络的人脸图像转正方法 |
-
2020
- 2020-09-08 CN CN202010935702.4A patent/CN112131975B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815893A (zh) * | 2019-01-23 | 2019-05-28 | 中山大学 | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 |
CN110706152A (zh) * | 2019-09-25 | 2020-01-17 | 中山大学 | 基于生成对抗网络的人脸光照迁移方法 |
CN111428667A (zh) * | 2020-03-31 | 2020-07-17 | 天津中科智能识别产业技术研究院有限公司 | 一种基于解耦表达学习生成对抗网络的人脸图像转正方法 |
Non-Patent Citations (2)
Title |
---|
曾碧等: "基于CycleGAN的非配对人脸图片光照归一化方法", 《广东工业大学学报》 * |
李凯旋等: "基于双层生成对抗网络的素描人脸合成方法", 《计算机应用与软件》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862713A (zh) * | 2021-02-02 | 2021-05-28 | 山东师范大学 | 一种基于注意力机制的低光图像增强方法及*** |
CN112862713B (zh) * | 2021-02-02 | 2022-08-09 | 山东师范大学 | 一种基于注意力机制的低光图像增强方法及*** |
CN113158784A (zh) * | 2021-03-10 | 2021-07-23 | 苏州臻迪智能科技有限公司 | 具有提高的识别精度的人脸识别方法及无人机 |
CN113034353A (zh) * | 2021-04-09 | 2021-06-25 | 西安建筑科技大学 | 一种基于交叉卷积神经网络的本质图像分解方法及*** |
CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
WO2023172108A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Co., Ltd. | A method and electronic device for modifying image illumination without ground-truth image |
Also Published As
Publication number | Publication date |
---|---|
CN112131975B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112131975B (zh) | 基于Retinex分解和生成对抗网络的人脸光照处理方法 | |
CN108304788B (zh) | 基于深度神经网络的人脸识别方法 | |
Zhao et al. | A deep learning iris recognition method based on capsule network architecture | |
Qin et al. | How convolutional neural network see the world-A survey of convolutional neural network visualization methods | |
Zhang et al. | Demeshnet: Blind face inpainting for deep meshface verification | |
AU2014368997B2 (en) | System and method for identifying faces in unconstrained media | |
CN113139591B (zh) | 一种基于增强多模态对齐的广义零样本图像分类方法 | |
CN111582095B (zh) | 一种轻量级行人异常行为快速检测方法 | |
CN113449660B (zh) | 基于自注意增强的时空变分自编码网络的异常事件检测方法 | |
CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
CN112766217B (zh) | 基于解纠缠和特征级差异学习的跨模态行人重识别方法 | |
Frants et al. | QCNN-H: Single-image dehazing using quaternion neural networks | |
Ding et al. | Noise-resistant network: a deep-learning method for face recognition under noise | |
CN115457568B (zh) | 一种基于生成对抗网络的历史文档图像降噪方法及*** | |
CN112381987A (zh) | 基于人脸识别的智能门禁防疫*** | |
CN111242868A (zh) | 暗视觉环境下基于卷积神经网络的图像增强方法 | |
CN115995040A (zh) | 一种基于多尺度网络的sar图像小样本目标识别方法 | |
CN112990340B (zh) | 一种基于特征共享的自学习迁移方法 | |
CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
Zhang et al. | A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement | |
CN111539396A (zh) | 一种基于yolov3的行人检测及步态识别的方法 | |
CN110415816A (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
Sharma et al. | Solving image processing critical problems using machine learning | |
Mahmood et al. | An investigational FW-MPM-LSTM approach for face recognition using defective data | |
Depuru et al. | Hybrid CNNLBP using facial emotion recognition based on deep learning approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |