CN112084962B - 基于生成式对抗网络脸部隐私保护方法 - Google Patents
基于生成式对抗网络脸部隐私保护方法 Download PDFInfo
- Publication number
- CN112084962B CN112084962B CN202010955318.0A CN202010955318A CN112084962B CN 112084962 B CN112084962 B CN 112084962B CN 202010955318 A CN202010955318 A CN 202010955318A CN 112084962 B CN112084962 B CN 112084962B
- Authority
- CN
- China
- Prior art keywords
- face
- loss
- network
- generator
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioethics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
本发明的基于生成式对抗网络脸部隐私保护方法,其特征在于:在工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法,并且在工作站上训练特征模型W;当机器人平台上的照相机捕获脸部图像时,对需隐私保护的脸部图像,机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别,保护脸部图像的隐私特征,确保用户的视觉隐私不受侵犯。所述基于生成对抗网络的人脸识别方法,包含1个改进U‑Net网络的生成器G和2个判别器D 1、D 2,其中判别器与生成器由卷积层,残差块和自注意力层组成。本发明具有能减少或消除训练过程中模式崩溃和过度拟合的问题,提高生成图像质量,并在视觉上保护图像的隐私的特点。
Description
技术领域
本发明涉及信息安全保护领域,具体涉及一种基于生成式对抗网络脸部隐私保护方法。
背景技术
近年来,大量的照片与视频随着手机,平板电脑和其他成像设备的广泛使用而被记录、存储与处理。这些视觉设备虽然为人们带来了便利,但未受保护的图像或视频会导致隐私泄露,并给隐私保护带来严峻挑战。人脸去识别是视觉隐私保护中重要的第一步,因此人脸去识别问题最近受到了广泛关注。为了保护视觉面部隐私,许多研究人员通过替换或更改图像中的面部区域来使面部识别方法无法有效识别修改后的脸部图像。
传统的人脸去识别方法主要着眼于从图像和视频中删除身份,同时保留与身份无关的特征。在视频和图像处理方面,传统方法大多使用模糊像素化来保护视觉隐私。但研究表明像素化和模糊不能确保正确的人脸去识别的有效性。
近年来,神经网络可以用于隐私去识别,但是,基于卷积神经网络(CNN)的方法有两个局限性:1)生成图像的质量不够真实。这些方法不能保护包含面部的图像的隐私。2)CNN模型是一种监督算法。因此,它需要一些标签来训练网络,但是需要大量的时间和成本。
目前,生成对抗网络(GAN)为隐私去识别提供了新的方向,但是,通过这种方法生成的图像的面部特征不明显,并且不能有效地保留图像的值。基于GAN的隐私去识别技术存在三个局限性:1)大多数基于GAN的隐私去识别方法是一种半监督算法,需要少量标签,但是标记标签训练网络需要大量时间和成本。2)在GAN的对抗训练中,生成器和判别器很容易导致模式崩塌,过拟合以及模型无法收敛的风险;3)由这种算法生成的图像的质量不够真实,并且在去识别过程中不能保留图像特性。
发明内容
本发明的目的在于克服上述缺点而提出了一种能减少或消除训练过程中模式崩溃和过度拟合的问题、能保留去识别图像和原始图像之间的联系,在视觉上保护图像的隐私的基于生成式对抗网络脸部隐私保护方法。
本发明的基于生成式对抗网络脸部隐私保护方法,包括:
步骤一,工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法,并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W;
步骤二,工作站与机器人平台通过无线局域网WLAN连接,机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重;
步骤三,机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W,当机器人平台上的照相机捕获脸部图像时,对需隐私保护的脸部图像,机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别,保护脸部图像的隐私特征,确保用户的视觉隐私不受侵犯;
其中所述基于生成对抗网络的人脸识别方法,包含1个改进U-Net网络的生成器G和2个判别器D1、D2,其中判别器与生成器由卷积层,残差块和自注意力层组成;
所述改进U-Net网络的生成器G,包括8层下采样卷积层e1-e8、8层上采样卷积层d1–d8和中间层,其中所述下采样卷积层e8是向下采样残差块,上采样卷积层d1是上采样残差块,中间层与上采样卷积层d6为自注意力层;
所述生成器G和2个判别器D1、D2采用基于铰链损失的对抗损失函数,在训练过程中,基于生成对抗网络的人脸识别方法中的2个判别器D1、D2扮演相同的角色,并具有协作竞争关系与共享参数的能力,因此,生成器G和2个判别器D1、D2的对抗损失函数为:
所述生成器G中引入了像素丢失功能来指导隐私去识别的过程,像素损失包括重建损失和像素损失,
式中ξ为控制像素损失的系数;
所述生成器G中内容损失包括身份内容损失和轮廓内容损失;
式中,μG(x),μy是G(x)与y的均值;σG(x),σy是G(x)与y的方差;σG(x)y是G(x)与y的协方差;c1=(K1L)2,c2=(K2L)2是用来稳定损失函数的常数,L是像素的范围,K1=0.001,K2=0.003;
其中,x+和x-是活跃边界与非活跃边界在x上的分布;
所述基于生成对抗网络的人脸识别方法的总损失函数为
上述的基于生成式对抗网络脸部隐私保护方法,其中:所述改进U-Net网络的生成器G中的上采样卷积层d1-d3中使用dropout,dropout率为0.5,以防止过度拟合。
上述的基于生成式对抗网络脸部隐私保护方法,其中:所述改进U-Net网络的生成器G采用频谱归一化SN和实例规范化IN作为归一化函数,以确保训练过程的稳定性。
上述的基于生成式对抗网络脸部隐私保护方法,其中:所述上采样卷积残差模块采用泄漏整流线性单元LReLU用作激活函数,泄漏整流线性单元LReLU的所有斜率均为0.2。
上述的基于生成式对抗网络脸部隐私保护方法,其中:所述其自注意力层采用全局最大池化机制和全连接层机制。
上述的基于生成式对抗网络脸部隐私保护方法,其中:在所述基于生成对抗网络的人脸识别方法中引入优化器RAdam算法,学习速率设置如下:当epoch≤100时,ηG=0.0001,当epoch≥100时, 其中ηG是G的学习率,n是训练轮次,N是历时总轮次分别是D1和D2的学习率。
本发明与现有技术的相比,具有明显的有益效果,由以上方案可知,所述基于生成对抗网络的人脸识别方法,包含1个改进U-Net网络的生成器G和2个判别器D1、D2,其中判别器与生成器由卷积层,残差块和自注意力层组成。由于D1和D2可以协作并共享参数以提高图像质量且有助于基于生成对抗网络的人脸去识别方法(FPGAN)减少或消除模式崩溃。因此,增强所生成图像的质量;采用了残差块的设计思想来提高模型中特征提取的准确性;自注意力层中采用了全局最大池化机制和全连接层机制,这有助于防止过度拟合;生成器G中增加自注意力层,可提高特征提取的能力。
本发明所述基于生成对抗网络的人脸去识别方法(FPGAN),它是一种无监督算法,主要具有以下特点。首先,FPGAN可以保持去识别后图像和原始图像之间的特征,然后生成新的特征以保护主要面部特征的隐私。因此,在面部去识别之后接收到的保护隐私的图像具有美感和重用价值。随后,在生成高质量图像的同时,FPGAN不需要许多带标签的私有图像作为辅助输入,从而节省了标记标签的时间和成本。然后,FPGAN可以减少(或消除)训练过程中模式崩塌,过拟合和不收敛的问题。总之,基于生成对抗网络的人脸识别方法(FPGAN)应用服务机器人平台,具有如下特点:
(1)我们采用了一种端到端的面部去识别方法,该方法具有一个生成器和两个判别器。然后,我们设计了对抗损失函数,以减少或消除训练过程中模式崩溃和过度拟合的问题;
(2)我们设计了像素损失和内容损失函数,以保留去识别图像和原始图像之间的联系,在视觉和数量上保护图像的隐私;
(3)我们改进了U-Net,并将其用作生成器(G)以生成足够逼真的面部图像。然后,我们提出了新的判别器(D1和D2)以提高鉴别精度,并确保由G生成的结果的多样性。
(4)我们将FPGAN应用于服务机器人的身份去识别,并提出了隐私保护***。然后,我们提出了人脸去识别评价标准来检查模型的性能,该评价标准可用于检查人脸去识别在未来工作中的效果。
以下通过具体实施方式,进一步说明本发明的有益效果。
附图说明
图1为本发明的基于生成式对抗网络脸部隐私保护方法流程图;
图2(a)和图2(b)为本发明的生成器和判别器架构图;
图3(a)至图3(c)为本发明实施例中的在CelebA、MORPH、RaFD数据集上的不同算法生成的脸部去识别结果的示例。
具体实施方式
以下结合附图及较佳实施例,对依据本发明提出的一种基于生成式对抗网络脸部隐私保护方法的具体实施方式、特征及其功效,详细说明如后。
参见图1,本发明的基于生成式对抗网络脸部隐私保护方法,包括:
步骤一,工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法,并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W;
步骤二,工作站与机器人平台通过无线局域网WLAN连接,机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重;
步骤三,机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W,当机器人平台上的照相机捕获脸部图像时,对需隐私保护的脸部图像,机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别,保护脸部图像的隐私特征,确保用户的视觉隐私不受侵犯;
其中所述基于生成对抗网络的人脸识别方法,包含1个改进U-Net网络的生成器G和2个判别器D1、D2,其中判别器与生成器由卷积层,残差块和自注意力层组成。
1基于生成对抗网络的人脸去识别方法(FPGAN)
1.1残差块与自注意力网络
(1)残差块。我们采用了残差块的设计思想来提高模型中特征提取的准确性。卷积和逆卷积层的残差块旨在提高网络提取特征的能力。此残差块可以帮助G,D1和D2提取详细特征信息。FPGAN中使用的残差模块思想在图2中显示为e8和d1,其中d1(称为up-resblock)是上采样卷积残差模块,泄漏整流线性单元(LReLU)用作激活函数。然后,使用实例规范化(IN)法进行规范化。上采样残差块可以增强网络捕获更多功能的能力。此外,FPGAN中的e8分别是下卷积残差模块。LReLU功能在向下残差模块中使用。最后,h4-h7是D2中的aver-resblock模块,激活函数是LReLU,使用的LReLU的所有斜率均为0.2,每个残差区块的内部组成细节如图2(a)所示。
(2)自注意力层。G,D1,和D2只需要在训练过程中提取主要特征,就可以滤除更多无关的噪声。但是,传统自注意力层无法过滤掉无关的噪音点,因此需要大量的计算。为了解决此问题,我们改进了自注意力层,可减少工作时的计算量。我们在自注意力层中采用了全局最大池和全连接层机制,这有助于防止过度拟合。改进的自注意力层算法如下:
1.2生成器
我们在FPGAN中将U-Net改进为生成器G。FPGAN的前8层被称为e1-e8作为下采样卷积层,其中e8是向下采样残差块。最后8层是上采样卷积层,称为d1–d8,其中d1是上采样残差块,中间层与d6为自注意力层。G的体系结构如图2(a)所示。U-Net具有三个积极的改进:
(1)设计的下下采样残差块和上采样残差块是为了提高G的提取能力;
(2)添加了改进的G自注意力层,以提高特征提取的能力;
(3)频谱归一化(SN)和实例规范化(IN)作为归一化函数,以确保训练过程的稳定性。
除了使用双曲正切函数tanh的最后一层之外,生成器G的其他层使用的激活函数是LReLU。为防止过度拟合,在d1-d3层中使用了dropout,dropout率为0.5。
1.3判别器
判别器的本质是一个分类网络,我们为确保FPGAN的性能而设计的D1和D2的架构如图2(b)所示。FPGAN的判别器D1和D2具有四个特点:
(1)在D1和D2中应用残差块来提取详细特征;
(2)在D1和D2上使用自注意力层来提取详细特征;
(3)通过添加SN算法,可以将D1和D2中SN的K值限制为1,以防止梯度消失;
(4)在D1和D2的h2和h3层之间添加了跳跃连接,它有助于在分类过程中保留内容结构信息和不相关的图像域信息。
除残差模块外,D1的其他层使用的激活功能是LReLU。SN用于下采样残差块和自注意力层。其他层使用D1中的IN函数。其中,D1专注于提取主要纹理特征,D2专注于提取全局特征。
1.4损失函数设计
1.4.1对抗损失
尽管基于交叉熵的损失函数可以获得良好的结果,但一些研究表明,使用该方法得到的是一个不稳定的奇异点D。因此,为了克服这个问题,我们设计了基于铰链损失的对抗损失函数。在训练过程中,FPGAN中的D1和D2扮演相同的角色,并具有协作竞争关系并共享参数。因此,D1、D2和G的对抗损失函数为
1.4.2 FPGAN收敛性证明为了将FPGAN收敛到纳什平衡,我们研究了在大样本限制下的行为。由于和是较低的半连续函数,因此对于最优解G具有限值G*,D1 *,D2 *。此外,由于交替最小化,该对满足以下方程式:
A={y|Pd(y)≤PG(y)}。 (5)
根据式(1)和(2),我们可以得到
在式(6)中,[x]+=max{0,x}。基于此,我们可以得到
根据式(4)和(7),我们可以得到
∫PG(y){-[αD1(y)+βD2(y)]}dy≤∫Pd(y){-[αD1(y)+βD2(y)]}dy. (9)
在式(9)两边同时加(α+β)和∫PG(y)[α(1+D1(y))]++[β(1+D2(y))]+dy,我们可以得到
根据式(3)和(7),可得
因此,综合式(8)与(12),我们可以得到
1.4.3像素损失
生成器网络可能会在相互转换的图像域之间进行区分,并阐明目标图像域信息。为了确保这一点,我们引入了像素丢失功能来指导隐私去识别的过程。像素损失包括重建损失和像素损失。
1.4.4内容损失
内容丢失包括身份内容损失和轮廓内容损失,可以测量图像的相似度和内容损失。内容损失包括身份内容损失和轮廓内容损失。
式中,μG(x),μy是G(x)与y的均值,σG(x),σy是G(x)与y的方差,σG(x)y是G(x)与y的协方差。c1=(K1L)2,c2=(K2L)2是用来稳定损失函数的常数。L是像素的范围,K1=0.001,K2=0.003。
(2)轮廓内容损失。轮廓特征在图像合成中起着非常重要的作用。因此,它是图像的主要特征。然而,在面部去识别领域中,没有关于图像的内容损失的研究。为了减少训练过程中图像的轮廓损失,我们采用轮廓内容损失来测量生成的分布和原始分布。轮廓内容损失可以计算为
其中,x+和x-是活跃边界与非活跃边界在x上的分布。
1.5模型优化方式
FPGAN的总损失函数为
然后,我们将优化器RAdam算法引入到FPGAN中。在训练过程中,G,D1和D2的迭代速度不一致。因此,FPGAN的学习速率设置如下:当epoch≤100时,ηG=0.0001,当epoch≥100时, 其中ηG是G的学习率,n是训练轮次,N是历时总轮次,分别是D1和D2的学习率。
实施例如下:
1数据集
我们在四个公共数据集上验证了FPGAN的性能。
(1)CelebA数据集。CelebA数据集包含10,177个身份,202,599个面部图像,5个地标位置以及每个图像40个二进制属性注释。我们选择了1,700幅中性图像和1,700幅微笑图像作为训练数据,并选择了200幅中性图像和200幅带微笑图像的图像作为测试数据。
(2)MORPH数据集。该数据集包含超过13,000个个体的55,000张脸部图像,具有不同的人口统计学特征(年龄,性别和53个种族)。在此,我们仅使用男性数据,因为女性受试者的数量有限。我们在MORTH数据集中使用了1,700个长发男人图像和1,700个短发男人图像作为训练数据,并使用200个长发图像和200个短发图像作为测试数据。
(3)RaFD数据集。该数据集于2010年发布。包含8040张具有8个面部表情的图像:愤怒,厌恶,恐惧,喜悦,悲伤,惊奇,蔑视和中立。每个表情包含3个不同的注视方向,并使用5个相机同时从不同角度拍摄。我们将RaFD数据集中的2,010张中性图像和2,010张其他图像用作训练数据,并将200张图像和200张恐惧图像用作测试数据。
所有数据集均被标准化为256×256的图像尺寸。
2比较算法
本发明中选择的对比算法为CGAN,D2GAN,CycleGAN和UNIT方法作为对比方法。
3评价标准
人脸去识别率传统的面部去识别方法和基于深度学习的面部隐私去识别方法均以去识别率作为主要评估方案检查模型性能。与他们的实验设置一样,在本发明中,实验中选择了一种深度模型FaceNET作为人脸识别技术。FaceNET模型在两个子分组上进行了训练,可以检查人脸识别方法的性能。
人脸去识别后图像质量。采用Freshet inception distance(FID)和inceptionscore(IS)用作评价标准来评估生成图像的质量。使用较高的IS和较低的FID分数,生成的图像质量会更高。
4训练与测试参数
我们在DELL TOWER 5810工作站上训练FPGAN,并在MAT服务机器人平台上测试FPGAN。本发明中的参数设置如下:ηG=0.0001,ηD=0.0004。在RAdam优化器中,β1=0.0,β2=0.9,warm-up=0.2,batch size=1,α=0.8,β=0.8,ξ=0.3,n=b=0,N=200。
5实验结果与分析
表2 使用CelebA,MORPH和RaFD数据集的CGAN,D2GAN,CycleGAN,UNIT和FPGAN(我们的)使用FID和IS得分对生成的图像进行质量评估
人脸去识别率如表1所示,CelebA数据集中的CGAN,CycleGAN,D2GAN,UNIT和FPGAN的值分别为86%,87.5%,88%,90.05%和96.5%。FPGAN的值高于对比方法的值,这表明FPGAN中人脸识别的效果优于对比算法。为平等地对比模型,我们在MORPH数据集上测试了模型;结果如下:CGAN为85%,CycleGAN为86.5%,D2GAN为87.5%,UNIT为89.5%,FPGAN为95%。FPGAN比CGAN,CycleGAN,D2GAN和UNIT多10%,8.5%,7.5%和5.5%。结果表明,FPGAN优于其他方法。
人脸去识别图像质量。从表2中可以看出,在CelebA数据集中,FPGAN的FID得分为0.763,对于CGAN,CycleGAN,D2GAN和UNIT而言,分别仅为83.7%,77.5%,86.12%和86.51%。根据这些结果,与上述方法相比,FPGAN生成的图像质量更好。原始图像的IS为3.54±0.54,CGAN为2.54±0.32,CycleGAN为2.44±0.37,D2GAN为2.82±0.37,UNIT为2.84±0.36,FPGAN为2.93±0.34。除原始图像外,FPGAN的得分高于比较方法。根据表2,我们的FPGAN优于MORPH和RaFD数据集的对比算法。此外,对于MORPH和RaFD数据集,FPGAN的IS得分高于其他方法,FPGAN的FID得分低于其他方法,这表明我们在FPGAN上添加的内容损失和像素损失在训练。总之,这种差异表明,FPGAN产生的图像质量优于对比算法产生的图像质量。图3由不同模型在(a)CelebA,(b)MORPH,(c)RaFD数据集上生成的面部去识别结果的示例。最左边图像是原始图像,从左到右的由CGAN,D2GAN,CycleGAN,UNIT和FPGAN等算法生成。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,任何未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (6)
1.基于生成式对抗网络脸部隐私保护方法,包括:
步骤一,工作站和机器人平台中都分别加载基于生成对抗网络的人脸去识别方法,并且使用基于生成对抗网络的人脸去识别方法以及隐私和非隐私数据集在工作站上训练特征模型W;
步骤二,工作站与机器人平台通过无线局域网WLAN连接,机器人平台通过工作站上的基于生成对抗网络的人脸去识别方法来定期更新权重;
步骤三,机器人平台上的基于生成对抗网络的人脸去识别方法获得特征模型W,当机器人平台上的照相机捕获脸部图像时,对需隐私保护的脸部图像,机器人平台应用基于生成对抗网络的人脸识别方法进行脸部去识别,保护脸部图像的隐私特征,确保用户的视觉隐私不受侵犯;
其中所述基于生成对抗网络的人脸识别方法,包含1个改进U-Net网络的生成器G和2个判别器D1、D2,其中判别器与生成器由卷积层、残差块和自注意力层组成;
所述改进U-Net网络的生成器G,包括8层下采样卷积层e1-e8、8层上采样卷积层d1–d8和中间层,其中下采样卷积层e8是向下采样残差块,上采样卷积层d1是上采样残差块,中间层与上采样卷积层d6为自注意力层;
所述生成器G和2个判别器D1、D2采用基于铰链损失的对抗损失函数,在训练过程中,基于生成对抗网络的人脸识别方法中的2个判别器D1、D2扮演相同的角色,并具有协作竞争关系与共享参数的能力,因此,生成器G对抗损失函数和判别器D1、D2的对抗损失函数分别为:
其中,x~pd(x)表示x服从先验分布Pd(x),y~pd(y)表示y服从目标分布Pd(y),表示期望值求取函数,min(*)是最小值函数,α=0.8和β=0.8参数控制对优化策略的影响,D1(*),D2(*)分别表示判别器D1与判别器D2判别网络,G(*)表示生成器网络,x,y~pd(x),pG(y)表示x与y分别服从pd(x),pG(y)分布;
所述生成器G中引入了像素丢失功能来指导隐私去识别的过程,像素损失包括重建损失和像素损失,
式中ξ为控制像素损失的系数;
所述生成器G中内容损失包括身份内容损失和轮廓内容损失,
式中,μG(x)是G(x)的均值,μy是y的均值;σG(x)与σy分别是G(x)与y的方差;σG(x)y是G(x)与y的协方差;c1=(K1L)2,c2=(K2L)2是用来稳定损失函数的常数,L是像素的范围,K1=0.001,K2=0.003;
式中,p(*)为概率分布,函数f(x)的计算公式为:
其中,x+和x-是活跃边界与非活跃边界在x上的分布;
所述生成器G中的基于生成对抗网络的人脸识别方法的总损失函数为
2.如权利要求1所述的基于生成式对抗网络脸部隐私保护方法,其特征在于:所述改进U-Net网络的生成器G中的上采样卷积层d1-d3中使用dropout,dropout率为0.5,以防止过度拟合。
3.如权利要求1或2所述的基于生成式对抗网络脸部隐私保护方法,其特征在于:所述改进U-Net网络的生成器G采用频谱归一化SN和实例规范化IN作为归一化函数,以确保训练过程的稳定性。
4.如权利要求1所述的基于生成式对抗网络脸部隐私保护方法,其特征在于:上采样残差块采用泄漏整流线性单元LReLU用作激活函数,泄漏整流线性单元LReLU的所有斜率均为0.2。
5.如权利要求1所述的基于生成式对抗网络脸部隐私保护方法,其特征在于:自注意力层采用全局最大池化机制和全连接层机制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010955318.0A CN112084962B (zh) | 2020-09-11 | 2020-09-11 | 基于生成式对抗网络脸部隐私保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010955318.0A CN112084962B (zh) | 2020-09-11 | 2020-09-11 | 基于生成式对抗网络脸部隐私保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112084962A CN112084962A (zh) | 2020-12-15 |
CN112084962B true CN112084962B (zh) | 2021-05-25 |
Family
ID=73737527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010955318.0A Active CN112084962B (zh) | 2020-09-11 | 2020-09-11 | 基于生成式对抗网络脸部隐私保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112084962B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734762B (zh) * | 2020-12-31 | 2022-10-11 | 西华师范大学 | 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法 |
CN112819180B (zh) * | 2021-01-26 | 2021-10-15 | 华中科技大学 | 一种基于联邦生成模型的多业务数据生成方法和装置 |
CN112466425B (zh) * | 2021-01-28 | 2021-04-02 | 北京妙医佳健康科技集团有限公司 | 一种信息处理方法和装置 |
CN113051604B (zh) * | 2021-03-08 | 2022-06-14 | 中国地质大学(武汉) | 一种基于生成式对抗网络的涉密地理表格类数据保护方法 |
CN112949535B (zh) * | 2021-03-15 | 2022-03-11 | 南京航空航天大学 | 一种基于生成式对抗网络的人脸数据身份去识别方法 |
CN112949553A (zh) * | 2021-03-22 | 2021-06-11 | 陈懋宁 | 基于自注意力级联生成对抗网络的人脸图像修复方法 |
CN112818407B (zh) * | 2021-04-16 | 2021-06-22 | 中国工程物理研究院计算机应用研究所 | 一种基于生成对抗网络的视频隐私保护方法 |
CN112926559B (zh) * | 2021-05-12 | 2021-07-30 | 支付宝(杭州)信息技术有限公司 | 人脸图像处理方法及装置 |
CN113160348A (zh) * | 2021-05-20 | 2021-07-23 | 深圳文达智通技术有限公司 | 可恢复的人脸图像隐私保护方法、装置、设备及存储介质 |
CN113378697B (zh) * | 2021-06-08 | 2022-12-09 | 安徽大学 | 一种基于卷积神经网络的说话人脸视频生成方法及装置 |
CN113343878A (zh) * | 2021-06-18 | 2021-09-03 | 北京邮电大学 | 基于生成对抗网络的高保真人脸隐私保护方法和*** |
CN113592696A (zh) * | 2021-08-12 | 2021-11-02 | 支付宝(杭州)信息技术有限公司 | 加密模型训练、图像加密和加密人脸图像识别方法及装置 |
CN114005170B (zh) * | 2022-01-05 | 2022-03-25 | 中国科学院自动化研究所 | 基于视觉对抗重构的DeepFake防御方法和*** |
CN114626042B (zh) * | 2022-03-18 | 2024-06-28 | 杭州师范大学 | 一种人脸验证攻击方法和装置 |
CN116777733A (zh) * | 2023-04-25 | 2023-09-19 | 成都信息工程大学 | 基于生成对抗网络的人脸隐私保护方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960159A (zh) * | 2018-07-10 | 2018-12-07 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的热成像人脸识别方法 |
CN111539382A (zh) * | 2020-05-22 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 一种图像识别模型隐私风险的评估方法、装置及电子设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10474882B2 (en) * | 2017-03-15 | 2019-11-12 | Nec Corporation | Video surveillance system based on larger pose face frontalization |
US10762337B2 (en) * | 2018-04-27 | 2020-09-01 | Apple Inc. | Face synthesis using generative adversarial networks |
CN110059465B (zh) * | 2019-04-24 | 2023-07-25 | 腾讯科技(深圳)有限公司 | 身份验证方法、装置及设备 |
CN110363183B (zh) * | 2019-07-30 | 2020-05-08 | 贵州大学 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
CN111242837B (zh) * | 2020-01-03 | 2023-05-12 | 杭州电子科技大学 | 基于生成对抗网络的人脸匿名隐私保护方法 |
CN111476200B (zh) * | 2020-04-27 | 2022-04-19 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
-
2020
- 2020-09-11 CN CN202010955318.0A patent/CN112084962B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108960159A (zh) * | 2018-07-10 | 2018-12-07 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的热成像人脸识别方法 |
CN111539382A (zh) * | 2020-05-22 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 一种图像识别模型隐私风险的评估方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112084962A (zh) | 2020-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112084962B (zh) | 基于生成式对抗网络脸部隐私保护方法 | |
Lin et al. | FPGAN: Face de-identification method with generative adversarial networks for social robots | |
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
Pitaloka et al. | Enhancing CNN with preprocessing stage in automatic emotion recognition | |
CN110991281B (zh) | 一种动态人脸识别方法 | |
CA2934514C (en) | System and method for identifying faces in unconstrained media | |
CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
Wang et al. | Review of ear biometrics | |
Yang et al. | Facial expression recognition based on dual-feature fusion and improved random forest classifier | |
CN112418041A (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
Wang et al. | ScleraSegNet: An attention assisted U-Net model for accurate sclera segmentation | |
CN110569724A (zh) | 一种基于残差沙漏网络的人脸对齐方法 | |
Peng et al. | BDC-GAN: Bidirectional conversion between computer-generated and natural facial images for anti-forensics | |
Juneja et al. | An extensive study on traditional-to-recent transformation on face recognition system | |
Yap et al. | A survey on facial wrinkles detection and inpainting: Datasets, methods, and challenges | |
Horng et al. | Recognizing palm vein in smartphones using RGB images | |
Gajjala et al. | MERANet: Facial micro-expression recognition using 3D residual attention network | |
CN114036553A (zh) | 一种结合k匿名的行人身份隐私保护方法 | |
Zhang et al. | CNN-based anomaly detection for face presentation attack detection with multi-channel images | |
CN116664677B (zh) | 一种基于超分辨率重建的视线估计方法 | |
Hu et al. | Multi-level feature fusion facial expression recognition network | |
Hassan et al. | Sip-segnet: A deep convolutional encoder-decoder network for joint semantic segmentation and extraction of sclera, iris and pupil based on periocular region suppression | |
Jang et al. | L-GAN: landmark-based generative adversarial network for efficient face de-identification | |
Türkan et al. | Human face detection in video using edge projections | |
CN112668401B (zh) | 一种基于特征解耦合的人脸隐私保护方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |