CN110728628A - 一种基于条件生成对抗网络的人脸去遮挡方法 - Google Patents
一种基于条件生成对抗网络的人脸去遮挡方法 Download PDFInfo
- Publication number
- CN110728628A CN110728628A CN201910811961.3A CN201910811961A CN110728628A CN 110728628 A CN110728628 A CN 110728628A CN 201910811961 A CN201910811961 A CN 201910811961A CN 110728628 A CN110728628 A CN 110728628A
- Authority
- CN
- China
- Prior art keywords
- image
- occlusion
- generator
- face image
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 102100037410 Gigaxonin Human genes 0.000 claims description 10
- 101001025761 Homo sapiens Gigaxonin Proteins 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 208000006440 Open Bite Diseases 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 29
- 230000004913 activation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于条件生成对抗网络的人脸去遮挡方法,包括如下步骤:准备人脸图像数据集和可能出现在面部的遮挡图像集,对每一张人脸图像随机加遮挡后,得到原始人脸图像、有遮挡人脸图像、遮挡图像组成的三元组数据集;将有遮挡人脸图像作为输入,遮挡图像作为目标图像,通过训练第一个条件生成对抗网络实现遮挡检测的功能;将有遮挡人脸图像和第一个条件生成对抗网络检测出的遮挡图像作为输入,原始人脸图像作为目标图像,通过训练第二个条件生成对抗网络实现人脸遮挡移除的功能。本发明在面部遮挡检测的基础上进行面部遮挡移除,不仅增强了对任意遮挡的识别能力,同时也借助学得的遮挡信息来更好地移除遮挡,使模型更具有鲁棒性。
Description
技术领域
本发明属于计算机视觉领域,特别涉及一种应用机器学习实现的人脸去遮挡方法。
背景技术
人脸去遮挡是一个有意义的课题,不仅可以直接提高人脸识别的准确率,还可以在此基础上做一些扩展性的研究,更重要的是,它可能成为其他人脸研究工作的一部分来提高其他模型对有遮挡人脸的鲁棒性。例如,在人脸表情数据库上,若在去遮挡的基础上考虑到非遮挡部分的信息,可以得到完整的并且更真实的人脸表情,从而提高对有遮挡人脸图像的表情识别率等等。
当前对人脸去遮挡的研究很少,但它和人脸补全比较相似。人脸补全是图像补全的一个分支,目前已经存在不少对人脸补全的研究。人脸补全是补充人脸图像上缺失的像素点,而这些缺失的部分一般是无实际意义且单一纹理的,因此它目前不能做到人脸自动去遮挡的效果,除非手动在想要去掉的遮挡上添加类似纹理。而人脸去遮挡是学习人脸本身的特征及大量真实遮挡物的特征,从而达到自动去遮挡的功能,如给人脸图像去掉口罩、眼镜等真实遮挡物。因此,人脸去遮挡本身比人脸补全问题有更大的挑战性。
由于问题的复杂性,现有的人脸补全方法均是基于神经网络来实现的。
发明内容
现有技术的人脸补全方法往往一次性对人脸缺失部分进行补全,这样会需要很高的网络复杂度或者补全效果不佳,这样的训练方式如果照搬在人脸去遮挡问题上,会产生更明显的缺陷。为解决以上问题,本发明的目的是提出一种基于条件生成对抗网络的人脸去遮挡方法。
为实现上述目的,本发明采用的技术方案为:
一种基于条件生成对抗网络的人脸去遮挡方法,包括如下步骤:
步骤1,准备数据集:获取人脸图像数据集,并在互联网上以可能出现在人脸上的遮挡作为关键字收集透明背景的遮挡图片;在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像,构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集;
步骤2,搭建第一个条件生成对抗网络模型GAN1,其输入为步骤1得到的三元组数据集中的加遮挡后的人脸图像,目标图像为三元组数据集中经过随机变换的遮挡图像,对网络训练后实现遮挡检测的功能;
步骤3:搭建第二个条件生成对抗网络模型GAN2,其输入为三元组数据集中的加遮挡后的人脸图像与其在第一个条件生成对抗网络的输出,目标图像为三元组数据集中的原始人脸图像,对网络进行训练后最终实现面部遮挡移除的功能。
所述步骤1中,对得到的三元组数据集中的图像进行随机剪切和随机左右翻转来缓解模型过拟合的情况。
所述步骤2中,GAN1的整体结构如下:
input→生成器1→occ_learned
其中,input为需要去遮挡的图像,occ_learned为学得的遮挡图像;生成器1的模型参数由与判别器1联合训练得到;
生成器1采用全卷积神经网络,采用8层全卷积层对输入进行编码,再采用8个转置全卷积层对得到的向量进行解码,编码器与解码器用U-Net结构进行连接;
判别器1采用4层全卷积神经网络,输出为尺寸为30*30*1的矩阵,用于判断输入图像的真实性;
训练GAN1的目标函数如下:
其中,pdata表示数据的分布,代表数学期望;input表示加遮挡后的人脸图像,occ表示对应的遮挡图像;O1代表和D1输出相同维数的全一阵,log代表对矩阵中每个元素求对数后的总和;G1,D1分别表示生成器1,判别器1;表示第一个条件生成对抗网络的基础损失函数,使得网络能以对抗的形式被训练;表示生成器1额外的损失函数,使得生成器1生成的图片能尽可能与目标函数在像素级别上相似,其中L1代表该损失函数中的1范数。
所述步骤3中,GAN2的整体结构如下:
input+occ_learned→生成器2→target_learned
其中,input为需要去遮挡的图像,occ_learned为学得的遮挡图像,target_learned为学得的去遮挡后的人脸图像;
生成器2的模型参数由与判别器2联合训练得到;
生成器2采用全卷积神经网络,采用8层全卷积层对输入进行编码,再采用8个转置全卷积层对得到的向量进行解码,编码器与解码器用U-Net结构进行连接;
判别器2采用4层全卷积神经网络,输出为尺寸为30*30*1的矩阵,用于判断输入图像的真实性;
训练GAN2的目标函数如下:
其中,pdata表示数据的分布,代表数学期望;input表示加遮挡后的人脸图像,occ表示对应的遮挡图像,target表示对应的未遮挡人脸图像;O2代表和D2输出相同维数的全一阵,log代表对矩阵中每个元素求对数后的总和;G2,D2分别表示生成器2,判别器2;表示第二个条件生成对抗网络的基础损失函数,使得网络能以对抗的形式被训练;表示生成器2额外的损失函数,使得生成器2生成的图片能尽可能与目标函数在像素级别上相似,其中L1代表该损失函数中的1范数。
有益效果:本发明构建了一种串联两个条件生成对抗网络的模型,将人脸去遮挡分为两个部分。第一部分用于生成脸部的遮挡图像,第二部分借助第一部分生成的遮挡图像,来实现脸部的去遮挡。这不仅能更容易实现对任意遮挡的人脸照片去遮挡的功能,同时可以借助学得的遮挡信息能得到更好的去遮挡效果。
具体实施方式
下面对本发明做更进一步的解释。
本发明的一种基于条件生成对抗网络的人脸去遮挡方法,包括如下步骤:
步骤1:准备数据集。获取CelebA作为本次训练模型的数据集,对其进行对齐、裁剪、分类等,在互联网上以可能出现在人脸上的遮挡作为关键字收集近千张透明背景的遮挡图片,关键字包括例如apple、sunglasses、hand、hat、scarf、drink、caffe等约50个;在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过变换的遮挡图像,构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集;将数据集以4:1的比例随机分为训练集和测试集;对训练集中的图像进行随机剪切和随机左右翻转,来缓解模型过拟合的情况。这两个三元组数据集将分别用于接下来的步骤。
CelebA扩展数据集属于人脸表情数据库,它的数据均是无遮挡的,符合本方法需要人工添加遮挡的方法,因为一般真实遮挡的照片缺少真实无遮挡的人脸图像,难以进行训练。除此之外,它还具有多样化的表情,可以使模型对各种表情的人脸图像遮挡进行处理。
步骤2:搭建第一个条件生成对抗网络GAN1来识别遮挡;
GAN1的整体结构如下:
input→生成器1→occ_learned
其中,input为需要去遮挡的图像,occ_learned为学得的遮挡图像;
生成器1的模型参数由与判别器1联合训练得到;
生成器1采用全卷积神经网络,采用8层全卷积层对输入进行编码,再采用8个转置全卷积层对得到的向量进行解码,编码器与解码器用U-Net结构进行连接;生成器1的结构如下:
input->conv_1->conv_2->conv_3->conv_4->conv_5->conv_6->conv_7->conv_8->deconv_1->deconv_2->deconv_3->deconv_4->deconv_5->deconv_6->deconv_7->deconv_8->occ_learned
其中,conv_i表示生成器第i个卷积层,i=1,2,…,8;卷积操作后都采用了批归一化(除了conv1),并使用LeakReLU作为激活函数来约束输输出,最终得到一个特征向量;deconv_i{i=1,2,…,8}表示第i个转置卷积层,转置卷积操作后都采用了批归一化,并使用ReLU作为激活函数来约束输输出,前三层转置卷积还采用了dropout,来减轻对特征向量的过拟合。
此外,生成器采用U-Net的网络结构来增强网络的稳定性。deconv_i{i=2,…,8}的输入除了有deconv_i-1,还有conv_9-i。
判别器1采用4层全卷积神经网络,输出为尺寸为30*30*1的矩阵,用于判断输入图像的真实性;判别器1的结构如下:
input+occ->conv_d1->conv_d2->conv_d3->conv_d4->conv_d5->real/fake
其中,conv_i{i=1,2,…,8}表示生成器第i个卷积层,卷积操作后都采用了批归一化(除了conv1),并使用LeakyReLU作为激活函数来约束输输出,最终得到一个维度为30*30*1的张量,将它与全一阵对应元素的交叉熵之和作为衡量生成器1识别的遮挡的真实程度。
目标函数如下:
其中,pdata表示数据的分布,代表数学期望;input表示加遮挡后的人脸图像,occ表示对应的遮挡图像;O1代表和D1输出相同维数的全一阵,log代表对矩阵中每个元素求对数后的总和;G1,D1分别表示生成器1,判别器1;表示第一个条件生成对抗网络的基础损失函数,使得网络能以对抗的形式被训练;表示生成器1额外的损失函数,使得生成器1生成的图片能尽可能与目标函数在像素级别上相似,其中L1代表该损失函数中的1范数。
步骤3:搭建第二个条件生成对抗网络GAN2来移除遮挡;
GAN2的整体结构如下:
input+occ_learned→生成器2→target_learned
其中,input为需要去遮挡的图像,occ_learned为学得的遮挡图像,target_learned为学得的去遮挡后的人脸图像;
生成器2的模型参数由与判别器2联合训练得到;
生成器2采用全卷积神经网络,采用8层全卷积层对输入进行编码,再采用8个转置全卷积层对得到的向量进行解码,编码器与解码器用U-Net结构进行连接;
生成器2的结构如下:
input+occ->conv_1->conv_2->conv_3->conv_4->conv_5->conv_6->conv_7->conv_8->deconv_1->deconv_2->deconv_3->deconv_4->deconv_5->deconv_6->deconv_7->deconv_8->target_learned
其中,conv_i{i=1,2,…,8}表示生成器第i个卷积层;deconv_i{i=1,2,…,8}表示第i个转置卷积层。生成器采用U-Net的网络结构来增强网络的稳定性。除了输入增加了一张遮挡图像,整体结构与生成器1类似。
判别器2采用4层全卷积神经网络,输出为尺寸为30*30*1的矩阵,用于判断输入图像的真实性;判别器2的结构如下:
input+occ+target->conv_d1->conv_d2->conv_d3->conv_d4->conv_d5->real/fake
其中,conv_i{i=1,2,…,8}表示生成器第i个卷积层。除了输入增加了一张无遮挡图像,整体结构与生成器1类似。
目标函数如下:
其中,pdata表示数据的分布,代表数学期望;input表示加遮挡后的人脸图像,occ表示对应的遮挡图像,target表示对应的未遮挡人脸图像;O2代表和D2输出相同维数的全一阵,log代表对矩阵中每个元素求对数后的总和;G2,D2分别表示生成器2,判别器2;表示第二个条件生成对抗网络的基础损失函数,使得网络能以对抗的形式被训练;表示生成器2额外的损失函数,使得生成器2生成的图片能尽可能与目标函数在像素级别上相似,其中L1代表该损失函数中的1范数。
本发明中,在对数据集的处理方面,不同于一般的人脸补全算法,本发明采用互联网上搜集的真实的物体作为遮挡,增强了算法的实用性;在网络结构方面,本发明使用了串联的条件生成对抗网络,增强了模型对任意遮挡识别和去除的鲁棒性,且通过借助面部遮挡的信息来去遮挡的方法更具解释性;在网络目标函数方面,与普通的条件对抗网络不同的是,本发明在生成器误差上增加了像素级别的重建误差来控制生成图像与目标图像整体的相似程度,在判别器的目标函数中使用局部真实性的和来代替对整张图像整体真实性的判断,以此来使得生成图像中的细节更具真实性。通过实验发现,使用本方法提供的模型基本可以实现对任意尺寸、大小、颜色、纹理的人脸遮挡的识别与去除,并且最终得到的去遮挡人脸图像具有真实性。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于条件生成对抗网络的人脸去遮挡方法,其特征在于,包括如下步骤:
步骤1,准备数据集:获取人脸图像数据集,并在互联网上以可能出现在人脸上的遮挡作为关键字收集透明背景的遮挡图片;在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像,构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集;
步骤2,搭建第一个条件生成对抗网络模型GAN1,其输入为步骤1得到的三元组数据集中的加遮挡后的人脸图像,目标图像为三元组数据集中经过随机变换的遮挡图像,对网络训练后实现遮挡检测的功能;
步骤3:搭建第二个条件生成对抗网络模型GAN2,其输入为三元组数据集中的加遮挡后的人脸图像与其在第一个条件生成对抗网络的输出,目标图像为三元组数据集中的原始人脸图像,对网络进行训练后最终实现面部遮挡移除的功能。
2.根据权利要求1所述的基于条件生成对抗网络的人脸去遮挡方法,其特征在于:所述步骤1中,对得到的三元组数据集中的图像进行随机剪切和随机左右翻转来缓解模型过拟合的情况。
3.根据权利要求1所述的基于条件生成对抗网络的人脸去遮挡方法,其特征在于:所述步骤2中,GAN1的整体结构如下:
input→生成器1→occ_learned
其中,input为需要去遮挡的图像,occ_learned为学得的遮挡图像;生成器1的模型参数由与判别器1联合训练得到;
生成器1采用全卷积神经网络,采用8层全卷积层对输入进行编码,再采用8个转置全卷积层对得到的向量进行解码,编码器与解码器用U-Net结构进行连接;
判别器1采用4层全卷积神经网络,输出为尺寸为30*30*1的矩阵,用于判断输入图像的真实性;
训练GAN1的目标函数如下:
4.根据权利要求1所述的基于条件生成对抗网络的人脸去遮挡方法,其特征在于:所述步骤3中,GAN2的整体结构如下:
input+occ_learned→生成器2→target_learned
其中,input为需要去遮挡的图像,occ_learned为学得的遮挡图像,target_learned为学得的去遮挡后的人脸图像;
生成器2的模型参数由与判别器2联合训练得到;
生成器2采用全卷积神经网络,采用8层全卷积层对输入进行编码,再采用8个转置全卷积层对得到的向量进行解码,编码器与解码器用U-Net结构进行连接;
判别器2采用4层全卷积神经网络,输出为尺寸为30*30*1的矩阵,用于判断输入图像的真实性;
训练GAN2的目标函数如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910811961.3A CN110728628B (zh) | 2019-08-30 | 2019-08-30 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910811961.3A CN110728628B (zh) | 2019-08-30 | 2019-08-30 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110728628A true CN110728628A (zh) | 2020-01-24 |
CN110728628B CN110728628B (zh) | 2022-06-17 |
Family
ID=69218825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910811961.3A Active CN110728628B (zh) | 2019-08-30 | 2019-08-30 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110728628B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
CN111353546A (zh) * | 2020-03-09 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 图像处理模型的训练方法、装置、计算机设备和存储介质 |
CN111476200A (zh) * | 2020-04-27 | 2020-07-31 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111640075A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种基于生成对抗网络的水下图像去遮挡方法 |
CN111667425A (zh) * | 2020-06-02 | 2020-09-15 | 大连民族大学 | 一种基于先验算法的人脸表情图像遮挡修复方法 |
CN111783598A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别模型训练方法、装置、设备及介质 |
CN111815790A (zh) * | 2020-07-10 | 2020-10-23 | 成都智元汇信息技术股份有限公司 | 一种基于人脸识别的地铁乘车检票方法 |
CN111931505A (zh) * | 2020-05-22 | 2020-11-13 | 北京理工大学 | 一种基于子图嵌入的跨语言实体对齐方法 |
CN112163439A (zh) * | 2020-09-23 | 2021-01-01 | 创新奇智(青岛)科技有限公司 | 一种处理图像的方法、装置及扫描识别装置 |
CN112257627A (zh) * | 2020-10-29 | 2021-01-22 | 上海交通大学 | 一种水上图像数据集扩展方法 |
CN112418138A (zh) * | 2020-12-04 | 2021-02-26 | 兰州大学 | 一种眼镜试戴***及程序 |
CN113052068A (zh) * | 2021-03-24 | 2021-06-29 | 深圳威富云数科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113225484A (zh) * | 2020-12-21 | 2021-08-06 | 山西方天圣华数字科技有限公司 | 快速获取屏蔽非目标前景的高清图片的方法及装置 |
CN113378980A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
CN113688715A (zh) * | 2021-08-18 | 2021-11-23 | 山东海量信息技术研究院 | 面部表情识别方法及*** |
CN114399814A (zh) * | 2021-12-23 | 2022-04-26 | 北京航空航天大学 | 一种基于深度学习的遮挡物移除和三维重建方法 |
WO2023008811A3 (ko) * | 2021-07-29 | 2023-03-23 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
WO2024118295A1 (en) * | 2022-11-30 | 2024-06-06 | Sony Interactive Entertainment Inc. | Training a machine learning model for reconstructing occluded regions of a face |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓(北京)科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
CN108205659A (zh) * | 2017-11-30 | 2018-06-26 | 深圳市深网视界科技有限公司 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
CN108229348A (zh) * | 2017-12-21 | 2018-06-29 | 中国科学院自动化研究所 | 遮挡人脸图像的识别装置 |
CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
CN109377452A (zh) * | 2018-08-31 | 2019-02-22 | 西安电子科技大学 | 基于vae和生成式对抗网络的人脸图像修复方法 |
CN109711283A (zh) * | 2018-12-10 | 2019-05-03 | 广东工业大学 | 一种联合双字典和误差矩阵的遮挡表情识别算法 |
CN109784349A (zh) * | 2018-12-25 | 2019-05-21 | 东软集团股份有限公司 | 图像目标检测模型建立方法、装置、存储介质及程序产品 |
CN109977841A (zh) * | 2019-03-20 | 2019-07-05 | 中南大学 | 一种基于对抗深度学习网络的人脸识别方法 |
-
2019
- 2019-08-30 CN CN201910811961.3A patent/CN110728628B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910176A (zh) * | 2017-03-02 | 2017-06-30 | 中科视拓(北京)科技有限公司 | 一种基于深度学习的人脸图像去遮挡方法 |
CN108205659A (zh) * | 2017-11-30 | 2018-06-26 | 深圳市深网视界科技有限公司 | 人脸遮挡物去除及其模型构建的方法、设备及介质 |
CN108229348A (zh) * | 2017-12-21 | 2018-06-29 | 中国科学院自动化研究所 | 遮挡人脸图像的识别装置 |
CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
CN109377452A (zh) * | 2018-08-31 | 2019-02-22 | 西安电子科技大学 | 基于vae和生成式对抗网络的人脸图像修复方法 |
CN109711283A (zh) * | 2018-12-10 | 2019-05-03 | 广东工业大学 | 一种联合双字典和误差矩阵的遮挡表情识别算法 |
CN109784349A (zh) * | 2018-12-25 | 2019-05-21 | 东软集团股份有限公司 | 图像目标检测模型建立方法、装置、存储介质及程序产品 |
CN109977841A (zh) * | 2019-03-20 | 2019-07-05 | 中南大学 | 一种基于对抗深度学习网络的人脸识别方法 |
Non-Patent Citations (1)
Title |
---|
LEI XU等: ""Unsupervised Facial Image De-occlusion with Optimized Deep Generative Models"", 《2018 EIGHTH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING THEORY,TOOLS AND APPLICATIONS》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275651A (zh) * | 2020-02-25 | 2020-06-12 | 东南大学 | 一种基于对抗神经网络的人脸有光去除方法 |
CN111353546A (zh) * | 2020-03-09 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 图像处理模型的训练方法、装置、计算机设备和存储介质 |
CN111353546B (zh) * | 2020-03-09 | 2022-12-23 | 腾讯科技(深圳)有限公司 | 图像处理模型的训练方法、装置、计算机设备和存储介质 |
CN111476200B (zh) * | 2020-04-27 | 2022-04-19 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111476200A (zh) * | 2020-04-27 | 2020-07-31 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111931505A (zh) * | 2020-05-22 | 2020-11-13 | 北京理工大学 | 一种基于子图嵌入的跨语言实体对齐方法 |
CN111640075A (zh) * | 2020-05-23 | 2020-09-08 | 西北工业大学 | 一种基于生成对抗网络的水下图像去遮挡方法 |
CN111667425A (zh) * | 2020-06-02 | 2020-09-15 | 大连民族大学 | 一种基于先验算法的人脸表情图像遮挡修复方法 |
CN111667425B (zh) * | 2020-06-02 | 2023-05-26 | 大连民族大学 | 一种基于先验算法的人脸表情图像遮挡修复方法 |
CN111783598B (zh) * | 2020-06-24 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种人脸识别模型训练方法、装置、设备及介质 |
CN111783598A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别模型训练方法、装置、设备及介质 |
CN111815790A (zh) * | 2020-07-10 | 2020-10-23 | 成都智元汇信息技术股份有限公司 | 一种基于人脸识别的地铁乘车检票方法 |
CN112163439A (zh) * | 2020-09-23 | 2021-01-01 | 创新奇智(青岛)科技有限公司 | 一种处理图像的方法、装置及扫描识别装置 |
CN112257627B (zh) * | 2020-10-29 | 2022-10-25 | 上海交通大学 | 一种水上图像数据集扩展方法 |
CN112257627A (zh) * | 2020-10-29 | 2021-01-22 | 上海交通大学 | 一种水上图像数据集扩展方法 |
CN112418138B (zh) * | 2020-12-04 | 2022-08-19 | 兰州大学 | 一种眼镜试戴*** |
CN112418138A (zh) * | 2020-12-04 | 2021-02-26 | 兰州大学 | 一种眼镜试戴***及程序 |
CN113225484A (zh) * | 2020-12-21 | 2021-08-06 | 山西方天圣华数字科技有限公司 | 快速获取屏蔽非目标前景的高清图片的方法及装置 |
CN113052068A (zh) * | 2021-03-24 | 2021-06-29 | 深圳威富云数科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113052068B (zh) * | 2021-03-24 | 2024-04-30 | 深圳威富云数科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113378980A (zh) * | 2021-07-02 | 2021-09-10 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
CN113378980B (zh) * | 2021-07-02 | 2023-05-09 | 西安电子科技大学 | 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法 |
WO2023008811A3 (ko) * | 2021-07-29 | 2023-03-23 | 이광희 | 신경망 모델을 이용한 마스크 착용 얼굴 이미지 복원 방법 |
CN113688715A (zh) * | 2021-08-18 | 2021-11-23 | 山东海量信息技术研究院 | 面部表情识别方法及*** |
CN114399814A (zh) * | 2021-12-23 | 2022-04-26 | 北京航空航天大学 | 一种基于深度学习的遮挡物移除和三维重建方法 |
WO2024118295A1 (en) * | 2022-11-30 | 2024-06-06 | Sony Interactive Entertainment Inc. | Training a machine learning model for reconstructing occluded regions of a face |
Also Published As
Publication number | Publication date |
---|---|
CN110728628B (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110728628B (zh) | 一种基于条件生成对抗网络的人脸去遮挡方法 | |
Zhou et al. | UGIF-Net: An efficient fully guided information flow network for underwater image enhancement | |
Qi et al. | SGUIE-Net: Semantic attention guided underwater image enhancement with multi-scale perception | |
Liu et al. | Twin adversarial contrastive learning for underwater image enhancement and beyond | |
CN109815928B (zh) | 一种基于对抗学习的人脸图像合成方法和装置 | |
CN109615582B (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
Zhou et al. | Cross-view enhancement network for underwater images | |
Ullah et al. | Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing | |
Li et al. | Single image dehazing via conditional generative adversarial network | |
Wu et al. | A two-stage underwater enhancement network based on structure decomposition and characteristics of underwater imaging | |
Ren et al. | Reinforced swin-convs transformer for simultaneous underwater sensing scene image enhancement and super-resolution | |
Huang et al. | Underwater image enhancement via adaptive group attention-based multiscale cascade transformer | |
Wang et al. | Domain adaptation for underwater image enhancement | |
Zhang et al. | ReX-Net: A reflectance-guided underwater image enhancement network for extreme scenarios | |
Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
CN109064422A (zh) | 一种基于融合对抗网络的水下图像复原方法 | |
Frants et al. | QCNN-H: Single-image dehazing using quaternion neural networks | |
CN115082966B (zh) | 行人重识别模型训练方法、行人重识别方法、装置和设备 | |
Su et al. | Prior guided conditional generative adversarial network for single image dehazing | |
Lin et al. | Autonomous underwater robot for underwater image enhancement via multi-scale deformable convolution network with attention mechanism | |
Wang et al. | Underwater color disparities: Cues for enhancing underwater images toward natural color consistencies | |
Liu et al. | Multi-Scale Underwater Image Enhancement in RGB and HSV Color Spaces | |
CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
Chen et al. | Colorization of infrared images based on feature fusion and contrastive learning | |
Wang et al. | UIE-Convformer: Underwater Image Enhancement Based on Convolution and Feature Fusion Transformer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |