CN110378979B - 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 - Google Patents
基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 Download PDFInfo
- Publication number
- CN110378979B CN110378979B CN201910598725.8A CN201910598725A CN110378979B CN 110378979 B CN110378979 B CN 110378979B CN 201910598725 A CN201910598725 A CN 201910598725A CN 110378979 B CN110378979 B CN 110378979B
- Authority
- CN
- China
- Prior art keywords
- network
- face
- generation
- resolution
- face picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,包括对训练用的人脸图片数据集进行预处理;将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练;训练人脸特征提取网络;在隐藏向量Z和提取的特征向量之间执行线性回归;将回归斜率进行归一化后构造隐藏向量空间特征轴;解除生成人脸图像中两个相关特征的关联性;将修改后的隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。采用了本发明的方法,最终由生成网络生成的人脸图片清晰、逼真而且能够生成自定义的人脸图片,在人脸数据集构建以及人脸安全领域都有广阔的应用前景。
Description
技术领域
本发明涉及计算机视觉术领域,尤其涉及生成对抗网络的图像生成技术领域,具体是指一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法。
背景技术
随着科技的进步,关于人脸识别的产品层出不穷,这些产品已经开始在安防、电子、金融等领域广泛应用,而针对人脸识别产品的检验检测手段与方法也急需要与时俱进。针对人脸识别产品的检验与检测,大量符合要求的数据集是关键。同时,为了满足不同检测要求,检验检测所需要的人脸数据也应该随之变化。面向人脸识别相关产品的检测主要包括人脸检测与人脸识别两方面,对人脸检测算法的验证需要大量不同的人脸数据,而对人脸识别算法的验证需要大量成对的人脸图片,特别针对人脸属性识别与人脸比对算法的验证,如年龄、性别、表情等,则需要同一人不同属性状态下的人脸图片。目前,针对人脸识别产品的检验检测还不算成熟,由于验证数据的缺乏,检验检测机构一般采取固定数据集的方式来对相关产品进行验证。而针对更加要求个性化、多样化的人脸识别产品的检测,利用被动的人工数据采集方式来获得相应验证数据会耗费大量时间以及精力,而且还是达不到日益增长的数据要求。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种满足准确性、灵活性、安全性的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法。
为了实现上述目的,本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法如下:
该基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其主要特点是,所述的方法包括以下步骤:
(1)对训练用的人脸图片数据集进行预处理;
(2)将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练,并通过训练好的生成网络生成高分辨率的人脸图片;
(3)训练人脸特征提取网络,并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取;
(4)在隐藏向量Z和提取的特征向量之间执行线性回归,将得到的回归斜率进行归一化后构造隐藏向量空间特征轴;
(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向,解除生成人脸图像中所述两个特征的关联性;
(6)沿着不同的特征轴移动隐藏向量,并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。
较佳地,所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。
较佳地,所述的步骤(1)中预处理后的每个人脸对应有N个大小不一样的图片。
较佳地,所述的大小不一样的图片中最大人脸图片为2N+1×2N+1像素。
较佳地,所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络,Z为满足正态分布的2N维的向量。
较佳地,所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。
较佳地,所述的步骤(4)中提取的每个特征对应的值为1或-1。
较佳地,所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。
较佳地,所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。
较佳地,所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。
较佳地,所述的N的取值为大于等于6且小于等于10的正整数。
采用了本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,由于其采用深度学习技术,利用真实人脸图片数据来对生成对抗网络进行训练,并且将隐藏向量和人脸特征建立联系,得到了可以生成自定义人脸图片的生成网络。本发明的核心就在于整体方法的高效性与灵活性:可以使用在任意数据集上训练得到的任意特征提取网络来对训练好的生成对抗网络所生成的人脸图片进行特征提取;为生成网络添加新的特征时,无需重新训练生成对抗网络。
附图说明
图1为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的流程图。
图2为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的人脸图像预处理流程示意图。
图3为本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法的实施例示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
本发明的该基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其中包括以下步骤:
(1)对训练用的人脸图片数据集进行预处理;
(2)将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练,并通过训练好的生成网络生成高分辨率的人脸图片;
(3)训练人脸特征提取网络,并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取;
(4)在隐藏向量Z和提取的特征向量之间执行线性回归,将得到的回归斜率进行归一化后构造隐藏向量空间特征轴;
(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向,解除生成人脸图像中所述两个特征的关联性;
(6)沿着不同的特征轴移动隐藏向量,并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。
作为本发明的优选实施方式,所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。
作为本发明的优选实施方式,所述的步骤(1)中预处理后的每个人脸对应有N个大小不一样的图片。
作为本发明的优选实施方式,所述的大小不一样的图片中最大人脸图片为2N+1×2N+1像素。
作为本发明的优选实施方式,所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络,Z为满足正态分布的2N维的向量。
作为本发明的优选实施方式,所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。
作为本发明的优选实施方式,所述的步骤(4)中提取的每个特征对应的值为1或-1。
作为本发明的优选实施方式,所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。
作为本发明的优选实施方式,所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。
作为本发明的优选实施方式,所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。
作为本发明的优选实施方式,所述的N的取值为大于等于6且小于等于10的正整数。
本发明的具体实施方式中,如说明书附图1所示,该生成的高分辨率人脸图片大小为1024×1024时,所述的一种基于生成对抗网络的自定义高分辨率人脸图片自动生成方法具体包括以下步骤:
(1)对训练生成对抗网络用的人脸图片数据集进行预处理需要先对原始包含人脸的图片进行人脸区域裁剪,裁剪后的人脸图片大小为1024×1024像素(N=9),人脸面积与背景面积之比大约为5:1,最终用来训练生成对抗网络的每个尺寸的人脸图片数为30000张,共N个尺寸,如说明书附图2所示。
(2)为了生成高分辨率人脸图片,以渐进式生成对抗网络(PGGAN)为基础构建生成对抗网络模型,如说明书附图3所示,将隐藏向量Z以及由步骤(1)得到的多尺寸人脸图片数据集输入PGGAN中进行训练,并且通过训练完成的PGGAN生成与隐藏向量Z对应的人脸图片。
为了防止模型崩塌,隐藏空间维数大小需要大于训练用数据集内在维数,但太大的隐藏空间维数会占用太多显存,使得训练越慢,因此,本发明的隐藏空间Z为满足正态分布的2N维的向量,此时N=9,Z为512维。
其中,m=150为每批采样的人脸图像数,Z为隐藏向量,G(Zi)为生成的数据,D(G(Zi))为对抗网络判断生成的数据为真的概率。
其中,m=150为每批采样的人脸图像数,Z为隐藏向量,x为真实数据,G(Zi)为生成的数据,D(G(Zi))为对抗网络判断真实的数据为真的概率,D(G(Zi))为对抗网络判断生成的数据为真的概率。
(3)以Inception-ResNet网络为基础构建人脸特征提取网络模型,如说明书附图3所示,将CelebA-HQ人脸数据集以及对应的人脸特征标签输入人脸特征提取网络进行训练,并利用训练好的特征提取网络对步骤(2)中PGGAN所生成的一张人脸图片进行特征向量提取,所提取的每张人脸图片对应的人脸特征包括但不限于年龄(A)、性别(G)、笑容(S)、发型(H)、胡子(B)、眼镜(E)。
(4)由步骤(3)中人脸特征提取网络提取的每个特征对应的值为1或-1,将一个人脸的多个特征所对应的值组成特征向量,选择线性回归模型(Linear Regression)在输入的隐藏向量Z和提取的特征向量之间执行回归操作,将得到的回归斜率进行归一化后构造隐藏向量空间特征轴。
(5)将由步骤(4)得到两个相关的特征中的一个特征所对应的特征轴投影到新的方向,新方向垂直于另一个特征所对应的特征轴,解除生成人脸图像中这两个特征的关联性,两个相关的特征包括但不限于年龄与胡子。
(6)由于隐藏向量空间中两点之间的插值通常会导致相应图像的平滑过渡,沿着不同的特征轴移动来改变隐藏向量Z,再通过将改变后的Z输入由步骤(2)得到的人脸生成对抗网络中的生成网络生成自定义特征的1024×1024像素高分辨率人脸图片。
采用了本发明的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,由于其采用深度学习技术,利用真实人脸图片数据来对生成对抗网络进行训练,并且将隐藏向量和人脸特征建立联系,得到了可以生成自定义人脸图片的生成网络。本发明的核心就在于整体方法的高效性与灵活性:可以使用在任意数据集上训练得到的任意特征提取网络来对训练好的生成对抗网络所生成的人脸图片进行特征提取;为生成网络添加新的特征时,无需重新训练生成对抗网络。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (11)
1.一种基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的方法包括以下步骤:
(1)对训练用的人脸图片数据集进行预处理;
(2)将预处理后的图片数据集以及隐藏向量Z输入人脸生成对抗网络进行训练,并通过训练好的生成网络生成高分辨率的人脸图片;
(3)训练人脸特征提取网络,并利用训练好的网络对生成对抗网络中生成网络所生成的人脸图片进行特征向量提取;
(4)在隐藏向量Z和提取的特征向量之间执行线性回归,将得到的回归斜率进行归一化后构造隐藏向量空间特征轴;
(5)将两个相关的特征中其中一个特征所对应的特征轴投影到新的方向,解除生成人脸图像中所述两个特征的关联性;
(6)沿着不同的特征轴移动隐藏向量,并将隐藏向量输入生成对抗网络中的生成网络生成自定义特征的高分辨率人脸图片。
2.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(1)中的预处理包括人脸区域裁剪、缩放。
3.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(1)中预处理后的每个人脸对应有N个大小不一样的图片。
4.根据权利要求3所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的大小不一样的图片中最大人脸图片为2N+1×2N+1像素。
5.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(2)中的生成对抗网络为可生成高分辨率图片的网络,Z为满足正态分布的2N维的向量。
6.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(3)中提取的人脸特征包括但不限于年龄、性别、笑容、发型、胡子、眼镜。
7.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(4)中提取的每个特征对应的值为1或-1。
8.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(5)中的新方向垂直于另一个特征所对应的特征轴。
9.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(5)中的两个相关的特征包括但不限于年龄与胡子。
10.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的步骤(6)中生成对抗网络与步骤(2)中的生成对抗网络相同。
11.根据权利要求1所述的基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法,其特征在于,所述的N的取值为大于等于6且小于等于10的正整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910598725.8A CN110378979B (zh) | 2019-07-04 | 2019-07-04 | 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910598725.8A CN110378979B (zh) | 2019-07-04 | 2019-07-04 | 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378979A CN110378979A (zh) | 2019-10-25 |
CN110378979B true CN110378979B (zh) | 2022-12-23 |
Family
ID=68251904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910598725.8A Active CN110378979B (zh) | 2019-07-04 | 2019-07-04 | 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378979B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597977A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于深度卷积生成对抗网络实现虹膜生物特征图片自动生成的方法 |
CN113379606B (zh) * | 2021-08-16 | 2021-12-07 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN107423701A (zh) * | 2017-07-17 | 2017-12-01 | 北京智慧眼科技股份有限公司 | 基于生成式对抗网络的人脸非监督特征学习方法及装置 |
CN108334848A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种基于生成对抗网络的微小人脸识别方法 |
CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
-
2019
- 2019-07-04 CN CN201910598725.8A patent/CN110378979B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
CN107423701A (zh) * | 2017-07-17 | 2017-12-01 | 北京智慧眼科技股份有限公司 | 基于生成式对抗网络的人脸非监督特征学习方法及装置 |
CN108334848A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种基于生成对抗网络的微小人脸识别方法 |
CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110378979A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiong et al. | Learning to generate time-lapse videos using multi-stage dynamic generative adversarial networks | |
Baldassarre et al. | Deep koalarization: Image colorization using cnns and inception-resnet-v2 | |
Lee et al. | Intra-class variation reduction using training expression images for sparse representation based facial expression recognition | |
Zhou et al. | Photorealistic facial expression synthesis by the conditional difference adversarial autoencoder | |
CN107330127B (zh) | 一种基于文本图片检索的相似文本检测方法 | |
CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
CN108520213B (zh) | 一种基于多尺度深度的人脸美丽预测方法 | |
CN111652798B (zh) | 人脸姿态迁移方法和计算机存储介质 | |
CN110378979B (zh) | 基于生成对抗网络实现自定义高分辨率人脸图片自动生成的方法 | |
CN116363261B (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
CN107480636A (zh) | 基于核非负矩阵分解的人脸识别方法、***及存储介质 | |
CN111881436A (zh) | 基于特征一致性实现黑盒人脸对抗攻击样本生成的方法、装置及其存储介质 | |
Joshi et al. | DCA‐based unimodal feature‐level fusion of orthogonal moments for Indian sign language dataset | |
Moeini et al. | Real‐world gender classification via local Gabor binary pattern and three‐dimensional face reconstruction by generic elastic model | |
CN114818889A (zh) | 一种基于线性自注意力Transformer的图像分类方法 | |
CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
Mizukami et al. | CUDA implementation of deformable pattern recognition and its application to MNIST handwritten digit database | |
CN114581918A (zh) | 一种文本识别模型训练方法及装置 | |
Lin et al. | Generative adversarial image super‐resolution network for multiple degradations | |
CN114862716B (zh) | 人脸图像的图像增强方法、装置、设备及存储介质 | |
CN116109739A (zh) | 基于人脸表情生成动物表情动画方法、装置、设备及介质 | |
CN116167014A (zh) | 一种基于视觉和语音的多模态关联型情感识别方法及*** | |
CN114612989A (zh) | 人脸识别数据集的生成方法及装置、电子设备及存储介质 | |
Mo et al. | The image inpainting algorithm used on multi-scale generative adversarial networks and neighbourhood | |
Fan et al. | Facial expression animation through action units transfer in latent space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |