CN108710896B - 基于产生式对抗学习网络的领域学习方法 - Google Patents
基于产生式对抗学习网络的领域学习方法 Download PDFInfo
- Publication number
- CN108710896B CN108710896B CN201810372016.3A CN201810372016A CN108710896B CN 108710896 B CN108710896 B CN 108710896B CN 201810372016 A CN201810372016 A CN 201810372016A CN 108710896 B CN108710896 B CN 108710896B
- Authority
- CN
- China
- Prior art keywords
- face
- neural network
- image
- network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于产生式对抗学习网络的领域学习方法,包括以下步骤:1)收集源域人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像;2)构建产生式神经网络G,输入输出为相同分辨率的人脸图像,其中输入为收集的特定应用场景人脸图像,输出为转换后的图像;3)构建分类神经网络D,运用卷积神经网络神经元,输入为产生式神经网络的输出图像和人脸分类器的训练图像,输出为两种输入图像的分类;4)采用异步方式迭代训练产生式神经网络G和分类神经网络D;5)在指定场景进行人脸识别时,先将输入人脸图像I进行转换G(I),将转换后的人脸图像输入人脸识别模块得到人脸识别的结果。本发明对通用人脸识别器适应能力较强、数据成本较低。
Description
技术领域
本发明属于图像处理和模式识别技术领域,涉及一种基于产生式对抗学习网络的领域学习方法。
背景技术
跨域应用分类模型是限制模式识别应用的一个主要问题。在基于人脸识别技术的实际应用中,如人证比对、人脸考勤、金融认证等,由于人脸分类器的训练数据集与实际应用场景的图像质量存在差异,造成人脸识别技术在实际应用中效果变差。针对特定的应用场景,重新收集人脸图像并人工标注足够的数据耗时耗力,尤其是目前普遍采用基于深度学习的人脸识别方法对训练样本需求量大,重新收集人脸图像并人工标注方法成本极大。
目前已有一些领域学习方法,通过实现源域到目标域的转换,降低两者的差异,改善异质图像识别的效果:《领域自适应模式识别方法及***》103729648A中,通过将源域样本表示为目标域样本的线性组合来将其转换到目标域上,然后利用转换后的样本训练监督模型,并利用训练好的监督模型来进行目标域上的模式识别;《一种利用对抗网络和三维形态模型的大幅度人脸摆正方法》CN201710428491可以处理非前向人脸尤其大幅度偏摆的人脸图,提供一个生成网络和形态模型进行人脸的摆正,首先生成器将一张非前向正脸的人脸图当作输入去产生一张正向前脸图,同时分类器试图去对这张图像进行判别是否真实图像,并且利用反馈的信息去促使生成器生成的图像更加接近真实图像,同时利用识别引擎进行输入图像原有身份特征的保留。
发明内容
为了克服已有技术的适应能力较差、数据成本较高的不足,本发明提供了一种适应能力较强、数据成本较低的基于产生式对抗学习网络的领域学习方法。
本发明解决其技术问题所采用的技术方案是:
一种基于产生式对抗学习网络的领域学习方法,所述方法包括以下步骤:
1)收集源域人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像;
2)构建产生式神经网络G,运用卷积神经网络神经元构建的神经网络为残差网络,输入输出为相同分辨率的人脸图像,其中输入为收集的特定应用场景人脸图像,输出为转换后的图像;
3)构建分类神经网络D,运用卷积神经网络神经元,输入为产生式神经网络的输出图像和人脸分类器的训练图像,输出为两种输入图像的分类;
4)采用异步方式迭代训练产生式神经网络G和分类神经网络D,产生式对抗网络模型的目标函数为:
其中,目标函数V(D,G)的值由网络产生式神经网络G和分类神经网络D决定,x~Pdata表示样本x服从人脸分类器训练样本的样本分布Pdata,z~Pz表示样本z服从指定应用场景的人脸图像分布Pz;D(x)表示输入x经过网络D后得出的输出,G(z)表示输入z经过网络G后得出的输出,E是数学期望运算符号;
限制产生式神经网络G对输入的改变量,改进后网络优化的目标函数为:
其中,α∈(0,1)是权重系数,F()是特征描述子,c∈(0,1)是阈值;
5)在指定场景进行人脸识别时,先将输入人脸图像I进行转换G(I),将转换后的人脸图像输入人脸识别模块得到人脸识别的结果。
进一步,所述步骤1)中,抠出人脸图像后还对该图像进行旋转、缩放和色彩变换,增加样本的数量;并规范人脸图像样本的尺寸。
本发明收集指定应用场景的人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像,运用常用的卷积神经网络神经元和残差网络模型构建产生式神经网络G,要求网络不改变输入图像的分辨率和通道数。运用常用的卷积神经网络神经元构建分类神经网络D,对产生式神经网络G的输出图像和人脸分类器进行判别。改进目标函数,加入图像内容约束,保证产生式神经网络G的输入输出具有高相似性。初始化产生式神经网络G和分类神经网络D的网络参数,采用异步方式迭代学习网络G和D的模型参数。在指定场景进行人脸识别时,加入产生式神经网络G对图像转换预处理过程即可。
运用卷积神经网络实现人脸图像转换,只需要收集少量实际应用场景人脸数据,无需标注人脸ID,构建产生式对抗网络模型,无需假设源域与目标域之间的分布差异模型,通过端到端的学习产生源域到目标域的映射关系。在目标域进行人脸识别时,只需先将采集到的人脸图像经过转换,再进行人脸识别即可。本方法采用端到端的学习方法,可以在无需假设源域与目标域之间的分布差异模型的前提下有效消除两者的分布差异,对于提升目标域训练的分类模型在源域数据中应用十分有效。
本发明的有益效果主要表现在:本发明利用改进的产生式对抗网络模型学习源域到目标域的网络模型G。模型参数采用端到端的学习方式,无需假设源域和目标域的分布差异模型,适应能力更强;只需要收集少量实际应用场景人脸数据且无需标注,方法实现数据成本低;在网络的目标函数中加入图像内容约束,限制产生式网络G的输入输出的差异,保持图像在转移后应该具有与原始图像具有较高的相似性。
附图说明
图1是产生式网络模型G结构图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1,一种基于产生式对抗学习网络的领域学习方法,所述方法包括以下步骤:
1)收集源域人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像,不需要对不同人脸图像赋予不同的身份标签;
2)构建产生式神经网络G,运用常用的卷积神经网络神经元,如卷积、Skip层等,构建的神经网络为残差网络,输入输出为相同分辨率的人脸图像,其中输入为收集的特定应用场景人脸图像,输出为转换后的图像,如图1所示。
3)构建分类神经网络D,运用常用的卷积神经网络神经元,如卷积、池化、批规范化和全卷积等,输入为产生式神经网络的输出图像和人脸分类器的训练图像,输出为两种输入图像的分类。
4)采用异步方式迭代训练产生式神经网络G和分类神经网络D,产生式对抗网络模型的目标函数为:
其中,x表示人脸分类器的训练数据,z表示指定应用场景的人脸图像。
本发明限制产生式神经网络G对输入的改变量,使得输入图像z与输出图像G(z)的差异不会过大。
改进后网络优化的目标函数为:
其中,α∈(0,1)是权重系数,F()是特征描述子,c∈(0,1)是阈值。
5)在指定场景进行人脸识别时,先将输入人脸图像I进行转换G(I),将转换后的人脸图像输入人脸识别模块得到人脸识别的结果。
进一步,所述步骤1)中,抠出人脸图像后还对该图像进行旋转、缩放、色彩变换,增加样本的数量;并规范人脸图像样本的尺寸。
本实施例中,产生式神经网络G学习方案的过程如下:
1.收集源域的人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像,收集到的图像记为Si。
2.收集目标域的训练样本,如学术公开数据集等,记为Di。
3.将数据集Si和Di中的人脸图像进行旋转、缩放、色彩变换、水平镜像等操作,增加样本的数量,人脸图像样本通过缩放保持一致,处理后的数据集分别记为Si'和Di'。
4.构建产生式神经网络G,运用常用的卷积神经网络神经元,如卷积、Skip层等,构建的神经网络为残差网络,输入输出为相同分辨率的人脸图像,其中输入为收集的特定应用场景人脸图像,输出为转换后的图像,如图1所示。产生式神经网络G的输入为样本集Si',输出记为Dt'。
5.构建分类神经网络D,运用常用的卷积神经网络神经元,如卷积、池化、批规范化和全卷积等,输入为产生式神经网络的输出图像和人脸分类器的训练图像,输出为两种输入图像的判别。分类网络D的输入为Dt'和Di',该网络用于分类输入的来源为Dt'或Di'。
6.初始化产生式神经网络G和分类神经网络D的网络参数,采用异步方式迭代训练产生式神经网络G和分类神经网络D:当训练网络D时,固定网络G的参数,优化目标函数当训练网络G时,固定网络D的参数,优化目标函数 其中x来自数据集Di',z来自数据集Dt',α∈(0,1)是权重系数,F()是特征描述子,取自网络D中的某一层特征图,c∈(0,1)是阈值。反向传播目标函数和交替进行,待网络收敛后得到产生式神经网络G的模型参数。
基于产生式神经网络G的人脸识别方案的过程如下:
1.采集指定应用场景的人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像,将人脸图像I缩放为与产生式神经网络G学习方案中数据集Di'中图像相同尺寸。
2.将人脸图像I输入到产生式神经网络G,输出变换后的人脸图像I'=G(I)。
3.将变换后的人脸图像I'输入已有的通用人脸识别模型C得到该人的身份信息。
实施例:以人和身份证比对为例。
产生式神经网络G学***镜像等操作,每张人脸图像生成10张扰动图像,缩放至100x100分辨率,处理后的数据集分别记为Si'和Di';(4)用图1的网络结构作为产生式神经网络G,该网络输入和输出均为100x100的3通道图像,该网络由10层卷积和10层反卷积串联组成(Cov1+Cov2+Cov3+…+Cov10+DCov10+…DCov3+DCov2+DCov1),每层卷积和反卷积后紧跟一层ReLU层,Conv2至Conv9分别与DConv2至Dconv9相连接,除DConv1的通道数为3外其他卷积层和反卷积层的通道数为64,所有反卷积层和卷积层不改变中间特征图的尺寸;(5)用Resnet50实现分类神经网络D,输入为Dt'和Di',输出为输入的数据来源,Dt'中图像的标签设置为0,Di'中图像的标签设置为1;(6)初始化产生式神经网络G和分类神经网络D的网络参数,采用异步方式迭代训练产生式神经网络G和分类神经网络D:①固定网络G的参数,优化目标函数训练网络D;②固定网络D的参数,优化目标函数 训练网络G;其中x来自数据集Di',z来自数据集Dt',α=0.1,F()是分类神经网络D中Resnet50的pool5层特征图。步骤①和②交替进行,直至网络收敛,得到产生式神经网络G的模型参数。
基于产生式神经网络G的人脸识别过程中:(1)采集身份证件存储的人脸图像Is,去除图像边界,缩放至100x100;(2)采集执政人人脸图像It,缩放至100x100;(3)将图像Is输入到产生式神经网络G,输出变换后的人脸图像Is'=G(Is),将Is'传入通用人脸识别器C,提取pool5层特征图向量化并进行二范数归一化得到Fs;(4)将It传入通用人脸识别器C,提取pool5层特征图向量化并进行二范数归一化得到Ft;(5)计算欧式距离d=||Fs-Ft||,如果d<0.1则认为持证人与证件相符,否则认为不相符。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。
Claims (2)
1.一种基于产生式对抗学习网络的领域学习方法,其特征在于,所述方法包括以下步骤:
1)收集源域人脸图像集,用人脸检测器定位人脸位置并抠出人脸图像;
2)构建产生式神经网络G,运用卷积神经网络神经元构建的神经网络为残差网络,输入输出为相同分辨率的人脸图像,其中输入为收集的特定应用场景人脸图像,输出为转换后的图像;
3)构建分类神经网络D,运用卷积神经网络神经元,输入为产生式神经网络的输出图像和人脸分类器的训练图像,输出为两种输入图像的分类;
4)采用异步方式迭代训练产生式神经网络G和分类神经网络D,产生式对抗网络模型的目标函数为:
其中,目标函数V(D,G)的值由网络产生式神经网络G和分类神经网络D决定,x~Pdata表示样本x服从人脸分类器训练样本的样本分布Pdata,z~Pz表示样本z服从指定应用场景的人脸图像分布Pz;D(x)表示输入x经过网络D后得出的输出,G(z)表示输入z经过网络G后得出的输出,E是数学期望运算符号;
限制产生式神经网络G对输入的改变量,改进后网络优化的目标函数为:
其中,α∈(0,1)是权重系数,F()是特征描述子,c∈(0,1)是阈值;
5)在指定场景进行人脸识别时,先将输入人脸图像I进行转换G(I),将转换后的人脸图像输入人脸识别模块得到人脸识别的结果。
2.如权利要求1所述的基于产生式对抗学习网络的领域学习方法,其特征在于,所述步骤1)中,抠出人脸图像后还对该图像进行旋转、缩放和色彩变换,增加样本的数量;并规范人脸图像样本的尺寸。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810372016.3A CN108710896B (zh) | 2018-04-24 | 2018-04-24 | 基于产生式对抗学习网络的领域学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810372016.3A CN108710896B (zh) | 2018-04-24 | 2018-04-24 | 基于产生式对抗学习网络的领域学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108710896A CN108710896A (zh) | 2018-10-26 |
CN108710896B true CN108710896B (zh) | 2021-10-29 |
Family
ID=63867433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810372016.3A Active CN108710896B (zh) | 2018-04-24 | 2018-04-24 | 基于产生式对抗学习网络的领域学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108710896B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027434B (zh) * | 2018-12-29 | 2023-07-11 | 北京地平线机器人技术研发有限公司 | 一种行人识别模型的训练方法、装置及电子设备 |
CN109740682B (zh) * | 2019-01-08 | 2020-07-28 | 南京大学 | 一种基于域转化和生成模型的图像识别方法 |
CN109919251A (zh) * | 2019-03-21 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 一种基于图像的目标检测方法、模型训练的方法及装置 |
CN110363122B (zh) * | 2019-07-03 | 2022-10-11 | 昆明理工大学 | 一种基于多层特征对齐的跨域目标检测方法 |
CN110516695A (zh) * | 2019-07-11 | 2019-11-29 | 南京航空航天大学 | 面向医学图像分类的对抗样本生成方法及*** |
CN111161239B (zh) * | 2019-12-27 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 医学图像分析方法、装置、存储介质及计算机设备 |
CN111898635A (zh) * | 2020-06-24 | 2020-11-06 | 华为技术有限公司 | 神经网络的训练方法、数据获取方法和装置 |
CN113435365B (zh) * | 2021-06-30 | 2022-08-16 | 平安科技(深圳)有限公司 | 人脸图像迁移方法及装置 |
CN114283120B (zh) * | 2021-12-01 | 2024-04-19 | 武汉大学 | 一种基于领域自适应的端到端多源异质遥感影像变化检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106993851A (zh) * | 2017-05-18 | 2017-08-01 | 李文谦 | 一种基于鞋子图像和脚型图像的鞋楦参数自动预测方法及预测装置 |
CN107423701A (zh) * | 2017-07-17 | 2017-12-01 | 北京智慧眼科技股份有限公司 | 基于生成式对抗网络的人脸非监督特征学习方法及装置 |
CN107609560A (zh) * | 2017-09-27 | 2018-01-19 | 北京小米移动软件有限公司 | 文字识别方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2018
- 2018-04-24 CN CN201810372016.3A patent/CN108710896B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106993851A (zh) * | 2017-05-18 | 2017-08-01 | 李文谦 | 一种基于鞋子图像和脚型图像的鞋楦参数自动预测方法及预测装置 |
CN107423701A (zh) * | 2017-07-17 | 2017-12-01 | 北京智慧眼科技股份有限公司 | 基于生成式对抗网络的人脸非监督特征学习方法及装置 |
CN107609560A (zh) * | 2017-09-27 | 2018-01-19 | 北京小米移动软件有限公司 | 文字识别方法及装置 |
Non-Patent Citations (4)
Title |
---|
https://blog.csdn.net/xg123321123/article/details/78034859?locationNum=9&fps=1;时光杂货店;《生成对抗网络(GAN)简单梳理》;20170919;第11-14页 * |
基于卷积神经网络的人脸识别算法;李辉等;《软件导刊》;20170315(第03期);全文 * |
基于深度学习的视频预测研究综述;莫凌飞等;《智能***学报》;20180122(第01期);全文 * |
机器学习中的特征选择方法研究及展望;崔鸿雁等;《北京邮电大学学报》;20180215(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108710896A (zh) | 2018-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108710896B (zh) | 基于产生式对抗学习网络的领域学习方法 | |
CN111583263B (zh) | 一种基于联合动态图卷积的点云分割方法 | |
CN110414462B (zh) | 一种无监督的跨域行人重识别方法及*** | |
CN107679491B (zh) | 一种融合多模态数据的3d卷积神经网络手语识别方法 | |
Fu et al. | Look closer to see better: Recurrent attention convolutional neural network for fine-grained image recognition | |
CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
CN112446423B (zh) | 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法 | |
CN110321967B (zh) | 基于卷积神经网络的图像分类改进方法 | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
CN113077388B (zh) | 一种数据增广的深度半监督超限学习图像分类方法及*** | |
Wang et al. | Facial expression recognition using iterative fusion of MO-HOG and deep features | |
CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
CN115410088B (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
Ma et al. | Unsupervised domain adaptation augmented by mutually boosted attention for semantic segmentation of VHR remote sensing images | |
Premachandran et al. | Unsupervised learning using generative adversarial training and clustering | |
CN113222072A (zh) | 基于K-means聚类和GAN的肺部X光图像分类方法 | |
Li et al. | Point cloud registration based on direct deep features with applications in intelligent vehicles | |
Bose et al. | Light weight structure texture feature analysis for character recognition using progressive stochastic learning algorithm | |
CN116486172A (zh) | 基于语义表征的无监督域适应图像分类方法 | |
Chakraborty et al. | Handwritten digit string recognition using deep autoencoder based segmentation and resnet based recognition approach | |
CN112861705B (zh) | 一种基于混合学习的跨域行人重识别方法 | |
Liu et al. | Tread pattern image classification using convolutional neural network based on transfer learning | |
Ye et al. | Adaptive graph modeling with self-training for heterogeneous cross-scene hyperspectral image classification | |
Tan et al. | Wide Residual Network for Vision-based Static Hand Gesture Recognition. | |
Chen et al. | Learning discriminative feature via a generic auxiliary distribution for unsupervised domain adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |