CN112329536A - 一种基于交替对抗迁移学习的单样本人脸识别方法 - Google Patents

一种基于交替对抗迁移学习的单样本人脸识别方法 Download PDF

Info

Publication number
CN112329536A
CN112329536A CN202011071997.1A CN202011071997A CN112329536A CN 112329536 A CN112329536 A CN 112329536A CN 202011071997 A CN202011071997 A CN 202011071997A CN 112329536 A CN112329536 A CN 112329536A
Authority
CN
China
Prior art keywords
feature
sample
face recognition
migration
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011071997.1A
Other languages
English (en)
Inventor
陆生礼
严钦涛
庞伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011071997.1A priority Critical patent/CN112329536A/zh
Publication of CN112329536A publication Critical patent/CN112329536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于交替对抗迁移学习的单样本人脸识别方法，属于计算、推算或计数的技术领域。该方法，采集待识别者的单张人脸样本并标注，设定该图像集合为“源域”；采集应用场景下的大量无标注人脸样本，设定该图像集合为“目标域”；搭建深度对抗迁移神经网络，在特征提取模块中增加特征通道加权模块，并使用大数据集对卷积网络特征提取器进行预训练；以“源域”图片与“目标域”图片为输入，对图片的标签的预测为输出；采用交替冻结的方式轮替训练特征提取器和特征通道加权模块，通过特征通道加权模块的特征重校准使得卷积网络特征提取器充分学习到样本整体分布以提取出高聚类的特征，并最终提高深度对抗迁移神经网络的人脸识别精度。

Description

一种基于交替对抗迁移学习的单样本人脸识别方法
技术领域
本发明涉及人脸识别的计算机视觉技术，尤其涉及一种基于交替对抗迁移学习的单样本人脸识别方法，属于计算、推算或计数的技术领域。
背景技术
基于深度学习的人脸识别***，需要采集大量的待识别者人脸样本以保证识别精度。然而，采集大量样本费时费力。近年来，在单样本人脸识别研究中提出的对抗迁移学习方法，依赖于使用小样本批量训练模型，以保证对抗迁移过程的充分性并提取出域无关特征，这样做虽然提高了单样本人脸识别的精度，但也因为小批量样本无法表示出样本集合特征的整体分布，而使得提取出的特征呈非聚类的状态，这限制了识别精度的进一步提升。因而合理设计一种能提取出域无关特征且特征呈聚类状态的深度对抗迁移学习算法具有重要的现实意义。
发明内容
本发明的发明目的是针对上述背景技术的不足，提供了一种基于交替对抗迁移学习的单样本人脸识别方法，在提取出域无关特征的同时，保证特征呈聚类状态，提高了深度对抗迁移算法下单样本人脸识别的精度，解决了深度对抗迁移算法下特征聚类的技术问题。
本发明为实现上述发明目的采用如下技术方案：
步骤1，采集待识别者的单张人脸样本并标注，使用人脸建模技术合成不同角度的样本图片扩充样本集合，设定该图像集合为“源域”；
步骤2，采集应用场景下的大量无标注人脸样本（无需来自待识别者），设定该图像集合为“目标域”；
步骤3，搭建深度对抗迁移神经网络，其包括一般的卷积网络特征提取器、Softmax分类器、Sigmoid判别器，以及本发明在特征提取器各特征提取模块中特别引入的特征通道加权模块，并使用大数据集对卷积网络特征提取器进行预训练，本申请将一个特征通道加权模块接在一个卷积层之后构建一个特征提取模块，多个特征提取模块依次接在下采样层之后形成特征提取器，特征通道加权模块对卷积层提取的特征进行特征重校准后输出各通道权重，卷积层提取的特征与各通道权重相乘后累加输入数据得到最终提取的特征；
步骤4，Fine-tune网络，网络的输入为“源域”图片与“目标域”图片，输出为a）对目标域图片和源域图片的域预测；b）对源域图片的标签预测；不同于一般的Fine-tune过程至始至终地采用小批量训练来确保模型的表现，本发明为了改善一般Fine-tune过程所造成的特征不聚类问题，采用交替冻结卷积网络特征提取器与特征通道加权模块的方式来使得提取出的特征呈聚类状态，具体地，在邻接的两个训练周期内，奇数周期冻结特征通道加权模块，并采用小批量样本对抗训练卷积层与判别器，提取出域无关特征；偶数周期冻结卷积网络特征提取器中的各卷积层，并采用大批量样本对抗训练特征通道加权模块与判别器，通过特征通道加权模块的特征重校准 使得卷积网络特征提取器充分学习到样本整体分布以提取出高聚类的特征，并最终提高深度对抗迁移神经网络的人脸识别精度。
本发明采用上述技术方案，具有以下有益效果：由于大样本批量能够提供丰富的有关数据的整体分布信息，且特征通道加权模块具有特征重校准的功能，故卷积网络特征提取器将被引导着提取出呈聚类状态的特征，因此在Fine-tune完成后，网络模型能够提取出域无关且高聚类的特征，并有较一般深度对抗迁移神经网络更高的人脸识别精度。
附图说明
图1（a）为本申请对抗迁移神经网络的结构图，图1（b）为每个特征提取模块的结构图。
图2为一般对抗迁移神经网络提取出的特征经过t-SNE降维可视化后的分布图。
图3为本发明提出的交替对抗迁移神经网络提取出的特征经过t-SNE降维可视化后的分布图。
图4为一般对抗迁移神经网络与本发明提出的交替对抗迁移神经网络在数据集WSC-Face上的人脸识别精度对比图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明。
本发明公开的一种基于交替对抗迁移学习的单样本人脸识别方法，包括如下三个步骤。
（一）构建源域和目标域数据集
采集待识别者的单张人脸样本并标注，使用人脸建模技术3DMM合成不同角度的样本图片扩充样本集合，设定该图像集合为“源域”；采集应用场景下的大量无标注人脸样本（无需来自待识别者），设定该图像集合为“目标域”。
（二）搭建深度对抗迁移神经网络
搭建如图1（a）所示的深度对抗迁移神经网络，其包括一般的卷积网络特征提取器、Softmax分类器、Sigmoid判别器，并使用大数据集对卷积网络特征提取器进行预训练。卷积网络特征提取器包含下采样层以及多个特征提取模块，每一个特征提取模块的输入为前一特征提取模块的输出。图1（a）中的特征提取模块如图1（b）所示，包含一个特征通道加权模块和一个卷积层，特征通道加权模块对卷积层提取的特征进行特征重校准后输出各通道权重，卷积层提取的特征与各通道权重相乘后累加输入数据得到最终提取的特征。
（三）采用交替冻结方式训练深度对抗迁移神经网络
在Fine-tune网络时，网络的输入为“源域”图片与“目标域”图片，输出为对图片的标签的预测；已预训练好的卷积网络特征提取器对输入的“源域”与“目标域”样本进行反复的特征提取、特征重校准，并最终将提取出的特征输入至分类器、判别器。通过对抗式地在训练卷积网络特征提取器时增大判别误差、训练判别器时减小判别误差，使分类器能在有标注的“源域”样本和无标注的“目标域”样本上有同样良好的分类效果。
训练采用交替冻结的方式，即在邻接的两个训练周期内，一个周期冻结特征通道加权模块，并采用小批量样本对抗训练卷积网络特征提取器中的卷积层与判别器，提取出域无关特征；另一个周期冻结卷积网络特征提取器中的卷积层，并采用大批量样本对抗训练特征通道加权模块与判别器，通过特征通道加权模块的特征重校准使得卷积网络特征提取器充分学习到样本整体分布以提取出高聚类的特征，并最终提高深度对抗迁移神经网络的人脸识别精度。
如图2所示为一般深度对抗迁移神经网络提取出的特征经过t-SNE降维可视化后的分布图，虽然迁移效果良好（“源域”特征与“目标域”特征的分布较为拟合），但是特征本身呈高度线性不可分的状态，这导致了人脸识别精度的下降。
如图3所示为本发明提出的交替对抗迁移神经网络提取出的特征经过t-SNE降维可视化后的分布图，相较图2，特征在域无关的同时呈良好的聚类特性。
如图4为一般深度对抗迁移神经网络与本发明提出的交替对抗迁移神经网络在数据集WSC-Face上的人脸识别精度对比，在使用本发明提出的算法后，深度对抗迁移神经网络的人脸识别精度得到了较大提高。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想在所公开技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种基于交替对抗迁移学习的单样本人脸识别方法，其特征在于，采集待识别者的单张人脸样本进行标注后构建源域图片集，采集不同应用场景下的无标注人脸样本构建目标域图片集；构建包含特征提取器、分类器和判别器的深度对抗迁移神经网络，所述特征提取器中的各特征提取模块都包含卷积层和特征加权模块，所述特征加权模块对卷积层提取的特征进行特征重校准后输出各通道权重，卷积层提取的特征与各通道权重相乘后累加输入数据得到最终提取的特征，所述分类器对特征提取器提取的源域特征进行标签预测，所述判别器对特征提取器提取的源域特征和目标域特征进行域预测；以源域图片集和目标域图片集为深度对抗迁移神经网络的输入数据，采取相邻训练周期交替冻结卷积层和特征通道加权模块的训练方式提取源域特征和目标域特征，依据最后一个训练周期提取的源域特征和目标域特征进行域预测。
2.根据权利要求1所述一种基于交替对抗迁移学习的单样本人脸识别方法，其特征在于，采取相邻训练周期交替冻结卷积层和特征通道加权模块的训练方式提取源域特征和目标域特征的方法为：在奇数训练周期冻结特征通道加权模块后采用小批量样本对抗训练特征提取器中各卷积层与判别器，在偶数训练周期冻结特征提取器中各卷积层后采用大批量样本对抗训练特征通道加权模块与判别器。
3.根据权利要求1所述一种基于交替对抗迁移学习的单样本人脸识别方法，其特征在于，所述特征通道加权模块为Squeeze-Excitation模块。
4.根据权利要求1所述一种基于交替对抗迁移学习的单样本人脸识别方法，其特征在于，采用Sigmoid判别器对最后一个训练周期提取的源域特征和目标域特征进行域预测。
5.根据权利要求1所述一种基于交替对抗迁移学习的单样本人脸识别方法，其特征在于，构件源域图片集时，采用3DMM人脸建模技术对单张人脸样本进行建模，并通过旋转人脸模型的方式得到合成样本。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理执行时实现权利要求1所述的基于交替对抗迁移学习的单样本人脸识别方法。
7.终端设备，其特征在于，包括：存储器、处理器及存储在存储器上并可以在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述的基于交替对抗迁移学习的单样本人脸识别方法。
CN202011071997.1A 2020-10-09 2020-10-09 一种基于交替对抗迁移学习的单样本人脸识别方法 Pending CN112329536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011071997.1A CN112329536A (zh) 2020-10-09 2020-10-09 一种基于交替对抗迁移学习的单样本人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011071997.1A CN112329536A (zh) 2020-10-09 2020-10-09 一种基于交替对抗迁移学习的单样本人脸识别方法

Publications (1)

Publication Number Publication Date
CN112329536A true CN112329536A (zh) 2021-02-05

Family

ID=74314679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011071997.1A Pending CN112329536A (zh) 2020-10-09 2020-10-09 一种基于交替对抗迁移学习的单样本人脸识别方法

Country Status (1)

Country Link
CN (1) CN112329536A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283404A (zh) * 2021-07-22 2021-08-20 新石器慧通（北京）科技有限公司 行人属性识别方法、装置、电子设备及存储介质
CN113807186A (zh) * 2021-08-18 2021-12-17 南京理工大学 基于多通道复用卷积神经网络的雷达目标识别方法
CN114848019A (zh) * 2022-04-19 2022-08-05 山东大学 基于柔性协作机器人的自动心脏超声检测***及方法
CN115410083A (zh) * 2022-08-24 2022-11-29 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置
CN117476036A (zh) * 2023-12-27 2024-01-30 广州声博士声学技术有限公司 一种环境噪声识别方法、***、设备和介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283404A (zh) * 2021-07-22 2021-08-20 新石器慧通（北京）科技有限公司 行人属性识别方法、装置、电子设备及存储介质
CN113807186A (zh) * 2021-08-18 2021-12-17 南京理工大学 基于多通道复用卷积神经网络的雷达目标识别方法
CN114848019A (zh) * 2022-04-19 2022-08-05 山东大学 基于柔性协作机器人的自动心脏超声检测***及方法
CN115410083A (zh) * 2022-08-24 2022-11-29 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置
CN115410083B (zh) * 2022-08-24 2024-04-30 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置
CN117476036A (zh) * 2023-12-27 2024-01-30 广州声博士声学技术有限公司 一种环境噪声识别方法、***、设备和介质
CN117476036B (zh) * 2023-12-27 2024-04-09 广州声博士声学技术有限公司 一种环境噪声识别方法、***、设备和介质

Similar Documents

Publication Publication Date Title
CN112329536A (zh) 一种基于交替对抗迁移学习的单样本人脸识别方法
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN109671102B (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN107944410B (zh) 一种基于卷积神经网络的跨领域面部特征解析方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN111611847A (zh) 基于尺度注意力空洞卷积网络的视频动作检测方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN111027377B (zh) 一种双流神经网络时序动作定位方法
CN114218292B (zh) 一种多元时间序列相似性检索方法
CN113034545A (zh) 一种基于CenterNet多目标跟踪算法的车辆跟踪方法
CN113673346A (zh) 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
CN113505719B (zh) 基于局部-整体联合知识蒸馏算法的步态识别模型压缩***及方法
CN111859010A (zh) 一种基于深度互信息最大化的半监督音频事件识别方法
CN107832753B (zh) 一种基于四值权重与多重分类的人脸特征提取方法
CN116798070A (zh) 一种基于光谱感知和注意力机制的跨模态行人重识别方法
Yi et al. Mining human movement evolution for complex action recognition
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN113642482A (zh) 一种基于视频时空上下文的视频人物关系分析方法
CN112633154A (zh) 一种异源人脸特征向量之间的转换方法及***
CN115169386A (zh) 一种基于元注意力机制的弱监督增类活动识别方法
CN117530684B (zh) 一种基于健康大数据的血糖异常检测与预警***及方法
CN117154256A (zh) 锂电池的电化学修复方法
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination