CN109063565B - 一种低分辨率人脸识别方法及装置 - Google Patents
一种低分辨率人脸识别方法及装置 Download PDFInfo
- Publication number
- CN109063565B CN109063565B CN201810698280.6A CN201810698280A CN109063565B CN 109063565 B CN109063565 B CN 109063565B CN 201810698280 A CN201810698280 A CN 201810698280A CN 109063565 B CN109063565 B CN 109063565B
- Authority
- CN
- China
- Prior art keywords
- resolution face
- low
- resolution
- feature
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims description 18
- 238000004821 distillation Methods 0.000 claims description 14
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000013140 knowledge distillation Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种低分辨率人脸识别方法及装置,针对低分辨率下的人脸识别问题,尤其是自然环境下的低分辨率人脸识别问题,采用双流深度学习网络结构,通过选择性知识蒸馏训练高效的低分辨率人脸识别网络,实现低分辨率人脸识别,具有接近高分辨率人脸识别模型的精度,速度、内存上则具有极大的优势。
Description
技术领域
本发明属于计算机视觉和深度学习领域,尤其涉及一种针对低分辨率条件下的人脸识别方法及装置。
背景技术
人脸作为区分个体之间的一个基本属性,在计算机视觉和多媒体应用领域每天被频繁识别。这些应用中,人脸识别模型需要被重新部署在移动手机甚至智能摄像头中,用于相机自动对焦、人机交互、照片管理、城市安防监控、智能驾驶等诸多领域。当前,人脸识别在开放环境条件下的实际应用中,经常需要在极低的计算和内存资源条件下识别低分辨率人脸图像。在这种情况下,当前很多高精度的人脸识别模型往往较为复杂,难以实际部署,并且在人脸图像分辨率降低之后,识别精度也会产生很大的下降。一种行之有效的方案是将这些高性能的人脸模型转换成高效的模型,并使这些转换后的模型在识别低分辨率图像时候能够保持原先复杂模型的精度。
近年来,低分辨率人脸识别领域也研究了一些方法。现有方法通常被分成两类,包括基于增强的方法和基于嵌入的方法。基于增强的方法先对低分辨率人脸图像进行超分辨率增强重建,然后再训练更高分辨率的模型进行识别,这类方法在识别重建后的人脸图像能有较为良好的结果,但是超分辨率操作以及高分别率识别会带来较大的计算花销,降低了模型的处理速度,制约了模型的实际部署。与之相比,基于嵌入的方法直接对低分辨率人脸图像提取具有辨别能力的特征,然后训练特征识别器进行人脸识别,这种方法中最重要的处理是将高分辨率人脸的知识传递到低分辨率人脸。尽管如此,一个技术关键是如何从高分辨率人脸到低分辨率人脸正确地传递期望的知识而不是全部知识。这种选择性的知识传递是转换存在的高精度的人脸识别模型成高效的低分辨率人脸识别模型的时候最重要的挑战之一。
发明内容
为克服现有技术的不足,本发明提供了一种低分辨率人脸识别方法及装置,该方法采用双流深度学习网络结构(包含教师流深度学习网络和学生流深度学习网络),通过选择性知识蒸馏训练高效的低分辨率人脸识别网络,通过该网络实现低分辨率人脸识别。
为解决上述技术问题,本发明通过以下技术方案来实现:
一种低分辨率人脸识别方法,其步骤包括:
利用带身份标记的高分辨率人脸图像训练一深度神经网络,获得教师流深度学习网络;
利用带相同身份标记的高分辨率人脸图像和低分辨率人脸图像训练一深度神经网络,获得学生流深度学习网络;
向教师流深度学习网络输入高分辨率人脸图像,得到高分辨率人脸深度特征,从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸深度特征,该富含身份信息的高分辨率人脸深度特征是指能够根据该高分辨率人脸深度特征正确鉴别出高分辨率人脸图像的身份;
结合带身份标记的低分辨率人脸图像和富含身份信息的高分辨率人脸维深度特征,对学生流深度学习网络进行微调训练,得到能识别低分辨率人脸的训练好的学生流深度学习网络;
将待识别的低分辨率人脸图像输入至训练好的学生流深度学习网络,得到低分辨率人脸深度特征,并根据该低分辨率人脸深度特征实现低分辨率人脸识别。
进一步地,根据图优化方法,从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸特征,该图优化方法的步骤包括:
根据带身份标记的高分辨率人脸图像构建密集图,该密集图由人脸顶点和连接人脸顶点的类内边或类间边组成,一个人脸顶点表示一个高分辨率人脸图像,一条类内边由一对同类别的高分辨率人脸图像组成,一条类间边由一对不同类别的高分辨率人脸图像组成;
基于密集图构建稀疏图来降低边复杂度,该稀疏图中对每个同类别的高分辨率人脸增加一个质心顶点,一条类内边由一对同类别的高分辨率人脸图像组成,一条类间边由一个高分辨率人脸图像及与之不同类别的一个质心顶点组成;
对稀疏图进行优化求解,从而筛选出富含身份信息的高分辨率人脸特征。
进一步地,对稀疏图进行优化求解时,将人脸顶点和质心顶点表示成特征向量,基于该特征向量将富含身份信息的高分辨率人脸深度特征表示成二值标记式,对该二值标记式进行优化求解。
进一步地,采用图割算法对稀疏图进行优化求解。
进一步地,所述学生流深度学习网络接收到低分辨率人脸图像后,先产生高分辨率人脸深度特征,再经过压缩产生低分辨率人脸深度特征。
进一步地,对学生流深度学习网络进行微调训练的方法是:将学生流深度学习网络接收带身份标记的低分辨率人脸图像所产生的高分辨率人脸深度特征通过特征回归逼近所述富含身份信息的高分辨率人脸深度特征,再依据由该高分辨率人脸深度特征压缩后的低分辨率人脸深度特征通过身份分类对该带身份标记的低分辨率人脸图像进行分类。
进一步地,所述特征回归的回归损失函数和身份分类的分类损失函数共同组成总的损失函数,通过对总的损失函数进行求解,获得训练好的学生流深度学习网络。
进一步地,所述低分辨率人脸深度特征用于人脸比对时,对用于人脸比对的两幅低分辨率人脸图像进行特征相似性计算,如果相似性超过一阈值,则判定是同一人。
进一步地,所述低分辨率人脸深度特征用于人脸认证时,则对低分辨率人脸深度特征进行分类,以确定身份。
一种低分辨率人脸识别装置,包括基于学生流深度学习网络的特征蒸馏模块、特征压缩模块和特征识别模块;
特征蒸馏模块用于获取从教师流深度学习网络传递的富含身份信息的高分辨率人脸深度特征;
特征压缩模块用于特征降维,得到具有鉴别能力的低分辨率人脸深度特征;
特征识别模块用于低分辨率人脸识别,为一特征比对器或一带有Softmax层的子网络。
进一步地,所述学生流深度学习网络包括10个卷积层、3个最大池化层和3个全连接层,卷积层包括若干3×3的卷积层和位于该若干3×3的卷积层之间或者3×3的卷积层与最大池化层之间的用于压缩特征图通道数目的若干1×1的卷积层,1×1的卷积层能够减缓特征图通道数目的逐渐增加、增强学生流深度学习网络的非线性能力、降低推理内存,最大池化层用于降低特征维度,3个全连接层为镜像层、身份层及Softmax层。
本发明的有益效果在于:针对低分辨率下的人脸识别问题,尤其是自然环境下的低分辨率人脸识别问题,本发明的识别方法及装置具有接近高分辨率人脸识别模型的精度,速度、内存上则具有极大的优势。对高分辨率情况下的人脸,本发明的人脸识别方法及装置也具备良好的处理能力。
附图说明
图1为本发明一种低分辨率人脸识别方法的流程图;
图2为本发明的学生深度学习网络结构图
图3A至图3C为密集图、稀疏图及优化后的图
图4为本发明的学生流深度学习网络训练示意图
具体实施方式
为使本发明的上述方案和有益效果更明显易懂,下文通过实施例,并配合附图作详细说明如下。
本实施例提供一种低分辨率人脸识别方法以及实现该方法的装置,该装置包括特征蒸馏模块(CNN-D)、特征压缩模块(CNN-C)和特征识别模块(CNN-R),该方法识别阶段的流程如图1下半部分所示,其步骤包括:
1)接收低分辨率人脸图像。
2)通过特征蒸馏模块提取低分辨率人脸的高维深度特征(即高分辨率人脸深度特征)。
特征蒸馏模块由学生流深度学习网络的前几层组成,模块接收低分辨率人脸图像,输出高维深度特征,该特征逼近由教师流深度学习网络正确地对高分辨率人脸图像提取的特征。
由于特征蒸馏模块,使训练得到的学生流深度学习网络在处理低分辨率人脸图像时具备教师流深度学习网络正确处理高分辨率人脸图像的能力,即学生流深度学习网络学习到教师流深度学习网络正确的知识。而对于教师流深度学习网络缺失或错误的知识,学生流深度学习网络也具备正确处理能力,从而获得较高的人脸识别精度。
3)通过特征压缩模块进行特征降维,得到低维深度特征(即低分辨率人脸深度特征)。
由于高分辨率人脸识别得到的深度特征维度较高,导致实际部署中占用较大的内存并降低人脸识别的效率。针对该问题,本发明的特征压缩模块对特征蒸馏模块输出的高维深度特征进行降维,得到具有判别能力的低维深度特征,有利于提升人脸比对、认证及检索的速度,从而有效支持了实际部署。
特征压缩模块由学生流深度学习网络中的中间几个全连接层组成,特征蒸馏模块输出的高维深度特征通过特征压缩模块进行降维,得到低维深度特征。
4)通过特征识别模块,判断该人脸的类别,实现人脸的识别。
根据人脸识别是用于进行1:1的人脸比对(face verification)还是用于1:N(N>1)的人脸认证(face identification)进行配置。如果是进行人脸比对,特征识别模块是一个特征比对器,度量两个低维深度特征之间的距离并判断它们是属于同一类还是不同类;如果是进行人脸认证,特征识别模块是一个带有Softmax层的子网络,将低维深度特征分类成某一类。
所述学生流深度学习网络是基于教师流深度学习网络,通过选择性知识蒸馏的方法训练得到的,如图1的上半部分所示,具体说明如下:
教师流深度学习网络通常是较为复杂的预先训练好的深度神经网络,其包含较多的网络参数Wt,Wt通过训练从带身份标记集Lt的高分辨率的教师人脸数据集Dt上汲取了大量的知识,Dt通常对于学生流深度学习网络是不可见的;接收高分辨率人脸图像作为输入,通过推理得到高维深度特征,根据图优化对高维深度特征进行选择,判断每个高维深度特征是否属于最富信息知识(即富含身份信息的高分辨率人脸深度特征),以传递给学生流深度学习网络。
学生流深度学习网络是一个简单的深度神经网络,接收低分辨率人脸图像作为输入,其包含较少的网络参数Ws,Ws通过从学生人脸数据集学习得到,其中|Ds|是高分辨率人脸图像的数量,学生人脸数据集中对每幅高分辨率人脸图像包含N幅对应的低分辨率人脸图像,第j幅低分辨率人脸图像表示为高分辨率人脸图像和对应的低分辨率人脸图像具有相同的身份标记li∈{1,2,...,L},其中L是身份标记总数。
由特征蒸馏模块、特征压缩模块和特征识别模块组成,采用特征回归和身份分类两个任务的学习进行训练,在特征蒸馏模块的最后一层(称为镜像层)产生高维深度特征,通过特征回归来逼近从教师流深度学习网络中选择的高维深度特征;然后经过特征压缩模块生成低维深度特征;最后低维深度特征进入特征识别模块,通过身份分类实现对学生流的低分辨率人脸图像进行分类。通过特征回归和身份分类两个任务的联合学习,使学生流深度学习网络一方面能够获得来自的最富信息知识,另一方面也能够恢复出教师流网络没有提供的知识。
如图2所示,学生流深度学***均池化层被用于进行预测处理,最大池化层用于降低特征维度;1×1×D的镜像层用于接收从教师流深度学习网络中选择的知识,D是教师流深度网络对高分辨率人脸图像提取的特征维度。最终,学生流深度学习网络包含10个卷积层、3个最大池化层和3个全连接层。从而,得到的网络参数量为0.79M,只有教师流深度学习网络参数量的0.57%,因此学生流深度学习网络得到了极大地压缩。
如图3A至3C所示,为了选择教师流深度学习网络的知识,本发明对高分辨率人脸图像通过教师流深度学习网络后的特征进行鉴别性地选择,其选择基准为教师流深度学习网络能够正确地鉴别高分辨率人脸图像的身份的人脸特征作为最富信息知识。由于用于训练学生流深度学习网络的人脸图像的身份与训练教师流深度学习网络的人脸图像身份通常不一致,即教师流深度学习网络不能显性地知道高分辨率人脸图像是否鉴别正确。为此,本方明采用图优化方法,通过考虑训练教师流深度学习网络对高分辨率人脸图像提取的特征之间的鉴别性来隐性地鉴别。
具体地,通过同一身份标记的人脸特征相似而不同身份的人脸特征不相似来构建图。在构建的图中,每幅高分辨率人脸图像是一个顶点(称为人脸顶点),两个顶点组成一条边。如果采用完全连接的方式来构建图(称为密集图),则包含|Ds|个顶点和条边,造成边的数量过多,引起图优化复杂,如图3A所示。为此,本发明构建稀疏图来进行处理,如图3B所示,在稀疏图中,对每组具有同一身份标记的人脸顶点增加一个质心,图中的顶点由人脸顶点和质心顶点组成,边由同一身份标记的顶点之间构成的内部边以及顶点与其不同身份标记中心顶点之间构成的外部边组成,从而稀疏图中包含(|Ds|+L)个顶点和其中Kc是身份标记为c的人脸顶点数目,有可见稀疏图中边的数量相比密集图有极大地减少,从而降低了图优化的复杂度。对稀疏图进行下文的优化求解,得到优化后的图,如图3C所示。
为了对稀疏图进行优化,本发明将人脸顶点和质心顶点表示成特征向量形式,分别如下:
给定稀疏图,最富信息知识的选择可以表示成以下的二值标记式:
满足αi∈{0,1},i=1,2,...,|Ds| (2)
其中,α是二值向量,其第i个元素αi=1表示从人脸特征fi被选择为最富信息知识;函数d(·)采用余弦距离用于度量两个特征向量之间的相似性。可见,公式(2)中第一项倾向于选择与其他身份标记的平均人脸特征具有更少信息的人脸特征,λ<0是负权重用于平衡两项影响从而使第二项倾向于选择与同一身份标记的人脸具有高度相似性的人脸特征。特别地,采用非负函数d(·)和负权重λ,使第一项倾向于选择更少的人脸特征,第二项倾向于选择更多的人脸特征,通过这两项的制衡,从而可以选择出最富信息知识。本发明采用图割(Graph Cut)算法(参见Y.Boykov and V.Kolmogorov,“An experimental comparisonof mincut/max-flow algorithms for energy minimization in computer vision,”IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI),vol.26,no.9,pp.1124–1137,2004)进行求解。在求解公式(2)之后,本发明能够选择出有限数量的人脸特征,对应的人脸具有高类内相似性及低类间相似性。经过选择处理,由于教师流深度学习网络错误鉴别造成的异常知识可以被类似特征聚类的方式有效地丢弃,很多有用的知识被从教师流深度学习网络中蒸馏出来而含噪知识则被抑制,从而这些知识可以更好地用于指导学生流深度学习网络的训练。
如图4所示,利用选择出来的最富信息知识作为监督,结合低分辨率人脸身份标记信息,学生流深度学习网络采用多任务学习同时处理两个问题:1)通过特征回归逼近选择的人脸特征,2)由低分辨率人脸恢复出缺失的人脸线索。
总的损失函数有回归损失和分类损失两部分组成,通过求解以下问题:
公式(3)通过向后传播算法进行求解,得到学生流深度学习网络模型,该模型可用于进行人脸认证和人脸识别。
以上实施仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求书所述为准。
Claims (8)
1.一种低分辨率人脸识别方法,其步骤包括:
利用带身份标记的高分辨率人脸图像训练一深度神经网络,获得教师流深度学习网络;
利用带相同身份标记的高分辨率人脸图像和低分辨率人脸图像训练一深度神经网络,获得学生流深度学习网络;
向教师流深度学习网络输入高分辨率人脸图像,得到高分辨率人脸深度特征,根据图优化方法,从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸深度特征,该富含身份信息的高分辨率人脸深度特征是指能够根据该高分辨率人脸深度特征正确鉴别出高分辨率人脸图像的身份;该图优化方法的步骤包括:根据带身份标记的高分辨率人脸图像构建密集图,该密集图由人脸顶点和连接人脸顶点的类内边或类间边组成,一个人脸顶点表示一个高分辨率人脸图像,一条类内边由一对同类别的高分辨率人脸图像组成,一条类间边由一对不同类别的高分辨率人脸图像组成;基于密集图构建稀疏图来降低边复杂度,该稀疏图中对每个同类别的高分辨率人脸增加一个质心顶点,一条类内边由一对同类别的高分辨率人脸图像组成,一条类间边由一个高分辨率人脸图像及与之不同类别的一个质心顶点组成;对稀疏图进行优化求解,筛选出富含身份信息的高分辨率人脸特征;
结合带身份标记的低分辨率人脸图像和富含身份信息的高分辨率人脸维深度特征,对学生流深度学习网络进行微调训练,得到能识别低分辨率人脸的训练好的学生流深度学习网络;
将待识别的低分辨率人脸图像输入至训练好的学生流深度学习网络,得到低分辨率人脸深度特征,并根据该低分辨率人脸深度特征实现低分辨率人脸识别。
2.如权利要求1所述的方法,其特征在于,对稀疏图进行优化求解时,将人脸顶点和质心顶点表示成特征向量,基于该特征向量将富含身份信息的高分辨率人脸深度特征表示成二值标记式,对该二值标记式进行优化求解。
3.如权利要求2所述的方法,其特征在于,采用图割算法对稀疏图进行优化求解。
4.如权利要求1所述的方法,其特征在于,所述学生流深度学习网络接收到低分辨率人脸图像后,先产生高分辨率人脸深度特征,再经过压缩产生低分辨率人脸深度特征。
5.如权利要求4所述的方法,其特征在于,对学生流深度学习网络进行微调训练的方法是:将学生流深度学习网络接收带身份标记的低分辨率人脸图像所产生的高分辨率人脸深度特征通过特征回归逼近所述富含身份信息的高分辨率人脸深度特征,再依据由该高分辨率人脸深度特征压缩后的低分辨率人脸深度特征通过身份分类对该带身份标记的低分辨率人脸图像进行分类。
6.如权利要求5所述的方法,其特征在于,所述特征回归的回归损失函数和身份分类的分类损失函数共同组成总的损失函数,通过对总的损失函数进行求解,获得训练好的学生流深度学习网络。
7.如权利要求1所述的方法,其特征在于,所述低分辨率人脸深度特征用于人脸比对时,对用于人脸比对的两幅低分辨率人脸图像进行特征相似性计算,如果相似性超过一阈值,则判定是同一人;所述低分辨率人脸深度特征用于人脸认证时,则对低分辨率人脸深度特征进行分类,以确定身份。
8.一种低分辨率人脸识别装置,包括基于学生流深度学习网络的特征蒸馏模块、特征压缩模块和特征识别模块;
所述特征蒸馏模块用于获取从教师流深度学习网络传递的富含身份信息的高分辨率人脸深度特征;具体是根据图优化方法,从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸深度特征,该富含身份信息的高分辨率人脸深度特征是指能够根据该高分辨率人脸深度特征正确鉴别出高分辨率人脸图像的身份;该图优化方法的步骤包括:根据带身份标记的高分辨率人脸图像构建密集图,该密集图由人脸顶点和连接人脸顶点的类内边或类间边组成,一个人脸顶点表示一个高分辨率人脸图像,一条类内边由一对同类别的高分辨率人脸图像组成,一条类间边由一对不同类别的高分辨率人脸图像组成;基于密集图构建稀疏图来降低边复杂度,该稀疏图中对每个同类别的高分辨率人脸增加一个质心顶点,一条类内边由一对同类别的高分辨率人脸图像组成,一条类间边由一个高分辨率人脸图像及与之不同类别的一个质心顶点组成;对稀疏图进行优化求解,筛选出富含身份信息的高分辨率人脸特征;
所述特征蒸馏模块基于的学生流深度学习网络包括10个卷积层、3个最大池化层和3个全连接层,该卷积层包括若干3×3的卷积层和位于该若干3×3的卷积层之间或者3×3的卷积层与最大池化层之间的用于压缩特征图通道数目的若干1×1的卷积层,该最大池化层用于降低特征维度,该3个全连接层为镜像层、身份层及Softmax层;所述学生流深度学习网络是利用带相同身份标记的高分辨率人脸图像和低分辨率人脸图像训练一深度神经网络得到;结合带身份标记的低分辨率人脸图像和富含身份信息的高分辨率人脸维深度特征,对学生流深度学习网络进行微调训练,得到能识别低分辨率人脸的训练好的学生流深度学习网络;
所述特征压缩模块用于特征降维,得到具有鉴别能力的低分辨率人脸深度特征;
所述特征识别模块用于低分辨率人脸识别,为一特征比对器或一含Softmax层的子网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810698280.6A CN109063565B (zh) | 2018-06-29 | 2018-06-29 | 一种低分辨率人脸识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810698280.6A CN109063565B (zh) | 2018-06-29 | 2018-06-29 | 一种低分辨率人脸识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109063565A CN109063565A (zh) | 2018-12-21 |
CN109063565B true CN109063565B (zh) | 2021-12-10 |
Family
ID=64818451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810698280.6A Active CN109063565B (zh) | 2018-06-29 | 2018-06-29 | 一种低分辨率人脸识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109063565B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109816636B (zh) * | 2018-12-28 | 2020-11-27 | 汕头大学 | 一种基于智能终端的裂缝检测方法 |
CN109977792B (zh) * | 2019-03-04 | 2021-11-05 | 上海商汤智能科技有限公司 | 人脸特征压缩方法及装置 |
CN109919110B (zh) * | 2019-03-13 | 2021-06-04 | 北京航空航天大学 | 视频关注区域检测方法、装置及设备 |
CN109948555B (zh) * | 2019-03-21 | 2020-11-06 | 于建岗 | 基于视频流的人脸超分辨率识别方法 |
CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建*** |
CN110659665B (zh) * | 2019-08-02 | 2023-09-29 | 深圳力维智联技术有限公司 | 一种异维特征的模型构建方法及图像识别方法、装置 |
CN110674688B (zh) * | 2019-08-19 | 2023-10-31 | 深圳力维智联技术有限公司 | 用于视频监控场景的人脸识别模型获取方法、***和介质 |
CN111160533B (zh) * | 2019-12-31 | 2023-04-18 | 中山大学 | 一种基于跨分辨率知识蒸馏的神经网络加速方法 |
CN111753793B (zh) * | 2020-06-30 | 2022-11-22 | 重庆紫光华山智安科技有限公司 | 模型训练方法、装置、人脸筛选方法及电子设备 |
CN111553333B (zh) * | 2020-07-10 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 人脸图像识别模型训练方法、识别方法、装置和电子设备 |
CN113222813B (zh) * | 2021-04-19 | 2024-02-09 | 西安电子科技大学 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
CN113435334B (zh) * | 2021-06-28 | 2024-02-27 | 中国科学院上海微***与信息技术研究所 | 一种基于深度学习的小目标人脸识别方法 |
CN113705532B (zh) * | 2021-09-10 | 2023-05-23 | 中国人民解放军国防科技大学 | 基于中低分辨率遥感图像的目标检测方法、装置及设备 |
CN116452424B (zh) * | 2023-05-19 | 2023-10-10 | 山东大学 | 一种基于双重广义蒸馏的人脸超分辨率重构方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105787462A (zh) * | 2016-03-16 | 2016-07-20 | 武汉工程大学 | 基于半耦合判决性字典学习的极低分辨率人脸识别方法及*** |
WO2016150240A1 (zh) * | 2015-03-24 | 2016-09-29 | 北京天诚盛业科技有限公司 | 身份认证方法和装置 |
CN106033540A (zh) * | 2016-05-27 | 2016-10-19 | 北京大学第医院 | 一种***微生态形态学自动分析方法和*** |
CN106203256A (zh) * | 2016-06-24 | 2016-12-07 | 山东大学 | 一种基于稀疏保持典型相关分析的低分辨率人脸识别方法 |
CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
-
2018
- 2018-06-29 CN CN201810698280.6A patent/CN109063565B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016150240A1 (zh) * | 2015-03-24 | 2016-09-29 | 北京天诚盛业科技有限公司 | 身份认证方法和装置 |
CN105787462A (zh) * | 2016-03-16 | 2016-07-20 | 武汉工程大学 | 基于半耦合判决性字典学习的极低分辨率人脸识别方法及*** |
CN106033540A (zh) * | 2016-05-27 | 2016-10-19 | 北京大学第医院 | 一种***微生态形态学自动分析方法和*** |
CN106203256A (zh) * | 2016-06-24 | 2016-12-07 | 山东大学 | 一种基于稀疏保持典型相关分析的低分辨率人脸识别方法 |
CN107944379A (zh) * | 2017-11-20 | 2018-04-20 | 中国科学院自动化研究所 | 基于深度学习的眼白图像超分辨率重建与图像增强方法 |
CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109063565A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063565B (zh) | 一种低分辨率人脸识别方法及装置 | |
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
Sun et al. | Deep learning face representation by joint identification-verification | |
CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
CN111898736B (zh) | 基于属性感知的高效行人重识别方法 | |
Wang et al. | SymNet: A simple symmetric positive definite manifold deep learning method for image set classification | |
CN104778457A (zh) | 基于多示例学习的视频人脸识别算法 | |
CN110942091A (zh) | 寻找可靠的异常数据中心的半监督少样本图像分类方法 | |
CN111339849A (zh) | 一种融合行人属性的行人重识别的方法 | |
CN103617609B (zh) | 基于图论的k-means非线性流形聚类与代表点选取方法 | |
CN115100709B (zh) | 一种特征分离的图像人脸识别与年龄估计方法 | |
CN112580362A (zh) | 一种基于文本语义监督的视觉行为识别方法、***及计算机可读介质 | |
CN110751027A (zh) | 一种基于深度多示例学习的行人重识别方法 | |
US20240161531A1 (en) | Transformer-based multi-scale pedestrian re-identification method | |
Shu et al. | A SVM multi-class image classification method based on DE and KNN in smart city management | |
CN113052017A (zh) | 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法 | |
CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
Du et al. | Low-shot palmprint recognition based on meta-siamese network | |
CN113779283B (zh) | 一种深度监督与特征融合的细粒度跨媒体检索方法 | |
CN116246102A (zh) | 一种基于自编码器与决策树的图像分类方法与*** | |
Shao et al. | Towards efficient unconstrained palmprint recognition via deep distillation hashing | |
Aziz et al. | Multi-level refinement feature pyramid network for scale imbalance object detection | |
CN115830643A (zh) | 一种姿势引导对齐的轻量行人重识别方法 | |
CN113887509B (zh) | 一种基于图像集合的快速多模态视频人脸识别方法 | |
Zeng et al. | Local discriminant training and global optimization for convolutional neural network based handwritten Chinese character recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |