CN109063565B - 一种低分辨率人脸识别方法及装置 - Google Patents

一种低分辨率人脸识别方法及装置 Download PDF

Info

Publication number
CN109063565B
CN109063565B CN201810698280.6A CN201810698280A CN109063565B CN 109063565 B CN109063565 B CN 109063565B CN 201810698280 A CN201810698280 A CN 201810698280A CN 109063565 B CN109063565 B CN 109063565B
Authority
CN
China
Prior art keywords
resolution face
low
resolution
feature
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810698280.6A
Other languages
English (en)
Other versions
CN109063565A (zh
Inventor
葛仕明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201810698280.6A priority Critical patent/CN109063565B/zh
Publication of CN109063565A publication Critical patent/CN109063565A/zh
Application granted granted Critical
Publication of CN109063565B publication Critical patent/CN109063565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种低分辨率人脸识别方法及装置，针对低分辨率下的人脸识别问题，尤其是自然环境下的低分辨率人脸识别问题，采用双流深度学习网络结构，通过选择性知识蒸馏训练高效的低分辨率人脸识别网络，实现低分辨率人脸识别，具有接近高分辨率人脸识别模型的精度，速度、内存上则具有极大的优势。

Description

一种低分辨率人脸识别方法及装置
技术领域
本发明属于计算机视觉和深度学习领域，尤其涉及一种针对低分辨率条件下的人脸识别方法及装置。
背景技术
人脸作为区分个体之间的一个基本属性，在计算机视觉和多媒体应用领域每天被频繁识别。这些应用中，人脸识别模型需要被重新部署在移动手机甚至智能摄像头中，用于相机自动对焦、人机交互、照片管理、城市安防监控、智能驾驶等诸多领域。当前，人脸识别在开放环境条件下的实际应用中，经常需要在极低的计算和内存资源条件下识别低分辨率人脸图像。在这种情况下，当前很多高精度的人脸识别模型往往较为复杂，难以实际部署，并且在人脸图像分辨率降低之后，识别精度也会产生很大的下降。一种行之有效的方案是将这些高性能的人脸模型转换成高效的模型，并使这些转换后的模型在识别低分辨率图像时候能够保持原先复杂模型的精度。
近年来，低分辨率人脸识别领域也研究了一些方法。现有方法通常被分成两类，包括基于增强的方法和基于嵌入的方法。基于增强的方法先对低分辨率人脸图像进行超分辨率增强重建，然后再训练更高分辨率的模型进行识别，这类方法在识别重建后的人脸图像能有较为良好的结果，但是超分辨率操作以及高分别率识别会带来较大的计算花销，降低了模型的处理速度，制约了模型的实际部署。与之相比，基于嵌入的方法直接对低分辨率人脸图像提取具有辨别能力的特征，然后训练特征识别器进行人脸识别，这种方法中最重要的处理是将高分辨率人脸的知识传递到低分辨率人脸。尽管如此，一个技术关键是如何从高分辨率人脸到低分辨率人脸正确地传递期望的知识而不是全部知识。这种选择性的知识传递是转换存在的高精度的人脸识别模型成高效的低分辨率人脸识别模型的时候最重要的挑战之一。
发明内容
为克服现有技术的不足，本发明提供了一种低分辨率人脸识别方法及装置，该方法采用双流深度学习网络结构(包含教师流深度学习网络和学生流深度学习网络)，通过选择性知识蒸馏训练高效的低分辨率人脸识别网络，通过该网络实现低分辨率人脸识别。
为解决上述技术问题，本发明通过以下技术方案来实现：
一种低分辨率人脸识别方法，其步骤包括：
利用带身份标记的高分辨率人脸图像训练一深度神经网络，获得教师流深度学习网络；
利用带相同身份标记的高分辨率人脸图像和低分辨率人脸图像训练一深度神经网络，获得学生流深度学习网络；
向教师流深度学习网络输入高分辨率人脸图像，得到高分辨率人脸深度特征，从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸深度特征，该富含身份信息的高分辨率人脸深度特征是指能够根据该高分辨率人脸深度特征正确鉴别出高分辨率人脸图像的身份；
结合带身份标记的低分辨率人脸图像和富含身份信息的高分辨率人脸维深度特征，对学生流深度学习网络进行微调训练，得到能识别低分辨率人脸的训练好的学生流深度学习网络；
将待识别的低分辨率人脸图像输入至训练好的学生流深度学习网络，得到低分辨率人脸深度特征，并根据该低分辨率人脸深度特征实现低分辨率人脸识别。
进一步地，根据图优化方法，从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸特征，该图优化方法的步骤包括：
根据带身份标记的高分辨率人脸图像构建密集图，该密集图由人脸顶点和连接人脸顶点的类内边或类间边组成，一个人脸顶点表示一个高分辨率人脸图像，一条类内边由一对同类别的高分辨率人脸图像组成，一条类间边由一对不同类别的高分辨率人脸图像组成；
基于密集图构建稀疏图来降低边复杂度，该稀疏图中对每个同类别的高分辨率人脸增加一个质心顶点，一条类内边由一对同类别的高分辨率人脸图像组成，一条类间边由一个高分辨率人脸图像及与之不同类别的一个质心顶点组成；
对稀疏图进行优化求解，从而筛选出富含身份信息的高分辨率人脸特征。
进一步地，对稀疏图进行优化求解时，将人脸顶点和质心顶点表示成特征向量，基于该特征向量将富含身份信息的高分辨率人脸深度特征表示成二值标记式，对该二值标记式进行优化求解。
进一步地，采用图割算法对稀疏图进行优化求解。
进一步地，所述学生流深度学习网络接收到低分辨率人脸图像后，先产生高分辨率人脸深度特征，再经过压缩产生低分辨率人脸深度特征。
进一步地，对学生流深度学习网络进行微调训练的方法是：将学生流深度学习网络接收带身份标记的低分辨率人脸图像所产生的高分辨率人脸深度特征通过特征回归逼近所述富含身份信息的高分辨率人脸深度特征，再依据由该高分辨率人脸深度特征压缩后的低分辨率人脸深度特征通过身份分类对该带身份标记的低分辨率人脸图像进行分类。
进一步地，所述特征回归的回归损失函数和身份分类的分类损失函数共同组成总的损失函数，通过对总的损失函数进行求解，获得训练好的学生流深度学习网络。
进一步地，所述低分辨率人脸深度特征用于人脸比对时，对用于人脸比对的两幅低分辨率人脸图像进行特征相似性计算，如果相似性超过一阈值，则判定是同一人。
进一步地，所述低分辨率人脸深度特征用于人脸认证时，则对低分辨率人脸深度特征进行分类，以确定身份。
一种低分辨率人脸识别装置，包括基于学生流深度学习网络的特征蒸馏模块、特征压缩模块和特征识别模块；
特征蒸馏模块用于获取从教师流深度学习网络传递的富含身份信息的高分辨率人脸深度特征；
特征压缩模块用于特征降维，得到具有鉴别能力的低分辨率人脸深度特征；
特征识别模块用于低分辨率人脸识别，为一特征比对器或一带有Softmax层的子网络。
进一步地，所述学生流深度学习网络包括10个卷积层、3个最大池化层和3个全连接层，卷积层包括若干3×3的卷积层和位于该若干3×3的卷积层之间或者3×3的卷积层与最大池化层之间的用于压缩特征图通道数目的若干1×1的卷积层，1×1的卷积层能够减缓特征图通道数目的逐渐增加、增强学生流深度学习网络的非线性能力、降低推理内存，最大池化层用于降低特征维度，3个全连接层为镜像层、身份层及Softmax层。
本发明的有益效果在于：针对低分辨率下的人脸识别问题，尤其是自然环境下的低分辨率人脸识别问题，本发明的识别方法及装置具有接近高分辨率人脸识别模型的精度，速度、内存上则具有极大的优势。对高分辨率情况下的人脸，本发明的人脸识别方法及装置也具备良好的处理能力。
附图说明
图1为本发明一种低分辨率人脸识别方法的流程图；
图2为本发明的学生深度学习网络结构图
图3A至图3C为密集图、稀疏图及优化后的图
图4为本发明的学生流深度学习网络训练示意图
具体实施方式
为使本发明的上述方案和有益效果更明显易懂，下文通过实施例，并配合附图作详细说明如下。
本实施例提供一种低分辨率人脸识别方法以及实现该方法的装置，该装置包括特征蒸馏模块(CNN-D)、特征压缩模块(CNN-C)和特征识别模块(CNN-R)，该方法识别阶段的流程如图1下半部分所示，其步骤包括：
1)接收低分辨率人脸图像。
2)通过特征蒸馏模块提取低分辨率人脸的高维深度特征(即高分辨率人脸深度特征)。
特征蒸馏模块由学生流深度学习网络的前几层组成，模块接收低分辨率人脸图像，输出高维深度特征，该特征逼近由教师流深度学习网络正确地对高分辨率人脸图像提取的特征。
由于特征蒸馏模块，使训练得到的学生流深度学习网络在处理低分辨率人脸图像时具备教师流深度学习网络正确处理高分辨率人脸图像的能力，即学生流深度学习网络学习到教师流深度学习网络正确的知识。而对于教师流深度学习网络缺失或错误的知识，学生流深度学习网络也具备正确处理能力，从而获得较高的人脸识别精度。
3)通过特征压缩模块进行特征降维，得到低维深度特征(即低分辨率人脸深度特征)。
由于高分辨率人脸识别得到的深度特征维度较高，导致实际部署中占用较大的内存并降低人脸识别的效率。针对该问题，本发明的特征压缩模块对特征蒸馏模块输出的高维深度特征进行降维，得到具有判别能力的低维深度特征，有利于提升人脸比对、认证及检索的速度，从而有效支持了实际部署。
特征压缩模块由学生流深度学习网络中的中间几个全连接层组成，特征蒸馏模块输出的高维深度特征通过特征压缩模块进行降维，得到低维深度特征。
4)通过特征识别模块，判断该人脸的类别，实现人脸的识别。
根据人脸识别是用于进行1:1的人脸比对(face verification)还是用于1:N(N>1)的人脸认证(face identification)进行配置。如果是进行人脸比对，特征识别模块是一个特征比对器，度量两个低维深度特征之间的距离并判断它们是属于同一类还是不同类；如果是进行人脸认证，特征识别模块是一个带有Softmax层的子网络，将低维深度特征分类成某一类。
所述学生流深度学习网络是基于教师流深度学习网络，通过选择性知识蒸馏的方法训练得到的，如图1的上半部分所示，具体说明如下：
教师流深度学习网络
Figure BDA0001713759500000041
通常是较为复杂的预先训练好的深度神经网络，其包含较多的网络参数Wt，Wt通过训练从带身份标记集Lt的高分辨率的教师人脸数据集Dt上汲取了大量的知识，Dt通常对于学生流深度学习网络是不可见的；
Figure BDA0001713759500000042
接收高分辨率人脸图像
Figure BDA0001713759500000043
作为输入，通过推理得到高维深度特征，根据图优化对高维深度特征进行选择，判断每个高维深度特征是否属于最富信息知识(即富含身份信息的高分辨率人脸深度特征)，以传递给学生流深度学习网络。
学生流深度学习网络
Figure BDA0001713759500000044
是一个简单的深度神经网络，接收低分辨率人脸图像
Figure BDA0001713759500000045
作为输入，其包含较少的网络参数Ws，Ws通过从学生人脸数据集
Figure BDA0001713759500000051
学习得到，其中|Ds|是高分辨率人脸图像的数量，学生人脸数据集中对每幅高分辨率人脸图像
Figure BDA0001713759500000052
包含N幅对应的低分辨率人脸图像，第j幅低分辨率人脸图像表示为
Figure BDA0001713759500000053
高分辨率人脸图像
Figure BDA0001713759500000054
和对应的低分辨率人脸图像
Figure BDA0001713759500000055
具有相同的身份标记li∈{1,2,...,L}，其中L是身份标记总数。
Figure BDA0001713759500000056
由特征蒸馏模块、特征压缩模块和特征识别模块组成，采用特征回归和身份分类两个任务的学习进行训练，在特征蒸馏模块的最后一层(称为镜像层)产生高维深度特征，通过特征回归来逼近从教师流深度学习网络中选择的高维深度特征；然后经过特征压缩模块生成低维深度特征；最后低维深度特征进入特征识别模块，通过身份分类实现对学生流的低分辨率人脸图像进行分类。通过特征回归和身份分类两个任务的联合学习，使学生流深度学习网络
Figure BDA0001713759500000057
一方面能够获得来自
Figure BDA0001713759500000058
的最富信息知识，另一方面也能够恢复出教师流网络没有提供的知识。
如图2所示，学生流深度学***均池化层被用于进行预测处理，最大池化层用于降低特征维度；1×1×D的镜像层用于接收从教师流深度学习网络中选择的知识，D是教师流深度网络对高分辨率人脸图像提取的特征维度。最终，学生流深度学习网络包含10个卷积层、3个最大池化层和3个全连接层。从而，得到的网络参数量为0.79M，只有教师流深度学习网络参数量的0.57％，因此学生流深度学习网络得到了极大地压缩。
如图3A至3C所示，为了选择教师流深度学习网络的知识，本发明对高分辨率人脸图像通过教师流深度学习网络后的特征进行鉴别性地选择，其选择基准为教师流深度学习网络能够正确地鉴别高分辨率人脸图像的身份的人脸特征作为最富信息知识。由于用于训练学生流深度学习网络的人脸图像的身份与训练教师流深度学习网络的人脸图像身份通常不一致，即教师流深度学习网络不能显性地知道高分辨率人脸图像是否鉴别正确。为此，本方明采用图优化方法，通过考虑训练教师流深度学习网络对高分辨率人脸图像提取的特征之间的鉴别性来隐性地鉴别。
具体地，通过同一身份标记的人脸特征相似而不同身份的人脸特征不相似来构建图。在构建的图中，每幅高分辨率人脸图像是一个顶点(称为人脸顶点)，两个顶点组成一条边。如果采用完全连接的方式来构建图(称为密集图)，则包含|Ds|个顶点和
Figure BDA0001713759500000059
条边，造成边的数量过多，引起图优化复杂，如图3A所示。为此，本发明构建稀疏图来进行处理，如图3B所示，在稀疏图中，对每组具有同一身份标记的人脸顶点增加一个质心，图中的顶点由人脸顶点和质心顶点组成，边由同一身份标记的顶点之间构成的内部边以及顶点与其不同身份标记中心顶点之间构成的外部边组成，从而稀疏图中包含(|Ds|+L)个顶点和
Figure BDA0001713759500000061
其中Kc是身份标记为c的人脸顶点数目，有
Figure BDA0001713759500000062
可见稀疏图中边的数量相比密集图有极大地减少，从而降低了图优化的复杂度。对稀疏图进行下文的优化求解，得到优化后的图，如图3C所示。
为了对稀疏图进行优化，本发明将人脸顶点和质心顶点表示成特征向量形式，分别如下：
Figure BDA0001713759500000063
其中，
Figure BDA0001713759500000064
是教师流深度学***均外观表示。
给定稀疏图，最富信息知识的选择可以表示成以下的二值标记式：
Figure BDA0001713759500000066
满足αi∈{0,1},i＝1,2,...,|Ds| (2)
其中，α是二值向量，其第i个元素αi＝1表示从人脸特征fi被选择为最富信息知识；函数d(·)采用余弦距离用于度量两个特征向量之间的相似性。可见，公式(2)中第一项倾向于选择与其他身份标记的平均人脸特征具有更少信息的人脸特征，λ<0是负权重用于平衡两项影响从而使第二项倾向于选择与同一身份标记的人脸具有高度相似性的人脸特征。特别地，采用非负函数d(·)和负权重λ，使第一项倾向于选择更少的人脸特征，第二项倾向于选择更多的人脸特征，通过这两项的制衡，从而可以选择出最富信息知识。本发明采用图割(Graph Cut)算法(参见Y.Boykov and V.Kolmogorov,“An experimental comparisonof mincut/max-flow algorithms for energy minimization in computer vision,”IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI),vol.26,no.9,pp.1124–1137,2004)进行求解。在求解公式(2)之后，本发明能够选择出有限数量的人脸特征，对应的人脸具有高类内相似性及低类间相似性。经过选择处理，由于教师流深度学习网络错误鉴别造成的异常知识可以被类似特征聚类的方式有效地丢弃，很多有用的知识被从教师流深度学习网络中蒸馏出来而含噪知识则被抑制，从而这些知识可以更好地用于指导学生流深度学习网络的训练。
如图4所示，利用选择出来的最富信息知识作为监督，结合低分辨率人脸身份标记信息，学生流深度学习网络采用多任务学习同时处理两个问题：1)通过特征回归逼近选择的人脸特征，2)由低分辨率人脸恢复出缺失的人脸线索。
总的损失函数有回归损失和分类损失两部分组成，通过求解以下问题：
Figure BDA0001713759500000071
其中，
Figure BDA0001713759500000072
是特征蒸馏子网络的参数，
Figure BDA0001713759500000073
是与选择的最富信息知识相同身份标记对应的低分辨率人脸图像，β>0用于平衡两部分损失，回归损失和分类损失分别定义为：
Figure BDA0001713759500000074
Figure BDA0001713759500000075
公式(3)通过向后传播算法进行求解，得到学生流深度学习网络模型，该模型可用于进行人脸认证和人脸识别。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种低分辨率人脸识别方法，其步骤包括：
利用带身份标记的高分辨率人脸图像训练一深度神经网络，获得教师流深度学习网络；
利用带相同身份标记的高分辨率人脸图像和低分辨率人脸图像训练一深度神经网络，获得学生流深度学习网络；
向教师流深度学习网络输入高分辨率人脸图像，得到高分辨率人脸深度特征，根据图优化方法，从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸深度特征，该富含身份信息的高分辨率人脸深度特征是指能够根据该高分辨率人脸深度特征正确鉴别出高分辨率人脸图像的身份；该图优化方法的步骤包括：根据带身份标记的高分辨率人脸图像构建密集图，该密集图由人脸顶点和连接人脸顶点的类内边或类间边组成，一个人脸顶点表示一个高分辨率人脸图像，一条类内边由一对同类别的高分辨率人脸图像组成，一条类间边由一对不同类别的高分辨率人脸图像组成；基于密集图构建稀疏图来降低边复杂度，该稀疏图中对每个同类别的高分辨率人脸增加一个质心顶点，一条类内边由一对同类别的高分辨率人脸图像组成，一条类间边由一个高分辨率人脸图像及与之不同类别的一个质心顶点组成；对稀疏图进行优化求解，筛选出富含身份信息的高分辨率人脸特征；
结合带身份标记的低分辨率人脸图像和富含身份信息的高分辨率人脸维深度特征，对学生流深度学习网络进行微调训练，得到能识别低分辨率人脸的训练好的学生流深度学习网络；
将待识别的低分辨率人脸图像输入至训练好的学生流深度学习网络，得到低分辨率人脸深度特征，并根据该低分辨率人脸深度特征实现低分辨率人脸识别。
2.如权利要求1所述的方法，其特征在于，对稀疏图进行优化求解时，将人脸顶点和质心顶点表示成特征向量，基于该特征向量将富含身份信息的高分辨率人脸深度特征表示成二值标记式，对该二值标记式进行优化求解。
3.如权利要求2所述的方法，其特征在于，采用图割算法对稀疏图进行优化求解。
4.如权利要求1所述的方法，其特征在于，所述学生流深度学习网络接收到低分辨率人脸图像后，先产生高分辨率人脸深度特征，再经过压缩产生低分辨率人脸深度特征。
5.如权利要求4所述的方法，其特征在于，对学生流深度学习网络进行微调训练的方法是：将学生流深度学习网络接收带身份标记的低分辨率人脸图像所产生的高分辨率人脸深度特征通过特征回归逼近所述富含身份信息的高分辨率人脸深度特征，再依据由该高分辨率人脸深度特征压缩后的低分辨率人脸深度特征通过身份分类对该带身份标记的低分辨率人脸图像进行分类。
6.如权利要求5所述的方法，其特征在于，所述特征回归的回归损失函数和身份分类的分类损失函数共同组成总的损失函数，通过对总的损失函数进行求解，获得训练好的学生流深度学习网络。
7.如权利要求1所述的方法，其特征在于，所述低分辨率人脸深度特征用于人脸比对时，对用于人脸比对的两幅低分辨率人脸图像进行特征相似性计算，如果相似性超过一阈值，则判定是同一人；所述低分辨率人脸深度特征用于人脸认证时，则对低分辨率人脸深度特征进行分类，以确定身份。
8.一种低分辨率人脸识别装置，包括基于学生流深度学习网络的特征蒸馏模块、特征压缩模块和特征识别模块；
所述特征蒸馏模块用于获取从教师流深度学习网络传递的富含身份信息的高分辨率人脸深度特征；具体是根据图优化方法，从高分辨率人脸深度特征中筛选出富含身份信息的高分辨率人脸深度特征，该富含身份信息的高分辨率人脸深度特征是指能够根据该高分辨率人脸深度特征正确鉴别出高分辨率人脸图像的身份；该图优化方法的步骤包括：根据带身份标记的高分辨率人脸图像构建密集图，该密集图由人脸顶点和连接人脸顶点的类内边或类间边组成，一个人脸顶点表示一个高分辨率人脸图像，一条类内边由一对同类别的高分辨率人脸图像组成，一条类间边由一对不同类别的高分辨率人脸图像组成；基于密集图构建稀疏图来降低边复杂度，该稀疏图中对每个同类别的高分辨率人脸增加一个质心顶点，一条类内边由一对同类别的高分辨率人脸图像组成，一条类间边由一个高分辨率人脸图像及与之不同类别的一个质心顶点组成；对稀疏图进行优化求解，筛选出富含身份信息的高分辨率人脸特征；
所述特征蒸馏模块基于的学生流深度学习网络包括10个卷积层、3个最大池化层和3个全连接层，该卷积层包括若干3×3的卷积层和位于该若干3×3的卷积层之间或者3×3的卷积层与最大池化层之间的用于压缩特征图通道数目的若干1×1的卷积层，该最大池化层用于降低特征维度，该3个全连接层为镜像层、身份层及Softmax层；所述学生流深度学习网络是利用带相同身份标记的高分辨率人脸图像和低分辨率人脸图像训练一深度神经网络得到；结合带身份标记的低分辨率人脸图像和富含身份信息的高分辨率人脸维深度特征，对学生流深度学习网络进行微调训练，得到能识别低分辨率人脸的训练好的学生流深度学习网络；
所述特征压缩模块用于特征降维，得到具有鉴别能力的低分辨率人脸深度特征；
所述特征识别模块用于低分辨率人脸识别，为一特征比对器或一含Softmax层的子网络。
CN201810698280.6A 2018-06-29 2018-06-29 一种低分辨率人脸识别方法及装置 Active CN109063565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810698280.6A CN109063565B (zh) 2018-06-29 2018-06-29 一种低分辨率人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810698280.6A CN109063565B (zh) 2018-06-29 2018-06-29 一种低分辨率人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN109063565A CN109063565A (zh) 2018-12-21
CN109063565B true CN109063565B (zh) 2021-12-10

Family

ID=64818451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810698280.6A Active CN109063565B (zh) 2018-06-29 2018-06-29 一种低分辨率人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN109063565B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816636B (zh) * 2018-12-28 2020-11-27 汕头大学 一种基于智能终端的裂缝检测方法
CN109977792B (zh) * 2019-03-04 2021-11-05 上海商汤智能科技有限公司 人脸特征压缩方法及装置
CN109919110B (zh) * 2019-03-13 2021-06-04 北京航空航天大学 视频关注区域检测方法、装置及设备
CN109948555B (zh) * 2019-03-21 2020-11-06 于建岗 基于视频流的人脸超分辨率识别方法
CN110263756A (zh) * 2019-06-28 2019-09-20 东北大学 一种基于联合多任务学习的人脸超分辨率重建***
CN110659665B (zh) * 2019-08-02 2023-09-29 深圳力维智联技术有限公司 一种异维特征的模型构建方法及图像识别方法、装置
CN110674688B (zh) * 2019-08-19 2023-10-31 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、***和介质
CN111160533B (zh) * 2019-12-31 2023-04-18 中山大学 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN111753793B (zh) * 2020-06-30 2022-11-22 重庆紫光华山智安科技有限公司 模型训练方法、装置、人脸筛选方法及电子设备
CN111553333B (zh) * 2020-07-10 2020-10-16 支付宝(杭州)信息技术有限公司 人脸图像识别模型训练方法、识别方法、装置和电子设备
CN113222813B (zh) * 2021-04-19 2024-02-09 西安电子科技大学 图像超分辨率重建方法、装置、电子设备及存储介质
CN113435334B (zh) * 2021-06-28 2024-02-27 中国科学院上海微***与信息技术研究所 一种基于深度学习的小目标人脸识别方法
CN113705532B (zh) * 2021-09-10 2023-05-23 中国人民解放军国防科技大学 基于中低分辨率遥感图像的目标检测方法、装置及设备
CN116452424B (zh) * 2023-05-19 2023-10-10 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787462A (zh) * 2016-03-16 2016-07-20 武汉工程大学 基于半耦合判决性字典学习的极低分辨率人脸识别方法及***
WO2016150240A1 (zh) * 2015-03-24 2016-09-29 北京天诚盛业科技有限公司 身份认证方法和装置
CN106033540A (zh) * 2016-05-27 2016-10-19 北京大学第医院 一种***微生态形态学自动分析方法和***
CN106203256A (zh) * 2016-06-24 2016-12-07 山东大学 一种基于稀疏保持典型相关分析的低分辨率人脸识别方法
CN107833183A (zh) * 2017-11-29 2018-03-23 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016150240A1 (zh) * 2015-03-24 2016-09-29 北京天诚盛业科技有限公司 身份认证方法和装置
CN105787462A (zh) * 2016-03-16 2016-07-20 武汉工程大学 基于半耦合判决性字典学习的极低分辨率人脸识别方法及***
CN106033540A (zh) * 2016-05-27 2016-10-19 北京大学第医院 一种***微生态形态学自动分析方法和***
CN106203256A (zh) * 2016-06-24 2016-12-07 山东大学 一种基于稀疏保持典型相关分析的低分辨率人脸识别方法
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN107833183A (zh) * 2017-11-29 2018-03-23 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法

Also Published As

Publication number Publication date
CN109063565A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
Sun et al. Deep learning face representation by joint identification-verification
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN111898736B (zh) 基于属性感知的高效行人重识别方法
Wang et al. SymNet: A simple symmetric positive definite manifold deep learning method for image set classification
CN104778457A (zh) 基于多示例学习的视频人脸识别算法
CN110942091A (zh) 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN111339849A (zh) 一种融合行人属性的行人重识别的方法
CN103617609B (zh) 基于图论的k-means非线性流形聚类与代表点选取方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
CN112580362A (zh) 一种基于文本语义监督的视觉行为识别方法、***及计算机可读介质
CN110751027A (zh) 一种基于深度多示例学习的行人重识别方法
US20240161531A1 (en) Transformer-based multi-scale pedestrian re-identification method
Shu et al. A SVM multi-class image classification method based on DE and KNN in smart city management
CN113052017A (zh) 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法
CN110633689B (zh) 基于半监督注意力网络的人脸识别模型
Du et al. Low-shot palmprint recognition based on meta-siamese network
CN113779283B (zh) 一种深度监督与特征融合的细粒度跨媒体检索方法
CN116246102A (zh) 一种基于自编码器与决策树的图像分类方法与***
Shao et al. Towards efficient unconstrained palmprint recognition via deep distillation hashing
Aziz et al. Multi-level refinement feature pyramid network for scale imbalance object detection
CN115830643A (zh) 一种姿势引导对齐的轻量行人重识别方法
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Zeng et al. Local discriminant training and global optimization for convolutional neural network based handwritten Chinese character recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant