CN108829900B - 一种基于深度学习的人脸图像检索方法、装置及终端 - Google Patents
一种基于深度学习的人脸图像检索方法、装置及终端 Download PDFInfo
- Publication number
- CN108829900B CN108829900B CN201810856269.8A CN201810856269A CN108829900B CN 108829900 B CN108829900 B CN 108829900B CN 201810856269 A CN201810856269 A CN 201810856269A CN 108829900 B CN108829900 B CN 108829900B
- Authority
- CN
- China
- Prior art keywords
- attribute
- face image
- feature vector
- attribute group
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 239000013598 vector Substances 0.000 claims abstract description 341
- 238000012216 screening Methods 0.000 claims abstract description 93
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 210000004209 hair Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000000216 zygoma Anatomy 0.000 claims description 3
- 230000037308 hair color Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 241000353135 Psenopsis anomala Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 235000007183 paleface Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请实施例公开了一种基于深度学习的人脸图像检索方法、装置及终端，所述方法包括：将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量；将所述身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果；根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像。采用本申请实施例所提供的技术方案，可有效降低人脸图像检索误识别的概率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种基于深度学习的人脸图像检索方法、装置及终端。
背景技术
随着互联网、社交媒体、智能多媒体设备的快速发展，以图像和视频为代表的多媒体数据的生成、处理和获取变得越来越方便,多媒体应用日益广泛，数据量呈现出***性的增长。如何在海量的图像大数据中以较小的开销准确地找到感兴趣的图像，已成为近年来多媒体和信息检索领域的重要研究热点。
深度学习是机器学习中一种基于对数据进行表征学习的方法，其可以从大数据中自动学习特征的表示。在机器学习中，卷积神经网络(Convolutional Neural Network,CNN)是一种深度前馈人工神经网络，其具有强大的学习能力，高效的特征表达能力，可以从像素级原始数据到抽象的语义概念逐层提取信息，使其在提取图像的全局特征和上下文信息方面具有突出的优势，被广泛应用到各个领域。
人脸识别作为生物特征识别技术，由于其非接触性以及采集方便的特点，具有良好的发展和应用前景，其在诸多应用场景中都发挥了十分重要的作用。以人脸识别技术在公安***应用中的应用为例，一些犯罪嫌疑人利用当今社会人口大量流动和身份证可以伪造等复杂情况，对自己的真实身份进行谎报隐瞒，冒名顶替，给公安***办案侦破带来了相当大的难度。而人物面貌难以造假，在此情况下可以将犯罪嫌疑人的人脸图片与人脸资源库中的重点人口进行比对识别，帮助确认嫌疑人的真实身份，提高办案效率。但是，人脸图像不同于普通的自然图像，其特征可区分性相对较难。在非约束环境下，由于光照、姿态、表情、配饰等多种因素的干扰，甚至由于年龄跨度而产生的容貌变化，使得算法比对人脸时很容易出现同一人脸的不同图像相似度较低，而不同的人脸却相似度较高的问题。这些现象给人脸检索造成了更加巨大的困难。另外，随着人脸数据库规模的增大，其中出现相似人脸的可能性也随之变大，出现误识别的概率会大大增加。
对于该问题，现有技术中的一种方案为通过多任务卷积神经网络，同时进行人脸身份信息的提取及几种人脸属性的分类。这样，在传统的基于人脸身份信息相似度排序的基础上，以人脸属性分类结果的相似度得分的重排序为辅助，从而改善单纯身份信息的人脸区分性不理想造成的误识别。
但是，由于人脸本身的多样性以及非约束环境下干扰的成像复杂性，目前人脸属性的分类结果仍然不足够鲁棒。当人脸属性的分类结果有误时，对人脸验证的改善未必有很好的效果。此外，现有技术中的人脸属性通常采用与人脸身份直接相关的年龄、性别、种族等全局属性，对于实际环境下存在的人脸部分遮挡或其他局部干扰(配饰等)的情况，没有很好的改善。因此，一种更优的人脸图像检索方法亟待出现。
发明内容
本申请实施例中提供了一种基于深度学习的人脸图像检索方法、装置及终端，以利于解决现有技术中人脸图像检索误识别的概率较大的问题。
第一方面，本申请实施例提供了一种基于深度学习的人脸图像检索方法，包括：
将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量，所述多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量；
将所述待检索人脸图像的身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得所述待检索人脸图像与数据库中存储的人脸图像的身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果；
根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像。
可选地，所述根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像，包括：
根据所述身份特征向量对比结果和所述全局属性组特征向量对比结果，在所述数据库中筛选出候选图像集合；
根据所述身份特征向量对比结果和所述局部属性特征向量对比结果，或者根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在所述候选图像集合中筛选出目标人脸图像。
可选地，所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，分别为所述数据库中存储的人脸图像对应的身份特征向量相似度得分、全局属性组特征向量相似度得分和局部属性特征向量相似度得分；
所述根据所述身份特征向量对比结果和所述全局属性组特征向量对比结果，在所述数据库中筛选出候选图像集合，包括：
在所述数据库中筛选出满足第一筛选条件的人脸图像，获得粗筛人脸图像集合，所述第一筛选条件包括人脸图像的身份特征向量相似度得分大于或等于预设的身份特征向量相似度阈值，且全局属性组特征向量相似度得分大于或等于预设的全局属性组特征向量相似度阈值；
在所述粗筛人脸图像集合中筛选出满足第二筛选条件的人脸图像，获得候选图像集合，所述第二筛选条件为所述粗筛人脸图像集合中第一融合相似度得分Score1最大的N1个人脸图像，其中，Score1＝(Score_id+Score_gAttrib)/2，Score_id为身份特征向量相似度得分，Score_gAttrib为全局属性组特征向量相似度得分，N1≤N0，N0为粗筛人脸图像集合中人脸图像的数量。
可选地，根据所述身份特征向量对比结果和所述局部属性特征向量对比结果，或者根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在所述候选图像集合中筛选出目标人脸图像，包括：
在所述候选图像集合中筛选出第二融合相似度得分Score2最大的N2个人脸图像，作为目标人脸图像，N2≥1；
其中，Score2＝w1*Score_id+w2*Score_loc，w1，w2为权值，w1>0，w2>0，w1+w2＝1；
若人脸图像对应的至少一个局部属性组特征向量中存在满足阈值筛选条件的局部属性组特征向量，则将所述满足阈值筛选条件的局部属性组特征向量中，局部属性组特征向量相似度得分的最大值作为Score_loc；若人脸图像对应的至少一个局部属性组特征向量中不存在满足阈值筛选条件的局部属性组特征向量，则将所述全局属性组特征向量相似度得分作为Score_loc，所述阈值筛选条件为局部属性组特征向量相似度得分大于或等于预设的局部属性组特征向量相似度阈值。
可选地，所述至少一个局部属性组特征向量，包括：
上脸属性组特征向量、中脸属性组特征向量和下脸属性组特征向量。
可选地，所述上脸属性组特征向量用于表征的属性包括眉毛属性、眼睛属性、发色属性、发型属性和/或上脸附属物属性；
所述中脸属性组特征向量用于表征的属性包括鼻子属性、脸颊属性、颧骨属性、鬓角属性和/或中脸附属物属性；
所述下脸属性组特征向量用于表征的属性包括嘴唇属性、下巴属性、胡子属性、嘴巴属性和/或下脸附属物属性；
所述全局属性组特征向量用于表征的属性包括性别属性、表情属性、脸型属性、脸色属性、发型属性和/或年龄属性。
具体地，所述上脸属性组特征向量用于表征的属性包括浓眉、拱形眉、眼袋、眯眼、黑发、白发、刘海、秃顶、发际线后移、戴帽子和/或戴眼镜；
所述中脸属性组特征向量用于表征的属性包括大鼻子、尖鼻子、红脸颊、高颧骨、留鬓角和/或戴耳环；
所述下脸属性组特征向量用于表征的属性包括大嘴唇、双下巴、小胡子、山羊胡、半张嘴、没胡子和/或涂口红；
所述全局属性组特征向量用于表征的属性包括男性、微笑、有魅力、圆脸、瓜子脸、浓妆、脸色苍白、卷发和/或年轻。
可选地，所述数据库的构建过程包括：
将需要注册的人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述需要注册的人脸图像中每个人脸图像对应的一个身份特征向量和多个属性组特征向量；
将所述每个人脸图像对应的一个身份特征向量和多个属性组特征向量储存在数据库中。
可选地，所述待检索人脸图像的预处理操作包括：
检测待检索人脸图像中的人脸位置和关键点位置；
根据所述待检索人脸图像的人脸位置和关键点位置，对所述待检索人脸图像进行姿态校正和光线校正处理。
第二方面，本申请实施例提供了一种基于深度学习的人脸图像检索装置，包括：
特征提取模块，用于将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量，所述多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量；
对比分析模块，用于将所述待检索人脸图像的身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得所述待检索人脸图像与数据库中存储的人脸图像的身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果；
筛选模块，用于根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像。
第三方面，本申请实施例提供了一种终端，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行上述第一方面任一项所述的方法。
采用本申请实施例提供的方法进行人脸图像检索具有以下优点：
1、本申请实施例提供的多任务卷积神经网络模型可针对多任务分别提取多个特征向量，基于多个特征向量直接与数据库样本进行比对，而不是基于特征向量进行属性分类后的加工结果，避开了属性分类的不可靠性影响，鲁棒性更高。
2、本发明在多个特征向量比对的过程中，设计了相似度得分容错机制。首先综合身份特征相似度得分和全脸属性特征相似度得分进行粗筛选，减少因单纯基于身份特征相似度进行比对造成的遗漏；其次，基于综合身份特征相似度得分和全脸属性相似度特征得分的融合相似度得分进行排序，排除一部分与查询图像同属相同人脸概率较低的候选图像；最后，从几个局部人脸属性特征的相似度得分中找出局部显著特征得分，作为身份特征相似度得分的有力补充，辅助人脸比对，得出最终的候选人脸图像集。由于相似度得分容错机制中考虑了人脸图像的局部属性特征，因此，对于人脸受部分遮挡及其他局部干扰影响的情况，可产生针对性的改善。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种局部共享单元的结构示意图；
图2为本申请实施例提供的一种基于局部共享的多任务卷积神经网络模型的结构示意图；
图3为本申请实施例提供的一种基于深度学习的人脸图像检索方法流程示意图；
图4为本申请实施例提供的一种人脸图像筛选方法流程示意图；
图5为本申请实施例提供的一种基于深度学习的人脸图像检索装置的结构示意图；
图6为本申请实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在本申请实施例中，采用了一种基于局部共享的多任务卷积神经网络模型，为了便于本领域技术人员更好地理解本申请中的技术方案，下面首先对本申请中涉及的神经网络模型进行简单介绍。
本申请实施例涉及的神经网络模型引入一种局部共享结构，图1为本申请实施例提供的一种局部共享单元的结构示意图，如图1所示，该局部共享单元为每个属性组设置了一个卷积神经网络，称之为特异性网络。另外，单独使用一个共享网络学习不同属性组之间的共享信息。局部共享单元将所有特异性网络前一层的特征串联起来，与共享网络的前一层的特征一起作为共享网络后一层的输入。而共享网络后一层的输入又被串联到每个特异性网络后一层的输出上，作为特异性网络下一层的输入。局部共享单元使得共享网络在某一层可以提取共享信息，而特异性网络可以进一步利用这些共享信息来提取对其有利的互补信息，促进对应属性组的学习。
进一步地，将上述局部共享单元应用于神经网络的所有层次上，构成了基于局部共享的多任务卷积神经网络。图2为本申请实施例提供的一种基于局部共享的多任务卷积神经网络模型的结构示意图，在图2所示的神经网络结构中，将人脸属性按照空间信息分成4个属性组，构成4个子任务，并为每个组配置一个卷积神经网络(特异性网络TSNet)进行特征学习。同时，单独配置一个共享网络SNet，并通过图1所示的局部共享单元，将其与4个TSNet连接起来。最后，每个TSNet通过属性组的分类损失ALoss作为损失函数，SNet通过身份信息判别损失IDLoss作为损失函数，指导网络的训练，进而输出4个属性组特征向量和1个身份特征向量。总的来说，每个TSNet对应一个属性组，用于学习特异性特征；而SNet用于学习共享特征，挖掘属性组之间的关联性。
在本申请实施例中，4个TSNet分别学习的是人脸的上脸属性组、中脸属性组、下脸属性组和全脸属性组的特征。当然，本领域技术人员可以根据实际需要进行相应调整，其均应当落入本申请的保护范围之内。需要指出的是，本申请实施例提供的多任务卷积神经网络模型可针对多任务分别提取多个特征向量；而传统的基于全共享的多任务卷积神经网络模型仅能提供一个特征向量，并以该特征向量为基础进行身份分类和属性分类。
另外，本申请实施例提供的神经网络模型包括输入层、多个卷积层、多个concat层、多个全连接层和输出层，在此不再赘述。
在使用上述网络模型之前，需要对该网络模型进行训练。具体地，将预设标准大小的人脸图像输入到该多任务卷积神经网络中，对该网络进行训练，直到网络模型收敛，停止训练。
在本申请实施例提供的人脸图像检索方法中，还需要用到用于存储参照信息的数据库。为了便于后续方案描述的连续性，在此先对该数据库进行说明。其中，数据库的构建过程包括：将需要注册的人脸图像依次输入到上述完成训练的多任务卷积神经网络，执行前向计算，得到对应的输出，并将输出结果存储在数据库中。其中，所述输出结构包括身份特征向量和多个属性组特征向量(如上脸属性组特征向量、中脸属性组特征向量、下脸属性组特征向量和全脸属性组特征向量)，该身份特征向量和多个属性组特征向量均为一维浮点数向量。
图3为本申请实施例提供的一种基于深度学习的人脸图像检索方法流程示意图，如图3所示，其主要包括以下步骤。
步骤S301：对待检索人脸图像进行预处理操作，具体包括以下步骤：
a、检测待检索人脸图像中的人脸位置和关键点位置。
需要指出的是，在本申请实施例中，可以采用现有的人脸检测算法来检测人脸图像中的人脸位置，并根据检测获得的人脸位置，获得人脸影像的关键点位置。其中，所述人脸位置是指人脸在图像中所处位置的信息，通常包括人脸左上角(或中心点)在图像中的像素坐标，以及人脸的长度和宽度。所述关键点位置是预设的一些人脸关键点的坐标值，通常这些关键点包括眼睛、脸部轮廓等对人脸特征上比较重要的部位。因此，人脸位置信息可以用来指示人脸在图像中的位置，关键点位置可以用来指示人脸的姿态、表情，使用这些信息对人脸图像进行校正，获取归一化的人脸图像，以便后期的人脸特征提取。
在本申请实施例中，所述人脸检测算法可以为人脸检测器，例如基于类Haar特征及AdaBoost的人脸检测器，或基于神经网络的物体检测器，如R-CNN或FCN。
b、根据所述待检索人脸图像的人脸位置和关键点位置，对所述待检索人脸图像进行姿态校正和光线校正处理。
在本申请实施例中，预先定义一个标准人脸所具有的关键点位置和光照条件，通过预设的图像变换算法将所述人脸影像的关键点位置对齐至标准人脸的关键点位置，以达到校正人脸姿态的目的。
通过预设的图像处理算法，对所述经过对齐处理后的人脸影像进行光线校正，使得所述经过对齐处理后的人脸影像的光照条件变换至所述标准人脸具有的光照条件(即通过光线校正，使得所述经过对齐处理后的人脸影像与标准人脸一致，例如可以使用伽玛gamma值来对图像像素值进行校正调整，使得处理后的图像具有合适的对比度，人脸细节清晰可见)。
具体实现上，预先定义一个标准人脸所具有的关键点位置和光照条件具体为：可以预先根据多个人脸影像的关键点位置信息和光照条件，通过求平均计算，获得所述标准人脸(即平均脸)具有的关键点位置和光照条件。
需要指出的是，所述姿态校正和光线校正的操作次数不限，并且先后顺序可以调整；所述光照条件即指人脸影像(包括人脸图像和视频)在拍摄时的光照环境，表现在图像中，即为图像的亮度(可简单理解为像素灰度值)。预设的标准人脸图像光照条件一般要确保人脸五官清晰可见，不会过亮或过暗。
具体实现上，所述预设的图像变换算法可以是相似变换、仿射变换等基本的图像变换方法，也可以是这些基本图像变换的组合。
在本申请实施例中，所述“对齐”操作是指将具有姿态的人脸影像校正至标准人脸。标准人脸通常为正面的人脸图像。根据获取到人脸影像的关键点位置，通过对图像进行相似变化、仿射变换等操作，实现人脸影像的对齐，对齐后的人脸图像五官位置与标准人脸基本一致。
步骤S302：将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量，所述多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量。
在本申请实施例中，将所述经过预处理操作的人脸图像，输入到所述完成训练的多任务卷积神经网络中，通过执行它的前向计算获得对应的多个输出，包括身份特征向量和多个属性组特征向量，该多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量。具体地，该全局属性组特征向量可以为全脸属性组特征向量；局部属性组特征向量可以包括上脸属性组特征向量、中脸属性组特征向量和下脸属性组特征向量。其中，属性组的定义如表1所示，每个属性组可定义为表格中对应的属性范围中的一个、多个或全部属性。
表一：
步骤S303：将所述待检索人脸图像的身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得所述待检索人脸图像与数据库中存储的人脸图像的身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果。
在本申请实施例中，将数据库中预存储的每个候选人脸图像的身份特征向量，逐个与所述待检索人脸图像对应的身份特征向量进行比对，计算身份特征相似度。具体实现中，可根据特征向量之间的余弦距离计算相似度，获得所述待检索人脸图像与数据库中预存储的每个候选人脸图像的身份特征向量相似度得分，相似度得分越高，表明两张人脸图像越相似，两张图像属于同一人的概率较大。
将数据库中预存储的每个候选人脸图像的多个属性组特征向量，逐个与所述待检索人脸图像对应的多个属性组特征向量进行比对，计算各个属性组特征相似度。
具体实现中，由于每个属性组特征向量都跟身份特征向量一样是一维浮点向量，故同样可根据属性组特征向量之间的余弦距离计算相似度，相似度越高，表明两张人脸图像在该属性组范畴内越相似。其中，上脸属性组、中脸属性组、下脸属性组为局部属性组，全脸属性组为全局属性组；对应的，上脸属性组特征向量、中脸属性组特征向量、下脸属性组特征向量为局部属性组特征向量，全脸属性组特征向量为全局属性组特征向量。当两个图像的任一局部属性组特征向量相似度高，表明这两个图像在该局部属性组特征向量对应的局部属性组范畴内较为接近。当两个图像的全局属性组特征向量相似度高，表明这两个图像在对应的全局属性组范畴内较为接近。如果每个局部属性组特征向量的相似度和全局属性组特征向量的相似度，全部都较高，则可表明两张图像属于同一人的概率较大。
步骤S304：根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像。
在本申请实施例中，所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，分别为所述数据库中存储的人脸图像对应的身份特征向量相似度得分、全局属性组特征向量相似度得分和局部属性特征向量相似度得分。其具体可以包括以下步骤：
步骤S401、根据所述身份特征向量相似度得分和所述全局属性组特征向量相似度得分，在所述数据库中筛选出候选图像集合。
在本申请实施例中，首先根据身份特征相似度和全局属性特征相似度(全脸属性特征相似度)对数据库中存储的人脸图像进行筛选。为了便于说明，将身份特征向量相似度得分记为Score_id，全局属性特征向量相似度得分记为Score_gAttrib，身份特征向量相似度阈值记为T_id，全局属性特征向量相似度阈值记为T_gAttrib，其中，T_id>0，T_gAttrib>0。
首先，在所述数据库中筛选出满足第一筛选条件的人脸图像，获得粗筛人脸图像集合。第一筛选条件为：Score_id≥T_id，且Score_gAttrib≥T_gAttrib，将粗筛人脸图像集合记为L0，L0内的人脸图像个数为N0。
然后，对粗筛人脸图像集合L0进行二次筛选，在所述粗筛人脸图像集合中筛选出满足第二筛选条件的人脸图像，获得候选图像集合。第二筛选条件为：以融合相似度得分Score1＝(Score_id+Score_gAttrib)/2为得分标准，按照Score1从大到小的顺序排序，排序取最大的N1个，作为候选图像集合L1，其中N1≤N0。
总的来说，在所述数据库中筛选出满足第一筛选条件的人脸图像，获得粗筛人脸图像集合，所述第一筛选条件包括人脸图像的身份特征向量相似度得分大于或等于预设的身份特征向量相似度阈值，且全局属性组特征向量相似度得分大于或等于预设的全局属性组特征向量相似度阈值；
在所述粗筛人脸图像集合中筛选出满足第二筛选条件的人脸图像，获得候选图像集合，所述第二筛选条件为所述粗筛人脸图像集合中第一融合相似度得分Score1最大的N1个人脸图像。
步骤S402、根据所述身份特征向量相似度得分和所述局部属性特征向量相似度得分，或者根据所述身份特征向量相似度得分、全局属性组特征向量相似度得分和局部属性特征向量相似度得分，在所述候选图像集合中筛选出目标人脸图像。
在本申请实施例中，所述局部属性组特征向量包括上脸属性组特征向量、中脸属性组特征向量和下脸属性组特征向量。相应地，所述局部属性组特征向量相似度得分包括上脸属性组特征向量相似度得分、中脸属性组特征向量相似度得分和下脸属性组特征向量相似度得分。
为了便于说明，分别将上脸属性组特征向量相似度得分、中脸属性组特征向量相似度得分和下脸属性组特征向量相似度得分记为Score_Attri1、Score_Attrib2、Score_Attrib3，分别将上脸属性组特征向量相似度阈值、中脸属性组特征向量相似度阈值和下脸属性组特征向量相似度阈值记为T_Attri1、T_Attrib2、T_Attrib3，其中，T_Attri1>0，T_Attri2>0，T_Attri3>0。
遍历候选图像集合L1中的每一个人脸图像，判断是否满足下述的3个条件。条件1：Score_Attrib1≥T_Attrib1，条件2：Score_Attrib2≥T_Attrib2，条件3：Score_Attrib3≥T_Attrib3。如果条件1～3均满足，则当前候选人脸图像的局部显著特征得分Score_loc＝max(Score_Attrib1,Score_Attrib2,Score_Attrib3)；如果仅有两个条件满足，假设条件i和条件j满足，其中i＝1或2或3，j＝1或2或3，则Score_loc＝max(Score_Attribi,Score_Attribj)；如果仅有一个条件i满足，其中i＝1或2或3，则Score_loc＝Score_Attribi；如果三个条件均不满足，则当前候选图像的局部显著特征得分Score_loc＝0。
如果当前候选图像的Score_loc不等于0，则当前候选图像的最终融合相似度得分Score2＝w1*Score_id+w2*Score_loc；否则Score2＝w1*Score_id+w2*Score_gAttrib，其中w1，w2均为权值，w1>0，w2>0，w1+w2＝1。对候选图像集合L1中的所有N1个候选人脸图像进行最终融合相似度得分计算后，按Score2从大到小的顺序进行重排序，选出其中Score2最大的N2个图像作为最终的检索结果图像。
总的来说，本申请实施例在所述候选图像集合中筛选出第二融合相似度得分Score2最大的人脸图像，作为目标人脸图像。其中，若人脸图像对应的至少一个局部属性组特征向量中存在满足阈值筛选条件的局部属性组特征向量，则将所述满足阈值筛选条件的局部属性组特征向量中，局部属性组特征向量相似度得分的最大值作为Score_loc；若人脸图像对应的至少一个局部属性组特征向量中不存在满足阈值筛选条件的局部属性组特征向量，则将所述全局属性组特征向量相似度得分作为Score_loc，所述阈值筛选条件为局部属性组特征向量相似度得分大于或等于预设的局部属性组特征向量相似度阈值。
采用本申请实施例提供的方法进行人脸图像检索具有以下优点：
1、本申请实施例提供的多任务卷积神经网络模型可针对多任务分别提取多个特征向量，基于多个特征向量直接与数据库样本进行比对，而不是基于特征向量进行属性分类后的加工结果，避开了属性分类的不可靠性影响，鲁棒性更高。
2、本发明在多个特征向量比对的过程中，设计了相似度得分容错机制。首先综合身份特征相似度得分和全脸属性特征相似度得分进行粗筛选，减少因单纯基于身份特征相似度进行比对造成的遗漏；其次，基于综合身份特征相似度得分和全脸属性相似度特征得分的融合相似度得分进行排序，排除一部分与查询图像同属相同人脸概率较低的候选图像；最后，从几个局部人脸属性特征的相似度得分中找出局部显著特征得分，作为身份特征相似度得分的有力补充，辅助人脸比对，得出最终的候选人脸图像集。由于相似度得分容错机制中考虑了人脸图像的局部属性特征，因此，对于人脸受部分遮挡及其他局部干扰影响的情况，可产生针对性的改善。
例如当戴眼镜的人脸图像与数据库中同一人不戴眼镜的人脸图像比对时，其上脸属性群特征相似度得分可能不高，然而中脸属性群、下脸属性群却并不受此影响，故可从其中产生较高的局部显著特征得分而改善最终的比对。又如，当戴口罩的人脸图像与数据库中同一人不戴口罩的人脸图像比对时，可从上脸属性群特征中产生较高的局部显著特征得分，从而改善最终的比对。另外，即使是同一人的不同年龄段人脸比对，在身份特征相似度不足的情况下，由于存在一些受年龄变化影响较小的属性，故也能从某一相似度较高的局部属性群特征中产生较高的局部显著特征得分，或是从全局属性群特征中产生较高的得分，辅助身份特征比对，从而改善跨年龄的相同人脸比对的成功率。
与上述方法实施例相对应，本申请还提供了一种基于深度学习的人脸图像检索装置，图5为本申请实施例提供的一种基于深度学习的人脸图像检索装置的结构示意图，如图5所示，其主要包括以下模块。
预处理模块501，用于对待检索人脸图像进行预处理操作。具体用于：
a、检测待检索人脸图像中的人脸位置和关键点位置；
b、根据所述待检索人脸图像的人脸位置和关键点位置，对所述待检索人脸图像进行姿态校正和光线校正处理。
特征提取模块502，用于将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量，所述多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量。
在本申请实施例中，将所述经过预处理操作的人脸图像，输入到所述完成训练的多任务卷积神经网络中，通过执行它的前向计算获得对应的多个输出，包括身份特征向量和多个属性组特征向量，该多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量。
对比分析模块503，用于将所述待检索人脸图像的身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得所述待检索人脸图像与数据库中存储的人脸图像的身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果。
具体实现中，可根据特征向量之间的余弦距离计算相似度，获得所述待检索人脸图像与数据库中预存储的每个候选人脸图像的身份特征向量相似度得分，相似度得分越高，表明两张人脸图像越相似，两张图像属于同一人的概率较大。另外，由于每个属性组特征向量都跟身份特征向量一样是一维浮点向量，故同样可根据属性组特征向量之间的余弦距离计算相似度，相似度越高，表明两张人脸图像在该属性组范畴内越相似。
筛选模块504，用于根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像。具体用于：
a、根据所述身份特征向量相似度得分和所述全局属性组特征向量相似度得分，在所述数据库中筛选出候选图像集合。
在所述数据库中筛选出满足第一筛选条件的人脸图像，获得粗筛人脸图像集合，所述第一筛选条件包括人脸图像的身份特征向量相似度得分大于或等于预设的身份特征向量相似度阈值，且全局属性组特征向量相似度得分大于或等于预设的全局属性组特征向量相似度阈值；
在所述粗筛人脸图像集合中筛选出满足第二筛选条件的人脸图像，获得候选图像集合，所述第二筛选条件为所述粗筛人脸图像集合中第一融合相似度得分Score1最大的N1个人脸图像，其中，Score1＝(Score_id+Score_gAttrib)/2，Score_id为身份特征向量相似度得分，Score_gAttrib为全局属性组特征向量相似度得分，N1≤N0，N0为粗筛人脸图像集合中人脸图像的数量。
b、根据所述身份特征向量相似度得分和所述局部属性特征向量相似度得分，或者根据所述身份特征向量相似度得分、全局属性组特征向量相似度得分和局部属性特征向量相似度得分，在所述候选图像集合中筛选出目标人脸图像。
在所述候选图像集合中筛选出第二融合相似度得分Score2最大的N2个人脸图像，作为目标人脸图像，N2≥1，例如N2可以为1、5或10等，本领域技术人员可以根据实际需求进行相应设置；
其中，Score2＝w1*Score_id+w2*Score_loc，w1，w2为权值，w1>0，w2>0，w1+w2＝1；
若人脸图像对应的至少一个局部属性组特征向量中存在满足阈值筛选条件的局部属性组特征向量，则将所述满足阈值筛选条件的局部属性组特征向量中，局部属性组特征向量相似度得分的最大值作为Score_loc；若人脸图像对应的至少一个局部属性组特征向量中不存在满足阈值筛选条件的局部属性组特征向量，则将所述全局属性组特征向量相似度得分作为Score_loc，所述阈值筛选条件为局部属性组特征向量相似度得分大于或等于预设的局部属性组特征向量相似度阈值。
采用本申请实施例提供的装置进行人脸图像检索具有以下优点：
1、本申请实施例提供的多任务卷积神经网络模型可针对多任务分别提取多个特征向量，基于多个特征向量直接与数据库样本进行比对，而不是基于特征向量进行属性分类后的加工结果，避开了属性分类的不可靠性影响，鲁棒性更高。
2、本发明在多个特征向量比对的过程中，设计了相似度得分容错机制。首先综合身份特征相似度得分和全脸属性特征相似度得分进行粗筛选，减少因单纯基于身份特征相似度进行比对造成的遗漏；其次，基于综合身份特征相似度得分和全脸属性相似度特征得分的融合相似度得分进行排序，排除一部分与查询图像同属相同人脸概率较低的候选图像；最后，从几个局部人脸属性特征的相似度得分中找出局部显著特征得分，作为身份特征相似度得分的有力补充，辅助人脸比对，得出最终的候选人脸图像集。
与上述实施例相对应，本申请还提供了一种用于进行人脸图像检索的终端。图6为本申请实施例提供的一种终端的结构示意图，如图6所示，所述终端600可以包括：处理器610、存储器620及通信单元630。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本申请的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，所述通信单元630，用于建立通信信道，从而使所述存储设备可以与其它设备进行通信。接收其他设备发送的用户数据或者向其他设备发送用户数据。
所述处理器610，为存储设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器610可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
所述存储器620，用于存储处理器610的执行指令，存储器620可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
当存储器620中的执行指令由处理器610执行时，使得终端600能够执行上述方法实施例中的部分或全部步骤。
具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本申请提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (7)
1.一种基于深度学习的人脸图像检索方法，其特征在于，包括：
将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量，所述多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量；
将所述待检索人脸图像的身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得所述待检索人脸图像与数据库中存储的人脸图像的身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果；
根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像；
其中，所述根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像，包括：
根据所述身份特征向量对比结果和所述全局属性组特征向量对比结果，在所述数据库中筛选出候选图像集合；
根据所述身份特征向量对比结果和所述局部属性特征向量对比结果，或者根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在所述候选图像集合中筛选出目标人脸图像；
所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，分别为所述数据库中存储的人脸图像对应的身份特征向量相似度得分、全局属性组特征向量相似度得分和局部属性特征向量相似度得分；
所述根据所述身份特征向量对比结果和所述全局属性组特征向量对比结果，在所述数据库中筛选出候选图像集合，包括：
在所述数据库中筛选出满足第一筛选条件的人脸图像，获得粗筛人脸图像集合，所述第一筛选条件包括人脸图像的身份特征向量相似度得分大于或等于预设的身份特征向量相似度阈值，且全局属性组特征向量相似度得分大于或等于预设的全局属性组特征向量相似度阈值；
在所述粗筛人脸图像集合中筛选出满足第二筛选条件的人脸图像，获得候选图像集合，所述第二筛选条件为所述粗筛人脸图像集合中第一融合相似度得分Score1最大的N1个人脸图像，其中，Score1＝(Score_id+Score_gAttrib)/2，Score_id为身份特征向量相似度得分，Score_gAttrib为全局属性组特征向量相似度得分，N1≤N0，N0为粗筛人脸图像集合中人脸图像的数量；
根据所述身份特征向量对比结果和所述局部属性特征向量对比结果，或者根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在所述候选图像集合中筛选出目标人脸图像，包括：
在所述候选图像集合中筛选出第二融合相似度得分Score2最大的人脸图像，作为目标人脸图像；
其中，Score2＝w1*Score_id+w2*Score_loc，w1，w2为权值，w1>0，w2>0，w1+w2＝1；
若人脸图像对应的至少一个局部属性组特征向量中存在满足阈值筛选条件的局部属性组特征向量，则将所述满足阈值筛选条件的局部属性组特征向量中，局部属性组特征向量相似度得分的最大值作为Score_loc；若人脸图像对应的至少一个局部属性组特征向量中不存在满足阈值筛选条件的局部属性组特征向量，则将所述全局属性组特征向量相似度得分作为Score_loc，所述阈值筛选条件为局部属性组特征向量相似度得分大于或等于预设的局部属性组特征向量相似度阈值。
2.根据权利要求1所述的方法，其特征在于，所述至少一个局部属性组特征向量，包括：
上脸属性组特征向量、中脸属性组特征向量和下脸属性组特征向量。
3.根据权利要求2所述的方法，其特征在于，
所述上脸属性组特征向量用于表征的属性包括眉毛属性、眼睛属性、发色属性、发型属性和/或上脸附属物属性；
所述中脸属性组特征向量用于表征的属性包括鼻子属性、脸颊属性、颧骨属性、鬓角属性和/或中脸附属物属性；
所述下脸属性组特征向量用于表征的属性包括嘴唇属性、下巴属性、胡子属性、嘴巴属性和/或下脸附属物属性；
所述全局属性组特征向量用于表征的属性包括性别属性、表情属性、脸型属性、脸色属性、发型属性和/或年龄属性。
4.根据权利要求1所述的方法，其特征在于，所述数据库的构建过程包括：
将需要注册的人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述需要注册的人脸图像中每个人脸图像对应的一个身份特征向量和多个属性组特征向量；
将所述每个人脸图像对应的一个身份特征向量和多个属性组特征向量储存在数据库中。
5.根据权利要求1所述的方法，其特征在于，所述待检索人脸图像的预处理操作包括：
检测待检索人脸图像中的人脸位置和关键点位置；
根据所述待检索人脸图像的人脸位置和关键点位置，对所述待检索人脸图像进行姿态校正和光线校正处理。
6.一种基于深度学习的人脸图像检索装置，其特征在于，包括：
特征提取模块，用于将经过预处理操作的待检索人脸图像输入训练完成的基于局部共享的多任务卷积神经网络模型中，获得所述待检索人脸图像的一个身份特征向量和多个属性组特征向量，所述多个属性组特征向量中包括一个全局属性组特征向量和至少一个局部属性组特征向量；
对比分析模块，用于将所述待检索人脸图像的身份特征向量和属性组特征向量分别与数据库中存储的人脸图像的身份特征向量和属性组特征向量进行对比，获得所述待检索人脸图像与数据库中存储的人脸图像的身份特征向量对比结果、全局属性组特征向量对比结果和局部属性特征向量对比结果；
筛选模块，用于根据所述身份特征向量对比结果、全局属性组特征向量的对比结果和局部属性特征向量对比结果，在数据库中筛选出目标人脸图像。
7.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810856269.8A CN108829900B (zh) | 2018-07-31 | 2018-07-31 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810856269.8A CN108829900B (zh) | 2018-07-31 | 2018-07-31 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108829900A CN108829900A (zh) | 2018-11-16 |
| CN108829900B true CN108829900B (zh) | 2020-11-10 |
Family
ID=64152313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810856269.8A Expired - Fee Related CN108829900B (zh) | 2018-07-31 | 2018-07-31 | 一种基于深度学习的人脸图像检索方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108829900B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583403A (zh) * | 2018-12-06 | 2019-04-05 | 联想(北京)有限公司 | 图像处理方法、处理器以及电子设备 |
| CN109658194A (zh) * | 2018-12-20 | 2019-04-19 | 焦点科技股份有限公司 | 一种基于视频追踪的客户推荐方法及*** |
| CN109711357A (zh) * | 2018-12-28 | 2019-05-03 | 北京旷视科技有限公司 | 一种人脸识别方法及装置 |
| CN109993102B (zh) * | 2019-03-28 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 相似人脸检索方法、装置及存储介质 |
| CN110287890A (zh) * | 2019-06-26 | 2019-09-27 | 银河水滴科技（北京）有限公司 | 一种基于步态特征和行人重识别特征的识别方法及装置 |
| CN111368101B (zh) * | 2020-03-05 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 多媒体资源信息的展示方法、装置、设备以及存储介质 |
| CN111985360A (zh) * | 2020-08-05 | 2020-11-24 | 上海依图网络科技有限公司 | 一种人脸识别的方法、装置、设备和介质 |
| CN114120386A (zh) * | 2020-08-31 | 2022-03-01 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN112241689A (zh) * | 2020-09-24 | 2021-01-19 | 北京澎思科技有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN112364827B (zh) * | 2020-11-30 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
| CN112417197B (zh) * | 2020-12-02 | 2022-02-25 | 云从科技集团股份有限公司 | 一种排序方法、装置、机器可读介质及设备 |
| CN112417198A (zh) * | 2020-12-07 | 2021-02-26 | 武汉柏禾智科技有限公司 | 人脸图像检索方法 |
| CN112949599B (zh) * | 2021-04-07 | 2022-01-14 | 青岛民航凯亚***集成有限公司 | 基于大数据的候选内容推送方法 |
| CN113269125B (zh) * | 2021-06-10 | 2024-05-14 | 北京中科闻歌科技股份有限公司 | 一种人脸识别方法、装置、设备及存储介质 |
| CN113688764A (zh) * | 2021-08-31 | 2021-11-23 | 瓴盛科技有限公司 | 人脸选优模型的训练方法、装置和计算机可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014229012A (ja) * | 2013-05-21 | 2014-12-08 | 沖電気工業株式会社 | 人物属性推定装置、人物属性推定方法及びプログラム |
| CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
| CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
| CN106874877A (zh) * | 2017-02-20 | 2017-06-20 | 南通大学 | 一种结合局部和全局特征的无约束人脸验证方法 |
| CN107145857A (zh) * | 2017-04-29 | 2017-09-08 | 深圳市深网视界科技有限公司 | 人脸属性识别方法、装置和模型建立方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| US10289822B2 (en) * | 2016-07-22 | 2019-05-14 | Nec Corporation | Liveness detection for antispoof face recognition |
| CN107330359A (zh) * | 2017-05-23 | 2017-11-07 | 深圳市深网视界科技有限公司 | 一种人脸对比的方法和装置 |
-
2018
- 2018-07-31 CN CN201810856269.8A patent/CN108829900B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014229012A (ja) * | 2013-05-21 | 2014-12-08 | 沖電気工業株式会社 | 人物属性推定装置、人物属性推定方法及びプログラム |
| CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
| CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
| CN106874877A (zh) * | 2017-02-20 | 2017-06-20 | 南通大学 | 一种结合局部和全局特征的无约束人脸验证方法 |
| CN107145857A (zh) * | 2017-04-29 | 2017-09-08 | 深圳市深网视界科技有限公司 | 人脸属性识别方法、装置和模型建立方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108829900A (zh) | 2018-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829900B (zh) | 一种基于深度学习的人脸图像检索方法、装置及终端 | |
| CN111310624B (zh) | 遮挡识别方法、装置、计算机设备及存储介质 | |
| WO2021077984A1 (zh) | 对象识别方法、装置、电子设备及可读存储介质 | |
| CN106815566B (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
| US10402632B2 (en) | Pose-aligned networks for deep attribute modeling | |
| WO2019128508A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN106778450B (zh) | 一种面部识别方法和装置 | |
| EP3989104A1 (en) | Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium | |
| CN112364827B (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| WO2020140723A1 (zh) | 人脸动态表情的检测方法、装置、设备及存储介质 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN109858375A (zh) | 活体人脸检测方法、终端及计算机可读存储介质 | |
| CN111368751A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN107316029A (zh) | 一种活体验证方法及设备 | |
| CN111553838A (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| Zhang et al. | Facial component-landmark detection with weakly-supervised lr-cnn | |
| CN113468925B (zh) | 一种遮挡人脸识别方法、智能终端及存储介质 | |
| CN111460416A (zh) | 一种基于微信小程序平台的人脸特征与动态属性的认证方法 | |
| CN112101479B (zh) | 一种发型识别方法及装置 | |
| Shukla et al. | Deep Learning Model to Identify Hide Images using CNN Algorithm | |
| CN115830720A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN112766065A (zh) | 一种移动端考生身份认证方法、装置、终端及存储介质 | |
| CN112149598A (zh) | 一种侧脸评估方法、装置、电子设备及存储介质 | |
| Liu et al. | Joint multi-patch and multi-task CNNs for robust face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201110 |