CN108154099B - 一种人物识别方法、装置及电子设备 - Google Patents

一种人物识别方法、装置及电子设备 Download PDF

Info

Publication number
CN108154099B
CN108154099B CN201711386394.9A CN201711386394A CN108154099B CN 108154099 B CN108154099 B CN 108154099B CN 201711386394 A CN201711386394 A CN 201711386394A CN 108154099 B CN108154099 B CN 108154099B
Authority
CN
China
Prior art keywords
retrieval
target
distance
objects
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711386394.9A
Other languages
English (en)
Other versions
CN108154099A (zh
Inventor
史培培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201711386394.9A priority Critical patent/CN108154099B/zh
Publication of CN108154099A publication Critical patent/CN108154099A/zh
Application granted granted Critical
Publication of CN108154099B publication Critical patent/CN108154099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人物识别方法、装置及电子设备，方法包括：对待处理视频进行人脸检测，得到各人脸位置，并识别检测的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；将该检索对象各特征与各目标对象对应的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；将各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。

Description

一种人物识别方法、装置及电子设备
技术领域
本发明涉及计算机信息处理技术领域，特别是涉及一种人物识别方法、装置及电子设备。
背景技术
视频是信息传播的重要媒介，智能的理解视频中的元素发挥着越来越重要的作用，尤其是人物的理解。已知的人物识别方法主要为人脸识别方法。
现有技术中进行人脸识别的具体方式为：在包含人脸的图像中进行人脸图像特征提取，提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸与已得到的人脸进行比较，根据相似程度对人脸的身份信息进行判断。
然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
人脸识别能够根据人脸的特征识别人物的身份，但是对于低分辨率正脸图像、或侧脸图像识别效果不佳，对于背影图像则无法处理。如何对低分辨率正脸、侧脸以及背影等图像进行识别人物的身份是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种人物识别方法、装置及电子设备，以实现对低分辨率正脸、侧脸以及背影等等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体技术方案如下：
为了实现上述发明目的，在本发明实施的第一方面公开了一种人物识别方法，包括：
对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；
针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离；其中，所述各特征包括头部特征以及衣物特征；
针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
可选地，在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象之后，所述方法还包括：
分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
针对所述各目标对象，将所述第一结果以及所述第二结果串接，得到所述各目标对象的基准特征；
分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
针对所述各检索对象，将所述第三结果以及所述第四结果串接，得到所述各检索对象的当前特征；
相应地，所述针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离，包括：
针对每个检索对象，将该检索对象的所述当前特征与所述各目标对象的所述基准特征，通过第一预设公式进行距离计算，得到该检索对象与所述各目标对象的距离。
可选地，在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象之后，所述方法还包括：
分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
相应地，所述针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离，包括：
针对每个检索对象，将该检索对象的第三结果与所述各目标对象的所述第一结果，通过第二预设公式进行计算，得到第一距离；
针对每个检索对象，将该检索对象的第四结果与所述各目标对象的所述第二结果，通过所述第二预设公式进行计算，得到第二距离；
针对每个检索对象，将该检索对象对应的第一距离与各第二距离通过第三预设公式进行计算，得到该检索对象与各目标对象的距离。
可选地，所述针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物，包括：
针对每个检索对象，查找该检索对象对应的距离中，小于阈值的目标距离；
查找所述目标距离对应的目标对象，将所查找到的目标对象确定为该检索对象对应的目标人物。
可选地，将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象，包括：
根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
为了实现上述发明目的，在本发明实施的第二方面公开了一种人物识别装置，包括：
人脸识别模块，用于对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
特征提取模块，用于对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
特征组合模块，用于将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
对象确定模块，用于在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；
距离确定模块，用于针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离；其中，所述各特征包括头部特征以及衣物特征；
人物确定模块，用于针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
可选地，所述装置还包括：
第一对象归一化模块，用于分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
基准特征确定模块，用于针对所述各目标对象，将所述第一结果以及所述第二结果串接，得到所述各目标对象的基准特征；
第二对象归一化模块，用于分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
当前特征确定模块，用于针对所述各检索对象，将所述第三结果以及所述第四结果串接，得到所述各检索对象的当前特征；
相应地，所述距离确定模块，具体用于针对每个检索对象，将该检索对象的所述当前特征与所述各目标对象的所述基准特征，通过第一预设公式进行距离计算，得到该检索对象与所述各目标对象的距离。
可选地，所述装置还包括：
第三对象归一化模块，用于分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
第四对象归一化模块，用于分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
相应地，所述距离确定模块，包括：
第一距离确定子模块，用于针对每个检索对象，将该检索对象的第三结果与所述各目标对象的所述第一结果，通过第二预设公式进行计算，得到第一距离；
第二距离确定子模块，用于针对每个检索对象，将该检索对象的第四结果与所述各目标对象的所述第二结果，通过所述第二预设公式进行计算，得到第二距离；
目标距离确定子模块，用于针对每个检索对象，将该检索对象对应的第一距离与各第二距离通过第三预设公式进行计算，得到该检索对象与各目标对象的距离。
可选地，所述人物确定模块，包括：
距离查找子模块，用于针对每个检索对象，查找该检索对象对应的距离中，小于阈值的目标距离；
人物确定子模块，用于查找所述目标距离对应的目标对象，将所查找到的目标对象确定为该检索对象对应的目标人物。
可选地，所述特征组合模块，包括：
第一特征组合子模块，用于根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
第二特征组合子模块，用于在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
为了实现上述发明目的，在本发明实施的又一方面公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的人物识别方法。
为了实现上述发明目的，在本发明实施的又一方面公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的人物识别方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的人物识别方法。
本发明实施例提供的一种人物识别方法、装置及电子设备，首先通过对人脸进行检测，进而识别可识别的人脸，并得到各可识别人脸的人脸编号。然后通过检测头部位置与衣物位置以及提取头部特征以及衣物特征，实现多特征的提取。进而通过预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。实现将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；并将与该检索对象的距离小于阈值的目标对象确定为该检索对象对应的目标人物，实现了通过对多种类型的特征进行近似分析，进而确定每个不可识别人脸所对应的各组合对象对应的身份。本发明实施例最终实现了为视频图像中各不可识别人脸对应的低分辨率正脸、侧脸以及背影等无法确认人物身份的图像确定所对应的人物身份，增加人物的召回。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施的一种人物识别方法流程图；
图2为本发明实施例的一种人物身份识别方法的组合对象确定方法流程图；
图3为本发明实施例的另一种人物识别方法流程图；
图4为本发明实施的一种人物识别装置结构示意图；
图5为本发明实施的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
随着视频业务的快速发展，智能的识别视频中的人物也越来越重要。尽管每个视频中出现的角色数量较少，但是视频中人物的角度、表情、姿态的变化很大；视频帧存在光照、特效等外在因素的影响，人物之间存在遮挡等诸多因素的影响，导致视频中的人物识别较为复杂。目前主流方法为利用人脸识别的方式识别视频中的人脸，并根据人脸进行跟踪。但是这种方法只利用了人脸相关的信息，但是对于低分辨率正脸图像、或侧脸图像识别效果不佳，对于背影图像则无法处理。
针对上述问题，本发明实施例提出了一种人物识别方法、装置及电子设备，结合了人脸识别结果、头部特征以及衣物特征等综合判断人物的身份，以实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体实施方式如下：
为了实现上述发明目的，在本发明实施的第一方面公开了一种人物识别方法，如图1所示。图1为本发明实施的一种人物识别方法流程图，包括：
S101，对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度。
在本发明实施例中，需要对待处理视频中不可识别人脸进行识别，即为对视频中包含的低分辨率正脸图像、侧脸图像以及背影图像进行识别，进而确定该图像对应可识别的人脸中具体哪一个人。
在本发明实施例中，可采用卷积神经网络算法训练好的网络模型，分别对待处理视频每帧图像中出现的人物的脸部进行检测，得到每个人脸位置。另外，对能够识别的人脸可采用人脸识别模型进行人脸识别，得到各能够识别的人脸所对应的人脸编号以及置信度。
S102，对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征。
上述对人脸进行识别后，可采用卷积神经网络训练好的网络模型，分别对待处理视频每帧图像中出现的人物的头部以及衣物进行检测，进而得到各头部位置以及衣物位置。
另外，在本步骤中采用卷积神经网络模型提取检测到的各人物的头部对应的特征向量，以及各人物的衣物对应的特征向量。
需要说明的是，在本步骤中可并行的检测头部位置以及衣物位置，进而分别提取每个头部特征对应的特征向量以及每个衣物特征对应的特征向量。或者，先检测头部位置，进而提取每个头部特征对应的特征向量，再检测衣物位置，进而提取每个衣物特征对应的特征向量。另外，还可先检测衣物位置，进而提取每个衣物特征对应的特征向量，再检测头部位置，进而提取每个头部特征对应的特征向量。具体的检测顺序不做限定。
S103，将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象。
上述在得到每帧视频图像中的人脸位置、头部位置以及衣物位置后，可按照预设条件中头部位置与人脸位置的位置关系，将头部位置与人脸位置进行组合。在上述组合基础上按照预设条件中的头部位置与衣物位置的位置关系，将各衣物组合在上述得到组合结果上。
该预设条件中人脸与头部的组合条件可为：人脸位置与头部位置为同一位置；该预设条件中头部与衣物的组合条件可为：衣物位置在头部位置预定距离的位置。该预设条件中人脸与头部的组合条件还可为：人脸位置与头部位置为同一位置，且人脸方向为与头部为同一方向；该预设条件中头部与衣物的组合还条件可为：衣物位置在头部位置预定距离，且衣物方向与头部方向为同一方向。
具体为，按照预设的人脸位置与头部位置组合条件，将能够识别人脸的人脸位置与头部位置为同一人物的脸部与头部进行组合。进而根据头部位置与衣物位置的相对位置关系，将衣物位置在头部下方预设位置的衣物与上述组合结果进行组合，得到含有可识别的人脸的各组合对象。并且该组合对象带有人脸识别模型得到的人脸编号。即该部分组合对象为人脸可识别的各组合对象。
另外，如果上述在检测过程中，检测到的头部对应为背影或者侧向无法识别人脸时，按照上述预设条件得到的组合对象为人脸不可识别的各组合对象。
S104，在各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
本发明实施例中，将上述得到的各组合对象中人脸能够识别的带有人脸编号的各组合对象，定义为本发明实施例的各目标对象，则剩余的各组合对象为人脸不能识别的各组合对象，将该部分不可识别的人脸所对应的组合对象定义为本发明实施例的各检索对象。进而通过计算检索对象与各目标对象的特征向量之间的距离，将距离小于阈值的目标对象确定为该检索对象的人物身份。本步骤为确定各组合对象中各目标对象以及各检索对象的方法步骤。
具体地，可通过人脸识别技术，检测上述各组合对象的人脸信息，将人脸能够清晰识别的各组合对象，分别确定为本发明实施例的各目标对象。进而将上述各组合对象中剩余的各组合对象，分别确定为本发明实施例的各目标对象。
S105，针对每个检索对象，将各目标对象该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离，其中，各特征包括头部特征以及衣物特征。
上述将组合得到的各组合对象分成各目标对象以及各检索对象后，可针对每个检索对象，确定该检索对象所对应的目标对象，即可确定该检索对象的人物身份。本发明实施例的预设计算方式可为设置距离计算方式，得到每个检索对象与各目标对象的距离。该距离计算方式可以采用欧式距离公式，余弦距离公式，相关系数等。
具体地，对每个目标对象的衣物特征对应的特征向量分别归一化，对每个目标对象的头部特征对应的特征向量分别归一化，进而得到每个目标对象归一化后的各特征向量。
针对每个检索对象，将该检索对象的衣物特征对应的特征向量分别归一化，将该检索对象的头部特征对应的特征向量分别归一化。将该检索对象归一化后的特征与各目标对象对应的归一化后的特征，通过本发明实施例的预设计算方式，计算该检索对象综合各特征与每个目标对象综合各特征的距离。该距离表明该检索对象综合各特征与每个目标对象综合各特征的相似程度，该距离越小说明该检索对象综合各特征与目标对象综合各特征的相似程度越高。
S106，针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
在本发明实施例中，为了确保准确的识别每个检索对象所对应的目标人物，可设置检索对象综合各特征与目标对象综合各特征的距离的阈值，该阈值表明该检索对象等同于目标对象可接受的最大范围值，则该阈值可通过特征对比技术人为的设置。
在本步骤中，针对每个检索对象可设置检测程序，检测该检索对象的距离中小于阈值的距离，进而确定该小于阈值的距离所对应的目标对象，将该目标对象确定为该检索对象对应的目标人物。
需要说明的是，针对每个检索对象，检测该检测对象的距离中小于阈值的距离所对应的目标对象为多个时，可将该多个目标对象都确定该检索对象对应的目标人物。另外，也可将该检测对象的距离中小于阈值的距离中最小的距离所对应的一个或多个目标对象，确定为该检索对象对应的目标人物。
在本发明实施例提供的一种人物识别方法中，首先通过对人脸进行检测，进而识别可识别的人脸，并得到各可识别人脸的人脸编号。然后通过检测头部位置与衣物位置以及提取头部特征以及衣物特征，实现多特征的提取。进而通过预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。实现将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；并将与该检索对象的距离小于阈值的目标对象确定为该检索对象对应的目标人物，实现了通过对多种类型的特征进行近似分析，进而确定每个不可识别人脸所对应的各组合对象对应的能够准确识别的目标对象。本发明实施例最终实现了为视频图像中各不可识别人脸对应的低分辨率正脸、侧脸以及背影等无法确认人物身份的图像确定所对应的人物身份，增加人物的召回。
可选地，在本发明实施例的人物识别方法的一种实施例中，在各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象之后，方法还包括：
步骤一，分别对各目标对象的衣物特征进行归一化，得到各目标对象的第一结果；分别对各目标对象的头部特征进行归一化，得到各目标对象的第二结果。
本发明实施例为将检索对象提取的各特征对应的特征向量归一化，以及将目标对象提取的各特征对应的特征向量归一化；将每个检索对象归一化后的各特征串接以及将每个目标对象归一化后的各特征串接，通过预设计算方式，计算每个检索对象归一化后的串接的特征与每个目标对象归一化后的串接的特征进行距离计算，确定每个检索对象与每个目标对象的距离的实施方法。
本步骤为将各目标对象的各特征对应的特征向量归一化的实施方式。归一化是一种无量纲处理手段，使数值的绝对值变成某种相对值关系，简化计算，缩小量值的有效办法。归一化方法有两种形式，一种是把数变为(0，1)之间的小数，一种是把有量纲表达式变为无量纲表达式。
在得到各目标对象后，对每个目标对象的衣物特征对应的特征向量，按照归一化方法进行归一化，得到每个目标对象的衣物特征对应的归一化结果，即为本发明实施例的第一结果。对每个目标对象的头部特征对应的特征向量，按照归一化方法进行归一化，得到每个目标对象的头部特征对应的归一化结果，即为本发明实施例的第二结果。
例如，针对每个目标对象，将该目标对象的衣物特征clothes的特征向量f1c归一化，得到f1nc；将该目标对象的头部特征head的特征向量f1h归一化，得到f1nh。
步骤二，针对各目标对象，将第一结果以及第二结果串接，得到各目标对象的基准特征。
在上述得到每个目标对象的归一化结果后，针对每个目标对象，将该目标对象的衣物特征对应的归一化结果与该目标对象的头部特征对应的归一化结果串接，即相加串联，进而将串接后的结果作为该目标对象的基准特征。
例如，针对每个目标对象，将该目标对象的特征向量f1nc与该目标对象的特征向量f1nh串接，得到该目标对象的基准特征f1con＝(f1nc,f1nh)。
步骤三，分别对各检索对象的衣物特征进行归一化，得到各检索对象的第三结果；分别对各检索对象的头部特征进行归一化，得到各检索对象的第四结果。
按照上述对每个目标对象归一化的方法，对每个检索对象的衣物特征分别进行归一化，得到每个检索对象的第三结果。以及对每个检索对象的头部特征分别进行归一化，得到每个检索对象的第四结果。具体不再一一赘述。
例如，准对每个检索对象，将该检索对象的衣物特征clothes的特征向量f2c归一化，得到f2nc；将该检索对象的头部特征head的特征向量f2h归一化，得到f2nh。
步骤四，针对各检索对象，将第三结果以及第四结果串接，得到各检索对象的当前特征。
按照上述对每个目标对象的将第一结果以及第二结果串接的方式，对每个检索对象的第三结果以及第四结果串接，得到各检索对象的当前特征。
例如，针对每个检索对象，将该检索对象的特征向量f2nc与该检索对象的特征向量f2nh串接，得到该检索对象的当前特征f2con＝(f2nc,f2nh)。
相应地，针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离，包括：
步骤五，针对每个检索对象，将该检索对象的当前特征与各目标对象的基准特征，通过第一预设公式进行距离计算，得到该检索对象与各目标对象的距离。
在上述得到每个目标对象的基准特征，以及每个检索对象的当前特征后，可通过第一预设公式计算每个检索对象与每个目标对象的距离。
在本发明实施例中，第一预设公式可采用欧式距离，余弦距离等距离计算公式中的任一种计算方式。针对每个检索对象，将该检索对象的当前特征与各目标对象的基准特征，采用该第一预设公式计算进行，得到该检索对象与各目标对象的距离。
另外，在本发明实施例中还可采用相关系数计算该检索对象的当前特征与各目标对象的基准特征之间的相关性。该相关系数ρ的公式如下所示：
Figure BDA0001516694120000131
其中，X表示检索对象的当前特征；Y表示目标对象的基准特征；σX表示检索对象的当前特征服从的正态分布函数的方差的开方值；σY表示目标对象的基准特征服从的正态分布函数的方差的开方值；μX表示检索对象的当前特征服从的正态分布函数的均值；μY表示目标对象的基准特征服从的正态分布函数的均值。
针对每个检索对象，将该检索对象的当前特征与各目标对象的基准特征，采用该相关系数公式计算进行，得到该检索对象与各目标对象的相似度。
可见，通过本发明实施例，可实现计算每个检索对象与各目标对象的组合特征之间的距离，进而得知每个检索对象与每个目标对象之间的综合相似程度。
可选地，在本发明实施例的人物识别方法的一种实施例中，在各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象之后，方法还包括：
步骤一，分别对各目标对象的衣物特征进行归一化，得到各目标对象的第一结果；分别对各目标对象的头部特征进行归一化，得到各目标对象的第二结果。
本发明实施例为将检索对象提取的各特征对应的特征向量归一化，以及将目标对象提取的各特征对应的特征向量归一化；分别将每个检索对象归一化后的各特征与每个目标对象对应的归一化后的特征，通过预设计算方式进行计算，确定每个检索对象归一化后的各特征与每个目标对象归一化后对应的特征之间的距离的实施方法。
本步骤为将各目标对象的各特征对应的特征向量归一化的实施方式。
在得到各目标对象后，对每个目标对象的衣物特征对应的特征向量，按照归一化方法进行归一化，得到每个目标对象的衣物特征对应的归一化结果，即为本发明实施例的第一结果。对每个目标对象的头部特征对应的特征向量，按照归一化方法进行归一化，得到每个目标对象的头部特征对应的归一化结果，即为本发明实施例的第二结果。
例如，针对每个目标对象，将该目标对象的衣物特征clothes的特征向量f1c归一化，得到f1nc；将该目标对象的头部特征head的特征向量f1h归一化，得到f1nh。
步骤二，分别对各检索对象的衣物特征进行归一化，得到各检索对象的第三结果；分别对各检索对象的头部特征进行归一化，得到各检索对象的第四结果。
按照上述对每个目标对象归一化的方法，对每个检索对象的衣物特征分别进行归一化，得到每个检索对象的第三结果。以及对每个检索对象的头部特征分别进行归一化，得到每个检索对象的第四结果。具体不在一一赘述。
例如，准对每个检索对象，将该检索对象的衣物特征clothes的特征向量f2c归一化，得到f2nc；将该检索对象的头部特征head的特征向量f2h归一化，得到f2nh。
相应地，针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离，包括：
步骤三，针对每个检索对象，将该检索对象的第三结果与各目标对象的第一结果，通过第二预设公式进行计算，得到第一距离。
上述在对每个目标对象以及每个检索对象各特征归一化后，针对每个检索对象，将该检索对象的第三结果与各目标对象的第一结果通过第二预设公式进行计算，得到距离值，在本实施例中将该距离定义为第一距离，该第一距离可表示为dc。
需要说明的是，该第二预设公式可采用欧式距离，余弦距离等距离计算公式中的任一种计算方式，且该第二预设公式可同于上述第一预设公式。
步骤四，针对每个检索对象，将该检索对象的第四结果与各目标对象的第二结果，通过第二预设公式进行计算，得到第二距离。
上述在确定了每个检索对象的第一距离后，可采用相同的计算方式，将该检索对象的第四结果与各目标对象的第二结果通过第二预设公式进行计算，得到距离值，在本实施例中将该距离定义为第二距离，该第二距离可表示为ds。
另外，本发明实施例中针对每个检索对象，可先计算第二距离再计算第一距离，且可同时计算第一距离以及第二距离，具体计算顺序不做限定。
步骤五，针对每个检索对象，将该检索对象对应的第一距离与各第二距离通过第三预设公式进行计算，得到该检索对象与各目标对象的距离。
上述针对每个检索对象，在得到第一距离以及第二距离后，可通过第三预设公式计算该检索对象与各目标对象的距离。该第三预设公式的作用为表现第一距离与第二距离的加权平均距离。例如，该检索对象与各目标对象的距离表示为dw，该检索对象的与各目标对象的第一距离dc的权重表示为ω1，该检索对象的与各目标对象的第二距离ds的权重表示为ω2，则该第三预设公式可表示为：
Figure BDA0001516694120000151
则通过上述第三预设公式，针对每个检索对象，得到该检索对象与各目标对象的距离。
可见，通过本发明实施例，可实现计算每个检索对象的各特征与各目标对象对应特征之间的距离，进而通过对各特征距离加权处理，得到每个检索对象的各特征与各目标对象的各特征之间的平均距离，进而得知每个检索对象与每个目标对象之间的相似程度。
可选地，在本发明实施例的人物识别方法的一种实施例中，针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物，包括：
步骤一，针对每个检索对象，查找该检索对象对应的位置离中，小于阈值的目标距离。
本发明实施例为针对每个检索对象确定该检索对象对应的目标对象的实施例。具体方式如下：
针对每个检索对象，得到该检索对象与各目标对象的距离后，可设置检索对象综合各特征与目标对象综合各特征得到的距离的阈值，该阈值表明该检索对象等同于目标对象可接受的最大范围值，则该阈值可通过特征对比技术人为的设置。距离值越小表明该检索对象与该目标对象的相似程度越接近。
在本步骤中设置检测程序，检测该检索对象与各目标对象的距离中距离小于阈值的各距离，将距离小于阈值的各距离确定为该检索对象的目标距离。
步骤二，查找目标距离对应的目标对象，将所查找到的目标对象确定为该检索对象对应的目标人物。
在上述确定了各检索对象的目标距离后，对应查找目标距离所对应的目标对象，将该目标对象确定为该检索对象的目标人物。
需要说明的是，任一检索对象确定的目标距离为多个时，可将该多个目标距离对应的各目标对象均作为该检索对象的目标人物，或者将该目标距离中数值最小的目标距离所对应的目标对象确定为该检索对象的目标人物。或者，当任一检索对象确定的一个目标距离对应多个目标对象时，可将该多个目标对象均作为该检索对象的目标人物。
另外，在本发明实施例中，当采用相关系数计算任一检索对象与各目标对象之间的相似度时，可设置相关性阈值。当计算的相似度大于阈值时，将相似度大于阈值时所对应的各目标对象，按照上述确定目标人物的方式确定该检索对象所对应的目标人物。
可见，通过本发明实施例，可实现确定每个不可识别身份的检索对象所对应的可识别身份的目标对象，进而增加目标对象的人物召回。
可选地，在本发明实施例的人物识别方法的一种实施例中，将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象，可如图2所示。图2为本发明实施例的一种人物身份识别方法的组合对象确定方法流程图，包括：
S201，根据预设的头部位置与衣物位置的组合条件，将各头部位置与各衣物位置进行组合，得到第一组合结果。
本发明实施例为按照预设条件，将提取的待处理视频中每帧图像中人物的人脸、头部以及衣物进行组合，进而得到各组合对象的实施方法。
按照预设的头部位置与衣物位置的组合条件，将头部位置与衣物位置进行组合，得到含有头部以及衣物特征的组合结果，即本发明实施例的第一组合结果。
具体的，可设置预设的头部位置与衣物位置的组合条件为：
(1)wc＞wh，hc＞hh，wc，hc分别为衣物特征的宽、高，wh，hh分别为头部特征的宽、高。
(2)syc＞cyh，syc为衣物特征左上角点的y坐标，cyh为头部特征的中点的y坐标。
(3)sxc＜cxh＜exc，sxc为衣物特征左上角点的x坐标，exc为衣物特征右下角点的x坐标，cxh为头部特征的中点的x坐标。
按照上述预设的头部位置与衣物位置的组合条件，将各头部位置与各衣物位置进行组合，得到第一组合结果。
S202，在第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将各人脸位置与各头部位置进行组合，得到各组合对象。
上述按照预设的头部位置与衣物位置的组合条件，将提取的头部特征与衣物特征进行组合后，在第一组合结果上，将人脸位置进行组合。
具体地，在上述第一组合结果的基础上找到头部位置与人脸位置匹配的各组合对象，进而得到能够识别人脸的各组合对象，以及能够识别人脸的各组合对象所对应的人脸编号。例如，预设的人脸位置与上述第一组合结果的头部位置的组合条件为：人脸位置rf在头部位置rh内，且头部位置rh与人脸位置rf的高度最相近。
进而，在上述确定第一组合结果中能够识别人脸的各组合后，剩余的第一组合对象即为本发明实施例所要确定无法识别身份的各组合对象。
可见，通过本发明实施例，可实现提取人物的多种特征，进而通过将提取到的多种特征进行组合，得到各组合对象。
为了更好的说明本发明实施例的一种人物识别方法，可有如图3所示的本发明实施例的另一种人物识别方法流程图，包括：
S301，将待处理视频进行解帧，例如，每秒帧数fps＝2；
S302，利用神经网络训练好的分类器对每帧图像进行人脸识别，得到人脸位置rf、置信度以及能够识别的人脸所对应的人脸编号entity id；
S303，利用神经网络训练好的目标检测器对每帧图像检测头部区域head，衣物区域clothes，得到头部位置rh、衣物位置rc；检测器可以同时检测head，clothes2个类别，输出为目标的外接矩形和置信度。检测器可以采用faster rcnn，ssd等检测模型；
S304，针对头部区域以及衣物区域，分别提取头部特征以及衣物特征；
S305，根据人脸位置rf、头部位置rh、衣物位置rc的大小及相对位置关系组合，形成各组合对象；
S306，选取组合对象中人脸编号为非空的组合对象，分别确定为目标对象，将剩余的组合对象分别确定为检索对象；
S307，针对每个检索对象，将该检索对象的衣物特征的特征向量fc归一化，得到fnc；将该检索对象的头部特征的特征向量fh归一化，得到fnh；将该检索对象归一化后的衣物特征的特征向量fnc与该检索对象归一化后的头部特征的特征向量fnh串接，得到fcon＝(fnc,fnh)；
S308，针对每个目标对象，将该目标对象的衣物特征的特征向量归一化，将该目标对象的头部特征的特征向量归一化，并将该目标对象归一化后的衣物特征的特征向量与归一化后的头部特征的特征向量串接；
S309，针对每个检索对象，采用欧式距离，计算该检索对象串接的特征向量fcon与各目标对象串接的特征向量之间的距离d；
S310，针对每个检索对象，查找各距离d中数值小于阈值a的目标距离，将该目标距离所对应的目标对象确定为该检索对象的目标人物。
可见，本发明实施例的一种人物识别方法，结合了人脸识别结果，头部特征，衣物特征来综合判断判断视频中，低分辨率正脸、侧脸以及背影等不可识别人脸信息的各组合对象的人物身份。另外，通过本发明实施例还解决了单纯利用人脸进行人物识别导致的召回率低的问题。
为了实现上述发明目的，在本发明实施的第二方面公开了一种人物识别装置，如图4所示。图4为本发明实施的一种人物识别装置结构示意图，包括：
人脸识别模块401，用于对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
特征提取模块402，用于对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
特征组合模块403，用于将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；
对象确定模块404，用于在各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；
距离确定模块405，用于针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；其中，各特征包括头部特征以及衣物特征；
人物确定模块406，用于针对每个检索对象，将各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
在本发明实施例提供的一种人物识别装置中，首先通过对人脸进行检测，进而识别可识别的人脸，并得到各可识别人脸的人脸编号。然后通过检测头部位置与衣物位置以及提取头部特征以及衣物特征，实现多特征的提取。进而通过预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。实现将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；并将与该检索对象的距离小于阈值的目标对象确定为该检索对象对应的目标人物，实现了对多种类型的特征进行近似分析，进而确定每个不可识别人脸所对应的各组合对象对应的能够准确识别的目标对象。本发明实施例最终实现了为视频图像中各不可识别人脸对应的低分辨率正脸、侧脸以及背影等无法确认人物身份的图像确定所对应的人物身份，增加人物的召回。
可选地，在本发明实施例的人物识别装置的一种实施例中，装置还包括：
第一对象归一化模块，用于分别对各目标对象的衣物特征进行归一化，得到各目标对象的第一结果；分别对各目标对象的头部特征进行归一化，得到各目标对象的第二结果；
基准特征确定模块，用于针对各目标对象，将第一结果以及第二结果串接，得到各目标对象的基准特征；
第二对象归一化模块，用于分别对各检索对象的衣物特征进行归一化，得到各检索对象的第三结果；分别对各检索对象的头部特征进行归一化，得到各检索对象的第四结果；
当前特征确定模块，用于针对各检索对象，将第三结果以及第四结果串接，得到各检索对象的当前特征。
相应地，距离确定模块405，具体用于针对每个检索对象，将该检索对象的当前特征与各目标对象的基准特征，通过第一预设公式进行距离计算，得到该检索对象与各目标对象的距离。
可选地，在本发明实施例的人物识别装置的一种实施例中，装置还包括：
第三对象归一化模块，用于分别对各目标对象的衣物特征进行归一化，得到各目标对象的第一结果；分别对各目标对象的头部特征进行归一化，得到各目标对象的第二结果；
第四对象归一化模块，用于分别对各检索对象的衣物特征进行归一化，得到各检索对象的第三结果；分别对各检索对象的头部特征进行归一化，得到各检索对象的第四结果；
相应地，距离确定模块405，包括：
第一距离确定子模块，用于针对每个检索对象，将该检索对象的第三结果与各目标对象的第一结果，通过第二预设公式进行计算，得到第一距离；
第二距离确定子模块，用于针对每个检索对象，将该检索对象的第四结果与各目标对象的第二结果，通过第二预设公式进行计算，得到第二距离；
目标距离确定子模块，用于针对每个检索对象，将该检索对象对应的第一距离与各第二距离通过第三预设公式进行计算，得到该检索对象与各目标对象的距离。
可选地，在本发明实施例的人物识别装置的一种实施例中，人物确定模块406，包括：
距离查找子模块，用于针对每个检索对象，查找该检索对象对应的距离中，小于阈值的目标距离；
人物确定子模块，用于查找目标距离对应的目标对象，将所查找到的目标对象确定为该检索对象对应的目标人物。
可选地，在本发明实施例的人物识别装置的一种实施例中，特征组合模块403，包括：
第一特征组合子模块，用于根据预设的头部位置与衣物位置的组合条件，将各头部位置与各衣物位置进行组合，得到第一组合结果；
第二特征组合子模块，用于在第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将各人脸位置与各头部位置进行组合，得到各组合对象。
为了实现上述发明目的，在本发明实施的又一方面公开了一种电子设备，如图5所示。图5为本发明实施例的一种电子设备结构示意图，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501、通信接口502、存储器503通过通信总线504完成相互间的通信；
存储器503，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如下方法步骤：
对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；
在各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；其中，各特征包括头部特征以及衣物特征；
针对每个检索对象，将各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
上述电子设备提到的通信总线504可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线504可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器503可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器503还可以是至少一个位于远离前述处理器501的存储装置。
上述的处理器501可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明实施例提供的一种电子设备中，首先通过对人脸进行检测，进而识别可识别的人脸，并得到各可识别人脸的人脸编号。然后通过检测头部位置与衣物位置以及提取头部特征以及衣物特征，实现多特征的提取。进而通过预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。实现将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；并将与该检索对象的距离小于阈值的目标对象确定为该检索对象对应的目标人物，实现了对多种类型的特征进行近似分析，进而确定每个不可识别人脸所对应的各组合对象对应的能够准确识别的目标对象。本发明实施例最终实现了为视频图像中各不可识别人脸对应的低分辨率正脸、侧脸以及背影等无法确认人物身份的图像确定所对应的人物身份，增加人物的召回。
为了实现上述发明目的，在本发明实施的又一方面公开了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一的人物识别方法。
在本发明实施例提供的一种计算机可读存储介质中，首先通过对人脸进行检测，进而识别可识别的人脸，并得到各可识别人脸的人脸编号。然后通过检测头部位置与衣物位置以及提取头部特征以及衣物特征，实现多特征的提取。进而通过预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。实现将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；并将与该检索对象的距离小于阈值的目标对象确定为该检索对象对应的目标人物，实现了对多种类型的特征进行近似分析，进而确定每个不可识别人脸所对应的各组合对象对应的能够准确识别的目标对象。本发明实施例最终实现了为视频图像中各不可识别人脸对应的低分辨率正脸、侧脸以及背影等无法确认人物身份的图像确定所对应的人物身份，增加人物的召回。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一的人物识别方法。
在本发明实施例提供的一种包含指令的计算机程序产品中，首先通过对人脸进行检测，进而识别可识别的人脸，并得到各可识别人脸的人脸编号。然后通过检测头部位置与衣物位置以及提取头部特征以及衣物特征，实现多特征的提取。进而通过预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。实现将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象。
针对每个检索对象，将该检索对象的归一化后的各特征与各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与各目标对象的距离；并将与该检索对象的距离小于阈值的目标对象确定为该检索对象对应的目标人物，实现了对多种类型的特征进行近似分析，进而确定每个不可识别人脸所对应的各组合对象对应的能够准确识别的目标对象。本发明实施例最终实现了为视频图像中各不可识别人脸对应的低分辨率正脸、侧脸以及背影等无法确认人物身份的图像确定所对应的人物身份，增加人物的召回。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，各实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置及电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种人物识别方法，其特征在于，包括：
对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；
针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离；其中，所述各特征包括头部特征以及衣物特征；
针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
2.根据权利要求1所述的方法，其特征在于，在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象之后，所述方法还包括：
分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
针对所述各目标对象，将所述第一结果以及所述第二结果串接，得到所述各目标对象的基准特征；
分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
针对所述各检索对象，将所述第三结果以及所述第四结果串接，得到所述各检索对象的当前特征；
相应地，所述针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离，包括：
针对每个检索对象，将该检索对象的所述当前特征与所述各目标对象的所述基准特征，通过第一预设公式进行距离计算，得到该检索对象与所述各目标对象的距离。
3.根据权利要求1所述的方法，其特征在于，在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象之后，所述方法还包括：
分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
相应地，所述针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离，包括：
针对每个检索对象，将该检索对象的第三结果与所述各目标对象的所述第一结果，通过第二预设公式进行计算，得到第一距离；
针对每个检索对象，将该检索对象的第四结果与所述各目标对象的所述第二结果，通过所述第二预设公式进行计算，得到第二距离；
针对每个检索对象，将该检索对象对应的第一距离与各第二距离通过第三预设公式进行计算，得到该检索对象与各目标对象的距离。
4.根据权利要求1所述的方法，其特征在于，所述针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物，包括：
针对每个检索对象，查找该检索对象对应的距离中，小于阈值的目标距离；
查找所述目标距离对应的目标对象，将所查找到的目标对象确定为该检索对象对应的目标人物。
5.根据权利要求1-4任一项所述的方法，其特征在于，将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象，包括：
根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
6.一种人物识别装置，其特征在于，包括：
人脸识别模块，用于对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
特征提取模块，用于对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
特征组合模块，用于将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
对象确定模块，用于在所述各组合对象中，将带有人脸编号的各组合对象确定为各目标对象；将剩余组合对象确定为各检索对象；
距离确定模块，用于针对每个检索对象，将该检索对象的归一化后的各特征与所述各目标对象对应的归一化后的特征，通过预设计算方式进行距离计算，确定该检索对象与所述各目标对象的距离；其中，所述各特征包括头部特征以及衣物特征；
人物确定模块，用于针对每个检索对象，将所述各目标对象与该检索对象的距离小于阈值的目标对象，确定为该检索对象对应的目标人物。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一对象归一化模块，用于分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
基准特征确定模块，用于针对所述各目标对象，将所述第一结果以及所述第二结果串接，得到所述各目标对象的基准特征；
第二对象归一化模块，用于分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
当前特征确定模块，用于针对所述各检索对象，将所述第三结果以及所述第四结果串接，得到所述各检索对象的当前特征；
相应地，所述距离确定模块，具体用于针对每个检索对象，将该检索对象的所述当前特征与所述各目标对象的所述基准特征，通过第一预设公式进行距离计算，得到该检索对象与所述各目标对象的距离。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第三对象归一化模块，用于分别对所述各目标对象的衣物特征进行归一化，得到所述各目标对象的第一结果；分别对所述各目标对象的头部特征进行归一化，得到所述各目标对象的第二结果；
第四对象归一化模块，用于分别对所述各检索对象的衣物特征进行归一化，得到所述各检索对象的第三结果；分别对所述各检索对象的头部特征进行归一化，得到所述各检索对象的第四结果；
相应地，所述距离确定模块，包括：
第一距离确定子模块，用于针对每个检索对象，将该检索对象的第三结果与所述各目标对象的所述第一结果，通过第二预设公式进行计算，得到第一距离；
第二距离确定子模块，用于针对每个检索对象，将该检索对象的第四结果与所述各目标对象的所述第二结果，通过所述第二预设公式进行计算，得到第二距离；
目标距离确定子模块，用于针对每个检索对象，将该检索对象对应的第一距离与各第二距离通过第三预设公式进行计算，得到该检索对象与各目标对象的距离。
9.根据权利要求6所述的装置，其特征在于，所述人物确定模块，包括：
距离查找子模块，用于针对每个检索对象，查找该检索对象对应的距离中，小于阈值的目标距离；
人物确定子模块，用于查找所述目标距离对应的目标对象，将所查找到的目标对象确定为该检索对象对应的目标人物。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述特征组合模块，包括：
第一特征组合子模块，用于根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
第二特征组合子模块，用于在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN201711386394.9A 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备 Active CN108154099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711386394.9A CN108154099B (zh) 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711386394.9A CN108154099B (zh) 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108154099A CN108154099A (zh) 2018-06-12
CN108154099B true CN108154099B (zh) 2021-04-30

Family

ID=62464055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711386394.9A Active CN108154099B (zh) 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108154099B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034150B (zh) * 2018-06-15 2021-09-21 北京小米移动软件有限公司 图像处理方法及装置
CN109740516B (zh) * 2018-12-29 2021-05-14 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
KR20220004628A (ko) * 2019-03-12 2022-01-11 엘리먼트, 인크. 모바일 디바이스를 이용한 안면 인식 스푸핑의 검출
CN110163096B (zh) * 2019-04-16 2021-11-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备和计算机可读介质
CN111339979B (zh) * 2020-03-04 2023-09-19 平安科技（深圳）有限公司 基于特征提取的图像识别方法及图像识别装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021899A (zh) * 2007-03-16 2007-08-22 南京搜拍信息技术有限公司 综合利用人脸及人体辅助信息的交互式人脸识别***及方法
CN103617426A (zh) * 2013-12-04 2014-03-05 东北大学 一种自然环境干扰和有遮挡时的行人目标检测方法
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和***
CN104408402A (zh) * 2014-10-29 2015-03-11 小米科技有限责任公司 人脸识别方法及装置
CN104850828A (zh) * 2015-04-29 2015-08-19 小米科技有限责任公司 人物识别方法及装置
CN105184280A (zh) * 2015-10-10 2015-12-23 东方网力科技股份有限公司 一种人体身份识别方法及装置
CN105631403A (zh) * 2015-12-17 2016-06-01 小米科技有限责任公司 人脸识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021899A (zh) * 2007-03-16 2007-08-22 南京搜拍信息技术有限公司 综合利用人脸及人体辅助信息的交互式人脸识别***及方法
CN103617426A (zh) * 2013-12-04 2014-03-05 东北大学 一种自然环境干扰和有遮挡时的行人目标检测方法
CN104408402A (zh) * 2014-10-29 2015-03-11 小米科技有限责任公司 人脸识别方法及装置
CN104361327A (zh) * 2014-11-20 2015-02-18 苏州科达科技股份有限公司 一种行人检测方法和***
CN104850828A (zh) * 2015-04-29 2015-08-19 小米科技有限责任公司 人物识别方法及装置
CN105184280A (zh) * 2015-10-10 2015-12-23 东方网力科技股份有限公司 一种人体身份识别方法及装置
CN105631403A (zh) * 2015-12-17 2016-06-01 小米科技有限责任公司 人脸识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Face recognition in multi-camera surveillance videos;Le An,et al.;《Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012)》;20130214;全文 *

Also Published As

Publication number Publication date
CN108154099A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN108154099B (zh) 一种人物识别方法、装置及电子设备
CN108154171B (zh) 一种人物识别方法、装置及电子设备
US10534957B2 (en) Eyeball movement analysis method and device, and storage medium
CN108932456B (zh) 人脸识别方法、装置和***及存储介质
WO2020125216A1 (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
US8750573B2 (en) Hand gesture detection
CN108875493B (zh) 人脸识别中相似度阈值的确定方法以及确定装置
CN110135246A (zh) 一种人体动作的识别方法及设备
CN108038176B (zh) 一种路人库的建立方法、装置、电子设备及介质
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
US20120027252A1 (en) Hand gesture detection
CN107832700A (zh) 一种人脸识别方法与***
US8090151B2 (en) Face feature point detection apparatus and method of the same
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
US11126827B2 (en) Method and system for image identification
CN111079785A (zh) 一种图像识别方法、装置及终端设备
US10489636B2 (en) Lip movement capturing method and device, and storage medium
US10095931B2 (en) Store-entering person attribute extraction apparatus, store-entering person attribute extraction method, and non-transitory computer readable medium
CN110909784A (zh) 一种图像识别模型的训练方法、装置及电子设备
JP5489340B2 (ja) 顔マスキング装置及び方法
TW202042113A (zh) 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
CN111126102A (zh) 人员搜索方法、装置及图像处理设备
CN111476070A (zh) 图像处理方法、装置、电子设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant