CN111507232B - 多模态多策略融合的陌生人识别方法和*** - Google Patents

多模态多策略融合的陌生人识别方法和*** Download PDF

Info

Publication number
CN111507232B
CN111507232B CN202010283240.2A CN202010283240A CN111507232B CN 111507232 B CN111507232 B CN 111507232B CN 202010283240 A CN202010283240 A CN 202010283240A CN 111507232 B CN111507232 B CN 111507232B
Authority
CN
China
Prior art keywords
face
recognition result
images
feature vectors
face images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010283240.2A
Other languages
English (en)
Other versions
CN111507232A (zh
Inventor
曹恩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengjing Intelligent Technology Jiaxing Co ltd
Original Assignee
Shengjing Intelligent Technology Jiaxing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengjing Intelligent Technology Jiaxing Co ltd filed Critical Shengjing Intelligent Technology Jiaxing Co ltd
Priority to CN202010283240.2A priority Critical patent/CN111507232B/zh
Publication of CN111507232A publication Critical patent/CN111507232A/zh
Application granted granted Critical
Publication of CN111507232B publication Critical patent/CN111507232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种多模态多策略融合的陌生人识别方法和***，应用于服务器，包括：通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；基于多个人脸类别对第一识别结果进行修正，得到第二识别结果。本发明缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。

Description

多模态多策略融合的陌生人识别方法和***
技术领域
本发明涉及人脸识别技术领域，尤其是涉及一种多模态多策略融合的陌生人识别方法和***。
背景技术
现代公司的绝密资料(例如生产工艺资料)的泄露和生产物料的丢失一直以来都是公司管控的难点。而对所有进入公司园区的人员进行管控追溯、及时识别陌生人员和可疑人员并能形成相应轨迹和频次分析，实现在发生问题前进行有效的预警、在发生问题后进行有效的追溯，可以在很大程度上缓解上述问题。在这个过程中，核心是陌生人员和可疑人员的识别。
现有技术中，通常采用的陌生人识别方法是通过员工库、家属库等黑白名单库的识别结果，直接判断非上述库内人员都为陌生人。该方法仅通过单张单维度的信息进行陌生人判断，存在误识别率高的技术问题，同时还存在着精度和召回率都较低的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种多模态多策略融合的陌生人识别方法和***，以缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。
第一方面，本发明实施例提供了一种多模态多策略融合的陌生人识别方法，应用于服务器，包括：通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；将所述多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；所述预设特征向量库为预设人脸图像的特征向量的集合；基于所述比对结果对所述多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；所述第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；基于所述多个特征向量对所述多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸；基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，所述第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。
进一步地，包括：在通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量之前，所述方法还包括：检测多个目标图像中的人脸图像，得到多个初始人脸图像；所述多个目标图像为包括待识别人脸图像的图像帧；基于所述多个初始人脸图像得到多个待识别人脸图像。
进一步地，基于所述多个初始人脸图像得到多个待识别人脸图像，包括：通过训练之后的人脸质量评估模型对所述多个初始人脸图像进行质量评估操作，得到人脸质量分数；将所述多个初始人脸图像中所述人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。
进一步地，基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，包括：将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。
进一步地，在基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果之后，所述方法还包括：获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；基于所述抓拍位置信息，绘制所述人脸类别所对应的目标人脸的移动路径。
进一步地，在基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果之后，所述方法还包括：将所述第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。
第二方面，本发明实施例还提供了一种多模态多策略融合的陌生人识别***，应用于服务器，包括：特征提取模块，比对模块，识别模块，聚类模块和修正模块，其中，所述特征提取模块，用于通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；所述比对模块，用于将所述多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；所述预设特征向量库为预设人脸图像的特征向量的集合；所述识别模块，用于基于所述比对结果对所述多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；所述第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；所述聚类模块，用于基于所述多个特征向量对所述多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸；所述修正模块，用于基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，所述第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。
进一步地，所述***还包括：路径绘制模块，用于：获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；基于所述抓拍位置信息，绘制所述人脸类别所对应的目标人脸的移动路径。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。
本发明提供了一种多模态多策略融合的陌生人识别方法和***，通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；基于多个人脸类别对第一识别结果进行修正，得到第二识别结果。本发明通过将人脸识别模型与聚类分析相融合的方式，提高了陌生人脸识别的准确率，以及提升了陌生人识别抓取的召回率和精度，缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种多模态多策略融合的陌生人识别方法的流程图；
图2为本发明实施例提供的另一种多模态多策略融合的陌生人识别方法的流程图；
图3为本发明实施例提供的一种多模态多策略融合的陌生人识别***的示意图；
图4为本发明实施例提供的另一种多模态多策略融合的陌生人识别***的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1是根据本发明实施例提供的一种多模态多策略融合的陌生人识别方法的流程图，该方法应用于服务器。如图1所示，该方法具体包括如下步骤：
步骤S102，通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量。
步骤S104，将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；预设特征向量库为预设人脸图像的特征向量的集合。
可选地，预设向量库包括已知人脸图像的特征向量库和陌生人脸的特征向量库，其中，已知人脸图像向量库包括：员工底库，家属底库，常驻外包底库和黑名单底库。
步骤S106，基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。
步骤S108，基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸。
步骤S110，基于多个人脸类别对第一识别结果进行修正，得到第二识别结果，第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。
本发明提供的一种多模态多策略融合的陌生人识别方法，通过将人脸识别模型与聚类分析相融合的方式，提高了陌生人脸识别的准确率，以及提升了陌生人识别抓取的召回率和精度，缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。
可选地，本发明实施例提供的方法在步骤S102之前还包括获取多个待识别人脸图像的步骤，具体地，检测多个目标图像中的人脸图像，得到多个初始人脸图像；多个目标图像为包括待识别人脸图像的图像帧；基于多个初始人脸图像得到多个待识别人脸图像。
在本发明实施例中，首先通过摄像头获取包括待识别人脸图像的图像帧，然后通过人脸检测的方法对图像帧进行人脸检测和人脸对齐操作，获取对齐矫正之后的人脸图像，得到多个初始人脸图像，再对初始人脸图像进行人脸质量筛选，过滤掉模糊、遮挡、大姿态、强光照等人脸质量不合格的人脸图像，最后得到多个待识别人脸图像。
具体地，基于多个初始人脸图像得到多个待识别人脸图像，包括：通过训练之后的人脸质量评估模型对多个初始人脸图像进行质量评估操作，得到人脸质量分数；将多个初始人脸图像中人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。
在本发明实施例中，将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；然后基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果。
具体地，首先计算每个特征向量与预设特征向量库中的特征向量之间的距离，判断最小距离是否小于预设阈值；如果小于，则可以确定所述特征向量是属于预设特征向量库中的已知人脸图像的特征向量库还是陌生人脸的特征向量库；如果大于或者等于，则确定所述特征向量不在预设特征向量库中；将上述判断结果确定为比对结果。根据比对结果，例如特征向量属于已知人脸图像的特征向量库，则识别该特征向量所对应的待识别人脸图像为非陌生人脸图像；如果特征向量属于陌生人脸的特征向量库或者该特征向量不在预设特征向量库中，则识别该特征向量所对应的待识别人脸图像为陌生人脸图像。
可选地，步骤S110包括：将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。
具体地，首先确定属于同一个人脸类别的多个待识别人脸图像中，每个待识别人脸图像的第一识别结果，如果多个带识别人脸图像的第一识别结果不相同，则根据每种识别结果所对应的待识别人脸图像的所占比例对第一识别结果进行修正，修正为相同的识别结果。例如，属于同一个人脸类别的待识别人脸图像的数量为10个，其中有8个待识别人脸图像的第一识别结果为陌生人脸图像，有2个待识别人脸图像的第一识别结果为非陌生人脸图像，则将2个识别结果为非陌生人脸图像的待识别人脸图像的识别结果修正为陌生人脸图像。
可选地，图2是根据本发明实施例提供的另一种多模态多策略融合的陌生人识别方法的流程图，如图2所示，该方法还包括：
步骤S112，获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息。
具体地，可以根据待识别人脸图像所在的图像帧所对应的抓拍视频，以及拍摄所述抓拍视频的摄像头的位置，确定待识别人脸图像的抓拍位置信息。
步骤S114，基于抓拍位置信息，绘制人脸类别所对应的目标人脸的移动路径。
在本发明实施例中，可以根据人脸识别结果，确定每个人脸类别对应的待识别人脸图像是否属于陌生人脸图像，同时能够根据待识别人脸图像的抓拍位置信息，绘制每个人脸类别对应的人脸的移动路径。例如，可以绘制出识别到的陌生人脸图像的移动路径，从而可以实现对进入识别区域内的陌生人的出入进行跟踪的功能。
可选地，如图2所示，该方法还包括：
步骤S116，将第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。
具体地，将步骤S108中得到的每个人脸类别的聚类中心所对应的待识别人脸图像存入预设陌生人脸底库。
本发明实施例提供了一种多模态多策略融合的陌生人识别方法，通过摄像头获取抓拍数据后首先对抓拍的图片进行人脸检测对齐，获取对齐矫正后的人脸图像，然后经过人脸识别完成特征向量提取并与预设特征向量库的特征向量进行检索比对，得到第一识别结果，再经过聚类算法对第一识别结果进行修正，得到最终的第二识别结果，最后根据第二识别结果完成当天陌生人入库。
本发明实施例融合了人脸检测、人脸质量评估、人脸识别特征、聚类算法以及动线轨迹分析等多种模态和多种策略，实现了完备的陌生人识别方法，极大的提升了陌生人识别抓取的召回和精度，以及提高了对于陌生人的识别准确率。
实施例二：
图3是根据本发明实施例提供的一种多模态多策略融合的陌生人识别***的示意图，该***应用于服务器。如图3所示，该***包括：特征提取模块10，比对模块20，识别模块30，聚类模块40和修正模块50。
具体地，特征提取模块10，用于通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量。
比对模块20，用于将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；预设特征向量库为预设人脸图像的特征向量的集合。
识别模块30，用于基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。
聚类模块40，用于基于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸。
修正模块50，用于基于多个人脸类别对第一识别结果进行修正，得到第二识别结果，第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像。
具体地，修正模块50，用于将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。
本发明提供了一种多模态多策略融合的陌生人识别***，通过特征提取模块利用训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；通过比对模块将多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；通过识别模块基于比对结果对多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；基通过聚类模块于多个特征向量对多个待识别人脸图像进行聚类分析，得到多个人脸类别；最后通过修正模块基于多个人脸类别对第一识别结果进行修正，得到第二识别结果。本发明通过将人脸识别模型与聚类分析想融合的方式，提高了陌生人脸识别的准确率，以及提升了陌生人识别抓取的召回率和精度，缓解了现有技术中存在的误识别率高和精度低、召回率低的技术问题。
可选地，图4是根据本发明实施例提供的另一种多模态多策略融合的陌生人识别方法和***的示意图，如图4所示，该***还包括：人脸检测模块60和人脸质量评估模块70。
具体地，人脸检测模块60，用于检测多个目标图像中的人脸图像，得到多个初始人脸图像；其中，多个目标图像为包括待识别人脸图像的图像帧。
人脸质量评估模块70，用于基于多个初始人脸图像得到多个待识别人脸图像。
具体地，人脸质量评估模块70，用于通过训练之后的人脸质量评估模型对多个初始人脸图像进行质量评估操作，得到人脸质量分数；将多个初始人脸图像中人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。
可选地，如图4所示，***还包括：路径绘制模块80，用于获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；基于抓拍位置信息，绘制人脸类别所对应的目标人脸的移动路径。
可选地，如图4所示，***还包括：入库模块90，用于将第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。
本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一中的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种多模态多策略融合的陌生人识别方法，其特征在于，应用于服务器，包括：
通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；
将所述多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；所述预设特征向量库为预设人脸图像的特征向量的集合；
基于所述比对结果对所述多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；所述第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；
基于所述多个特征向量对所述多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸；
基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，所述第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；
基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，包括：
将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。
2.根据权利要求1所述的方法，其特征在于，包括：在通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量之前，所述方法还包括：
检测多个目标图像中的人脸图像，得到多个初始人脸图像；所述多个目标图像为包括待识别人脸图像的图像帧；
基于所述多个初始人脸图像得到多个待识别人脸图像。
3.根据权利要求2所述的方法，其特征在于，基于所述多个初始人脸图像得到多个待识别人脸图像，包括：
通过训练之后的人脸质量评估模型对所述多个初始人脸图像进行质量评估操作，得到人脸质量分数；
将所述多个初始人脸图像中所述人脸质量分数高于预设分数的人脸图像，作为待识别人脸图像。
4.根据权利要求1所述的方法，其特征在于，在基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果之后，所述方法还包括：
获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；
基于所述抓拍位置信息，绘制所述人脸类别所对应的目标人脸的移动路径。
5.根据权利要求1所述的方法，其特征在于，在基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果之后，所述方法还包括：
将所述第二识别结果为陌生人脸图像的待识别图像存入预设陌生人脸底库。
6.一种多模态多策略融合的陌生人识别***，其特征在于，应用于服务器，包括：特征提取模块，比对模块，识别模块，聚类模块和修正模块，其中，
所述特征提取模块，用于通过训练之后的人脸识别模型提取多个待识别人脸图像的特征向量，得到多个特征向量；
所述比对模块，用于将所述多个特征向量分别与预设特征向量库中的特征向量进行比对操作，得到比对结果；所述预设特征向量库为预设人脸图像的特征向量的集合；
所述识别模块，用于基于所述比对结果对所述多个待识别人脸图像中的每个待识别人脸图像进行识别，得到第一识别结果；所述第一识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；
所述聚类模块，用于基于所述多个特征向量对所述多个待识别人脸图像进行聚类分析，得到多个人脸类别；其中一个人脸类别对应于一个人的人脸；
所述修正模块，用于基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，所述第二识别结果包括以下任一项：陌生人脸图像，非陌生人脸图像；
所述修正模块，具体用于：
基于所述多个人脸类别对所述第一识别结果进行修正，得到第二识别结果，包括：
将属于同一个人脸类别的多个待识别人脸图像的第一识别结果，修正为相同的识别结果，得到第二识别结果。
7.根据权利要求6所述的***，其特征在于，所述***还包括：路径绘制模块，用于：
获取属于同一个人脸类别的多个待识别人脸图像的抓拍位置信息；
基于所述抓拍位置信息，绘制所述人脸类别所对应的目标人脸的移动路径。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
9.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至5任一项所述方法。
CN202010283240.2A 2020-04-10 2020-04-10 多模态多策略融合的陌生人识别方法和*** Active CN111507232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010283240.2A CN111507232B (zh) 2020-04-10 2020-04-10 多模态多策略融合的陌生人识别方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010283240.2A CN111507232B (zh) 2020-04-10 2020-04-10 多模态多策略融合的陌生人识别方法和***

Publications (2)

Publication Number Publication Date
CN111507232A CN111507232A (zh) 2020-08-07
CN111507232B true CN111507232B (zh) 2023-07-21

Family

ID=71874643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010283240.2A Active CN111507232B (zh) 2020-04-10 2020-04-10 多模态多策略融合的陌生人识别方法和***

Country Status (1)

Country Link
CN (1) CN111507232B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396005A (zh) * 2020-11-23 2021-02-23 平安科技（深圳）有限公司 生物特征图像识别方法、装置、电子设备及可读存储介质
CN112364825B (zh) * 2020-11-30 2022-10-25 支付宝(杭州)信息技术有限公司 用于人脸识别的方法、装置和计算机可读存储介质
CN112597850B (zh) * 2020-12-15 2022-04-19 浙江大华技术股份有限公司 一种身份识别方法及装置
CN113010731B (zh) * 2021-02-22 2022-05-20 杭州西湖数据智能研究院 多模态视频检索***
CN114937301A (zh) * 2022-05-19 2022-08-23 北京爱奇艺科技有限公司 一种人物识别方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546625A (zh) * 2011-12-31 2012-07-04 深圳市永达电子股份有限公司 半监督聚类集成的协议识别***
CN106850333A (zh) * 2016-12-23 2017-06-13 中国科学院信息工程研究所 一种基于反馈聚类的网络设备识别方法及***
CN107741996A (zh) * 2017-11-30 2018-02-27 北京奇虎科技有限公司 基于人脸识别的家庭图谱构建方法及装置、计算设备
CN108156018A (zh) * 2017-11-27 2018-06-12 上海观安信息技术股份有限公司 电力网络设备拓扑识别方法、电子设备和计算机存储介质
CN108491794A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 面部识别的方法和装置
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和***
CN109299707A (zh) * 2018-10-30 2019-02-01 天津师范大学 一种基于模糊深度聚类的无监督行人再识别方法
CN109829433A (zh) * 2019-01-31 2019-05-31 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质
CN110348272A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 动态人脸识别的方法、装置、***和介质
CN110472460A (zh) * 2018-05-11 2019-11-19 北京京东尚科信息技术有限公司 人脸图像处理方法及装置
CN110866515A (zh) * 2019-11-22 2020-03-06 三一重工股份有限公司 厂房内对象行为识别方法、装置以及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
CN102646197A (zh) * 2012-02-20 2012-08-22 华焦宝 预警信息发布方法及***
CN105488527B (zh) * 2015-11-27 2020-01-10 小米科技有限责任公司 图像分类方法及装置
CN107067504A (zh) * 2016-12-25 2017-08-18 北京中海投资管理有限公司 一种人脸识别安防***及可疑人员检测与预警方法
CN107766797A (zh) * 2017-09-27 2018-03-06 汉柏科技有限公司 一种陌生人识别方法和***
CN108229321B (zh) * 2017-11-30 2021-09-21 北京市商汤科技开发有限公司 人脸识别模型及其训练方法和装置、设备、程序和介质
CN109063691B (zh) * 2018-09-03 2021-04-20 武汉普利商用机器有限公司 一种人脸识别底库优化方法及***
CN109816582A (zh) * 2019-01-28 2019-05-28 重庆中科云从科技有限公司 区控安防方法及装置
CN110414433A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546625A (zh) * 2011-12-31 2012-07-04 深圳市永达电子股份有限公司 半监督聚类集成的协议识别***
CN106850333A (zh) * 2016-12-23 2017-06-13 中国科学院信息工程研究所 一种基于反馈聚类的网络设备识别方法及***
CN108156018A (zh) * 2017-11-27 2018-06-12 上海观安信息技术股份有限公司 电力网络设备拓扑识别方法、电子设备和计算机存储介质
CN107741996A (zh) * 2017-11-30 2018-02-27 北京奇虎科技有限公司 基于人脸识别的家庭图谱构建方法及装置、计算设备
CN108491794A (zh) * 2018-03-22 2018-09-04 腾讯科技（深圳）有限公司 面部识别的方法和装置
CN110348272A (zh) * 2018-04-03 2019-10-18 北京京东尚科信息技术有限公司 动态人脸识别的方法、装置、***和介质
CN110472460A (zh) * 2018-05-11 2019-11-19 北京京东尚科信息技术有限公司 人脸图像处理方法及装置
CN109086739A (zh) * 2018-08-23 2018-12-25 成都睿码科技有限责任公司 一种无人脸数据训练的人脸识别方法和***
CN109299707A (zh) * 2018-10-30 2019-02-01 天津师范大学 一种基于模糊深度聚类的无监督行人再识别方法
CN109829433A (zh) * 2019-01-31 2019-05-31 北京市商汤科技开发有限公司 人脸图像识别方法、装置、电子设备及存储介质
CN110866515A (zh) * 2019-11-22 2020-03-06 三一重工股份有限公司 厂房内对象行为识别方法、装置以及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Clustering of static-adaptive correspondences for deformable object tracking;Nebehay G等;《/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;2784-2791 *
基于多模板匹配的行人检测算法研究;洪传文;《中国优秀硕士学位论文全文数据库信息科技辑》(第3期);I138-6668 *
基于灰色关联与模糊聚类分析的负荷预处理方法;林顺富等;《电测与仪表》;第4卷(第11期);36-42 *
基于聚类分析和集成神经网络的序列图像多目标识别算法;周涛等;《计算机科学》;第36卷(第3期);215-219 *

Also Published As

Publication number Publication date
CN111507232A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507232B (zh) 多模态多策略融合的陌生人识别方法和***
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及***
US11704936B2 (en) Object tracking and best shot detection system
CN108805900B (zh) 一种跟踪目标的确定方法及装置
CN105938622B (zh) 检测运动图像中的物体的方法和装置
CN109145742B (zh) 一种行人识别方法及***
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
Bayona et al. Comparative evaluation of stationary foreground object detection algorithms based on background subtraction techniques
KR101546137B1 (ko) 인물 인식 장치 및 방법
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN109670383B (zh) 视频遮蔽区域选取方法、装置、电子设备及***
US8860815B2 (en) Apparatus, method and computer program for image-based tracking of surveillance objects
CN111161206A (zh) 一种图像抓拍方法、监控相机及监控***
CN112183162A (zh) 一种监控场景下人脸自动注册识别***及方法
CN111476160A (zh) 损失函数优化方法、模型训练方法、目标检测方法及介质
CN112906483A (zh) 一种目标重识别方法、装置及计算机可读存储介质
CN110826390A (zh) 一种基于人脸矢量特征的视频数据处理方法
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及***
CN113837006A (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN112104838B (zh) 图像分辨方法及其监控摄像机与监控摄像***
CN111860100B (zh) 行人数量的确定方法、装置、电子设备及可读存储介质
Zhang et al. What makes for good multiple object trackers?
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN112907206A (zh) 一种基于视频对象识别的业务审核方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230523

Address after: 314506 room 116, building 4, No. 288, development avenue, Tongxiang Economic Development Zone, Tongxiang City, Jiaxing City, Zhejiang Province

Applicant after: Shengjing Intelligent Technology (Jiaxing) Co.,Ltd.

Address before: 102200 5th floor, building 6, No.8 Beiqing Road, Changping District, Beijing

Applicant before: SANY HEAVY INDUSTRY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant