CN111739060B - 识别方法、设备及存储介质 - Google Patents

识别方法、设备及存储介质 Download PDF

Info

Publication number
CN111739060B
CN111739060B CN201910706446.9A CN201910706446A CN111739060B CN 111739060 B CN111739060 B CN 111739060B CN 201910706446 A CN201910706446 A CN 201910706446A CN 111739060 B CN111739060 B CN 111739060B
Authority
CN
China
Prior art keywords
image
images
target
objects
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910706446.9A
Other languages
English (en)
Other versions
CN111739060A (zh
Inventor
刘武
鲍慊
梅涛
阮威健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910706446.9A priority Critical patent/CN111739060B/zh
Publication of CN111739060A publication Critical patent/CN111739060A/zh
Application granted granted Critical
Publication of CN111739060B publication Critical patent/CN111739060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种识别方法、设备和存储介质，所述方法包括：获得至少两个图像；获得各个图像中的各个对象的关键点信息；至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列；基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。

Description

识别方法、设备及存储介质
技术领域
本申请涉及识别技术，具体涉及一种识别方法、设备和存储介质。
背景技术
对象跟踪是通过计算机视觉技术获得视频中每个对象的位置和跟踪编号、如行人的位置和行人的跟踪编号。相关技术中，对于视频中相邻两帧图像中的对象，通常需要两个步骤、如行人识别和行人跟踪数据的关联两个步骤来至少实现对该两帧图像中出现的行人的跟踪。以相邻两帧图像为当前帧和前一帧为例，当前帧至少需要通过前述的两个步骤区分出当前帧出现的与前一帧相同的行人，当前帧新出现的行人以及在前一帧出现但是在当前帧消失的行人。为保证这两个步骤的准确性，通常采用各自的网络模型进行行人识别和跟踪数据的关联。可以理解，利用用于行人识别的网络模型和用于跟踪数据的关联的网络模型进行行人识别和跟踪数据的关联之前，均需要进行模型的各自训练，利用训练好的网络模型进行行人识别和跟踪数据的关联。可以理解，采用两个独立的网络模型实现对象跟踪，一方面，对两个不同的网络模型进行训练，无形当中增加了计算量；另一方面，用于行人识别的网络模型的输出通常为用于跟踪数据的关联的网络模型的输入，而两个独立的网络模型采用不同的方式进行处理，使得用于跟踪数据的关联的网络模型无法得到期望输入也即两个网络模型之间无法实现有效衔接。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种识别方法、设备和存储介质，至少能够避免由于相关技术中采用两个独立网络模型而导致的计算量大、模型之间无法有效衔接的问题。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种识别方法，所述方法包括：
获得至少两个图像；
获得各个图像中的各个对象的关键点信息；
至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列；
基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；
基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。
上述方案中，所述方法包括：
获得针对各个图像中的各个对象的至少两个全局特征图，其中同一对象的不同全局特征图之间至少部分不同；
相应的，所述至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列，包括：
基于所述各个对象的至少两个全局特征图和关键点信息，确定所述各个对象的局部特征序列。
上述方案中，所述基于所述各个对象的至少两个全局特征图和关键点信息，确定所述各个对象的局部特征序列，包括：
所述各个对象的关键点信息至少表征为各个对象的至少两个关键部位的位置信息；
从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；
基于各个对象的各个目标图像，确定各个对象的局部特征序列。
上述方案中，所述基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，包括：
将第ti图像中的各个对象和第ti-1图像中的各个对象的特征序列进行两两组合，得到特征张量信息，其中，所述第ti图像、第ti-1图像为所述至少两个图像中的两幅相邻图像；
对特征张量信息进行至少两次卷积处理，得到两个目标矩阵，所述目标矩阵中的至少部分元素表示为第ti图像、第ti-1图像中任意两个对象的相似程度；
基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数。
上述方案中，所述基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数，包括：
将所述两个目标矩阵中的第一目标矩阵按列进行归一化指数函数softmax运算，得到第一匹配概率矩阵，所述第一匹配概率矩阵的至少部分元素表示为第ti图像到第ti-1图像对象之间的匹配概率；
将所述两个目标矩阵中的第二目标矩阵按行进行softmax运算，得到第二匹配概率矩阵，所述第二匹配概率矩阵中的至少部分元素表示为第ti-1图像到第ti图像对象之间的匹配概率；
将第一匹配概率矩阵和第二匹配概率矩阵中，取同一位置上的取值大的元素值作为所述第一图像和第二图像中的相应对象间的第一参数。
本申请实施例提供一种识别设备，所述设备包括：
第一获得单元，用于获得至少两个图像；
第二获得单元，用于获得各个图像中的各个对象的关键点信息；
第一确定单元，用于至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列；
第三获得单元，用于基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；
第二确定单元，用于至少基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。
上述方案中，所述设备还包括：
第四获得单元，用于获得针对各个图像中的各个对象的至少两个全局特征图，其中同一对象的不同全局特征图之间至少部分不同；
相应的，所述第一确定单元，用于基于所述各个对象的至少两个全局特征图和关键点信息，确定所述各个对象的局部特征序列。
上述方案中，所述第一确定单元，用于：
所述各个对象的关键点信息至少表征为各个对象的至少两个关键部位的位置信息；
从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；
基于各个对象的各个目标图像，确定各个对象的局部特征序列。
上述方案中，所述第三获得单元，用于：
将第ti图像中的各个对象和第ti-1图像中的各个对象的特征序列进行两两组合，得到特征张量信息，其中，所述第ti图像、第ti-1图像为所述至少两个图像中的两幅相邻图像；
对特征张量信息进行至少两次卷积处理，得到两个目标矩阵，所述目标矩阵中的至少部分元素表示为第ti图像、第ti-1图像中任意两个对象的相似程度；
基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数。
上述方案中，所述第三获得单元，用于：
将所述两个目标矩阵中的第一目标矩阵按列进行归一化指数函数softmax运算，得到第一匹配概率矩阵，所述第一匹配概率矩阵的至少部分元素表示为第ti图像到第ti-1图像对象之间的匹配概率；
将所述两个目标矩阵中的第二目标矩阵按行进行softmax运算，得到第二匹配概率矩阵，所述第二匹配概率矩阵中的至少部分元素表示为第ti-1图像到第ti图像对象之间的匹配概率；
将第一匹配概率矩阵和第二匹配概率矩阵中，取同一位置上的取值大的元素值作为所述第一图像和第二图像中的相应对象间的第一参数。
本申请实施例提供一种识别设备，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行前述的识别方法。
本申请实施例一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述的识别方法。
本申请实施例提供的识别方法、设备和存储介质，所述方法包括：获得至少两个图像；获得各个图像中的各个对象的关键点信息；至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列；基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。
本申请实施例中，基于各个图像中的各个对象的关键点信息，确定每个图像中的各个对象的特征序列，基于对象的特征序列，至少获得不同图像中的各个对象之间的相似程度，依据获得的相似程度，确定哪些对象为至少两个图像之间的相似对象。与相关技术中的采用两个独立的网络模型实现对象跟踪的方案相比，至少无需模型间的衔接，计算量小。此外，基于不同图像中的各个对象间的相似程度，确定目标对象，可保证目标对象的识别准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的识别方法的第一实施例的实现流程示意图；
图2为本申请提供的识别方法的第二实施例的实现流程示意图；
图3为本申请提供的网络模型实施例的构成示意图；
图4为本申请提供的网络模型的工作原理示意图；
图5为本申请提供的特征表示张量的示意图；
图6为本申请提供的识别设备第一实施例的组成结构示意图；
图7为本申请提供的识别设备第二实施例的组成结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请提供的识别方法的第一实施例，如图1所示，所述方法包括：
步骤101：获得至少两个图像；
本步骤中，所述至少两个图像可以是相邻图像，也可以非相邻图像。
步骤102：获得各个图像中的各个对象的关键点信息；
步骤103：至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列；
步骤104：基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；
步骤105：基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为至少两个图像之间的相似对象。
执行步骤101～105的实体为任何可以用于对目标对象进行识别的设备。
前述方案中，基于各个图像中的各个对象的关键点信息，确定每个图像中的各个对象的特征序列，基于对象的特征序列，至少获得不同图像中的各个对象之间的相似程度，依据获得的相似程度，确定哪些对象为至少两个图像之间的相似对象。与相关技术中的采用两个独立的网络模型实现对象跟踪的方案相比，无需模型间的衔接，计算量小。此外，基于不同图像中的各个对象间的相似程度，确定目标对象，可保证目标对象的识别准确性。
本申请提供的识别方法的第二实施例，如图2所示，所述方法包括：
步骤201：获得至少两个图像；
步骤202：获得各个图像中的各个对象的关键点信息；
步骤203：获得针对各个图像中的各个对象的至少两个全局特征图，其中同一对象的不同全局特征图之间至少部分不同；
步骤204：基于所述各个对象的至少两个全局特征图和关键点信息，确定所述各个对象的局部特征序列；
步骤205：基于各个图像中的各个对象的局部特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；
步骤206：基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为至少两个图像之间的相似对象。
执行步骤201～206的实体为任何可以用于对目标对象进行识别的设备。
前述方案中，基于各个图像中的各个对象的至少两个全局特征图和关键点信息，确定每个图像中的各个对象的局部特征序列，基于对象的局部特征序列，至少获得不同图像中的各个对象之间的相似程度，依据获得的相似程度，确定哪些对象为至少两个图像之间的相似对象。与相关技术中的采用两个独立的网络模型实现对象跟踪的方案相比，无需模型间的衔接，计算量小。此外，基于每个图像中的各个对象的局部特征，确定目标对象，从对象的局部特征出发，考虑的粒度更为细致，从而可保证目标对象的识别准确性。
基于前述的方法第二实施例，所述基于所述各个对象的至少两个全局特征图和关键点信息，确定所述各个对象的局部特征序列，包括：
所述各个对象的关键点信息至少表征为各个对象的至少两个关键部位的位置信息；
从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；
基于各个对象的各个目标图像，确定各个对象的局部特征序列。
前述方案中，结合对象的全局特征图和关键部位的位置信息，确定对象的局部特征，可保证局部特征的确定准确性，从对象的局部特征出发确定目标对象，考虑的粒度更为细致，可保证对目标对象的识别准确性。
基于前述的方法第一和/或第二实施例，所述基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，包括：
将第ti图像中的各个对象和第ti-1图像中的各个对象的特征序列进行两两组合，得到特征张量信息，其中，所述第ti图像、第ti-1图像为所述至少两个图像中的两幅相邻图像；
对特征张量信息进行至少两次卷积处理，得到两个目标矩阵，所述目标矩阵中的至少部分元素表示为第ti图像、第ti-1图像中任意两个对象的相似程度；
基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数。
前述方案中，基于相邻图像中的各个对象的特征序列进行第一参数的获取，可保证第一参数的获得准确性。
前述方案中，所述基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数，包括：
将所述两个目标矩阵中的第一目标矩阵按列进行归一化指数函数softmax运算，得到第一匹配概率矩阵，所述第一匹配概率矩阵的至少部分元素表示为第ti图像到第ti-1图像对象之间的匹配概率；
将所述两个目标矩阵中的第二目标矩阵按行进行softmax运算，得到第二匹配概率矩阵，所述第二匹配概率矩阵中的至少部分元素表示为第ti-1图像到第ti图像对象之间的匹配概率；
将第一匹配概率矩阵和第二匹配概率矩阵中，取同一位置上的取值大的元素值作为所述第一图像和第二图像中的相应对象间的第一参数。
上述方案中，第一匹配概率矩阵中的部分元素表示为第ti图像到第ti-1图像对象之间的匹配概率，可视为后向匹配概率矩阵。第二匹配概率矩阵中的部分元素表示为第ti-1图像到第ti图像对象之间的匹配概率，可视为前向匹配概率矩阵。依据两个概率矩阵也即前向匹配概率矩阵和后向匹配概率矩阵获得第一参数，从非单个概率矩阵出发对第一参数进行计算，可提高第一参数的计算准确性，进而保证对目标对象的识别准确性。
下面结合附图3至图5所示对本申请实施例的技术方案进行说明。
如图3所示，本申请实施例中提供一种用于识别目标对象的网络模型，针对相邻的两帧图像中出现的对象如行人，利用该网络模型可得到相邻两帧图像中的行人之间的匹配概率，基于匹配概率得到当前帧中的哪个/些行人与前一帧哪个/些行人为相同的人、哪些行人是当前帧新出现的人，哪些行人在前一帧中出现而在当前帧中消失。也即利用该网络模型实现相邻两帧图像中的行人间的匹配。
本申请实施例中，网络模型至少包括特征学习网络和测量网络。本领域技术人员应该理解，运用特征学习网络和测量网络进行目标对象的识别之前，先需要对网络模型、具体是特征学习网络和测量网络进行训练(训练阶段)，利用训练好的网络模型进行目标对象的识别(测试/应用阶段)。
下面对训练阶段和应用(测试)阶段分别进行说明：
训练阶段：需要说明的是，在训练阶段利用相邻的两帧图像：第ti-1帧图像和第ti帧图像进行网络模型的训练。
具体方案如下：
步骤500：采集相邻两帧图像，对采集的各个(帧)图像进行人体检测以识别出各帧图像的所有行人；
本步骤中，针对采集的第ti-1帧图像和第ti帧图像，如图4所示，第ti-1帧图像和第ti帧图像均为包括人和一定背景的图像，采用多框检测(SSD，Single Shot MultiBoxDetector)、Faster RCNN、快速多目标检测(YOLO)等目标检测方法对这两帧图像中的各帧图像进行人体检测，识别出这两帧图像中的人，并用检测框区分出各帧图像的每个行人。
其中，考虑到Faster RCNN的识别准确性较高，可优先采用该方法进行人体检测。
步骤501：对相邻两帧图像中的各个图像中的每个行人进行关键点信息的计算；
本步骤中，将每帧图像中的各个行人进行关键点信息的计算。考虑到本应用场景中的对象是行人，则对象的关键点信息具体为各行人的人体躯干在该行人的检测框中的位置坐标。本申请实施例中的行人的关键点信息即为每个行人的人体关键点，如包括头、脖子、(左右)肩膀、(左右)臀部、(左右)手肘、(左右)膝盖、(左右)脚踝等14个部位在该行人的检测框中的位置坐标。
其中，对人体关键点的计算可采用人体关键点检测模型如沙漏(Hourglass)网络。基于此，本领域技术人员可知，本申请实施例的网络模型除了包括特征学习网络和测量网络，还包括人体关键点检测模型。其中，所述人体关键点检测模型在本申请实施例中不需要训练可直接使用。
步骤502：将相邻两帧图像及各帧图像中所有行人的检测框输入至网络模型、具体是特征学习网络，得到针对各帧图像中各个行人的至少两个全局特征图；
步骤503：从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；
步骤504：从各个对象的各个目标图像，确定各个对象的局部特征序列、如(最终的)特征表示向量；
前述步骤502～504至少基于特征学习网络而实现。所述特征学习网络可以具体为VGG(Visual Geometry Group)神经网络或残差(ResNet)网络。采用ResNet，考虑到ResNet网络结构越深(残差块越多)能够提取相对更丰富的特征，具体实现上采用ResNet101网络，ResNet101包括至少两个残差块，每个残差块包括至少两个卷积层，本领域技术人员应该而知，卷积层用于对输入至卷积层的图像进行特征图的计算。
如图4所示，在具体实现上，输入至特征学习网络、具体是ResNet101网络的各帧图像，经由ResNet101网络中每个残差块的运算，每个残差块的最后一层卷积层均输出有一定的特征图。本申请实施例中，针对各帧图像中的各个行人，提取出其中4个残差块的最后一层卷积层输出的特征图，如提取出第2个残差块的最后一层卷积层输出的特征图conv2、第3个残差块的最后一层卷积层输出的特征图conv3、第4个残差块的最后一层卷积层输出的特征图conv4、第5个残差块的最后一层卷积层输出的特征图conv5作为相应行人的四个特征图。所述相应行人的四个特征图可视为该行人在四个层级上的全局特征表示。其中，不同残差块的卷积层可视为不同的层级，四个残差块的卷积层可视为四个层级。通常，不同层级上输出的特征图表示的特征信息不同，层级越深(多)，表示的图像特征信息越为丰富。可以理解，随着层级的加深，层级上的特征图的尺寸越来越小，但表达的图像特征信息越来越丰富。每个残差块的最后一层卷积层输出的特征图通常为全局特征图。可以理解，本申请实施例中基于特征学习网络至少得到了针对各帧图像的各个行人的至少两个全局特征图。其中，全局特征图表示包含了行人及其周围的特征描述，通常不够精细。本申请实施例中，结合步骤501获得的人体关键点信息，对于每个行人，在针对该行人的各个层级的全局特征图中，截取与前述的多个人体部位对应位置的图像(目标图像)特征作为相应层级上的局部特征向量。
以前述的14个关键部位为例，对于每个行人，每个层级上均可以获得14个局部特征向量，每个局部特征向量为相应部位所在位置在全局特征图中的特征向量。对于每个行人，共得到四个层级上的各14个局部特征向量。在每个层级上，对某个行人的14个局部特征向量取平均，得到该层级上该行人的特征表示；再将每个层级上的特征向量通过卷积核大小为1*1的卷积层的处理，得到降维的特征表示，然后将得到的经过降维处理的各个层级上的特征表示连接(Concatenate)在一起，得到该行人的(最终的)特征表示向量。前述的某个对象如行人的(最终的)特征表示向量可视为本申请实施例的该对象的局部特征序列。
本步骤中，将人体的局部特征考虑在内，实现了细粒度的考虑，使得基于人体的局部特征而得到的参数如特征张量信息、第一参数更为准确。
本步骤中，层级数量的取值为4、关键部位的数量的取值为14，可以理解，层级数量和关键部位的取值均可根据实际情况而灵活设定。同理，对每个层级上的特征向量的降维处理采用的卷积核的大小可以取任何合理的数值，不做具体限定。
步骤505：将第ti图像中的各个对象和第ti-1图像中的各个对象的特征序列进行两两组合，得到特征张量信息；
通过前述步骤504的方案，可得到第ti-1帧图像和第ti帧图像中所有行人的(最终的)特征表示向量。由于每帧图像包含的行人数目不一定相同，为了获得统一表示，将每帧行人的数目扩大到N(如取值为60)，当每帧图像中的实际行人的数目小于N时，用零向量填充这些图像中不存在的行人的特征表示向量。将第ti-1帧图像和第ti帧图像的行人特征表示向量进行两两任意的组合，获得连续两帧行人之间的特征表示张量S(特征张量信息)。
在具体实现上，由于相邻两帧图像自带有时间顺序，如在时间上第ti帧图像晚于第ti-1帧图像，两个图像中各个行人的行人特征表示向量间的任意组合，第ti-1帧图像中行人的行人特征表示向量位于组合结果的前面或后面其含义存在不同。本申请实施例中的任意组合包括第ti-1帧图像中的行人的行人特征表示向量位于组合结果前面的情况，也包括位于组合结果后面的情况。下面举个例子说明下，假定第ti-1帧图像、第ti帧图像中均包括三个行人。视A1、A2、A3为第ti-1帧图像中包括的三个人的特征表示向量；B1、B2、B3为第ti帧图像中包括的三个人的特征表示向量。则第ti-1帧图像、第ti帧图像中均包括P＝3个行人的特征表示向量间的任意两两组合，得到的特征表示张量S如图5所示。特征表示张量S的维度为P*P*Nc；其中，Nc表示特征表示向量的长度。
步骤506：将特征表征张量S输入到测量网络，得到第一目标矩阵(用M1来表示)和第二目标矩阵(用M2来表示)；
本步骤中的测量网络为相似度测量网络，具体可通过至少两次卷积处理来实现，如该测量网络使用5个卷积核为1*1的卷积层实现，特征表征张量S通过前述卷积层的处理，得到相似度测量矩阵M，该矩阵的维度为N*N。在行人跟踪的过程中存在行人进入和离开场景的情况，上述的相似度测量矩阵M并没有考虑到这一情况，因此通过在相似度测量矩阵M上补充一行或者一列用来分别表示当前帧有行人的进入或离开，补充的行或列中的元素取值为根据经验而得的超参数σ。视补充行之后的相似度测量矩阵为M1(第一目标矩阵)，维度为(N+1)*N。视补充列之后的相似度测量矩阵为M2(第二目标矩阵)，维度N*(N+1)。
步骤507：将第一目标矩阵M1按列进行归一化指数函数(softmax)运算、将所述第二目标矩阵M2按行进行softmax运算，得到第一匹配概率矩阵、第二匹配概率矩阵；
本步骤中，对相似度测量矩阵M1和M2分别进行按列的softmax操作和按行的softmax操作，从而获得第一匹配概率矩阵(用Ab来表示)和第二匹配概率矩阵(用Af来表示)。其中，Ab编码了第ti帧图像到第ti-1帧图像行人之间的匹配概率，为后向匹配概率矩阵；Af编码了从第ti-1帧图像到第ti帧图像行人之间的匹配概率，为前向匹配概率矩阵。其中，softmax操作具体实现请参见现有相关说明。
步骤508：获得第ti帧图像和第ti-1帧图像的真实匹配关联矩阵G，基于真实匹配关联矩阵G、第一匹配概率矩阵Ab和第二匹配概率矩阵Af，得到训练好的网络模型。
本步骤中，在训练阶段，标签第ti帧图像和第ti-1帧图像的真实匹配关联矩阵G，维度为(N+1)*(N+1)，矩阵元素为0或者1。当某一行人在第ti帧图像和第ti-1帧图像都存在时，则相应位置的元素取值为1，否则为0。其中，矩阵G的前(N-1)行和前(N-1)列代表连续两帧行人之间的匹配关系。第N行和第N列给出当前帧-第ti帧图像中出现和离开的行人索引。如果某一个行人在当前帧离开，则第N列的相应位置为1，否则为0；如果某一个行人在当前帧出现，则第N行的相应位置为1，否则为0。
网络模型的损失函数由以下四个损失函数的平均值来实现。
损失函数一：
损失函数二：
损失函数三：
损失函数四：
其中，Gf、Gb是将真实匹配关联矩阵G去掉最后一行、最后一列的矩阵；Gw代表将真实匹配关联矩阵G同时去掉最后一行和最后一列的矩阵；代表去掉Af最后一行的矩阵，代表去掉Ab最后一列的矩阵。其中，相当于求取两个矩阵对应元素的乘积；|| ||相当于求取两个矩阵的模值；log求对数；∑i∑j求取矩阵的所有元素之和；max()求二者之中的最大值。网络模型的最终损失函数为上述四个损失函数的平均值。
本领域技术人员应该而知，以上步骤500～508的训练过程实际上就是在求取使得网络模型的最终损失函数为最小值时的特征学习网络、具体是ResNet101卷积层的卷积权重参数和测量网络中的卷积层的卷积权重参数的最优值。使得网络模型的最终损失函数为最小值时的特征学习网络和测量网络即可作为训练好的网络，至少包括特征学习网络和测量网络的网络模型为训练好的模型。
测试/应用阶段：利用训练好的网络模型进行相邻两帧的行人间的匹配。
具体的，假定该阶段的相邻两帧图像为第ti帧图像和第ti+1帧图像，将第ti帧图像和第ti+1帧图像执行前述步骤500～507，得到针对第ti帧图像和第ti+1帧图像的第一匹配概率矩阵Ab和第二匹配概率矩阵Af。求取第一匹配概率矩阵Ab和第二匹配概率矩阵Af的对应元素位置上的最大值，即A*中的元素代表连续两帧的行人间的相似概率(匹配概率)。基于匹配相似度，确定第ti+1帧图像中的哪个/些行人与第ti帧图像的哪个/些行人为同一行人，哪个/些行人为在第ti+1帧图像中新出现的行人，哪个/些行人为在第ti+1帧图像中消失的行人。
举个例子，第一行第一列上的元素取值为0.3、代表着第ti帧图像中的A1用户与第ti+1帧图像中的B1用户的相似概率为0.3；第一行第一列上的元素取值为0.8、代表着第ti+1帧图像中的B1用户与第ti帧图像中的A1用户的相似概率为0.8；则A*中第一行第一列的元素取值为0.3和0.8中的最大值0.8，代表着第ti帧图像中的A1用户与第ti+1帧图像中的B1用户为同一个人的概率为80％、大于等于第一预设概率，则A1用户与B1用户为出现在第ti帧图像和第ti+1帧图像中的同一个人。如果基于得知第ti+1帧图像中出现有一个用户，其与第ti帧图像中出现的所有用户的相似概率均小于第二阈值，则视该用户为在第ti+1帧图像中出现的新用户。如果基于得知第ti帧图像中出现有一个用户，其与第ti+1帧中出现的所有用户的相似概率均小于第三阈值，则视该用户为在第ti帧图像中出现但在第ti+1帧消失的用户。
与相关技术中的采用两个独立的网络模型实现对象跟踪的方案且两个独立网络模型均需独立训练的方案相比，本申请实施例的前述方案中，采用一个网络模型进行图像间的行人间的相似度匹配，且仅对该网络模型进行训练即可，可大大减少计算量。此外，本申请实施例中的技术方案一气呵成而实现、不需要模型间的衔接，可避免相关技术中由于采用两个独立模型而导致的模型间无法有效衔接的问题。另外，基于对象的局部特征序列获得相似程度，从对象的局部特征出发，考虑的粒度更为细致，从而可保证目标对象的识别准确性。依据两个概率矩阵也即前向匹配概率矩阵和后向匹配概率矩阵获得行人间的相似程度，也可保证对目标对象的识别准确性。
本申请实施例还提供一种识别设备，如图6所示，所述设备包括：第一获得单元601、第二获得单元602、第一确定单元603、第三获得单元604和第二确定单元605；其中，
第一获得单元601，用于获得至少两个图像；
第二获得单元602，用于获得各个图像中的各个对象的关键点信息；
第一确定单元603，用于至少基于各个图像中的各个对象的关键点信息，确定各个图像中的各个对象的特征序列；
第三获得单元604，用于基于各个图像中的各个对象的特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征对象间的相似程度；
第二确定单元605，用于至少基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。
在一个可选的实施例中，所述设备还包括：
第四获得单元，用于获得针对各个图像中的各个对象的至少两个全局特征图，其中同一对象的不同全局特征图之间至少部分不同；
相应的，所述第一确定单元，用于基于所述各个对象的至少两个全局特征图和关键点信息，确定所述各个对象的局部特征序列。
在一个可选的实施例中，所述第一确定单元601，用于：
所述各个对象的关键点信息至少表征为各个对象的至少两个关键部位的位置信息；
从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；
基于各个对象的各个目标图像，确定各个对象的局部特征序列。
在一个可选的实施例中，所述第三获得单元604，用于：
将第ti图像中的各个对象和第ti-1图像中的各个对象的特征序列进行两两组合，得到特征张量信息，其中，所述第ti图像、第ti-1图像为所述至少两个图像中的两幅相邻图像；
对特征张量信息进行至少两次卷积处理，得到两个目标矩阵，所述目标矩阵中的至少部分元素表示为第ti图像、第ti-1图像中任意两个对象的相似程度；
基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数。
在一个可选的实施例中，所述第三获得单元604，用于：
将所述两个目标矩阵中的第一目标矩阵按列进行归一化指数函数softmax运算，得到第一匹配概率矩阵，所述第一匹配概率矩阵的至少部分元素表示为第ti图像到第ti-1图像对象之间的匹配概率；
将所述两个目标矩阵中的第二目标矩阵按行进行softmax运算，得到第二匹配概率矩阵，所述第二匹配概率矩阵中的至少部分元素表示为第ti-1图像到第ti图像对象之间的匹配概率；
将第一匹配概率矩阵和第二匹配概率矩阵中，取同一位置上的取值大的元素值作为所述第一图像和第二图像中的相应对象间的第一参数。
需要说明的是，本申请实施例的识别设备，由于其解决问题的原理与前述的识别方法相似，因此，识别设备的实施过程及实施原理均可以参见前述识别方法的实施过程及实施原理描述，重复之处不再赘述。
所述第一获得单元601、第二获得单元602、第一确定单元603、第三获得单元604和第二确定单元605在实际应用中均可由识别设备中的中央处理器(CPU，CentralProcessing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时至少用于执行前述实施例的识别方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图7所示的存储器72。
本申请实施例还提供了一种识别设备。图7为本申请实施例的识别设备的硬件结构示意图，如图7所示，识别装置包括：用于进行数据传输的通信组件73、至少一个处理器71和用于存储能够在处理器71上运行的计算机程序的存储器72。终端中的各个组件通过总线***74耦合在一起。可理解，总线***74用于实现这些组件之间的连接通信。总线***74除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线***74。
其中，所述处理器71执行前述实施例的识别方法的步骤。
可以理解，存储器72可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器72旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器71中，或者由处理器71实现。处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器71可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器72，处理器71读取存储器72中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，识别设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述的识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种识别方法，其特征在于，所述方法包括：
获得至少两个图像；
获得各个图像中的各个对象的关键点信息；其中，所述对象包括行人，所述关键点信息包括人体躯干关键点；
获得针对各个图像中的各个对象的至少两个全局特征图，其中，同一对象的不同全局特征图之间至少部分不同，所述全局特征图包括所述行人以及所述行人周围的特征描述信息；
所述各个对象的关键点信息至少表征为各个对象的至少两个关键部位的位置信息；
从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；
基于各个对象的各个目标图像，确定各个对象的局部特征序列；
基于各个图像中的各个对象的局部特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；
基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。
2.根据权利要求1所述的方法，其特征在于，所述基于各个图像中的各个对象的局部特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，包括：
将第图像中的各个对象和第图像中的各个对象的局部特征序列进行两两组合，得到特征张量信息，其中，所述第图像、第图像为所述至少两个图像中的两幅相邻图像；
对特征张量信息进行至少两次卷积处理，得到两个目标矩阵，所述目标矩阵中的至少部分元素表示为第图像、第图像中任意两个对象的相似程度；
基于所述两个目标矩阵，至少得到第一图像的各个对象和第二图像中各个对象之间的第一参数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述两个目标矩阵，至少得到所述第一图像的各个对象和第二图像中各个对象之间的第一参数，包括：
将所述两个目标矩阵中的第一目标矩阵按列进行归一化指数函数softmax运算，得到第一匹配概率矩阵，所述第一匹配概率矩阵的至少部分元素表示为第图像到第图像对象之间的匹配概率；
将所述两个目标矩阵中的第二目标矩阵按行进行softmax运算，得到第二匹配概率矩阵，所述第二匹配概率矩阵中的至少部分元素表示为第图像到第图像对象之间的匹配概率；
将第一匹配概率矩阵和第二匹配概率矩阵中，取同一位置上的取值大的元素值作为所述第一图像和第二图像中的相应对象间的第一参数。
4.一种识别设备，其特征在于，所述设备包括：
第一获得单元，用于获得至少两个图像；
第二获得单元，用于获得各个图像中的各个对象的关键点信息；其中，所述对象包括行人，所述关键点信息包括人体躯干关键点；
第四获得单元，用于获得针对各个图像中的各个对象的至少两个全局特征图，其中，同一对象的不同全局特征图之间至少部分不同，所述全局特征图包括所述行人以及所述行人周围的特征描述信息；
第一确定单元，用于：所述各个对象的关键点信息至少表征为各个对象的至少两个关键部位的位置信息；从各个对象的各个全局特征图中，得到各个对象的各个目标图像，所述各个对象的目标图像为在各个对象的全局特征图中对应于所述对象的至少两个关键部位的位置关系的图像；基于各个对象的各个目标图像，确定各个对象的局部特征序列；
第三获得单元，用于基于各个图像中的各个对象的局部特征序列，至少获得所述至少两个图像中各个对象之间的第一参数，所述第一参数用于表征所述至少两个图像中不同图像的对象间的相似程度；
第二确定单元，用于至少基于所述至少两个图像中各个对象之间的第一参数，至少确定目标对象，所述目标对象为所述至少两个图像之间的相似对象。
5.根据权利要求4所述的设备，其特征在于，所述第三获得单元，用于：
将第图像中的各个对象和第图像中的各个对象的局部特征序列进行两两组合，得到特征张量信息，其中，所述第图像、第图像为所述至少两个图像中的两幅相邻图像；
对特征张量信息进行至少两次卷积处理，得到两个目标矩阵，所述目标矩阵中的至少部分元素表示为第图像、第图像中任意两个对象的相似程度；
基于所述两个目标矩阵，至少得到第一图像的各个对象和第二图像中各个对象之间的第一参数。
6.根据权利要求5所述的设备，其特征在于，所述第三获得单元，用于：
将所述两个目标矩阵中的第一目标矩阵按列进行归一化指数函数softmax运算，得到第一匹配概率矩阵，所述第一匹配概率矩阵的至少部分元素表示为第图像到第图像对象之间的匹配概率；
将所述两个目标矩阵中的第二目标矩阵按行进行softmax运算，得到第二匹配概率矩阵，所述第二匹配概率矩阵中的至少部分元素表示为第图像到第图像对象之间的匹配概率；
将第一匹配概率矩阵和第二匹配概率矩阵中，取同一位置上的取值大的元素值作为所述第一图像和第二图像中的相应对象间的第一参数。
7.一种识别设备，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行权利要求1至3任一项所述的识别方法。
8.一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行权利要求1至3任一项所述的识别方法。
CN201910706446.9A 2019-08-01 2019-08-01 识别方法、设备及存储介质 Active CN111739060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706446.9A CN111739060B (zh) 2019-08-01 2019-08-01 识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706446.9A CN111739060B (zh) 2019-08-01 2019-08-01 识别方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111739060A CN111739060A (zh) 2020-10-02
CN111739060B true CN111739060B (zh) 2024-07-19

Family

ID=72646014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706446.9A Active CN111739060B (zh) 2019-08-01 2019-08-01 识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111739060B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399788A (zh) * 2021-12-24 2022-04-26 武汉理工大学 对象检测方法和***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492550A (zh) * 2018-10-25 2019-03-19 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1459761B (zh) * 2002-05-24 2010-04-21 清华大学 基于Gabor滤波器组的字符识别技术
CN109492551B (zh) * 2018-10-25 2023-03-24 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关***
CN109657533B (zh) * 2018-10-27 2020-09-25 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109377539B (zh) * 2018-11-06 2023-04-11 北京百度网讯科技有限公司 用于生成动画的方法和装置
CN109697446B (zh) * 2018-12-04 2021-12-07 北京字节跳动网络技术有限公司 图像关键点提取方法、装置、可读存储介质及电子设备
CN109840500B (zh) * 2019-01-31 2021-07-02 深圳市商汤科技有限公司 一种三维人体姿态信息检测方法及装置
CN110009800B (zh) * 2019-03-14 2023-04-07 北京京东乾石科技有限公司 一种识别方法和设备
CN110070010B (zh) * 2019-04-10 2022-06-14 武汉大学 一种基于行人重识别的人脸属性关联方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492550A (zh) * 2018-10-25 2019-03-19 腾讯科技（深圳）有限公司 活体检测方法、装置及应用活体检测方法的相关***

Also Published As

Publication number Publication date
CN111739060A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US11151725B2 (en) Image salient object segmentation method and apparatus based on reciprocal attention between foreground and background
US11200424B2 (en) Space-time memory network for locating target object in video content
CN109472191B (zh) 一种基于时空上下文的行人重识别与追踪方法
CN111402294A (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN110084238B (zh) 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
EP4047509A1 (en) Facial parsing method and related devices
WO2021051547A1 (zh) 暴力行为检测方法及***
CN112818955A (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN112990016B (zh) 表情特征提取方法、装置、计算机设备及存储介质
CN113553904B (zh) 人脸防伪模型的训练方法、装置及电子设备
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN111739060B (zh) 识别方法、设备及存储介质
CN111027555A (zh) 一种车牌识别方法、装置及电子设备
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN111401335B (zh) 一种关键点检测方法及装置、存储介质
CN110705513A (zh) 视频特征提取方法、装置、可读存储介质和计算机设备
CN112183299B (zh) 行人属性预测方法、装置、电子设备及存储介质
CN115424001A (zh) 场景相似度估计方法、装置、计算机设备和存储介质
CN109389089B (zh) 基于人工智能算法的多人行为识别方法及装置
CN114049608A (zh) 轨迹监测方法、装置、计算机设备、存储介质
CN110096959B (zh) 人流量计算方法、装置以及计算机存储介质
CN113344200A (zh) 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN112183359A (zh) 视频中的暴力内容检测方法、装置及设备
CN111260692A (zh) 人脸跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant