CN113592910A - 一种跨相机追踪方法及装置 - Google Patents

一种跨相机追踪方法及装置 Download PDF

Info

Publication number
CN113592910A
CN113592910A CN202110862748.2A CN202110862748A CN113592910A CN 113592910 A CN113592910 A CN 113592910A CN 202110862748 A CN202110862748 A CN 202110862748A CN 113592910 A CN113592910 A CN 113592910A
Authority
CN
China
Prior art keywords
target object
camera
picture
feature
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110862748.2A
Other languages
English (en)
Inventor
赵雷
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110862748.2A priority Critical patent/CN113592910A/zh
Publication of CN113592910A publication Critical patent/CN113592910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种跨相机追踪方法及装置。该方法包括：对第一相机采集的目标对象的各第一图片进行步态特征提取，得到目标对象的第一特征；基于第一相机采集的目标对象的位置信息，确定目标对象的运动信息；根据运动信息确定位于搜索区域中的相机为第二相机；对第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到各追踪对象的第二特征；基于各追踪对象的第二特征和目标对象的第一特征的相似度，确定各追踪对象中是否包含目标对象。提高了确定搜索区域的准确性，通过该搜索区域确定的第二相机追踪成功的概率较高，既提高了跨相机追踪的效率，又提高了跨相机追踪的准确性。

Description

一种跨相机追踪方法及装置
技术领域
本发明实施例涉及计算机视觉技术领域，尤其涉及一种跨相机追踪方法、装置、计算设备及计算机可读存储介质。
背景技术
随着社会的数字化信息化的快速发展，监控摄像机被大量部署在街头，甚至部署在家庭中，以便对一些不法行为和危险事件进行监控。
但是单个监控摄像机的可视范围有限，若目标对象在该监控摄像机的拍摄范围内消失后，需要继续确定该目标对象的行踪时，则需要多个监控摄像机对目标对象进行协同接力跟踪，即跨相机追踪。
综上，本发明实施例提供一种跨相机追踪方法，用以提高跨相机追踪的效率和准确性。
发明内容
本发明实施例提供一种跨相机追踪方法，用以提高跨相机追踪的效率和准确性。
第一方面，本发明实施例提供一种跨相机追踪方法，包括：
对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征；
基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息；
根据所述运动信息确定位于搜索区域中的相机为第二相机；
对所述第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到所述各追踪对象的第二特征；
基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象。
通过第一相机拍摄的目标对象的图片确定目标对象的第一特征，又通过第二相机拍摄的各追踪对象的图片确定追踪对象的第二特征，通过第一特征和第二特征的比对，确定第二特征对应的追踪对象是否为目标对象。由于目标对象可能换装、遮挡人脸等，或者目标对象可能穿着制服，因此通过服装特征或人脸特征进行识别存在一定的局限性，追踪的准确性不高。而步态特征一般不易伪装，且步态特征可以远距离识别、不易被目标对象感知，所以引入了步态特征作为比对特征，降低了目标对象换装、化妆或穿着制服等情况下对跟踪准确性的干扰。其次，通过对目标对象的运动信息进行分析，确定一搜索区域，而不是漫无目的地大范围寻找，因此提高了确定搜索区域的准确性，通过该搜索区域确定的第二相机追踪成功的概率较高，既提高了跨相机追踪的效率，又提高了跨相机追踪的准确性。
可选地，对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征，包括：
从所述第一相机采集的目标对象的各第一图片中确定识别图片序列；对所述识别图片序列进行步态特征提取，得到所述目标对象的第一步态特征；
从所述第一相机采集的目标对象的各第一图片中确定识别图片；对所述识别图片进行图像特征提取，得到所述目标对象的第一图像特征；
将所述第一步态特征和所述第一图像特征进行特征融合，得到所述第一特征。
第一步态特征反映了目标对象的步态方面的特征，第一图像特征反应了目标对象的人脸和/或着装方面的特征，通过将第一步态特征和第一图像特征做特征融合处理，如此得到的第一特征可以更全面地反应目标对象的特征，提高了追踪的准确性。同时，第一图像特征是通过在第一相机拍摄的目标对象的各第一图片中确定的识别图片确定的，第一步态特征是通过第一相机拍摄的目标对象的各第一图片中确定的识别图片序列确定的，如此，可以更有针对性地确定第一图像特征和第一步态特征。
可选地，从所述第一相机采集的目标对象的各第一图片中确定识别图片，包括：
对所述各第一图片进行图片分析，得到所述各第一图片的质量评估值，将质量评估值满足设定要求的第一图片确定为所述识别图片；
对所述识别图片进行图像特征提取，得到所述目标对象的第一图像特征，包括：
将所述识别图片输入图像特征提取网络，提取所述目标对象的第一图像特征。
首先对各第一图片进行图片分析，根据质量评估值确定满足要求的第一图片为识别图片，该经过图片分析的识别图片可以清晰地反映出目标对象的人脸和/或着装等图像信息。然后将该识别图片输入图像特征提取网络，从而可以提取出目标对象的第一图像特征。通过上述方法，可以提高提取目标对象的第一图像特征的准确性。
可选地，从所述第一相机采集的目标对象的各第一图片中确定识别图片序列，包括：
对所述各第一图片进行行走识别，得到所述各第一图片中目标对象的行走概率；
从所述各第一图片筛选出识别图片序列；所述识别图片序列为行走概率大于第一预设阈值的连续K张第一图片；
对所述识别图片序列进行步态特征提取，得到所述目标对象的第一步态特征，包括：
将所述识别图片序列输入步态特征提取网络，提取所述目标对象的第一步态特征。
由于第一相机拍摄的目标对象的各第一图片中，可能会存在目标对象弯腰、蹲下、坐下或转弯等行为，而若采用这些行为来确定目标对象的步态特征是不合理的，因此首先通过对各第一图片进行行走识别，确定各第一图片中目标对象的行走概率。通过设置行走概率大于第一预设阈值，从而筛选出一段连续的包含K张第一图片的识别图片序列。该识别图片序列中的第一图片中目标对象的行走概率满足要求且为连续的图片，因此可以准确地反映出目标对象的步态特征。将该识别图片序列输入步态特征提取网络，提高了提取出的第一步态特征的准确性。
可选地，基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息，包括：
在所述各第一图片中选取按照时间顺序拍摄的最后N张图片；
根据所述目标对象分别在所述最后N张图片中的位置信息，确定所述目标对象的运动方向。
根据第一图片中按照时间顺序拍摄的最后N张图片确定该目标对象的运动信息，其中运动信息可以为运动方向。具体为通过第一相机拍摄的目标对象的最后N张图片中目标对象所在位置，判断出目标对象的位置变化情况，从而确定目标对象的运动方向。在后续通过目标对象可能的运动方向确定搜索区域，可以缩小搜索的范围，提高搜索成功的效率，也使得最终确定追踪对象的过程更加快捷和准确。
可选地，根据所述运动信息确定位于搜索区域中的相机为第二相机，包括：
以所述第一相机所在位置为圆心，设定时长内的行走距离为半径，形成一个设定角度的扇形区域，所述扇形区域为搜索区域；其中，所述扇形区域的对称轴与所述运动方向平行；
确定位于所述搜索区域中相机为第二相机。
具体确定的搜索区域可以为扇形区域，为了简化运算，可以将第一相机的所在位置和第一相机的拍摄范围抽象成同一个点，以这个点为圆心，设定时长内的行走距离为半径确定一个扇形区域，该扇形区域的角度可以任意。相较于漫无目的的搜索第二相机，在本方案中通过运动方向确定一个可能的范围较小的搜索区域，在搜索区域中搜索第二相机的方法，可以提高搜索的效率。
可选地，基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象，包括：
将所述第一特征和所述第二特征进行特征融合，得到融合特征；
将所述融合特征输入验证分类器中，得到所述融合特征的特征值；所述特征值用于表征所述第一特征和所述第二特征的相似度；
若所述特征值大于第二预设阈值，则确定所述追踪对象为所述目标对象。
在得到目标对象的第一特征和追踪对象的第二特征后，需要将二者做出比对。本方案首先将第一特征和第二特征进行融合，得到融合特征，对融合特征的特征值进行计算，从而可以得到第一特征和第二特征的相似度。通过相似度与第二预设阈值的比较，确定追踪对象是否为目标对象。采用本方案可以提高对第一特征和第二特征相似度的判断准确度，从而准确地确定追踪对象，提高了跨相机追踪的准确性。
第二方面，本发明实施例还提供一种跨相机追踪装置，包括：
确定单元，用于对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征；基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息；
处理单元，用于根据所述运动信息确定位于搜索区域中的相机为第二相机；对所述第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到所述各追踪对象的第二特征；基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象。
第三方面，本发明实施例还提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列的跨相机追踪方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述任一方式所列的跨相机追踪方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种***架构的示意图；
图2为本发明实施例提供的一种跨相机追踪方法的流程示意图；
图3为本发明实施例提供的一种对第一相机拍摄的图片做目标检测的过程；
图4A为本发明实施例提供的一种可能的目标跟踪的结果；
图4B为本发明实施例提供的一种可能的目标跟踪的结果；
图5A为本发明实施例提供的一种根据运动方向确定搜索区域的示意图；
图5B为本发明实施例提供的一种根据运动方向确定搜索区域的示意图；
图5C为本发明实施例提供的一种确定位于搜索区域中的第二相机的示意图；
图6为本发明实施例提供的一种跨相机追踪装置的结构示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
图1示例性的示出了本发明实施例所适用的一种***架构，该***架构可以包括服务器100，摄像设备200，其中摄像设备可以包括多个，如摄像设备A、摄像设备B和摄像设备C。
服务器100，是计算机的一种，它比普通计算机运行更快、负载更高。服务器在网络中为其它客户机(如PC(Personal Computer，个人计算机)、智能手机、ATM(AutomatedTeller Machine，自动柜员机)等各种设备)提供计算或者应用服务。服务器具有高速的CPU(Central Processing Unit，中央处理器)运算能力、长时间的可靠运行、强大的I/O(Input/Output，输入/输出)外部数据吞吐能力以及更好的扩展性。根据服务器所提供的服务，一般来说服务器都具备承担响应服务请求、承担服务、保障服务的能力。服务器作为电子设备，其内部的结构十分的复杂，但与普通的计算机内部结构相差不大，如：cpu、硬盘、内存，***、***总线等。
摄像设备200，用于拍摄图像和/或视频。可以安装在各个路口，通过调取摄像设备拍摄的视频内容可以监控道路上发生的事件、追踪犯罪嫌疑人、寻找丢失人口等等；也可以安装在家庭中，用于监控家庭中的一些安全隐患。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
图2示例性示出了本发明实施例提供的一种跨相机追踪方法，包括：
步骤201，对第一相机采集的目标对象的各第一图片进行步态特征提取，得到目标对象的第一特征。
首先针对第一相机在设定时段内拍摄的一系列图片做目标检测和目标跟踪，从而获得目标对象的各第一图片。那么，各第一图片为目标对象从走入第一相机的拍摄范围到走出第一相机的拍摄范围的过程中，第一相机拍摄的一系列图片。本发明实施例的目标对象可以为行人或动物等各种目标对象，本发明实施例对此不作限制，下面以追踪行人为例，介绍目标检测和目标跟踪的过程。
图3示出了对第一相机拍摄的图片做目标检测的过程。使用常见的目标检测方法检测图片中的人体目标，为检测到的人体目标分配id(Identity document，身份标识号)，本发明实施例对目标检测的方法不作限制。例如，针对第一相机拍摄的第一帧图片做目标检测，检测到了两个行人，分别编号为行人1和行人2；对第二帧图片做目标检测，针对该图片的任一个行人，将该行人的特征与第一帧图片中的行人1和行人2的特征做对比，若与行人1的特征相似度较高，则确认该行人为行人1；若与行人2的特征相似度较高，则确定该行人为行人2；若与行人1和行人2的特征相似度均较低，则为该行人编号为行人3。如此，可以确定该行人的编号。此处可以通过人脸特征或衣着特征等各种特征做对比，本发明实施例对此不作限制。例如，经过特征对比后，确定了第二帧图片中存在行人1和行人2。依此类推，可以为第一相机拍摄的各图片中的行人确定相应的编号，例如，在第三帧图片中，存在行人1和行人4，说明在该帧图片中，依然存在行人1，但行人2已不在第一相机的拍摄范围内，在第一相机的拍摄范围内出现的新的行人，即行人4。
通过上述目标检测方法，确定了第一相机中拍摄的一系列图片中包含的目标对象，然后通过目标跟踪，为各个目标对象确定对应的各第一图片。图4A示例性地示出了一种可能的目标跟踪的结果，即每个目标对象对应的各第一图片。例如对于行人1，确定了该目标对象的各第一图片为第一帧图片，第二帧图片和第三帧图片，对于行人2，确定了该目标对象的各第一图片为第一帧图片和第二帧图片。以上仅为示例，本发明实施例对目标对象对应的各第一图片的张数不作限定，目标对象对应的各第一图片可以是连续的图片帧，也可以是不连续的，例如，在第三帧图片中未检测到行人2，但在第六帧图片中检测到了行人2，那么行人2对应的各第一图片为第一帧图片、第二帧图片和第六帧图片。
可选地，各第一图片的形式可以为包含该目标对象和其他对象的整张图片，例如图4A中示意的，各第一图片为第一相机拍摄的整个画面，如此，第一图片中会包含很多的其他行人或其他信息，那么在后续的提取某个目标对象的步态特征中需要将无关的目标对象或无关信息予以屏蔽或删除；各第一图片的形式还可以为仅包含该目标对象的检测框，例如图4B中示意的，目标对象行人1对应的各第一图片为包含行人1的检测框，如此，可以在后续更加准确地提取各目标对象的第一特征。
针对任一目标对象，通过该目标对象的各第一图片，得到该目标对象的第一特征，其中第一特征至少包括第一步态特征。除此之外，还可以包括第一图像特征，第一图像特征为对目标对象的人脸和/或着装等进行图像特征提取得到的。本发明实施例对第一特征不作限定，对第一图像特征包含的具体特征也不作限定，本领域技术人员可以根据需求进行自由选择。例如，根据第一相机拍摄的目标对象的各第一图片，仅提取第一步态特征，或提取第一步态特征和第一图像特征，将第一步态特征和第一图像特征进行特征融合后得到第一特征。第一图像特征可以为仅对目标对象的人脸进行特征提取，也可以仅对目标对象的着装进行特征提取，也可以对目标对象的人脸和着装分别进行特征提取后做特征融合得到第一图像特征。
接下来对提取第一步态特征的方法做具体介绍。
首先从第一相机采集的目标对象的各第一图片中确定识别图片序列，然后通过所述识别图片序列，得到所述目标对象的第一步态特征。
确定识别图片序列的过程实际是对各第一图片做筛选的过程，由于各第一图片中虽然包含目标对象，但是目标对象的姿态多种多样，例如可能为行走、跑步、蹲下、弯腰和转弯，其中跑步、蹲下、弯腰和转弯这些姿态并没有反映出目标对象的步态特征，因此需要将这些姿态的第一图片予以排除，保留目标对象正常行走的第一图片，从而确定识别图片序列。确定识别图片序列的方法可以有如下几种。
方式一
采用预先训练的神经网络模型对各第一图片进行行走识别，得到各第一图片中目标对象的行走概率，筛选出行走概率大于预设阈值的连续K张第一图片作为识别图片序列。
神经网络模型可以通过如下方式进行训练：输入大量的行人图像，行人图像中包含各种姿态的行人，例如为存在遮挡、行走、跑步、蹲下、弯腰和转弯，并输入行人图像对应的行走概率，例如对于姿态为行走的行人图像，则行走概率较高，为1；对于姿态为转弯的行人图像，则行走概率较低，为0；对于存在部分遮挡的行人图像，则行走概率为0.3。以上仅为示例，不作为对本发明实施例的限制。
通过大量的行人图像以及对应的行走概率输入神经网络模型中，进行网络训练，得到的神经网络模型可以针对任意第一图片，给出对应的目标对象的行走概率。例如，输入行人1对应的各第一图片：P＝{s1,s2,s3……sn}，神经网络模型得到各第一图片中目标对象的行走概率：O＝{o1,o2,o3……on}，其中0≤oi≤1。
然后筛选出行走概率大于预设阈值的连续K张第一图片作为识别图片序列。
例如，得到的各第一图片中目标对象的行走概率为O＝{1,0.9,0.7,0.2,0.5,1,1,0.9,0.8,0}，预设阈值为0.6，则筛选出的行走概率分别为{1,0.9,0.7}和{1,1,0.9,0.8}，对应的识别图片序列为P1和P2。为了提高最终提取第一步态特征的准确性，还可以对识别图片序列中包含的第一图片的数目进行限制，例如不少于4张，即K＝4，识别图片序列P1中包含的第一图片的数目是3，识别图片序列P2中包含的第一图片的数目是4，据此确定识别图片序列为P2。一般来说，识别图片序列中包含的第一图片的数目越多，则越能反映出行人的步态特征，则提取的第一步态特征越准确。本领域技术人员可以根据需要对K值进行相应的设置。
若K＝3，则两个识别图片序列P1和P2均符合要求，可以将二者均作为识别图片序列用于后续提取第一步态特征，也可以筛选出其中一个识别图片序列用于后续提取第一步态特征。例如可以将两个识别图片序列的行走概率的和进行比较，比较后，确定识别图片序列P2的行走概率的和为1+1+0.9+0.8＝3.7，识别图片序列P1的行走概率的和为1+0.9+0.7＝2.6。识别图片序列P2的行走概率的和较高，则将识别图片序列P2作为最终的识别图片序列，用于后续的提取步态特征。
在实施中，还会出现得到的识别图片序列中包含的第一图片的数量均不符合K值的要求的情况，此时可以选择识别概率的和最高和/或包含的第一图片的数量最多的识别图片序列，然后对识别图片序列进行补帧。例如，若K＝5，则识别图片序列P1和P2包含的第一图片的数量均不符合要求，则选择识别概率的和最高且包含的第一图片的数量最多的识别图片序列P2，然后对P2进行补帧操作，补一张空白帧。
本发明实施例所提供的神经网络包含但不限于CNN(Convolutional NeuralNetworks，卷积神经网络)，RNN(Recurrent Neural Network，循环神经网络)，以及MLP多层感知器，Muti－Layer Perception)。
方式二
采用人工标注的方式，从各第一图片中筛选出目标对象正常行走的第一图片作为识别图片序列。
此方法适用于图片数量少，且对实时性要求不高的追踪场景。
以上仅为示例，本发明实施例对确定识别图片序列的方法不作限定。
然后将所述识别图片序列输入步态特征提取网络，提取所述目标对象的第一步态特征。其中，步态特征提取网络为预先训练好的网络模型，用于根据行人的若干张连续的行走图像，提取行人的步态特征。
接下来对提取第一图像特征的方法做具体介绍。
对所述各第一图片进行图片分析，得到所述各第一图片的质量评估值；将评分满足设定要求的第一图片确定为所述识别图片。然后将所述识别图片输入图像特征提取网络，提取所述目标对象的第一图像特征。
确定识别图片的方法可以有多种，本发明实施例提供如下两种方式：
方式一
由于各第一图片中的目标对象可能存在遮挡脸部、遮挡着装或脸部着装等特征不清晰的情况，因此可以通过训练神经网络模型对第一图片中的目标对象进行图片分析，得到各第一图片的质量评估值。具体可以为，若目标对象遮挡脸部，则质量评估值较低，若目标对象脸部特征清晰，则质量评估值较高。神经网络模型的训练过程同上述对提取第一步态特征中的神经网络模型的训练过程，此处不再赘述。
通过各第一图片的质量评估值进行比较，确定出质量评估值满足设定要求的第一图片为识别图片，设定要求可以为质量评估值大于一预设阈值。本发明实施例对此不作限制。
方式二
可以直接采用在提取第一步态特征的步骤中，确定的识别图片序列对应的目标对象的行走概率来筛选识别图片。
在提取第一步态特征的步骤中，得到各第一图片中目标对象的行走概率，例如为O＝{1,0.9,0.7,0.2,0.5,1,1,0.9,0.8,0}，确定的识别图片序列为P2，对应的行走概率为{1,1,0.9,0.8}。则将在识别图片序列P2中行走概率最高的图片作为识别图片。在本例中，将行走概率为1的2张图片作为识别图片；也可以将2张图片进行进一步的筛选，选取其中一张作为识别图片，筛选标准可以为清晰度、目标对象的大小等。本发明实施例对此不作限制。
以上仅为示例，本发明实施例对确定识别图片的方法不作限定。
然后将所述识别图片输入图像特征提取网络，提取所述目标对象的第一图像特征。其中，图像特征提取网络为预先训练好的网络模型，用于根据行人的若干张连续的行走图像，提取行人的图像特征。
在得到目标对象的第一图像特征和第一步态特征后，将第一图像特征和第一步态特征做融合处理，得到第一特征。
步骤202，基于第一相机采集的目标对象的位置信息，确定目标对象的运动信息。
在本步骤中，从第一相机拍摄的目标对象的各第一图片中，确定目标对象的运动信息，运动信息可以为目标对象的运动方向，或者目标对象的消失位置。下面提供如下两种实施例。
实施例一
运动信息为运动方向，则在各第一图片中选取按照时间顺序拍摄的最后N张图片。根据这N张图片，可以确定目标对象在第一相机的拍摄范围内消失后可能的运动方向。
具体为，在图片中建立直角坐标系，确定目标对象分别在所述最后N张图片中的像素位置，根据N个像素位置确定出一条矢量线段，该矢量线段即可表征目标对象在图片中的运动方向。再按照图片大小与第一相机实际拍摄范围的比例关系，确定目标对象在大地坐标系中的运动方向。例如，目标对象在最后3张图片中的像素位置分别为(300,500)，(400,600)，(500,700)，通过3个像素位置拟合出目标对象在图片中的运动方向。再转换为在大地坐标系中的运动方向。
实施例二
运动信息为目标对象的消失位置，则在各第一图片中选取按照时间顺序拍摄的最后一张图片，确定目标对象在该张图片的像素位置，再按照图片大小与第一相机实际拍摄范围的比例关系，确定目标对象在大地坐标系中的真实位置。
步骤203，根据运动信息确定位于搜索区域中的相机为第二相机。
步骤一：首先根据运动信息确定搜索区域。可能有以下两种情况：
一、若运动信息为运动方向，则可通过如下方式确定搜索区域：以所述第一相机所在位置为圆心，设定时长内的行走距离为半径，形成一个设定角度的扇形区域，所述扇形区域为搜索区域；其中，所述扇形区域的对称轴与所述运动方向平行。
图5A示出了根据运动方向确定搜索区域的示意图。在本例中，将第一相机A所在位置和第一相机A的拍摄范围抽象成同一个点，则在此不关注第一相机A的拍摄范围。例如，通过步骤202确定出目标对象在大地坐标系中的运动方向如图5A所示，则可确定出搜索区域。该搜索区域为扇形，半径为设定时长内的行走距离，扇形区域的圆心角可为任意度数，度数越大，则搜索准确率会增加，但需要的搜索时间越长。一般来说，圆心角度取30°。
可选地，搜索区域不限于扇形，可以为任意图形，例如矩形、三角形、五边形等等，本发明实施例对此不作限制。
可选地，行走距离可以为经验值，即一般人在设定时长内的行走距离；也可以通过计算目标对象的运动速度乘以设定时长得出行走距离，例如在步骤202中确定运动方向时，可同时通过两点之间的距离和两点之间的拍摄时间的差值确定目标对象的可能的运动速度。
该方法考虑了目标对象在离开第一相机的拍摄范围后可能的运动方向，因此进行针对性的寻找，追踪目标对象的效率较高。但由于根据此方法划定的搜索区域很大可能上与第一相机的拍摄范围重合，因此会造成计算资源的浪费。
二、若运动信息为目标对象的消失位置，则可通过如下方式确定搜索区域：以所述消失位置为圆心，以所述目标对象在设定时长内可能的行走距离为半径，形成一个设定圆心角的扇形区域，所述扇形区域为搜索区域；其中所述扇形区域与所述第一相机的拍摄范围不重合。
在本方案中，不会将第一相机的位置和第一相机的拍摄范围抽象成一个点，如图5B，示出了第一相机A的拍摄范围，为一个矩形。同时也通过步骤202确定了目标对象的消失位置为点a，则确定的扇形区域如图所示。该扇形区域与第一相机A的拍摄范围不重合。
可选地，搜索区域不限于扇形，可以为任意图形，例如矩形、三角形、五边形等等，本发明实施例对此不作限制。
可选地，行走距离可以为经验值，即一般人在设定时长内的行走距离；也可以通过计算目标对象的运动速度乘以设定时长得出行走距离，例如在步骤202中确定运动方向时，可同时通过两点之间的距离和两点之间的拍摄时间的差值确定目标对象的可能的运动速度。
该方法确定的搜索区域与第一相机的拍摄范围不重合，因此，可以进一步提高跨相机追踪成功的效率，且考虑到了目标对象离开第一相机的拍摄范围后的所有的可能的运动方向，因此追踪成功的概率加大。但未考虑目标对象的运动方向，因此具有一定的局限性。
步骤二：确定位于搜索区域中的相机为第二相机。
在步骤一中，确定了搜索区域，然后确定在搜索区域中的第二相机，如图5C所示，确定了第二相机B和第二相机C。
步骤204，对第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到各追踪对象的第二特征。
第二特征可以仅包括第二步态特征，也可以包括第二步态特征和第二图像特征。确定第二特征的方法同步骤201所述的确定第一特征的方法，在此不再赘述。
例如确定了第二相机B的拍摄范围内，有b1和b2两个追踪对象，他们的第二特征分别为b11和b22。第二相机C的拍摄范围内，有c1和c2两个追踪对象，他们的第二特征分别为c11和c22。如表一所示。
表1
Figure BDA0003186341750000161
步骤205，基于各追踪对象的第二特征和目标对象的第一特征的相似度，确定各追踪对象中是否包含目标对象。
下面提供两种确定追踪对象是否为目标对象的方法。
方式一
将第一特征和第二特征进行特征融合，得到融合特征；
将融合特征输入验证分类器中，得到融合特征的特征值；特征值用于表征第一特征和第二特征的相似度；
若特征值大于第二预设阈值，则确定追踪对象为目标对象。
验证分类器为一个预先训练好的模型，训练过程为：将相似度高的两个特征融合后输入至模型，并标注较高的特征值；将相似度低的两个特征融合后输入至模型，并标注较低的特征值，如此，输入大量的样本训练数据训练模型。
训练好的验证分类器可以根据输入的融合特征给出相应的特征值，用以表征融合特征中的两个特征的相似度。
方式二
将第一特征和第二特征输入验证分类器中，得到第一特征和第二特征的相似度；
若相似度大于第三预设阈值，则确定追踪对象为目标对象。
在该方案中，验证分类器为一个预先训练好的模型，训练过程为：将相似度高的两个特征输入至模型，并标注较高的特征值；将相似度低的两个特征输入至模型，并标注较低的特征值，如此，输入大量的样本训练数据训练模型。
训练好的验证分类器可以根据输入的两个特征给出相应的特征值，用以表征两个特征的相似度。
例如，根据上述方法，确定了表一中的各第二特征与第一特征的相似度分别如下表所示。
表2
Figure BDA0003186341750000171
若设定第二预设阈值为0.8，则在表2中，第二相机B拍摄的追踪对象b1的第二特征和第二相机C拍摄的追踪对象c1的第二特征与目标对象的第一特征相似度符合第二预设阈值。确定b1和c1为目标对象，予以重点关注。
可选地，还可以在表2中示出的追踪对象中，确定相似度最高的追踪对象为目标对象，即追踪对象b1。还可以设置相似度最高的前i个追踪对象为目标对象。本发明实施例对此不作限制。
通过第一相机拍摄的目标对象的图片确定目标对象的第一特征，又通过第二相机拍摄的各追踪对象的图片确定追踪对象的第二特征，通过第一特征和第二特征的比对，确定第二特征对应的追踪对象是否为目标对象。由于目标对象可能换装、遮挡人脸等，或者目标对象可能穿着制服，因此通过服装特征或人脸特征进行识别存在一定的局限性，追踪的准确性不高。而步态特征一般不易伪装，且步态特征可以远距离识别、不易被目标对象感知，所以引入了步态特征作为比对特征，降低了目标对象换装、化妆或穿着制服等情况下对跟踪准确性的干扰。其次，通过对目标对象的运动信息进行分析，确定一搜索区域，而不是漫无目的地大范围寻找，因此提高了确定搜索区域的准确性，通过该搜索区域确定的第二相机追踪成功的概率较高，既提高了跨相机追踪的效率，又提高了跨相机追踪的准确性。
基于相同的技术构思，图6示例性的示出了本发明实施例提供的一种跨相机追踪装置的结构，该结构可以执行行人识别跟踪的流程。
如图6所示，该装置具体包括：
确定单元601，用于对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征；基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息；
处理单元602，用于根据所述运动信息确定位于搜索区域中的相机为第二相机；对所述第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到所述各追踪对象的第二特征；基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象。
基于相同的技术构思，本发明实施例还提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用存储器中存储的计算机程序，按照获得的程序执行上述任一方式所列跨相机追踪的方法。
基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行程序，计算机可执行程序用于使计算机执行上述任一方式所列的跨相机追踪的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种跨相机追踪方法，其特征在于，包括：
对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征；
基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息；
根据所述运动信息确定位于搜索区域中的相机为第二相机；
对所述第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到所述各追踪对象的第二特征；
基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象。
2.如权利要求1所述的方法，其特征在于，对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征，包括：
从所述第一相机采集的目标对象的各第一图片中确定识别图片序列；对所述识别图片序列进行步态特征提取，得到所述目标对象的第一步态特征；
从所述第一相机采集的目标对象的各第一图片中确定识别图片；对所述识别图片进行图像特征提取，得到所述目标对象的第一图像特征；
将所述第一步态特征和所述第一图像特征进行特征融合，得到所述第一特征。
3.如权利要求2所述的方法，其特征在于，从所述第一相机采集的目标对象的各第一图片中确定识别图片，包括：
对所述各第一图片进行图片分析，得到所述各第一图片的质量评估值，将质量评估值满足设定要求的第一图片确定为所述识别图片；
对所述识别图片进行图像特征提取，得到所述目标对象的第一图像特征，包括：
将所述识别图片输入图像特征提取网络，提取所述目标对象的第一图像特征。
4.如权利要求2所述的方法，其特征在于，从所述第一相机采集的目标对象的各第一图片中确定识别图片序列，包括：
对所述各第一图片进行行走识别，得到所述各第一图片中目标对象的行走概率；
从所述各第一图片筛选出识别图片序列；所述识别图片序列为行走概率大于第一预设阈值的连续K张第一图片；
对所述识别图片序列进行步态特征提取，得到所述目标对象的第一步态特征，包括：
将所述识别图片序列输入步态特征提取网络，提取所述目标对象的第一步态特征。
5.如权利要求1所述的方法，其特征在于，基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息，包括：
在所述各第一图片中选取按照时间顺序拍摄的最后N张图片；
根据所述目标对象分别在所述最后N张图片中的位置信息，确定所述目标对象的运动方向。
6.如权利要求5所述的方法，其特征在于，根据所述运动信息确定位于搜索区域中的相机为第二相机，包括：
以所述第一相机所在位置为圆心，设定时长内的行走距离为半径，形成一个设定角度的扇形区域，所述扇形区域为搜索区域；其中，所述扇形区域的对称轴与所述运动方向平行；
确定位于所述搜索区域中的相机为第二相机。
7.如权利要求1所述的方法，其特征在于，基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象，包括：
将所述第一特征和所述第二特征进行特征融合，得到融合特征；
将所述融合特征输入验证分类器中，得到所述融合特征的特征值；所述特征值用于表征所述第一特征和所述第二特征的相似度；
若所述特征值大于第二预设阈值，则确定所述追踪对象为所述目标对象。
8.一种跨相机追踪装置，其特征在于，包括：
确定单元，用于对第一相机采集的目标对象的各第一图片进行步态特征提取，得到所述目标对象的第一特征；基于所述第一相机采集的所述目标对象的位置信息，确定所述目标对象的运动信息；
处理单元，用于根据所述运动信息确定位于搜索区域中的相机为第二相机；对所述第二相机采集的各追踪对象的各第二图片进行步态特征提取，得到所述各追踪对象的第二特征；基于所述各追踪对象的第二特征和所述目标对象的第一特征的相似度，确定所述各追踪对象中是否包含所述目标对象。
9.一种计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至7任一项所述的方法。
CN202110862748.2A 2021-07-29 2021-07-29 一种跨相机追踪方法及装置 Pending CN113592910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862748.2A CN113592910A (zh) 2021-07-29 2021-07-29 一种跨相机追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862748.2A CN113592910A (zh) 2021-07-29 2021-07-29 一种跨相机追踪方法及装置

Publications (1)

Publication Number Publication Date
CN113592910A true CN113592910A (zh) 2021-11-02

Family

ID=78251708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862748.2A Pending CN113592910A (zh) 2021-07-29 2021-07-29 一种跨相机追踪方法及装置

Country Status (1)

Country Link
CN (1) CN113592910A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960667B1 (ko) * 2018-08-31 2019-07-15 주식회사 텍트원 저장 영상에서 용의자 추적 장치 및 방법
CN110929770A (zh) * 2019-11-15 2020-03-27 云从科技集团股份有限公司 一种基于图像处理的智能追踪方法、***、设备及可读介质
CN111008993A (zh) * 2019-12-06 2020-04-14 江西洪都航空工业集团有限责任公司 一种行人跨镜追踪的方法及装置
CN111047621A (zh) * 2019-11-15 2020-04-21 云从科技集团股份有限公司 一种目标对象追踪方法、***、设备及可读介质
CN111881322A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种目标搜索方法、装置、电子设备及存储介质
CN112365522A (zh) * 2020-10-19 2021-02-12 中标慧安信息技术股份有限公司 园区内人员跨境追踪的方法
CN112507953A (zh) * 2020-12-21 2021-03-16 重庆紫光华山智安科技有限公司 一种目标搜索及追踪方法和装置及设备
CN112784740A (zh) * 2021-01-21 2021-05-11 上海市公安局刑事侦查总队 步态数据的采集与标注方法及应用
CN112906599A (zh) * 2021-03-04 2021-06-04 杭州海康威视数字技术股份有限公司 一种基于步态的人员身份识别方法、装置及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960667B1 (ko) * 2018-08-31 2019-07-15 주식회사 텍트원 저장 영상에서 용의자 추적 장치 및 방법
CN110929770A (zh) * 2019-11-15 2020-03-27 云从科技集团股份有限公司 一种基于图像处理的智能追踪方法、***、设备及可读介质
CN111047621A (zh) * 2019-11-15 2020-04-21 云从科技集团股份有限公司 一种目标对象追踪方法、***、设备及可读介质
CN111008993A (zh) * 2019-12-06 2020-04-14 江西洪都航空工业集团有限责任公司 一种行人跨镜追踪的方法及装置
CN111881322A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种目标搜索方法、装置、电子设备及存储介质
CN112365522A (zh) * 2020-10-19 2021-02-12 中标慧安信息技术股份有限公司 园区内人员跨境追踪的方法
CN112507953A (zh) * 2020-12-21 2021-03-16 重庆紫光华山智安科技有限公司 一种目标搜索及追踪方法和装置及设备
CN112784740A (zh) * 2021-01-21 2021-05-11 上海市公安局刑事侦查总队 步态数据的采集与标注方法及应用
CN112906599A (zh) * 2021-03-04 2021-06-04 杭州海康威视数字技术股份有限公司 一种基于步态的人员身份识别方法、装置及电子设备

Similar Documents

Publication Publication Date Title
JP7317919B2 (ja) 外観検索のシステムおよび方法
JP7375101B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11023707B2 (en) System and method for selecting a part of a video image for a face detection operation
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN107808111B (zh) 用于行人检测和姿态估计的方法和装置
Owens et al. Application of the self-organising map to trajectory classification
KR102167730B1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109727275B (zh) 目标检测方法、装置、***和计算机可读存储介质
Nam et al. Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata
JP6789876B2 (ja) 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法
Roy et al. Suspicious and violent activity detection of humans using HOG features and SVM classifier in surveillance videos
EP3918519A1 (en) Method of processing information from an event-based sensor
Vignesh et al. Abnormal event detection on BMTT-PETS 2017 surveillance challenge
CN112668410B (zh) 分拣行为检测方法、***、电子装置和存储介质
KR20210062256A (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
KR102187831B1 (ko) Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
Kwan-Loo et al. Detection of violent behavior using neural networks and pose estimation
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Xu et al. Smart video surveillance system
US20230394686A1 (en) Object Identification
CN114764895A (zh) 异常行为检测装置和方法
KR20230166840A (ko) 인공지능을 이용한 객체 이동 경로 확인 방법
CN114913470A (zh) 一种事件检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination