CN114898307B - 一种对象跟踪方法、装置、电子设备和存储介质 - Google Patents
一种对象跟踪方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114898307B CN114898307B CN202210807780.5A CN202210807780A CN114898307B CN 114898307 B CN114898307 B CN 114898307B CN 202210807780 A CN202210807780 A CN 202210807780A CN 114898307 B CN114898307 B CN 114898307B
- Authority
- CN
- China
- Prior art keywords
- matched
- objects
- similarity
- track
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机技术领域,尤其涉及一种对象跟踪方法、装置、电子设备和存储介质,用以采用多个摄像设备进行对象跟踪场景下,在目标穿着相似时,更准确的实现对象跟踪。本申请方法包括:获取待匹配对象的外观特征和多个已匹配对象各自的外观特征;基于待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从多个已匹配对象中筛选出至少两个作为候选对象;基于至少两个候选对象与待匹配对象对应的摄像设备之间的连通关系,从至少两个候选对象中筛选出目标候选对象;基于各目标候选对象与待匹配对象之间的轨迹相似度,确定待匹配对象的跟踪识别结果。本申请根据特征相似度、拓扑网络和轨迹相似度综合识别对象,能有效区分相似外观的不同对象。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种对象跟踪方法、装置、电子设备和存储介质。
背景技术
随着科技的发展和生活水平的提高,人们对于安防***的要求也在不断提升,越来越多的监控设备被安装在各个区域。而其中的智能监控***除了可以完成录制播放当前区域情况外,还可以自动识别目标,节省大量人力,因此显得尤为重要。而跨摄像设备的多对象跟踪***是智能监控***领域的重要研究内容,旨在实现运动目标在不同摄像设备下的持续跟踪。
以跨相机跟踪为例,相关技术中,跨相机跟踪***往往基于目标表现(如颜色、几何、纹理等外观特征)实现跨相机对象跟踪。但此方案在应用于目标均穿着相似的场景时(如某些工厂要求工人穿着统一的工作服),单靠人体外观特征便不足以更好的识别区分不同个体之间差异,进而影响跨相机对象跟踪效果。
综上,采用多个摄像设备进行对象跟踪场景下,无法在目标穿着相似时,更准确的实现对象跟踪。
发明内容
本申请提供一种对象跟踪方法、装置、电子设备和存储介质,以至少提升对穿着相似的目标对象进行跟踪的准确度。
本申请实施例提供的一种对象跟踪方法,包括:
获取待匹配对象的外观特征和多个已匹配对象各自的外观特征;其中,所述待匹配对象为第一摄像设备采集的当前视频画面中的对象,所述已匹配对象为第二摄像设备采集的历史视频画面中的对象;
基于所述待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从所述多个已匹配对象中筛选出至少两个作为候选对象;
基于至少两个候选对象与所述待匹配对象对应的摄像设备之间的连通关系,从所述至少两个候选对象中筛选出目标候选对象;
基于各个目标候选对象与所述待匹配对象之间的轨迹相似度,确定所述待匹配对象的跟踪识别结果。
本申请实施例提供一种对象跟踪装置,包括:
特征获取单元,用于获取待匹配对象的外观特征和多个已匹配对象各自的外观特征;其中,所述待匹配对象为第一摄像设备采集的当前视频画面中的对象,所述已匹配对象为第二摄像设备采集的历史视频画面中的对象;
第一过滤单元,用于基于所述待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从所述多个已匹配对象中筛选出至少两个作为候选对象;
第二过滤单元,用于基于至少两个候选对象与所述待匹配对象对应的摄像设备之间的连通关系,从所述至少两个候选对象中筛选出目标候选对象;
第一匹配单元,用于基于各个目标候选对象与所述待匹配对象之间的轨迹相似度,确定所述待匹配对象的跟踪识别结果。
在一些可选的实施例中,所述第二过滤单元具体用于:
根据摄像设备拓扑网络,分别确定所述第一摄像设备与各个第二摄像设备之间的连通关系;
基于确定的各个连通关系,将所述至少两个候选对象中,与所述第一摄像设备连通的第二摄像设备对应的候选对象确定为所述目标候选对象;
其中,所述摄像设备拓扑网络表示指定区域内各个摄像设备之间的连通关系;所述指定区域内的各个摄像设备包含所述第一摄像设备与所述第二摄像设备。
在一些可选的实施例中,所述第一过滤单元具体用于:
基于所述待匹配对象与所述各个已匹配对象之间的特征相似度,将至少两个特征相似度不小于特征相似度阈值的已匹配对象作为所述候选对象。
在一些可选的实施例中,所述装置还包括:
第二匹配单元,用于若所有已匹配对象的特征相似度都小于所述特征相似度阈值,则标记所述待匹配对象为新的对象;
若仅存在一个已匹配对象的特征相似度不小于所述特征相似度阈值,则将所述一个已匹配对象作为所述待匹配对象的跟踪识别结果。
在一些可选的实施例中,所述第一匹配单元具体用于:
分别根据所述待匹配对象的轨迹与所述各个目标候选对象各自的轨迹在时间上的重叠信息,确定所述待匹配对象与所述各个目标候选对象之间的轨迹相似度;
将对应的轨迹相似度小于轨迹相似度阈值的目标候选对象,作为目标对象;
从各个目标对象中,确定所述待匹配对象的跟踪识别结果。
在一些可选的实施例中,所述第一匹配单元具体用于:
针对每个目标候选对象,分别执行以下操作:
若所述待匹配对象的轨迹与一个目标候选对象的轨迹在时间上存在重叠轨迹,则将所述重叠轨迹关联的第一相似度作为所述轨迹相似度;
若所述待匹配对象的轨迹与一个目标候选对象的轨迹在时间上不存在重叠轨迹,则将所述一个目标候选对象对应的参考对象,与所述待匹配对象的轨迹之间的第二相似度,作为所述轨迹相似度;所述参考对象为:与所述一个目标候选对象的轨迹之间的第三相似度满足相似度条件的其他对象。
在一些可选的实施例中,所述其他对象为:除所述待匹配对象外,指定区域内的任意一个摄像设备采集的当前视频画面中的对象;
所述相似度条件为:第三相似度的排序结果位于指定次序。
在一些可选的实施例中,所述第一匹配单元具体用于:
若仅存在一个目标对象,则将所述一个目标对象作为所述待匹配对象的跟踪识别结果;
若存在多个目标对象,则将与待匹配对象的特征相似度的排序结果位于指定次序的目标对象,作为所述待匹配对象的跟踪识别结果。
在一些可选的实施例中,所述第一匹配单元还用于:
若不存在轨迹相似度小于轨迹相似度阈值的对象,则标记所述待匹配对象为新的对象。
本申请实施例提供的一种电子设备,包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行上述任意一种对象跟踪方法的步骤。
本申请实施例提供一种计算机可读存储介质,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行上述任意一种对象跟踪方法的步骤。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中;当电子设备的处理器从计算机可读存储介质读取所述计算机程序时,所述处理器执行所述计算机程序,使得所述电子设备执行上述任意一种对象跟踪方法的步骤。
本申请有益效果如下:
本申请实施例提供了一种对象跟踪方法、装置、电子设备和存储介质。由于本申请在相关技术根据外观特征实现跟踪识别的基础上,加入了根据摄像设备拓扑网络和对象运动轨迹进一步跟踪识别对象的方法,本申请在计算对象之间的轨迹相似度之前,可以根据连通关系对跟踪对象的匹配对象做进一步筛选,其中,摄像设备的连通关系可以反映摄像设备对应的采集区域之间的位置关系,而采集区域的位置会影响对象轨迹的判断,因而结合连通关系可有效过滤掉轨迹相似度计算意义不大的匹配对象,在此基础上,基于对象之间的轨迹相似度再一次筛选结果,可有效根据对象的运动轨迹识别待匹配对象,以增强对象跟踪的准确性。相比于单独按照外观特征识别的方式,能够解决在一些特殊场景下,具有相似特征的不同个体无法根据外观进行有效识别的问题。并且,对于仅通过地图轨迹进行对象识别跟踪的方法,本申请又是在外观特征的基础上进行匹配的,由于外观特征易于获取,并且在目标姿态发生变化时具有较强的稳定性,因而本申请的鲁棒性更高。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种对象跟踪方法的应用场景示意图;
图2为本申请实施例提供的一种对象跟踪方法的整体流程图;
图3为本申请实施例提供的一种终端显示画面示意图;
图4为本申请实施例提供的一种基于特征相似度筛选识别对象的流程图;
图5为本申请实施例提供的一种基于摄像设备拓扑网络筛选识别对象的流程图;
图6为本申请实施例提供的一种对象轨迹示意图;
图7为本申请实施例提供的一种基于轨迹相似度确定待匹配对象的流程图;
图8为本申请实施例提供的一种对象跟踪装置的组成结构示意图;
图9为本申请实施例提供的一种电子设备的一个硬件组成结构示意图;
图10为本申请实施例提供的另一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
对象:指视频画面中的一个可追踪目标,可以为人、动物、驾驶工具等可以移动的目标;在本申请实施例中,根据对象在视频画面中出现的时间和是否已有识别结果,分为待匹配对象和已匹配对象两大类,其中,待匹配对象指:第一摄像设备在当前时刻采集到的视频画面中的某个对象,该对象为待识别状态。已匹配对象指:第二摄像设备在当前时刻之前,也就是历史时刻采集到的视频画面中的某个对象,该对象已有识别结果。在本申请实施例中第一摄像设备和第二摄像设备可以相同,也可以不同。
特征相似度:指待匹配对象与已匹配对象的外观特征之间的相似度,在本申请实施例中,外观特征表示对象的外表特点,例如颜色、几何图案等,在此基础上,特征相似度即待匹配对象和已匹配对象在外观颜色、几何图案之间的相似度。
摄像设备拓扑网络:摄像设备拓扑网络指的是不同摄像设备之间的连通关系。其中,连通关系表示摄像设备拍摄区域之间的位置关系,若两个摄像设备之间的连通关系为连通,则两个摄像设备拍摄区域的位置关系相交或紧紧相邻。例如,摄像设备AⅠ仅与摄像设备AⅡ、摄像设备AⅢ存在连通关系,即当某个对象运动从摄像设备AⅠ消失后,如果对象再次出现,则一定是在摄像设备AⅠ或AⅡ或AⅢ中(因为两个摄像设备可能存在视野重叠,因此有可能对象同时出现在两个摄像设备的画面中,摄像设备基本实现指定区域内无死角覆盖)。若两个摄像设备之间的连通关系为不连通,则两个摄像设备拍摄区域的位置关系相离。
候选对象和目标候选对象:候选对象指通过特征相似度对已匹配对象进行筛选,得到的筛选后的已匹配对象;目标候选对象指基于摄像设备拓扑网络对候选对象进行进一步筛选得到的,与第一摄像设备连通的第二摄像设备对应的候选对象为目标候选对象。
参考对象:指当一个目标候选对象的轨迹与待匹配对象的轨迹不存在重叠部分时,***将此目标候选对象与指定区域内,除待匹配对象外的所有摄像设备采集的当前视频画面中的其他对象进行轨迹相似度计算,满足相似度条件的其他对象为参考对象。
轨迹相似度:对象在地图上的运动轨迹之间的相似度,本申请中是待匹配对象与目标候选对象在轨迹上的相似度,可以为第一相似度或第二相似度。其中,第一相似度是当待匹配对象轨迹与目标候选对象轨迹在时间上存在重叠部分时,根据待匹配对象轨迹与目标候选对象轨迹的时间重叠部分计算的相似度;第二相似度是当待匹配对象轨迹与目标候选对象轨迹在时间上不存在重叠部分时,根据参考对象轨迹与待匹配对象轨迹计算的相似度。其中,轨迹重叠部分指:在地图上,两条轨迹在一个时间段内同时存在,则表明这两条轨迹存在时间重叠部分,因而,轨迹重叠部分是指两条轨迹在相同时间段内同时存在的轨迹段,此时两条轨迹在时间上的重叠部分可称为两条轨迹在时间上的重叠轨迹。
目标对象:从经过特征相似度与拓扑网络两次筛选后的目标候选对象中所选取的,与待匹配对象的轨迹相似度小于轨迹相似度阈值的目标候选对象。
第三相似度:根据目标候选对象的轨迹与指定区域内,除待匹配对象外的所有摄像设备采集的当前视频画面中的其他对象的轨迹计算出的相似度,为第三相似度。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示,其为本申请实施例的应用场景示意图。该应用场景图中包括终端设备110,服务器120。
在本申请实施例中,终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、相机、摄像机、智能家电、车载终端等设备;终端设备上可以安装有相关的客户端,该客户端可以是软件(例如安防软件、录像软件等),也可以是网页、小程序等,服务器120则是与软件或是网页、小程序等相对应的后台服务器,或者是专门用于进行对象跟踪的服务器,本申请不做具体限定。服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是,本申请各实施例中的对象跟踪的方法可以由电子设备执行,如图1所示,该电子设备可以为终端设备110或者服务器120,即,该方法可以由终端设备110或者服务器120单独执行,也可以由终端设备110和服务器120共同执行。
以服务器120单独执行为例,比如,在人工智能场景下,指定区域为一个某公司的办公大楼,该区域为封闭区域(也可以是半封闭区域),区域内部可实现摄像设备无死角覆盖,该公司的员工着装都是统一的员工服。在该场景下,当前时刻某个摄像设备拍摄到一个待匹配的对象后,服务器120获取历史时刻已匹配过的对象(简称已匹配对象),及待匹配对象与已匹配对象的外观特征,并进行特征相似度计算,对所有待匹配对象进行第一次筛选。第一次筛选完成后,服务器120将保留的已匹配对象设置为候选对象,并根据摄像设备之间的拓扑网络,查验候选对象与待匹配对象所出现的摄像设备是否连通,基于此,服务器120对候选对象进行第二次筛选,将保留的候选对象设置为目标候选对象。第二次筛选完成后,服务器120再次计算目标候选对象与待匹配对象的轨迹相似度,并根据轨迹相似度是否满足轨迹相似度阈值要求对目标候选对象进行第三次筛选,并将符合要求的目标候选对象设置为目标对象。最终,服务器120从目标对象中找到待匹配对象的识别结果,并将结果发送给终端110。
此外,本申请还可应用于交通领域,如可以对过往车辆进行实时检测与跟踪。待匹配对象为车辆,服务器120通过对监控摄像头拍摄的画面对待匹配车辆与已匹配车辆进行特征提取,基于特征相似度对已匹配车进行筛选,服务器120将保留的已匹配车辆设置为候选车辆,并基于监控摄像头之间的拓扑网络,对候选车辆进行第二次筛选,将保留的候选车辆设置为目标候选车辆。第二次筛选完成后,服务器120再次计算目标候选车辆与待匹配车辆的轨迹相似度,基于轨迹相似度对目标候选车辆进行第三次筛选,并将符合要求的目标候选车辆设置为目标车辆,并将结果发送给终端110,最终实现车辆的识别跟踪等等。
在一种可选的实施方式中,终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中,通信网络是有线网络或无线网络。
需要说明的是,图1所示只是举例说明,实际上终端设备和服务器的数量不受限制,在本申请实施例中不做具体限定。
本申请实施例中,当服务器的数量为多个时,多个服务器可组成为一区块链,而服务器为区块链上的节点。
此外,本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式提供的对象跟踪方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
参阅图2,其为本申请实施例提供的一种对象跟踪方法的实施流程图,以服务器单独执行为例,该方法的具体实施流程如下S201-S204:
S201:获取待匹配对象的外观特征和多个已匹配对象各自的外观特征。
其中,待匹配对象为第一摄像设备采集的当前视频画面中的对象,已匹配对象为第二摄像设备采集的历史视频画面中的对象,第一摄像设备与第二摄像设备为同一摄像设备或不同摄像设备。
在本申请实施例中,摄像设备指可以录制和拍摄指定区域内视频或图像画面的设备,如摄像机,监控摄像头,相机等,本文不做具体限定,下文以相机为例进行详细说明。
对象指视频画面中的一个可追踪目标,可以为人、动物、驾驶工具等可以移动的目标,下文以人为例,则该对象代指的是某个人体目标,指定区域为一个某公司的办公大楼。
在本申请实施例中,对象是指的一个可追踪目标,每个可追踪目标都具有一定的外观特征,该外观特征具体描述对象的外表特点。以人为例,外观特征包括但不限于衣服颜色、种类,衣服上的花纹、几何图案,人物发型等。
比如,如图3所示为某终端显示画面,当前时刻为今日上午8点整,待匹配对象为Y1,历史时刻为今日上午8点之前的任一时刻,如图3中,今日上午7:59对应的已匹配对象有Y2、今日上午7:57时刻对应的已匹配对象有Y3、……、今日上午7:58时刻对应的已匹配对象有Y10。
在获取待匹配对象和已匹配对象的外观特征之前,服务器还会获取待匹配对象出现的第一摄像设备的标识符及多个已匹配对象的全局唯一标识。
其中,每个摄像设备都拥有一个唯一标识符,用于确定摄像设备拍摄区域的位置,本文采用字母与罗马数字组合作为标识符。比如,上述所列举的第一摄像设备的标识符为AⅠ。
全局唯一标识指同一对象无论出现在该指定区域的任何一个摄像设备画面里,都有且仅有一个全局唯一标识。其中,全局是指在一个区域内,一段时间里,多个相机下。
在本申请实施例中,指定区域为封闭或半封闭区域,存在指定的出入口,而非开放场景,例如办公楼,而非广场。在本申请实施例中,指定区域内的多个摄像设备可以全范围内实现无死角覆盖。
具体地,服务器将待匹配对象与已匹配对象进行匹配,匹配成功后,会为其分配一个全局唯一标识(例如,一个数字,一串字符等),本申请是以数字为例,如将大于0的数字作为对象的全局唯一标识。
如上述所列举的已匹配对象Y2的全局唯一标识为2,已匹配对象Y3的全局唯一标识为3,……,已匹配对象Y10的全局唯一标识为10。
在本申请实施例中,获取到摄像设备标识符与已匹配对象的全局唯一标识之后,服务器可进一步获取待匹配对象和所有已匹配对象的外观特征。
其中,外观特征可以是利用ReID(Person Re-identification,行人再识别,简称为ReID)神经网络提取得到,本申请采用1024个数字组成的向量表示对象的外观特征。
需要说明的是,对于上文所列举的外观特征表示方法,本申请只是提供一种可行的实施方案,本文不做具体限定。
在待匹配对象和多个已匹配对象的外观特征获取完毕后,服务器即可执行如下过程:
步骤S202:基于待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从多个已匹配对象中筛选出至少两个作为候选对象。
在本申请实施例中,服务器计算待匹配对象与每个已匹配对象之间的特征相似度,并统计特征相似度大于等于特征相似度阈值的已匹配对象,得到过滤后已匹配对象并将其设置为候选对象,存入候选对象集合Yfilter1中,进一步得到候选对象的个数Nfilter1。
若服务器基于待匹配对象与已匹配对象之间的特征相似度,可以筛选得到至少两个特征相似度不小于特征相似度阈值的已匹配对象,则可将筛选得到的这些已匹配对象作为候选对象。
也即,若Nfilter1>1,则服务器通过摄像设备拓扑网络对候选对象再次进行过滤得到目标候选对象,并统计目标候选对象的个数Nfilter2。
除了步骤S202中所列举的情况之外,满足特征相似度不小于特征相似度阈值的已匹配对象的数量还可以是1个或0个。一种可选的实施方式为:
若所有已匹配对象的特征相似度都小于特征相似度阈值,则表明没有能够与待匹配对象外观特征匹配的已匹配对象,待匹配对象为首次出现在该指定区域的摄像设备下,因而可标记该待匹配对象为新的对象;
也即,若Nfilter1=0,则为待匹配对象分配一个新的全局唯一标识。
若仅存在一个已匹配对象的特征相似度不小于特征相似度阈值,则表明仅有一个已匹配对象的外观特征可以与待匹配对象匹配,因而可将对应的已匹配对象直接作为待匹配对象的跟踪识别结果。
也即,若Nfilter1=1,则将满足阈值要求的对应的已匹配对象的全局唯一标识分配给待匹配对象。
例如图4所示,其为本申请实施例中的一种服务器根据待匹配对象和已匹配对象的特征相似度对已匹配对象进行筛选的方法的流程图,包括如下步骤401-406:
步骤401:计算待匹配对象和各个已匹配对象的特征相似度。
步骤402:根据预设的特征相似度阈值,删除特征相似度小于特征相似度阈值的对应的已匹配对象,将至少两个特征相似度不小于特征相似度阈值的已匹配对象作为候选对象。
此外,候选对象筛选结束后,服务器进一步执行如下步骤:
步骤403:读取候选对象的个数。
若候选对象的个数为两个以上,则服务器执行步骤404;若候选对象的个数为1,即服务器仅能筛选出一个特征相似度不小于特征相似度阈值的已匹配对象,则服务器执行步骤405;若候选对象的个数为0,即所有已匹配对象的特征相似度都小于特征相似度阈值,则服务器执行步骤406。
步骤404:继续后续筛选(具体参见步骤S203、S204);
步骤405:直接将该候选对象的全局唯一标识分配给待匹配对象,跟踪识别过程结束。
步骤406:给待匹配对象分配一个新的全局唯一标识,跟踪识别过程结束。
以具体对象为例,假设待匹配对象Y1出现在第一摄像设备采集的画面中,已匹配对象Y2-Y10出现在第二摄像设备采集的画面中;服务器采集到的待匹配对象Y1的外观特征为F1,已匹配对象Y2的外观特征为F2,已匹配对象Y3的外观特征为F3,已匹配对象Y4的外观特征为F4,已匹配对象Y5的外观特征为F5,……,已匹配对象Y10的外观特征为F10。
下面以待匹配对象Y1和已匹配对象Y2之间的特征相似度计算为例,服务器根据外观特征F1和F2,计算待匹配对象Y1与已匹配对象Y2的特征相似度S12。
在本申请实施例中,特征相似度的计算采用余弦相似度,其具体公式如下:
其中,特征相似度的取值范围为0-1,值越大,特征越相似。
同理,服务器可参考上述公式计算出待匹配对象Y1与其他所有已匹配对象各自的特征相似度S13,S14,S15……S110。
假设特征相似度阈值设定为0.6,S12至S110中,所有相似度阈值全部小于0.6,则服务器给待匹配对象分配一个新的全局唯一标识并结束本次跟踪识别。
另一种情况下,依旧假设特征相似度阈值为0.6,S12至S110中,仅有S18的值不小于0.6,则服务器直接将已匹配对象Y8的全局唯一标识分配给待匹配对象并结束本次跟踪识别。
第三种情况下,依旧假设特征相似度阈值为0.6,S12至S110中,有S13、S15、S18、S19的数值不小于0.6,则服务器将已匹配对象Y3、Y5、Y8、Y9设置为候选对象。因候选对象的个数大于1,服务器继续进行后续筛选。
需要说明的是,对于上文所列举的特征相似度的计算方式,本申请只是提供一种可行的实施方案,具体方法本文不做限定。
在本申请实施例中,为了在候选对象中进一步识别待匹配对象的跟踪结果,服务器可执行如下过程:
步骤S203:基于至少两个候选对象与待匹配对象对应的摄像设备之间的连通关系,从至少两个候选对象中筛选出目标候选对象。
其中,指定区域内摄像设备之间的连通关系可以由摄像设备拓扑网络得到,连通关系表示摄像设备拍摄区域之间的位置关系。若两个摄像设备之间的连通关系为连通,则两个摄像设备拍摄区域的位置关系相交或紧紧相邻;若两个摄像设备之间的连通关系为不连通,则两个摄像设备拍摄区域的位置关系相离。
摄像设备拓扑网络是预先标注的,如人工标注。
在本申请实施例中,服务器根据摄像设备拓扑网络,分别确定第一摄像设备与各个第二摄像设备之间的连通关系;再基于确定的各个连通关系,将与第一摄像设备不连通的第二摄像设备对应的候选对象删除,筛选出目标候选对象。即对候选对象集合Yfilter1进行过滤得到目标候选对象集合Yfilter2。
例如图5所示,其为本申请实施例中的一种服务器根据摄像设备拓扑网络对候选对象进一步筛选的方法的流程图,包括如下步骤501-507:
步骤501:获取各个候选对象对应的第二摄像设备的标识符。
步骤502:根据预先标注的摄像设备拓扑网络,判断第一摄像设备与各个第二摄像设备之间是否连通。若连通,执行步骤503,否则执行步骤504。
步骤503:保留此第二摄像设备对应的候选对象并将其设置为目标候选对象。
步骤504:删除此第二摄像设备对应的候选对象。
步骤505:获取目标候选对象个数,若个数大于1,则服务器执行步骤506,若个数等于1,则执行步骤507。
步骤506:继续后续筛选。
步骤507:直接将该目标候选对象的全局唯一标识分配给待匹配对象,跟踪识别过程结束。
依旧以具体对象为例,上述经特征相似度筛选后的已匹配对象Y3、Y5、Y8、Y9为过滤获得的候选对象Y3、Y5、Y8、Y9,服务器获取这四个候选对象所出现的第二摄像设备的标识符,并根据摄像设备拓扑网络判断每个第二摄像设备与待匹配对象Y1所在的第一摄像设备之间是否连通。在本申请实施例中,摄像设备拓扑网络表示不同摄像设备之间的连通关系。例如,摄像设备AⅠ仅与摄像设备AⅡ、摄像设备AⅢ存在连通关系,即当某个对象从摄像设备AⅠ消失后,如果对象再次出现,则一定是在摄像设备AⅠ或AⅡ或AⅢ中(因为两个摄像设备可能存在视野重叠,因此有可能对象同时出现在两个摄像设备的画面中,摄像设备基本实现指定区域内无死角覆盖)。
假设候选对象Y5、Y8所出现的第二摄像设备与第一摄像设备连通,候选对象Y3、Y9所出现的第二摄像设备与第一摄像设备不连通,则服务器删除候选对象Y3、Y9,保留候选对象Y5、Y8并将其设置为目标候选对象Y5、Y8。
经摄像设备拓扑网络筛选过后,服务器执行步骤S204,进一步在目标候选对象中识别待匹配对象的跟踪结果:
S204:服务器基于目标候选对象与待匹配对象之间的轨迹相似度,确定待匹配对象的跟踪识别结果。
具体地,服务器分别根据待匹配对象的轨迹与各个目标候选对象各自的轨迹在时间上的重叠信息,确定待匹配对象与各个目标候选对象之间的轨迹相似度;将对应的轨迹相似度小于轨迹相似度阈值的目标候选对象,作为目标对象;从各个目标对象中,确定待匹配对象的跟踪识别结果。
在本申请实施例中,对象的轨迹指对象在指定区域的地图中留下的地图轨迹。其中,地图指的是从俯视的角度观察整个封闭区域得到的地图;地图轨迹是以平面地图的横纵坐标为基准的一系列的二维坐标点(x,y)。一个对象开始运动后,会在一个摄像设备下映射成该对象在地图上的一系列位置坐标点(x,y),这一连串的坐标点,即形成该目标的地图轨迹。
其中,重叠信息表征的是两段轨迹在时间上是否存在重叠部分,若两条轨迹在时间上存在重叠部分,即两条轨迹在某一时间段同时存在,则重叠时间对应的轨迹段(时间重叠部分)为这两条轨迹的重叠轨迹,也即重叠信息包括重叠轨迹。
重叠信息还可以表示两段轨迹在时间上的重叠程度,即两段轨迹重叠的时间长短。例如,两段轨迹的重叠程度为0则表示两条轨迹在时间上未同时存在,不存在重叠部分;两段轨迹的重叠程度大于0则表示两条轨迹在某段时间同时存在,存在重叠部分,也即存在重叠轨迹,等等。
一种可选的实施方式为,服务器首先获取待匹配对象和各个目标候选对象的地图轨迹,确定待匹配对象与各个目标候选对象的轨迹在时间上是否存在重叠部分,其中,重叠部分指两条轨迹在时间上存在重叠。具体可分为如下两种情况:
情况一、若存在重叠,则服务器将重叠轨迹关联的第一相似度作为待匹配对象与对应目标候选对象的轨迹相似度。其中,重叠轨迹关联的第一相似度即为待匹配对象与目标候选对象的的轨迹中重叠部分的轨迹的相似度。
继续沿用上述具体假设,假设目标候选对象Y5与待匹配对象Y1的地图轨迹在某一时间段中同时存在,则两段轨迹在时间上存在重叠,服务器计算Y5与Y1轨迹中重叠部分的轨迹的第一相似度,并将第一相似度作为Y5与Y1的轨迹相似度。
情况二、若不存在重叠部分,则服务器获取一个目标候选对象对应的参考对象,并计算参考对象与待匹配对象的轨迹的第二相似度,将第二相似度作为待匹配对象与对应的目标候选对象的轨迹相似度。
其中,参考对象指当一个目标候选对象的轨迹与待匹配对象的轨迹不存在重叠部分时,***将此目标候选对象与指定区域内,除待匹配对象外的所有摄像设备采集的当前视频画面中的其他对象进行轨迹相似度计算,满足相似度条件的其他对象为参考对象。
继续沿用上述具体假设,参阅图6所示,假设目标候选对象Y8与待匹配对象Y1的地图轨迹没有在同一时间出现过,即地图轨迹不存在重叠部分,则获取除待匹配对象Y1外,指定区域内的所有摄像设备采集的当前视频画面中的所有对象作为其他对象Y11、Y12、Y13……(除待匹配对象Y1),计算目标候选对象Y8与其他对象轨迹的第三相似度,并获取第三相似度最高的其他对象作为目标候选对象Y8的参考对象,假设参考对象为Y11。
计算Y11与Y1轨迹的第二相似度,并将该第二相似度作为目标候选对象Y8与待匹配对象Y1的轨迹相似度T18。
完成上述工作后,服务器将轨迹相似度小于轨迹相似度阈值的目标候选对象设置为目标对象,得到目标对象集合Yfilter3,并根据目标对象个数Nfilter3继续下一步骤,具体分为三种情况:
情况一、若仅存在一个目标对象,即Nfilter3=1,则将一个目标对象作为待匹配对象的跟踪识别结果。
情况二、若存在多个目标对象,即Nfilter3>1,则将与待匹配对象的特征相似度的排序结果位于指定次序的目标对象,作为待匹配对象的跟踪识别结果。
其中,指定次序指预设的排序序列中的某个位置,例如将各个目标对象按照与待匹配对象之间的特征相似度由大到小排序,选取排序首位即特征相似度最高的,作为待匹配对象的跟踪识别结果。
情况三、若不存在轨迹相似度小于轨迹相似度阈值的对象,即Nfilter3=0则标记待匹配对象为新的对象。
参阅图7所示,其为本申请实施例中的一种基于轨迹相似度确定待匹配对象的流程图,服务器执行步骤701-715:
步骤701:获取待匹配对象和各个目标候选对象的地图轨迹。
其中,地图轨迹是利用对象检测网络的得到对象检测框,并基于轨迹转换,得到该对象在地图上的轨迹。
步骤702:判断待匹配对象的轨迹与每个目标候选对象的轨迹是否存在重叠部分。若存在,执行步骤703,否则执行步骤705。
步骤703:计算待匹配对象与该目标候选对象轨迹重叠部分的第一相似度。
步骤704:将第一相似度作为该目标候选对象与待匹配对象之间的轨迹相似度。
步骤705:计算对应的目标候选对象与其他对象轨迹的第三相似度。
其中,其他对象是除待匹配对象外,指定区域内的任意一个摄像设备采集的当前视频画面中的对象。
步骤706:获取第三相似度最高的其他对象作为该目标候选对象的参考对象。
步骤707:计算参考对象与待匹配对象轨迹的第二相似度。
步骤708:将第二相似度作为该参考对象对应的目标候选对象与待匹配对象之间的轨迹相似度。
步骤709:判断轨迹相似度是否小于预设的轨迹相似度阈值。若是,则执行步骤710,否则执行步骤711。
步骤710:将该目标候选对象设置为目标对象。
步骤711:删除该目标候选对象。
步骤712:获取目标对象的个数。若个数大于1,则执行步骤713,若个数等于1,则执行步骤714,若个数为0,则执行步骤715。
步骤713: 将特征相似度最高的目标对象的全局唯一标识分配给待匹配对象。
步骤714:将该唯一的目标对象的全局唯一标识分配给待匹配对象。
步骤715:给待匹配对象分配一个新的全局唯一标识。
具体地,继续沿用上述假设,服务器获取上述经特征相似度及摄像机拓扑网络筛选后的目标候选对象Y5、Y8与待匹配对象Y1的地图轨迹并判断是否存在重叠部分,因目标候选对象Y5与待匹配对象Y1的地图轨迹存在重叠部分,目标候选对象Y8与待匹配对象Y1的地图轨迹不存在重叠部分。则对于目标候选对象Y5,服务器通过豪斯多夫距离计算其与待匹配对象Y1重叠部分轨迹的第一相似度,具体公式如下:
其中,A和B分别表示待匹配对象Y1与目标候选对象Y5重叠部分的轨迹,h(A,B)具体计算如下:
需要说明的是,上述公式计算结果的范围是0-正无穷,值越小代表相似度越高。
其中,豪斯多夫距离指的是度量空间中两个子集之间的距离。如果一个集合的每个点都接近另一个集合的某个点,那么两个集合在豪斯多夫距离上是接近的。豪斯多夫距离是指对手在两组中的一组中选择一个点,然后必须从那里到达另一组的最长距离。换句话说,它是从一个集合中的一个点到另一个集合中最近的点的所有距离中最大的一个。
在计算结束后,将此第一相似度作为目标候选对象Y5与待匹配对象Y1的轨迹相似度,记为T15。
对于目标候选对象Y8,获取除待匹配对象Y1外,指定区域内的所有摄像设备采集的当前视频画面中的所有对象,作为其他对象,计算目标候选对象Y8与其他对象轨迹的第三相似度并获取第三相似度最高的其他对象作为目标候选对象Y8的参考对象。
计算参考对象Y11与待匹配对象轨迹的第二相似度,并将该第二相似度作为目标候选对象Y8与待匹配对象Y1的轨迹相似度,记为T18。
假设T15与T18均小于预设的轨迹相似度阈值,服务器将目标候选对象Y5、Y8设置为目标对象Y5、Y8,因目标对象个数大于Y1,服务器再次获取目标对象Y5、Y8与待匹配对象Y1的特征相似度S15与S18并比较大小,假设S15小于S18,则服务器将目标对象Y8的全局唯一标识分配给待匹配对象Y1,跟踪识别结束。
基于相同的发明构思,本申请实施例还提供一种对象跟踪装置。如图8所示,其为对象跟踪装置800的结构示意图,可以包括:
特征获取单元801,用于获取待匹配对象的外观特征和多个已匹配对象各自的外观特征;其中,待匹配对象为第一摄像设备采集的当前视频画面中的对象,已匹配对象为第二摄像设备采集的历史视频画面中的对象;
第一过滤单元802,用于基于待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从多个已匹配对象中筛选出至少两个作为候选对象;
第二过滤单元803,用于基于至少两个候选对象与待匹配对象对应的摄像设备之间的连通关系,从至少两个候选对象中筛选出目标候选对象;
第一匹配单元804,用于基于各个目标候选对象与待匹配对象之间的轨迹相似度,确定待匹配对象的跟踪识别结果。
在一些可选的实施例中,第二过滤单元803具体用于:
根据摄像设备拓扑网络,分别确定第一摄像设备与各个第二摄像设备之间的连通关系;
基于确定的各个连通关系,将至少两个候选对象中,与第一摄像设备连通的第二摄像设备对应的候选对象确定为目标候选对象;
其中,摄像设备拓扑网络表示指定区域内各个摄像设备之间的连通关系;指定区域内的各个摄像设备包含述第一摄像设备与第二摄像设备。
在一些可选的实施例中,第一过滤单元802具体用于:
基于待匹配对象与各个已匹配对象之间的特征相似度,将至少两个特征相似度不小于特征相似度阈值的已匹配对象作为候选对象。
在一些可选的实施例中,装置还包括:
第二匹配单元805,用于若所有已匹配对象的特征相似度都小于特征相似度阈值,则标记待匹配对象为新的对象;
若仅存在一个已匹配对象的特征相似度不小于特征相似度阈值,则将一个已匹配对象作为待匹配对象的跟踪识别结果。
在一些可选的实施例中,第一匹配单元804具体用于:
分别根据待匹配对象的轨迹与各个目标候选对象各自的轨迹在时间上的重叠信息,确定待匹配对象与各个目标候选对象之间的轨迹相似度;
将对应的轨迹相似度小于轨迹相似度阈值的目标候选对象,作为目标对象;
从各个目标对象中,确定待匹配对象的跟踪识别结果。
在一些可选的实施例中,第一匹配单元804具体用于:
针对每个目标候选对象,分别执行以下操作:
若待匹配对象的轨迹与一个目标候选对象的轨迹在时间上存在重叠部分,则将重叠部分轨迹的第一相似度作为轨迹相似度;
若待匹配对象的轨迹与一个目标候选对象的轨迹在时间上不存在重叠部分,则将一个目标候选对象对应的参考对象,与待匹配对象的轨迹之间的第二相似度,作为轨迹相似度;参考对象为:与一个目标候选对象的轨迹之间的第三相似度满足相似度条件的其他对象。
在一些可选的实施例中,其他对象为:除待匹配对象外,指定区域内的任意一个摄像设备采集的当前视频画面中的对象;
相似度条件为:第三相似度的排序结果位于指定次序。
在一些可选的实施例中,第一匹配单元804具体用于:
若仅存在一个目标对象,则将一个目标对象作为待匹配对象的跟踪识别结果;
若存在多个目标对象,则将与待匹配对象的特征相似度的排序结果位于指定次序的目标对象,作为待匹配对象的跟踪识别结果。
在一些可选的实施例中,第一匹配单元804还用于:
若不存在轨迹相似度小于轨迹相似度阈值的对象,则标记待匹配对象为新的对象。
在介绍了本申请示例性实施方式的对象跟踪方法和装置之后,接下来,介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为***、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“***”。
与上述方法实施例基于同一发明构思,本申请实施例中还提供了一种电子设备。在一种实施例中,该电子设备可以是服务器,如图1所示的服务器120。在该实施例中,电子设备的结构可以如图9所示,包括存储器901,通讯模块903以及一个或多个处理器902。
存储器901,用于存储处理器902执行的计算机程序。存储器901可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器901可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器901也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);或者存储器901是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。存储器901可以是上述存储器的组合。
处理器902,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等等。处理器902,用于调用存储器901中存储的计算机程序时实现上述对象跟踪方法。
通讯模块903用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器901、通讯模块903和处理器902之间的具体连接介质。本申请实施例在图9中以存储器901和处理器902之间通过总线904连接,总线904在图9中以粗线描述,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线904可以分为地址总线、数据总线、控制总线等。为便于描述,图9中仅用一条粗线描述,但并不描述仅有一根总线或一种类型的总线。
存储器901中存储有计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请实施例的对象跟踪方法。处理器902用于执行上述的对象跟踪方法,如图2所示。
在另一种实施例中,电子设备也可以是其他电子设备,如图10所示的终端设备110。在该实施例中,电子设备的结构可以如图9所示,包括:通信组件1010、存储器1020、显示单元1030、摄像头1040、传感器1050、音频电路1060、蓝牙模块1070、处理器1080等部件。
通信组件1010用于与服务器进行通信。在一些实施例中,可以包括电路无线保真(Wireless Fidelity,WiFi)模块,WiFi模块属于短距离无线传输技术,电子设备通过WiFi模块可以帮助用户收发信息。
存储器1020可用于存储软件程序及数据。处理器1080通过运行存储在存储器1020的软件程序或数据,从而执行终端设备110的各种功能以及数据处理。存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1020存储有使得终端设备110能运行的操作***。本申请中存储器1020可以存储操作***及各种应用程序,还可以存储执行本申请实施例对象跟踪方法的计算机程序。
显示单元1030还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面(graphical user interface,GUI)。具体地,显示单元1030可以包括设置在终端设备110正面的显示屏1032。其中,显示屏1032可以采用液晶显示器、发光二极管等形式来配置。
显示单元1030还可用于接收输入的数字或字符信息,产生与终端设备110的用户设置以及功能控制有关的信号输入,具体地,显示单元1030可以包括设置在终端设备110正面的触控屏1031,可收集用户在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
其中,触控屏1031可以覆盖在显示屏1032之上,也可以将触控屏1031与显示屏1032集成而实现终端设备110的输入和输出功能,集成后可以简称触摸显示屏。本申请中显示单元1030可以显示应用程序以及对应的操作步骤。
摄像头1040可用于捕获静态图像,用户可以将摄像头1040拍摄的图像通过应用发布。摄像头1040可以是一个,也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1080转换成数字图像信号。
终端设备还可以包括至少一种传感器1050,比如加速度传感器1051、距离传感器1052、指纹传感器1053、温度传感器1054。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1060、扬声器1061、传声器1062可提供用户与终端设备110之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号,传输到扬声器1061,由扬声器1061转换为声音信号输出。终端设备110还可配置音量按钮,用于调节声音信号的音量。另一方面,传声器1062将收集的声音信号转换为电信号,由音频电路1060接收后转换为音频数据,再将音频数据输出至通信组件1010以发送给比如另一终端设备110,或者将音频数据输出至存储器1020以便进一步处理。
蓝牙模块1070用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,终端设备可以通过蓝牙模块1070与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
处理器1080是终端设备的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器1020内的软件程序,以及调用存储在存储器1020内的数据,执行终端设备的各种功能和处理数据。在一些实施例中,处理器1080可包括一个或多个处理单元;处理器1080还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1080中。本申请中处理器1080可以运行操作***、应用程序、用户界面显示及触控响应,以及本申请实施例的对象跟踪方法。另外,处理器1080与显示单元1030耦接。
在一些可能的实施方式中,本申请提供的对象跟踪方法的各个方面还可以实现为一种程序产品的形式,其包括计算机程序,当程序产品在电子设备上运行时,计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的对象跟踪方法中的步骤,例如,电子设备可以执行如图2中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种对象跟踪方法,其特征在于,该方法包括:
获取待匹配对象的外观特征和多个已匹配对象各自的外观特征;其中,所述待匹配对象为第一摄像设备采集的当前视频画面中的对象,所述已匹配对象为第二摄像设备采集的历史视频画面中的对象;
基于所述待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从所述多个已匹配对象中筛选出至少两个作为候选对象;
基于至少两个候选对象与所述待匹配对象对应的摄像设备之间的连通关系,从所述至少两个候选对象中筛选出目标候选对象;
分别根据所述待匹配对象的轨迹与各个目标候选对象各自的轨迹在时间上的重叠信息,确定所述待匹配对象与所述各个目标候选对象之间的轨迹相似度;
将对应的轨迹相似度小于轨迹相似度阈值的目标候选对象,作为目标对象;
从各个目标对象中,确定所述待匹配对象的跟踪识别结果;
其中,所述重叠信息包括重叠轨迹,所述分别根据所述待匹配对象的轨迹与所述各个目标候选对象各自的轨迹在时间上的重叠信息,确定所述待匹配对象与所述各个目标候选对象之间的轨迹相似度,包括:
针对每个目标候选对象,分别执行以下操作:
若所述待匹配对象的轨迹与一个目标候选对象的轨迹在时间上存在重叠轨迹,则将所述重叠轨迹关联的第一相似度作为所述轨迹相似度;
若所述待匹配对象的轨迹与一个目标候选对象的轨迹在时间上不存在重叠轨迹,则将所述一个目标候选对象对应的参考对象,与所述待匹配对象的轨迹之间的第二相似度,作为所述轨迹相似度;所述参考对象为:与所述一个目标候选对象的轨迹之间的第三相似度满足相似度条件的其他对象。
2.如权利要求1所述的方法,其特征在于,所述基于至少两个候选对象与所述待匹配对象对应的摄像设备之间的连通关系,从所述至少两个候选对象中筛选出目标候选对象,包括:
根据摄像设备拓扑网络,分别确定所述第一摄像设备与各个第二摄像设备之间的连通关系;
基于确定的各个连通关系,将所述至少两个候选对象中,与所述第一摄像设备连通的第二摄像设备对应的候选对象确定为所述目标候选对象;
其中,所述摄像设备拓扑网络表示指定区域内各个摄像设备之间的连通关系;所述指定区域内的各个摄像设备包含所述第一摄像设备与所述第二摄像设备。
3.如权利要求1所述的方法,其特征在于,所述基于所述待匹配对象与所述各个已匹配对象的外观特征之间的特征相似度,从所述多个已匹配对象中筛选出至少两个作为候选对象,包括:
基于所述待匹配对象与所述各个已匹配对象之间的特征相似度,将至少两个特征相似度不小于特征相似度阈值的已匹配对象作为所述候选对象。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
若所有已匹配对象的特征相似度都小于所述特征相似度阈值,则标记所述待匹配对象为新的对象;
若仅存在一个已匹配对象的特征相似度不小于所述特征相似度阈值,则将所述一个已匹配对象作为所述待匹配对象的跟踪识别结果。
5.如权利要求1所述的方法,其特征在于,所述其他对象为:除所述待匹配对象外,指定区域内的任意一个摄像设备采集的当前视频画面中的对象;
所述相似度条件为:第三相似度的排序结果位于指定次序。
6.如权利要求1所述的方法,其特征在于,所述从所述各个目标对象中,确定所述待匹配对象的跟踪识别结果,包括:
若仅存在一个目标对象,则将所述一个目标对象作为所述待匹配对象的跟踪识别结果;
若存在多个目标对象,则将与待匹配对象的特征相似度的排序结果位于指定次序的目标对象,作为所述待匹配对象的跟踪识别结果。
7.如权利要求1所述的方法,其特征在于,所述从所述各个目标对象中,确定所述待匹配对象的跟踪识别结果,还包括:
若不存在轨迹相似度小于轨迹相似度阈值的目标对象,则标记所述待匹配对象为新的对象。
8.一种对象跟踪装置,其特征在于,包括:
特征获取单元,用于获取待匹配对象的外观特征和多个已匹配对象各自的外观特征;其中,所述待匹配对象为第一摄像设备采集的当前视频画面中的对象,所述已匹配对象为第二摄像设备采集的历史视频画面中的对象;
第一过滤单元,用于基于所述待匹配对象与各个已匹配对象的外观特征之间的特征相似度,从所述多个已匹配对象中筛选出至少两个作为候选对象;
第二过滤单元,用于基于至少两个候选对象与所述待匹配对象对应的摄像设备之间的连通关系,从所述至少两个候选对象中筛选出目标候选对象;
第一匹配单元,用于分别根据所述待匹配对象的轨迹与各个目标候选对象各自的轨迹在时间上的重叠信息,确定所述待匹配对象与所述各个目标候选对象之间的轨迹相似度;将对应的轨迹相似度小于轨迹相似度阈值的目标候选对象,作为目标对象;从各个目标对象中,确定所述待匹配对象的跟踪识别结果;
其中,所述重叠信息包括重叠轨迹,所述第一匹配单元具体用于:
针对每个目标候选对象,分别执行以下操作:
若所述待匹配对象的轨迹与一个目标候选对象的轨迹在时间上存在重叠轨迹,则将所述重叠轨迹关联的第一相似度作为所述轨迹相似度;
若所述待匹配对象的轨迹与一个目标候选对象的轨迹在时间上不存在重叠轨迹,则将所述一个目标候选对象对应的参考对象,与所述待匹配对象的轨迹之间的第二相似度,作为所述轨迹相似度;所述参考对象为:与所述一个目标候选对象的轨迹之间的第三相似度满足相似度条件的其他对象。
9.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~7中任一所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,其包括计算机程序,当所述计算机程序在电子设备上运行时,所述计算机程序用于使所述电子设备执行权利要求1~7中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210807780.5A CN114898307B (zh) | 2022-07-11 | 2022-07-11 | 一种对象跟踪方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210807780.5A CN114898307B (zh) | 2022-07-11 | 2022-07-11 | 一种对象跟踪方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114898307A CN114898307A (zh) | 2022-08-12 |
CN114898307B true CN114898307B (zh) | 2022-10-28 |
Family
ID=82729676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210807780.5A Active CN114898307B (zh) | 2022-07-11 | 2022-07-11 | 一种对象跟踪方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114898307B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7350222B1 (ja) * | 2023-03-30 | 2023-09-25 | 三菱電機株式会社 | 動作分析装置、動作分析方法、及び動作分析プログラム |
CN116543356B (zh) * | 2023-07-05 | 2023-10-27 | 青岛国际机场集团有限公司 | 一种轨迹确定方法、设备及介质 |
CN117557789B (zh) * | 2024-01-12 | 2024-04-09 | 国研软件股份有限公司 | 一种海上目标的智能化检测方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428449A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
CN110443828A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
CN111724412A (zh) * | 2020-06-17 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 确定运动轨迹的方法、装置及计算机存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170083764A1 (en) * | 2015-09-23 | 2017-03-23 | Behavioral Recognition Systems, Inc. | Detected object tracker for a video analytics system |
-
2022
- 2022-07-11 CN CN202210807780.5A patent/CN114898307B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110428449A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
CN110443828A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
CN111724412A (zh) * | 2020-06-17 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 确定运动轨迹的方法、装置及计算机存储介质 |
Non-Patent Citations (2)
Title |
---|
"High Performance Visual Tracking with Siamese Region Proposal Network";Bo Li et al.;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181216;第8971-8980页 * |
"联合YOLOv3检测和ReID的目标跟踪方法";李福进 等;《华北理工大学学报(自然科学版)》;20210731;第43卷(第3期);第110-118页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114898307A (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114898307B (zh) | 一种对象跟踪方法、装置、电子设备和存储介质 | |
Ni et al. | Multilevel depth and image fusion for human activity detection | |
Roy-Chowdhury et al. | Camera networks: The acquisition and analysis of videos over wide areas | |
JP5682563B2 (ja) | 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム | |
Qiu et al. | Kestrel: Video analytics for augmented multi-camera vehicle tracking | |
WO2020093829A1 (zh) | 开放场景的实时人流统计方法和装置 | |
CN110706247B (zh) | 一种目标跟踪方法、装置及*** | |
JP6516832B2 (ja) | 画像検索装置、システム及び方法 | |
CN108647557A (zh) | 信息处理设备、信息处理方法和存储介质 | |
WO2016183047A1 (en) | Systems and methods of updating user identifiers in an image-sharing environment | |
AU2012244275A1 (en) | Method, apparatus and system for determining a boundary of an obstacle which occludes an object in an image | |
WO2021180004A1 (zh) | 视频分析方法、视频分析的管理方法及相关设备 | |
CN111291646A (zh) | 一种人流量统计方法、装置、设备及存储介质 | |
CN108416298B (zh) | 一种场景判断方法及终端 | |
Linda et al. | Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network | |
CA3101737A1 (en) | Method, system and computer program product for intelligent tracking and data transformation between interconnected sensor devices of mixed type | |
Li et al. | iPAC: Integrate pedestrian dead reckoning and computer vision for indoor localization and tracking | |
CN111339943A (zh) | 一种对象管理方法、***、平台、设备及介质 | |
KR100885418B1 (ko) | 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법 | |
Zhai et al. | Vm-tracking: Visual-motion sensing integration for real-time human tracking | |
CN103688139A (zh) | 用于便携式终端设备的进行行人脚步识别的方法和装置 | |
JP7020567B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
CN115588149A (zh) | 基于匹配优先级的跨相机多目标级联匹配方法 | |
CN115546846A (zh) | 图像识别处理方法、装置、电子设备及存储介质 | |
KR20190134916A (ko) | 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |