CN114170556A - 目标轨迹追踪方法及装置、存储介质、电子设备 - Google Patents
目标轨迹追踪方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN114170556A CN114170556A CN202111515065.6A CN202111515065A CN114170556A CN 114170556 A CN114170556 A CN 114170556A CN 202111515065 A CN202111515065 A CN 202111515065A CN 114170556 A CN114170556 A CN 114170556A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- camera
- track
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本公开属于轨迹追踪技术领域,涉及一种目标轨迹追踪方法及装置、存储介质、电子设备。该方法包括:获取多个摄像头的位置信息,并根据位置信息构建多个摄像头的方向坐标矩阵;获取追踪目标在多个摄像头中的当前摄像头中的消失时长以及与消失时长对应的第一时长阈值,并对消失时长和第一时长阈值进行比较得到时长比较结果;若时长比较结果为消失时长大于所述第一时长阈值,根据方向坐标矩阵和当前摄像头确定追踪目标出现的下一摄像头,以使下一摄像头输出追踪目标的目标轨迹。本公开缩小了查询空间,提高了跨摄像头的目标检索效率和重识别准确率,降低了查询时长和目标追踪的追踪时长,不会带来额外的构建成本,支持构建端到端的目标轨迹追踪***。
Description
技术领域
本公开涉及轨迹追踪技术领域,尤其涉及一种目标轨迹追踪方法与目标轨迹追踪装置、计算机可读存储介质及电子设备。
背景技术
随着人工智能技术的快速发展,人工智能技术也已经应用到视频监控领域中。人工智能技术应用到视频监控领域以来,基于视频监控的智慧安防得到了迅速发展。在智慧城市建设中的城市治安、交通、园区安防等方面发挥着重要的作用。
然而,现在视频监控***中大多数仍为信息离散且隔离的点位化视频监控***,通常需要专门的监控管理人员通过人工进行监控和分析。传统的人工管理模式不仅管理效率低,管理方法繁琐,并且,由于人员及设施安全保密管理能力有限,导致监控管理实时性和及时性都极差。除此之外,这种人工管理模式也无法实现人员等目标的实时追踪、人员求救报警及智能化区域管理等功能。
鉴于此,本领域亟需开发一种新的目标轨迹追踪方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种目标轨迹追踪方法、目标轨迹追踪装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术的限制而导致的目标监控效果不佳和功能不足的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面,提供一种目标轨迹追踪方法,所述方法包括:
获取多个摄像头的位置信息,并根据所述位置信息构建所述多个摄像头的方向坐标矩阵;
获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值,并对所述消失时长和所述第一时长阈值进行比较得到时长比较结果;
若所述时长比较结果为所述消失时长大于所述第一时长阈值,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,以使所述下一摄像头输出所述追踪目标的目标轨迹。
在本发明的一种示例性实施例中,在所述获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值之前,所述方法还包括:
对所述当前摄像头显示的目标图像进行目标检测确定所述追踪目标的当前轨迹,并获取与所述当前轨迹对应的轨迹状态;
利用所述轨迹状态对所述当前轨迹进行轨迹关联得到轨迹关联结果。
在本发明的一种示例性实施例中,所述轨迹状态包括:活跃状态、丢失状态、搜索状态和删去状态。
在本发明的一种示例性实施例中,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
利用所述轨迹状态对所述轨迹关联结果进行修改得到轨迹更新结果;
基于所述轨迹更新结果,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
根据所述方向坐标矩阵和所述当前摄像头在所述多个摄像头中除所述当前摄像头之外的其他摄像头中预测追踪摄像头;
获取所述当前摄像头显示的所述追踪目标的目标图像,并获取所述追踪摄像头的视频流;
根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
对所述目标图像进行特征提取处理得到目标特征,并对所述视频流进行特征提取处理得到视频特征;
对所述目标特征和所述视频特征进行相似度计算得到目标距离,并根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
获取与所述目标距离对应的距离阈值,并对所述目标距离和所述距离阈值进行比较得到距离比较结果;
若所述距离比较结果为所述目标距离小于所述距离阈值,确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
根据本发明实施例的第二个方面,提供一种目标轨迹追踪装置,包括:
矩阵构建模块,被配置为获取多个摄像头的位置信息,并根据所述位置信息构建所述多个摄像头的方向坐标矩阵;
条件判断模块,被配置为获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值,并对所述消失时长和所述第一时长阈值进行比较得到时长比较结果;
目标追踪模块,被配置为若所述时长比较结果为所述消失时长大于所述第一时长阈值,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,以使所述下一摄像头输出所述追踪目标的目标轨迹。
在本发明的一种示例性实施例中,在所述获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值之前,所述方法还包括:
对所述当前摄像头显示的目标图像进行目标检测确定所述追踪目标的当前轨迹,并获取与所述当前轨迹对应的轨迹状态;
利用所述轨迹状态对所述当前轨迹进行轨迹关联得到轨迹关联结果。
在本发明的一种示例性实施例中,所述轨迹状态包括:活跃状态、丢失状态、搜索状态和删去状态。
在本发明的一种示例性实施例中,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
利用所述轨迹状态对所述轨迹关联结果进行修改得到轨迹更新结果;
基于所述轨迹更新结果,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
根据所述方向坐标矩阵和所述当前摄像头在所述多个摄像头中除所述当前摄像头之外的其他摄像头中预测追踪摄像头;
获取所述当前摄像头显示的所述追踪目标的目标图像,并获取所述追踪摄像头的视频流;
根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
对所述目标图像进行特征提取处理得到目标特征,并对所述视频流进行特征提取处理得到视频特征;
对所述目标特征和所述视频特征进行相似度计算得到目标距离,并根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
获取与所述目标距离对应的距离阈值,并对所述目标距离和所述距离阈值进行比较得到距离比较结果;
若所述距离比较结果为所述目标距离小于所述距离阈值,确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
根据本发明实施例的第三个方面,提供一种电子设备,包括:处理器和存储器;其中,存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例中的目标轨迹追踪方法。
根据本发明实施例的第四个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意示例性实施例中的目标轨迹追踪方法。
由上述技术方案可知,本公开示例性实施例中的目标轨迹追踪方法、目标轨迹追踪装置、计算机存储介质及电子设备至少具备以下优点和积极效果:
在本公开的示例性实施例提供的方法及装置中,一方面,根据多个摄像头的位置信息构建方向坐标矩阵,使用摄像头的方向坐标矩阵进行跨摄像头的目标查询,在充分利用了摄像头的位置信息的同时缩小了查询空间,提高了跨摄像头的目标检索效率和重识别准确率,同时降低了查询时长和目标追踪的追踪时长,也不会带来额外的构建成本;另一方面,支持构建端到端的目标轨迹追踪***,以进一步同时支持对多个追踪目标的跟踪,实用性极强。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种目标轨迹追踪方法的流程示意图;
图2示意性示出本公开示例性实施例中某园区某一办公楼层通道的摄像头的分布示意图;
图3示意性示出本公开示例性实施例中构建出的多个摄像头的方向坐标矩阵的示意图;
图4示意性示出本公开示例性实施例中轨迹关联的方法的流程示意图;
图5示意性示出本公开示例性实施例中基于修改的轨迹关联结果确定下一摄像头的方法的流程示意图;
图6示意性示出本公开示例性实施例中根据方向坐标矩阵和当前摄像头确定下一摄像头的方法的流程示意图;
图7示意性示出本公开示例性实施例中进一步根据方向坐标矩阵和当前摄像头确定下一摄像头的方法的流程示意图;
图8示意性示出本公开示例性实施例中根据目标距离确定下一摄像头的方法的流程示意图;
图9示意性示出本公开示例性实施例中应用场景下目标轨迹追踪方法的流程示意图;
图10示意性示出本公开示例性实施例中应用场景下目标轨迹追踪***的模块示意图;
图11示意性示出本公开示例性实施例中一种目标轨迹追踪装置的结构示意图;
图12示意性示出本公开示例性实施例中一种用于实现目标轨迹追踪方法的电子设备;
图13示意性示出本公开示例性实施例中一种用于实现目标轨迹追踪方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
随着人工智能技术的快速发展,人工智能技术也已经应用到视频监控领域中。人工智能技术应用到视频监控领域以来,基于视频监控的智慧安防得到了迅速发展。在智慧城市建设中的城市治安、交通、园区安防等方面发挥着重要的作用。
然而,现在视频监控***中大多数仍为信息离散且隔离的点位化视频监控***,通常需要专门的监控管理人员通过人工进行监控和分析。传统的人工管理模式不仅管理效率低,管理方法繁琐,并且,由于人员及设施安全保密管理能力有限,导致监控管理实时性和及时性都极差。除此之外,这种人工管理模式也无法实现人员等目标的实时追踪、人员求救报警及智能化区域管理等功能。
而跨摄像头目标轨迹追踪能够提供一种较好的思路。跨摄像头目标轨迹追踪指的是对于输入的目标图片,在不同场景不同位置的摄像头中找到目标,并将位于不同帧的目标加以关联。***综合利用目标检测、目标跟踪、行人再识别等技术形成一个统一的技术框架。
对于跨摄像头目标追踪来说,目标追踪方面的工作基本都是检测-追踪(Detection-Tracking)的思路。追踪就是将目标检测的bounding box(边界框)结果做关联,视频帧之间关联的同一个目标称为一条轨迹。
目前,单摄像头目标追踪可得到目标在该摄像头视野下的运动轨迹,目标的一条运动轨迹包含其运动的方向信息。在工程推理时,利用目标轨迹的方向信息和摄像头的位置坐标矩阵提升跨摄像头追踪精度和追踪效率。
并且,目前多目标***多数离线完成。基于完整的视频流,根据相邻帧信息构建目标的轨迹,但是,***都有一定的时延。实时的追踪***只能获取当前时间的视频流,而无法获取下一帧信息。而实际追踪目标时又对实时性的要求较高。
因此,多源视频流同时输入到***,***对某一目标的推理结果合成一个完成的轨迹,实现端到端的实时检测和追踪也是一个亟待解决的目标问题。
针对相关技术中存在的问题,本公开提出了一种目标轨迹追踪方法。图1示出了目标轨迹追踪方法的流程图,如图1所示,目标轨迹追踪方法至少包括以下步骤:
步骤S110.获取多个摄像头的位置信息,并根据位置信息构建多个摄像头的方向坐标矩阵。
步骤S120.获取追踪目标在多个摄像头中的当前摄像头中的消失时长以及与消失时长对应的第一时长阈值,并对消失时长和第一时长阈值进行比较得到时长比较结果。
步骤S130.若时长比较结果为消失时长大于第一时长阈值,根据方向坐标矩阵和当前摄像头确定追踪目标出现的下一摄像头,以使下一摄像头输出追踪目标的目标轨迹。
在本公开的示例性实施例中,一方面,根据多个摄像头的位置信息构建方向坐标矩阵,使用摄像头的方向坐标矩阵进行跨摄像头的目标查询,在充分利用了摄像头的位置信息的同时缩小了查询空间,提高了跨摄像头的目标检索效率和重识别准确率,同时降低了查询时长和目标追踪的追踪时长,也不会带来额外的构建成本;另一方面,支持构建端到端的目标轨迹追踪***,以进一步同时支持对多个追踪目标的跟踪,实用性极强。
下面对目标轨迹追踪方法的各个步骤进行详细说明。
在步骤S110中,获取多个摄像头的位置信息,并根据位置信息构建多个摄像头的方向坐标矩阵。
在本公开的示例性实施例中,该多个摄像头可以是处于同一园区,或者处于其他同一区域的摄像头,本示例性实施例对此不做特殊限定。
该位置信息可以是多个摄像头两两之间的相对位置信息,也可以是在地图中多个摄像头的具***置信息,本示例性实施例对此不做特殊限定。
在得到的多个摄像头的位置信息之后,可以根据该位置信息构建多个摄像头的方向坐标矩阵。
具体的,图2示出了某园区某一办公楼层通道的摄像头的分布示意图,如图2所示,将摄像头视野范围内移动的方向使用坐标表示,并存储到按照摄像头序号排列的矩阵中。
其中,(N→S)表示追踪目标由北向南移动,表示为(-1,0);(S→N)表示追踪目标由南向北移动,表示为(1,0);(E→W)表示追踪目标由东向西移动,表示为(0,-1);(W→E)表示追踪目标由西向东移动,表示为(0,1)。
摄像头直接可达会被记录到方阵中。图3示出了构建出的多个摄像头的方向坐标矩阵的示意图,如图3所示,追踪目标从图2中的摄像头1到摄像头6,追踪目标是往西北方向移动,在方向坐标矩阵的第一行第六列的坐标记录为(1,-1);追踪目标从图2中的摄像头5到摄像头3,不直接可达,因此在方向坐标矩阵的第五行第三列的坐标记录为(0,0),其他方向坐标矩阵的坐标记录方式以此类推,在此不再赘述。
多个摄像头的方向坐标矩阵的构建方式简单快捷,并且成本低廉,实用性极强。
在步骤S120中,获取追踪目标在多个摄像头中的当前摄像头中的消失时长以及与消失时长对应的第一时长阈值,并对消失时长和第一时长阈值进行比较得到时长比较结果。
在本公开的示例性实施例中,当追踪目标出现在多个摄像头中的其中一个摄像头时,可以确定该摄像头为当前摄像头。
进而,对该当前摄像头的视频流中的目标检测结果进行轨迹关联。
在可选的实施例中,图4示出了轨迹关联的方法的流程示意图,如图4所示,该方法至少包括以下步骤:在步骤S410中,对当前摄像头显示的目标图像进行目标检测确定追踪目标的当前轨迹,并获取与当前轨迹对应的轨迹状态。
该当前摄像头显示的目标图像可以是由用户从客户端上传的,也可以是对当前摄像头的视频流进行截图得到的,本示例性实施例对此不做特殊限定。
对该当前摄像头显示的一帧帧的目标图像进行目标检测可以得到包含追踪目标的摄像头的ID(Identity Document,标识)(cameraID)和追踪目标在当前摄像头中形成的当前轨迹,以将轨迹状态与当前轨迹进行轨迹关联。
在可选的实施例中,轨迹状态包括:活跃状态、丢失状态、搜索状态和删去状态。
其中,活跃状态(Active)是指追踪目标在某一摄像头下能够被追踪到;丢失状态(Lost)是指追踪目标可能由于遮挡等原因在该摄像头下暂时消失,但可以很快被追踪到(Active);搜索状态(Searching)是指目标在该摄像头下消失的时间大于第一时长阈值,因此可启动搜索其他摄像头的视频流;删除状态(Deleted)是指追踪目标的消失时长大于第二时长阈值,其他摄像头也无法检索到追踪目标,因此该轨迹可以被标记为Deleted。
在步骤S420中,利用轨迹状态对当前轨迹进行轨迹关联得到轨迹关联结果。
当在当前摄像头显示的目标图像中能够得到追踪目标的当前轨迹时,可以将该当前轨迹的轨迹状态标记为Active得到轨迹关联结果。
在本示例性实施例中,使用基于轨迹状态的方式对当前轨迹进行轨迹关联,能够支持构建端到端的目标轨迹追踪***,实时性强。并且,由于轨迹库里可以同时维护多个目标的轨迹信息,因此,构建出的目标轨迹追踪***还可以同时支持对多个目标的追踪。
当追踪目标由于障碍物遮挡等原因暂时消失时,可以获取追踪目标在当前摄像头中的消失时长。
更进一步的,还可以获取到与该消失时长对应的第一时长阈值T1。其中,第一时长阈值T1可以根据实际情况设定,本示例性实施例对此不做特殊限定。
在获取到消失时长和第一时长阈值之后,可以对消失时长和第一时长阈值进行比较,以得到时长比较结果。
在步骤S130中,若时长比较结果为消失时长大于第一时长阈值,根据方向坐标矩阵和当前摄像头确定追踪目标出现的下一摄像头,以使下一摄像头输出追踪目标的目标轨迹。
在本公开的示例性实施例中,当时长比较结果为消失时长大于第一时长阈值时,可以根据已经构建好的方向坐标矩阵和当前摄像头中的目标图像预测追踪目标出现的下一摄像头。
在可选的实施例中,图5示出了基于修改的轨迹关联结果确定下一摄像头的方法的流程示意图,如图5所示,该方法至少包括以下步骤:在步骤S510中,利用轨迹状态对轨迹关联结果进行修改得到轨迹更新结果。
当时长比较结果为消失时长不大于第一时长阈值时,可以将轨迹关联结果中的当前轨迹的轨迹状态修改为Lost。当该追踪目标在当前摄像头重新出现时,可以将该当前轨迹被重新激活,亦即再将当前轨迹的轨迹状态Lost修改为Active。
当时长比较结果为消失时长大于第一时长阈值时,以将轨迹关联结果中的当前轨迹的轨迹状态修改为Searching作为轨迹更新结果。
在步骤S520中,基于轨迹更新结果,根据方向坐标矩阵和当前摄像头确定追踪目标出现的下一摄像头。
在修改轨迹关联结果得到轨迹更新结果之后,可以根据方向坐标矩阵和当前摄像头确定追踪目标出现的下一摄像头。
在可选的实施例中,图6示出了根据方向坐标矩阵和当前摄像头确定下一摄像头的方法的流程示意图,如图6所示,该方法至少包括以下步骤:在步骤S610中,根据方向坐标矩阵和当前摄像头在多个摄像头中除当前摄像头之外的其他摄像头中预测追踪摄像头。
根据当前摄像头显示的追踪目标的目标图像可以计算出该当前轨迹的运动方向。
按照该运动方向和方向坐标矩阵从除当前摄像头之外的其他摄像头中预测出一个追踪摄像头。
具体的,以当前摄像头为起始位置,按照运动方向确定与该当前摄像头距离最近的摄像头为追踪摄像头。
在步骤S620中,获取当前摄像头显示的追踪目标的目标图像,并获取追踪摄像头的视频流。
该当前摄像头显示的目标图像可以是由用户从客户端上传的,也可以是对当前摄像头的视频流进行截图得到的,本示例性实施例对此不做特殊限定。
该视频流可以是追踪摄像头上传的,也可以通过其他方式获取到的,本示例性实施例对此不做特殊限定。
在步骤S630中,根据目标图像和视频流确定追踪摄像头为追踪目标出现的下一摄像头。
在可选的实施例中,图7示出了进一步根据方向坐标矩阵和当前摄像头确定下一摄像头的方法的流程示意图,如图7所示,该方法至少包括以下步骤:在步骤S710中,对目标图像进行特征提取处理得到目标特征,并对视频流进行特征提取处理得到视频特征。
利用残差网络等方式对目标图像进行特征提取处理得到目标特征,该目标特征可以表征目标图像中追踪目标是人或者车辆,以及是第几个人或第几辆车等内容。
ResNet(Residual Neural Network,残差神经网络)是由何凯明等人提出的神经网络,ResNet的结构可以极快地加速超深神经网络的训练,模型的准确率也有非常大的提升。在图像处理领域,如何能够通过ResNet网络来实现最优的图像处理效果是目前亟待解决的技术问题。
ResNet的思想是假设涉及一个网络层,存在最优化的网络层次,那么往往设计的深层次网络是有很多网络层为冗余层的。那么,希望这些冗余层能够完成恒等映射,保证经过该恒等层的输入和输出完全相同。具体哪些层是恒等层,这个会有网络训练的时候自己判断出来。
该残差网络中仅包括两层串行的权重层。可X是这一层残差块的输入,也称作F(x)为残差,x为输入值,F(X)是经过第一层线性变化并激活后的输出。该图表示在残差网络中,第二层进行线性变化之后激活之前,F(x)加入了这一层输入值X,然后再进行激活后输出。在第二层输出值激活前加入X,这条路径称作shortcut连接。
除此之外,还可以利用残差网络等方式对视频流进行特征提取处理得到视频特征。该视频特征可以表征视频流中的目标是人或者车辆,以及是第几个人或第几辆车等内容。
在步骤S720中,对目标特征和视频特征进行相似度计算得到目标距离,并根据目标距离确定追踪摄像头为追踪目标出现的下一摄像头。
在得到目标特征和视频特征之后,可以对目标特征和视频特征做对比,计算目标特征和视频特征之间的余弦距离等表征相似度的参数得到目标距离,以进一步根据目标距离确定出追踪摄像头为追踪目标出现的下一摄像头。
图8示出了根据目标距离确定下一摄像头的方法的流程示意图,如图8所示,该方法至少包括以下步骤:在步骤S810中,获取与目标距离对应的距离阈值,并对目标距离和距离阈值进行比较得到距离比较结果。
在计算出目标距离之后,可以进一步获取与该目标距离对应的距离阈值。该距离阈值可以根据实际情况设定,本示例性实施例对此不做特殊限定。
在获取到距离阈值之后,可以将该目标距离和距离阈值进行比较,以得到距离比较结果。
在步骤S820中,若距离比较结果为目标距离小于距离阈值,确定追踪摄像头为追踪目标出现的下一摄像头。
当距离比较结果为目标距离小于距离阈值,且目标距离存在多个时,还可以对多个目标距离进行排序得到最小的目标距离,以将该最小的目标距离所对应的目标确定为追踪目标。因此,可以表明该追踪目标会出现在追踪摄像头中,且能够在该追踪摄像头中追踪到丢失的追踪目标,进而确定该追踪摄像头为追踪目标出现的下一摄像头。
在本示例性实施例中,通过追踪目标的目标图像和追踪摄像头的视频流可以确定追踪目标出现的下一摄像头,支持使用方向坐标矩阵进行跨摄像头的目标查询,充分利用了追踪目标运动的当前轨迹和摄像头的位置信息,提高了跨摄像头目标检索的效率,加快了目标追踪的速度。
在从多个摄像头中除当前摄像头之外的其他摄像头中确定出下一摄像头之后,还可以对下一摄像头中的目标轨迹进行轨迹关联,以使下一摄像头输出带有追踪目标的目标轨迹的摄像头视频流。
下面结合一应用场景对本公开实施例中目标轨迹追踪方法做出详细说明。
随着人工智能技术的快速发展,人工智能技术也已经应用到视频监控领域中。人工智能技术应用到视频监控领域以来,基于视频监控的智慧安防得到了迅速发展。在智慧城市建设中的城市治安、交通、园区安防等方面发挥着重要的作用。
然而,现在视频监控***中大多数仍为信息离散且隔离的点位化视频监控***,通常需要专门的监控管理人员通过人工进行监控和分析。传统的人工管理模式不仅管理效率低,管理方法繁琐,并且由于人员及设施安全保密管理能力有限,导致监控管理实时性和及时性都极差。除此之外,无法实现人员等目标的实时追踪、人员求救报警及智能化区域管理等功能。
而跨摄像头目标轨迹追踪能够提供一种较好的思路。跨摄像头目标轨迹追踪指的是对于输入的目标图片,在不同场景不同位置的摄像头中找到目标,并将位于不同帧的目标加以关联。***综合利用目标检测、目标跟踪、行人再识别等技术形成一个统一的技术框架。
对于跨摄像头目标追踪来说,目标追踪方面的工作基本都是检测-追踪的思路。追踪就是将目标检测的bounding box结果做关联,视频帧之间关联的同一个目标称为一条轨迹。
目前,单摄像头目标追踪可得到目标在该摄像头视野下的运动轨迹,目标的一条运动轨迹包含其运动的方向信息。在工程推理时,利用目标轨迹的方向信息和摄像头的位置坐标矩阵提升跨摄像头追踪精度和追踪效率。
并且,目前多目标***多数离线完成。基于完整的视频流,根据相邻帧信息构建目标的轨迹,但是,***都有一定的时延。实时的追踪***只能获取当前时间的视频流,而无法获取下一帧信息。而实际追踪目标时又对实时性的要求较高。
因此,多源视频流同时输入到***,***对某一目标的推理结果合成一个完成的轨迹,实现端到端的实时检测和追踪也是一个亟待解决的目标问题。
图9示出了应用场景下目标轨迹追踪方法的流程示意图,如图9所示,在步骤S910中,目标行人图片。
在园区视频监控***中,需要利用园区多源视频流对目标人员进行实时定位与轨迹跟踪,引导智能监控***对可疑目标采取措施。因此,目标轨迹追踪***接收前端上传的目标行人图片,并进行特征提取。
该目标行人图片可以是当前摄像头显示的目标图像。
利用残差网络等方式对目标图像进行特征提取处理得到目标特征,该目标特征可以表征目标图像中追踪目标是人,以及是第几个人等内容。
在步骤S920中,单摄像头目标检测。
目标轨迹追踪***同时对多个摄像头的视频流进行目标检测,以确认包含目标行人的cameraID。
对该当前摄像头显示的一帧帧的目标图像进行目标检测可以得到包含追踪目标的摄像头的ID和追踪目标在当前摄像头中形成的当前轨迹,以将轨迹状态与当前轨迹进行轨迹关联。
在步骤S930中,新增轨迹。
对该包含目标行人的当前摄像头的视频流的目标检测结果进行轨迹关联,并将该轨迹存储到轨迹库中。
其中,轨迹状态包括:活跃状态、丢失状态、搜索状态和删去状态。
其中,活跃状态是指追踪目标在某一摄像头下能够被追踪到;丢失状态是指追踪目标可能由于遮挡等原因在该摄像头下暂时消失,但可以很快被追踪到;搜索状态是指目标在该摄像头下消失的时间大于第一时长阈值,因此可启动搜索其他摄像头的视频流;删除状态是指追踪目标的消失时长大于第二时长阈值,其他摄像头也无法检索到追踪目标,因此该轨迹可以被标记为Deleted。
当在当前摄像头显示的目标图像中能够得到追踪目标的当前轨迹时,可以将该当前轨迹的轨迹状态标记为Active得到轨迹关联结果。
使用基于轨迹状态的方式对当前轨迹进行轨迹关联,能够支持构建端到端的目标轨迹追踪***,实时性强。并且,由于轨迹库里可以同时维护多个目标的轨迹信息,因此,构建出的目标轨迹追踪***还可以同时支持对多个目标的追踪。
除此之外,在轨迹库中存储的一条当前轨迹的追踪记录内容除了可以包括carmeraID和Status(轨迹状态)之外,还可以包括TrackID、PersonID、Frame_start_index、Frame_end_index、Feature和Location等。
其中,TrackID为轨迹的ID;PersonID为目标行人的ID;Frame_start_index为目标开始追踪的帧序列号;Frame_end_index为目标消失的帧序列号;Feature为目标的特征向量,亦即目标特征;Location为目标运动的方向信息,可以由追踪目标的bounding box(边界框)移动的坐标计算得到。
在步骤S940中,单摄像头目标轨迹追踪。
当前摄像头可以作为单摄像头记录追踪目标的当前轨迹。
在步骤S950中,判断目标消失。
由于障碍物遮挡等原因暂时消失时,可以获取追踪目标在当前摄像头中的消失时长。
更进一步的,还可以获取到与该消失时长对应的第一时长阈值T1。其中,第一时长阈值T1可以根据实际情况设定,本示例性实施例对此不做特殊限定。
在获取到消失时长和第一时长阈值之后,可以对消失时长和第一时长阈值进行比较,以得到时长比较结果。
在步骤S960中,判断Lost状态时间是否大于T1。
当时长比较结果为消失时长不大于第一时长阈值T1时,可以将轨迹关联结果中的当前轨迹的轨迹状态修改为Lost。当该追踪目标在当前摄像头重新出现时,可以将该当前轨迹被重新激活,亦即再将当前轨迹的轨迹状态Lost修改为Active。
在步骤S970中,轨迹状态变更Searching。
当时长比较结果为消失时长大于第一时长阈值T1时,以将轨迹关联结果中的当前轨迹的轨迹状态修改为Searching作为轨迹更新结果。
在步骤S980中,Searching状态时间是否大于第二时长阈值T2。
当时长比较结果为消失时长大于第二时长阈值T2时,则认为追踪目标消失,可以将当前轨迹的轨迹状态修改为Deleted。
在步骤S990中,跨摄像头目标检索模块。
在修改轨迹关联结果得到轨迹更新结果之后,可以根据方向坐标矩阵和当前摄像头确定追踪目标出现的下一摄像头。
根据当前轨迹的运动方向和多个摄像头的方向坐标矩阵能够启动跨摄像头的查询。
其中,将(N→S)表示追踪目标由北向南移动,表示为(-1,0);(S→N)表示追踪目标由南向北移动,表示为(1,0);(E→W)表示追踪目标由东向西移动,表示为(0,-1);(W→E)表示追踪目标由西向东移动,表示为(0,1),以构建多个摄像头的方向坐标矩阵。
举例而言,当摄像头1到摄像头6,追踪目标是往西北方向移动,在方向坐标矩阵的第一行第六列的坐标记录为(1,-1);当从摄像头5到摄像头3,不直接可达,因此在方向坐标矩阵的第五行第三列的坐标记录为(0,0),多个摄像头的方向坐标矩阵中的其他方向坐标矩阵的坐标记录方式以此类推,在此不再赘述。
根据当前摄像头显示的追踪目标的目标图像可以计算出该当前轨迹的运动方向。
按照该运动方向和方向坐标矩阵从除当前摄像头之外的其他摄像头中预测出一个追踪摄像头。
具体的,以当前摄像头为起始位置,按照运动方向确定与该当前摄像头距离最近的摄像头为追踪摄像头。
获取当前摄像头显示的追踪目标的目标图像,并获取追踪摄像头的视频流。
该当前摄像头显示的目标图像可以是由用户从客户端上传的,也可以是对当前摄像头的视频流进行截图得到的,本示例性实施例对此不做特殊限定。
该视频流可以是追踪摄像头上传的,也可以通过其他方式获取到的,本示例性实施例对此不做特殊限定。
根据目标图像和视频流确定追踪摄像头为追踪目标出现的下一摄像头。
对目标图像进行特征提取处理得到目标特征,并对视频流进行特征提取处理得到视频特征。
利用残差网络等方式对目标图像进行特征提取处理得到目标特征,该目标特征可以表征目标图像中追踪目标是人,以及是第几个人等内容。
除此之外,还可以利用残差网络等方式对视频流进行特征提取处理得到视频特征。该视频特征可以表征视频流中的目标是人,以及是第几个人等内容。
对目标特征和视频特征进行相似度计算得到目标距离,并根据目标距离确定追踪摄像头为追踪目标出现的下一摄像头。
在得到目标特征和视频特征之后,可以对目标特征和视频特征做对比,计算目标特征和视频特征之间的余弦距离等表征相似度的参数得到目标距离,以进一步根据目标距离确定出追踪摄像头为追踪目标出现的下一摄像头。
获取与目标距离对应的距离阈值,并对目标距离和距离阈值进行比较得到距离比较结果。
在计算出目标距离之后,可以进一步获取与该目标距离对应的距离阈值。该距离阈值可以根据实际情况设定,本示例性实施例对此不做特殊限定。
在获取到距离阈值之后,可以将该目标距离和距离阈值进行比较,以得到距离比较结果。
若距离比较结果为目标距离小于距离阈值,确定追踪摄像头为追踪目标出现的下一摄像头。
当距离比较结果为目标距离小于距离阈值,且目标距离存在多个时,还可以对多个目标距离进行排序得到最小的目标距离,以将该最小的目标距离所对应的目标确定为追踪目标。因此,可以表明该追踪目标会出现在追踪摄像头中,且能够在该追踪摄像头中追踪到丢失的追踪目标,进而确定该追踪摄像头为追踪目标出现的下一摄像头。
通过追踪目标的目标图像和追踪摄像头的视频流可以确定追踪目标出现的下一摄像头,支持使用方向坐标矩阵进行跨摄像头的目标查询,充分利用了追踪目标运动的当前轨迹和摄像头的位置信息,提高了跨摄像头目标检索的效率,加快了目标追踪的速度。
在从多个摄像头中除当前摄像头之外的其他摄像头中确定出下一摄像头之后,还可以对下一摄像头中的目标轨迹进行轨迹关联,以使下一摄像头输出带有追踪目标的目标轨迹的摄像头视频流。
在该应用场景下,一方面,根据多个摄像头的位置信息构建方向坐标矩阵,使用摄像头的方向坐标矩阵进行跨摄像头的目标查询,在充分利用了摄像头的位置信息的同时缩小了查询空间,提高了跨摄像头的目标检索效率和重识别准确率,同时降低了查询时长和目标追踪的追踪时长,也不会带来额外的构建成本;另一方面,支持构建端到端的目标轨迹追踪***,以进一步同时支持对多个追踪目标的跟踪,实用性极强。
图10示出了应用场景下目标轨迹追踪***的模块示意图,如图10所示,目标轨迹追踪***由前端、智能计算中心和流媒体服务器组成。
其中,前端包括目标图片模块和目标轨迹跟踪视频流显示模块。具体的,目标图片模块可以是由客户端上传或者视频流截图,以得到当前摄像头显示的追踪目标的目标图像。进一步的,还可以将该目标图像发送到智能计算中心的目标图片接收模块。
目标轨迹跟踪视频流显示模块负责从媒体服务器中拉取处理后的视频流,以进行追踪结果的显示。
智能计算中心包括图片接收模块、视频流接入模块、目标检测模块、目标特征提取模块、轨迹跟踪模块和数据库调度模块。
图片接收模块负责接收前端上传的目标图像。但是由于目标图像的尺寸可能不符合目标特征提取模块的要求,因此还可以对目标图像进行裁剪等调整得到标准尺寸的目标图像,并将该标准尺寸的目标图像发送至目标特征提取模块。
视频流接入模块支持同时接入多个摄像头的视频流,并进行视频预处理。该视频预处理可以是使不同终端对不同路的摄像头的视频流进行处理,以减轻同一终端对视频流的处理负载。进一步的,在进行完视频预处理之后,可以将该视频流发送至目标检测模块。
智能计算中心接收到前端传来的目标图片之后,可以根据该目标图片确定负责哪一路视频流的摄像头为追踪摄像头,以通知视频流接入模块停止接入其他摄像头的视频流。
当将轨迹关联结果中的当前轨迹的轨迹状态修改为Searching作为轨迹更新结果时,可以启动跨摄像头追踪,同时对多路视频流进行处理。
使用基于轨迹状态的方式对当前轨迹进行轨迹关联,能够支持构建端到端的目标轨迹追踪***,实时性强。并且,由于轨迹库里可以同时维护多个目标的轨迹信息,因此,构建出的目标轨迹追踪***还可以同时支持对多个目标的追踪。
根据当前轨迹的运动方向和多个摄像头的方向坐标矩阵能够启动跨摄像头的查询。
其中,将(N→S)表示追踪目标由北向南移动,表示为(-1,0);(S→N)表示追踪目标由南向北移动,表示为(1,0);(E→W)表示追踪目标由东向西移动,表示为(0,-1);(W→E)表示追踪目标由西向东移动,表示为(0,1),以构建多个摄像头的方向坐标矩阵。
举例而言,当摄像头1到摄像头6,追踪目标是往西北方向移动,在方向坐标矩阵的第一行第六列的坐标记录为(1,-1);当从摄像头5到摄像头3,不直接可达,因此在方向坐标矩阵的第五行第三列的坐标记录为(0,0),多个摄像头的方向坐标矩阵中的其他方向坐标矩阵的坐标记录方式以此类推,在此不再赘述。
视频流接入模块同时负责维护摄像头的方向坐标矩阵,通过读取摄像头的方向坐标矩阵的配置文件的方式,保存在内存中。
除此之外,在内存中存储的一条当前轨迹的追踪记录内容除了可以包括carmeraID和Status(轨迹状态)之外,还可以包括TrackID、PersonID、Frame_start_index、Frame_end_index、Feature和Location等。
其中,TrackID为轨迹的ID;PersonID为目标行人的ID;Frame_start_index为目标开始追踪的帧序列号;Frame_end_index为目标消失的帧序列号;Feature为目标的特征向量,亦即目标特征;Location为目标运动的方向信息,可以由追踪目标的bounding box(边界框)移动的坐标计算得到。
目标检测模块可以对视频流中的行人进行检测,输出的bounding box传入到目标特征提取模块。
目标特征提取模块对目标行人图片,亦即目标图像或者视频流进行特征提取处理。
目标特征提取模块可以利用残差网络等方式对目标图像进行特征提取处理得到目标特征,该目标特征可以表征目标图像中追踪目标是人,以及是第几个人等内容。
除此之外,目标特征提取模块还可以利用残差网络等方式对视频流进行特征提取处理得到视频特征。该视频特征可以表征视频流中的目标是人,以及是第几个人等内容。
轨迹跟踪模块模块将视频流中检测出的行人特征,亦即视频特征与目标特征做对比。
对目标特征和视频特征进行相似度计算得到目标距离,并根据目标距离确定追踪摄像头为追踪目标出现的下一摄像头。
在得到目标特征和视频特征之后,可以对目标特征和视频特征做对比,计算目标特征和视频特征之间的余弦距离等表征相似度的参数得到目标距离,以进一步根据目标距离确定出追踪摄像头为追踪目标出现的下一摄像头。
获取与目标距离对应的距离阈值,并对目标距离和距离阈值进行比较得到距离比较结果。
在计算出目标距离之后,可以进一步获取与该目标距离对应的距离阈值。该距离阈值可以根据实际情况设定,本示例性实施例对此不做特殊限定。
在获取到距离阈值之后,可以将该目标距离和距离阈值进行比较,以得到距离比较结果。
若距离比较结果为目标距离小于距离阈值,确定追踪摄像头为追踪目标出现的下一摄像头。
当距离比较结果为目标距离小于距离阈值,且目标距离存在多个时,还可以对多个目标距离进行排序得到最小的目标距离,以将该最小的目标距离所对应的行人确定为要追踪的目标行人。除此之外,还可以将视频帧之间做关联,通过数据库调度模块修改数据库的轨迹信息。
因此,可以表明该追踪目标会出现在追踪摄像头中,且能够在该追踪摄像头中追踪到丢失的追踪目标,进而确定该追踪摄像头为追踪目标出现的下一摄像头。
通过追踪目标的目标图像和追踪摄像头的视频流可以确定追踪目标出现的下一摄像头,支持使用方向坐标矩阵进行跨摄像头的目标查询,充分利用了追踪目标运动的当前轨迹和摄像头的位置信息,提高了跨摄像头目标检索的效率,加快了目标追踪的速度。
在从多个摄像头中除当前摄像头之外的其他摄像头中确定出下一摄像头之后,还可以对下一摄像头中的目标轨迹进行轨迹关联,以使下一摄像头输出带有追踪目标的目标轨迹的摄像头视频流。
数据库调度模块在接收到指令之后,可以操作修改数据库。
具体的,当时长比较结果为消失时长不大于第一时长阈值T1时,可以将轨迹关联结果中的当前轨迹的轨迹状态修改为Lost。当该追踪目标在当前摄像头重新出现时,可以将该当前轨迹被重新激活,亦即再将当前轨迹的轨迹状态Lost修改为Active。
当时长比较结果为消失时长大于第一时长阈值T1时,以将轨迹关联结果中的当前轨迹的轨迹状态修改为Searching作为轨迹更新结果。
当时长比较结果为消失时长大于第二时长阈值T2时,则认为追踪目标消失,可以将当前轨迹的轨迹状态修改为Deleted。
流媒体服务器可以对视频流内容进行采集、缓存和传输播放。并且,流媒体服务器支持前端从流媒体服务器拉流获取处理后的视频数据,以使下一摄像头输出追踪目标的目标轨迹。
在该应用场景下的目标轨迹追踪方法,一方面,根据多个摄像头的位置信息构建方向坐标矩阵,使用摄像头的方向坐标矩阵进行跨摄像头的目标查询,在充分利用了摄像头的位置信息的同时缩小了查询空间,提高了跨摄像头的目标检索效率和重识别准确率,同时降低了查询时长和目标追踪的追踪时长,也不会带来额外的构建成本;另一方面,支持构建端到端的目标轨迹追踪***,以进一步同时支持对多个追踪目标的跟踪,实用性极强。
图11示出了目标轨迹追踪装置的结构示意图,如图11所示,目标轨迹追踪装置1100可以包括:矩阵构建模块1110、条件判断模块1120和目标追踪模块1130。其中:
矩阵构建模块1110,被配置为获取多个摄像头的位置信息,并根据所述位置信息构建所述多个摄像头的方向坐标矩阵;
条件判断模块1120,被配置为获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值,并对所述消失时长和所述第一时长阈值进行比较得到时长比较结果;
目标追踪模块1130,被配置为若所述时长比较结果为所述消失时长大于所述第一时长阈值,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,以使所述下一摄像头输出所述追踪目标的目标轨迹。
在本发明的一种示例性实施例中,在所述获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值之前,所述方法还包括:
对所述当前摄像头显示的目标图像进行目标检测确定所述追踪目标的当前轨迹,并获取与所述当前轨迹对应的轨迹状态;
利用所述轨迹状态对所述当前轨迹进行轨迹关联得到轨迹关联结果。
在本发明的一种示例性实施例中,所述轨迹状态包括:活跃状态、丢失状态、搜索状态和删去状态。
在本发明的一种示例性实施例中,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
利用所述轨迹状态对所述轨迹关联结果进行修改得到轨迹更新结果;
基于所述轨迹更新结果,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
根据所述方向坐标矩阵和所述当前摄像头在所述多个摄像头中除所述当前摄像头之外的其他摄像头中预测追踪摄像头;
获取所述当前摄像头显示的所述追踪目标的目标图像,并获取所述追踪摄像头的视频流;
根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
对所述目标图像进行特征提取处理得到目标特征,并对所述视频流进行特征提取处理得到视频特征;
对所述目标特征和所述视频特征进行相似度计算得到目标距离,并根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
在本发明的一种示例性实施例中,所述根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
获取与所述目标距离对应的距离阈值,并对所述目标距离和所述距离阈值进行比较得到距离比较结果;
若所述距离比较结果为所述目标距离小于所述距离阈值,确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
上述目标轨迹追踪装置1100的具体细节已经在对应的目标轨迹追踪方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了目标轨迹追踪装置1100的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参照图12来描述根据本发明的这种实施例的电子设备1200。图12显示的电子设备1200仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示,电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于:上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同***组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1210执行,使得所述处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元1220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)1221和/或高速缓存存储单元1222,还可以进一步包括只读存储单元(ROM)1223。
存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224,这样的程序模块1225包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1200也可以与一个或多个外部设备1400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1200交互的设备通信,和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且,电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图13所示,描述了根据本发明的实施例的用于实现上述方法的程序产品1300,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种目标轨迹追踪方法,其特征在于,所述方法包括:
获取多个摄像头的位置信息,并根据所述位置信息构建所述多个摄像头的方向坐标矩阵;
获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值,并对所述消失时长和所述第一时长阈值进行比较得到时长比较结果;
若所述时长比较结果为所述消失时长大于所述第一时长阈值,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,以使所述下一摄像头输出所述追踪目标的目标轨迹。
2.根据权利要求1所述的目标轨迹追踪方法,其特征在于,在所述获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值之前,所述方法还包括:
对所述当前摄像头显示的目标图像进行目标检测确定所述追踪目标的当前轨迹,并获取与所述当前轨迹对应的轨迹状态;
利用所述轨迹状态对所述当前轨迹进行轨迹关联得到轨迹关联结果。
3.根据权利要求2所述的目标轨迹追踪方法,其特征在于,所述轨迹状态包括:活跃状态、丢失状态、搜索状态和删去状态。
4.根据权利要求2所述的目标轨迹追踪方法,其特征在于,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
利用所述轨迹状态对所述轨迹关联结果进行修改得到轨迹更新结果;
基于所述轨迹更新结果,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头。
5.根据权利要求1所述的目标轨迹追踪方法,其特征在于,所述根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,包括:
根据所述方向坐标矩阵和所述当前摄像头在所述多个摄像头中除所述当前摄像头之外的其他摄像头中预测追踪摄像头;
获取所述当前摄像头显示的所述追踪目标的目标图像,并获取所述追踪摄像头的视频流;
根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
6.根据权利要求5所述的目标轨迹追踪方法,其特征在于,所述根据所述目标图像和所述视频流确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
对所述目标图像进行特征提取处理得到目标特征,并对所述视频流进行特征提取处理得到视频特征;
对所述目标特征和所述视频特征进行相似度计算得到目标距离,并根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
7.根据权利要求6所述的目标轨迹追踪方法,其特征在于,所述根据所述目标距离确定所述追踪摄像头为所述追踪目标出现的下一摄像头,包括:
获取与所述目标距离对应的距离阈值,并对所述目标距离和所述距离阈值进行比较得到距离比较结果;
若所述距离比较结果为所述目标距离小于所述距离阈值,确定所述追踪摄像头为所述追踪目标出现的下一摄像头。
8.一种目标轨迹追踪装置,其特征在于,包括:
矩阵构建模块,被配置为获取多个摄像头的位置信息,并根据所述位置信息构建所述多个摄像头的方向坐标矩阵;
条件判断模块,被配置为获取追踪目标在所述多个摄像头中的当前摄像头中的消失时长以及与所述消失时长对应的第一时长阈值,并对所述消失时长和所述第一时长阈值进行比较得到时长比较结果;
目标追踪模块,被配置为若所述时长比较结果为所述消失时长大于所述第一时长阈值,根据所述方向坐标矩阵和所述当前摄像头确定所述追踪目标出现的下一摄像头,以使所述下一摄像头输出所述追踪目标的目标轨迹。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的目标轨迹追踪方法。
10.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的目标轨迹追踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111515065.6A CN114170556A (zh) | 2021-12-13 | 2021-12-13 | 目标轨迹追踪方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111515065.6A CN114170556A (zh) | 2021-12-13 | 2021-12-13 | 目标轨迹追踪方法及装置、存储介质、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114170556A true CN114170556A (zh) | 2022-03-11 |
Family
ID=80485911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111515065.6A Pending CN114170556A (zh) | 2021-12-13 | 2021-12-13 | 目标轨迹追踪方法及装置、存储介质、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114170556A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935305A (zh) * | 2023-06-20 | 2023-10-24 | 联城科技(河北)股份有限公司 | 智能化安防监测方法、***、电子设备和存储介质 |
CN117237879A (zh) * | 2023-11-06 | 2023-12-15 | 浙江同花顺智能科技有限公司 | 一种轨迹追踪方法和*** |
-
2021
- 2021-12-13 CN CN202111515065.6A patent/CN114170556A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116935305A (zh) * | 2023-06-20 | 2023-10-24 | 联城科技(河北)股份有限公司 | 智能化安防监测方法、***、电子设备和存储介质 |
CN117237879A (zh) * | 2023-11-06 | 2023-12-15 | 浙江同花顺智能科技有限公司 | 一种轨迹追踪方法和*** |
CN117237879B (zh) * | 2023-11-06 | 2024-04-26 | 浙江大学 | 一种轨迹追踪方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190042850A1 (en) | Method and System for Detecting Actions in Videos using Contour Sequences | |
CN102231820B (zh) | 一种监控图像处理的方法、装置和*** | |
CN110914872A (zh) | 用认知洞察力导航视频场景 | |
CN114170556A (zh) | 目标轨迹追踪方法及装置、存储介质、电子设备 | |
US11037604B2 (en) | Method for video investigation | |
CN109902681B (zh) | 用户群体关系确定方法、装置、设备及存储介质 | |
US20240201835A1 (en) | Information processing apparatus, information processing method, and storage medium for person search | |
KR101826669B1 (ko) | 동영상 검색 시스템 및 그 방법 | |
CN112365520B (zh) | 一种基于视频大数据资源效能测评的行人目标实时追踪***及方法 | |
CN112257638A (zh) | 一种图像比对方法、***、设备及计算机可读存储介质 | |
CN109446437B (zh) | 信息挖掘方法、装置、服务器及存储介质 | |
CN112488069B (zh) | 一种目标搜索方法和装置及设备 | |
Fernandez et al. | Semi-automatic multi-object video annotation based on tracking, prediction and semantic segmentation | |
Nguyen et al. | Hig: Hierarchical interlacement graph approach to scene graph generation in video understanding | |
CN113010731B (zh) | 多模态视频检索*** | |
CN113762017B (zh) | 一种动作识别方法、装置、设备及存储介质 | |
CN114842411A (zh) | 一种基于互补时空信息建模的群体行为识别方法 | |
CN109886234B (zh) | 目标检测方法、装置、***、电子设备、存储介质 | |
CN113254702A (zh) | 一种视频录像检索的方法及装置 | |
CN111062479A (zh) | 基于神经网络的模型快速升级方法及装置 | |
Constantinou et al. | Spatial keyframe extraction of mobile videos for efficient object detection at the edge | |
Kim | Lifelong Learning Architecture of Video Surveillance System | |
CN117037073B (zh) | 基于人工智能可视化的对象定位方法及可视化监控*** | |
CN117726883B (zh) | 一种区域人口分析方法、装置、设备和存储介质 | |
US20240185605A1 (en) | System and Method for Detecting and Explaining Anomalies in Video of a Scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |