CN115278014B - 一种目标跟踪方法、***、计算机设备及可读介质 - Google Patents
一种目标跟踪方法、***、计算机设备及可读介质 Download PDFInfo
- Publication number
- CN115278014B CN115278014B CN202210871722.9A CN202210871722A CN115278014B CN 115278014 B CN115278014 B CN 115278014B CN 202210871722 A CN202210871722 A CN 202210871722A CN 115278014 B CN115278014 B CN 115278014B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- tracked
- tracking
- shooting device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请提供一种目标跟踪方法、***、计算机设备及可读介质,包括:获取第一图像,并对第一图像进行检测识别,在检测到有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;将待跟踪目标的属性信息发送至第二图像拍摄装置,并基于待跟踪目标在第一图像中的坐标,对第二图像拍摄装置进行调整,以使待跟踪目标位于第二图像拍摄装置的预设区域;最后根据待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对待跟踪目标进行跟踪,直至跟踪结束。若第一图像是枪机图像,第二图像拍摄装置是球机,则相对于传统的球机联动控制方法,本申请可以提高枪球联动交互过程中响应速度和跟踪的准确度,而且还可以增加目标跟踪过程的平稳性。
Description
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种目标跟踪方法、***、计算机设备及可读介质。
背景技术
随着监控领域的快速发展,单独的枪形摄像机(简称枪机)或单独的球形摄像机(简称球机)已经无法满足越来越复杂的监控场景。枪机视场角范围大,监视范围广;球机视场角小,监视范围小,但是自身通过对PTZ(Pan/Tilt/Zoom的简写,代表云台全方位(左右/上下)移动及镜头变倍、变焦控制)的控制,可以获取到监控目标的细节信息。
为了满足日益复杂的监控场景,枪机和球机联动(简称枪球联动)使用越来越普及。枪球联动的目标跟踪方案是在枪机上运行智能算法识别并跟踪运动目标,枪机将算法检测到的目标坐标映射到球机图像坐标系,球机转动PTZ到目标所在的区域,通过比较枪机目标图像与球机目标图像的特征相似度来判断是否是同一目标。特征匹配成功后,球机锁定住该目标,球机再根据自身运行的检测跟踪算法,控制PTZ对该目标进行持续跟踪。
但是,现有方案的第一个缺点是对于机动车或者非机动车等移动速度较快的目标,球机处理特征比对、转动云台、变倍、聚焦这一系列过程总体耗时较久,导致很容易出现初始阶段目标跟踪不到或者跟踪到错误目标的情况。此外,现有方案的第二个缺点是球机锁定跟踪目标之后,根据目标的坐标控制云台旋转,容易出现云台抖动,导致被跟踪目标图像出现晃动甚至跟踪发散,丢失目标的问题。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种目标跟踪方法、***、计算机设备及可读介质,用于解决现有技术中枪球联动过程中经常出现的目标跟错与跟丢,以及跟踪过程中球机云台出现抖动的问题。
为实现上述目的及其他相关目的,本申请提供一种目标跟踪方法,所述方法包括以下步骤:
获取第一图像,所述第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄得到的包含有一个或多个目标的图像;
对所述第一图像进行检测识别,并在检测到所述第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;
将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整,以使所述待跟踪目标位于所述第二图像拍摄装置的预设区域;
根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪,直至跟踪结束。
于本申请的一实施例中,将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整的过程包括:
将所述待跟踪目标在所述第一图像中的坐标记为第一坐标,以及将所述第一坐标映射至所述第二图像拍摄装置的图像坐标系中,得到所述待跟踪目标在所述第二图像拍摄装置中的坐标,记为第二坐标;
利用云台对所述第二图像拍摄装置进行位置调整,直至所述第二坐标位于所述第二图像拍摄装置的预设区域。
于本申请的一实施例中,对所述第二图像拍摄装置进行调整后,所述方法还包括:
基于所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息,对所述第二图像拍摄装置进行变倍和聚焦,以使所述待跟踪目标在所述第二图像拍摄装置中的清晰度高于所述第一图像拍摄装置;其中,所述待跟踪目标的属性信息包括所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息。
于本申请的一实施例中,根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:
获取完成调整后的第二图像拍摄装置拍摄的图像,记为第二图像;
对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标,记为候选目标;
获取所述待跟踪目标在所述第二图像拍摄装置中的映射坐标,以及每个候选目标在所述第二图像拍摄装置中的实际坐标,并计算所述待跟踪目标的映射坐标与所述候选目标的实际坐标的距离;
按照计算出的距离进行排序,并依次选择距离值小的候选目标与所述待跟踪目标进行特征比对,计算候选目标与所述待跟踪目标的特征相似度;
将计算出的特征相似度与预设阈值进行比对,并在计算出的特征相似度大于预设阈值时,选出对应的候选目标;
利用完成调整后的第二图像拍摄装置,对选出的候选目标进行跟踪;
其中,所述待跟踪目标的属性信息包括所述待跟踪目标的类型、所述待跟踪目标的特征。
于本申请的一实施例中,根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:
获取对所述待跟踪目标进行跟踪的时间,记为目标跟踪时间;
将所述目标跟踪时间与第一预设时间进行比对,并在所述目标跟踪时间超过所述第一预设时间后,结束对所述待跟踪目标的跟踪;或者,
获取选出的候选目标在所述第二图像拍摄装置的显示区域,若选出的候选目标未出现在所述第二图像拍摄装置的显示区域,则结束对所述待跟踪目标的跟踪。
于本申请的一实施例中,对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标的过程包括:
获取属性分析算子,所述属性分析算子预先配置有属性信息;
基于所述属性分析算子中预先配置的属性信息对所述第二图像进行识别,获取所述第二图像中存在的目标,以及每个目标的类型;
基于所述待跟踪目标的类型,从所述第二图像中筛选出与所述待跟踪目标属于同一类型的目标。
于本申请的一实施例中,对所述第一图像进行检测识别的过程包括:
获取事件分析算子,所述事件分析算子预先配置有事件判断规则;
基于所述事件分析算子对所述第一图像中的一个或多个目标进行分析,确定所述第一图像中的一个或多个目标是否存在预设告警事件中的至少一种;其中,所述预设告警事件包括:区域入侵事件、进入区域事件、离开区域事件、拌线检测事件、快速移动事件、人员徘徊事件;
若所述第一图像中的一个或多个目标存在预设告警事件中的至少一种,则标记所述第一图像中有目标触发预设告警事件;
若所述第一图像中的一个或多个目标不存在预设告警事件中的任意一种,则标记所述第一图像中有目标未触发预设告警事件。
本申请还提供一种目标跟踪***,所述***包括有:
图像采集模块,用于获取第一图像,所述第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄得到的包含有一个或多个目标的图像;
目标识别模块,用于对所述第一图像进行检测识别,并在检测到所述第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;
图像调整模块,用于将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整,以使所述待跟踪目标位于所述第二图像拍摄装置的预设区域;
目标跟踪模块,用于根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪,直至跟踪结束。
本申请还提供一种计算机设备,包括:
处理器;和
存储有指令的计算机可读介质,当所述处理器执行所述指令时,使得所述设备执行如上述中任一所述的方法。
本申请还提供一种计算机可读介质,其上存储有指令,所述指令由处理器加载并执行如上述中任一所述的方法。
如上所述,本申请提供一种目标跟踪方法、***、计算机设备及可读介质,具有以下有益效果:
本申请首先获取第一图像,然后对第一图像进行检测识别,并在检测到第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;再将待跟踪目标的属性信息发送至第二图像拍摄装置,并基于待跟踪目标在第一图像中的坐标,对第二图像拍摄装置进行调整,以使待跟踪目标位于第二图像拍摄装置的预设区域;最后根据待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对待跟踪目标进行跟踪,直至跟踪结束。其中,第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄,得到的包含有一个或多个目标的图像。本申请中的第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是球机。所以,相对于传统的球机联动控制方法,本申请提出的方案可以提高枪球联动交互过程中响应速度和跟踪的准确度,特别适用于机动车,非机动车等快速运动目标的检测与跟踪,解决枪球联动过程中经常出现的目标跟错与跟丢的问题。另外,本申请提出枪球联动云台控制算法,可以解决跟踪过程中球机云台出现抖动的问题,增加了目标跟踪过程的平稳性。
附图说明
图1为应用本申请中一个或多个实施例中技术方案的示例性***架构的示意图;
图2为本申请中一实施例提供的目标跟踪方法的流程示意图;
图3为本申请中另一实施例提供的目标跟踪方法的流程示意图;
图4为本申请中一实施例提供的枪机和球机的联动时序图;
图5为本申请中一实施例提供的目标跟踪***的硬件结构示意图;
图6为本申请中另一实施例提供的目标跟踪***的硬件结构示意图;
图7为适用于实现本申请中一个或多个实施例的计算机设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
图1示出了一种可以应用本申请中一个或多个实施例中技术方案的示例性***架构的示意图。如图1所示,***架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、台式电脑等各种电子设备。服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路或者无线通信链路。
根据实现需要,本申请实施例中的***架构可以具有任意数目的终端设备、网络和服务器。例如,服务器130可以是由多个服务器设备组成的服务器群组。另外,本申请实施例提供的技术方案可以应用于终端设备110,也可以应用于服务器130,或者可以由终端设备110和服务器130共同实施,本申请对此不做特殊限定。
在本申请的一个实施例中,本申请的终端设备110或服务器130可以获取第一图像,然后对第一图像进行检测识别,并在检测到第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;再将待跟踪目标的属性信息发送至第二图像拍摄装置,并基于待跟踪目标在第一图像中的坐标,对第二图像拍摄装置进行调整,以使待跟踪目标位于第二图像拍摄装置的预设区域;最后根据待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对待跟踪目标进行跟踪,直至跟踪结束。其中,第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄,得到的包含有一个或多个目标的图像。本申请中的第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是球机。所以,利用终端设备110或服务器130执行目标跟踪方法,可以提高枪球联动交互过程中响应速度和跟踪的准确度,特别适用于机动车,非机动车等快速运动目标的检测与跟踪,解决枪球联动过程中经常出现的目标跟错与跟丢的问题。另外,本申请提出枪球联动云台控制算法,可以解决跟踪过程中球机云台出现抖动的问题,增加了目标跟踪过程的平稳性。
以上部分介绍了应用本申请技术方案的示例性***架构的内容,接下来继续介绍本申请的目标跟踪方法。
图2示出了本申请一实施例提供的目标跟踪方法流程示意图。具体地,在一示例性实施例中,如图2所示,本实施例提供一种目标跟踪方法,该方法包括以下步骤:
S210,获取第一图像,所述第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄得到的包含有一个或多个目标的图像;
S220,对所述第一图像进行检测识别,并在检测到所述第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标。具体地,本实施例在对所述第一图像进行检测识别的过程可以包括:获取事件分析算子,所述事件分析算子预先配置有事件判断规则;基于所述事件分析算子对所述第一图像中的一个或多个目标进行分析,确定所述第一图像中的一个或多个目标是否存在预设告警事件中的至少一种;其中,所述预设告警事件包括:区域入侵事件、进入区域事件、离开区域事件、拌线检测事件、快速移动事件、人员徘徊事件;若所述第一图像中的一个或多个目标存在预设告警事件中的至少一种,则标记所述第一图像中有目标触发预设告警事件;若所述第一图像中的一个或多个目标不存在预设告警事件中的任意一种,则标记所述第一图像中有目标未触发预设告警事件。
S230,将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整,以使所述待跟踪目标位于所述第二图像拍摄装置的预设区域。
S240,根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪,直至跟踪结束。
在本实施例中,第一图像拍摄装置可以是枪机或球机,第二图像拍摄装置可以是枪机或球机。例如,在一示例中,第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是球机。在另一示例中,第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是枪机。在又一示例中,第一图像拍摄装置可以是球机,第二图像拍摄装置可以是枪机。在又一示例中,第一图像拍摄装置可以是球机,第二图像拍摄装置可以是球机。若本实施例中的第一图像拍摄装置是枪机,第二图像拍摄装置是球机,则本实施例相对于传统的球机联动控制方法,本实施例提出的方案可以提高枪球联动交互过程中响应速度和跟踪的准确度,特别适用于机动车,非机动车等快速运动目标的检测与跟踪,解决枪球联动过程中经常出现的目标跟错与跟丢的问题。另外,本实施例提出枪球联动云台控制算法,可以解决跟踪过程中球机云台出现抖动的问题,增加了目标跟踪过程的平稳性。作为示例,本实施例中的第一图像拍摄装置可以是视角范围为360度的枪机,第二图像拍摄装置可以是支持360度旋转,以及机芯支持40倍变倍的球机。其中,本实施例中的目标包括但不限于行人、机动车、非机动车等。
在一示例性实施例中,步骤S230将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整的过程包括:将所述待跟踪目标在所述第一图像中的坐标记为第一坐标,以及将所述第一坐标映射至所述第二图像拍摄装置的图像坐标系中,得到所述待跟踪目标在所述第二图像拍摄装置中的坐标,记为第二坐标;利用云台对所述第二图像拍摄装置进行位置调整,直至所述第二坐标位于所述第二图像拍摄装置的预设区域。作为示例,本实施例中第二图像拍摄装置的预设区域可以根据实际情况进行设定,例如可以将第二图像拍摄装置的中心区域作为预设区域。
在一示例性实施例中,对所述第二图像拍摄装置进行调整后,本实施例还可以包括:基于所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息,对所述第二图像拍摄装置进行变倍和聚焦,以使所述待跟踪目标在所述第二图像拍摄装置中的清晰度高于所述第一图像拍摄装置;其中,所述待跟踪目标的属性信息包括所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息。作为示例,若本实施例中的第一图像拍摄装置是枪机,第二图像拍摄装置是球机,则为了减少粗跟踪过程总体消耗的时长,在球机收到枪机发送的目标尺寸信息后,云台对球机进行旋转的同时,球机机芯可以根据待跟踪目标在第一图像中的尺寸大小,按照预先设定的规则,对球机进行变倍和聚焦。从而可以在匹配球机中的目标时,提供更加清晰的图像,提高目标特征匹配的成功率。
在一示例性实施例中,若待跟踪目标的属性信息包括待跟踪目标的类型、待跟踪目标的特征,则步骤S240根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:获取完成调整后的第二图像拍摄装置拍摄的图像,记为第二图像;对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标,记为候选目标;获取所述待跟踪目标在所述第二图像拍摄装置中的映射坐标,以及每个候选目标在所述第二图像拍摄装置中的实际坐标,并计算所述待跟踪目标的映射坐标与所述候选目标的实际坐标的距离;按照计算出的距离进行排序,并依次选择距离值小的候选目标与所述待跟踪目标进行特征比对,计算候选目标与所述待跟踪目标的特征相似度;将计算出的特征相似度与预设阈值进行比对,并在计算出的特征相似度大于预设阈值时,选出对应的候选目标;利用完成调整后的第二图像拍摄装置,对选出的候选目标进行跟踪。根据上述记载,在选出的候选目标进行跟踪时,本实施例还可以包括:获取对所述待跟踪目标进行跟踪的时间,记为目标跟踪时间;将所述目标跟踪时间与第一预设时间进行比对,并在所述目标跟踪时间超过所述第一预设时间后,结束对所述待跟踪目标的跟踪;或者,获取选出的候选目标在所述第二图像拍摄装置的显示区域,若选出的候选目标未出现在所述第二图像拍摄装置的显示区域,则结束对所述待跟踪目标的跟踪。
根据上述记载,在一示例性实施例中,对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标的过程包括:获取属性分析算子,所述属性分析算子预先配置有属性信息;基于所述属性分析算子中预先配置的属性信息对所述第二图像进行识别,获取所述第二图像中存在的目标,以及每个目标的类型;基于所述待跟踪目标的类型,从所述第二图像中筛选出与所述待跟踪目标属于同一类型的目标。
本申请还提供一实施例,如图3所示,该实施例提供一种可以应用于枪机和球机的目标跟踪方法,包括以下步骤:
在枪机端发起目标检测与跟踪请求,同时选定触发告警的目标作为待跟踪目标,然后采集待跟踪目标在枪机中的坐标、类型、尺寸和特征向量等属性信息,然后通过枪机联通控制模块发送待跟踪目标的属性信息给球机。
球机端的球机联动控制模块接收到待跟踪目标的属性信息后,根据变换矩阵将待跟踪目标的第一坐标转换为第二坐标;其中,第一坐标是指待跟踪目标在枪机中的坐标,第二坐标是指待跟踪目标映射在球机中的坐标。旋转云台到第二坐标,并根据待跟踪目标的尺寸将球机变倍到预设倍率,以及根据待跟踪目标的类型、尺寸,从球机拍摄的图像中筛选出候选目标。然后再计算候选目标距离第二坐标的欧氏距离,并根据距离大小进行降序排序;根据排序结果选择候选目标,然后计算候选目标与待跟踪目标之间特征向量的相似度,如果相似度大于阈值,则认为目标匹配成功,否则计算下一个候选目标的相似度。
在本实施例中,枪机设备算法模块检测与跟踪算子对枪机图像(简称第一图像)中的人、机动车、非机动车目标进行检测与跟踪,获取到目标(简称第一目标)在第一图像中的坐标,尺寸,运动速度,目标类型,特征向量等属性。枪机算法模块事件分析算子检测到有目标触发了某个事件后,枪机算法模块选定该目标作为待跟踪目标,通过枪机联动控制模块将上述待跟踪目标的属性信息发送给球机。球机联动控制模块接收到枪机发送过来的待跟踪目标属性信息,基于上述属性信息辅助球机快速找到待跟踪目标,并进行锁定跟踪。
具体地,本实施例的整个跟踪过程分为三个阶段,包括:
第一阶段,主要是进行粗略跟踪。球机并不会关注具体的目标,只要求球机把云台旋转到目标所在的大致图像区域。球机收到枪机发送过来的目标属性信息。所述第一目标坐标(简称第一坐标),根据枪球坐标系标定得到的坐标变化矩阵。将第一坐标映射到球机的图像坐标系中,获得该目标在球机图像坐标系中的坐标(简称第二坐标),球机的PTZ模块控制云台旋转,使得第二坐标移动到球机图像(第二图像)中心区域,并获取待跟踪目标所在区域的第二图像。该过程需要枪机按照时序连续发送多次的目标检测跟踪属性到球机。球机在第一阶段跟踪过程中需要根据目标的尺寸进行变倍和聚集。为了减少粗跟踪过程总体消耗的时长。球机在收到枪机发送的目标尺寸信息后,云台进行旋转的同时球机机芯根据目标在第一图像中的尺寸大小,按照预先设定的规则,对球机进行变倍。为下一阶段精确匹配目标,提供更加清晰的图像,提高目标特征匹配的成功率。
第二阶段,主要是进行精确跟踪。经过第一阶段的粗跟踪,球机已经转到目标图像区域。球机算法模块,也可以实时检测跟踪当前第二画面中的人,机动车,非机动车等类型的目标。若第二图像中检测出存在多个目标,需要根据以下规则选出与第一画面中匹配度最高的目标,作为球机精确跟踪的目标。因为特征比对的计数复杂度较高耗时久,所以需要避免直接轮询第二图像中所有目标的特征与待跟踪目标的特征相似度。本申请采用以下策略:首先,根据目标的类型对目标进行筛选,筛选出相同类型的候选目标组。第二步,计算上述候选目标组中每个目标的坐标与枪机发送过来并经过坐标映射得到第二坐标之间的距离,对所有候选目标与第二坐标之间的距离进行递增排序。优先对距离较近的候选目标与待跟踪目标进行特征比对。特征比对的相似度大于预设阈值,就认为球机在第二画面中找到了枪机中发送过来的待跟踪目标。减少特征比对的时间。枪机运行检测跟踪算法实时检测第一图像中跟踪目标的实时位置,速度和特征向量,并且发送目标的位置坐标,尺寸,目标运动速度,目标的类型,目标的特征向量等属性结果到球机。球机可以持续几帧获取到目标的实时位置,速度和特征向量等信息,指示球机直到锁定跟踪住该目标。
第三阶段,主要是球机进行自主跟踪。该阶段枪机不再发送第一目标的坐标和特征等属性信息给球机,球机在锁定住跟踪目标之后,进入自主跟踪模式,球机算法模块中的检测跟踪算子可以实时检测与跟踪第二图像中的目标,得到目标id,类型t,坐标与尺寸l(x,y,w,h),特征向量f等属性信息。算法模块将上述信息发送给球机联动控制模块,联动控制模块采用PID控制算法计算云台旋转的预期角度,PTZ控制模块接收联动控制模块的跟踪指令,旋转云台使得被跟踪目标图像显示在球机图像画面的中心位置。该算法可以解决自主跟踪过程云台出现的抖动问题。并且能够根据目标的尺寸调整变倍和聚焦,使第二目标的图像稳定清晰,方便属性分析算子对目标进行详细的属性分析。
根据上述记载,本实施例为了描述方便,将各变量下标中的1代表枪机所在的第一坐标系,下标2代表球机所在的第二坐标系。例如l1(x,y,w,h)就代表待跟踪目标在枪机中的坐标与尺寸;l2(x,y,w,h)就代表待跟踪目标映射在球机中的坐标与尺寸。如图4所示,本实施例采用粗略跟踪、精确跟踪、自主跟踪分阶段跟踪策略,有效提高跟踪响应速度和跟踪准确性。下面分步骤详细介绍实施过程。
第一阶段:枪机算法模块检测跟踪算子识别全景图像中所有目标,采集每个目标的id1,坐标与尺寸l1(x,y,w,h),类型t。事件分析算子检测到某个目标触发了告警事件,说明该目标是需要重点关注的对象,需要对该目标进行球机跟踪。连同检测跟踪结果一起打包成R1(id,l),枪机联动控制模块根据目标的id作为主要标识,生成对该目标的跟踪请求,通过网络发送跟踪请求指令给球机联动控制模块。枪机按照时间序列,检测与跟踪待跟踪目标在连续的n帧图像帧中的R1(id,l)属性信息。球机联动控制模块从R1中解析出l1(x,y,w,h)。根据预先标定得到的变化矩阵T,坐标变化得到在球机图像坐标系下的坐标l2(x,y,w,h)。l2(x,y,w,h)中坐标x,y分量作为云台控制模块的输入,w,h分量作为变倍的初始倍率。经过n次上述过程的粗略跟踪,球机能快速的获取到目标区域的第二图像。球机算法模块对第二图像进行检测与跟踪,得到第二图像中的目标列表,作为下一阶段精确跟踪的候选目标。
第二阶段:枪机算法模块在n+1帧会提取待跟踪目标的类型t和特征向量f,因为提取特征向量操作比较耗时,所以只要执行一次该操作。特征向量是一个128维的向量,可以详细刻画出目标在图像中的细节特征,特征向量具有缩放,颜色,旋转等不变性,适合传输与保存。连同检测跟踪结果一起封装成属性结果R1(id,l,t,f)发送到球机。球机收到属性结果R1,解析出其中的所有属性信息id,l,t,f。l1(x,y,w,h)经过变换矩阵T作用得到在球机图像坐标系下的坐标l2(x,y,w,h)。l2(x,y,w,h)作为云台控制模块的输入和变倍的倍率计算输入。目标类型t和特征向量f用于筛选出准确的待跟踪目标。根据上述属性信息从候选目标中筛选出匹配度最高的目标,作为精确跟踪的输入。从n+1帧之后,枪机停止给球机发送属性信息。球机进入第三阶段即自主跟踪模式。
第三阶段:经过前两个阶段的粗略跟踪和精确跟踪,球机已经可以锁定到跟踪目标,在当前阶段,枪机停止给球机发送目标在第一图像中的属性信息。球机球机依靠自身算法模块对锁定目标进行检测与跟踪、属性分析得到结果R2(id,l,t,f)。算法模块属性分析把上述属性结果R2发送给球机联动控制模块。其中id,l2的作用与第二阶段一样用于控制云台和倍率变换。类型t和特征向量f用于目标在移动过程中发生短暂遮挡之后进行目标快速找回。因为算法模块检测跟踪算子在目标丢失之后,目标的id发生变化,需要利用目标的特征向量匹配在最新的球机图像中找到特征向量相似度最高的目标继续进行跟踪。直到目标跟踪彻底丢失或者跟踪时长达到预设时长后球机返回到预制点。准备继续下一轮跟踪请求。
综上所述,本申请提供一种目标跟踪方法,首先获取第一图像,然后对第一图像进行检测识别,并在检测到第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;再将待跟踪目标的属性信息发送至第二图像拍摄装置,并基于待跟踪目标在第一图像中的坐标,对第二图像拍摄装置进行调整,以使待跟踪目标位于第二图像拍摄装置的预设区域;最后根据待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对待跟踪目标进行跟踪,直至跟踪结束。其中,第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄,得到的包含有一个或多个目标的图像。本方法中的第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是球机。所以,相对于传统的球机联动控制方法,本方法提出的方案可以提高枪球联动交互过程中响应速度和跟踪的准确度,特别适用于机动车,非机动车等快速运动目标的检测与跟踪,解决枪球联动过程中经常出现的目标跟错与跟丢的问题。另外,本方法提出枪球联动云台控制算法,可以解决跟踪过程中球机云台出现抖动的问题,增加了目标跟踪过程的平稳性。
如图5所示,本申请还提供一种目标跟踪***,所述***包括有:
图像采集模块510,用于获取第一图像,所述第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄得到的包含有一个或多个目标的图像;
目标识别模块520,用于对所述第一图像进行检测识别,并在检测到所述第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标。具体地,本实施例在对所述第一图像进行检测识别的过程可以包括:获取事件分析算子,所述事件分析算子预先配置有事件判断规则;基于所述事件分析算子对所述第一图像中的一个或多个目标进行分析,确定所述第一图像中的一个或多个目标是否存在预设告警事件中的至少一种;其中,所述预设告警事件包括:区域入侵事件、进入区域事件、离开区域事件、拌线检测事件、快速移动事件、人员徘徊事件;若所述第一图像中的一个或多个目标存在预设告警事件中的至少一种,则标记所述第一图像中有目标触发预设告警事件;若所述第一图像中的一个或多个目标不存在预设告警事件中的任意一种,则标记所述第一图像中有目标未触发预设告警事件。
图像调整模块530,用于将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整,以使所述待跟踪目标位于所述第二图像拍摄装置的预设区域;
目标跟踪模块540,用于根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪,直至跟踪结束。
在本实施例中,第一图像拍摄装置可以是枪机或球机,第二图像拍摄装置可以是枪机或球机。例如,在一示例中,第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是球机。在另一示例中,第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是枪机。在又一示例中,第一图像拍摄装置可以是球机,第二图像拍摄装置可以是枪机。在又一示例中,第一图像拍摄装置可以是球机,第二图像拍摄装置可以是球机。若本实施例中的第一图像拍摄装置是枪机,第二图像拍摄装置是球机,则本实施例相对于传统的球机联动控制方法,本实施例提出的方案可以提高枪球联动交互过程中响应速度和跟踪的准确度,特别适用于机动车,非机动车等快速运动目标的检测与跟踪,解决枪球联动过程中经常出现的目标跟错与跟丢的问题。另外,本实施例提出枪球联动云台控制算法,可以解决跟踪过程中球机云台出现抖动的问题,增加了目标跟踪过程的平稳性。作为示例,本实施例中的第一图像拍摄装置可以是视角范围为360度的枪机,第二图像拍摄装置可以是支持360度旋转,以及机芯支持40倍变倍的球机。其中,本实施例中的目标包括但不限于行人、机动车、非机动车等。
在一示例性实施例中,图像调整模块530将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整的过程包括:将所述待跟踪目标在所述第一图像中的坐标记为第一坐标,以及将所述第一坐标映射至所述第二图像拍摄装置的图像坐标系中,得到所述待跟踪目标在所述第二图像拍摄装置中的坐标,记为第二坐标;利用云台对所述第二图像拍摄装置进行位置调整,直至所述第二坐标位于所述第二图像拍摄装置的预设区域。作为示例,本实施例中第二图像拍摄装置的预设区域可以根据实际情况进行设定,例如可以将第二图像拍摄装置的中心区域作为预设区域。
在一示例性实施例中,对所述第二图像拍摄装置进行调整后,本实施例还可以包括:基于所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息,对所述第二图像拍摄装置进行变倍和聚焦,以使所述待跟踪目标在所述第二图像拍摄装置中的清晰度高于所述第一图像拍摄装置;其中,所述待跟踪目标的属性信息包括所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息。作为示例,若本实施例中的第一图像拍摄装置是枪机,第二图像拍摄装置是球机,则为了减少粗跟踪过程总体消耗的时长,在球机收到枪机发送的目标尺寸信息后,云台对球机进行旋转的同时,球机机芯可以根据待跟踪目标在第一图像中的尺寸大小,按照预先设定的规则,对球机进行变倍和聚焦。从而可以在匹配球机中的目标时,提供更加清晰的图像,提高目标特征匹配的成功率。
在一示例性实施例中,若待跟踪目标的属性信息包括待跟踪目标的类型、待跟踪目标的特征,则目标跟踪模块540根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:获取完成调整后的第二图像拍摄装置拍摄的图像,记为第二图像;对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标,记为候选目标;获取所述待跟踪目标在所述第二图像拍摄装置中的映射坐标,以及每个候选目标在所述第二图像拍摄装置中的实际坐标,并计算所述待跟踪目标的映射坐标与所述候选目标的实际坐标的距离;按照计算出的距离进行排序,并依次选择距离值小的候选目标与所述待跟踪目标进行特征比对,计算候选目标与所述待跟踪目标的特征相似度;将计算出的特征相似度与预设阈值进行比对,并在计算出的特征相似度大于预设阈值时,选出对应的候选目标;利用完成调整后的第二图像拍摄装置,对选出的候选目标进行跟踪。根据上述记载,在选出的候选目标进行跟踪时,本实施例还可以包括:获取对所述待跟踪目标进行跟踪的时间,记为目标跟踪时间;将所述目标跟踪时间与第一预设时间进行比对,并在所述目标跟踪时间超过所述第一预设时间后,结束对所述待跟踪目标的跟踪;或者,获取选出的候选目标在所述第二图像拍摄装置的显示区域,若选出的候选目标未出现在所述第二图像拍摄装置的显示区域,则结束对所述待跟踪目标的跟踪。
根据上述记载,在一示例性实施例中,对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标的过程包括:获取属性分析算子,所述属性分析算子预先配置有属性信息;基于所述属性分析算子中预先配置的属性信息对所述第二图像进行识别,获取所述第二图像中存在的目标,以及每个目标的类型;基于所述待跟踪目标的类型,从所述第二图像中筛选出与所述待跟踪目标属于同一类型的目标。
本申请还提供一实施例,该实施例提供一种可以应用于枪机和球机的目标跟踪***,用于执行以下步骤:
在枪机端发起目标检测与跟踪请求,同时选定触发告警的目标作为待跟踪目标,然后采集待跟踪目标在枪机中的坐标、类型、尺寸和特征向量等属性信息,然后通过枪机联通控制模块发送待跟踪目标的属性信息给球机。
球机端的球机联动控制模块接收到待跟踪目标的属性信息后,根据变换矩阵将待跟踪目标的第一坐标转换为第二坐标;其中,第一坐标是指待跟踪目标在枪机中的坐标,第二坐标是指待跟踪目标映射在球机中的坐标。旋转云台到第二坐标,并根据待跟踪目标的尺寸将球机变倍到预设倍率,以及根据待跟踪目标的类型、尺寸,从球机拍摄的图像中筛选出候选目标。然后再计算候选目标距离第二坐标的欧氏距离,并根据距离大小进行降序排序;根据排序结果选择候选目标,然后计算候选目标与待跟踪目标之间特征向量的相似度,如果相似度大于阈值,则认为目标匹配成功,否则计算下一个候选目标的相似度。
在本实施例中,枪机设备算法模块检测与跟踪算子对枪机图像(简称第一图像)中的人、机动车、非机动车目标进行检测与跟踪,获取到目标(简称第一目标)在第一图像中的坐标,尺寸,运动速度,目标类型,特征向量等属性。枪机算法模块事件分析算子检测到有目标触发了某个事件后,枪机算法模块选定该目标作为待跟踪目标,通过枪机联动控制模块将上述待跟踪目标的属性信息发送给球机。球机联动控制模块接收到枪机发送过来的待跟踪目标属性信息,基于上述属性信息辅助球机快速找到待跟踪目标,并进行锁定跟踪。
具体地,本实施例的整个跟踪过程分为三个阶段,包括:
第一阶段,主要是进行粗略跟踪。球机并不会关注具体的目标,只要求球机把云台旋转到目标所在的大致图像区域。球机收到枪机发送过来的目标属性信息。所述第一目标坐标(简称第一坐标),根据枪球坐标系标定得到的坐标变化矩阵。将第一坐标映射到球机的图像坐标系中,获得该目标在球机图像坐标系中的坐标(简称第二坐标),球机的PTZ模块控制云台旋转,使得第二坐标移动到球机图像(第二图像)中心区域,并获取待跟踪目标所在区域的第二图像。该过程需要枪机按照时序连续发送多次的目标检测跟踪属性到球机。球机在第一阶段跟踪过程中需要根据目标的尺寸进行变倍和聚集。为了减少粗跟踪过程总体消耗的时长。球机在收到枪机发送的目标尺寸信息后,云台进行旋转的同时球机机芯根据目标在第一图像中的尺寸大小,按照预先设定的规则,对球机进行变倍。为下一阶段精确匹配目标,提供更加清晰的图像,提高目标特征匹配的成功率。
第二阶段,主要是进行精确跟踪。经过第一阶段的粗跟踪,球机已经转到目标图像区域。球机算法模块,也可以实时检测跟踪当前第二画面中的人,机动车,非机动车等类型的目标。若第二图像中检测出存在多个目标,需要根据以下规则选出与第一画面中匹配度最高的目标,作为球机精确跟踪的目标。因为特征比对的计数复杂度较高耗时久,所以需要避免直接轮询第二图像中所有目标的特征与待跟踪目标的特征相似度。本申请采用以下策略:首先,根据目标的类型对目标进行筛选,筛选出相同类型的候选目标组。第二步,计算上述候选目标组中每个目标的坐标与枪机发送过来并经过坐标映射得到第二坐标之间的距离,对所有候选目标与第二坐标之间的距离进行递增排序。优先对距离较近的候选目标与待跟踪目标进行特征比对。特征比对的相似度大于预设阈值,就认为球机在第二画面中找到了枪机中发送过来的待跟踪目标。减少特征比对的时间。枪机运行检测跟踪算法实时检测第一图像中跟踪目标的实时位置,速度和特征向量,并且发送目标的位置坐标,尺寸,目标运动速度,目标的类型,目标的特征向量等属性结果到球机。球机可以持续几帧获取到目标的实时位置,速度和特征向量等信息,指示球机直到锁定跟踪住该目标。
第三阶段,主要是球机进行自主跟踪。该阶段枪机不再发送第一目标的坐标和特征等属性信息给球机,球机在锁定住跟踪目标之后,进入自主跟踪模式,球机算法模块中的检测跟踪算子可以实时检测与跟踪第二图像中的目标,得到目标id,类型t,坐标与尺寸l(x,y,w,h),特征向量f等属性信息。算法模块将上述信息发送给球机联动控制模块,联动控制模块采用PID控制算法计算云台旋转的预期角度,PTZ控制模块接收联动控制模块的跟踪指令,旋转云台使得被跟踪目标图像显示在球机图像画面的中心位置。该算法可以解决自主跟踪过程云台出现的抖动问题。并且能够根据目标的尺寸调整变倍和聚焦,使第二目标的图像稳定清晰,方便属性分析算子对目标进行详细的属性分析。
根据上述记载,本实施例为了描述方便,将各变量下标中的1代表枪机所在的第一坐标系,下标2代表球机所在的第二坐标系。例如l1(x,y,w,h)就代表待跟踪目标在枪机中的坐标与尺寸;l2(x,y,w,h)就代表待跟踪目标映射在球机中的坐标与尺寸。如图4所示,本实施例采用粗略跟踪、精确跟踪、自主跟踪分阶段跟踪策略,有效提高跟踪响应速度和跟踪准确性。下面分步骤详细介绍实施过程。
第一阶段:枪机算法模块检测跟踪算子识别全景图像中所有目标,采集每个目标的id1,坐标与尺寸l1(x,y,w,h),类型t。事件分析算子检测到某个目标触发了告警事件,说明该目标是需要重点关注的对象,需要对该目标进行球机跟踪。连同检测跟踪结果一起打包成R1(id,l),枪机联动控制模块根据目标的id作为主要标识,生成对该目标的跟踪请求,通过网络发送跟踪请求指令给球机联动控制模块。枪机按照时间序列,检测与跟踪待跟踪目标在连续的n帧图像帧中的R1(id,l)属性信息。球机联动控制模块从R1中解析出l1(x,y,w,h)。根据预先标定得到的变化矩阵T,坐标变化得到在球机图像坐标系下的坐标l2(x,y,w,h)。l2(x,y,w,h)中坐标x,y分量作为云台控制模块的输入,w,h分量作为变倍的初始倍率。经过n次上述过程的粗略跟踪,球机能快速的获取到目标区域的第二图像。球机算法模块对第二图像进行检测与跟踪,得到第二图像中的目标列表,作为下一阶段精确跟踪的候选目标。
第二阶段:枪机算法模块在n+1帧会提取待跟踪目标的类型t和特征向量f,因为提取特征向量操作比较耗时,所以只要执行一次该操作。特征向量是一个128维的向量,可以详细刻画出目标在图像中的细节特征,特征向量具有缩放,颜色,旋转等不变性,适合传输与保存。连同检测跟踪结果一起封装成属性结果R1(id,l,t,f)发送到球机。球机收到属性结果R1,解析出其中的所有属性信息id,l,t,f。l1(x,y,w,h)经过变换矩阵T作用得到在球机图像坐标系下的坐标l2(x,y,w,h)。l2(x,y,w,h)作为云台控制模块的输入和变倍的倍率计算输入。目标类型t和特征向量f用于筛选出准确的待跟踪目标。根据上述属性信息从候选目标中筛选出匹配度最高的目标,作为精确跟踪的输入。从n+1帧之后,枪机停止给球机发送属性信息。球机进入第三阶段即自主跟踪模式。
第三阶段:经过前两个阶段的粗略跟踪和精确跟踪,球机已经可以锁定到跟踪目标,在当前阶段,枪机停止给球机发送目标在第一图像中的属性信息。球机球机依靠自身算法模块对锁定目标进行检测与跟踪、属性分析得到结果R2(id,l,t,f)。算法模块属性分析把上述属性结果R2发送给球机联动控制模块。其中id,l2的作用与第二阶段一样用于控制云台和倍率变换。类型t和特征向量f用于目标在移动过程中发生短暂遮挡之后进行目标快速找回。因为算法模块检测跟踪算子在目标丢失之后,目标的id发生变化,需要利用目标的特征向量匹配在最新的球机图像中找到特征向量相似度最高的目标继续进行跟踪。直到目标跟踪彻底丢失或者跟踪时长达到预设时长后球机返回到预制点。准备继续下一轮跟踪请求。
在另一实施例中,如图6所示,本实施例提供一种基于全景枪机与球机组合而成的枪球联动***,该***中硬件参数如下,枪机视角范围360度,采用多个子镜头采集监控场景下不同视角的图像,经过图像融合拼接得到一张完整的全景图像。主要用于采集场景内所有目标的概要信息和告警事件的判定。球机的云台支持360度旋转,机芯支持40倍变倍,通过控制云台旋转可以采集场景内目标的细节信息。如图6所示,枪球联动***可以分为主机和从机两种角色。
枪机在枪球联动***中作为主机角色,主要负责选中触发告警事件的某个目标,获取该目标的属性信息,并将上述属性信息打包发送到球机,并接收球机跟踪结束后返回的跟踪目标的详细结果。枪机功能模块可以划分为:算法模块和枪机联动控制模块。其中,算法模块根据各算子实现的具体功能,算法模块可以细分为检测跟踪算子和事件分析算子。其中,检测跟踪算子:检测与跟踪算子可以对图像中的行人,机动车,非机动车等类型的目标进行检测跟踪。事件分析算子:事件分析算子可以根据预先配置的规则,判断是否有目标触发了某个事件。本实施例中事件分析算子支持区域入侵,进入区域,离开区域,拌线检测,快速移动,人员徘徊等事件检测。当某个目标触发了上述事件,会生成一次告警。算法模块会选择该目标作为待跟踪对象,将上述属性R1信息发送给枪机联动控制模块。枪机联动控制模块可以将算法模块打包的属性信息通过网络发送给球机的联动控制模块。
球机在枪球联动***中作为从机角色,球机的功能模块可以划分为:球机算法模块、球机联动控制模块和球机控制模块。其中,球机算法模块按照具体的功能可以分为检测跟踪算子和属性分析算子。检测跟踪算子的功能和枪机检测跟踪算子一样,可以支持对行人、机动车、非机动车等不同类型目标进行检测与跟踪。属性分析算子可以支持对目标的细节信息进行分析,比如可以识别机动车的车牌号,车辆品牌,车辆类型等属性,可以识别行人的性别,年龄,发型,衣着,外貌等详细信息,可以识别非机动车类型,是否载人,驾驶员外貌特征等详细信息。球机联动控制模块用于负责处理枪机发送过来的跟踪请求指令,完成不同阶段跟踪过程控制。球机控制模块可以负责执行云台的旋转、变倍、聚焦等操作。
综上所述,本申请提供一种目标跟踪***,首先获取第一图像,然后对第一图像进行检测识别,并在检测到第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;再将待跟踪目标的属性信息发送至第二图像拍摄装置,并基于待跟踪目标在第一图像中的坐标,对第二图像拍摄装置进行调整,以使待跟踪目标位于第二图像拍摄装置的预设区域;最后根据待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对待跟踪目标进行跟踪,直至跟踪结束。其中,第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄,得到的包含有一个或多个目标的图像。本***中的第一图像拍摄装置可以是枪机,第二图像拍摄装置可以是球机。所以,相当于传统的球机联动控制***,本***提出的方案可以提高枪球联动交互过程中响应速度和跟踪的准确度,特别适用于机动车,非机动车等快速运动目标的检测与跟踪,解决枪球联动过程中经常出现的目标跟错与跟丢的问题。另外,本***提出枪球联动云台控制算法,可以解决跟踪过程中球机云台出现抖动的问题,增加了目标跟踪过程的平稳性。
本申请实施例还提供了一种计算机设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行图1所述的方法。图7示出了一种计算机设备1000的结构示意图。参阅图7所示,计算机设备1000包括:处理器1010、存储器1020、电源1030、显示单元1040、输入单元1060。
处理器1010是计算机设备1000的控制中心,利用各种接口和线路连接各个部件,通过运行或执行存储在存储器1020内的软件程序和/或数据,执行计算机设备1000的各种功能,从而对计算机设备1000进行整体监控。本申请实施例中,处理器1010调用存储器1020中存储的计算机程序时执行如图1所述的方法。可选的,处理器1010可包括一个或多个处理单元;优选的,处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用等,调制解调处理器主要处理无线通信。在一些实施例中,处理器、存储器、可以在单一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
存储器1020可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、各种应用等;存储数据区可存储根据计算机设备1000的使用所创建的数据等。此外,存储器1020可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
计算机设备1000还包括给各个部件供电的电源1030(比如电池),电源可以通过电源管理***与处理器1010逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗等功能。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及计算机设备1000的各种菜单等,本申请实施例中主要用于显示计算机设备1000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元1040可以包括显示面板1050。显示面板1050可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(OrganicLight-Emitting Diode,OLED)等形式来配置。
输入单元1060可用于接收用户输入的数字或字符等信息。输入单元1060可包括触控面板1070以及其他输入设备1080。其中,触控面板1070,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1070上或在触控面板1070附近的操作)。
具体的,触控面板1070可以检测用户的触摸操作,并检测触摸操作带来的信号,将这些信号转换成触点坐标,发送给处理器1010,并接收处理器1010发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1070。其他输入设备1080可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然,触控面板1070可覆盖显示面板1050,当触控面板1070检测到在其上或附近的触摸操作后,传送给处理器1010以确定触摸事件的类型,随后处理器1010根据触摸事件的类型在显示面板1050上提供相应的视觉输出。虽然在图7中,触控面板1070与显示面板1050是作为两个独立的部件来实现计算机设备1000的输入和输出功能,但是在某些实施例中,可以将触控面板1070与显示面板1050集成而实现计算机设备1000的输入和输出功能。
计算机设备1000还可包括一个或多个传感器,例如压力传感器、重力加速度传感器、接近光传感器等。当然,根据具体应用中的需要,上述计算机设备1000还可以包括摄像头等其它部件。
本申请实施例还提供了一种计算机可读存储介质,该存储介质中存储有指令,当一个或多个处理器执行所述指令时,使得上述设备能够执行本申请中如图1所述的方法。
本领域技术人员可以理解的是,图7仅仅是计算机设备的举例,并不构成对该设备的限定,该设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本申请时,可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的,应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可应用至通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器中以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当理解的是,尽管在本申请实施例中可能采用术语第一、第二、第三等来描述预设范围等,但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如,在不脱离本申请实施例范围的情况下,第一预设范围也可以被称为第二预设范围,类似地,第二预设范围也可以被称为第一预设范围。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (9)
1.一种目标跟踪方法,其特征在于,所述方法包括以下步骤:
获取第一图像,所述第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄得到的包含有一个或多个目标的图像;
对所述第一图像进行检测识别,并在检测到所述第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;
将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整,以使所述待跟踪目标位于所述第二图像拍摄装置的预设区域;
根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪,直至跟踪结束;其中,根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:获取完成调整后的第二图像拍摄装置拍摄的图像,记为第二图像;对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标,记为候选目标;获取所述待跟踪目标在所述第二图像拍摄装置中的映射坐标,以及每个候选目标在所述第二图像拍摄装置中的实际坐标,并计算所述待跟踪目标的映射坐标与所述候选目标的实际坐标的距离;按照计算出的距离进行排序,并依次选择距离值小的候选目标与所述待跟踪目标进行特征比对,计算候选目标与所述待跟踪目标的特征相似度;将计算出的特征相似度与预设阈值进行比对,并在计算出的特征相似度大于预设阈值时,选出对应的候选目标;利用完成调整后的第二图像拍摄装置,对选出的候选目标进行跟踪;其中,所述待跟踪目标的属性信息包括所述待跟踪目标的类型、所述待跟踪目标的特征。
2.根据权利要求1所述的目标跟踪方法,其特征在于,将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整的过程包括:
将所述待跟踪目标在所述第一图像中的坐标记为第一坐标,以及将所述第一坐标映射至所述第二图像拍摄装置的图像坐标系中,得到所述待跟踪目标在所述第二图像拍摄装置中的坐标,记为第二坐标;
利用云台对所述第二图像拍摄装置进行位置调整,直至所述第二坐标位于所述第二图像拍摄装置的预设区域。
3.根据权利要求1或2所述的目标跟踪方法,其特征在于,对所述第二图像拍摄装置进行调整后,所述方法还包括:
基于所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息,对所述第二图像拍摄装置进行变倍和聚焦,以使所述待跟踪目标在所述第二图像拍摄装置中的清晰度高于所述第一图像拍摄装置;其中,所述待跟踪目标的属性信息包括所述待跟踪目标在所述第一图像拍摄装置中的尺寸信息。
4.根据权利要求1所述的目标跟踪方法,其特征在于,根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:
获取对所述待跟踪目标进行跟踪的时间,记为目标跟踪时间;
将所述目标跟踪时间与第一预设时间进行比对,并在所述目标跟踪时间超过所述第一预设时间后,结束对所述待跟踪目标的跟踪;或者,
获取选出的候选目标在所述第二图像拍摄装置的显示区域,若选出的候选目标未出现在所述第二图像拍摄装置的显示区域,则结束对所述待跟踪目标的跟踪。
5.根据权利要求1所述的目标跟踪方法,其特征在于,对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标的过程包括:
获取属性分析算子,所述属性分析算子预先配置有属性信息;
基于所述属性分析算子中预先配置的属性信息对所述第二图像进行识别,获取所述第二图像中存在的目标,以及每个目标的类型;
基于所述待跟踪目标的类型,从所述第二图像中筛选出与所述待跟踪目标属于同一类型的目标。
6.根据权利要求1或2所述的目标跟踪方法,其特征在于,对所述第一图像进行检测识别的过程包括:
获取事件分析算子,所述事件分析算子预先配置有事件判断规则;
基于所述事件分析算子对所述第一图像中的一个或多个目标进行分析,确定所述第一图像中的一个或多个目标是否存在预设告警事件中的至少一种;其中,所述预设告警事件包括:区域入侵事件、进入区域事件、离开区域事件、拌线检测事件、快速移动事件、人员徘徊事件;
若所述第一图像中的一个或多个目标存在预设告警事件中的至少一种,则标记所述第一图像中有目标触发预设告警事件;
若所述第一图像中的一个或多个目标不存在预设告警事件中的任意一种,则标记所述第一图像中有目标未触发预设告警事件。
7.一种目标跟踪***,其特征在于,所述***包括有:
图像采集模块,用于获取第一图像,所述第一图像包括利用第一图像拍摄装置对预先或实时确定的监控区域进行拍摄得到的包含有一个或多个目标的图像;
目标识别模块,用于对所述第一图像进行检测识别,并在检测到所述第一图像中有目标触发预设告警事件时,将触发预设告警事件的目标作为待跟踪目标;
图像调整模块,用于将所述待跟踪目标的属性信息发送至第二图像拍摄装置,并基于所述待跟踪目标在所述第一图像中的坐标,对所述第二图像拍摄装置进行调整,以使所述待跟踪目标位于所述第二图像拍摄装置的预设区域;
目标跟踪模块,用于根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪,直至跟踪结束;其中,根据所述待跟踪目标的属性信息以及完成调整后的第二图像拍摄装置,对所述待跟踪目标进行跟踪的过程包括:获取完成调整后的第二图像拍摄装置拍摄的图像,记为第二图像;对所述第二图像进行识别,并筛选出与所述待跟踪目标属于同一类型的目标,记为候选目标;获取所述待跟踪目标在所述第二图像拍摄装置中的映射坐标,以及每个候选目标在所述第二图像拍摄装置中的实际坐标,并计算所述待跟踪目标的映射坐标与所述候选目标的实际坐标的距离;按照计算出的距离进行排序,并依次选择距离值小的候选目标与所述待跟踪目标进行特征比对,计算候选目标与所述待跟踪目标的特征相似度;将计算出的特征相似度与预设阈值进行比对,并在计算出的特征相似度大于预设阈值时,选出对应的候选目标;利用完成调整后的第二图像拍摄装置,对选出的候选目标进行跟踪;其中,所述待跟踪目标的属性信息包括所述待跟踪目标的类型、所述待跟踪目标的特征。
8.一种计算机设备,其特征在于,包括:
处理器;和,
存储有指令的计算机可读介质,当所述处理器执行所述指令时,使得所述设备执行如权利要求1至6中任意一项所述的方法。
9.一种计算机可读介质,其特征在于,其上存储有指令,所述指令由处理器加载并执行如权利要求1至6中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210871722.9A CN115278014B (zh) | 2022-07-22 | 2022-07-22 | 一种目标跟踪方法、***、计算机设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210871722.9A CN115278014B (zh) | 2022-07-22 | 2022-07-22 | 一种目标跟踪方法、***、计算机设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115278014A CN115278014A (zh) | 2022-11-01 |
CN115278014B true CN115278014B (zh) | 2023-09-15 |
Family
ID=83770716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210871722.9A Active CN115278014B (zh) | 2022-07-22 | 2022-07-22 | 一种目标跟踪方法、***、计算机设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115278014B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115955550B (zh) * | 2023-03-15 | 2023-06-27 | 浙江宇视科技有限公司 | 一种gpu集群的图像分析方法与*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794731A (zh) * | 2015-05-12 | 2015-07-22 | 成都新舟锐视科技有限公司 | 用于球机控制策略的多目标检测跟踪方法 |
CN106027887A (zh) * | 2016-05-20 | 2016-10-12 | 北京格灵深瞳信息技术有限公司 | 针对旋镜云台的枪球联动控制的方法、装置及电子设备 |
CN107592507A (zh) * | 2017-09-29 | 2018-01-16 | 深圳市置辰海信科技有限公司 | 自动跟踪捕捉高清晰正面人脸照片的方法 |
CN207166616U (zh) * | 2017-09-12 | 2018-03-30 | 成都动力视讯科技股份有限公司 | 车载监控装置及*** |
CN108495085A (zh) * | 2018-03-14 | 2018-09-04 | 成都新舟锐视科技有限公司 | 一种基于活动目标检测的球机自动跟踪控制方法及*** |
CN110581979A (zh) * | 2018-06-08 | 2019-12-17 | 杭州海康威视数字技术股份有限公司 | 一种图像采集***、方法及装置 |
CN110969097A (zh) * | 2019-11-18 | 2020-04-07 | 浙江大华技术股份有限公司 | 监控目标联动跟踪控制方法、设备及存储装置 |
CN111885301A (zh) * | 2020-06-29 | 2020-11-03 | 浙江大华技术股份有限公司 | 枪球联动跟踪方法、装置、计算机设备和存储介质 |
CN112351200A (zh) * | 2020-10-13 | 2021-02-09 | 深圳英飞拓科技股份有限公司 | 一种枪球智能摄像机联动抓拍实现方法及*** |
WO2021204298A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 一种拍摄方法、装置及*** |
CN114120165A (zh) * | 2021-10-13 | 2022-03-01 | 浙江大华技术股份有限公司 | 枪球联动的目标跟踪方法、装置、电子装置和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109165606B (zh) * | 2018-08-29 | 2019-12-17 | 腾讯科技(深圳)有限公司 | 一种车辆信息的获取方法、装置以及存储介质 |
-
2022
- 2022-07-22 CN CN202210871722.9A patent/CN115278014B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794731A (zh) * | 2015-05-12 | 2015-07-22 | 成都新舟锐视科技有限公司 | 用于球机控制策略的多目标检测跟踪方法 |
CN106027887A (zh) * | 2016-05-20 | 2016-10-12 | 北京格灵深瞳信息技术有限公司 | 针对旋镜云台的枪球联动控制的方法、装置及电子设备 |
CN207166616U (zh) * | 2017-09-12 | 2018-03-30 | 成都动力视讯科技股份有限公司 | 车载监控装置及*** |
CN107592507A (zh) * | 2017-09-29 | 2018-01-16 | 深圳市置辰海信科技有限公司 | 自动跟踪捕捉高清晰正面人脸照片的方法 |
CN108495085A (zh) * | 2018-03-14 | 2018-09-04 | 成都新舟锐视科技有限公司 | 一种基于活动目标检测的球机自动跟踪控制方法及*** |
CN110581979A (zh) * | 2018-06-08 | 2019-12-17 | 杭州海康威视数字技术股份有限公司 | 一种图像采集***、方法及装置 |
CN110969097A (zh) * | 2019-11-18 | 2020-04-07 | 浙江大华技术股份有限公司 | 监控目标联动跟踪控制方法、设备及存储装置 |
WO2021204298A1 (zh) * | 2020-04-10 | 2021-10-14 | 华为技术有限公司 | 一种拍摄方法、装置及*** |
CN113518174A (zh) * | 2020-04-10 | 2021-10-19 | 华为技术有限公司 | 一种拍摄方法、装置及*** |
CN111885301A (zh) * | 2020-06-29 | 2020-11-03 | 浙江大华技术股份有限公司 | 枪球联动跟踪方法、装置、计算机设备和存储介质 |
CN112351200A (zh) * | 2020-10-13 | 2021-02-09 | 深圳英飞拓科技股份有限公司 | 一种枪球智能摄像机联动抓拍实现方法及*** |
CN114120165A (zh) * | 2021-10-13 | 2022-03-01 | 浙江大华技术股份有限公司 | 枪球联动的目标跟踪方法、装置、电子装置和存储介质 |
Non-Patent Citations (1)
Title |
---|
康运锋 ; 谢元涛 ; 张世渝 ; .人像属性识别关键技术研究进展及应用探索.警察技术.2018,(第02期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115278014A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10068135B2 (en) | Face detection, identification, and tracking system for robotic devices | |
US9332189B2 (en) | User-guided object identification | |
US9177224B1 (en) | Object recognition and tracking | |
CN109325456B (zh) | 目标识别方法、装置、目标识别设备及存储介质 | |
US9424461B1 (en) | Object recognition for three-dimensional bodies | |
CN111935393A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN111581423B (zh) | 一种目标检索方法及装置 | |
US20200265229A1 (en) | Real time object detection and tracking | |
CN110598559B (zh) | 检测运动方向的方法、装置、计算机设备和存储介质 | |
JP2017033547A (ja) | 情報処理装置及びその制御方法及びプログラム | |
US20220383523A1 (en) | Hand tracking method, device and system | |
US20170344104A1 (en) | Object tracking for device input | |
CN115278014B (zh) | 一种目标跟踪方法、***、计算机设备及可读介质 | |
CN112668428A (zh) | 车辆变道的检测方法、路侧设备、云控平台和程序产品 | |
CN111736709A (zh) | Ar眼镜控制方法、设备、存储介质及装置 | |
CN115278084A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP2019174920A (ja) | 物品管理システム、及び物品管理プログラム | |
Demirkus et al. | People detection in fish-eye top-views | |
US20240153308A1 (en) | System and method for attention-aware relation mixer for person search | |
CN111611941A (zh) | 特效处理方法及相关设备 | |
Jain et al. | Gestarlite: An on-device pointing finger based gestural interface for smartphones and video see-through head-mounts | |
CN109658323A (zh) | 图像获取方法、装置、电子设备和计算机存储介质 | |
CN114764897A (zh) | 行为识别方法、装置、终端设备以及存储介质 | |
CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
US11736795B2 (en) | Shooting method, apparatus, and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |