CN115760910A - 枪球联动设备的目标跟踪方法、装置、终端及存储介质 - Google Patents

枪球联动设备的目标跟踪方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN115760910A
CN115760910A CN202211290950.3A CN202211290950A CN115760910A CN 115760910 A CN115760910 A CN 115760910A CN 202211290950 A CN202211290950 A CN 202211290950A CN 115760910 A CN115760910 A CN 115760910A
Authority
CN
China
Prior art keywords
target
dome camera
current
monitoring
monitoring position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211290950.3A
Other languages
English (en)
Inventor
吴思铭
程德强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211290950.3A priority Critical patent/CN115760910A/zh
Publication of CN115760910A publication Critical patent/CN115760910A/zh
Priority to PCT/CN2023/124943 priority patent/WO2024083113A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种枪球联动设备的目标跟踪方法、装置、终端及存储介质，其中，该目标跟踪方法包括：获取连续多帧的历史枪机监控图像，识别连续多帧的历史枪机监控图像，并获取目标的枪机监控位置；将目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到目标的球机监控位置；基于目标的球机监控位置，获取目标的球机运行轨迹，并基于目标的球机运行轨迹预测目标的第一当前球机监控位置；获取当前枪机监控图像，并基于当前枪机监控图像获取第二当前球机监控位置；基于第一当前球机监控位置和第二当前球机监控位置，控制球机对目标进行跟踪。通过以上方式，在枪机与球机关联中增加比对和确认，提升枪机和球机稳定交接目标的能力。

Description

枪球联动设备的目标跟踪方法、装置、终端及存储介质
技术领域
本申请涉及安防视频技术领域，特别是涉及枪球联动设备的目标跟踪方法、装置、终端及存储介质。
背景技术
枪球联动监控方式是通过使用广视角枪机对某一区域进行监控，对监控区域中的感兴趣目标，如行人、车辆、非机动车等进行识别，球机对枪机监控区域中的感兴趣目标进行识别、跟踪与放大。枪球联动监控方式需要获取枪机、球机与现场环境中的坐标关联关系，枪机根据采集的图像中的目标进行识别与跟踪，确定目标的坐标关系，并根据与球机的坐标关联关系，向球机发送相应的控制指令，从而控制球机云台的运动，实现对目标的跟踪。
目前的枪球联动监控方式主要基于枪机图像和球机图像中目标的特征信息匹配度进行目标跟踪，缺乏对枪机、球机不同画面中目标特征存在一定差异的场景或存在目标遮挡场景的支持。
发明内容
本申请提供一种枪球联动设备的目标跟踪方法、装置、终端及存储介质。
本申请采用的一个技术方案是提供一种目标跟踪方法，所述目标跟踪方法应用于枪球联动设备，其中，所述目标跟踪方法包括：
获取连续多帧的历史枪机监控图像，识别所述连续多帧的历史枪机监控图像，并获取目标的枪机监控位置；
将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到所述目标的球机监控位置；
基于所述目标的球机监控位置，获取所述目标的球机运行轨迹，并基于所述目标的球机运行轨迹预测所述目标的第一当前球机监控位置；
获取当前枪机监控图像，并基于所述当前枪机监控图像获取第二当前球机监控位置；
基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪。
其中，所述将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上的步骤之前，包括：
对所述枪机和所述球机进行标定，获取所述枪机与所述球机的跨相机关联关系。
其中，所述将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，包括：
基于所述跨相机关联关系将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上。
其中，所述将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到所述目标的球机监控位置；以及，基于所述目标的球机监控位置，获取所述目标的球机运行轨迹，包括：
基于所述目标的枪机监控位置，获取所述目标在所述连续多帧的历史枪机监控图像的枪机运行轨迹；
将所述目标的枪机运行轨迹映射到所述连续多帧的历史球机监控图像上，得到所述目标的球机运行轨迹，其中，所述目标的球机运行轨迹包括所述目标的球机监控位置。
其中，所述基于所述目标的球机运行轨迹预测所述目标的第一当前球机监控位置，包括：
响应于预设目标跟踪算法，基于所述目标的球机运行轨迹对所述目标在所述连续多帧的历史球机监控图像上的位置进行跟踪，并在当前球机监控图像上预测所述目标的第一当前球机监控位置。
其中，获取当前枪机监控图像，并基于所述当前枪机监控图像获取第二当前球机监控位置，包括：
获取所述当前枪机监控图像中所述目标的当前枪机监控位置；
将所述当前枪机监控位置映射到所述当前球机监控图像上，获取所述目标的第二当前球机监控位置。
其中，所述基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪，包括：
响应于第一当前球机监控位置与所述第二当前球机监控位置的位置差异小于设定阈值，控制所述球机对所述目标进行自主跟踪。
其中，所基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪，包括：
响应于第一当前球机监控位置与所述第二当前球机监控位置的位置差异大于设定阈值，基于所述第二当前球机监控位置更新所述球机运行轨迹，按照更新后的球机运行轨迹控制所述球机对所述目标进行跟踪。
本申请采用的另一个技术方案是提供一种基于枪球联动设备的目标跟踪装置，所述目标跟踪装置包括识别模块、映射模块、预测模块、监控模块以及跟踪模块；其中，
所述识别模块，用于获取连续多帧的历史枪机监控图像，识别所述连续多帧的历史枪机监控图像，并获取目标的枪机监控位置；
所述映射模块，用于将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到所述目标的球机监控位置；
所述预测模块，用于基于所述目标的球机监控位置，获取所述目标的球机运行轨迹，并基于所述目标的球机运行轨迹预测所述目标的第一当前球机监控位置；
所述监控模块，用于获取当前枪机监控图像，并基于所述当前枪机监控图像获取第二当前球机监控位置；
所述跟踪模块，用于基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪。
本申请采用的又一个技术方案是提供一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的数据传输方法。
本申请采用的再一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的数据传输方法。
本申请的有益效果是：在枪机和球机的关联过程中增加比对及确认环节，实现枪机与球机间稳定的交接过程，同时在联动过程中的枪机获取的目标特征及目标移动轨迹为球机的主动跟踪提供更多信息，减少球机因目标受遮挡后跟踪不连续或失败的现象。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的枪球联动设备的目标跟踪方法一实施例的流程示意图；
图2是图1中S4子步骤的流程示意图；
图3是本申请提供的枪球联动设备的目标跟踪方法另一实施例的流程示意图；
图4是本申请提供的目标跟踪装置一实施例的结构示意图；
图5是本申请提供的终端设备一实施例的结构示意图；
图6是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
传统的枪球联动设备的目标跟踪方法中，枪机和球机分别获取含有目标特征的图像，通过比对目标在不同图像之间的特征差异，实现球机对目标的自主跟踪，该方法在枪机和球机分别获取的目标图像特征存在一定差异或是目标受到环境的部分遮挡下，球机可能出现跟踪效果不佳的不足。
本申请主要设计了一种枪球联动设备的目标跟踪方法，针对传统方法的不足，本申请在原有基础上加入了目标运动轨迹信息分析与预测，在枪机和球机关联过程中增加比对与确认环节，减少因枪机和球机获取目标图像特征存在一定差异时球机的目标跟踪丢失，实现枪机和球机的稳定交接，获取的目标特征和目标轨迹信息为球机的跟踪提供更多信息，球机在目标受到环境部分遮挡的情况下仍具有准确的跟踪能力。
请参阅图1，图1是本申请提供的枪球联动设备的目标跟踪方法一实施例的流程示意图。
如图1所示，本申请提供的枪球联动设备的目标跟踪方法可以包括以下步骤：
S1，获取连续多帧的历史枪机监控图像，识别连续多帧的历史枪机监控图像，并获取目标的枪机监控位置。
在一种实施例中，获取枪机监控历史图像，基于枪机历史监控图像提取目标特征及目标位置信息。
可选地，目标包括但不限于车辆、行人、非机动车的其中一种或多种。
可选地，目标特征信息可以为目标对应图像区域输入至预训练的卷积神经网络得到的卷积特征。
在一种实施例中，枪机获取到从第2帧到第N帧的连续监控图像，提取出上述连续N-1帧枪机历史监控图像中的目标特征及目标位置信息。
可选地，目标位置信息可以为目标的在枪机图像中的像素位置信息。
在S1之前，本申请实施例的目标跟踪方法还可以包括以下步骤：对枪机和球机进行标定，获取枪机与球机的跨相机关联关系。
在一种实施例中，目标跟踪装置分别对枪机和球机进行标定，分别获取枪机和球机的相机内参数、外参数及畸变系数，从而建立枪机、球机获取的图像中目标的像素位置与现实环境中目标真实位置的关联关系。
可选地，枪机和球机分别通过棋盘格板进行标定。
在一种实施例中，目标跟踪装置可以分别获取枪机和球机对应的监控图像，选取枪机监控图像与球机监控图像中的某一个或多个固定目标作为对比目标，构建出坐标转换算法，获取枪机与球机的跨相机关联关系。
可选地，对比目标可为监控场景中的建筑物。
可选地，对比目标可为监控场景中的静止车辆。
S2，将目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到目标的球机监控位置。
一些实施例中，枪机监控图像和球机监控图像中均能获取得到目标时，执行将目标的枪机监控位置映射到连续多帧的历史球机监控图像的步骤。
一些实施例中，枪机监控图像和球机监控图像中至少有一个未能获取得到目标时，不执行将目标的枪机监控位置映射到连续多帧的历史球机监控图像的步骤，并跳转回S1。
其中，将目标的枪机监控位置映射到连续多帧的历史球机监控图像上，包括：
基于跨相机关联关系将目标的枪机监控位置映射到连续多帧的历史球机监控图像上。
其中，枪机和球机的跨相机关联关系可以由枪机的标定参数和球机的标定参数计算所得，具体可以由现实环境中同一标定物，分别计算枪机的标定图像中标定物的坐标位置，以及球机的标定图像中标定物的坐标位置，然后基于两个坐标位置，计算枪机和球机的跨相机关联关系。
具体地，目标跟踪装置将枪机获取到从第2帧到第N帧的连续监控图像中目标的位置信息，通过枪机与球机建立的跨相机关联关系，将目标在枪机中连续N-1帧监控位置转换到目标在球机中连续N-1帧的监控位置。
通过上述步骤，实现枪机获取的目标监控位置信息到球机图像中目标监控位置的映射。
S3，基于目标的球机监控位置，获取目标的球机运行轨迹，并基于目标的球机运行轨迹预测目标的第一当前球机监控位置。
其中，目标的球机运行轨迹包括目标在连续多帧球机监控图像的球机监控位置。目标的球机运行轨迹获取方式可以是依次将枪机监控图像上的枪机监控位置一一对应映射到球机监控图像上，然后将连续多帧的球机监控图像上的球机监控位置按照时间顺序生成目标的球机运行轨迹；目标的球机运行轨迹获取方式还可以是将连续多帧的枪机监控图像上的枪机监控位置按照时间顺序生成目标的枪机运行轨迹，然后将目标的枪机运行轨迹映射到球机监控图像上，生成目标的球机运行轨迹。
其中，基于目标的球机运行轨迹预测目标的第一当前球机监控位置，包括以下步骤：
响应于预设目标跟踪算法，基于目标的球机运行轨迹对目标在连续多帧的历史球机监控图像上的位置进行跟踪，并在当前球机监控图像上预测目标的第一当前球机监控位置。
在一种实施例中，预设目标跟踪算法可以为单目标跟踪算法，获取得到目标在连续多帧中的位置信息通过预设目标跟踪算法，获取目标的运行轨迹。
可选地，单目标跟踪算法可以包括基于模型匹配的目标跟踪算法，如均值偏移法、粒子滤波法。
可选地，单目标跟踪算法可以包括基于深度学习的目标跟踪算法，如基于卷积神经网络的目标跟踪算法、基于孪生神经网络+匈牙利算法的目标跟踪算法、结合孪生神经网络与区域推荐网络的目标跟踪算法。
在一种实施例中，目标跟踪装置基于获取得到的目标运行轨迹，预测第N+1帧球机监控图像中目标的位置信息，即第一当前球机监控位置。
可选地，预测第N+1帧球机监控图像中目标位置信息的方法可以为卡尔曼滤波法、速度平均法等轨迹预测方法。
可选地，目标的位置信息可以包括目标标记框中心的像素值。
S4，获取当前枪机监控图像，并基于当前枪机监控图像获取第二当前球机监控位置。
在一种实施例中，目标跟踪装置将获取得到的当前第N+1帧枪机监控图像经过已建立的枪机与球机的跨相机关联关系，转换成第二当前球机监控位置。
请参阅图2，图2是图1中S4子步骤的流程示意图。
如图2所示，S4的子步骤可以包括：
S41，获取当前枪机监控图像中目标的当前枪机监控位置。
具体地，枪机跟随目标，获取当前枪机第N+1帧监控图像中目标的位置信息。
S42，将当前枪机监控位置映射到当前球机监控图像上，获取目标的第二当前球机监控位置。
具体地，目标跟踪装置通过枪机和球机建立的跨相机关系，将当前获取的枪机监控图像中目标的像素位置值转换成球机第N+1帧监控图像中目标的位置信息，即第二当前球机监控位置。
可选地，目标的位置信息可以包括目标标记框中心的像素值。
请继续参阅图1。
S5，基于第一当前球机监控位置和第二当前球机监控位置，控制球机对目标进行跟踪。
具体地，目标跟踪装置通过比对第一当前球机监控位置和第二当前球机监控位置的信息，控制球机是否调整球机云台对跟踪目标进行跟踪，并实时获得跟踪目标的球机监控图像。
其中，响应于第一当前球机监控位置与第二当前球机监控位置的位置差异小于设定阈值，控制球机对目标进行自主跟踪。
在一种实施例中，若第一当前球机监控位置与第二当前球机监控位置的位置差异小于设定的阈值，实现枪机与球机之间的交接，并更新目标的图像特征与运动轨迹信息，控制球机对目标进行自主跟踪。
可选地，位置差异可以为第一当前球机监控位置中目标框中心与第二当前球机监控位置中目标框中心的曼哈顿距离。
可选地，位置差异可以为第一当前球机监控位置中目标框中心与第二当前球机监控位置中目标框中心的欧式距离。
其中，响应于第一当前球机监控位置与第二当前球机监控位置的位置差异大于设定的阈值，基于第二当前球机监控位置更新球机运行轨迹，按照更新后的球机运行轨迹控制球机对目标进行跟踪。
在一种实施例中，若第一当前球机监控位置与第二当前球机监控位置的位置差异大于设定阈值，则目标跟踪装置根据第二当前球机监控位置作为球机运动轨迹的更新内容，重新控制球机对目标进行跟踪。
可选地，位置差异可以为第一当前球机监控位置中目标框中心与第二当前球机监控位置中目标框中心的曼哈顿距离。
可选地，位置差异可以为第一当前球机监控位置中目标框中心与第二当前球机监控位置中目标框中心的欧式距离。
请参阅图3，图3是本申请提供的枪球联动设备的目标跟踪方法另一实施例的流程示意图。
如图3所示，枪球联动设备的目标跟踪方法另一实施例可以包括以下步骤：
S100，获取第1帧枪机监控图像，获取目标特征及目标位置信息。
在一种实施例中，获取第1帧枪机监控图像，基于第1帧枪机监控图像提取目标特征及目标位置信息。
可选地，目标包括但不限于车辆、行人、非机动车的其中一种或多种。
可选地，目标特征信息可以为目标对应图像区域输入至预训练的卷积神经网络得到的卷积特征。
可选地，目标位置信息可以为目标的在枪机图像中的位置信息。
在S100之前，还可以包括以下步骤：对枪机和球机进行标定，获取枪机与球机的跨相机关联关系。
在一种实施例中，目标跟踪装置分别对枪机和球机进行标定，分别获取枪机和球机的相机内参数、外参数及畸变系数，从而建立枪机、球机获取的图像中目标的像素位置与现实环境中目标真实位置的关联关系。
可选地，枪机和球机分别通过棋盘格板进行标定。
在一种实施例中，枪机和球机可以分别获取对应的监控图像，选取枪机监控图像与球机监控图像中的某一个或多个固定目标作为对比目标，构建出坐标转换算法，获取枪机与球机的跨相机关联关系。
S200，获取连续多个时刻内第2帧至第k-1帧枪机监控图像，通过跟踪算法获取目标的目标位置信息，通过枪球间跨相机关联关系的坐标转换，基于不同帧内目标位置信息得到对应球机监控位置。
在一实施例中，目标跟踪装置将枪机获取到从第2帧到第k-1帧的连续监控图像中目标的位置信息，通过枪机与球机建立的跨相机关联关系，将目标在枪机中连续k-2帧监控位置转换到目标在球机中连续k-2帧的监控位置。
通过上述步骤，实现枪机获取的目标监控位置信息到球机图像中目标监控位置的映射。
S300，基于球机坐标转换关系，根据球机监控位置信息将目标在球机画面内的坐标转换到同一坐标系下，更新对应运动轨迹信息。
其中，由于在不同球机监控位置下目标的PTZ坐标信息存在差异，通过坐标转换可以将目标的PTZ信息转化为球机坐标信息。
具体地，在不同球机监控位置下，球机的监控方向发生改变，导致多帧球机监控图像的坐标系不统一。此时，目标跟踪装置可以将连续多帧的球机监控图像中的目标坐标通过坐标转换，统一到同一坐标系上，便于生成目标的球机运行轨迹。
在一种实施例中，可以通过单目标跟踪算法获取目标运动轨迹信息。
可选地，单目标跟踪算法可以包括基于模型匹配的目标跟踪算法，如均值偏移法、粒子滤波法。
可选地，单目标跟踪算法可以包括基于深度学习的目标跟踪算法，如基于卷积神经网络的目标跟踪算法、基于孪生神经网络+匈牙利算法的目标跟踪算法、结合孪生神经网络与区域推荐网络的目标跟踪算法。
S400，基于运动轨迹信息，预测第k帧对应目标位置信息，并通过球机坐标转换关系得到第一球机监控位置。
在一种实施例中，目标跟踪装置基于获取得到球机的第2帧到第k-1帧目标运行轨迹，预测第k帧球机监控图像中目标的位置信息，即第一当前球机监控位置。
可选地，预测第k帧球机监控图像中目标位置信息的方法可以为卡尔曼滤波法、速度平均法等轨迹预测方法。
可选地，目标的位置信息可以包括目标标记框中心的像素值。
S500，获取第k帧枪机监控图像，获取目标的目标位置信息，通过枪球间坐标转换关联关系，得到第二球机监控位置。
在一实施例中，枪机跟随目标，获取当前枪机第k帧监控图像中目标的位置信息。
目标跟踪装置通过枪机和球机建立的跨相机关系，将当前获取的枪机监控图像中目标的像素位置值转换成球机第k帧监控图像中目标的位置信息，即第二当前球机监控位置。
可选地，目标的位置信息可以包括目标标记框中心的像素值。
S600，第一球机监控位置和第二球机监控位置的差异是否在预设阈值内。
在一实施例中，若第一球机监控位置和第二球机的差异在预设阈值内，跳转至S800；若第一球机监控位置和第二球机的差异不在预设阈值内，跳转至S700。
可选地，位置差异可以为第一当前球机监控位置中目标框中心与第二当前球机监控位置中目标框中心的曼哈顿距离。
可选地，位置差异可以为第一当前球机监控位置中目标框中心与第二当前球机监控位置中目标框中心的欧式距离。
S700，k＝k+1。
在一实施例中，目标跟踪装置基于第二当前球机监控位置更新球机运行轨迹，按照更新后的球机运行轨迹控制球机对目标进行跟踪。
跳转至S300。
S800，球机自主跟踪。
在一种实施例中，目标跟踪装置根据上述的目标确认流程，实现枪机与球机之间的交接，并更新目标的图像特征与运动轨迹信息，控制球机对目标进行自主跟踪。
以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。
请继续参见图4，图4是本申请提供的目标跟踪装置一实施例的结构示意图。本申请实施例的目标跟踪装置500包括识别模块51、映射模块52、预测模块53、监控模块54以及跟踪模块55。
其中，识别模块51，用于获取连续多帧的历史枪机监控图像，识别连续多帧的历史枪机监控图像，并获取目标的枪机监控位置。
映射模块52，用于将目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到目标的球机监控位置。
预测模块53，用于基于目标的球机监控位置，获取目标的球机运行轨迹，并基于目标的球机运行轨迹预测目标的第一当前球机监控位置。
监控模块54，用于获取当前枪机监控图像，并基于当前枪机监控图像获取第二当前球机监控位置。
跟踪模块55，用于基于第一当前球机监控位置和第二当前球机监控位置，控制球机对目标进行跟踪。
请继续参见图5，图5是本申请提供的终端设备一实施例的结构示意图。本申请实施例的终端设备600包括处理器61、存储器62。
该处理器61、存储器62、分别与总线相连，该存储器62中存储有程序数据，处理器61用于执行程序数据以实现上述实施例所述的目标跟踪方法。
在本申请实施例中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器61也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图6，图6是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质700中存储有程序数据71，该程序数据71在被处理器执行时，用以实现上述实施例的目标跟踪方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于枪球联动设备的目标跟踪方法，所述枪球联动设备包括枪机和球机，其特征在于，所述目标跟踪方法，包括：
获取连续多帧的历史枪机监控图像，识别所述连续多帧的历史枪机监控图像，并获取目标的枪机监控位置；
将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到所述目标的球机监控位置；
基于所述目标的球机监控位置，获取所述目标的球机运行轨迹，并基于所述目标的球机运行轨迹预测所述目标的第一当前球机监控位置；
获取当前枪机监控图像，并基于所述当前枪机监控图像获取第二当前球机监控位置；
基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪。
2.根据权利要求1所述的方法，其特征在于，
所述将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上的步骤之前，包括：
对所述枪机和所述球机进行标定，获取所述枪机与所述球机的跨相机关联关系；
所述将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，包括：
基于所述跨相机关联关系将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上。
3.根据权利要求1或2所述的方法，其特征在于，
所述将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到所述目标的球机监控位置；以及，基于所述目标的球机监控位置，获取所述目标的球机运行轨迹，包括：
基于所述目标的枪机监控位置，获取所述目标在所述连续多帧的历史枪机监控图像的枪机运行轨迹；
将所述目标的枪机运行轨迹映射到所述连续多帧的历史球机监控图像上，得到所述目标的球机运行轨迹，其中，所述目标的球机运行轨迹包括所述目标的球机监控位置。
4.根据权利要求1所述的方法，其特征在于，
所述基于所述目标的球机运行轨迹预测所述目标的第一当前球机监控位置，包括：
响应于预设目标跟踪算法，基于所述目标的球机运行轨迹对所述目标在所述连续多帧的历史球机监控图像上的位置进行跟踪，并在当前球机监控图像上预测所述目标的第一当前球机监控位置。
5.根据权利要求1或4所述的方法，其特征在于，
获取当前枪机监控图像，并基于所述当前枪机监控图像获取第二当前球机监控位置，包括：
获取所述当前枪机监控图像中所述目标的当前枪机监控位置；
将所述当前枪机监控位置映射到所述当前球机监控图像上，获取所述目标的第二当前球机监控位置。
6.根据权利要求1所述的方法，其特征在于，
所述基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪，包括：
响应于第一当前球机监控位置与所述第二当前球机监控位置的位置差异小于设定阈值，控制所述球机对所述目标进行自主跟踪。
7.根据权利要求1或6所述的方法，其特征在于，
所基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪，包括：
响应于第一当前球机监控位置与所述第二当前球机监控位置的位置差异大于设定阈值，基于所述第二当前球机监控位置更新所述球机运行轨迹，按照更新后的球机运行轨迹控制所述球机对所述目标进行跟踪。
8.一种基于枪球联动设备的目标跟踪装置，其特征在于，
所述目标跟踪装置包括识别模块、映射模块、预测模块、监控模块以及跟踪模块；其中，
所述识别模块，用于获取连续多帧的历史枪机监控图像，识别所述连续多帧的历史枪机监控图像，并获取目标的枪机监控位置；
所述映射模块，用于将所述目标的枪机监控位置映射到连续多帧的历史球机监控图像上，得到所述目标的球机监控位置；
所述预测模块，用于基于所述目标的球机监控位置，获取所述目标的球机运行轨迹，并基于所述目标的球机运行轨迹预测所述目标的第一当前球机监控位置；
所述监控模块，用于获取当前枪机监控图像，并基于所述当前枪机监控图像获取第二当前球机监控位置；
所述跟踪模块，用于基于所述第一当前球机监控位置和所述第二当前球机监控位置，控制所述球机对所述目标进行跟踪。
9.一种终端设备，其特征在于，
所述终端设备包括存储器以及所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至7任一项所述的目标跟踪方法。
10.一种计算机存储介质，其特征在于，
所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用于实现如权利要求1至7任一项所述的目标跟踪方法。
CN202211290950.3A 2022-10-20 2022-10-20 枪球联动设备的目标跟踪方法、装置、终端及存储介质 Pending CN115760910A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211290950.3A CN115760910A (zh) 2022-10-20 2022-10-20 枪球联动设备的目标跟踪方法、装置、终端及存储介质
PCT/CN2023/124943 WO2024083113A1 (en) 2022-10-20 2023-10-17 Methods, systems, and computer-readable media for target tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211290950.3A CN115760910A (zh) 2022-10-20 2022-10-20 枪球联动设备的目标跟踪方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN115760910A true CN115760910A (zh) 2023-03-07

Family

ID=85352475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211290950.3A Pending CN115760910A (zh) 2022-10-20 2022-10-20 枪球联动设备的目标跟踪方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN115760910A (zh)
WO (1) WO2024083113A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083113A1 (en) * 2022-10-20 2024-04-25 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and computer-readable media for target tracking

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845105B (zh) * 2017-10-24 2021-09-10 深圳市圆周率软件科技有限责任公司 一种基于全景枪球联动的监控方法、智能设备及存储介质
CN108521554B (zh) * 2018-03-01 2021-03-26 西安电子科技大学 大场景多目标协同跟踪方法、智能监控***、交通***
CN111914592B (zh) * 2019-05-08 2023-09-05 杭州海康威视数字技术股份有限公司 多相机联合取证方法、装置及***
CN110517292A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、***和计算机可读存储介质
CN114071069A (zh) * 2020-07-31 2022-02-18 华为技术有限公司 球机控制方法、装置及设备
CN115760910A (zh) * 2022-10-20 2023-03-07 浙江大华技术股份有限公司 枪球联动设备的目标跟踪方法、装置、终端及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083113A1 (en) * 2022-10-20 2024-04-25 Zhejiang Dahua Technology Co., Ltd. Methods, systems, and computer-readable media for target tracking

Also Published As

Publication number Publication date
WO2024083113A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
US8611591B2 (en) System and method for visually tracking with occlusions
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
US8891625B2 (en) Stabilization method for vibrating video frames
CN110570454B (zh) 一种检测异物入侵的方法及装置
WO2019074601A1 (en) TRACKING OBJECTS FOR NEURONAL NETWORK SYSTEMS
JPH09322155A (ja) 映像監視方法及び装置
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US20190362501A1 (en) Moving object detection apparatus, moving object detection method and program
CN111985300B (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN110414443A (zh) 一种目标跟踪方法、装置及枪球联动跟踪方法
CN115760910A (zh) 枪球联动设备的目标跟踪方法、装置、终端及存储介质
CN112001948A (zh) 一种目标跟踪处理方法及装置
CN113518168A (zh) 一种连续变焦方法、装置、电子设备及存储介质
CN116363565B (zh) 目标轨迹确定方法、装置、电子设备及存储介质
CN113409353A (zh) 运动前景检测方法、装置、终端设备及存储介质
CN116580182B (zh) 一种自动调整的目标检测的方法、***、设备及存储介质
CN111612827A (zh) 基于多摄像头的目标位置确定方法、装置和计算机设备
CN114897973B (zh) 轨迹检测方法、装置、计算机设备和存储介质
KR101576426B1 (ko) 어안 렌즈를 이용한 감시 장치 및 방법
CN113949830B (zh) 一种图像处理方法
WO2021177187A1 (ja) 画像処理装置及び画像処理方法
US20240046426A1 (en) Noise removal for surveillance camera image by means of ai-based object recognition
US20220398749A1 (en) Method and electronic device for tracking regions of interest in image frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination