CN116266359A - 目标物的跟踪方法、装置、计算机设备和存储介质 - Google Patents

目标物的跟踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116266359A
CN116266359A CN202111542820.XA CN202111542820A CN116266359A CN 116266359 A CN116266359 A CN 116266359A CN 202111542820 A CN202111542820 A CN 202111542820A CN 116266359 A CN116266359 A CN 116266359A
Authority
CN
China
Prior art keywords
point cloud
target
cloud cluster
detection frame
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111542820.XA
Other languages
English (en)
Inventor
干磊
马志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202111542820.XA priority Critical patent/CN116266359A/zh
Publication of CN116266359A publication Critical patent/CN116266359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及一种目标物的跟踪方法、装置、计算机设备和存储介质。所述方法包括：获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测所述彩色图中的目标物，得到具有语义标签的检测框；将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和目标雷达点云簇；基于所述目标检测框以及所述目标深度点云簇与所述目标雷达点云簇之间的融合点云簇，对所述目标物进行跟踪。通过2D与3D相结合的跟踪方式，采用本方法能够提升了跟踪***的精度。

Description

目标物的跟踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种目标物的跟踪方法、装置、计算机设备和存储介质。
背景技术
目标跟踪(Visual Object Tracking)是计算机视觉领域的一个重要技术之一。尽管近年来受到了广泛研究，随着新时代科学技术的不断进步，机器人出于任务需要和决策规划的要求，目标跟踪正成为必不可少的关键部分。
传统的目标物跟踪方案中，通常是基于不同时刻采集的彩色图进行目标物检测和跟踪，从而达到目标物跟踪的目的。然而，采用传统的目标物跟踪方案可能会导致跟踪的结果不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种目标物的跟踪方法、装置、计算机设备和存储介质。
一种目标物的跟踪方法，所述方法包括：
获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；
分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测所述彩色图中的目标物，得到具有语义标签的检测框；
将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和目标雷达点云簇；
基于所述目标检测框以及所述目标深度点云簇与所述目标雷达点云簇之间的融合点云簇，对所述目标物进行跟踪。
在其中的一个实施例中，所述分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇包括：
在所述深度点云和所述雷达点云中，选取深度点和雷达点作为目标深度点和目标雷达点；
确定所述目标深度点与深度点邻域之间的第一距离，以及所述目标雷达点与雷达点邻域之间的第二距离；
当所述第一距离小于距离阈值时，将所述目标深度点添加于所述深度点邻域；以及，当所述第二距离小于所述距离阈值时，将所述目标雷达点添加于所述雷达点邻域；
遍历所述深度点云中的深度点和所述雷达点云中的雷达点，直至所述深度点云中的深度点和所述雷达点云中的雷达点均加入对应的所述深度点邻域和所述雷达点邻域，并根据所述深度点邻域和所述雷达点邻域得到深度点云簇和雷达点云簇。
在其中的一个实施例中，所述检测所述彩色图中的目标物，得到具有语义标签的检测框包括：
利用目标检测模型检测所述彩色图中的目标物进行框定，得到检测框；
确定所述目标物的行为状态，根据所述行为状态生成多级语义标签；
输出具有所述多级语义标签的检测框。
在其中的一个实施例中，所述目标检测框包括第一目标检测框和第二目标检测框；
所述将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇包括：
将所述深度点云簇向所述彩色图所在平面进行投影，得到基于所述深度点云簇的深度点云投影和所述第一目标检测框；计算所述第一目标检测框与所述深度点云投影之间的交并比；根据所述交并比的大小确定目标深度点云簇；
将所述雷达点云簇向所述彩色图所在平面进行投影，得到雷达点云投影和所述第二目标检测框，各所述雷达点云投影和所述第二目标检测框之间存在交集区域；根据所述交集区域最大的雷达点云簇确定为目标雷达点云簇。
在其中的一个实施例中，所述根据所述交并比的大小确定目标深度点云簇包括：
对每个所述交并比与预设交并比上限值、预设交并比下限值进行比较；
当第一目标交并比大于所述预设交并比上限值时，将所述第一目标交并比对应的深度点云簇确定为目标深度点云簇；所述第一目标交并比属于所述交并比中的至少一个；
当第二目标交并比大于所述预设交并比下限值，且小于所述预设交并比上限值，将所述第二目标交并对应的深度点云簇进行聚类，得到目标深度点云簇；所述第二目标交并比属于所述交并比中的至少两个。
在其中的一个实施例中，所述目标检测框包括第一目标检测框和第二目标检测框；所述方法还包括：
当所述第一目标检测框与所述目标深度点云簇匹配，所述第二目标检测框与所述目标雷达点云簇匹配时，基于所述第一目标检测框以及所述目标深度点云簇，对所述目标物进行跟踪；或者，
基于所述第二目标检测框以及所述目标雷达点云簇，对所述目标物进行跟踪。
在其中的一个实施例中，所述方法还包括：
当所述目标深度点云簇与所述雷达点云簇之间的欧氏距离小于所述预设距离阈值，则对所述目标深度点云簇和所述雷达点云簇进行融合，得到所述融合点云簇。
在其中的一个实施例中，所述基于所述目标检测框以及所述目标深度点云簇与所述雷达点云簇之间的融合点云簇，对所述目标物进行跟踪包括：
计算当前所述目标检测框与历史跟踪的所述目标检测框之间的第一匹配代价，当前所述融合点云簇与历史跟踪的融合点云簇之间的第二匹配代价；当前所述融合点云簇是所述目标深度点云簇与所述雷达点云簇之间融合的点云簇；
对所述第一匹配代价和所述第二匹配代价加权求和，得到综合匹配代价；
基于所述综合匹配代价确定综合匹配结果；所述综合匹配结果，用于表示当前所述目标检测框与历史跟踪的所述目标检测框，以及当前所述融合点云簇与历史跟踪的融合点云簇之间的匹配情况；
根据所述综合匹配结果确定对所述目标物进行跟踪的跟踪信息，根据所述跟踪信息对所述目标物进行跟踪。
在其中的一个实施例中，所述根据所述综合匹配结果确定对所述目标物进行跟踪的跟踪信息包括：
当所述综合匹配结果基于小于预设损失阈值的综合匹配代价确定所得时，则根据当前所述目标检测框和当前所述融合点云簇，对历史跟踪的目标检测框与融合点云簇进行状态更新，得到跟踪信息。
一种目标物的跟踪装置，所述装置包括：
获取模块，用于获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；
聚类检测模块，用于分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测所述彩色图中的目标物，得到具有语义标签的检测框；
匹配模块，用于将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇；
跟踪模块，用于基于所述目标检测框以及所述目标深度点云簇与所述雷达点云簇之间的融合点云簇，对所述目标物进行跟踪。
在其中的一个实施例中，所述聚类检测模块，还用于在所述深度点云和所述雷达点云中，选取深度点和雷达点作为目标深度点和目标雷达点；确定所述目标深度点与深度点邻域之间的第一距离，以及所述目标雷达点与雷达点邻域之间的第二距离；当所述第一距离小于距离阈值时，将所述目标深度点添加于所述深度点邻域；以及，当所述第二距离小于所述距离阈值时，将所述目标雷达点添加于所述雷达点邻域；遍历所述深度点云中的深度点和所述雷达点云中的雷达点，直至所述深度点云中的深度点和所述雷达点云中的雷达点均加入对应的所述深度点邻域和所述雷达点邻域，并根据所述深度点邻域和所述雷达点邻域得到深度点云簇和雷达点云簇。
在其中的一个实施例中，所述聚类检测模块，还用于利用目标检测模型检测所述彩色图中的目标物进行框定，得到检测框；确定所述目标物的行为状态，根据所述行为状态生成多级语义标签；输出具有所述多级语义标签的检测框。
在其中的一个实施例中，所述目标检测框包括第一目标检测框和第二目标检测框；
所述匹配模块，还用于将所述深度点云簇向所述彩色图所在平面进行投影，得到基于所述深度点云簇的深度点云投影和所述第一目标检测框；计算第一所述目标检测框与所述深度点云投影之间的交并比；根据所述交并比的大小确定目标深度点云簇；将所述雷达点云簇向所述彩色图所在平面进行投影，得到雷达点云投影和所述第二目标检测框，各所述雷达点云投影和所述第二目标检测框之间存在交集区域；根据所述交集区域最大的雷达点云簇确定为目标雷达点云簇。
在其中的一个实施例中，所述匹配模块还用于对每个所述交并比与预设交并比上限值、预设交并比下限值进行比较；当第一目标交并比大于所述预设交并比上限值时，将所述目标交并比对应的深度点云簇确定为目标深度点云簇；所述第一目标交并比属于所述交并比中的至少一个；当第二目标交并比大于所述预设交并比下限值，且小于所述预设交并比上限值，将所述第二目标交并对应的深度点云簇进行聚类，得到目标深度点云簇；所述第二目标交并比属于所述交并比中的至少两个。
在其中的一个实施例中，所述目标检测框包括第一目标检测框和第二目标检测框；所述装置还包括：
选择模块，用于当所述第一目标检测框与所述目标深度点云簇匹配，所述第二目标检测框与所述目标雷达点云簇匹配时，基于所述第一目标检测框以及所述目标深度点云簇，对所述目标物进行跟踪；或者，基于所述第二目标检测框以及所述目标雷达点云簇，对所述目标物进行跟踪。
在其中的一个实施例中，所述装置还包括：
融合模块，用于当所述目标深度点云簇与所述雷达点云簇之间的欧氏距离小于所述预设距离阈值，则对所述目标深度点云簇和所述雷达点云簇进行融合，得到所述融合点云簇。
在其中的一个实施例中，所述跟踪模块还用于计算当前所述目标检测框与历史跟踪的所述目标检测框之间的第一匹配代价，当前所述融合点云簇与历史跟踪的融合点云簇之间的第二匹配代价；当前所述融合点云簇是所述目标深度点云簇与所述雷达点云簇之间融合的点云簇；对所述第一匹配代价和所述第二匹配代价加权求和，得到综合匹配代价；基于所述综合匹配代价确定综合匹配结果；所述综合匹配结果，用于表示当前所述目标检测框与历史跟踪的所述目标检测框，以及当前所述融合点云簇与历史跟踪的融合点云簇之间的匹配情况；根据所述综合匹配结果确定对所述目标物进行跟踪的跟踪信息，根据所述跟踪信息对所述目标物进行跟踪。
在其中的一个实施例中，所述跟踪模块还用于当所述综合匹配结果基于小于预设损失阈值的综合匹配代价确定所得时，则根据当前所述目标检测框和当前所述融合点云簇，对历史跟踪的目标检测框与融合点云簇进行状态更新，得到跟踪信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器调用并执行上述目标物的跟踪方法的步骤。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器调用并执行上述目标物的跟踪方法的步骤。
上述目标物的跟踪方法、装置、计算机设备和存储介质，通过获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；分别对深度点云和雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测彩色图中的目标物，得到具有语义标签的检测框；将检测框分别与深度点云簇、雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇；构建了一种2D到3D的多传感器跟踪的方案，基于目标检测框以及目标深度点云簇与雷达点云簇之间的融合点云簇，对目标物进行跟踪，通过2D与3D相结合的跟踪方式，提升了跟踪***的精度。
附图说明
图1为一个实施例中目标物的跟踪方法的应用环境图；
图2a为一个实施例中目标物的跟踪方法的算法流程示意图；
图2b为一个实施例中目标物的跟踪方法的流程示意图；
图3a为一个实施例中目标检测框与点云簇的一相交示意图；
图3b为一个实施例中目标检测框与点云簇的又一相交示意图；
图4为一个实施例中密度聚类的流程示意图；
图5为一个实施例中根据交并比的大小确定目标深度点云簇的流程示意图；
图6为一个实施例中半监督聚类的示意图；
图7为一个实施例中目标物的跟踪装置的结构框图；
图8为一个实施例中目标物的跟踪装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种目标物的跟踪方法，可以应用于如图1所示的应用环境中。该目标物的跟踪方法应用于目标物的跟踪***，该目标物的跟踪***包括终端102和服务器104。
其中，终端102可以是机器人、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
服务器104可以是独立的物理服务器，也可以是区块链***中的服务节点，该区块链***中的各服务节点之间形成组成点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。
此外，服务器104还可以是多个物理服务器构成的服务器集群，可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端102与服务器104之间可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者网络等通讯连接方式进行连接，本申请在此不做限制。
在一个实施例中，如图2a所示，提供了一种目标物的跟踪方法的算法流程图，如图2b所示，提供了一种目标物的跟踪方法的流程示意图，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，获取对目标环境进行采集所得的深度点云、彩色图和雷达点云。
其中，深度点云是由深度图转化而来的，深度图指由深度相机拍摄而来的图，深度图中的各像素值是空间中物体的某个点到垂直于镜头光轴并通过镜头光心(深度相机光学零点)平面的垂直距离，深度图转换为深度点云是3D点投影到2D平面的逆过程。彩色图是由彩色相机拍摄而来的。雷达点云是由激光雷达获得。雷达点云每一个点都包含了三维坐标信息，也是常说的X、Y、Z三个元素，有时还包含颜色信息、反射强度信息、回波次数信息等。
在一个实施例中，在S202之前，终端利用相机内参作为约束条件将深度图转换为深度点云，设在世界坐标系下的深度点云坐标为(x，y，z)，在图像坐标系下的深度图坐标为(x’，y’)，D为深度值，相机内参为
Figure BDA0003414851950000081
则转换的公式为：
Figure BDA0003414851950000082
S204，分别对深度点云和雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测彩色图中的目标物，得到具有语义标签的检测框。
其中，聚类(clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性高，同时不在同一个簇中的数据对象的差异性高。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。聚类是一种无监督学习(Unsupervised Learning)方法。数据聚类方法主要可以分为划分式聚类方法(Partition-based Methods)、基于密度的聚类方法(Density-based methods)、层次化聚类方法(Hierarchical Methods)等。
此外，该基于密度的聚类方法可以是具有噪声的基于密度的聚类方法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)，该DBSCAN是一种很典型的密度聚类算法，由密度可达关系导出的最大密度相连的样本集合，即为最终聚类的一个类别，或者说一个簇。该密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。在同一类别的样本之间是紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类，这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，则得到最终的所有聚类类别结果。
其中，检测可以指目标检测，检测则关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。检测给出的是对图片前景和背景的理解，需要从背景中分离出感兴趣的目标，并确定这一目标的描述(类别和位置)，因而，检测模型的输出是一个列表，列表的每一项使用一个数据组给出检出目标的类别和位置(常用矩形检测框的坐标表示)。
目标检测算法大致分为两种，一种是以Faster R-CNN(Region with CNNFeature)为代表的Two-Stage算法，它检测目标主要分为两个部分，通过专门模块去生成候选框和寻找前景以及调整边界框。另一种是以SSD、YOLO为代表的One-Stage算法，它是直接基于anchor直接进行分类以及调整边界框。
YOLO为一种新的目标检测方法，该方法的特点是实现快速检测的同时还达到较高的准确率。将目标检测任务看作目标区域预测和类别预测的回归问题。该方法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测。
YOLOv5是一种均衡精度和实时性能的一阶段目标检测算法。在YOLOv5目标检测的基础上本案增加人的三个二级语义标签，分别是人的姿态(坐姿、站姿和其他)、朝向(面向、背向和其他)和风险程度(老人、小孩、孕妇和其他)；三者均为多分类问题，对Yolov5而言，实际上是增加了输出的特征图维度，即输出的特征图维度为类别总数为5；加上一级分类标签，共有4个分类器，故需要在训练端对应的额外增加三个分类损失函数，此处使用和原生Yolov5相同的BCEcls loss二分类交叉熵损失函数计算分类损失，整个模型的反向传播损失为：
Loss＝Lossobj+Losscls+Losscls_pose+Losscls_orient+Losscls_risk
在一个实施例中，检测彩色图中的目标物，得到具有语义标签的检测框可以包括：利用目标检测模型检测彩色图中的目标物进行框定，得到检测框；确定目标物的行为状态，根据行为状态生成多级语义标签；输出具有多级语义标签的检测框。
S206，将检测框分别与深度点云簇、雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和目标雷达点云簇；
在一个实施例中，S206可以包括：终端将深度点云簇向彩色图所在平面进行投影，得到基于深度点云簇的深度点云投影和第一目标检测框；计算第一目标检测框与深度点云投影之间的交并比；根据交并比的大小确定目标深度点云簇；将雷达点云簇向彩色图所在平面进行投影，得到雷达点云投影和第二目标检测框，各雷达点云投影和第二目标检测框之间存在交集区域；根据交集区域最大的雷达点云簇确定为目标雷达点云簇。
在一个实施例中，在S206之前，终端对深度点云簇依据点云数目做筛选，当深度点云簇的点云数目大于某固定值时，判定为背景信息，予以滤除。例如，当深度点云簇、雷达点云簇点云数目大于2000时，判定为背景信息，予以滤除。终端对雷达点云簇依据点云数目做筛选，当深度点云簇的点云数目大于某固定值时，判定为背景信息，予以滤除。例如，当深度点云簇、雷达点云簇点云数目大于50时，判定为背景信息，予以滤除。
在一个实施例中，上述将深度点云簇向彩色图所在平面进行投影，得到基于深度点云簇的深度点云投影和第一目标检测框的步骤，具体可以包括：终端将深度点云簇向彩色图所在平面进行投影，得到深度点云簇的伪目标框和第一目标检测框；以各个伪目标框到(世界坐标系下的坐标原点或历史上一帧的目标位置)的欧氏距离大小做从小到大排序，距离越小优先级越高，优先级低的则会在单次目标匹配中，被去掉重合部分，伪目标框去重叠后，得到基于深度点云簇的深度点云投影。
在一个实施例中，上述将雷达点云簇向彩色图所在平面进行投影，得到雷达点云投影和第二目标检测框的步骤，具体可以包括：终端将雷达点云簇向彩色图所在平面进行投影，得到雷达点云投影，依据雷达点云投影与检测框的交集范围对检测框筛选，将第二目标检测框高度固定，高度与激光雷达投影区域同步，得到第二目标检测框。
在一个实施例中，上述对雷达点云簇进行筛选，得到与目标检测框存在交集的目标雷达点云簇的步骤，具体可以包括：终端需要对第二目标检测框和雷达点云投影对应的雷达点云簇进行匹配，可将其视为一个0-1规划问题。
此问题可转化为求解一组解，在约束条件wij＝0或wij＝1下，使得目标函数f(wij)的值最小。如图3a所示为目标检测框与点云簇的一相交示意图，
Figure BDA0003414851950000111
Figure BDA0003414851950000112
Figure BDA0003414851950000113
Figure BDA0003414851950000114
其中，uij为U中元素，U为BoxO与BoxC集合区域的有效相交面积集合；vij为V中元素，V为BoxO与BoxC集合区域的相交面积集合；rcj为Rc中元素，Rc为BoxC聚类簇边界框区域的面积，如图3b所示为目标检测框与点云簇的又一相交示意图，当Bcj+1和Bcj与Boi的交集有重合区域S0时，此时有效区域：
uij＝vij；
ui(j+1)＝vi(j+1)-S0
Rc＝{rc1，rc2...rcm}
求解上述0-1线性规划问题，解得W中{wiq}＝1为上述问题的解，{w1q}，{w2q}...{wnq}分别为目标1至目标n对应的点云簇，若有多个点云簇则将其合并，合并后的聚类簇集合为：
Clusters*{Cl0，Cl1，...Cln}
S208，基于目标检测框以及目标深度点云簇与目标雷达点云簇之间的融合点云簇，对目标物进行跟踪。
其中，目标跟踪即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。目标跟踪的算法有光流算法、Meanshift、Camshift、Kalman滤波、粒子滤波、相关滤波(CF)等算法，多目标跟踪算法有DeepSort、Motdt、Towards Real-TimeMulti-ObjectTracking等算法。在MOT算法作用下对检测到的目标做跟踪，MOT包含两部分：2D基于图像的跟踪和3D基于空间位置的跟踪。算法上均主要包含两部分：匈牙利算法和卡尔曼滤波器，KF均运动方程为匀速模型。
在一个实施例中，在S208之前，当第一目标检测框与目标深度点云簇匹配，第二目标检测框与目标雷达点云簇匹配时，终端基于第一目标检测框以及目标深度点云簇，对目标物进行跟踪；或者，基于第二目标检测框以及目标雷达点云簇，对目标物进行跟踪。
在一个实施例中，在S208之前，当目标深度点云簇与雷达点云簇之间的欧氏距离小于预设距离阈值，终端则对目标深度点云簇和雷达点云簇进行融合，得到融合点云簇。
具体地，目标深度点云簇与雷达点云簇区域相同时，分别从雷达和深度相机得到两个3D目标p中心位置。
P＝k1*Plidar+k2*Pdepth
当Plidar Pdepth都存在时，若两个来源的欧氏距离大于阈值，例如阈值为0.5m，此时认为雷达检测失常，则k1＝0 k2＝1；在阈值范围之内，k1与k2取固定常数，例如，k1＝0.7k2＝0.3。
在一个实施例中，S208可以包括：终端计算当前目标检测框与历史跟踪的目标检测框之间的第一匹配代价，当前融合点云簇与历史跟踪的融合点云簇之间的第二匹配代价；当前融合点云簇是目标深度点云簇与雷达点云簇之间融合的点云簇；对第一匹配代价和第二匹配代价加权求和，得到综合匹配代价；基于综合匹配代价确定综合匹配结果；综合匹配结果，用于表示当前目标检测框与历史跟踪的目标检测框，以及当前融合点云簇与历史跟踪的融合点云簇之间的匹配情况；根据综合匹配结果确定对目标物进行跟踪的跟踪信息，根据跟踪信息对所述目标物进行跟踪。
在一个实施例中，根据综合匹配结果确定对目标物进行跟踪的跟踪信息包括：当综合匹配结果基于小于预设损失阈值的综合匹配代价确定所得时，终端则根据当前目标检测框和当前融合点云簇，对历史跟踪的目标检测框与融合点云簇进行状态更新，得到跟踪信息。当综合匹配结果基于大于等于预设损失阈值的综合匹配代价且检测目标找不到现有的跟踪目标，则记录当前编号和出现的周期，当周期大于生成时间则生成一个新的track。当综合匹配结果基于大于等于预设损失阈值的综合匹配代价且现有跟踪目标找不到对应的检测目标，则记录当前编号和消失的周期，当周期大于删除时间则删除当前的track，否则继续保留。例如，可设置生成时间为2秒，删除时间为3秒。
上述实施例中，通过获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；分别对深度点云和雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测彩色图中的目标物，得到具有语义标签的检测框；将检测框分别与深度点云簇、雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇；构建了一种2D到3D的多传感器跟踪的方案，基于目标检测框以及目标深度点云簇与雷达点云簇之间的融合点云簇，对目标物进行跟踪，通过2D与3D相结合的跟踪方式，提升了跟踪***的精度。
在一个实施例中，如图4所示，对深度点云和雷达点云进行密度聚类的可以具体包括：
S402，在深度点云和雷达点云中，选取深度点和雷达点作为目标深度点和目标雷达点。
S404，确定目标深度点与深度点邻域之间的第一距离，以及目标雷达点与雷达点邻域之间的第二距离。
其中，深度点邻域是至少由深度点云中的核心深度点组成的集合，该集合中还可以包括与核心深度点之间的距离小于距离阈值的深度点。雷达点邻域是至少由雷达点云中的核心雷达点组成的集合，该集合中还可以包括与核心雷达点之间的距离小于距离阈值的雷达点。第一距离是指目标深度点与深度点邻域中的核心深度点(深度核心对象)之间的距离。第二距离是指目标雷达点与雷达点邻域中的核心雷达点(雷达核心对象)之间的距离。
在一个实施例中，在S404之前，在深度点云和雷达点云中，终端确定核心深度点与核心雷达点。
S406，当第一距离小于距离阈值时，将目标深度点添加于深度点邻域；以及，当第二距离小于距离阈值时，将目标雷达点添加于雷达点邻域。
S408，遍历深度点云中的深度点和雷达点云中的雷达点，直至深度点云中的深度点和雷达点云中的雷达点均加入对应的深度点邻域和雷达点邻域，并根据深度点邻域和雷达点邻域得到深度点云簇和雷达点云簇。
其中，密度聚类(DBSCAN)是基于一组邻域来描述样本集的紧密程度的，参数(∈,MinPts)用来描述邻域的样本分布紧密程度。其中，∈描述了某一样本的邻域距离阈值，MinPts描述了某一样本的距离为∈的邻域中样本个数的阈值。例如，对两个邻域参数根据具体应用的点云分布情况，在深度相机点云下取∈＝0.05m，minpts＝20；在激光雷达下常取∈＝0.05m，minpts＝3；
假设样本集是D＝(x1，x2，...，xm),则DBSCAN具体的密度描述定义如下：
∈-邻域：对于xj∈D，其∈-邻域包含样本集中与D中与xj的距离不大于∈的子样本集，即N∈(xj)＝{xi∈D|distance(xi,xj)≤∈}，这个子样本集的个数记为|N∈(xj)|
核心对象：对于任一样本xj∈D，如果其∈-邻域对应的N∈(xj)至少包含MinPts个样本，即如果|N∈(xj)|≥MinPts，则xj是核心对象。
密度直达：如果xi位于xj的∈-邻域中，且xj是核心对象，则称xi由xj密度直达。注意反之不一定成立，即此时不能说xj由xi密度直达,除非且xi也是核心对象。
密度可达：对于xi和xj,如果存在样本序列p1，p2，...，pT满足p1＝xi,pT＝xj，且pt+1由pt密度直达，则称xj由xi密度可达。也就是说，密度可达满足传递性。此时序列中的传递样本p1,p2,...,pT-1均为核心对象，因为只有核心对象才能使其他样本密度直达。注意密度可达也不满足对称性，这个可以由密度直达的不对称性得出。
密度相连：对于xi和xj,如果存在核心对象样本xk，使xi和xj均由xk密度可达，则称xi和xj密度相连。注意密度相连关系是满足对称性的。
DBSCAN聚类算法的步骤可以是：
输入：样本集D＝(x1,x2,...,xm)，邻域参数(∈,MinPts)，样本距离度量方式
输出：簇划分C.
初始化核心对象集合
Figure BDA0003414851950000152
初始化聚类簇数k＝0，初始化未访问样本集合Γ＝D,簇划分/>
Figure BDA0003414851950000151
2)对于j＝1,2,...m,按下面的步骤找出所有的核心对象：
a)通过距离度量方式，找到样本xj的∈-邻域子样本集N∈(xj)；
b)如果子样本集样本个数满足|N∈(xj)|≥MinPts，将样本xj加入核心对象样本集合：Ω＝Ω∪{xj}。
3)如果核心对象集合
Figure BDA0003414851950000153
则算法结束，否则转入步骤4；
4)在核心对象集合Ω中，随机选择一个核心对象o，初始化当前簇核心对象队列Ωcur＝{o},初始化类别序号k＝k+1，初始化当前簇样本集合Ck＝{o},更新未访问样本集合Γ＝Γ-{o}；
5)如果当前簇核心对象队列
Figure BDA0003414851950000154
则当前聚类簇Ck生成完毕,更新簇划分C＝{C1,C2,...,Ck},更新核心对象集合Ω＝Ω-Ck，转入步骤3。否则更新核心对象集合Ω＝Ω-Ck。
6)在当前簇核心对象队列Ωcur中取出一个核心对象o′,通过邻域距离阈值∈找出所有的∈-邻域子样本集N∈(o′)，令Δ＝N∈(o′)∩Γ，更新当前簇样本集合Ck＝Ck∪ΔCk＝Ck∪Δ,更新未访问样本集合Γ＝Γ-Δ,更新Ωcur＝Ωcur∪(Δ∩Ω)-o′，转入步骤5.
输出结果为：簇划分C＝{C1,C2,...,Ck}。
上述实施例中，通过获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；分别对深度点云和雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；构建了一种2D到3D的多传感器跟踪的方案，通过2D与3D相结合的跟踪方式，提升了跟踪***的精度。
在一个实施例中，如图5所示，根据交并比的大小确定目标深度点云簇包括：
S502，对每个交并比与预设交并比上限值、预设交并比下限值进行比较。
S504，当第一目标交并比大于预设交并比上限值时，将第一目标交并比对应的深度点云簇确定为目标深度点云簇；第一目标交并比属于交并比中的至少一个。
S506，当第二目标交并比大于预设交并比下限值，且小于预设交并比上限值，将第二目标交并对应的深度点云簇进行聚类，得到目标深度点云簇；第二目标交并比属于交并比中的至少两个。
在一个实施例中，如图6所示为半监督聚类的示意图，将第二目标交并对应的深度点云簇进行聚类，得到目标深度点云簇可以包括：对给定数据集D，簇个数l需给定必连约束集合ML和勿连约束集合CL，以及其分别的惩罚约束集合{kij}和{k′ij}。在PCKMeans的基础上，增加标签约束集L，并将原算法中的成对约束构造初始化策略改为由标签约束构造，通过以上的约束条件，可进一步提取得到属于目标深度点云簇的点，即集合PY，即为目标深度点云簇(半监督聚类)。
其中，标签约束：落于分别以pY、pN为圆心，rY、rN为半径圆的点标签为Y和N，图上所示绿色与蓝色点。成对约束：投影区域位于目标框Boi中的点与PY属于ML，反之属于CL，同理可得与PN的成对约束。并以点到pY的欧氏距离作为惩罚权重。
Figure BDA0003414851950000161
Figure BDA0003414851950000162
其中，pi为Pcli中的点，Lmax为Pcli中点到pY的最大距离。
上述实施例中，通过根据交并比的大小确定目标深度点云簇，对每个交并比与预设交并比上限值、预设交并比下限值进行比较。精确的得到目标深度点云簇，构建了一种2D到3D的多传感器跟踪的方案，通过2D与3D相结合的跟踪方式，提升了跟踪***的精度。
应该理解的是，虽然图2a-2b、4-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2a-2b、4-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种目标物的跟踪装置，该目标物的跟踪装置具体包括：获取模块702、聚类检测模块704、匹配模块706，跟踪模块708；其中：
获取模块702，用于获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；
聚类检测模块704，用于分别对深度点云和雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测彩色图中的目标物，得到具有语义标签的检测框；
匹配模块706，用于将检测框分别与深度点云簇、雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇；
跟踪模块708，用于基于目标检测框以及目标深度点云簇与雷达点云簇之间的融合点云簇，对目标物进行跟踪。
在一个实施例中，聚类检测模块704，还用于在深度点云和雷达点云中，选取深度点和雷达点作为目标深度点和目标雷达点；确定目标深度点与深度点邻域之间的第一距离，以及目标雷达点与雷达点邻域之间的第二距离；当第一距离小于距离阈值时，将目标深度点添加于深度点邻域；以及，当第二距离小于距离阈值时，将目标雷达点添加于雷达点邻域；遍历深度点云中的深度点和雷达点云中的雷达点，直至深度点云中的深度点和雷达点云中的雷达点均加入对应的深度点邻域和雷达点邻域，并根据深度点邻域和雷达点邻域得到深度点云簇和雷达点云簇。
在一个实施例中，聚类检测模块704，还用于利用目标检测模型检测彩色图中的目标物进行框定，得到检测框；确定目标物的行为状态，根据行为状态生成多级语义标签；输出具有多级语义标签的检测框。
在其中的一个实施例中，目标检测框包括第一目标检测框和第二目标检测框；匹配模块706还用于将深度点云簇向彩色图所在平面进行投影，得到基于深度点云簇的深度点云投影和第一目标检测框；计算第一目标检测框与深度点云投影之间的交并比；根据交并比的大小确定目标深度点云簇；将雷达点云簇向彩色图所在平面进行投影，得到雷达点云投影和第二目标检测框，各雷达点云投影和第二目标检测框之间存在交集区域；根据交集区域最大的雷达点云簇确定为目标雷达点云簇。
在一个实施例中，匹配模块706还用于对每个交并比与预设交并比上限值、预设交并比下限值进行比较；当第一目标交并比大于预设交并比上限值时，将第一目标交并比对应的深度点云簇确定为目标深度点云簇；第一目标交并比属于交并比中的至少一个；当第二目标交并比大于预设交并比下限值，且小于预设交并比上限值，将第二目标交并对应的深度点云簇进行聚类，得到目标深度点云簇；第二目标交并比属于交并比中的至少两个。
在一个实施例中，如图8所示，目标检测框包括第一目标检测框和第二目标检测框；该装置还包括：
选择模块710，用于当第一目标检测框与目标深度点云簇匹配，第二目标检测框与目标雷达点云簇匹配时，基于第一目标检测框以及目标深度点云簇，对目标物进行跟踪；或者，基于第二目标检测框以及目标雷达点云簇，对目标物进行跟踪。
融合模块712，用于当目标深度点云簇与雷达点云簇之间的欧氏距离小于预设距离阈值，则对目标深度点云簇和雷达点云簇进行融合，得到融合点云簇。
在一个实施例中，跟踪模块708还用于计算当前目标检测框与历史跟踪的目标检测框之间的第一匹配代价，当前融合点云簇与历史跟踪的融合点云簇之间的第二匹配代价；当前融合点云簇是目标深度点云簇与雷达点云簇之间融合的点云簇；对第一匹配代价和第二匹配代价加权求和，得到综合匹配代价；基于综合匹配代价确定综合匹配结果；综合匹配结果，用于表示当前目标检测框与历史跟踪的目标检测框，以及当前融合点云簇与历史跟踪的融合点云簇之间的匹配情况；根据综合匹配结果确定对目标物进行跟踪的跟踪信息，根据跟踪信息对所述目标物进行跟踪。
在一个实施例中，跟踪模块708还用于当综合匹配结果基于小于预设损失阈值的综合匹配代价确定所得时，则根据当前目标检测框和当前融合点云簇，对历史跟踪的目标检测框与融合点云簇进行状态更新，得到跟踪信息。
上述实施例中，通过获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；分别对深度点云和雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测彩色图中的目标物，得到具有语义标签的检测框；将检测框分别与深度点云簇、雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇；构建了一种2D到3D的多传感器跟踪的方案，基于目标检测框以及目标深度点云簇与雷达点云簇之间的融合点云簇，对目标物进行跟踪，通过2D与3D相结合的跟踪方式，提升了跟踪***的精度。
关于目标物的跟踪装置的具体限定可以参见上文中对于目标物的跟踪方法的限定，在此不再赘述。上述目标物的跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器，在本实施例中以计算机设备为终端为例进行说明，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标物的跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种目标物的跟踪方法，其特征在于，所述方法包括：
获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；
分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测所述彩色图中的目标物，得到具有语义标签的检测框；
将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和目标雷达点云簇；
基于所述目标检测框以及所述目标深度点云簇与所述目标雷达点云簇之间的融合点云簇，对所述目标物进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇包括：
在所述深度点云和所述雷达点云中，选取深度点和雷达点作为目标深度点和目标雷达点；
确定所述目标深度点与深度点邻域之间的第一距离，以及所述目标雷达点与雷达点邻域之间的第二距离；
当所述第一距离小于距离阈值时，将所述目标深度点添加于所述深度点邻域；以及，当所述第二距离小于所述距离阈值时，将所述目标雷达点添加于所述雷达点邻域；
遍历所述深度点云中的深度点和所述雷达点云中的雷达点，直至所述深度点云中的深度点和所述雷达点云中的雷达点均加入对应的所述深度点邻域和所述雷达点邻域，并根据所述深度点邻域和所述雷达点邻域得到深度点云簇和雷达点云簇。
3.根据权利要求1所述的方法，其特征在于，所述检测所述彩色图中的目标物，得到具有语义标签的检测框包括：
利用目标检测模型检测所述彩色图中的目标物进行框定，得到检测框；
确定所述目标物的行为状态，根据所述行为状态生成多级语义标签；
输出具有所述多级语义标签的检测框。
4.根据权利要求1所述的方法，其特征在于，所述目标检测框包括第一目标检测框和第二目标检测框；
所述将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和目标雷达点云簇包括：
将所述深度点云簇向所述彩色图所在平面进行投影，得到基于所述深度点云簇的深度点云投影和所述第一目标检测框；计算所述第一目标检测框与所述深度点云投影之间的交并比；根据所述交并比的大小确定目标深度点云簇；
将所述雷达点云簇向所述彩色图所在平面进行投影，得到雷达点云投影和所述第二目标检测框，各所述雷达点云投影和所述第二目标检测框之间存在交集区域；根据所述交集区域最大的雷达点云簇确定为目标雷达点云簇。
5.根据权利要求4所述的方法，其特征在于，所述根据所述交并比的大小确定目标深度点云簇包括：
对每个所述交并比与预设交并比上限值、预设交并比下限值进行比较；
当第一目标交并比大于所述预设交并比上限值时，将所述第一目标交并比对应的深度点云簇确定为目标深度点云簇；所述第一目标交并比属于所述交并比中的至少一个；
当第二目标交并比大于所述预设交并比下限值，且小于所述预设交并比上限值，将所述第二目标交并对应的深度点云簇进行聚类，得到目标深度点云簇；所述第二目标交并比属于所述交并比中的至少两个。
6.根据权利要求1所述的方法，其特征在于，所述目标检测框包括第一目标检测框和第二目标检测框；所述方法还包括：
当所述第一目标检测框与所述目标深度点云簇匹配，所述第二目标检测框与所述目标雷达点云簇匹配时，基于所述第一目标检测框以及所述目标深度点云簇，对所述目标物进行跟踪；或者，
基于所述第二目标检测框以及所述目标雷达点云簇，对所述目标物进行跟踪。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述目标深度点云簇与所述雷达点云簇之间的欧氏距离小于所述预设距离阈值，则对所述目标深度点云簇和所述雷达点云簇进行融合，得到所述融合点云簇。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标检测框以及所述目标深度点云簇与所述雷达点云簇之间的融合点云簇，对所述目标物进行跟踪包括：
计算当前所述目标检测框与历史跟踪的所述目标检测框之间的第一匹配代价，当前所述融合点云簇与历史跟踪的融合点云簇之间的第二匹配代价；当前所述融合点云簇是所述目标深度点云簇与所述雷达点云簇之间融合的点云簇；
对所述第一匹配代价和所述第二匹配代价加权求和，得到综合匹配代价；
基于所述综合匹配代价确定综合匹配结果；所述综合匹配结果，用于表示当前所述目标检测框与历史跟踪的所述目标检测框，以及当前所述融合点云簇与历史跟踪的融合点云簇之间的匹配情况；
根据所述综合匹配结果确定对所述目标物进行跟踪的跟踪信息，根据所述跟踪信息对所述目标物进行跟踪。
9.根据权利要求8所述的方法，其特征在于，所述根据所述综合匹配结果确定对所述目标物进行跟踪的跟踪信息包括：
当所述综合匹配结果基于小于预设损失阈值的综合匹配代价确定所得时，则根据当前所述目标检测框和当前所述融合点云簇，对历史跟踪的目标检测框与融合点云簇进行状态更新，得到跟踪信息。
10.一种目标物的跟踪装置，其特征在于，所述装置包括：
获取模块，用于获取对目标环境进行采集所得的深度点云、彩色图和雷达点云；
聚类检测模块，用于分别对所述深度点云和所述雷达点云进行密度聚类，得到深度点云簇和雷达点云簇；以及，检测所述彩色图中的目标物，得到具有语义标签的检测框；
匹配模块，用于将所述检测框分别与所述深度点云簇、所述雷达点云簇进行匹配，得到与目标检测框存在交集的目标深度点云簇和雷达点云簇；
跟踪模块，用于基于所述目标检测框以及所述目标深度点云簇与所述雷达点云簇之间的融合点云簇，对所述目标物进行跟踪。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器用于调用并执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器调用并执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202111542820.XA 2021-12-16 2021-12-16 目标物的跟踪方法、装置、计算机设备和存储介质 Pending CN116266359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111542820.XA CN116266359A (zh) 2021-12-16 2021-12-16 目标物的跟踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111542820.XA CN116266359A (zh) 2021-12-16 2021-12-16 目标物的跟踪方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116266359A true CN116266359A (zh) 2023-06-20

Family

ID=86743149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111542820.XA Pending CN116266359A (zh) 2021-12-16 2021-12-16 目标物的跟踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116266359A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117425154A (zh) * 2023-10-19 2024-01-19 南京邮电大学 位置隐私保护的雷达网络连通性优化与目标跟踪方法
CN117671296A (zh) * 2023-12-19 2024-03-08 珠海市欧冶半导体有限公司 目标跟踪法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117425154A (zh) * 2023-10-19 2024-01-19 南京邮电大学 位置隐私保护的雷达网络连通性优化与目标跟踪方法
CN117671296A (zh) * 2023-12-19 2024-03-08 珠海市欧冶半导体有限公司 目标跟踪法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US20240153290A1 (en) Systems and methods for extracting information about objects from scene information
CN111968229B (zh) 高精度地图制图方法及装置
Yin et al. Region search based on hybrid convolutional neural network in optical remote sensing images
AU2016201908A1 (en) Joint depth estimation and semantic labeling of a single image
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
KR102217020B1 (ko) 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치
Ait Abdelali et al. An adaptive object tracking using Kalman filter and probability product kernel
Valappil et al. CNN-SVM based vehicle detection for UAV platform
Delmerico et al. Building facade detection, segmentation, and parameter estimation for mobile robot stereo vision
López-Rubio et al. Anomalous object detection by active search with PTZ cameras
Al Said et al. Retracted: An unmanned aerial vehicles navigation system on the basis of pattern recognition applications—Review of implementation options and prospects for development
Zhang et al. Moving object classification using 3D point cloud in urban traffic environment
Lee et al. Reinforced adaboost learning for object detection with local pattern representations
Wang et al. Multidimensional particle swarm optimization-based unsupervised planar segmentation algorithm of unorganized point clouds
Huang et al. An improved YOLOv3‐tiny algorithm for vehicle detection in natural scenes
Morell et al. 3d maps representation using gng
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
Wang et al. A 64‐Line Lidar‐Based Road Obstacle Sensing Algorithm for Intelligent Vehicles
Yao et al. Pseudo-labelling-aided semantic segmentation on sparsely annotated 3D point clouds
Xi et al. Multiple object tracking using A* association algorithm with dynamic weights
Wang et al. A multistep framework for vision based vehicle detection
Dai Semantic Detection of Vehicle Violation Video Based on Computer 3D Vision
Madrigal et al. Motion priors for multiple target visual tracking
Raman et al. Direction prediction for avoiding occlusion in visual surveillance
CN110992642B (zh) 一种基于深度学习的火灾检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination