CN115375731A - 一种关联点和体素的3d点云单目标跟踪方法及相关装置 - Google Patents

一种关联点和体素的3d点云单目标跟踪方法及相关装置 Download PDF

Info

Publication number
CN115375731A
CN115375731A CN202210905343.7A CN202210905343A CN115375731A CN 115375731 A CN115375731 A CN 115375731A CN 202210905343 A CN202210905343 A CN 202210905343A CN 115375731 A CN115375731 A CN 115375731A
Authority
CN
China
Prior art keywords
point
point cloud
search area
seed
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210905343.7A
Other languages
English (en)
Other versions
CN115375731B (zh
Inventor
杨磊刚
王浩
王鹏程
张灵
丁绍志
薛继英
白絮
赵宪通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Zongyi Technology Development Co ltd
Original Assignee
Dalian Zongyi Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Zongyi Technology Development Co ltd filed Critical Dalian Zongyi Technology Development Co ltd
Priority to CN202210905343.7A priority Critical patent/CN115375731B/zh
Publication of CN115375731A publication Critical patent/CN115375731A/zh
Application granted granted Critical
Publication of CN115375731B publication Critical patent/CN115375731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种关联点和体素的3D点云单目标跟踪方法及相关装置，包括S1：读取点云数据，确定跟踪对象为模板点云，确定搜索区域；S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。本发明通过改变特征提取主干网络和融合形状和语义的方式提升跟踪质量。

Description

一种关联点和体素的3D点云单目标跟踪方法及相关装置
技术领域
本发明属于三维点云单目标跟踪技术领域，具体涉及一种关联点和体素的3D点云单目标跟踪方法及相关装置。
背景技术
三维点云的单目标跟踪是计算机视觉领域的重要任务，三维点云单目标跟踪输入激光雷达扫描的跟踪对象点云和跟踪对象的搜索点云序列，目的在于在搜索点云序列每一帧点云中检测出目标的位置和大小。该任务广泛应用于智能机器人交互***、无人驾驶***，还可以用在航空、军事等方面。
随着深度模型的快速发展，基于深度学习构建的目标跟踪方法在跟踪任务上有着显著的提升和良好的性能表现。这些目标跟踪方法通常实现的是基于目标外形的匹配，将模板信息嵌入到搜索区域中，进而更好的对搜索区域进行判断。但在考虑外形匹配时，当前的跟踪算法更多考虑形状特征上的融合，即每个搜索区域中的点学习模板中点的形状特征，缺少语义特征的直接嵌入。并且在稀疏点云场景下，使用基于点集的特征提取主干造成计算的浪费。
发明内容
本发明针对上述三维点云目标跟踪方法的不足，提出了一种关联点和体素的3D点云单目标跟踪方法及相关装置。本发明采用的技术方案如下：
为了实现上述目的，本发明采用如下技术方案：
第一个方面，本发明提供一种关联点和体素的3D点云单目标跟踪方法，该方法包括以下步骤：
步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；
步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
步骤S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
进一步的，所述步骤S1包括以下步骤：
步骤S11：指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
进一步的，所述步骤S2包括以下步骤：
步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
进一步的，所述步骤S3包括以下步骤：
步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure BDA0003772129380000021
并进行特征学习；最终得到种子点的位置
Figure BDA0003772129380000031
和种子点的特征
Figure BDA0003772129380000032
其中，i＝t,s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
进一步的，所述步骤S4包括以下步骤：
步骤S41：计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure BDA0003772129380000033
将搜索区域种子点的特征
Figure BDA0003772129380000034
送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure BDA0003772129380000035
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
步骤S42：进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(V,N+N+3+9,k,Ns)的张量，并使用Mini-PointNet进行特征聚合得到(V,N,Ns)的张量；
步骤S43：执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
进一步的，所述步骤S5包括以下步骤：
步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1,sc2…scj，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引；
步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure BDA0003772129380000041
每个种子点ps,j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差
Figure BDA0003772129380000042
潜在目标中心的位置和特征分别表示为：
Figure BDA0003772129380000043
Figure BDA0003772129380000044
步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure BDA0003772129380000045
其中，j表示种子点的索引，sj、
Figure BDA0003772129380000046
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
步骤S55：对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
步骤S56：选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
第二个方面，本发明提供一种关联点和体素的3D点云单目标跟踪装置，包括：
第一确定模块100，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
处理模块200，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
提取模块300，用于对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
融合模块400，用于对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
第二确定模块500，用于将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
第三个方面，本发明提供一种终端设备，所述终端设备包括：
处理器以及存储器；
所述存储器，用于存储程序代码，并将程序代码传输给所述处理器；
所述处理器，用于调用存储器中的指令执行权利要求1-6任意一项所述的一种关联点和体素的3D点云单目标跟踪方法。
本发明所具有的优点和有益效果是：
本发明提供一种关联点和体素的3D点云单目标跟踪方法及相关装置，针对模板点云和搜索区域点云如何进行特征提取，以及模板点云和搜索区域点云之间的特征融合方式，使用稀疏卷积作为特征提取的主干网络，并改进模板和点云的特征融合模块，构建了点体素联合的特征融合模块，提升当前***的性能表现，提高目标跟踪的性能。本发明通过改变特征提取主干网络和融合形状和语义的方式提升跟踪质量；本发明利用真实的点云数据集进行评估，并观察在先进的基线上的改进。
附图说明
图1是本发明实施例提供的一种关联点和体素的3D点云单目标跟踪方法的流程示意图；
图2是本发明实施例提供的一种关联点和体素的3D点云单目标跟踪方法的原理示意图；
图3是本发明的相似度计算方法的原理示意图；
图4是本发明的点级融合方法的原理示意图；
图5是本发明的体素级融合模块的原理示意图；
图6本发明实施例提供的一种关联点和体素的3D点云单目标跟踪装置的结构示意图；
图7本发明实施例提供的一种关联点和体素的3D点云单目标跟踪装置的原理示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施例对本申请作进一步详细的说明。
飞机泊位引导***，一次只引导一架飞机的停靠，属于单目标跟踪类型，基于小型AI边缘计算平台，要求具有识别精度高、位姿准确、响应速度快等特点。
本发明一种关联点和体素的3D点云单目标跟踪方法、装置和***，应用于飞机泊位引导***，采用固态激光雷达传感器实时扫描整个机坪，飞机进入机坪范围后，确定跟踪目标，并持续跟踪目标的位置及姿态，精确识别飞机的型号，判断机型是否相符，生成飞机引导指示信息并输出至飞行员引导大屏，实现飞机的准确入位引导。
如图1、2所示，本发明实施例提供的一种关联点和体素的3D点云单目标跟踪方法，应用于飞机泊位引导***，包括以下步骤：
步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云。
具体过程为：
步骤S11：固态激光雷达提前开机，实时采集整个机坪三维空间点云数据。飞机进入扫描范围后，前若干帧采用Detection方式确定飞机目标作为点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点作为跟踪对象模板，即为模板点云；
步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域，搜索区域内的点即为搜索区域点云。
步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征。
具体过程为：
步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，为后续稀疏卷积的特征主干做数据准备。此步骤生成模板点云的体素化坐标，体素化特征，及体素化索引。
步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，为后续稀疏卷积的特征主干做数据准备。此步骤生成搜索区域点云的体素化坐标，体素化特征，及体素化索引。
步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量。
具体过程为：
步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure BDA0003772129380000071
并进行特征学习；最终得到种子点的位置
Figure BDA0003772129380000072
和种子点的特征
Figure BDA0003772129380000073
其中，i＝t,s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征。
具体过程为：
步骤S41：如图3所示，计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure BDA0003772129380000081
将搜索区域种子点的特征
Figure BDA0003772129380000082
Figure BDA0003772129380000083
送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure BDA0003772129380000084
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量。
步骤S42：进行点级特征融合，如图4所示，对每个搜索区域种子点依据S41得到的相似度度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B,N+N+3+9,k,Ns)的张量，其中B指Batch Size，N指搜索区域或模板种子点的特征向量维度，3指模板种子点三维坐标，k指每个搜索区域种子点对应的k个最近的模板种子点，9指每个搜索区域种子点配对的k个模板种子点到模板目标框的九个距离，Ns指搜索区域种子点的数量，并使用Mini-PointNet进行特征聚合得到(B,N,Ns)的张量。
步骤S43：执行体素级特征融合模块，如图5所示，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义。
步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接。得到最终融合后的特征。
步骤S5：将搜索区域种子点特征和种子点坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和目标框。
具体过程为：
步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票。
步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1,sc2…scj，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引。
步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure BDA0003772129380000091
每个种子点ps,j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差
Figure BDA0003772129380000092
潜在目标中心的位置和特征分别表示为：
Figure BDA0003772129380000093
Figure BDA0003772129380000094
其中
Figure BDA0003772129380000095
表示搜索区域第j个种子点ps,j的三维坐标，
Figure BDA0003772129380000096
表示搜索区域第j个种子点ps,j的特征。
步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure BDA0003772129380000097
其中，j表示种子点的索引，sj、
Figure BDA0003772129380000098
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量。
步骤S55：对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分。
步骤S56：选择置信度得分最高的结果作为目标飞机，得到目标飞机中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪飞机的位置和包围框。
本实施例提供的一种关联点和体素的3D点云单目标跟踪方法，通过读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征，此为稀疏卷积的特征主干做数据准备；对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量，此步骤为模板点云和搜索区域点云提取关键点和特征，起到用少数关键点就可以描述整个点云的作用，降低计算量；对模板种子点和搜索区域种子点进行点体素联合融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征，使搜索区域种子点具有模板信息，更好的判断目标；将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角，此步骤用以推断目标位置和大小，完成目标跟踪的任务。可以提升当前***的性能表现。
以上为本申请实施例提供的一种关联点和体素的3D点云单目标跟踪方法的具体实现方式，基于此，本申请实施例还提供了一种关联点和体素的3D点云单目标跟踪装置。
图6为本申请实施例提供的一种关联点和体素的3D点云单目标跟踪装置的结构图，图7是本申请实施例提供的一种关联点和体素的3D点云单目标跟踪***的结构示意图，参照图6、7，该装置包括：第一确定模块100、处理模块200、提取模块300、融合模块400和第二确定模块500，其中，
第一确定模块100，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
处理模块200，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
提取模块300，用于对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
融合模块400，用于对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
第二确定模块500，用于将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
本实施例提供的一种关联点和体素的3D点云单目标跟踪装置，通过读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。可以提升当前***的性能表现。
进一步的，本实施例中的第一确定模块100，具体用于：
指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
进一步的，本实施例中的处理模块200，具体用于：
将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
进一步的，本实施例中的提取模块300，具体用于：
将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure BDA0003772129380000121
并进行特征学习；最终得到种子点的位置
Figure BDA0003772129380000122
Figure BDA0003772129380000123
和种子点的特征
Figure BDA0003772129380000124
其中，i＝t,s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
进一步的，本实施例中的融合模块400，具体用于：
计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure BDA0003772129380000125
Figure BDA0003772129380000126
将搜索区域种子点的特征
Figure BDA0003772129380000127
送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure BDA0003772129380000128
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与K个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B,N+N+3+9,k,Ns)的张量，其中B指Batch Size，N指搜索区域或模板种子点的特征向量维度，3指模板种子点三维坐标，k指每个搜索区域种子点对应的k个最近的模板种子点，9指每个搜索区域种子点配对的k个模板种子点到模板目标框的九个距离，Ns指搜索区域种子点的数量，并使用Mini-PointNet进行特征聚合得到(B,N,Ns)的张量；
执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
进一步的，本实施例中的第二确定模块500，具体用于：
将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
对搜索区域种子点应用MLP回归分类得分Score＝sc1,sc2…scj，用以判断种子点为目标点或非目标点；其中，j表示种子点的索引；
投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure BDA0003772129380000131
每个种子点ps,j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差
Figure BDA0003772129380000132
潜在目标中心的位置和特征分别表示为：
Figure BDA0003772129380000133
Figure BDA0003772129380000134
其中
Figure BDA0003772129380000135
表示搜索区域第j个种子点ps,j的三维坐标，
Figure BDA0003772129380000136
表示搜索区域第j个种子点ps,j的特征；
对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure BDA0003772129380000137
其中，j表示种子点的索引，sj、
Figure BDA0003772129380000138
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
对K个聚类簇应用用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
另外，本申请实施例还提供了一种终端设备，包括处理器以及存储器；其中存储器，用于存储程序代码，并将程序代码传输给所述处理器；处理器，用于调用存储器中的指令执行本申请实施例提供的一种关联点和体素的3D点云单目标跟踪方法。
虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种关联点和体素的3D点云单目标跟踪方法，其特征在于，该方法包括以下步骤：
步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；
步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
步骤S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
2.根据权利要求1所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11：指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
3.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
4.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure FDA0003772129370000021
并进行特征学习；最终得到种子点的位置
Figure FDA0003772129370000022
和种子点的特征
Figure FDA0003772129370000023
其中，i＝t,s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
5.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41：计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure FDA0003772129370000024
将搜索区域种子点的特征
Figure FDA0003772129370000025
送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure FDA0003772129370000026
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
步骤S42：进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B,N+N+3+9,k,Ns)的张量，并使用Mini-PointNet进行特征聚合得到(B,N,Ns)的张量；
步骤S43：执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
6.根据权利要求1、2或5所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1,sc2…scj，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引；
步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure FDA0003772129370000031
每个种子点ps,j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差
Figure FDA0003772129370000032
潜在目标中心的位置和特征分别表示为：
Figure FDA0003772129370000033
Figure FDA0003772129370000034
步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure FDA0003772129370000035
其中，j表示种子点的索引，sj、
Figure FDA0003772129370000036
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
步骤S55：对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
步骤S56：选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
7.一种关联点和体素的3D点云单目标跟踪装置，其特征在于，包括：
第一确定模块(100)，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
处理模块(200)，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
提取模块(300)，用于对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
融合模块(400)，用于对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
第二确定模块(500)，用于将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
8.一种终端设备，所述终端设备包括：
处理器以及存储器；
所述存储器，用于存储程序代码，并将程序代码传输给所述处理器；
所述处理器，用于调用存储器中的指令执行权利要求1-6任意一项所述的一种关联点和体素的3D点云单目标跟踪方法。
CN202210905343.7A 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置 Active CN115375731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905343.7A CN115375731B (zh) 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905343.7A CN115375731B (zh) 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Publications (2)

Publication Number Publication Date
CN115375731A true CN115375731A (zh) 2022-11-22
CN115375731B CN115375731B (zh) 2023-07-04

Family

ID=84062822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905343.7A Active CN115375731B (zh) 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Country Status (1)

Country Link
CN (1) CN115375731B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
CN110969648A (zh) * 2019-12-11 2020-04-07 华中科技大学 一种基于点云序列数据的3d目标跟踪方法及***
CN111951368A (zh) * 2020-08-31 2020-11-17 广州大学 一种点云、体素和多视图融合的深度学习方法
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN112767447A (zh) * 2021-01-25 2021-05-07 电子科技大学 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN113850270A (zh) * 2021-04-15 2021-12-28 北京大学 基于点云-体素聚合网络模型的语义场景补全方法及***
CN113902920A (zh) * 2021-09-27 2022-01-07 中国地质大学（武汉） 基于图卷积神经网络的点云特征提取方法及装置
CN114140497A (zh) * 2021-11-15 2022-03-04 中国科学院自动化研究所 目标车辆3d实时追踪方法及***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
CN110969648A (zh) * 2019-12-11 2020-04-07 华中科技大学 一种基于点云序列数据的3d目标跟踪方法及***
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN111951368A (zh) * 2020-08-31 2020-11-17 广州大学 一种点云、体素和多视图融合的深度学习方法
CN112767447A (zh) * 2021-01-25 2021-05-07 电子科技大学 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
CN113850270A (zh) * 2021-04-15 2021-12-28 北京大学 基于点云-体素聚合网络模型的语义场景补全方法及***
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN113902920A (zh) * 2021-09-27 2022-01-07 中国地质大学（武汉） 基于图卷积神经网络的点云特征提取方法及装置
CN114140497A (zh) * 2021-11-15 2022-03-04 中国科学院自动化研究所 目标车辆3d实时追踪方法及***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHAODA ZHENG等: "Box-Aware Feature Enhancement for Single Object Tracking on Point Clouds", 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV) *
CHARLES R. QI等: "PointNet++: deep hierarchical feature learning on point sets in a metric space", PROCEEDINGS OF THE 31ST INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMSDECEMBER 2017, pages 5105 *
HAOZHE QI等: "P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), pages 6328 *
ZHIJIAN LIU等: "Point-Voxel CNN for Efficient 3D Deep Learning", PROCEEDINGS OF THE 33RD INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMSDECEMBER 2019, pages 965 *
刘李漫;张治国;满征瑞;: "基于模板匹配及区域信息融合提取的快速目标跟踪算法", 计算机工程与科学, no. 03 *
朱威;绳荣金;汤如;何德峰;: "基于动态图卷积和空间金字塔池化的点云深度学习网络", 计算机科学, vol. 47, no. 07, pages 197 - 203 *

Also Published As

Publication number Publication date
CN115375731B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Meng et al. Towards a weakly supervised framework for 3D point cloud object detection and annotation
US9280827B2 (en) Method for determining object poses using weighted features
CN107742102B (zh) 一种基于深度传感器的手势识别方法
Guo et al. Efficient center voting for object detection and 6D pose estimation in 3D point cloud
CN111444767B (zh) 一种基于激光雷达的行人检测和追踪方法
US20140010407A1 (en) Image-based localization
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
Guo et al. 3D free form object recognition using rotational projection statistics
CN112767447A (zh) 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
CN116148808A (zh) 一种基于点云描述符的自动驾驶激光重定位方法和***
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
Shi et al. Lidar-based place recognition for autonomous driving: A survey
Huang et al. Task-wise sampling convolutions for arbitrary-oriented object detection in aerial images
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
CN115661218B (zh) 一种基于虚拟超点的激光点云配准方法和***
CN117312594A (zh) 一种融合双尺度特征的草图化机械零件库检索方法
CN115588178B (zh) 一种高精地图要素自动化提取的方法
Ma et al. Depth-guided progressive network for object detection
CN115375731A (zh) 一种关联点和体素的3d点云单目标跟踪方法及相关装置
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
CN114140497A (zh) 目标车辆3d实时追踪方法及***
Sales et al. 3D shape descriptor for objects recognition
Wang et al. Robust loop closure detection and relocalization with semantic-line graph matching constraints in indoor environments
Sun et al. Research on target classification method for dense matching point cloud based on improved random forest algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant