CN111260683A - 一种三维点云数据的目标检测与跟踪方法及其装置 - Google Patents

一种三维点云数据的目标检测与跟踪方法及其装置 Download PDF

Info

Publication number
CN111260683A
CN111260683A CN202010020376.4A CN202010020376A CN111260683A CN 111260683 A CN111260683 A CN 111260683A CN 202010020376 A CN202010020376 A CN 202010020376A CN 111260683 A CN111260683 A CN 111260683A
Authority
CN
China
Prior art keywords
target
point cloud
point
data
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010020376.4A
Other languages
English (en)
Other versions
CN111260683B (zh
Inventor
陈梅
史永喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010020376.4A priority Critical patent/CN111260683B/zh
Publication of CN111260683A publication Critical patent/CN111260683A/zh
Application granted granted Critical
Publication of CN111260683B publication Critical patent/CN111260683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种三维点云数据的目标检测与跟踪方法，方法如下：从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面点的分割提取，得到地面点Pg和非地面点Png；对非地面点聚类处理，产生各自独立的目标点云簇；通过点云簇中计算，获取聚类生成的目标数据；通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息；基于匀速直线运动模型的运动估计，得到先验估计；对目标的先验估计和实际观测进行状态更新，获得更新后的状态为当前实时获得的目标数据，即为三维点云目标匹配。本发明，采用的目标跟踪算法，结合了运动估计和基于目标信息的特征匹配，通过与当前帧的观测值进行比较，提升的目标跟踪的准确性。

Description

一种三维点云数据的目标检测与跟踪方法及其装置
技术领域
本发明涉及激光雷达检测技术领域，具体为一种三维点云数据的目标检测与跟踪方法及其装置。
背景技术
近年来我国汽车工业一直保持着平稳的发展趋势，无人驾驶技术代表着整个产业的最新发展方向，此项技术的目的是全面提升汽车驾驶的安全性，舒适性及稳定性，满足更高的市场需求。
随着经济社会的不断发展，城市化步伐的不断加速，城市道路的交通状况显得越来越复杂，在无人驾驶领域，实时的行人、车辆检测有着重要的意义。如：可以通过检测道路两侧行人、车辆的行驶状态，从而合理安排控制决策***进行规避与超车。总之，实时并能快速地进行目标检测与跟踪在无人驾驶技术中的应用非常重要，因此，本发明的研究就显得意义重大。
根据数据来源的不同，目标检测与跟踪主要分为基于图像的方法和基于雷达数据的方法。然而基于序列图像的目标检测与跟踪存在的突出问题就是图像处理的数据量大，算法的实时性差,而且难以获得目标的深度信息。
为了改善上述问题，近年来，激光雷达因具有数据量小、测距精度高、实时性能好等优点，在目标检测与跟踪领域已经得到了广泛应用。为此，我们提出一种三维点云数据的目标检测与跟踪方法。
发明内容
本发明的目的在于提供一种三维点云数据的目标检测与跟踪方法及其装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种三维点云数据的目标检测与跟踪方法，包括如下步骤：
步骤1、从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面点的分割提取，得到地面点Pg和非地面点Png；
步骤2、对非地面点聚类处理，产生各自独立的目标点云簇；
步骤3、通过点云簇中计算，获取聚类生成的目标数据；
步骤4、通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息；
步骤5、基于匀速直线运动模型的运动估计，得到先验估计；
步骤6、对目标的先验估计和实际观测进行状态更新，获得更新后的状态为当前实时获得的目标数据，即为三维点云目标匹配。
优选的，地平面点的分割提取采用确定迭代次数的多平面拟合方法，步骤如下：
步骤1.1、对于平面的估计，采用线性模型：ax+by+cz+d＝0，使用最小二乘法拟合平面；
步骤1.2、对初始的点云数据，选取h＝0的点作为初始的地面点Pg；
步骤1.3、获取地平面的线性模型ground＝EstimatePlane(Pg)；
步骤1.4、遍历输入点云P，对于其中的点pk，计算距离地平面ground的距离
Figure BDA0002360530970000021
步骤1.5、设立地平面的阈值距离Thdist，判断hdist>Thdist是否成立，若成立，将pk归入非地面点Png；否则，将pk归入地面点Pg；
步骤1.6、设立迭代次数Niter，进行从步骤1.3到步骤1.5的循环计算，直至达到迭代次数Niter；
由所述方法组成将输入点云P分类为地面点Pg和非地面点Png。
优选的，非地面点的聚类处理步骤如下：
步骤2.1、点云Png中，从顶部扫描线开始以逆时针方式遍历，形成扫描线的runs并且每个扫描线都分配自己的新标签；
步骤2.2、对于每一个扫描线中的点，如果与后接点的间距d大于合并阈值Thmerge，则后接点分配新的标签label，形成新的runs；
步骤2.3、然后，第一条扫描线的runs成为runsAbove，用于将其标签label传播到后续扫描线中的runs，当新runs的点与上述扫描线中的最近邻点之间的距离d小于合并阈值Thmerge时，runsAbove的标签label被传播到新的runs，当同一runs中的点具有多个不同的可继承标签label的最近邻点时，其获得的标签label是其中数值最小的；
步骤2.4、当runs中的点找不到合适的最近含有标签label的邻点时，它会成为新的runsAbove；
步骤2.5、执行第二次runsAbove传递以最终更新点标签label。
优选的，获取聚类生成的目标数据为：
每一个标签label相同的点，即为获取到的目标点云簇，以激光雷达的自身位置作为原点，对每帧点云建立相同的三维直角坐标系，对于每一个点云簇中的点
Figure BDA0002360530970000031
计算其中心点Pcenter＝average(Pi)，得到中心位置[Xcenter，Ycenter，Zcenter]；运用包络法，获取点之间的距离极值[ΔXMAX,ΔYMAX,ΔZMAX]，获得一个可以将该点云簇中的所有点包含的长方体，得到目标的尺寸信息，长宽高[l,m,n]。
优选的，运动目标的判别步骤如下：
步骤4.1、对于当前帧中经过聚类生成的目标数据，为每一个目标赋予唯一的ID值；
步骤4.2、将前后两帧的目标数据进行比较，
Figure BDA0002360530970000032
其中
Figure BDA0002360530970000033
表示第k-1帧第i个目标与第k帧第j个目标的中心之间的距离；Thresholdd为中心位置变化的阈值，相邻帧间的两个目标数据如果满足上式，则确定为同一运动目标；如果两个目标的ID值不同，则将前一帧的目标ID值赋予后一帧目标；
步骤4.3、如果同一ID的目标存在3帧以上的目标数据，则1可以确定该目标为运动目标，激光雷达扫描频率为10Hz，所以相邻帧的点云数据时间间隔为0.1s，；利用目标数据的位置信息，获取目标的速度信息vx和vy。
优选的，基于匀速直线运动模型的运动估计步骤如下：
步骤5.1、建立状态向量Xk＝[x,y,l,m,n,vx,vy]T，x和y表示运动目标中心点的x坐标和y坐标，vx和vy表示目标在x方向和y方向的速度，l，m，n表示运动目标外接长方体的长，宽，高，在实验场景中目标不会在z方向上发生运动，所以状态向量Xk中剔除了z和vz，
步骤5.2、状态预测方程
Figure BDA0002360530970000045
其中
Figure BDA0002360530970000041
状态预测部分负责利用当前的状态Xk-1，估计下一时刻的状态
Figure BDA0002360530970000046
得到先验估计。
优选的，三维点云目标匹配步骤如下：
步骤6.1、将前后两帧的目标数据进行比较，
Figure BDA0002360530970000042
其中
Figure BDA0002360530970000043
表示第k帧点云中第i个目标的先验估计值与第j个目标的实际观测值中心之间的距离；
Figure BDA0002360530970000044
为上述两个目标体积的差的绝对值，反映了两个目标体积大小的相似程度；Thresholdd和Thresholdv分别为中心位置变化和体积大小变化的阈值；
步骤6.2、若符合匹配条件，将该目标的先验估计和实际观测，根据状态更新方程：
Figure BDA0002360530970000051
进行融合，获得更新后的状态，观测向量Zk＝[x,yl,m,n,vx,vy],T，为当前帧实时获得的运动目标数据。
为实现上述目的，本发明还提供一种三维点云数据的目标检测与跟踪装置，可以快速、准确的实现目标的检测和分类。
一种三维点云数据的目标检测与跟踪装置，包括：
扫描单元，用于从激光雷达设备中读取原始点云数据，
滤波单元，用于对原始点云数据中的杂波信号滤除；
点云数据处理单元，按如下步骤对滤波后的原始点云数据进行处理：
步骤1、从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面点的分割提取，得到地面点Pg和非地面点Png；
步骤2、对非地面点聚类处理，产生各自独立的目标点云簇；
步骤3、通过点云簇中计算，获取聚类生成的目标数据；
目标匹配单元，按如下步骤对获取聚类生成的目标数据进行处理：
步骤4、通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息；
步骤5、基于匀速直线运动模型的运动估计，得到先验估计；
模式识别单元，对目标的先验估计和实际观测进行状态更新，获得更新后的状态为当前实时获得的目标数据，即为三维点云目标匹配。
优选的，滤波单元基于卡尔曼滤波器。
与现有技术相比，本发明的有益效果是：
1、本发明接受具有最低高度值的点云的点最可能属于地面的假设，该先验知识为拟合平面的初始地面点提供了依据；相对于典型的平面拟合技术，例如RANSAC中的随机选择初始地面点，有着更快的收敛效果；通过计算点在地面的投影高度是否在阈值距离内，以此更新地面点；进行多次迭代拟合地面，提高地面模型的适应性与准确度。
2、本发明利用扫描线来遍历非地面点，通过欧氏距离的阈值划不同分点云簇，逐步实现点之间，扫描线之间的聚类融合；利用扫描线生成的点向量作为点云簇的构成，相对于原有的KD-树索引，加速了在聚类过程中的搜索速度。
3、本发明通过点云序列前后帧中的目标位置信息，计算获取目标的运动速度，同时进行了运动目标的判定；将目标的位置、尺寸与速度作为卡尔曼滤波器的状态向量，建立匀速直线运动的运动模型；同时点云序列的帧间时间间隔微小，目标的运动状态具有连续性，运动估计的准确度可以得到保证。
4、本发明所采用的目标跟踪算法，结合了运动估计和基于目标信息的特征匹配，通过与当前帧的观测值进行比较，提升的目标跟踪的准确性。
附图说明
图1是本发明方法的流程图；
图2是本发明装置的原理框图。
图3是本发明目标检测与跟踪算法的实际效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～3，本发明提供一种技术方案：
一种三维点云数据的目标检测与跟踪方法，是从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面的拟合与分割；利用扫描线遍历非地面点，通过欧式距离的阈值进行聚类；一是进行生成目标的尺寸大小估计，二是检索目标内的扫描线并计算其曲率值，进而通过这两种特征，与先验值进行比较，判断差值是否在阈值范围内，进行目标分类工作。具体的说，是按如下步骤进行：
步骤1、地平面点的分割提取：
提出了一种确定迭代次数的多平面拟合方法，用于快速提取地面点。
激光雷达扫描获取的原始点云数据，可能存在密度过大的问题，我们可以预先进行降采样处理，减少算法的运行时间。
步骤1.1、对于平面的估计，我们使用简单的线性模型：ax+by+cz＝0，使用最小二乘法拟合平面，此方法的实现函数可以在PCL库中找到；
步骤1.2、对初始的点云数据，选取h＝0的点作为初始的地面点Pg，获取地平面的线性模型ground＝EstimatePlane(Pg)；
步骤1.3、遍历输入点云P，对于其中的点pk，计算距离地平面ground的距离
Figure BDA0002360530970000071
步骤1.4、设立地平面的阈值距离Thdist，判断hdist>Thdist是否成立，若成立，将pk归入非地面点Png；否则，将pk归入地面点Pg；
步骤1.5、设立迭代次数Niter，进行从步骤1.2到步骤1.4的循环计算，直至达到迭代次数Niter；
由所述方法组成将输入点云P分类为地面点Pg和非地面点Png。
步骤2、非地面点的聚类处理：
不属于地面的剩余点Png中，需要进行聚类处理，产生各自独立的目标点云簇。我们的目标是为每个点
Figure BDA0002360530970000081
中，获取代表其簇群身份的标签label。将从同一个LiDAR环产生的一层点称为扫描线。在每个扫描线中，点构成了称为runs的点向量(vector)中。runs中的点共享相同的标签label。
通过扫描线来遍历非地面点Png，根据扫描线生成runs。vector是C++标准模板库中的内容，中文偶尔译作“容器”，是一个多功能的，能够操作多种数据结构和算法的模板类和函数库。vector之所以被认为是一个容器，是因为它能够像容器一样存放各种类型的对象，简单地说，vector是一个能够存放任意类型的动态数组，能够增加和压缩数据。
步骤2.1、点云Png中，从顶部扫描线开始以逆时针方式遍历，形成扫描线的runs并且每个扫描线都分配自己的新标签；
步骤2.2、对于每一个扫描线中的点，如果与后接点的间距d大于合并阈值Thmerge，则后接点分配新的标签label，形成新的runs；
步骤2.3、然后，第一条扫描线的runs成为runsAbove，用于将其标签label传播到后续扫描线中的runs。当新runs的点与上述扫描线中的最近邻点之间的距离d小于合并阈值Thmerge时，runsAbove的标签label被传播到新的runs。当同一runs中的点具有多个不同的可继承标签label的最近邻点时，其获得的标签label是其中数值最小的；
步骤2.4、当runs中的点找不到合适的最近含有标签label的邻点时，它会成为新的runsAbove；
步骤2.5、执行第二次runsAbove传递以最终更新点标签label。
步骤3、获取聚类生成的目标数据：
每一个标签label相同的点，即为获取到的目标点云簇。对于每一个点云簇中的点
Figure BDA0002360530970000082
计算其中心点Pcenter＝average(Pi)，求出中心位置[Xcenter，Ycenter，Zcenter]；遍历点云簇中的点pk，获取点之间的距离极值[ΔXMAX,ΔYMAX,ΔZMAX]。
通过距离极值，可以给聚类目标生成外界的长方体，近似获取目标的体积大小。设立阈值范围，剔除体积过大或者过小的目标(大面积的墙体或者点云噪声)，减少目标分类算法的运行时间。
步骤4、运动目标的判别：
通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息。
步骤4.1、对于当前帧中经过聚类生成的目标数据，为每一个目标赋予唯一的ID值。
步骤4.2、将前后两帧的目标数据进行比较，
Figure BDA0002360530970000091
其中
Figure BDA0002360530970000092
表示第k-1帧第i个目标与第k帧第j个目标的中心之间的距离；Thresholdd为中心位置变化的阈值。相邻帧间的两个目标数据如果满足上式，则确定为同一运动目标；如果两个目标的ID值不同，则将前一帧的目标ID值赋予后一帧目标。
步骤4.3、如果同一ID的目标存在3帧以上的目标数据，则1可以确定该目标为运动目标。激光雷达扫描频率为10Hz，所以相邻帧的点云数据时间间隔为0.1s，；利用目标数据的位置信息，获取目标的速度信息vx和vy。
步骤5、基于匀速直线运动模型的运动估计：
步骤5.1、建立状态向量Xk＝[x,y,l,m,n,vx,vy]T，x和y表示运动目标中心点的x坐标和y坐标，vx和vy表示目标在x方向和y方向的速度，l，m，n表示运动目标外接长方体的长，宽，高。在实验场景中目标不会在z方向上发生运动，所以状态向量Xk中剔除了z和vz。
步骤5.2、状态预测方程
Figure BDA0002360530970000105
其中
Figure BDA0002360530970000101
状态预测部分负责利用当前的状态Xk-1，估计下一时刻的状态
Figure BDA0002360530970000106
得到先验估计；
步骤6、三维点云目标匹配：
点云序列的相邻两帧之间的时间间隔较小，目标的运动状态不可能发生突变，运动具有连续性。可认为同一运动目标，由上一时刻的状态经过状态预测计算，得到的先验估计，与此时刻的实际观测相比较变化不大。
步骤6.1、将前后两帧的目标数据进行比较，
Figure BDA0002360530970000102
其中
Figure BDA0002360530970000103
表示第k帧点云中第i个目标的先验估计值与第j个目标的实际观测值中心之间的距离；
Figure BDA0002360530970000104
为上述两个目标体积的差的绝对值，反映了两个目标体积大小的相似程度；Thresholdd和Thresholdv分别为中心位置变化和体积大小变化的阈值。
步骤6.2、若符合匹配条件，将该目标的先验估计和实际观测，根据状态更新方程：
Figure BDA0002360530970000107
进行融合，获得更新后的状态。观测向量
Figure BDA0002360530970000108
为当前帧实时获得的目标数据。
本实施例中，一种三维点云数据的目标检测与跟踪装置，可以快速、准确的实现目标的检测和分类，包括：
扫描单元，用于从激光雷达设备中读取原始点云数据，
滤波单元，用于对原始点云数据中的杂波信号滤除；
点云数据处理单元，按如下步骤对滤波后的原始点云数据进行处理：
步骤1、从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面点的分割提取，得到地面点Pg和非地面点Png；
步骤2、对非地面点聚类处理，产生各自独立的目标点云簇；
步骤3、通过点云簇中计算，获取聚类生成的目标数据；
目标匹配单元，按如下步骤对获取聚类生成的目标数据进行处理：
步骤4、通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息；
步骤5、基于匀速直线运动模型的运动估计，得到先验估计；
模式识别单元，对目标的先验估计和实际观测进行状态更新，获得更新后的状态为当前实时获得的目标数据，即为三维点云目标匹配。
本发明的处理方法数据量小、处理速度快，并且目标分类准确率非常高。以期能快速且准确的检测目标并对目标进行跟踪，从而很好地帮助无人驾驶***进行控制决策。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种三维点云数据的目标检测与跟踪方法，其特征在于，包括如下步骤：
步骤1、从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面点的分割提取，得到地面点Pg和非地面点Png；
步骤2、对非地面点聚类处理，产生各自独立的目标点云簇；
步骤3、通过点云簇中计算，获取聚类生成的目标数据；
步骤4、通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息；
步骤5、基于匀速直线运动模型的运动估计，得到先验估计；
步骤6、对目标的先验估计和实际观测进行状态更新，获得更新后的状态为当前实时获得的目标数据，即为三维点云目标匹配。
2.根据权利要求1所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，地平面点的分割提取采用确定迭代次数的多平面拟合方法，步骤如下：
步骤1.1、对于平面的估计，采用线性模型：ax+by+cz+d＝0，使用最小二乘法拟合平面；
步骤1.2、对初始的点云数据，选取h＝0的点作为初始的地面点Pg；
步骤1.3、获取地平面的线性模型ground＝EstimatePlane(Pg)；
步骤1.4、遍历输入点云P，对于其中的点pk，计算距离地平面ground的距离
Figure FDA0002360530960000011
步骤1.5、设立地平面的阈值距离Thdist，判断hdist>Thdist是否成立，若成立，将pk归入非地面点Png；否则，将pk归入地面点Pg；
步骤1.6、设立迭代次数Niter，进行从步骤1.3到步骤1.5的循环计算，直至达到迭代次数Niter；
由所述方法组成将输入点云P分类为地面点Pg和非地面点Png。
3.根据权利要求2所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，非地面点的聚类处理步骤如下：
步骤2.1、点云Png中，从顶部扫描线开始以逆时针方式遍历，形成扫描线的runs并且每个扫描线都分配自己的新标签；
步骤2.2、对于每一个扫描线中的点，如果与后接点的间距d大于合并阈值Thmerge，则后接点分配新的标签label，形成新的runs；
步骤2.3、然后，第一条扫描线的runs成为runsAbove，用于将其标签label传播到后续扫描线中的runs，当新runs的点与上述扫描线中的最近邻点之间的距离d小于合并阈值Thmerge时，runsAbove的标签label被传播到新的runs，当同一runs中的点具有多个不同的可继承标签label的最近邻点时，其获得的标签label是其中数值最小的；
步骤2.4、当runs中的点找不到合适的最近含有标签label的邻点时，它会成为新的runsAbove；
步骤2.5、执行第二次runsAbove传递以最终更新点标签label。
4.根据权利要求3所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，获取聚类生成的目标数据为：
每一个标签label相同的点，即为获取到的目标点云簇，以激光雷达的自身位置作为原点，对每帧点云建立相同的三维直角坐标系，对于每一个点云簇中的点
Figure FDA0002360530960000021
计算其中心点Pcenter＝average(Pi)，得到中心位置[Xcenter，Ycenter，Zcenter]；运用包络法，获取点之间的距离极值[ΔXMAX,ΔYMAX,ΔZMAX]，获得一个可以将该点云簇中的所有点包含的长方体，得到目标的尺寸信息，长宽高[l,m,n]。
5.根据权利要求1所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，运动目标的判别步骤如下：
步骤4.1、对于当前帧中经过聚类生成的目标数据，为每一个目标赋予唯一的ID值；
步骤4.2、将前后两帧的目标数据进行比较，
Figure FDA0002360530960000031
其中
Figure FDA0002360530960000032
表示第k-1帧第i个目标与第k帧第j个目标的中心之间的距离；Thresholdd为中心位置变化的阈值，相邻帧间的两个目标数据如果满足上式，则确定为同一运动目标；如果两个目标的ID值不同，则将前一帧的目标ID值赋予后一帧目标；
步骤4.3、如果同一ID的目标存在3帧以上的目标数据，则1可以确定该目标为运动目标，激光雷达扫描频率为10Hz，所以相邻帧的点云数据时间间隔为0.1s，；利用目标数据的位置信息，获取目标的速度信息vx和vy。
6.根据权利要求1所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，基于匀速直线运动模型的运动估计步骤如下：
步骤5.1、建立状态向量Xk＝[x,y,l,m,n,vx,vy]T，x和y表示运动目标中心点的x坐标和y坐标，vx和vy表示目标在x方向和y方向的速度，l，m，n表示运动目标外接长方体的长，宽，高，在实验场景中目标不会在z方向上发生运动，所以状态向量Xk中剔除了z和vz，
步骤5.2、状态预测方程
Figure FDA0002360530960000034
其中
Figure FDA0002360530960000033
状态预测部分负责利用当前的状态Xk-1，估计下一时刻的状态
Figure FDA0002360530960000045
得到先验估计。
7.根据权利要求6所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，三维点云目标匹配步骤如下：
步骤6.1、将前后两帧的目标数据进行比较，
Figure FDA0002360530960000041
其中
Figure FDA0002360530960000042
表示第k帧点云中第i个目标的先验估计值与第j个目标的实际观测值中心之间的距离；
Figure FDA0002360530960000043
为上述两个目标体积的差的绝对值，反映了两个目标体积大小的相似程度；Thresholdd和Thresholdv分别为中心位置变化和体积大小变化的阈值；
步骤6.2、若符合匹配条件，将该目标的先验估计和实际观测，根据状态更新方程：
Figure FDA0002360530960000044
进行融合，获得更新后的状态，观测向量Zk＝[x,y,l,m,n,vx,vy]T，为当前帧实时获得的运动目标数据。
8.一种三维点云数据的目标检测与跟踪装置，其特征在于，包括：
扫描单元，用于从激光雷达设备中读取原始点云数据，
滤波单元，用于对原始点云数据中的杂波信号滤除；
点云数据处理单元，按如下步骤对滤波后的原始点云数据进行处理：
步骤1、从激光雷达设备中读取原始点云数据，对获取的原始点云数据进行地平面点的分割提取，得到地面点Pg和非地面点Png；
步骤2、对非地面点聚类处理，产生各自独立的目标点云簇；
步骤3、通过点云簇中计算，获取聚类生成的目标数据；
目标匹配单元，按如下步骤对获取聚类生成的目标数据进行处理：
步骤4、通过对生成的目标数据进行判别，获得运动目标，以及目标的速度信息；
步骤5、基于匀速直线运动模型的运动估计，得到先验估计；
模式识别单元，对目标的先验估计和实际观测进行状态更新，获得更新后的状态为当前实时获得的目标数据，即为三维点云目标匹配。
9.根据权利要求8所述的一种三维点云数据的目标检测与跟踪方法，其特征在于，滤波单元基于卡尔曼滤波器。
CN202010020376.4A 2020-01-09 2020-01-09 一种三维点云数据的目标检测与跟踪方法及其装置 Active CN111260683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020376.4A CN111260683B (zh) 2020-01-09 2020-01-09 一种三维点云数据的目标检测与跟踪方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020376.4A CN111260683B (zh) 2020-01-09 2020-01-09 一种三维点云数据的目标检测与跟踪方法及其装置

Publications (2)

Publication Number Publication Date
CN111260683A true CN111260683A (zh) 2020-06-09
CN111260683B CN111260683B (zh) 2023-08-08

Family

ID=70948590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020376.4A Active CN111260683B (zh) 2020-01-09 2020-01-09 一种三维点云数据的目标检测与跟踪方法及其装置

Country Status (1)

Country Link
CN (1) CN111260683B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766608A (zh) * 2020-06-12 2020-10-13 苏州泛像汽车技术有限公司 一种基于激光雷达的环境感知***
CN111781608A (zh) * 2020-07-03 2020-10-16 浙江光珀智能科技有限公司 一种基于fmcw激光雷达的运动目标检测方法及***
CN111929676A (zh) * 2020-07-30 2020-11-13 上海交通大学 一种基于密度聚类的x波段雷达目标检测与跟踪方法
CN112462381A (zh) * 2020-11-19 2021-03-09 浙江吉利控股集团有限公司 一种基于车路协同的多激光雷达融合方法
CN112669462A (zh) * 2021-01-18 2021-04-16 新拓三维技术(深圳)有限公司 一种适用于扫描点云的模型处理方法及***
CN112762824A (zh) * 2020-12-24 2021-05-07 中南大学 一种无人车定位方法及***
CN112847343A (zh) * 2020-12-29 2021-05-28 深圳市普渡科技有限公司 动态目标跟踪定位方法、装置、设备和存储介质
CN112926514A (zh) * 2021-03-26 2021-06-08 哈尔滨工业大学（威海） 一种多目标检测及跟踪方法、***、存储介质及应用
CN112949566A (zh) * 2021-03-25 2021-06-11 浙江华是科技股份有限公司 一种监控方法、装置、***及计算机存储介质
CN113281718A (zh) * 2021-06-30 2021-08-20 江苏大学 一种基于激光雷达场景流估计的3d多目标跟踪***及方法
CN113343840A (zh) * 2021-06-02 2021-09-03 合肥泰瑞数创科技有限公司 基于三维点云的对象识别方法及装置
CN113673105A (zh) * 2021-08-20 2021-11-19 安徽江淮汽车集团股份有限公司 真值对比策略的设计方法
CN113721253A (zh) * 2021-08-30 2021-11-30 杭州视光半导体科技有限公司 基于fmcw激光雷达的运动物体速度检测方法
CN113795771A (zh) * 2020-09-25 2021-12-14 深圳市大疆创新科技有限公司 采用点云雷达估计物体速度的方法、点云雷达及***
CN113932791A (zh) * 2021-09-15 2022-01-14 江苏徐工工程机械研究院有限公司 一种露天矿区装卸作业区地图采集方法及***
CN114111568A (zh) * 2021-09-30 2022-03-01 深圳市速腾聚创科技有限公司 动态目标外观尺寸的确定方法及装置、介质及电子设备
CN114419152A (zh) * 2022-01-14 2022-04-29 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及***
CN114442101A (zh) * 2022-01-28 2022-05-06 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
WO2022099530A1 (zh) * 2020-11-12 2022-05-19 深圳元戎启行科技有限公司 点云数据运动分割方法、装置、计算机设备和存储介质
CN114818916A (zh) * 2022-04-25 2022-07-29 电子科技大学 一种基于毫米波雷达多帧点云序列的道路目标分类方法
CN115937320A (zh) * 2023-02-21 2023-04-07 深圳市华亿明投资发展有限公司 一种手机壳打磨用视觉定位方法
CN116071694A (zh) * 2023-03-07 2023-05-05 浙江华是科技股份有限公司 船舶检测方法、装置及计算机可读存储介质
CN117250610A (zh) * 2023-11-08 2023-12-19 浙江华是科技股份有限公司 基于激光雷达的入侵人员预警方法及***
CN117872310A (zh) * 2024-03-08 2024-04-12 陕西欧卡电子智能科技有限公司 基于雷达的水面目标跟踪方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871100A (zh) * 2014-04-02 2014-06-18 中国科学院自动化研究所 基于点云与数据驱动的树木模型重建方法
US20180074203A1 (en) * 2016-09-12 2018-03-15 Delphi Technologies, Inc. Lidar Object Detection System for Automated Vehicles
CN110647835A (zh) * 2019-09-18 2020-01-03 合肥中科智驰科技有限公司 基于3d点云数据的目标检测与分类方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103871100A (zh) * 2014-04-02 2014-06-18 中国科学院自动化研究所 基于点云与数据驱动的树木模型重建方法
US20180074203A1 (en) * 2016-09-12 2018-03-15 Delphi Technologies, Inc. Lidar Object Detection System for Automated Vehicles
CN110647835A (zh) * 2019-09-18 2020-01-03 合肥中科智驰科技有限公司 基于3d点云数据的目标检测与分类方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆德彪等: "基于深度数据的车辆目标检测与跟踪方法", 《交通运输***工程与信息》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766608A (zh) * 2020-06-12 2020-10-13 苏州泛像汽车技术有限公司 一种基于激光雷达的环境感知***
CN111781608A (zh) * 2020-07-03 2020-10-16 浙江光珀智能科技有限公司 一种基于fmcw激光雷达的运动目标检测方法及***
CN111781608B (zh) * 2020-07-03 2023-04-25 浙江光珀智能科技有限公司 一种基于fmcw激光雷达的运动目标检测方法及***
CN111929676A (zh) * 2020-07-30 2020-11-13 上海交通大学 一种基于密度聚类的x波段雷达目标检测与跟踪方法
CN111929676B (zh) * 2020-07-30 2022-07-08 上海交通大学 一种基于密度聚类的x波段雷达目标检测与跟踪方法
CN113795771A (zh) * 2020-09-25 2021-12-14 深圳市大疆创新科技有限公司 采用点云雷达估计物体速度的方法、点云雷达及***
WO2022061758A1 (zh) * 2020-09-25 2022-03-31 深圳市大疆创新科技有限公司 采用点云雷达估计物体速度的方法、点云雷达及***
WO2022099530A1 (zh) * 2020-11-12 2022-05-19 深圳元戎启行科技有限公司 点云数据运动分割方法、装置、计算机设备和存储介质
CN112462381A (zh) * 2020-11-19 2021-03-09 浙江吉利控股集团有限公司 一种基于车路协同的多激光雷达融合方法
CN112462381B (zh) * 2020-11-19 2024-06-04 浙江吉利控股集团有限公司 一种基于车路协同的多激光雷达融合方法
CN112762824A (zh) * 2020-12-24 2021-05-07 中南大学 一种无人车定位方法及***
CN112762824B (zh) * 2020-12-24 2022-04-22 中南大学 一种无人车定位方法及***
CN112847343A (zh) * 2020-12-29 2021-05-28 深圳市普渡科技有限公司 动态目标跟踪定位方法、装置、设备和存储介质
WO2022142948A1 (zh) * 2020-12-29 2022-07-07 深圳市普渡科技有限公司 动态目标跟踪定位方法、装置、设备和存储介质
CN112669462A (zh) * 2021-01-18 2021-04-16 新拓三维技术(深圳)有限公司 一种适用于扫描点云的模型处理方法及***
CN112949566A (zh) * 2021-03-25 2021-06-11 浙江华是科技股份有限公司 一种监控方法、装置、***及计算机存储介质
CN112926514A (zh) * 2021-03-26 2021-06-08 哈尔滨工业大学（威海） 一种多目标检测及跟踪方法、***、存储介质及应用
CN113343840B (zh) * 2021-06-02 2022-03-08 合肥泰瑞数创科技有限公司 基于三维点云的对象识别方法及装置
CN113343840A (zh) * 2021-06-02 2021-09-03 合肥泰瑞数创科技有限公司 基于三维点云的对象识别方法及装置
CN113281718B (zh) * 2021-06-30 2024-03-22 江苏大学 一种基于激光雷达场景流估计的3d多目标跟踪***及方法
CN113281718A (zh) * 2021-06-30 2021-08-20 江苏大学 一种基于激光雷达场景流估计的3d多目标跟踪***及方法
CN113673105A (zh) * 2021-08-20 2021-11-19 安徽江淮汽车集团股份有限公司 真值对比策略的设计方法
CN113721253A (zh) * 2021-08-30 2021-11-30 杭州视光半导体科技有限公司 基于fmcw激光雷达的运动物体速度检测方法
CN113721253B (zh) * 2021-08-30 2024-03-15 杭州视光半导体科技有限公司 基于fmcw激光雷达的运动物体速度检测方法
CN113932791B (zh) * 2021-09-15 2023-11-07 江苏徐工工程机械研究院有限公司 一种露天矿区装卸作业区地图采集方法及***
CN113932791A (zh) * 2021-09-15 2022-01-14 江苏徐工工程机械研究院有限公司 一种露天矿区装卸作业区地图采集方法及***
CN114111568A (zh) * 2021-09-30 2022-03-01 深圳市速腾聚创科技有限公司 动态目标外观尺寸的确定方法及装置、介质及电子设备
CN114419152A (zh) * 2022-01-14 2022-04-29 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及***
CN114419152B (zh) * 2022-01-14 2024-04-26 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及***
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114442101A (zh) * 2022-01-28 2022-05-06 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114818916A (zh) * 2022-04-25 2022-07-29 电子科技大学 一种基于毫米波雷达多帧点云序列的道路目标分类方法
CN114818916B (zh) * 2022-04-25 2023-04-07 电子科技大学 一种基于毫米波雷达多帧点云序列的道路目标分类方法
CN115937320A (zh) * 2023-02-21 2023-04-07 深圳市华亿明投资发展有限公司 一种手机壳打磨用视觉定位方法
CN115937320B (zh) * 2023-02-21 2023-05-05 深圳市华亿明投资发展有限公司 一种手机壳打磨用视觉定位方法
CN116071694A (zh) * 2023-03-07 2023-05-05 浙江华是科技股份有限公司 船舶检测方法、装置及计算机可读存储介质
CN117250610A (zh) * 2023-11-08 2023-12-19 浙江华是科技股份有限公司 基于激光雷达的入侵人员预警方法及***
CN117250610B (zh) * 2023-11-08 2024-02-02 浙江华是科技股份有限公司 基于激光雷达的入侵人员预警方法及***
CN117872310A (zh) * 2024-03-08 2024-04-12 陕西欧卡电子智能科技有限公司 基于雷达的水面目标跟踪方法、装置、设备及介质
CN117872310B (zh) * 2024-03-08 2024-06-21 陕西欧卡电子智能科技有限公司 基于雷达的水面目标跟踪方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111260683B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
CN110647835B (zh) 基于3d点云数据的目标检测与分类方法和***
CN113156421A (zh) 基于毫米波雷达和摄像头信息融合的障碍物检测方法
US9213901B2 (en) Robust and computationally efficient video-based object tracking in regularized motion environments
WO2022188663A1 (zh) 一种目标检测方法及装置
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN111932580A (zh) 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及***
Liu et al. A survey of vision-based vehicle detection and tracking techniques in ITS
CN112052802B (zh) 一种基于机器视觉的前方车辆行为识别方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN113838089B (zh) 一种基于特征匹配算法的气泡轨迹跟踪方法
CN113848545B (zh) 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN114358140A (zh) 低能见度下稀疏点云航空器快速捕获方法
CN115861968A (zh) 一种基于实时点云数据的动态障碍物剔除方法
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN113689459B (zh) 动态环境下基于gmm结合yolo实时跟踪与建图方法
CN113221739A (zh) 基于单目视觉的车距测量方法
CN116385493A (zh) 野外环境下多运动目标检测与轨迹预测方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Qing et al. Localization and tracking of same color vehicle under occlusion problem
CN113673383B (zh) 一种面向复杂道路场景的时空域障碍物检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant