CN110349192B - 一种基于三维激光点云的在线目标跟踪***的跟踪方法 - Google Patents
一种基于三维激光点云的在线目标跟踪***的跟踪方法 Download PDFInfo
- Publication number
- CN110349192B CN110349192B CN201910498228.0A CN201910498228A CN110349192B CN 110349192 B CN110349192 B CN 110349192B CN 201910498228 A CN201910498228 A CN 201910498228A CN 110349192 B CN110349192 B CN 110349192B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- model
- tracking
- gaussian
- dimensional laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于三维激光点云的在线目标跟踪***的跟踪方法,包含了预处理模块、检测模块与跟踪模块三个模块:预处理模块对地面点云与道路边界外点云的滤除;检测模块对点云进行聚类与时域关联,并通过增量式的高斯混合模型对各目标进行表面建模;跟踪模块使用卡尔曼滤波,对模型的中心点进行跟踪。该标定***依赖离线的道路边界地图,可适应于多种不同的结构化道路场景,实现了实时的三维激光点云检测与跟踪,对无人车的感知技术有着重要的意义。这一技术可广泛应用于无人车环境感知、辅助安全驾驶等领域。
Description
技术领域
本发明属于计算机视觉与智能交通领域,特别涉及一种基于三维激光点云的在线目标跟踪***的跟踪方法。
背景技术
智能车(Intelligent Vehicle,IV)是集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合***,它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术,是典型的高新技术综合体,是一个国家科研实力和产业水平的重要标志。环境感知技术是智能车的关键技术之一。三维激光传感器提供了精确的障碍目标的距离信息,是智能车环境感知中重要的硬件组成部分。如何对三维激光传感器提供的原始三维点云进行处理,实时地完成道路上目标的检测与跟踪,从而增强无人车的感知能力,提高无人车的安全性能,是智能车的感知技术中非常关键的问题。
发明内容
本发明的目的在于提供一种基于三维激光点云的在线目标跟踪***的跟踪方法,以解决上述问题。
为实现上述目的,本发明采用以下技术方案:
一种基于三维激光点云的在线目标跟踪***的跟踪方法,所述三维激光点云的在线目标跟踪***包括预处理模块、检测模块和跟踪模块;预处理模块、检测模块和跟踪模块依次连接;预处理模块用于对三维激光原始点云进行预处理,去除非地面点云与道路外点云;检测模块用于对于预处理模块给出的点云进行聚类,并将点云拟合成矩形模型;跟踪模块使用拟合矩形进行时域的跟踪,给出目标的速度信息;
所述基于三维激光点云的在线目标跟踪***的跟踪方法包括以下步骤:
步骤1,预处理模块使用高斯过程回归算法分割地面,滤除地面点云;使用预先建立的道路边界地图滤除道路外点云;
步骤2,检测模块使用DBSCAN聚类算法对于三维激光点云进行聚类;对于每个聚类后的目标,使用Kuhn-Munkres算法与前一帧数据进行数据关联,并使用增量式的高斯混合体建立表面点云模型;对于每个时刻的表面模型,以平台的车体坐标系x与y方向使用矩形模型进行矩形拟合,作为检测结果;
步骤3,跟踪模块选取步骤2中拟合矩形的中点作为跟踪点。
进一步的,步骤1中具体为:使用宽40m、长80m的矩形建立栅格图,利用当前位姿数据,将全局的道路边界地图转换到车体坐标系中,并提取出与栅格图大小对应的局部道路边界地图;使用漫水填充算法对道路边界内区域的连通性进行分析,将栅格图中道路边界内的栅格设置为1,边界外栅格设置为0;将所有点云投影到栅格中,若点云所在栅格数值为0,则进行滤除,否则保留。
进一步的,步骤2中具体包括:
使用增量式混合高斯模型建立目标的表面点云模型,使用EM算法迭代地对模型进行优化,高斯混合模型可以被表示为:
其中K是高斯模型的个数,μk与σk是第k个高斯模型的均值与协方差,且 是第j帧观测中的第i个点云,Rj和tj是将第j帧点云对齐到第一帧点云坐标系的旋转矩阵和平移向量,pk是第k个高斯模型的混合系数;第k个高斯模型可表示为
因此,一个完整的高斯混合模型可以被表示为
其中第一部分为高斯模型参数,第二部分为点云的刚体变换参数。
进一步的,利用增量式高斯混合模型建模,并使用EM算法进行求解;高斯混合模型的隐变量Γ中的元素γijk表示了点云zji属于第k个高斯模型的概率;求解高斯混合模型的EM算法可以被分解为三个步骤:E-步、M-步与M-GMM-步;
E-步使用高斯混合模型的参数Θ更新隐变量Γ;对于每个γijk∈Γ有
其中λjk表示第j帧的点作用于第k个高斯模型的概率之和
ωjk为第j帧的点云的使用隐函数后的加权重心
其中
umk=R(m)ωmk+t(m)
N(m)表示到m帧为止所有帧的点云个数之和;
EM算法通过设置点云间的距离阈值或30次的最大循环次数作为迭代的退出条件,最终给出优化后的高斯模型参数;使用该参数可以将所有时刻的点云拼接到当前时刻的车体坐标系中,得到目标的表面点云模型。
进一步的,步骤3中,使用卡尔曼滤波器进行跟踪。
进一步的,卡尔曼滤波器的状态定义为x=[x,y,vx,vy],其中x与y表示车体坐标系下目标的位置,vx与vy表示目标相对于车体的运动速度。卡尔曼滤波器的观测为 z=[x,y],其中x与y表示观测时刻拟合矩形的中心点坐标。
与现有技术相比,本发明有以下技术效果:
本发明实现对激光传感器数据的检测与跟踪。与传统方法相比,本发明基于高斯混合模型对跟踪目标建立表面点云模型。随着观测时间的增加,表面点云模型愈发完善,比单帧观测的结果更加全面、稳定。通过选取稳定的表面模型拟合矩形中点作为特征点进行跟踪,提高了卡尔曼滤波器中观测的稳定性,使得速度跟踪效果得到改善。
本发明基于高性能的三维激光传感器与高精度位姿***,结合离线道路边界地图,对道路场景内的目标进行检测与跟踪,能够满足复杂交通场景下的无人车感知需求。
附图说明
图1为本发明的流程框图。
图2为本发明激光点云预处理各步骤效果图,其中包括了原始点云数据,地面滤除后的点云数据,道路边界滤除后的点云数据。
图3为本发明基于增量式高斯混合模型的目标表面点云拼接效果图。该模型使用了 425帧观测数据,包含了车辆各个角度的观测,使用增量式高斯混合模型最终拼接成完整的点云模型。
具体实施方式
以下结合附图对本发明进一步说明:
一种智能车激光传感器的在线检测与跟踪方法,包括以下步骤:
一种智能车激光传感器的在线检测与跟踪方法,包括预处理模块、检测模块与跟踪模块三个模块依次连接;
预处理模块对三维激光原始点云进行预处理:使用谌彤童于2012年提出的基于高斯过程回归的地面分割算法滤除地面点云;将预先建立的全局道路边界地图根据位姿数据转换到激光坐标系中,并根据激光传感器感知范围选择局部道路边界地图;使用局部道路边界地图对点云进行滤除。
进一步的,在使用道路边界地图进行点云滤除时,使用宽40m、长80m的矩形建立栅格图,利用当前位姿数据,将全局的道路边界地图转换到车体坐标系中,并提取出与栅格图大小对应的局部道路边界地图;使用漫水填充算法对道路边界内区域的连通性进行分析,将栅格图中道路边界内的栅格设置为1,边界外栅格设置为0;将所有点云投影到栅格中,若点云所在栅格数值为0,则进行滤除,否则保留。
检测模块对于预处理模块给出的点云进行聚类,并将点云拟合成矩形模型:使用DBSCAN聚类算法对于三维激光点云进行聚类。对于每个聚类后的目标,使用 Kuhn-Munkres算法与前一帧数据进行数据关联,并使用增量式高斯混合模型建立或更新目标的表面点云模型;对于每个时刻的表面模型,以平台的车体坐标系x与y方向使用矩形模型进行矩形拟合,作为检测结果。
进一步的,使用增量式混合高斯模型建立目标的表面点云模型,使用EM算法迭代地对模型进行优化。高斯混合模型可以被表示为:
其中K是高斯模型的个数,μk与σk是第k个高斯模型的均值与协方差,且 是第j帧观测中的第i个点云,Rj和tj是将第j帧点云对齐到第一帧点云坐标系的旋转矩阵和平移向量,pk是第k个高斯模型的混合系数。第k个高斯模型可表示为
因此,一个完整的高斯混合模型可以被表示为
其中第一部分为高斯模型参数,第二部分为点云的刚体变换参数。
本发明利用增量式高斯混合模型建模,并使用EM算法进行求解。高斯混合模型的隐变量Γ中的元素γijk表示了点云zji属于第k个高斯模型的概率。求解高斯混合模型的EM算法可以被分解为三个步骤:E-步、M-步与M-GMM-步。
E-步使用高斯混合模型的参数Θ更新隐变量Γ。对于每个γijk∈Γ有
其中λjk表示第j帧的点作用于第k个高斯模型的概率之和
ωjk为第j帧的点云的使用隐函数后的加权重心
其中
umk=R(m)ωmk+t(m)
N(m)表示到m帧为止所有帧的点云个数之和。
EM算法通过设置点云间的距离阈值或30次的最大循环次数作为迭代的退出条件,最终给出优化后的高斯模型参数。使用该参数可以将所有时刻的点云拼接到当前时刻的车体坐标系中,得到目标的表面点云模型。
跟踪模块选取拟合矩形中点作为跟踪点,使用卡尔曼滤波器进行跟踪,得到最终输出速度结果。卡尔曼滤波器的状态定义为x=[x,y,vx,vy],其中x与y表示车体坐标系下目标的位置,vx与vy表示目标相对于车体的运动速度。卡尔曼滤波器的观测为z=[x,y],其中x与y表示观测时刻拟合矩形的中心点坐标。
Claims (6)
1.一种基于三维激光点云的在线目标跟踪***的跟踪方法,其特征在于,所述三维激光点云的在线目标跟踪***包括预处理模块、检测模块和跟踪模块;预处理模块、检测模块和跟踪模块依次连接;预处理模块用于对三维激光原始点云进行预处理,去除非地面点云与道路外点云;检测模块用于对于预处理模块给出的点云进行聚类,并将点云拟合成矩形模型;跟踪模块使用拟合矩形进行时域的跟踪,给出目标的速度信息;
所述基于三维激光点云的在线目标跟踪***的跟踪方法包括以下步骤:
步骤1,预处理模块使用高斯过程回归算法分割地面,滤除地面点云;使用预先建立的道路边界地图滤除道路外点云;
步骤2,检测模块使用DBSCAN聚类算法对于三维激光点云进行聚类;对于每个聚类后的目标,使用Kuhn-Munkres算法与前一帧数据进行数据关联,并使用增量式的高斯混合体建立表面点云模型;对于每个时刻的表面模型,以平台的车体坐标系x与y方向使用矩形模型进行矩形拟合,作为检测结果;
步骤3,跟踪模块选取步骤2中拟合矩形的中点作为跟踪点。
2.根据权利要求1所述的一种基于三维激光点云的在线目标跟踪***的跟踪方法,其特征在于,步骤1中具体为:使用宽40m、长80m的矩形建立栅格图,利用当前位姿数据,将全局的道路边界地图转换到车体坐标系中,并提取出与栅格图大小对应的局部道路边界地图;使用漫水填充算法对道路边界内区域的连通性进行分析,将栅格图中道路边界内的栅格设置为1,边界外栅格设置为0;将所有点云投影到栅格中,若点云所在栅格数值为0,则进行滤除,否则保留。
4.根据权利要求3所述的一种基于三维激光点云的在线目标跟踪***的跟踪方法,其特征在于,利用增量式高斯混合模型建模,并使用EM算法进行求解;高斯混合模型的隐变量Γ中的元素γijk表示了点云zji属于第k个高斯模型的概率;求解高斯混合模型的EM算法可以被分解为三个步骤:E-步、M-步与M-GMM-步;
E-步使用高斯混合模型的参数Θ更新隐变量Γ;对于每个γijk∈Γ有
其中λjk表示第j帧的点云作用于第k个高斯模型的概率之和
ωjk为第j帧的点云的使用隐函数后的加权重心
其中
umk=R(m)ωmk+t(m)
N(m)表示到m帧为止所有帧的点云个数之和;
EM算法通过设置点云间的距离阈值或30次的最大循环次数作为迭代的退出条件,最终给出优化后的高斯模型参数;使用该参数可以将所有时刻的点云拼接到当前时刻的车体坐标系中,得到目标的表面点云模型。
5.根据权利要求1所述的一种基于三维激光点云的在线目标跟踪***的跟踪方法,其特征在于,步骤3中,使用卡尔曼滤波器进行跟踪。
6.根据权利要求5所述的一种基于三维激光点云的在线目标跟踪***的跟踪方法,其特征在于,卡尔曼滤波器的状态定义为x=[x,y,vx,vy],其中x与y表示车体坐标系下目标的位置,vx与vy表示目标相对于车体的运动速度;卡尔曼滤波器的观测为z=[x,y],其中x与y表示观测时刻拟合矩形的中心点坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910498228.0A CN110349192B (zh) | 2019-06-10 | 2019-06-10 | 一种基于三维激光点云的在线目标跟踪***的跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910498228.0A CN110349192B (zh) | 2019-06-10 | 2019-06-10 | 一种基于三维激光点云的在线目标跟踪***的跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110349192A CN110349192A (zh) | 2019-10-18 |
CN110349192B true CN110349192B (zh) | 2021-07-13 |
Family
ID=68181695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910498228.0A Active CN110349192B (zh) | 2019-06-10 | 2019-06-10 | 一种基于三维激光点云的在线目标跟踪***的跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110349192B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11327506B2 (en) * | 2019-11-20 | 2022-05-10 | GM Global Technology Operations LLC | Method and system for localized travel lane perception |
CN111292275B (zh) * | 2019-12-26 | 2023-10-24 | 深圳一清创新科技有限公司 | 基于复杂地面的点云数据滤除方法、装置、计算机设备 |
CN111709430B (zh) * | 2020-06-08 | 2021-10-15 | 大连理工大学 | 基于高斯过程回归的室外场景三维点云的地面提取方法 |
CN114066739A (zh) * | 2020-08-05 | 2022-02-18 | 北京万集科技股份有限公司 | 背景点云滤除方法、装置、计算机设备和存储介质 |
CN112232247A (zh) * | 2020-10-22 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 可行驶区域路面提取方法和装置 |
CN112991389B (zh) * | 2021-03-24 | 2024-04-12 | 深圳一清创新科技有限公司 | 一种目标跟踪方法、装置及移动机器人 |
CN113298910A (zh) * | 2021-05-14 | 2021-08-24 | 阿波罗智能技术(北京)有限公司 | 生成交通标志线地图的方法、设备和存储介质 |
CN115248447B (zh) * | 2021-09-29 | 2023-06-02 | 上海仙途智能科技有限公司 | 一种基于激光点云的路沿识别方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014149704A1 (en) * | 2013-03-15 | 2014-09-25 | Faro Technologies, Inc. | Diagnosing multipath interference and eliminating multipath interference in 3d scanners using projection patterns |
CN104764457A (zh) * | 2015-04-21 | 2015-07-08 | 北京理工大学 | 一种用于无人车的城市环境构图方法 |
CN107709930A (zh) * | 2015-06-18 | 2018-02-16 | 宝马股份公司 | 用于表示地图要素的方法和装置以及用于定位车辆/机器人的方法和装置 |
CN108917761A (zh) * | 2018-05-07 | 2018-11-30 | 西安交通大学 | 一种无人车在地下车库中的精确定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10482196B2 (en) * | 2016-02-26 | 2019-11-19 | Nvidia Corporation | Modeling point cloud data using hierarchies of Gaussian mixture models |
CN108445480B (zh) * | 2018-02-02 | 2022-05-03 | 重庆邮电大学 | 基于激光雷达的移动平台自适应扩展目标跟踪***及方法 |
CN108509918B (zh) * | 2018-04-03 | 2021-01-08 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
-
2019
- 2019-06-10 CN CN201910498228.0A patent/CN110349192B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014149704A1 (en) * | 2013-03-15 | 2014-09-25 | Faro Technologies, Inc. | Diagnosing multipath interference and eliminating multipath interference in 3d scanners using projection patterns |
CN104764457A (zh) * | 2015-04-21 | 2015-07-08 | 北京理工大学 | 一种用于无人车的城市环境构图方法 |
CN107709930A (zh) * | 2015-06-18 | 2018-02-16 | 宝马股份公司 | 用于表示地图要素的方法和装置以及用于定位车辆/机器人的方法和装置 |
CN108917761A (zh) * | 2018-05-07 | 2018-11-30 | 西安交通大学 | 一种无人车在地下车库中的精确定位方法 |
Non-Patent Citations (2)
Title |
---|
Extraction of preview elevation of road based on 3D sensor;Dingxuan Zhao et al.;《Measurement》;20181031;第127卷;第104-114页 * |
New iterative closest point algorithm for isotropic scaling registration of point sets with noise;Shaoyi Du et al.;《Journal of Visual Communication and Image Representation》;20160731;第38卷;第207-216页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110349192A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349192B (zh) | 一种基于三维激光点云的在线目标跟踪***的跟踪方法 | |
CN108955702B (zh) | 基于三维激光和gps惯性导航***的车道级地图创建*** | |
CN111626217B (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
Zai et al. | 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts | |
CN109186625B (zh) | 智能车辆利用混合采样滤波进行精确定位的方法及*** | |
CN109597087A (zh) | 一种基于点云数据的3d目标检测方法 | |
CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
Huang et al. | A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field | |
CN106875424A (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
CN107705560A (zh) | 一种融合视觉特征和卷积神经网络的道路拥堵检测方法 | |
CN114488194A (zh) | 一种智能驾驶车辆结构化道路下目标检测识别方法 | |
CN105261034A (zh) | 一种高速公路上车流量的统计方法及装置 | |
CN110334584B (zh) | 一种基于区域全卷积网络的手势识别方法 | |
Shan et al. | LiDAR-based stable navigable region detection for unmanned surface vehicles | |
CN110032952A (zh) | 一种基于深度学习的道路边界点检测方法 | |
CN105243354B (zh) | 一种基于目标特征点的车辆检测方法 | |
Wang et al. | RETRACTED ARTICLE: Intelligent traffic monitoring and traffic diagnosis analysis based on neural network algorithm | |
CN105761507A (zh) | 一种基于三维轨迹聚类的车辆计数方法 | |
CN112085101A (zh) | 一种高性能高可靠的环境融合感知方法及*** | |
CN114742975B (zh) | 一种车载图像铁轨曲线建模方法 | |
CN114820931B (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
CN115761265A (zh) | 一种用于提取激光雷达点云中变电站设备的方法及装置 | |
CN112348950B (zh) | 一种基于激光点云分布特性的拓扑地图节点生成方法 | |
CN104240268A (zh) | 一种基于流形学习与稀疏表示的行人跟踪方法 | |
Xu et al. | [Retracted] Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |