CN103198302B - 一种基于双模态数据融合的道路检测方法 - Google Patents
一种基于双模态数据融合的道路检测方法 Download PDFInfo
- Publication number
- CN103198302B CN103198302B CN201310124199.4A CN201310124199A CN103198302B CN 103198302 B CN103198302 B CN 103198302B CN 201310124199 A CN201310124199 A CN 201310124199A CN 103198302 B CN103198302 B CN 103198302B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- road
- point
- image
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 238000013459 approach Methods 0.000 title claims abstract description 15
- 230000002902 bimodal effect Effects 0.000 title claims abstract description 15
- 230000004888 barrier function Effects 0.000 claims abstract description 16
- 239000003086 colorant Substances 0.000 claims abstract description 4
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 238000012552 review Methods 0.000 claims abstract description 4
- 238000013461 design Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 15
- 238000002310 reflectometry Methods 0.000 claims description 11
- 238000003064 k means clustering Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004040 coloring Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 241000196324 Embryophyta Species 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 34
- 230000007812 deficiency Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双模态数据融合的道路检测方法。包括如下步骤:激光雷达三维点的坐标系转换;获取落在摄像机图像范围内的激光雷达三维点集合;设定高度阈值,获取障碍物激光雷达三维点的子集;获取可通行道路区域激光雷达三维点的子集;获取非路区域和可通行道路区域的颜色混合高斯模型;获取图像上道路检测的感兴趣区域;构建基于马尔科夫随机场能量函数,求解能量函数最小值,获得全局最优图像道路检测结果。本发明实现了对复杂环境的鲁棒;检测结果不受道路表面阴影影响;能将传感器感知环境中细小的障碍物与可通行道路路区域区分;能对激光雷达无数据返回的区域与非路的判断;它适用于自主车辆导航等领域。
Description
技术领域
本发明涉及图像分割技术,特别是涉及一种基于双模态数据融合的道路检测方法。
背景技术
基于传感器的道路检测算法在移动机器人自主导航领域中起着至关重要的作用。传统的道路检测算法基于单一的传感器,例如摄像机、激光雷达等。基于单一传感器对移动机器人周围环境进行感知存在着许多不足。单目摄像机能提供环境的颜色信息,但是该传感器对光照环境的不变性要求较高,在道路检测中对阴影和颜色对比度小的环境不鲁棒。双目摄像机可以通过获取环境的三维信息弥补单目摄像机在环境光线变化、出现斑驳阴影以及颜色对比度小的情况下检测效果差的不足,但是基于摄像机的三维重建***不能满足算法实时性要求。激光雷达一般来说能准确的得到移动机器人周围环境的三维信息,但该传感器的不足在于,一方面不能获取无激光射线返回的物体的三维信息,例如水面、镜面物体,另一方面不能获取环境的颜色信息。
近年来,研究者进行了一系列基于多传感器融合进行道路检测的研究,其中将摄像机与激光雷达进行融合成为该领域的热门。这些研究主要分为两类,一类是在数据层上进行融合,将摄像机得到的图像信息和激光雷达得到的三维点信息作为特征进行分类,该方法的缺点是需要大量的人工标注来对样本进行训练,而且分类的结果好坏依赖于样本是否全面;另一类在决策层上进行融合,先将摄像机的图像信息与激光雷达的三维点信息分别进行分类,然后建立一个融合分类网络将两种传感器分类结果融合,该方法的缺点是需要人工定义融合分类网络,当分类类别数量较大时,该网络的定义将相当复杂。
发明内容
本发明的目的是提出一种基于双模态数据融合的道路检测方法,解决传统基于单一模态数据进行道路检测对环境光线变化不鲁棒,受道路上阴影影响大,对道路上路牌杆、护栏检测不敏感,对传感器无数据返回区域无法检测的问题。
本发明采用的技术方案的步骤如下:
1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系,包括x轴,y1轴和z轴下的激光雷达三维点XL=(xl,yl,zl)T通过左乘激光雷达与摄像机之间的旋转平移矩阵[RLCtLC]转换为摄像机三维坐标系下的激光雷达三维点XC=(xc,yc,zc)T,其中RLC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵,tLC表示激光雷达坐标系与摄像机坐标系之间的平移量,(xl,yl,zl)和(xc,yc,zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值,该坐标系转换公式(1)如下,其中和分别表示XC和XL的其次坐标(xc,yc,zc,1)T和(xl,yl,zl,1)T,
1.2)获取落在摄像机图像范围内的激光雷达三维点集合Γ:通过摄像机的内外参矩阵K,将摄像机三维坐标系下的激光雷达三维点XC投影为摄像机拍摄二维图像的坐标系,u轴,即图像横轴和v轴,即图像纵轴下的激光雷达二维点XI=(uI,vI)T,(uI,vI)表示二维图像的坐标系下激光雷达二维点的坐标值,摄像机投影公式(2)如下,其中表示XI的其次坐标(uI,vI,1)T,
选取激光雷达二维点XI中在图像长IL宽IW范围内的二维点对应的激光雷达坐标系下的激光雷达三维点,记为XL′=(xl′,yl′,zl′)T,作为集合Γ;
1.3)获取障碍物激光雷达三维点的子集ΓO,并拟合道路所在的地平面:根据激光雷达安装的高度,设定高度阈值h,令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集,记为ΓO,令激光雷达三维点集合Γ中z坐标在阈值h以下的点,记为Γ/ΓO,用于RANSAC平面拟合算法,拟合得到的平面即为道路所在地平面,该拟合的地平面参数记为π=(a,b,c,d)T,RANSAC平面拟合算法得到的内点集合记为其中为XL′的其次坐标,为设定的距离阈值;
1.4)获取可通行道路区域激光雷达三维点的子集ΓR:RANSAC平面拟合算法得到的内点集合ΓG中包含了所有离平面π=(a,b,c,d)T距离小于的激光雷达三维点,但这些点中不仅包含可通行道路区域中的点,而且包含与道路平面垂直高度距离小于的绿化带上的点,为了将可通行道路区域与绿化带区分,需要运用激光雷达射线对含叶绿素的植物反射率强的性质,通过k-means聚类算法对路面上的激光雷达点进行两类的聚类,其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集,记为ΓR;
1.5)分别获取非路区域和可通行道路区域的颜色混合高斯模型ΘB和ΘR:分别用激光雷达三维点集ΓO和ΓR对应的图像上激光雷达二维点XI坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型估计,得到估计的非路区域和可通行道路区域的颜色模型分别用ΘB和ΘR表示;
1.6)获取图像上道路检测的感兴趣区域ROI:通过摄像机坐标系下拟合的地平面参数π=(a,b,c,d)T,定义摄像机坐标系下地平面无穷远处三维点X∞为再通过摄像机的内外参矩阵K,得到摄像机坐标系下地平面穷远点对应的图像地平线上的点XH=(uH,vH)T,如公式(3)所示,其中为XH的其次坐标,
然后将Κ个图像地平线上的点XH通过最小二乘算法拟合地平线H=(α0,-1,α1),其中α0和α1为直线参数,使地平线上的点满足vH=α0uH+α1,并设定图像地平线H以下为图像上道路检测感兴趣区域ROI;
1.7)马尔科夫随机场能量函数初始设计:利用马尔科夫随机场原理,将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题,该能量函数初始设计Ε(L,F,Θ)如公式(4)所示,
Ε(L,F,Θ)=λΕSmooth(L,F)+ΕData(L,F,Θ)(4)
其中,L={li|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记li的集合,li的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”,F={fi|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征fi的集合,在本方法中选取图像像素点的RGB值作为该像素点的特征,即fi=(Ri,Gi,Bi),(Ri,Gi,Bi)表示第i个像素点的R,G,B三个颜色通道的值,Θ={ΘB,ΘR}表示经计算得到的非路与可通行道路的先验概率模型,ΕSmooth和ΕData分别是该能量函数的平滑项和数据项,λ是调节平滑项和数据项的权重参数;
1.8)马尔科夫随机场能量函数最终设计:通过考虑激光雷达点提供的信息,在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集ΓO和可通行道路区域子集ΓR对应的图像像素点作为已知的部分分割结果,新的能量函数设计如公式(5)所示
Ε(L,F,Θ,S)=λΕSmooth(L,F)+ΕData(L,F,Θ,S)(5)
其中,与公式(4)不同在于,增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集ΓO和可通行道路区域子集ΓR;
1.9)求解能量函数最小值,获得全局最优图像道路检测结果:通过图割方法对公式(5)所示能量函数进行最小值求解,公式(5)所示能量函数的最小值对应的L的取值,即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。
所述的RANSAC平面拟合算法,用激光雷达三维点集合Γ中z坐标在阈值h以下的点,记为计算地平面参数π=(a,b,c,d)T,RANSAC平面拟合算法按照以下步骤进行:
2.1)从样本点集XR中随机抽取3个点,得到平面初始模型π0=(a0,b0,c0,d0)T;
2.2)计算样本点集XR中与初始平面模型π0的距离小于阈值t1的子集构成内点集合XInliers;
2.3)若内点集合XInliers中元素个数超过阈值t2,则用XInliers采用最小二乘算法重新计算平面模型π*,重复步骤2)和3),直到算法收敛;
2.4)若内点集合XInliers中元素个数没有超过阈值t2,则返回步骤2.1)。
所述的k-means聚类算法,是将激光雷达三维点样本特征聚类为两类,其中r,d分别表示该激光雷达三维点的反射率、入射角和反射距离,k-means聚类算法按照以下步骤进行:
3.1)随机选取两个聚类质心
3.2)对于第n一个样本激光雷达三维点的特征如公式(6)计算其应该属于的类cn,其中cn取值1和2,分别表示以γ1和γ2为聚类质心的类,j表示类的序号;
3.3)如公式(7)所示,对于每一类j,重新计算该类的质心γj,其中mj表示第j类的样本点个数
3.4)重复步骤3.2)和3.3),直至算法收敛。
所述的混合高斯模型估计通过下述方式估计由五个高斯分布加权构成的混合高斯模型,令在图像感兴趣区域ROI中第i个像素点的特征fi服从如公式(8)所示概率,其中N(fi;μk,Σk)是随机变量向量为fi,均值向量为μk,协方差矩阵为Σk的高斯分布,εj是每个高斯分布的加权因子,k=[1,5]是五个高斯分布的标号
由于样本服从的概率分布参数未知,需要找到一组混合高斯模型参数Θ=(θ1,θ2,θ3,θ4,θ5),使得生成这些样本点的概率最大,其中θk=(εk,μk,Σk),该混合高斯模型用其参数Θ表示,令Μ为图像感兴趣区域像素点的数量,定义似然函数如公式(9)
通过期望最大算法求解如公式(10)所示,得到估计的混合高斯模型参数Θ*,
所述的最小二乘算法拟合地平线,给定K组数据(g1=0,1,...,K),找一个直线方程vH=S*(uH)使误差平方和满足公式(11),其中S(uH)=a0uH+a1,
所述的马尔科夫随机场建模,将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场,其中F构成观测层,其条件概率服从非路与可通行道路的先验概率模型,即所估计的混合高斯模型ΘB和ΘR,L构成隐藏层,从而本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。
所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息;
7.1)能量函数的平滑项用于描述图像像素点邻域Ν(i)内的像素点之间的依赖关系,如公式(12)所示
其中,Ν(i)是像素点i的上、下、左和右四邻域;T(e)的取值0和1分别表示事件e为假和真;
7.2)能量函数的数据项用于估计各像素点标记为非路或可通行道路的置信度,如公式(13)所示
其中,p(fi|ΘR)和p(fi|ΘB)分别为路与非路的似然概率,分别服从的路和非路的先验概率分布ΘR和ΘB。
所述的马尔科夫随机场能量函数最终设计,在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑;在新的设计中,将已被分类为路与障碍物的激光雷达点子集ΓR和ΓO对应的图像像素点集分别作为可通行道路与非路的部分分割结果,由此引入一个新的变量集S={si|i∈ROI},由于摄像机与激光雷达非同质传感器,也就是说像素点与激光雷达点之间不存在一一对应关系,定义si如公式(14)所示
定义新的能量函数保持平滑项不变,数据项如公式(15)至(17)所示
其中,α和β都是根据实验设定的参数,α是一个正数,β是一个正数,且β大于α。
本发明与背景技术相比具有的有益效果是:
1)对传感器感知环境中的光线变化鲁棒,适用于自主车辆导航等领域;
2)检测结果不受道路表面阴影影响;
3)能将传感器感知环境中细小的障碍物,例如路牌杆、护栏、电线杆与可通行道路路区域区分;
4)能对激光雷达无数据返回的区域,例如水面、玻璃,进行路与非路的判断;
5)属于自监督学习算法,无需任何人工标记;
6)无需人工定义融合分类网络。
附图说明
图1是基于双模态数据融合的道路检测方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明采用KITTI数据集中原始数据,包括像素为的彩色图像、激光雷达数据点以及激光雷达与摄像机之间的旋转平移矩阵[RLCtLC],进行实验,如图1所示,实施步骤如下:
1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系,包括x轴,y轴和z轴下的激光雷达三维点XL=(xl,yl,zl)T通过左乘激光雷达与摄像机之间的旋转平移矩阵[RLCtLC],转换为摄像机三维坐标系下的激光雷达三维点XC=(xc,yc,zc)T,其中RLC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵,tLC表示激光雷达坐标系与摄像机坐标系之间的平移量,(xl,yl,zl)和(xc,yc,zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值,该坐标系转换公式(1)如下,其中和分别表示XC和XL的其次坐标(xc,yc,zc,1)T和(xl,yl,zl,1)T,
在本实施例中,激光雷达在一个场景中共获得117765个数据点,激光雷达与摄像机之间的旋转平移矩阵[RLCtLC]具体数值为
1.2)获取落在摄像机图像范围内的激光雷达三维点集合Γ:通过摄像机的内外参矩阵K,将摄像机三维坐标系下的激光雷达三维点XC投影为摄像机拍摄二维图像的坐标系,u轴,即图像横轴和v轴,即图像纵轴下的激光雷达二维点XI=(uI,vI)T,(uI,vI)表示二维图像的坐标系下激光雷达二维点的坐标值,摄像机投影公式(2)如下,其中表示XI的其次坐标(uI,vI,1)T,
选取激光雷达二维点XI中在图像长IL宽IW范围内的二维点对应的激光雷达坐标系下的激光雷达三维点,记为XL'=(xl',yl',zl')T,作为集合Γ;
在本实施例中,图像长IL宽IW分别为375和1242,单位是像素,所得集合Γ中元素个数为18744,摄像机的内外参矩阵K具体数值为
1.3)获取障碍物激光雷达三维点的子集ΓO,并拟合道路所在的地平面:根据激光雷达安装的高度,设定高度阈值h,令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集,记为ΓO,令激光雷达三维点集合Γ中z坐标在阈值h以下的点,记为Γ/ΓO,用于RANSAC平面拟合算法,拟合得到的平面即为道路所在地平面,该拟合的地平面参数记为π=(a,b,c,d)T,RANSAC平面拟合算法得到的内点集合记为其中为XL'的其次坐标,为设定的距离阈值在此设为0.08米;
在本实施例中,高度阈值h设为1.3米,障碍物激光雷达点的子集ΓO元素个数为5014,用于RANSAC平面拟合算法的激光雷达三维点个数为13730,距离阈值为0.08米,拟合得到的平面参数为(0.0095,0.0052,-1,-1.7110)T,平面拟合内点的个数为13130,内点ΓG占输入RANSAC算法数据点Γ/ΓO的比例为95.63%;
1.4)获取可通行道路区域激光雷达三维点的子集ΓR:RANSAC平面拟合算法得到的内点集合ΓG中包含了所有离平面π=(a,b,c,d)T距离小于的激光雷达三维点,但这些点中不仅包含可通行道路区域中的点,而且包含与道路平面垂直高度距离小于的绿化带上的点,为了将可通行道路区域与绿化带区分,需要运用激光雷达射线对含叶绿素的植物反射率强的性质,通过k-means聚类方法对路面上的激光雷达点进行两类的聚类,其中反射率均值较低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集,记为ΓR;
在本实施例中,k-means聚类方法所聚两类的反射率均值分别为0.1118和0.2954,其中反射率均值为0.1118那一类作为可通行道路区域激光雷达点的子集ΓR,其个数为2947;
1.5)分别获取非路区域和可通行道路区域的颜色混合高斯模型ΘB和ΘR:分别用激光雷达三维点集ΓO和ΓR对应的图像上激光雷达二维点XI坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型建模估计,得到估计的非路区域和可通行道路区域的颜色模型分别用ΘB和ΘR表示;
在本实施例中,非路区域和可通行道路区域的颜色模型分别用ΘB和ΘR分别为:
1.6)获取图像上道路检测的感兴趣区域ROI:通过摄像机坐标系下拟合的地平面参数π=(a,b,c,d)T,定义摄像机坐标系下地平面无穷远处三维点X∞为再通过摄像机的内外参矩阵K,得到摄像机坐标系下地平面穷远点对应的图像地平线上的点XH=(uH,vH)T,如公式(3)所示,其中为XH的其次坐标,
然后运用最小二乘算法,将Κ个图像地平线上的点XH拟合成地平线H=(α0,-1,α1),其中α0和α1为直线参数,使地平线上的点满足vH=α0uH+α1,并设定图像地平线H以下为图像上道路检测感兴趣区域ROI;
在本实施例中,随机选取1242个三维空间中的无穷远点,拟合得到的地平线参数为H=(-0.0054,-1,176.78);
1.7)马尔科夫随机场能量函数初始设计:利用马尔科夫随机场原理,将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题,该能量函数初始设计Ε(L,F,Θ)如公式(4)所示,
Ε(L,F,Θ)=λΕSmooth(L,F)+ΕData(L,F,Θ)(4)
其中,L={li|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记li的集合,li的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”,F={fi|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征fi的集合,在本方法中选取图像像素点的RGB值作为该像素点的特征,即fi=(Ri,Gi,Bi),(Ri,Gi,Bi)表示第i个像素点的R,G,B三个颜色通道的值,Θ={ΘB,ΘR}表示经计算得到的非路与可通行道路的先验概率模型,ΕSmooth和ΕData分别是该能量函数的平滑项和数据项,λ是调节平滑项和数据项的权重参数;
1.8)通过考虑激光雷达点提供的信息,在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集ΓO和可通行道路区域子集ΓR对应的图像像素点作为已知的部分分割结果,新的能量函数设计如公式(5)所示
Ε(L,F,Θ,S)=λΕSmooth(L,F)+ΕData(L,F,Θ,S)(5)
其中,与公式(4)不同在于,增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集ΓO和可通行道路区域子集ΓR;
1.9)通过图割方法对公式(5)所示能量函数进行最小值求解,公式(5)所示能量函数的最小值对应的L的取值,即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。
所述的RANSAC平面拟合算法,用激光雷达三维点集合Γ中z坐标在阈值h以下的点,记为计算地平面参数π=(a,b,c,d)T,RANSAC平面拟合算法按照以下步骤进行:
2.1)从样本点集XR中随机抽取3个点,得到平面初始模型π0=(a0,b0,c0,d0)T;
2.2)计算样本点集XR中与初始平面模型π0的距离小于阈值t1的子集构成内点集合XInliers;
2.3)若内点集合XInliers中元素个数超过阈值t2,则用XInliers采用最小二乘算法重新计算平面模型π*,重复步骤2)和3),直到算法收敛;
2.4)若内点集合XInliers中元素个数没有超过阈值t2,则返回步骤2.1)。
所述的k-means聚类算法,是将激光雷达三维点样本特征聚类为两类,其中r,d分别表示该激光雷达三维点的反射率、入射角和反射距离,k-means聚类算法按照以下步骤进行:
3.1)随机选取两个聚类质心
3.2)对于第n一个样本激光雷达三维点的特征如公式(6)计算其应该属于的类cn,其中cn取值1和2,分别表示以γ1和γ2为聚类质心的类,j表示类的序号;
3.3)如公式(7)所示,对于每一类j,重新计算该类的质心γj,其中mj表示第j类的样本点个数
3.4)重复步骤3.2)和3.3),直至算法收敛。
4.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的混合高斯模型由五个高斯分布加权构成,在图像感兴趣区域ROI中第i个像素点的特征fi,服从如公式(8)所示概率,其中N(fi;μk,Σk)是随机变量向量为fi,均值向量为μk,协方差矩阵为Σk的高斯分布,εj是每个高斯分布的加权因子,k=[1,5]是五个高斯分布的标号
由于样本服从的概率分布参数未知,需要找到一组参数Θ=(θ1,θ2,θ3,θ4,θ5),使得生成这些样本点的概率最大,其中θk=(εk,μk,Σk),令Μ为图像感兴趣区域像素点的数量,定义似然函数如公式(9)
通过期望最大算法求解如公式(10)所示,得到估计的参数Θ*,
所述的最小二乘算法拟合地平线,给定K组数据(g1=0,1,...,K),找一个直线方程vH=S*(uH)使误差平方和满足公式(11),其中S(uH)=a0uH+a1,
所述的马尔科夫随机场建模,将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场,其中F构成观测层,其条件概率服从非路与可通行道路的先验概率ΘB和ΘR,L构成隐藏层,从而,本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。
所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息;
7.1)能量函数的平滑项用于描述图像像素点邻域Ν(i)内的像素点之间的依赖关系,如公式(12)所示
其中,Ν(i)是像素点i的上、下、左和右四邻域;T(e)的取值0和1分别表示事件e为假和真;
7.2)能量函数的数据项用于估计各像素点标记为非路或可通行道路的置信度,如公式(13)所示
其中,p(fi|ΘR)和p(fi|ΘB)分别为路与非路的似然概率,分别服从的路和非路的先验概率分布ΘR和ΘB。
所述的马尔科夫随机场能量函数的最终设计,在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑;在新的设计中,将已被分类为路与障碍物的激光雷达点子集ΓR和ΓO对应的图像像素点集分别作为可通行道路与非路的部分分割结果,由此引入一个新的变量集S={si|i∈ROI},由于摄像机与激光雷达非同质传感器,也就是说像素点与激光雷达点之间不存在一一对应关系,定义si如公式(14)所示
定义新的能量函数保持平滑项不变,数据项如公式(15)至(17)所示
其中,α和β都是根据实验设定的参数,α是一个正数,β是一个正数,且β大于α。
在本实施例中,α和β分别是5和100。
通过对KITTI数据集中2303组数据进行实验,并与人工标注的真值进行对比,得到结果如下所示
方法 | 能量函数初始设计 | 能量函数最终设计 |
准确率 | 93.208% | 94.403% |
召回率 | 93.406% | 93.337% |
Claims (8)
1.一种基于双模态数据融合的道路检测方法,其特征在于,包括如下步骤:
1.1)激光雷达三维点的坐标系转换:将激光雷达三维坐标系,包括x轴,y轴和z轴下的激光雷达三维点XL=(xl,yl,zl)T通过左乘激光雷达与摄像机之间的旋转平移矩阵[RLCtLC]转换为摄像机三维坐标系下的激光雷达三维点XC=(xc,yc,zc)T,其中RLC表示激光雷达坐标系与摄像机坐标系之间的旋转矩阵,tLC表示激光雷达坐标系与摄像机坐标系之间的平移量,(xl,yl,zl)和(xc,yc,zc)分别表示激光雷达坐标系下和摄像机坐标系下激光雷达三维点的坐标值,该坐标系转换公式(1)如下,其中和分别表示XC和XL的其次坐标(xc,yc,zc,1)T和(xl,yl,zl,1)T,
1.2)获取落在摄像机图像范围内的激光雷达三维点集合Γ:通过摄像机的内外参矩阵K,将摄像机三维坐标系下的激光雷达三维点XC投影为摄像机拍摄二维图像的坐标系,u轴,即图像横轴和v轴,即图像纵轴下的激光雷达二维点XI=(uI,vI)T,(uI,vI)表示二维图像的坐标系下激光雷达二维点的坐标值,摄像机投影公式(2)如下,其中表示XI的其次坐标(uI,vI,1)T,
选取激光雷达二维点XI中在图像长IL宽IW范围内的二维点对应的激光雷达坐标系下的激光雷达三维点,记为XL'=(xl',yl',zl')T,作为集合Γ;
1.3)获取障碍物激光雷达三维点的子集ΓO,并拟合道路所在的地平面:根据激光雷达安装的高度,设定高度阈值h,令激光雷达三维点集合Γ中z坐标在阈值h以上的点作为激光雷达检测到障碍物点的子集,记为ΓO,令激光雷达三维点集合Γ中z坐标在阈值h以下的点,记为Γ/ΓO,用于RANSAC平面拟合算法,拟合得到的平面即为道路所在地平面,该拟合的地平面参数记为π=(a,b,c,d)T,RANSAC平面拟合算法得到的内点集合记为其中为XL'的其次坐标,为设定的距离阈值;
1.4)获取可通行道路区域激光雷达三维点的子集ΓR:RANSAC平面拟合算法得到的内点集合ΓG中包含了所有离平面π=(a,b,c,d)T距离小于的激光雷达三维点,但这些点中不仅包含可通行道路区域中的点,而且包含与道路平面垂直高度距离小于的绿化带上的点,为了将可通行道路区域与绿化带区分,需要运用激光雷达射线对含叶绿素的植物反射率强的性质,通过k-means聚类算法对路面上的激光雷达点进行两类的聚类,其中反射率均值低的一类激光雷达三维点作为可通行道路区域激光雷达三维点的子集,记为ΓR;
1.5)分别获取非路区域和可通行道路区域的颜色混合高斯模型ΘB和ΘR:分别用激光雷达三维点集ΓO和ΓR对应的图像上激光雷达二维点XI坐标值上的图像像素点颜色信息对非路区域和可通行道路区域进行混合高斯模型估计,得到估计的非路区域和可通行道路区域的颜色模型分别用ΘB和ΘR表示;
1.6)获取图像上道路检测的感兴趣区域ROI:通过摄像机坐标系下拟合的地平面参数π=(a,b,c,d)T,定义摄像机坐标系下地平面无穷远处三维点X∞为再通过摄像机的内外参矩阵K,得到摄像机坐标系下地平面穷远点对应的图像地平线上的点XH=(uH,vH)T,如公式(3)所示,其中为XH的其次坐标,
然后将Κ个图像地平线上的点XH通过最小二乘算法拟合地平线H=(α0,-1,α1),其中α0和α1为直线参数,使地平线上的点满足vH=α0uH+α1,并设定图像地平线H以下为图像上道路检测感兴趣区域ROI;
1.7)马尔科夫随机场能量函数初始设计:利用马尔科夫随机场原理,将图像感兴趣区域ROI内的道路检测全局最优问题转化为解马尔科夫随机场的能量最小问题,该能量函数初始设计Ε(L,F,Θ)如公式(4)所示,
Ε(L,F,Θ)=λΕSmooth(L,F)+ΕData(L,F,Θ)(4)
其中,L={li|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应标记li的集合,li的取值0和1分别表示第i个像素点的标记为“非路”和“可通行道路”,F={fi|i∈ROI}表示图像感兴趣区域ROI内第i个像素点对应特征fi的集合,在本方法中选取图像像素点的RGB值作为该像素点的特征,即fi=(Ri,Gi,Bi),(Ri,Gi,Bi)表示第i个像素点的R,G,B三个颜色通道的值,Θ={ΘB,ΘR}表示经计算得到的非路与可通行道路的先验概率模型,ΕSmooth和ΕData分别是该能量函数的平滑项和数据项,λ是调节平滑项和数据项的权重参数;
1.8)马尔科夫随机场能量函数最终设计:通过考虑激光雷达点提供的信息,在最终设计的能量函数中将在激光雷达三维点中获得的障碍物子集ΓO和可通行道路区域子集ΓR对应的图像像素点作为已知的部分分割结果,新的能量函数设计如公式(5)所示
Ε(L,F,Θ,S)=λΕSmooth(L,F)+ΕData(L,F,Θ,S)(5)
其中,与公式(4)不同在于,增加了变量S用于表示图像感兴趣区域ROI内的像素点对应的激光雷达三维点障碍物子集ΓO和可通行道路区域子集ΓR;
1.9)求解能量函数最小值,获得全局最优图像道路检测结果:通过图割方法对公式(5)所示能量函数进行最小值求解,公式(5)所示能量函数的最小值对应的L的取值,即为图像感兴趣区域ROI内全局最优的可通行区域道路检测结果。
2.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的RANSAC平面拟合算法,用激光雷达三维点集合Γ中z坐标在阈值h以下的点,记为计算地平面参数π=(a,b,c,d)T,RANSAC平面拟合算法按照以下步骤进行:
2.1)从样本点集XR中随机抽取3个点,得到平面初始模型π0=(a0,b0,c0,d0)T;
2.2)计算样本点集XR中与初始平面模型π0的距离小于阈值t1的子集构成内点集合XInliers;
2.3)若内点集合XInliers中元素个数超过阈值t2,则用XInliers采用最小二乘算法重新计算平面模型π*,重复步骤2)和3),直到算法收敛;
2.4)若内点集合XInliers中元素个数没有超过阈值t2,则返回步骤2.1)。
3.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的k-means聚类算法,是将激光雷达三维点样本特征聚类为两类,其中r,d分别表示该激光雷达三维点的反射率、入射角和反射距离,k-means聚类算法按照以下步骤进行:
3.1)随机选取两个聚类质心
3.2)对于第n一个样本激光雷达三维点的特征如公式(6)计算其应该属于的类cn,其中cn取值1和2,分别表示以γ1和γ2为聚类质心的类,j表示类的序号;
3.3)如公式(7)所示,对于每一类j,重新计算该类的质心γj,其中mj表示第j类的样本点个数
3.4)重复步骤3.2)和3.3),直至算法收敛。
4.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的混合高斯模型估计通过下述方式估计由五个高斯分布加权构成的混合高斯模型,令在图像感兴趣区域ROI中第i个像素点的特征fi服从如公式(8)所示概率,其中N(fi;μk,Σk)是随机变量向量为fi,均值向量为μk,协方差矩阵为Σk的高斯分布,εj是每个高斯分布的加权因子,k=[1,5]是五个高斯分布的标号
由于样本服从的概率分布参数未知,需要找到一组混合高斯模型参数Θ=(θ1,θ2,θ3,θ4,θ5),使得生成这些样本点的概率最大,其中θk=(εk,μk,Σk),该混合高斯模型用其参数Θ表示,令Μ为图像感兴趣区域像素点的数量,定义似然函数如公式(9)
通过期望最大算法求解如公式(10)所示,得到估计的混合高斯模型参数Θ*,
5.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的最小二乘算法拟合地平线,给定K组数据(g1=0,1,...,K),找一个直线方程vH=S*(uH)使误差平方和满足公式(11),其中S(uH)=a0uH+a1,
6.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的马尔科夫随机场建模,将已经观测到的图像像素点特征F与像素点对应的未知标记L构建成一个两层的马尔科夫随机场,其中F构成观测层,其条件概率服从非路与可通行道路的先验概率模型,即所估计的混合高斯模型ΘB和ΘR,L构成隐藏层,从而本方法中的全局最优图像道路检测问题被描述为马尔科夫随机场中求解能量函数最小问题。
7.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的马尔科夫随机场能量函数初始设计仅考虑来自于摄像机单模态的像素信息;
7.1)能量函数的平滑项用于描述图像像素点邻域Ν(i)内的像素点之间的依赖关系,如公式(12)所示
其中,Ν(i)是像素点i的上、下、左和右四邻域;T(e)的取值0和1分别表示事件e为假和真;
7.2)能量函数的数据项用于估计各像素点标记为非路或可通行道路的置信度,如公式(13)所示
其中,p(fi|ΘR)和p(fi|ΘB)分别为路与非路的似然概率,分别服从的路和非路的先验概率分布ΘR和ΘB。
8.根据权利要求1所述的一种基于双模态数据融合的道路检测方法,其特征在于:所述的马尔科夫随机场能量函数最终设计,在初始设计的能量函数的基础上增加了对激光雷达三维点的考虑;在新的设计中,将已被分类为路与障碍物的激光雷达点子集ΓR和ΓO对应的图像像素点集分别作为可通行道路与非路的部分分割结果,由此引入一个新的变量集S={si|i∈ROI},由于摄像机与激光雷达非同质传感器,也就是说像素点与激光雷达点之间不存在一一对应关系,定义si如公式(14)所示
定义新的能量函数保持平滑项不变,数据项如公式(15)至(17)所示
其中,α和β都是根据实验设定的参数,α是一个正数,β是一个正数,且β大于α。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310124199.4A CN103198302B (zh) | 2013-04-10 | 2013-04-10 | 一种基于双模态数据融合的道路检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310124199.4A CN103198302B (zh) | 2013-04-10 | 2013-04-10 | 一种基于双模态数据融合的道路检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103198302A CN103198302A (zh) | 2013-07-10 |
CN103198302B true CN103198302B (zh) | 2015-12-02 |
Family
ID=48720838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310124199.4A Active CN103198302B (zh) | 2013-04-10 | 2013-04-10 | 一种基于双模态数据融合的道路检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103198302B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899855A (zh) * | 2014-03-06 | 2015-09-09 | 株式会社日立制作所 | 三维障碍物检测方法和装置 |
CN104077756B (zh) * | 2014-07-16 | 2017-02-08 | 中电海康集团有限公司 | 一种基于车道线置信度的方向滤波方法 |
CN104392245B (zh) * | 2014-12-15 | 2017-11-28 | 长春理工大学 | 多传感器融合的路面类型识别方法及装置 |
CN104778452B (zh) * | 2015-04-02 | 2018-04-17 | 浙江大学 | 一种基于机器学习的可行区域检测方法 |
CN105046688B (zh) * | 2015-06-23 | 2017-10-10 | 北京工业大学 | 一种三维点云中的多平面自动识别方法 |
CN106560835B (zh) * | 2015-09-30 | 2019-05-24 | 高德软件有限公司 | 一种路牌识别方法及装置 |
CN105631880B (zh) * | 2015-12-31 | 2019-03-22 | 百度在线网络技术(北京)有限公司 | 车道线分割方法和装置 |
WO2017159382A1 (ja) * | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 信号処理装置および信号処理方法 |
CN105955267A (zh) * | 2016-05-11 | 2016-09-21 | 上海慧流云计算科技有限公司 | 一种移动控制方法及*** |
CN106295556A (zh) * | 2016-08-09 | 2017-01-04 | 中国科学院遥感与数字地球研究所 | 一种基于小型无人机航拍图像的道路检测方法 |
KR102243118B1 (ko) | 2016-12-29 | 2021-04-21 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 지상 환경 검출 방법 및 장치 |
JP7157054B2 (ja) | 2017-01-26 | 2022-10-19 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
KR102199093B1 (ko) * | 2017-02-10 | 2021-01-06 | 닛산 노쓰 아메리카, 인크. | 부분 관측가능한 마르코프 결정 프로세스 모델 인스턴스를 동작시키는 것을 포함하는 자율주행 차량 운용 관리 |
CN106872995B (zh) * | 2017-04-14 | 2019-09-20 | 北京佳讯飞鸿电气股份有限公司 | 一种激光雷达探测方法及装置 |
CN107463918B (zh) * | 2017-08-17 | 2020-04-24 | 武汉大学 | 基于激光点云与影像数据融合的车道线提取方法 |
US20190120934A1 (en) * | 2017-10-19 | 2019-04-25 | GM Global Technology Operations LLC | Three-dimensional alignment of radar and camera sensors |
CN109840454B (zh) * | 2017-11-28 | 2021-01-29 | 华为技术有限公司 | 目标物定位方法、装置、存储介质以及设备 |
US10620637B2 (en) * | 2017-11-29 | 2020-04-14 | GM Global Technology Operations LLC | Systems and methods for detection, classification, and geolocation of traffic objects |
CN109035759B (zh) * | 2018-06-13 | 2021-02-02 | 重庆邮电大学 | 一种护栏检测评估方法 |
CN109074490B (zh) * | 2018-07-06 | 2023-01-31 | 达闼机器人股份有限公司 | 通路检测方法、相关装置及计算机可读存储介质 |
CN109087345A (zh) * | 2018-09-06 | 2018-12-25 | 上海仙知机器人科技有限公司 | 基于ToF成像***的栈板识别方法及自动导引运输车 |
CN110893617B (zh) * | 2018-09-13 | 2021-09-17 | 深圳市优必选科技有限公司 | 障碍物检测方法、装置及存储装置 |
CN109683170B (zh) * | 2018-12-27 | 2021-07-02 | 驭势科技(北京)有限公司 | 一种图像行驶区域标注方法、装置、车载设备及存储介质 |
CN110084107A (zh) * | 2019-03-19 | 2019-08-02 | 安阳师范学院 | 一种基于改进mrf的高分辨率遥感影像道路提取方法及装置 |
CN110032188A (zh) * | 2019-04-10 | 2019-07-19 | 湖南汽车工程职业学院 | 一种基于无人驾驶观光电动车的自主避障方法 |
CN110378196B (zh) * | 2019-05-29 | 2022-08-02 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
CN112749645B (zh) * | 2020-12-30 | 2023-08-01 | 成都云盯科技有限公司 | 基于监控视频的服装颜色检测方法、装置和设备 |
CN114137511B (zh) * | 2021-11-24 | 2023-11-14 | 中国民用航空总局第二研究所 | 一种基于多源异构传感器的机场跑道异物融合探测方法 |
CN114898321A (zh) * | 2022-06-02 | 2022-08-12 | 重庆交通职业学院 | 道路可行驶区域检测方法、装置、设备、介质及*** |
CN115620263B (zh) * | 2022-10-25 | 2023-08-15 | 四川吉利学院 | 基于摄像机和激光雷达图像融合的智能车障碍物检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101907459A (zh) * | 2010-07-12 | 2010-12-08 | 清华大学 | 基于单目视频的实时三维刚体目标姿态估计与测距方法 |
US20110157178A1 (en) * | 2009-12-28 | 2011-06-30 | Cuneyt Oncel Tuzel | Method and System for Determining Poses of Objects |
CN102176243A (zh) * | 2010-12-30 | 2011-09-07 | 浙江理工大学 | 一种基于可见光和红外摄像机的目标测距方法 |
-
2013
- 2013-04-10 CN CN201310124199.4A patent/CN103198302B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110157178A1 (en) * | 2009-12-28 | 2011-06-30 | Cuneyt Oncel Tuzel | Method and System for Determining Poses of Objects |
CN101907459A (zh) * | 2010-07-12 | 2010-12-08 | 清华大学 | 基于单目视频的实时三维刚体目标姿态估计与测距方法 |
CN102176243A (zh) * | 2010-12-30 | 2011-09-07 | 浙江理工大学 | 一种基于可见光和红外摄像机的目标测距方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103198302A (zh) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103198302B (zh) | 一种基于双模态数据融合的道路检测方法 | |
Hu et al. | Classification and mapping of urban canyon geometry using Google Street View images and deep multitask learning | |
CN110175576A (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
CN105869178B (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
CN103268729B (zh) | 基于混合特征的移动机器人级联式地图创建方法 | |
CN110335337A (zh) | 一种基于端到端半监督生成对抗网络的视觉里程计的方法 | |
CN103258203B (zh) | 遥感影像的道路中线自动提取方法 | |
CN110378196A (zh) | 一种结合激光点云数据的道路视觉检测方法 | |
CN109582993A (zh) | 城市交通场景图像理解与多视角群智优化方法 | |
CN104115192A (zh) | 三维近距离交互的改进或与其有关的改进 | |
CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
CN106875424A (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
CN107730881A (zh) | 基于深度卷积神经网络的交通拥堵视觉检测*** | |
CN111612059A (zh) | 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法 | |
CN103632167B (zh) | 类地重力场环境下单目视觉空间识别方法 | |
CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
CN110349192A (zh) | 一种基于三维激光点云的在线目标跟踪***的跟踪方法 | |
CN111880191B (zh) | 基于多智能体激光雷达和视觉信息融合的地图生成方法 | |
CN106991411B (zh) | 基于深度形状先验的遥感图像目标精细化提取方法 | |
Tong et al. | CSPC-dataset: New LiDAR point cloud dataset and benchmark for large-scale scene semantic segmentation | |
CN106503170B (zh) | 一种基于遮挡维度的图像库构建方法 | |
CN106778484A (zh) | 交通场景下的运动车辆跟踪方法 | |
Wang et al. | Vehicle-road environment perception under low-visibility condition based on polarization features via deep learning | |
CN109242019A (zh) | 一种水面光学小目标快速检测与跟踪方法 | |
CN109829476A (zh) | 基于yolo的端到端三维物体检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |