CN103955920B - 基于三维点云分割的双目视觉障碍物检测方法 - Google Patents
基于三维点云分割的双目视觉障碍物检测方法 Download PDFInfo
- Publication number
- CN103955920B CN103955920B CN201410146864.4A CN201410146864A CN103955920B CN 103955920 B CN103955920 B CN 103955920B CN 201410146864 A CN201410146864 A CN 201410146864A CN 103955920 B CN103955920 B CN 103955920B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- segmentation
- road surface
- dimensional
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于三维点云分割的双目视觉障碍物检测方法,包括同步采集两个相同规格的摄像机图像;对双目摄像机进行标定校正并计算三维点云分割阈值;用立体匹配算法和三维重构计算得到三维点云,对基准图做图像分割得到图块;自动检测三维点云的路面高度,利用三维点云分割阈值分割出路面点云、不同位置的障碍物点云和未知区域点云;利用分割得到的点云结合分割后的图块,判决障碍物和路面的正确性,确定障碍物、路面和未知区域的位置范围。本发明在较复杂的环境中仍可检测摄像机与路面高度并自动估算三维分割的阈值,分割出障碍物点云、路面点云和未知区域点云;结束彩色图像分割技术,融合颜色信息判决障碍物和路面的正确性,确定障碍物、路面和未知区域的位置范围,实现高鲁棒性的障碍物检测,具有更高的可靠性和实用性。
Description
技术领域
本发明涉及自主移动机器人和自动驾驶等基于双目立体视觉障碍物自动检测领域,具体是基于三维点云分割的双目视觉障碍物检测方法。
背景技术
双目立体视觉是计算机视觉的一个重要分支,这种视觉直接模拟人类双眼处理景物的方式,简便可靠,在许多领域均极具应用价值,如机器人导航与航测、三维测量、智能交通及虚拟现实等。双目立体视觉是由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景,通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。在自主移动机器人和自动驾驶等领域的研究中,最基本条件是要求机器人或自动驾驶车配备有视觉装置。该视觉***应能完成类似人眼的基本功能,为路径的规划提供可靠的视觉信息。障碍物的目标检测和距离信息的获取是自主移动机器人和自动驾驶中的关键部分。基于双目立体视觉的障碍物检测的关键在于:(1)双目图像对的立体匹配,计算三维点云;(2)障碍物目标的提取,即识别出障碍物位置和大小。通常自主移动机器人和自动驾驶等应用环境复杂,受光学失真和噪声、平滑表面的镜面反射、投影缩减、透视失真、低纹理、重复纹理、透明物体和重叠和非连续区域因素的影响,无法保证通过立体匹配计算可得到稠密的视差图。另外,在复杂的道路环境下,仅依靠道路颜色经验值或道路边线检测来对单幅图像道路检测的正确性不高, 无法直接应用到实际场合中。
随着对机器视觉的不断深入研究,目前已有不少高效且能获得较稠密视差图的立体匹配算法应用到实际场景当中,如三维重建、智能交通、智能检测等。图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,它是由图像处理到图像分析的关键步骤。研究人员已不断改进原有的彩色图像分割方法并把其它学科的一些新理论和新方法用于图像分割,提出了不少新的适应特定场合的分割方法。
发明内容
本发明的目的是要提供一种基于三维点云分割的双目视觉障碍物检测方法,该方法在三维点云上初步分割出路面点云和高于地面的障碍物点云,再结合彩色图像分割算法融合判决, 最终确定障碍物。
实现本发明目的的技术方案是:
一种基于三维点云分割的双目立体视觉的障碍物自动检测方法,包括如下步骤:
(1)通过不同位置的两台摄像机获取两路彩色图像,利用立体标定方法对双目摄像机进行标定,计算两个摄像机的内外参数和相对位置关系,根据这些参数分别对两个摄像机进行消除畸变和行(或列)对准,使两路彩色图像的成像原点坐标一致,得到校正后的双目彩色视图。由传感器获取或预先确定摄像机相对路面的俯仰角和高度;
(2)对步骤(1)校正后得到的双目彩色视图,选择其中一幅视图作为基准图。利用立体匹配算法对基准图进行匹配计算,得到初步的视差图。对基准图进行彩色图像分割,得到颜色相近的图块。根据步骤(1)获得的摄像机相对路面位置关系数据,计算点云分割的阈值,包括在一定精度下可检测到障碍物的最近距离、最远距离、最大高度和最大宽度。
(3)在步骤(2)计算得到的视差图后,利用步骤(1)计算得到两个摄像机相对位置关系数据(重投影矩阵)进行视差图三维重构,计算出三维点云。
(4)根据步骤(1)获取的摄像机相对地面的位置数据,校正由步骤(3)计算得出的三维点云,使路面点云相对于摄像机的高度一致。
(5)对步骤(4)校正后的三维点云进行检测出路面高度(路面相对摄像机的高度),由步骤(2)计算的分割阈值分割出障碍物、路面和未知点云。
(6)融合步骤(5)分割的点云和步骤(2)对基准图图像分割的图块,确定障碍物、路面和未知区域,并标记显示出来。
上述整个过程,所述的两个摄像机是始终保持同规格的,即像素、焦距、光圈等性能相同或接近,考虑到影响立体匹配计算的因素,尽量选择高清晰度的摄像机。两个摄像机的相对位置和焦距是固定的,即一经标定不再改变两摄像机的相对位置和焦距。两个摄像机相与路面的俯仰角度和高度可以固定,也可以变动。步骤(1)中两个摄像头的分辨率综合设备的计算性能而确定,通常可采用640x480或1027x768等分辨率。标定摄像机可采用人工标定、平面棋盘标定或圆(平面圆或平行圆)标定等,计算出切向畸变、径向畸变、焦距、成像原点、 校正映射矩阵和重投影矩阵。校正映射用于校正两个摄像机的彩色视图,使两幅图像成像原点坐标一致,两摄像头光轴平行、左右成像平面共面、对极线行或列对齐。摄像机相对路面的位置包括俯仰角和高度,其中高度为可选项。
步骤(2)中所述选择的基准图是确定后续计算参考的主图像。目前立体匹配算法是计算机视觉中的一个难点和热点,算法有很多种,一般的步骤有匹配代价计算、匹配代价叠加、视差获取、视差细化(亚像素级),匹配策略有局部算法和和全局算法。综合设备的计算性能和精确度要求,选择合适的立体匹配算法,高效快速地计算出较稠密的视差图。彩色图像分割即对彩色图像按颜色信息进行图像分割。根据两个摄像机的相对距离和基准摄像机的焦距可以确定在可接受精度下可检测的障碍物离摄像机最近距离、离摄像机最远距离、最大高度和最大宽度。
步骤(3)所述的三维点云由视差图利用步骤(1)计算得到的重投影矩阵三维重构计算后得到。视差图是以图像对中任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像,包含了场景的距离信息。
步骤(4)所述根据摄像机相对地面的俯仰角度旋转三维点云,使路面点云相对于摄像机的高度一致。
步骤(5)所述根据步骤(2)检测的最大高度或步骤(1)获得的高度分割三维点云,得到路面点云;根据步骤(2)检测的障碍物离摄像机最近距离和离摄像机最远距离,分割三维点云得到离摄像机不同距离范围的障碍物点云和未知区域点云;根据步骤(2)检测的最大宽度分割离摄像机不同距离范围的障碍物点云,得到不同位置的障碍物点云。这一步骤即分割出障碍物点云、路面点云和未知区域点云,未区域点云是由一些匹配计算错误的点云和精度较差的点云构成。
步骤(6)所述融合步骤(5)分割的点云和步骤(2)对基准图图像分割的图块,即将步骤(2)彩色图像分割得到的图像块与障碍物点云和路面点云比较,判决障碍物和路面的正确性和区域范围。
所述双目摄像机标定:标定包括摄像机标定和立体标定。摄像机标定主要计算出切向畸变、径向畸变、焦距和光学中心。立体标定是计算空间上两台摄像机几何关系的过程,依赖于查找两台摄像机之间的旋转矩阵和平移向量;所述双目校正:摄像机需要矫正和立体校正,矫正是消除切向和径向畸变。立体校正是由于两台摄像机几乎不可能有准确的共面和行对准的成像平面,需要通过立体的标定两个摄像机之间的旋转矩阵和平移向量校正;
所述双目匹配与视差计算:立体匹配主要是通过找出每对图像间的对应关系,根据三角测量原理,得到视差图;在获得了视差信息后,根据投影模型很容易地可以得到原始图像的深度信息和三维信息。立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题,目前立体匹配算法是计算机视觉中的一个难点和热点,算法很多,一般计算的步骤为:匹配代价计算,匹配代价叠加,视差获取,视差细化;
所述自动估算分割阈值:在允许的最小深度精度范围内,根据摄像机的分辨率和立体标定得到的两摄像机间距离、焦距计算出障碍物离摄像机的最近距离、离摄像机最远距离、最大高度和最大宽度。进而在允许的精度范围内计算出障碍物前后和左右之间的间隔、障碍物高度误差范围。
所述三维点云路面高度检测:对三维重构得到的三维点云进行路面高度检测,满足设定误差的高度视为路面高度。在第一次检测路面高度时误差可能会较大,进行多次迭代检测后,路面高度的检测精确度趋向稳定,并随着近几次的高度检测值更新而更新。
所述三维点云分割:在三维重构得到较稠密的三维点云后,根据摄像机相对地面的俯仰角度旋转三维点云,使三维点云上路面点云与摄像机处于同一高度。由障碍物离摄像机的最近距离、离摄像机最远距离、最大高度、最大宽度、路面点云高度和障碍物高度误差,分割三维点云得到路面点云、障碍物点云和未知区域点云;由障碍物前后和左右之间的间隔,分割障碍物点云得到各个位置的障碍物点云;未知区域点云是由一些匹配计算错误的点云和精度较差的点云构成。
所述三维点云融合颜色信息检测障碍物:三维点云融合颜色信息即对三维点云分割得到不同位置的障碍物点云、路面点云和未知区域点云,对彩色基准图进行按颜色图像分割得到图像块,将分割得到的点云与分割得到的图像块融合对比,判决障碍物和路面的正确性,确定障碍物、路面和未知区域的位置范围,实现高可靠性的障碍物检测。
本发明的优点是:与现有技术相比,本发明在较复杂的环境中三维重构较稠密的三维点云,在摄像机与路面成一定俯仰角下仍可检测摄像机与路面高度并自动估算三维分割的阈值,分割出障碍物点云、路面点云和未知区域点云;结合彩色图像分割技术,融合颜色信息判决障碍物和路面的正确性,确定障碍物、路面和未知区域的位置范围;相比单图像依靠经验检测路面障碍物的方法,具有更高的可靠性和实用性。
附图说明
图1为基于三维点云分割的双目视觉障碍物检测方法原理图。
图2为双目立体成像原理图。
具体实施方式
基于三维点云分割并融合颜色信息的障碍物自动检测方法,如图1所示,包括以下步骤:
步骤一:通过不同位置的两台摄像机获取两路彩色图像,利用立体标定方法对双目摄像机进行标定,计算两个摄像机的内外参数和相对位置关系,根据这些参数分别对两个摄像机进行消除畸变和行(或列)对准,使两路彩色图像的成像原点坐标一致,得到校正后的双目彩色视图。由传感器获取或预先确定摄像机相对路面的俯仰角和高度。两个摄像机的相对位置和焦距是固定的,即一经标定不再改变两摄像机的相对位置和焦距。两个摄像机相与路面的俯仰角度和高度可以固定,也可以变动。
两个摄像头的分辨率综合设备的计算性能而确定,通常可采用640x480或1027x768等分辨率。标定摄像机可采用人工标定、平面棋盘标定或圆(平面圆或平行圆)标定等,计算出切向畸变、径向畸变、焦距、成像原点、校正映射矩阵和重投影矩阵。校正映射用于校正两个摄像机的彩色视图,使两幅图像成像原点坐标一致,两摄像头光轴平行、左右成像平面共面、对极线行或列对齐。摄像机相对路面的位置包括俯仰角和高度,其中高度为可选项。
在本发明中,两个摄像机是始终保持同规格的,即像素、焦距、光圈等性能相同或接近, 考虑到影响立体匹配计算的因素,尽量选择高清晰度的摄像机。
现举例使用平面棋盘标定方法标定左右水平放置好的双目摄像机。调整好双目摄像机并采集到两路RGB图像后,利用n行m列黑白格棋盘对其标定(n和m大于4),摄像头由于光学透镜的特性使得成像存在着径向畸变:
xcorrected=x(1+k1r2+k2r4+k3r6) (1)
ycorrected=y(1+k1r2+k2r4+k3r6)
公式中(x,y)为获取的原始图像像素,(xcorrected,ycorrected)为校正径向畸变的图像像素,参数k1, k2,k3为径向畸变参数;
由于在工艺上,装配成像传感器和镜头时存在误差,传感器与光学镜头之间并非完全平行,因此成像存在切向畸变:
xcorrected=x+[2p1y+p2(r2+2x2)] (2)
ycorrected=y+[p1(r2+2y2)+2p2x]
公式中(x,y)为获取的原始图像像素,(xcorrected,ycorrected)为校正切向畸变的图像像素,参数p1, p2为切向畸变参数;单个摄像机的定标主要是计算出摄像机的内参以及外参。双目摄像机定标不仅要得出每个摄像机的内部参数,还需要通过立体标定来测量两个摄像机之间的相对位置(三维平移向量和旋转矩阵)。
双目校正是根据摄像机定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量),分别对左右视图进行消除畸变和行对准,使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐,便于立体匹配的计算。
步骤二:对步骤一校正后得到的双目彩色视图,选择其中一幅视图作为基准图。利用立体匹配算法对基准图进行匹配计算,得到初步的视差图。对基准图进行彩色图像分割,得到颜色相近的图块。根据步骤一获得的摄像机相对路面位置关系数据,计算点云分割的阈值,包括在可接受精度下可检测的最近距离、最远距离、最大高度和最大宽度。
现利用Heiko Hirschmüller提出的SGBM立体匹配算法并加以优化,以左视图为基图进行匹配,计算得到初步的视差图。立体匹配算法包括以下几个步骤:首先进行匹配代价计算,
C(p,d)=C(x,y,d)=CBT(pLi,pLi+d,I′L,I′R)
=max{0,IL(pLi)-I′max,I′min-IL(pLi)} (3)
等式(3)中,d为视差。
匹配代价叠加如下式:
式(4)中D为视差图,右侧第一项表示所有像素点的匹配代价的和。
图像分割方法有很多种,这里用基于颜色的均值漂移聚类相似算法。这里均值漂移分割能找到在空间上颜色分布的峰值,通过给定一组多给数据,其维数是(x,y,蓝,绿,红),均值漂移可以用一个窗口扫描空间来找到数据密度最高的“聚块”。设定一个空间半径,根据颜色变量设定一个颜色半径。当均值漂移窗口移动时,经过窗口变换后收敛到数据峰值的所有点都会连通起来,并且属于该峰值。这种所属关系,是从密集的尖峰辐射,形成了图像的分割。分割由比例金字塔完成,金字塔中高层的颜色簇,拥有自己的边界,这些边界在金字塔中被精确定义在金字塔的低一层。
根据摄像机分辨率用下列式子计算最近距离、最远距离、最大高度、最大宽度和确定障碍物高度误差范围:
其中ΔZ为获得的最小尝试范围精度,Z为障碍物离摄像机的距离,f为摄像机的焦距,T 为两台摄像机间的距离,Vd为视差值。
步骤三:在步骤二计算得到的视差图后,利用步骤一计算得到两个摄像机相对位置关系数据(重投影矩阵)进行视差图三维重构,计算出三维点云。
根据双目立体成像原理,如图2:
其中基线距T为两摄像机的投影中心连线的距离;相机焦距为f。
经过立体校正后,两摄像机的图像在同一个平面上,基准图像的成像中心为(cx,cy),右图像上的这一点x坐标为c′x,两台摄像机x方向的距离为Tx,重投影矩阵如下:
给定一个二维齐次点的和其关联的视差d,可以将此点投影到三维中:
因此,(X/W,Y/W,Z/W)就是视差点d对应的三维坐标。
步骤四:根据步骤一获取的摄像机相对地面的位置数据,校正由步骤三计算得出的三维点云,使三维点云中路面点云相对于摄像机高度一致。获取摄像机相对地面的俯仰角后,便可旋转三维点云,使三维点云的路面高度值一致。这里设置双目摄像机与路面平行。
步骤五:对步骤四校正后的三维点云进行检测出路面高度(路面相对摄像机的高度),由步骤二计算的分割阈值分割出障碍物、路面和未知点云。
假设路面是没有下凹的且高于路平面的物体为障碍物。通过查找步骤四校正后三维点云的小时值,取该值在障碍物高度误差范围内的所有值的平均值,为当前检测到的路面高度,通过与前一次检测的路面高度加权计算得出当前最终的路面高度。在多次检测路面高度后,路面高度值准确性得到提高。
步骤六:融合步骤五分割的点云和步骤二对基准图图像分割的图块,确定障碍物、路面和未知区域,并标记显示出来。
三维点云融合颜色信息即对三维点云分割得到不同位置的障碍物点云、路面点云和未知区域点云,对彩色基准图进行按颜色图像分割得到图像块,将分割得到的点云与分割得到的图像块融合对比,图块上出现占比达到一定值后,确定该图块是否为障碍物、路面,确定障 碍物、路面和未知区域的位置范围。
采用上述方法所设计的基于三维点云分割并融合颜色信息的障碍物自动检测方法,如图1 所示,包括双目摄像机标定、双目校正、双目匹配与视差计算、自动估算分割阈值,三维点 云路面高度检测,三维点云分割,三维点云融合颜色信息检测障碍物。其中
双目摄像机标定:标定包括摄像机标定和立体标定。摄像机标定主要计算出切向畸变、 径向畸变、焦距和光学中心。立体标定是计算空间上两台摄像机几何关系的过程,依赖于查找两台摄像机之间的旋转矩阵和平移向量。
双目校正:摄像机需要矫正和立体校正,矫正是消除切向和径向畸变。立体校正是由于两台摄像机几乎不可能有准确的共面和行对准的成像平面,需要通过立体的标定两个摄像机之间的旋转矩阵和平移向量校正;
双目匹配与视差计算:立体匹配主要是通过找出每对图像间的对应关系,根据三角测量原理,得到视差图;在获得了视差信息后,根据投影模型很容易地可以得到原始图像的深度信息和三维信息。立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题,目前立体匹配算法是计算机视觉中的一个难点和热点,算法很多,但是一般的步骤是:匹配代价计算,匹配代价叠加,视差获取,视差细化;
自动估算分割阈值:在允许的最小深度范围精度内,根据摄像机的分辨率和立体标定得到的两摄像机间距离、焦距计算出离摄像机的最近距离、离摄像机最远距离、最大高度和最大宽度。进而在允许的精度范围内计算出障碍物前后和左右之间的间隔、障碍物高度误差范 围。
三维点云路面高度检测:对三维重构得到的三维点云进行路面高度检测,满足设定误差的高度视为路面高度。在第一次检测路面高度时误差可能会较大,进行多次迭代检测后,路面高度的检测精确度趋向稳定,并随着近几次的高度检测值更新而更新。
三维点云分割:在三维重构得到较稠密的三维点云后,根据摄像机相对地面的俯仰角度旋转三维点云,使三维点云上路面点云与摄像机处于同一高度。由离摄像机的最近距离、离摄像机最远距离、最大高度、最大宽度路面、点云高度和障碍物高度误差,分割三维点云得到路面点云、障碍物点云和未知区域点云;由障碍物前后和左右之间的间隔,分割障碍物点云得到各个位置的障碍物点云;未知区域点云是由一些匹配计算错误的点云和精度较差的点云构成。
三维点云融合颜色信息检测障碍物:三维点云融合颜色信息即对三维点云分割得到不同位置的障碍物点云、路面点云和未知区域点云,对彩色基准图进行按颜色图像分割得到图像块,将分割得到的点云与分割得到的图像块融合对比,判决障碍物和路面的正确性,确定障碍物、路面和未知区域的位置范围,实现高可靠性的障碍物检测。
Claims (8)
1.基于三维点云分割的双目视觉障碍物检测方法,其特征是:包括如下步骤:
(1)通过不同位置的两台摄像机获取两路彩色图像,利用立体标定方法对双目摄像机进行标定,计算两个摄像机的内外参数和相对位置关系,根据这些参数分别对两个摄像机进行消除畸变和行或列对准,使两路彩色图像的成像原点坐标一致,得到校正后的双目彩色视图,由传感器获取或预先确定摄像机相对路面的俯仰角和高度;
(2)对步骤(1)校正后得到的双目彩色视图,选择其中一幅视图作为基准图,利用立体匹配算法对基准图进行匹配计算,得到初步的视差图;对基准图进行彩色图像分割,得到颜色相近的图块;根据步骤(1)获得的摄像机相对路面位置关系数据,计算点云分割的阈值,包括在一定精度下可检测障碍物的最近距离、最远距离、最大高度和最大宽度;
(3)在步骤(2)计算得到的视差图后,利用步骤(1)计算得到两个摄像机相对位置关系数据重投影矩阵进行视差图三维重构,计算出三维点云;
(4)根据步骤(1)获取的摄像机相对地面的位置数据,校正由步骤(3)计算得出的三维点云,使三维点云中路面点云相对于摄像机处于同一高度;
(5)对步骤(4)校正后的三维点云进行检测出路面高度:即路面相对摄像机的高度,由步骤(2)计算的分割阈值分割出障碍物点云、路面点云和未知区域点云;
(6)融合步骤(5)分割的点云和步骤(2)对基准图图像分割的图块,确定障碍物、路面和未知区域,并标记显示出来。
2.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法,其特征是:所述双目摄像机是由两个同规格的像机组合在一起的双路视频设备,可根据需要获取不同的图片像素,处理方法为原始RGB三通道彩色图片。
3.根据权利要求1所述基于三维点云分割的双目视觉障碍物检测方法,其特征是:所述利用三维点云进行检测出路面高度,是利用循环迭代的方法提高检测路面高度的准确性,同时在假设高于路面的物体为障碍物下,由路面高度和三维点云分割阈值分割出不同位置的障碍物点云、路面点云和未知区域点云。
4.根据权利要求1所述基于三维点云分割的双目视觉障碍物检测方法,其特征是:所述的障碍物、路面和未知区域的获得,是利用步骤(5)分割得到的三维点云结合图像分割后的图像块确定,并标记显示出来。
5.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法,其特征是:所述双目摄像机标定:标定包括摄像机标定和立体标定;
摄像机标定主要计算出切向畸变、径向畸变、焦距和光学中心;
立体标定是计算空间上两台摄像机几何关系的过程,依赖于查找两台摄像机之间的旋转矩阵和平移向量;
双目校正:摄像机需要矫正和立体校正,矫正是消除切向和径向畸变;
立体校正是由于两台摄像机几乎不可能有准确的共面和行对准的成像平面,需要通过立体的标定两个摄像机之间的旋转矩阵和平移向量校正。
6.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法,其特征是:所述立体匹配和视差计算:立体匹配主要是通过找出每对图像间的对应关系,根据三角测量原理,得到视差图;在获得了视差信息后,根据投影模型得到原始图像的深度信息和三维信息。
7.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法,其特征是:所述三维点云路面高度检测:对三维重构得到的三维点云进行路面高度检测,满足设定误差的高度视为路面高度;在第一次检测路面高度时误差可能会较大,进行多次迭代检测后,路面高度的检测精确度趋向稳定,并随着近几次的高度检测值更新而更新。
8.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法,其特征是:
所述三维点云分割:在三维重构得到较稠密的三维点云后,根据摄像机相对地面的俯仰角度旋转三维点云,使三维点云上路面点云与摄像机处于同一高度;
由障碍物离摄像机的最近距离、离摄像机最远距离、最大高度、最大宽度路面、点云高度和障碍物高度误差,分割三维点云得到路面点云、障碍物点云和未知区域点云;由障碍物前后和左右之间的间隔,分割障碍物点云得到各个位置的障碍物点云;未知区域点云是由一些匹配计算错误的点云和精度较差的点云构成;
三维点云融合颜色信息检测障碍物:三维点云融合颜色信息即对三维点云分割得到不同位置的障碍物点云、路面点云和未知区域点云,对彩色基准图进行按颜色图像分割得到图像块,将分割得到的点云与分割得到的图像块融合对比,判决障碍物和路面的正确性,确定障碍物、路面和未知区域的位置范围,实现高可靠性的障碍物检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410146864.4A CN103955920B (zh) | 2014-04-14 | 2014-04-14 | 基于三维点云分割的双目视觉障碍物检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410146864.4A CN103955920B (zh) | 2014-04-14 | 2014-04-14 | 基于三维点云分割的双目视觉障碍物检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103955920A CN103955920A (zh) | 2014-07-30 |
CN103955920B true CN103955920B (zh) | 2017-04-12 |
Family
ID=51333189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410146864.4A Expired - Fee Related CN103955920B (zh) | 2014-04-14 | 2014-04-14 | 基于三维点云分割的双目视觉障碍物检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103955920B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909009A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种基于路面学习的障碍物检测方法与装置 |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701961A (zh) * | 2014-11-24 | 2016-06-22 | 南京酷派软件技术有限公司 | 一种行路安全提示方法、***及终端 |
CN104392486B (zh) * | 2014-11-25 | 2017-07-28 | 西安理工大学 | 一种点云场景重建方法 |
US9616569B2 (en) * | 2015-01-22 | 2017-04-11 | GM Global Technology Operations LLC | Method for calibrating an articulated end effector employing a remote digital camera |
CN104794713B (zh) * | 2015-04-15 | 2017-07-11 | 同济大学 | 基于arm和双目视觉的温室作物数字化成像方法 |
JP6358160B2 (ja) * | 2015-04-17 | 2018-07-18 | トヨタ自動車株式会社 | 走行路面検出装置及び走行路面検出方法 |
JP6545065B2 (ja) * | 2015-09-30 | 2019-07-17 | 株式会社日立ビルシステム | 3次元点群データのモデリング装置、モデリングプログラム及びエレベータガイドレールのモデリング方法 |
KR101756650B1 (ko) * | 2015-10-27 | 2017-07-26 | 광주과학기술원 | 물품의 설치공간 탐색방법 및 이를 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체 |
WO2017080451A1 (en) | 2015-11-11 | 2017-05-18 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
CN105955275B (zh) * | 2016-05-26 | 2021-07-13 | 华讯方舟科技有限公司 | 一种机器人路径规划方法及*** |
CN106197452A (zh) * | 2016-07-21 | 2016-12-07 | 触景无限科技(北京)有限公司 | 一种视觉图像处理设备及*** |
CN106197429A (zh) * | 2016-07-21 | 2016-12-07 | 触景无限科技(北京)有限公司 | 一种多信息融合定位设备及*** |
CN106225723B (zh) * | 2016-07-25 | 2019-03-29 | 浙江零跑科技有限公司 | 一种基于后视双目相机的多列车铰接角测量方法 |
CN107818293A (zh) | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于处理点云数据的方法和装置 |
US10315866B2 (en) * | 2016-10-20 | 2019-06-11 | Intelligrated Headquarters, Llc | 3D-2D vision system for robotic carton unloading |
DE102016223180A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
CN106650640B (zh) * | 2016-12-05 | 2020-03-03 | 浙江大学 | 一种基于激光雷达点云局部结构特征的负障碍物检测方法 |
JP6712545B2 (ja) | 2016-12-19 | 2020-06-24 | 日立オートモティブシステムズ株式会社 | 電子制御装置、電子制御システム、及び電子制御方法 |
CN108269281B (zh) * | 2016-12-30 | 2023-06-13 | 上海安维尔信息科技股份有限公司 | 基于双目视觉的避障技术方法 |
CN106875472A (zh) * | 2017-01-16 | 2017-06-20 | 成都信息工程大学 | 一种3d牙齿成像建模方法 |
CN106650708B (zh) * | 2017-01-19 | 2023-08-11 | 南京航空航天大学 | 一种自动驾驶障碍物视觉检测方法与*** |
US11366450B2 (en) * | 2017-03-23 | 2022-06-21 | Abb Schweiz Ag | Robot localization in a workspace via detection of a datum |
CN107169986B (zh) * | 2017-05-23 | 2019-09-17 | 北京理工大学 | 一种障碍物检测方法及*** |
CN107367767A (zh) * | 2017-06-27 | 2017-11-21 | 上海卓思智能科技股份有限公司 | 一种通风柜窗口异物检测方法和***以及一种控制器 |
CN107909010B (zh) * | 2017-10-27 | 2022-03-18 | 北京中科慧眼科技有限公司 | 一种道路障碍物检测方法与装置 |
CN108416834A (zh) * | 2018-01-08 | 2018-08-17 | 长春理工大学 | 透明目标表面三维重构方法、装置和*** |
CN108245385B (zh) * | 2018-01-16 | 2019-10-29 | 曹醒龙 | 一种帮助视障人士出行的装置 |
CN110197097B (zh) * | 2018-02-24 | 2024-04-19 | 北京图森智途科技有限公司 | 一种港区监控方法及***、中控*** |
CN108573215B (zh) * | 2018-03-16 | 2021-08-03 | 海信集团有限公司 | 道路反光区域检测方法、装置和终端 |
CN108489454A (zh) * | 2018-03-22 | 2018-09-04 | 沈阳上博智像科技有限公司 | 深度距离测量方法、装置、计算机可读存储介质及电子设备 |
CN108648219B (zh) * | 2018-04-08 | 2022-02-22 | 浙江大承机器人科技有限公司 | 一种基于双目的障碍物与可行区域检测方法 |
CN110488805A (zh) * | 2018-05-15 | 2019-11-22 | 武汉小狮科技有限公司 | 一种基于3d立体视觉的无人车避障***及方法 |
CN108986162B (zh) * | 2018-06-28 | 2022-02-22 | 杭州吉吉知识产权运营有限公司 | 基于惯性测量单元和视觉信息的菜品和背景分割方法 |
CN110667474B (zh) * | 2018-07-02 | 2021-02-26 | 北京四维图新科技股份有限公司 | 通用障碍物检测方法、装置与自动驾驶*** |
WO2020006765A1 (zh) * | 2018-07-06 | 2020-01-09 | 深圳前海达闼云端智能科技有限公司 | 地面检测方法、相关装置及计算机可读存储介质 |
CN109141364B (zh) * | 2018-08-01 | 2020-11-03 | 北京进化者机器人科技有限公司 | 障碍物检测方法、***及机器人 |
CN109060839B (zh) * | 2018-08-08 | 2021-01-29 | 广州爱迪绿色印刷科技有限公司 | 纸张表面形态质量的立体检测方法及装置 |
CN109143215A (zh) * | 2018-08-28 | 2019-01-04 | 重庆邮电大学 | 一种基于双目视觉与v2x通信的协同预警设备与方法 |
CN109190704A (zh) * | 2018-09-06 | 2019-01-11 | 中国科学院深圳先进技术研究院 | 障碍物检测的方法及机器人 |
CN110893617B (zh) * | 2018-09-13 | 2021-09-17 | 深圳市优必选科技有限公司 | 障碍物检测方法、装置及存储装置 |
CN109598896A (zh) * | 2018-11-16 | 2019-04-09 | 佛山市第人民医院(中山大学附属佛山医院) | 一种病床碰撞预警方法、***及装置 |
CN109522847A (zh) * | 2018-11-20 | 2019-03-26 | 中车株洲电力机车有限公司 | 一种基于深度图的轨道和道路障碍物检测方法 |
CN113227713A (zh) * | 2018-12-13 | 2021-08-06 | 大陆汽车有限责任公司 | 生成用于定位的环境模型的方法和*** |
CN111368607B (zh) * | 2018-12-26 | 2023-06-02 | 北京欣奕华科技有限公司 | 一种机器人、障碍物的检测方法及检测装置 |
CN111374597B (zh) * | 2018-12-28 | 2021-08-24 | 珠海市一微半导体有限公司 | 清洁机器人避线的方法、装置、存储介质及清洁机器人 |
CN109700465A (zh) * | 2019-01-07 | 2019-05-03 | 广东体达康医疗科技有限公司 | 一种移动式三维伤口扫描设备及其工作流程 |
CN111735433B (zh) * | 2019-03-25 | 2022-05-20 | 杭州海康威视数字技术股份有限公司 | 建立二维地图的方法和装置 |
CN109947108B (zh) * | 2019-04-01 | 2021-11-26 | 深圳市祺丰智能机器人科技有限公司 | 移动机器人前方路况预测方法 |
CN110109457A (zh) * | 2019-04-29 | 2019-08-09 | 北方民族大学 | 一种智能语音导盲机器人控制方法及控制*** |
CN111742242A (zh) * | 2019-06-11 | 2020-10-02 | 深圳市大疆创新科技有限公司 | 点云处理方法、***、设备及存储介质 |
CN110610501B (zh) * | 2019-09-18 | 2022-04-29 | 中国大恒(集团)有限公司北京图像视觉技术分公司 | 一种点云分割方法及装置 |
CN110703753B (zh) * | 2019-10-16 | 2022-11-08 | 北京京东乾石科技有限公司 | 路径规划方法及装置、电子设备、存储介质 |
US10882468B1 (en) | 2019-10-29 | 2021-01-05 | Deere & Company | Work vehicle composite panoramic vision systems |
CN111047636B (zh) * | 2019-10-29 | 2024-04-09 | 轻客小觅机器人科技(成都)有限公司 | 基于主动红外双目视觉的避障***和避障方法 |
CN110928301B (zh) * | 2019-11-19 | 2023-06-30 | 北京小米智能科技有限公司 | 一种检测微小障碍的方法、装置及介质 |
CN111160233B (zh) * | 2019-12-27 | 2023-04-18 | 中国科学院苏州纳米技术与纳米仿生研究所 | 基于三维成像辅助的人脸活体检测方法、介质及*** |
CN111260773B (zh) * | 2020-01-20 | 2023-10-13 | 深圳市普渡科技有限公司 | 小障碍物的三维重建方法、检测方法及检测*** |
CN111260715B (zh) * | 2020-01-20 | 2023-09-08 | 深圳市普渡科技有限公司 | 深度图的处理方法、小障碍物检测方法及*** |
CN111366917B (zh) * | 2020-03-13 | 2022-07-15 | 北京百度网讯科技有限公司 | 可行驶区域检测方法、装置、设备及计算机可读存储介质 |
CN111667540B (zh) * | 2020-06-09 | 2023-04-18 | 中国电子科技集团公司第五十四研究所 | 一种基于行人头部识别的多摄像机***标定方法 |
CN111890358B (zh) * | 2020-07-01 | 2022-06-14 | 浙江大华技术股份有限公司 | 双目避障方法、装置、存储介质及电子装置 |
CN111797929B (zh) * | 2020-07-07 | 2023-08-22 | 金陵科技学院 | 一种基于cnn与pso的双目机器人障碍特征检测方法 |
CN111862234B (zh) * | 2020-07-22 | 2023-10-20 | 中国科学院上海微***与信息技术研究所 | 双目相机自标定方法及*** |
CN112418103B (zh) * | 2020-11-24 | 2022-10-11 | 中国人民解放***箭军工程大学 | 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法 |
CN112487916B (zh) * | 2020-11-25 | 2022-08-23 | 上海电力大学 | 一种电力设备双目三维立体识别*** |
CN112884845B (zh) * | 2021-01-14 | 2023-03-31 | 山东浪潮科学研究院有限公司 | 一种基于单摄像机室内机器人障碍物定位的方法 |
CN112784799A (zh) * | 2021-02-01 | 2021-05-11 | 三一机器人科技有限公司 | Agv后向栈板及障碍物识别方法、装置及agv |
CN112818999B (zh) * | 2021-02-10 | 2022-10-28 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
CN113409242A (zh) * | 2021-02-23 | 2021-09-17 | 杭州哲域智能科技有限公司 | 一种轨交弓网点云智能监测方法 |
CN113343745B (zh) * | 2021-02-26 | 2024-06-18 | 北京中科慧眼科技有限公司 | 基于双目相机的远距离目标检测方法、***和智能终端 |
CN113470049B (zh) * | 2021-07-06 | 2022-05-20 | 吉林省田车科技有限公司 | 一种基于结构化彩色点云分割的完整目标提取方法 |
CN113610741A (zh) * | 2021-08-18 | 2021-11-05 | 梅卡曼德(北京)机器人科技有限公司 | 基于激光线扫的点云处理方法及装置 |
CN114418851A (zh) * | 2022-01-18 | 2022-04-29 | 长沙慧联智能科技有限公司 | 一种多目3d全景环视***及拼接方法 |
CN114723830B (zh) * | 2022-03-21 | 2023-04-18 | 深圳市正浩创新科技股份有限公司 | 障碍物的识别方法、设备及存储介质 |
CN114898072B (zh) * | 2022-06-14 | 2024-05-31 | 中国农业大学 | 一种基于3d温度特征的作物水分胁迫检测方法 |
CN116912403B (zh) * | 2023-07-03 | 2024-05-10 | 玩出梦想(上海)科技有限公司 | 一种xr设备及xr设备的障碍物信息感知方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887589A (zh) * | 2010-06-13 | 2010-11-17 | 东南大学 | 一种基于立体视觉的实拍低纹理图像重建方法 |
CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7587081B2 (en) * | 2005-09-28 | 2009-09-08 | Deere & Company | Method for processing stereo vision data using image density |
-
2014
- 2014-04-14 CN CN201410146864.4A patent/CN103955920B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887589A (zh) * | 2010-06-13 | 2010-11-17 | 东南大学 | 一种基于立体视觉的实拍低纹理图像重建方法 |
CN101976455A (zh) * | 2010-10-08 | 2011-02-16 | 东南大学 | 一种基于立体匹配的彩色图像三维重建方法 |
Non-Patent Citations (2)
Title |
---|
"Real-time Obstacle Detection in Complex Scenarios Using Dense";Cosmin D. Pantilie etal;《2010 13th International IEEE Annual Conference on Intelligent Transportation Systems Madeira Island, Portugal, September 19-22,2010》;20100922;第439-444页 * |
"双目立体视觉的障碍物检测方法综述";曾日金,袁华;《大众科技》;20140331;第16卷(第175期);第37-38页 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909009A (zh) * | 2017-10-27 | 2018-04-13 | 北京中科慧眼科技有限公司 | 一种基于路面学习的障碍物检测方法与装置 |
CN107909009B (zh) * | 2017-10-27 | 2021-09-17 | 北京中科慧眼科技有限公司 | 一种基于路面学习的障碍物检测方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103955920A (zh) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103955920B (zh) | 基于三维点云分割的双目视觉障碍物检测方法 | |
WO2021004548A1 (zh) | 一种基于双目立体视觉***的车辆智能测速方法 | |
WO2021004312A1 (zh) | 一种基于双目立体视觉***的车辆智能测轨迹方法 | |
CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及*** | |
CN111260597B (zh) | 一种多波段立体相机的视差图像融合方法 | |
Broggi et al. | The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax | |
CN106228538B (zh) | 基于logo的双目视觉室内定位方法 | |
CN106204595B (zh) | 一种基于双目摄像机的机场场面三维全景监视方法 | |
CN103971404B (zh) | 一种高性价比的3d实景复制装置 | |
CN103868460B (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
CN104680496B (zh) | 一种基于彩色图像分割的Kinect深度图修复方法 | |
US8855442B2 (en) | Image registration of multimodal data using 3D-GeoArcs | |
CN106920276B (zh) | 一种三维重建方法和*** | |
CN107945220A (zh) | 一种基于双目视觉的重建方法 | |
Li et al. | Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space | |
CN109143215A (zh) | 一种基于双目视觉与v2x通信的协同预警设备与方法 | |
CN104036488A (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
CN105389543A (zh) | 基于全方位双目视觉深度信息融合的移动机器人避障装置 | |
CN106485207A (zh) | 一种基于双目视觉图像的指尖检测方法及*** | |
CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定***及标定方法 | |
CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
CN104182968A (zh) | 宽基线多阵列光学探测***模糊动目标分割方法 | |
CN108195359A (zh) | 空间数据的采集方法及*** | |
CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170412 Termination date: 20190414 |