CN113674275B - 基于稠密视差图的路面不平度检测方法、***和智能终端 - Google Patents
基于稠密视差图的路面不平度检测方法、***和智能终端 Download PDFInfo
- Publication number
- CN113674275B CN113674275B CN202111224178.0A CN202111224178A CN113674275B CN 113674275 B CN113674275 B CN 113674275B CN 202111224178 A CN202111224178 A CN 202111224178A CN 113674275 B CN113674275 B CN 113674275B
- Authority
- CN
- China
- Prior art keywords
- road surface
- target area
- columns
- disparity map
- grade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于稠密视差图的路面不平度检测方法、***和智能终端,所述方法包括:获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图;基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息;将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型;基于所述拟合直线模型分别统计n列的带权重残差和;根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。该方案能够及时获取当前路面平整度等级,从而向车辆的控制***输出对当前行驶路面不平度的感知结果,进而提高了驾驶舒适性。
Description
技术领域
本发明涉及自动驾驶辅助技术领域,具体涉及一种基于稠密视差图的路面不平度检测方法、***和智能终端。
背景技术
随着自动驾驶技术的发展,人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且,随着深度学***度状态不仅影响驾驶体验,同时对汽车本身也有很大损害。
因此,提供一种基于稠密视差图的路面不平度检测方法,以期获取当前路面平整度等级,从而向车辆的控制***输出对当前行驶路面不平度的感知结果,为控制***的行驶指令提供数据支撑,进而提高驾驶舒适性,就成为本领域技术人员亟待解决的问题。
发明内容
为此,本发明实施例提供一种基于稠密视差图的路面不平度检测方法、***和智能终端,以期能够及时获取当前路面平整度等级,从而向车辆的控制***输出对当前行驶路面不平度的感知结果,为控制***的行驶指令提供数据支撑,进而提高驾驶舒适性。
为了实现上述目的,本发明实施例提供如下技术方案:
一种基于稠密视差图的路面不平度检测方法,所述方法包括:
获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图;
基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息;
将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型;
基于所述拟合直线模型分别统计n列的带权重残差和;
根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。
进一步地,所述基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息,具体包括:
基于双目立体视觉***成像模型和小孔成像模型,将所述稠密视差图的图像坐标系转换为世界坐标系;
以真实世界坐标系下的目标区域为基准,在所述稠密视差图中截取目标区域;
根据以下公式,将所述目标区域中的图像信息转换为三维点云信息:
X为世界坐标系下三维点距离相机的横向距离;
Y为世界坐标系下三维点距离相机的纵向距离;
Z为世界坐标系下三维点距离相机的深度距离。
进一步地,所述基于所述拟合直线模型分别统计n列的带权重残差和,具体包括:
统计每个投影栅格区域中,三维点云信息与对应拟合直线模型的平均残差绝对值之和;
对m行分别设置不同权重,并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
进一步地,利用以下公式计算所述平均残差绝对值之和:
进一步地,利用以下公式计算所述带权重残差和:
进一步地,所述根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级,具体包括:
设定第一预设阈值和第二预设阈值,其中,所述第一预设阈值小于所述第二预设阈值;
遍历全部列的带权重残差和;
若所述带权重残差和小于或等于所述第一预设阈值,则判定该目标区域的路面平整度为第一等级;
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值,则判定该目标区域的路面平整度为第二等级;
若所述带权重残差和大于所述第二预设阈值,则判定该目标区域的路面平整度为第三等级;
其中,所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
进一步地,所述根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级,还包括:
当判定该目标区域的路面平整度为任一等级时,则向该等级对应的统计值加1;
基于各等级对应的统计值,计算单帧图像在不同路面平整度等级中的置信度;
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
本发明还提供一种基于稠密视差图的路面不平度检测***,其特征在于,所述***包括:
视差图获取单元,用于获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图;
点云信息获取单元,用于基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息;
直线模型拟合单元,用于将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型;
重残差和获取单元,用于基于所述拟合直线模型分别统计n列的带权重残差和;
结果输出单元,用于根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。
本发明还提供一种智能终端,所述智能终端包括:数据采集装置、处理器和存储器;
所述数据采集装置用于采集数据;所述存储器用于存储一个或多个程序指令;所述处理器,用于执行一个或多个程序指令,用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于稠密视差图的路面不平度检测方法,通过将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型,基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。这样,该方案通过带权重残差和的计算和比对,判断出当前路面所处的平整度等级,能够及时获取当前路面平整度等级,从而向车辆的控制***输出对当前行驶路面不平度的感知结果,为控制***的行驶指令提供数据支撑,进而提高了驾驶舒适性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于稠密视差图的路面不平度检测方法一种具体实施方式的流程图;
图2-图4为不同路面等级的场景示意图;
图5为本发明所提供的基于稠密视差图的路面不平度检测***一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的基于稠密视差图的路面不平度检测方案,可以实现不需要依赖其他额外的外界输入信息下,对当前的行驶路面不平度进行感知,从而使得车辆辅助驾驶***在收到路面平整度等级后做出相关处理,优化辅助驾驶的道路感知功能,提高驾驶的舒适性和安全性。
在一种具体实施方式中,如图1所示,本发明所提供的基于稠密视差图的路面不平度检测方法,包括以下步骤:
S1:获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图。
也就是说,通过双目立体视觉传感器,获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图。
在该具体实施方式中,以双目立体相机坐标系为参考系,沿左目相机光轴方向是Z轴距离方向,双目立相机基线方向为X轴横向方向,竖直方向为Y轴纵向方向。
S2:基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息。具体地,以真实世界坐标系下的目标区域为基准截取在图像中的目标区域,将目标区域的图像区域转换为世界坐标系下的三维点云信息pts;图像区域信息依据双目立体视觉***成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性,进而保证后续计算结果的准确性,步骤S2具体包括以下步骤:
S21:基于双目立体视觉***成像模型和小孔成像模型,将所述稠密视差图的图像坐标系转换为世界坐标系;
S22:以真实世界坐标系下的目标区域为基准,在所述稠密视差图中截取目标区域;
S23:根据以下公式,将所述目标区域中的图像信息转换为三维点云信息:
X为世界坐标系下三维点距离相机的横向距离;
Y为世界坐标系下三维点距离相机的纵向距离;
Z为世界坐标系下三维点距离相机的深度距离。
S3:将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型。
具体地,对三维点云信息pts数据进行分组,在感兴趣的目标区域内,按照世界坐标系下的物理尺度划分m行n列的投影栅格区域,对每个投影栅格区域内的三维点云信息pts数据拟合直线模型。
其中,直线模型方程为:
公式中,c1,c0为直线模型参数,其可以为预设值或者为经验值。
S4:基于所述拟合直线模型分别统计n列的带权重残差和。
在一个实施例中,为了保证数据准确度,步骤S4具体包括以下步骤:
S41:统计每个投影栅格区域中,三维点云信息与对应拟合直线模型的平均残差绝对值之和;
S42:对m行分别设置不同权重,并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
在步骤S41中,利用以下公式计算所述平均残差绝对值之和:
在步骤S42中,投影栅格的每一行pts数据对应的距离范围不同,在投影栅格区域中,对m行分别设置不同权重,并统计n列的带权重残差和,具体利用以下公式计算所述带权重残差和:
S5:根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。应当理解的是,路面平整度等级可以为预先约定的场景,其根据路面平整情况或颠簸情况进行划分。例如,如图2所示的场景为第一等级,此时对应很平坦的路面情况,如高速公路、环路或国道等主干道;如图3所示的场景为第二等级,此时对应一般平坦的路面情况,如城市普通道路或乡村路面等;如图4所示的场景为第三等级,此时对应较颠簸的路面情况,例如坑洼路面等。
在该具体实施方式中,步骤S5具体包括以下步骤:
S51:设定第一预设阈值和第二预设阈值,其中,所述第一预设阈值小于所述第二预设阈值;
S52:遍历全部列的带权重残差和;
S53:若所述带权重残差和小于或等于所述第一预设阈值,则判定该目标区域的路面平整度为第一等级;
S54:若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值,则判定该目标区域的路面平整度为第二等级;
S55:若所述带权重残差和大于所述第二预设阈值,则判定该目标区域的路面平整度为第三等级;
其中,所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
为了提高方法的准确性,根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级,还包括:
当判定该目标区域的路面平整度为任一等级时,则向该等级对应的统计值加1;
基于各等级对应的统计值,计算单帧图像在不同路面平整度等级中的置信度;
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
在一个具体场景中,依据不同等级路面设置带权重残差和的阈值,即第一预设阈值Th1和第二预设阈值Th2,基于Th1和Th2,对每一列计算的带权重残差和进行投票,具体为:
遍历全部列的当带权重残差和,当带权重残差和小于等于阈值Th1时,归属第一等
级的统计值加1,当带权重残差和大于阈值Th1且小于等于阈值Th2时,归属
第二等级的统计值加1,当带权重残差和大于阈值Th2时,归属第三等级的
统计值加1。
而后,计算单帧图像在不同类别下的置信度,具体为:
最后,根据不同等级路面的置信度,选择置信度值最高的路面等级作为检测结果输出,以提高结果准确性。
在上述具体实施方式中,本发明所提供的基于稠密视差图的路面不平度检测方法,通过将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型,基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。这样,该方案通过带权重残差和的计算和比对,判断出当前路面所处的平整度等级,能够及时获取当前路面平整度等级,从而向车辆的控制***输出对当前行驶路面不平度的感知结果,为控制***的行驶指令提供数据支撑,进而提高了驾驶舒适性。
除了上述方法,本发明还提供一种基于稠密视差图的路面不平度检测***,如图5所示,所述***包括:
视差图获取单元100,用于获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图;
也就是说,通过双目立体视觉传感器,获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图。
在该具体实施方式中,以双目立体相机坐标系为参考系,沿左目相机光轴方向是Z轴距离方向,双目立相机基线方向为X轴横向方向,竖直方向为Y轴纵向方向。
点云信息获取单元200,用于基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息;
具体地,以真实世界坐标系下的目标区域为基准截取在图像中的目标区域,将目标区域的图像区域转换为世界坐标系下的三维点云信息pts;图像区域信息依据双目立体视觉***成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性,进而保证后续计算结果的准确性,点云信息获取单元200具体用于:
基于双目立体视觉***成像模型和小孔成像模型,将所述稠密视差图的图像坐标系转换为世界坐标系;
以真实世界坐标系下的目标区域为基准,在所述稠密视差图中截取目标区域;
根据以下公式,将所述目标区域中的图像信息转换为三维点云信息:
X为世界坐标系下三维点距离相机的横向距离;
Y为世界坐标系下三维点距离相机的纵向距离;
Z为世界坐标系下三维点距离相机的深度距离。
直线模型拟合单元300,用于将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型;
具体地,对三维点云信息pts数据进行分组,在感兴趣的目标区域内,按照世界坐标系下的物理尺度划分m行n列的投影栅格区域,对每个投影栅格区域内的三维点云信息pts数据拟合直线模型。
其中,直线模型方程为:
公式中,c1,c0为直线模型参数,其可以为预设值或者为经验值。
重残差和获取单元400,用于基于所述拟合直线模型分别统计n列的带权重残差和;
在一个实施例中,为了保证数据准确度,重残差和获取单元400具体用于:
统计每个投影栅格区域中,三维点云信息与对应拟合直线模型的平均残差绝对值之和;
对m行分别设置不同权重,并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
利用以下公式计算所述平均残差绝对值之和:
结果输出单元500,用于根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。
应当理解的是,路面平整度等级可以为预先约定的场景,其根据路面平整情况或颠簸情况进行划分。例如,如图2所示的场景为第一等级,此时对应很平坦的路面情况,如高速公路、环路或国道等主干道;如图3所示的场景为第二等级,此时对应一般平坦的路面情况,如城市普通道路或乡村路面等;如图4所示的场景为第三等级,此时对应较颠簸的路面情况,例如坑洼路面等。
在该具体实施方式中,结果输出单元500具体用于:
设定第一预设阈值和第二预设阈值,其中,所述第一预设阈值小于所述第二预设阈值;
遍历全部列的带权重残差和;
若所述带权重残差和小于或等于所述第一预设阈值,则判定该目标区域的路面平整度为第一等级;
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值,则判定该目标区域的路面平整度为第二等级;
若所述带权重残差和大于该目标区域的路面平整度为第三等级;
其中,所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
为了提高方法的准确性,根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级,结果输出单元500还用于:
当判定该目标区域的路面平整度为任一等级时,则向该等级对应的统计值加1;
基于各等级对应的统计值,计算单帧图像在不同路面平整度等级中的置信度;
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
在一个具体场景中,依据不同等级路面设置带权重残差和的阈值,即第一预设阈值Th1和第二预设阈值Th2,基于Th1和Th2,对每一列计算的带权重残差和进行投票,具体为:
遍历全部列的当带权重残差和,当带权重残差和小于等于阈值Th1时,归属第一等
级的统计值加1,当带权重残差和大于阈值Th1且小于等于阈值Th2时,归属第二
等级的统计值加1,当带权重残差和大于阈值Th2时,归属第三等级的统计值加1。
而后,计算单帧图像在不同类别下的置信度,具体为:
最后,根据不同等级路面的置信度,选择置信度值最高的路面等级作为检测结果输出,以提高结果准确性。
在上述具体实施方式中,本发明所提供的基于稠密视差图的路面不平度检测***,通过将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型,基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。这样,该方案通过带权重残差和的计算和比对,判断出当前路面所处的平整度等级,能够及时获取当前路面平整度等级,从而向车辆的控制***输出对当前行驶路面不平度的感知结果,为控制***的行驶指令提供数据支撑,进而提高了驾驶舒适性。
本发明还提供一种智能终端,所述智能终端包括:数据采集装置、处理器和存储器;
所述数据采集装置用于采集数据;所述存储器用于存储一个或多个程序指令;所述处理器,用于执行一个或多个程序指令,用以执行如上所述的方法。
与上述实施例相对应的,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中包含一个或多个程序指令。其中,所述一个或多个程序指令用于被一种双目相机深度标定***执行如上所述的方法。
在本发明实施例中,处理器可以是一种集成电路芯片,具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific工ntegrated Circuit,简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息,结合其硬件完成上述方法的步骤。
存储介质可以是存储器,例如可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。
其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称ROM)、可编程只读存储器(Programmable ROM,简称PROM)、可擦除可编程只读存储器(Erasable PROM,简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM,简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,简称SRAM)、动态随机存取存储器(Dynamic RAM,简称DRAM)、同步动态随机存取存储器(Synchronous DRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM,简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时,可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (9)
1.一种基于稠密视差图的路面不平度检测方法,其特征在于,所述方法包括:
获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图;
基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息;
将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型;
基于所述拟合直线模型分别统计n列的带权重残差和;
根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级;
所述基于所述拟合直线模型分别统计n列的带权重残差和,具体包括:
统计每个投影栅格区域中,三维点云信息与对应拟合直线模型的平均残差绝对值之和;
对m行分别设置不同权重,并基于所述平均残差绝对值之和获取并统计n列的带权重残差和。
2.根据权利要求1所述的路面不平度检测方法,其特征在于,所述基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息,具体包括:
基于双目立体视觉***成像模型和小孔成像模型,将所述稠密视差图的图像坐标系转换为世界坐标系;
以真实世界坐标系下的目标区域为基准,在所述稠密视差图中截取目标区域;
根据以下公式,将所述目标区域中的图像信息转换为三维点云信息:
X为世界坐标系下三维点距离相机的横向距离;
Y为世界坐标系下三维点距离相机的纵向距离;
Z为世界坐标系下三维点距离相机的深度距离。
5.根据权利要求4所述的路面不平度检测方法,其特征在于,所述根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级,具体包括:
设定第一预设阈值和第二预设阈值,其中,所述第一预设阈值小于所述第二预设阈值;
遍历全部列的带权重残差和;
若所述带权重残差和小于或等于所述第一预设阈值,则判定该目标区域的路面平整度为第一等级;
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值,则判定该目标区域的路面平整度为第二等级;
若所述带权重残差和大于所述第二预设阈值,则判定该目标区域的路面平整度为第三等级;
其中,所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
6.根据权利要求5所述的路面不平度检测方法,其特征在于,所述根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级,还包括:
当判定该目标区域的路面平整度为任一等级时,则向该等级对应的统计值加1;
基于各等级对应的统计值,计算单帧图像在不同路面平整度等级中的置信度;
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
7.一种基于稠密视差图的路面不平度检测***,其特征在于,所述***包括:
视差图获取单元,用于获取同一道路场景的左右视图,并对所述左右视图进行处理,得到所述道路场景的稠密视差图;
点云信息获取单元,用于基于所述稠密视差图,将目标区域的图像信息转换为世界坐标系下的三维点云信息;
直线模型拟合单元,用于将所述目标区域划分为多个m行n列的投影栅格区域,并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型;
重残差和获取单元,用于基于所述拟合直线模型分别统计n列的带权重残差和;
结果输出单元,用于根据所述带权重残差和与预设阈值的关系,判定并输出当前路面平整度等级。
8.一种智能终端,其特征在于,所述智能终端包括:数据采集装置、处理器和存储器;
所述数据采集装置用于采集数据;所述存储器用于存储一个或多个程序指令;所述处理器,用于执行一个或多个程序指令,用以执行如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包含一个或多个程序指令,所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111224178.0A CN113674275B (zh) | 2021-10-21 | 2021-10-21 | 基于稠密视差图的路面不平度检测方法、***和智能终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111224178.0A CN113674275B (zh) | 2021-10-21 | 2021-10-21 | 基于稠密视差图的路面不平度检测方法、***和智能终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113674275A CN113674275A (zh) | 2021-11-19 |
CN113674275B true CN113674275B (zh) | 2022-03-18 |
Family
ID=78550715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111224178.0A Active CN113674275B (zh) | 2021-10-21 | 2021-10-21 | 基于稠密视差图的路面不平度检测方法、***和智能终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113674275B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114509045A (zh) * | 2022-04-18 | 2022-05-17 | 北京中科慧眼科技有限公司 | 车轮区域高程检测方法和*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108151681B (zh) * | 2017-11-23 | 2019-12-31 | 中国第一汽车股份有限公司 | 一种基于双目相机的车载路面不平度识别***及方法 |
CN107945220B (zh) * | 2017-11-30 | 2020-07-10 | 华中科技大学 | 一种基于双目视觉的重建方法 |
CN111443704B (zh) * | 2019-12-19 | 2021-07-06 | 苏州智加科技有限公司 | 用于自动驾驶***的障碍物定位方法及装置 |
CN112906449B (zh) * | 2020-12-02 | 2024-04-16 | 北京中科慧眼科技有限公司 | 基于稠密视差图的路面坑洼检测方法、***和设备 |
CN113240632B (zh) * | 2021-04-22 | 2024-04-16 | 北京中科慧眼科技有限公司 | 基于语义分割网络的路面检测方法、***和智能终端 |
CN113240631B (zh) * | 2021-04-22 | 2023-12-12 | 北京中科慧眼科技有限公司 | 基于rgb-d融合信息的路面检测方法、***和智能终端 |
-
2021
- 2021-10-21 CN CN202111224178.0A patent/CN113674275B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113674275A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112906449B (zh) | 基于稠密视差图的路面坑洼检测方法、***和设备 | |
US20230144678A1 (en) | Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal | |
CN113240632B (zh) | 基于语义分割网络的路面检测方法、***和智能终端 | |
US11762957B2 (en) | RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal | |
CN114495043B (zh) | 基于双目视觉***的上下坡路况检测方法、***和智能终端 | |
CN112465831B (zh) | 基于双目立体相机的弯道场景感知方法、***和装置 | |
CN114509045A (zh) | 车轮区域高程检测方法和*** | |
CN115100621A (zh) | 基于深度学习网络的地面场景检测方法和*** | |
CN113674275B (zh) | 基于稠密视差图的路面不平度检测方法、***和智能终端 | |
CN113965742B (zh) | 基于多传感融合的稠密视差图提取方法、***和智能终端 | |
CN113140002B (zh) | 基于双目立体相机的道路状况检测方法、***和智能终端 | |
CN113781543B (zh) | 基于双目相机的限高装置检测方法、***和智能终端 | |
CN113240631B (zh) | 基于rgb-d融合信息的路面检测方法、***和智能终端 | |
CN113689565B (zh) | 基于双目立体视觉的路面平整度等级检测方法、***和智能终端 | |
CN111754574A (zh) | 基于双目相机的距离测试方法、装置、***和存储介质 | |
US20230147557A1 (en) | Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal | |
CN113253256B (zh) | 基于传感器融合设备的监控方法、装置和传感器融合设备 | |
CN114511600A (zh) | 基于点云配准的位姿计算方法和*** | |
CN114049307A (zh) | 基于双目立体视觉的路面高度检测方法、***和智能终端 | |
CN113706622B (zh) | 基于双目立体视觉的路面拟合方法、***和智能终端 | |
CN115205809B (zh) | 路面凹凸度检测方法和*** | |
CN115116038B (zh) | 基于双目视觉的障碍物识别方法和*** | |
CN117455815B (zh) | 基于卫星影像平顶建筑物顶底偏移校正方法及相关设备 | |
CN114298965A (zh) | 基于双目视觉***的帧间匹配检测方法、***和智能终端 | |
CN118433535A (zh) | 一种路侧目标感知方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |