CN113674275B - 基于稠密视差图的路面不平度检测方法、***和智能终端 - Google Patents

基于稠密视差图的路面不平度检测方法、***和智能终端 Download PDF

Info

Publication number
CN113674275B
CN113674275B CN202111224178.0A CN202111224178A CN113674275B CN 113674275 B CN113674275 B CN 113674275B CN 202111224178 A CN202111224178 A CN 202111224178A CN 113674275 B CN113674275 B CN 113674275B
Authority
CN
China
Prior art keywords
road surface
target area
columns
disparity map
grade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111224178.0A
Other languages
English (en)
Other versions
CN113674275A (zh
Inventor
裴姗姗
孙钊
肖志鹏
王欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202111224178.0A priority Critical patent/CN113674275B/zh
Publication of CN113674275A publication Critical patent/CN113674275A/zh
Application granted granted Critical
Publication of CN113674275B publication Critical patent/CN113674275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于稠密视差图的路面不平度检测方法、***和智能终端，所述方法包括：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；基于所述拟合直线模型分别统计n列的带权重残差和；根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。该方案能够及时获取当前路面平整度等级，从而向车辆的控制***输出对当前行驶路面不平度的感知结果，进而提高了驾驶舒适性。

Description

基于稠密视差图的路面不平度检测方法、***和智能终端
技术领域
本发明涉及自动驾驶辅助技术领域，具体涉及一种基于稠密视差图的路面不平度检测方法、***和智能终端。
背景技术
随着自动驾驶技术的发展，人们对于辅助驾驶车辆安全性和舒适性的要求也日益提高。并且，随着深度学***度状态不仅影响驾驶体验，同时对汽车本身也有很大损害。
因此，提供一种基于稠密视差图的路面不平度检测方法，以期获取当前路面平整度等级，从而向车辆的控制***输出对当前行驶路面不平度的感知结果，为控制***的行驶指令提供数据支撑，进而提高驾驶舒适性，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于稠密视差图的路面不平度检测方法、***和智能终端，以期能够及时获取当前路面平整度等级，从而向车辆的控制***输出对当前行驶路面不平度的感知结果，为控制***的行驶指令提供数据支撑，进而提高驾驶舒适性。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于稠密视差图的路面不平度检测方法，所述方法包括：
获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
基于所述拟合直线模型分别统计n列的带权重残差和；
根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
进一步地，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：
基于双目立体视觉***成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 98518DEST_PATH_IMAGE001
其中，
Figure 41066DEST_PATH_IMAGE002
为双目立体视觉成像***中左相机光心到右相机光心的间距；
Figure 479001DEST_PATH_IMAGE003
为双目立体视觉成像***中的相机焦距；
Figure 899618DEST_PATH_IMAGE004
与
Figure 106608DEST_PATH_IMAGE005
为双目立体视觉成像***中相机主点的图像坐标；
Figure 220058DEST_PATH_IMAGE006
和
Figure 145289DEST_PATH_IMAGE007
是所述目标区域内的图像坐标点；
Figure 166334DEST_PATH_IMAGE008
为图像点坐标为
Figure 493410DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
进一步地，所述基于所述拟合直线模型分别统计n列的带权重残差和，具体包括：
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
进一步地，利用以下公式计算所述平均残差绝对值之和：
Figure 512182DEST_PATH_IMAGE010
其中，
Figure 518184DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 546183DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 727766DEST_PATH_IMAGE013
是直线模型参数；
Figure 183018DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 551682DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
进一步地，利用以下公式计算所述带权重残差和：
Figure 117793DEST_PATH_IMAGE016
其中，
Figure 419461DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 639090DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 760629DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
进一步地，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，具体包括：
设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
遍历全部列的带权重残差和；
若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
若所述带权重残差和大于所述第二预设阈值，则判定该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
进一步地，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
本发明还提供一种基于稠密视差图的路面不平度检测***，其特征在于，所述***包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
直线模型拟合单元，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
重残差和获取单元，用于基于所述拟合直线模型分别统计n列的带权重残差和；
结果输出单元，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于稠密视差图的路面不平度检测方法，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制***输出对当前行驶路面不平度的感知结果，为控制***的行驶指令提供数据支撑，进而提高了驾驶舒适性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于稠密视差图的路面不平度检测方法一种具体实施方式的流程图；
图2-图4为不同路面等级的场景示意图；
图5为本发明所提供的基于稠密视差图的路面不平度检测***一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的基于稠密视差图的路面不平度检测方案，可以实现不需要依赖其他额外的外界输入信息下，对当前的行驶路面不平度进行感知，从而使得车辆辅助驾驶***在收到路面平整度等级后做出相关处理，优化辅助驾驶的道路感知功能，提高驾驶的舒适性和安全性。
在一种具体实施方式中，如图1所示，本发明所提供的基于稠密视差图的路面不平度检测方法，包括以下步骤：
S1：获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。
S2：基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息。具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视觉***成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，步骤S2具体包括以下步骤：
S21：基于双目立体视觉***成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
S22：以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
S23：根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 130431DEST_PATH_IMAGE001
其中，
Figure 286606DEST_PATH_IMAGE002
为双目立体视觉成像***中左相机光心到右相机光心的间距；
Figure 378933DEST_PATH_IMAGE003
为双目立体视觉成像***中的相机焦距；
Figure 987769DEST_PATH_IMAGE004
与
Figure 895682DEST_PATH_IMAGE005
为双目立体视觉成像***中相机主点的图像坐标；
Figure 906364DEST_PATH_IMAGE006
和
Figure 343161DEST_PATH_IMAGE007
是所述目标区域内的图像坐标点；
Figure 439293DEST_PATH_IMAGE008
为图像点坐标为
Figure 150897DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
S3：将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型。
具体地，对三维点云信息pts数据进行分组，在感兴趣的目标区域内，按照世界坐标系下的物理尺度划分m行n列的投影栅格区域，对每个投影栅格区域内的三维点云信息pts数据拟合直线模型。
其中，直线模型方程为：
Figure 875140DEST_PATH_IMAGE020
公式中，c1，c0为直线模型参数，其可以为预设值或者为经验值。
S4：基于所述拟合直线模型分别统计n列的带权重残差和。
在一个实施例中，为了保证数据准确度，步骤S4具体包括以下步骤：
S41：统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
S42：对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
在步骤S41中，利用以下公式计算所述平均残差绝对值之和：
Figure 13997DEST_PATH_IMAGE010
其中，
Figure 597425DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 112720DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 301256DEST_PATH_IMAGE013
是直线模型参数；
Figure 611014DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 681739DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
在步骤S42中，投影栅格的每一行pts数据对应的距离范围不同，在投影栅格区域中，对m行分别设置不同权重，并统计n列的带权重残差和，具体利用以下公式计算所述带权重残差和：
Figure 371663DEST_PATH_IMAGE016
其中，
Figure 852323DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 269398DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 860916DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
S5：根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高速公路、环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情况，如城市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面情况，例如坑洼路面等。
在该具体实施方式中，步骤S5具体包括以下步骤：
S51：设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
S52：遍历全部列的带权重残差和；
S53：若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
S54：若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
S55：若所述带权重残差和大于所述第二预设阈值，则判定该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
为了提高方法的准确性，根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
在一个具体场景中，依据不同等级路面设置带权重残差和的阈值，即第一预设阈值Th1和第二预设阈值Th2，基于Th1和Th2，对每一列计算的带权重残差和进行投票，具体为：
Figure 555203DEST_PATH_IMAGE022
其中，
Figure 941185DEST_PATH_IMAGE023
是j列投影栅格的带权重残差和；
Figure 720922DEST_PATH_IMAGE024
是
Figure 116131DEST_PATH_IMAGE025
对A级路面的投票结果；
Figure 228706DEST_PATH_IMAGE026
是
Figure 51168DEST_PATH_IMAGE025
对B级路面的投票结果；
Figure 318202DEST_PATH_IMAGE027
是
Figure 110577DEST_PATH_IMAGE025
对C级路面的投票结果；
Figure 779456DEST_PATH_IMAGE028
是归属A级路面的统计值；
Figure 772820DEST_PATH_IMAGE029
是归属B级路面的统计值；
Figure 527149DEST_PATH_IMAGE030
是归属C级路面的统计值；
遍历全部列的当带权重残差和，当带权重残差和小于等于阈值Th1时，归属第一等 级的统计值
Figure 998582DEST_PATH_IMAGE031
加1，当带权重残差和大于阈值Th1且小于等于阈值Th2时，归属 第二等级的统计值
Figure 521967DEST_PATH_IMAGE032
加1，当带权重残差和大于阈值Th2时，归属第三等级的 统计值
Figure 951811DEST_PATH_IMAGE033
加1。
而后，计算单帧图像在不同类别下的置信度，具体为：
Figure 786912DEST_PATH_IMAGE034
其中,
Figure 62036DEST_PATH_IMAGE035
是归属第一级路面的统计值；
Figure 705507DEST_PATH_IMAGE036
是归属第二级路面的统计值；
Figure 837411DEST_PATH_IMAGE037
是归属第三级路面的统计值；
Figure 566332DEST_PATH_IMAGE038
是当前帧属于第一级路面的置信度；
Figure 645147DEST_PATH_IMAGE039
是当前帧属于第二级路面的置信度；
Figure 611966DEST_PATH_IMAGE040
是当前帧属于第三级路面的置信度；
最后，根据不同等级路面的置信度，选择置信度值最高的路面等级作为检测结果输出，以提高结果准确性。
在上述具体实施方式中，本发明所提供的基于稠密视差图的路面不平度检测方法，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制***输出对当前行驶路面不平度的感知结果，为控制***的行驶指令提供数据支撑，进而提高了驾驶舒适性。
除了上述方法，本发明还提供一种基于稠密视差图的路面不平度检测***，如图5所示，所述***包括：
视差图获取单元100，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
也就是说，通过双目立体视觉传感器，获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图。
在该具体实施方式中，以双目立体相机坐标系为参考系，沿左目相机光轴方向是Z轴距离方向，双目立相机基线方向为X轴横向方向，竖直方向为Y轴纵向方向。
点云信息获取单元200，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
具体地，以真实世界坐标系下的目标区域为基准截取在图像中的目标区域，将目标区域的图像区域转换为世界坐标系下的三维点云信息pts；图像区域信息依据双目立体视觉***成像模型和小孔成像模型完成图像坐标系向世界坐标系的转换。
为了提高三维点云信息的准确性，进而保证后续计算结果的准确性，点云信息获取单元200具体用于：
基于双目立体视觉***成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 383613DEST_PATH_IMAGE001
其中，
Figure 334251DEST_PATH_IMAGE002
为双目立体视觉成像***中左相机光心到右相机光心的间距；
Figure 580205DEST_PATH_IMAGE003
为双目立体视觉成像***中的相机焦距；
Figure 932689DEST_PATH_IMAGE004
与
Figure 875238DEST_PATH_IMAGE005
为双目立体视觉成像***中相机主点的图像坐标；
Figure 313172DEST_PATH_IMAGE006
和
Figure 530527DEST_PATH_IMAGE007
是所述目标区域内的图像坐标点；
Figure 3097DEST_PATH_IMAGE008
为图像点坐标为
Figure 116546DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
直线模型拟合单元300，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
具体地，对三维点云信息pts数据进行分组，在感兴趣的目标区域内，按照世界坐标系下的物理尺度划分m行n列的投影栅格区域，对每个投影栅格区域内的三维点云信息pts数据拟合直线模型。
其中，直线模型方程为：
Figure 510618DEST_PATH_IMAGE041
公式中，c1，c0为直线模型参数，其可以为预设值或者为经验值。
重残差和获取单元400，用于基于所述拟合直线模型分别统计n列的带权重残差和；
在一个实施例中，为了保证数据准确度，重残差和获取单元400具体用于：
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
对m行分别设置不同权重，并就要所述平均残差绝对值之和获取并统计n列的带权重残差和。
利用以下公式计算所述平均残差绝对值之和：
Figure 734926DEST_PATH_IMAGE010
其中，
Figure 796423DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 939829DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 352355DEST_PATH_IMAGE013
是直线模型参数；
Figure 380354DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 30778DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
投影栅格的每一行pts数据对应的距离范围不同，在投影栅格区域中，对m行分别 设置不同权重，并统计n列的带权重残差和
Figure 220451DEST_PATH_IMAGE042
，具体利用以下公式计算所述带权重残 差和：
Figure 120274DEST_PATH_IMAGE016
其中，
Figure 483122DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 784791DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 145365DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
结果输出单元500，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
应当理解的是，路面平整度等级可以为预先约定的场景，其根据路面平整情况或颠簸情况进行划分。例如，如图2所示的场景为第一等级，此时对应很平坦的路面情况，如高速公路、环路或国道等主干道；如图3所示的场景为第二等级，此时对应一般平坦的路面情况，如城市普通道路或乡村路面等；如图4所示的场景为第三等级，此时对应较颠簸的路面情况，例如坑洼路面等。
在该具体实施方式中，结果输出单元500具体用于：
设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
遍历全部列的带权重残差和；
若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
若所述带权重残差和大于该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
为了提高方法的准确性，根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，结果输出单元500还用于：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
在一个具体场景中，依据不同等级路面设置带权重残差和的阈值，即第一预设阈值Th1和第二预设阈值Th2，基于Th1和Th2，对每一列计算的带权重残差和进行投票，具体为：
Figure 627424DEST_PATH_IMAGE022
其中，
Figure 997226DEST_PATH_IMAGE023
是j列投影栅格的带权重残差和；
Figure 887821DEST_PATH_IMAGE024
是
Figure 684876DEST_PATH_IMAGE025
对A级路面的投票结果；
Figure 28132DEST_PATH_IMAGE026
是
Figure 201625DEST_PATH_IMAGE025
对B级路面的投票结果；
Figure 212306DEST_PATH_IMAGE027
是
Figure 977000DEST_PATH_IMAGE025
对C级路面的投票结果；
Figure 73132DEST_PATH_IMAGE028
是归属A级路面的统计值；
Figure 784736DEST_PATH_IMAGE029
是归属B级路面的统计值；
Figure 243399DEST_PATH_IMAGE030
是归属C级路面的统计值；
遍历全部列的当带权重残差和，当带权重残差和小于等于阈值Th1时，归属第一等 级的统计值
Figure 382256DEST_PATH_IMAGE043
加1，当带权重残差和大于阈值Th1且小于等于阈值Th2时，归属第二 等级的统计值
Figure 965684DEST_PATH_IMAGE044
加1，当带权重残差和大于阈值Th2时，归属第三等级的统计值
Figure 949821DEST_PATH_IMAGE045
加1。
而后，计算单帧图像在不同类别下的置信度，具体为：
Figure 935095DEST_PATH_IMAGE046
其中,
Figure 244853DEST_PATH_IMAGE035
是归属第一级路面的统计值；
Figure 909053DEST_PATH_IMAGE036
是归属第二级路面的统计值；
Figure 962459DEST_PATH_IMAGE037
是归属第三级路面的统计值；
Figure 802239DEST_PATH_IMAGE038
是当前帧属于第一级路面的置信度；
Figure 578172DEST_PATH_IMAGE039
是当前帧属于第二级路面的置信度；
Figure 870613DEST_PATH_IMAGE040
是当前帧属于第三级路面的置信度；
最后，根据不同等级路面的置信度，选择置信度值最高的路面等级作为检测结果输出，以提高结果准确性。
在上述具体实施方式中，本发明所提供的基于稠密视差图的路面不平度检测***，通过将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型，基于所述拟合直线模型分别统计n列的带权重残差和根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。这样，该方案通过带权重残差和的计算和比对，判断出当前路面所处的平整度等级，能够及时获取当前路面平整度等级，从而向车辆的控制***输出对当前行驶路面不平度的感知结果，为控制***的行驶指令提供数据支撑，进而提高了驾驶舒适性。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定***执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于稠密视差图的路面不平度检测方法，其特征在于，所述方法包括：
获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
基于所述拟合直线模型分别统计n列的带权重残差和；
根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级；
所述基于所述拟合直线模型分别统计n列的带权重残差和，具体包括：
统计每个投影栅格区域中，三维点云信息与对应拟合直线模型的平均残差绝对值之和；
对m行分别设置不同权重，并基于所述平均残差绝对值之和获取并统计n列的带权重残差和。
2.根据权利要求1所述的路面不平度检测方法，其特征在于，所述基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息，具体包括：
基于双目立体视觉***成像模型和小孔成像模型，将所述稠密视差图的图像坐标系转换为世界坐标系；
以真实世界坐标系下的目标区域为基准，在所述稠密视差图中截取目标区域；
根据以下公式，将所述目标区域中的图像信息转换为三维点云信息：
Figure 969347DEST_PATH_IMAGE001
其中，
Figure 236380DEST_PATH_IMAGE002
为双目立体视觉成像***中左相机光心到右相机光心的间距；
Figure 435280DEST_PATH_IMAGE003
为双目立体视觉成像***中的相机焦距；
Figure 900897DEST_PATH_IMAGE004
与
Figure 894261DEST_PATH_IMAGE005
为双目立体视觉成像***中相机主点的图像坐标；
Figure 179748DEST_PATH_IMAGE006
和
Figure 182339DEST_PATH_IMAGE007
是所述目标区域内的图像坐标点；
Figure 705725DEST_PATH_IMAGE008
为图像点坐标为
Figure 197886DEST_PATH_IMAGE009
的视差值；
X为世界坐标系下三维点距离相机的横向距离；
Y为世界坐标系下三维点距离相机的纵向距离；
Z为世界坐标系下三维点距离相机的深度距离。
3.根据权利要求2所述的路面不平度检测方法，其特征在于，利用以下公式计算所述平均残差绝对值之和：
Figure 439511DEST_PATH_IMAGE010
其中，
Figure 980214DEST_PATH_IMAGE011
为世界坐标系下三维点的横向距离；
Figure 623685DEST_PATH_IMAGE012
为世界坐标系下三维点的纵向距离；
Figure 224431DEST_PATH_IMAGE013
是直线模型参数；
Figure 687773DEST_PATH_IMAGE014
是序列为i行j列投影栅格内三维点云信息的个数；
Figure 563325DEST_PATH_IMAGE015
是序列为i行j列投影栅格的平均残差绝对值之和。
4.根据权利要求3所述的路面不平度检测方法，其特征在于，利用以下公式计算所述带权重残差和：
Figure 795723DEST_PATH_IMAGE016
其中，
Figure 567370DEST_PATH_IMAGE017
是序列为i行n列投影栅格的残差绝对值之和；
Figure 347370DEST_PATH_IMAGE018
为序列为i行投影栅格的权重值；
Figure 229875DEST_PATH_IMAGE019
是n列投影栅格的带权重残差和。
5.根据权利要求4所述的路面不平度检测方法，其特征在于，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，具体包括：
设定第一预设阈值和第二预设阈值，其中，所述第一预设阈值小于所述第二预设阈值；
遍历全部列的带权重残差和；
若所述带权重残差和小于或等于所述第一预设阈值，则判定该目标区域的路面平整度为第一等级；
若所述带权重残差和大于所述第一预设阈值且小于或等于所述第二预设阈值，则判定该目标区域的路面平整度为第二等级；
若所述带权重残差和大于所述第二预设阈值，则判定该目标区域的路面平整度为第三等级；
其中，所述第一等级、所述第二等级、所述第三等级对应的路面平整度依次降低。
6.根据权利要求5所述的路面不平度检测方法，其特征在于，所述根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级，还包括：
当判定该目标区域的路面平整度为任一等级时，则向该等级对应的统计值加1；
基于各等级对应的统计值，计算单帧图像在不同路面平整度等级中的置信度；
以置信度最高的路面平整度等级作为当前路面平整度等级输出。
7.一种基于稠密视差图的路面不平度检测***，其特征在于，所述***包括：
视差图获取单元，用于获取同一道路场景的左右视图，并对所述左右视图进行处理，得到所述道路场景的稠密视差图；
点云信息获取单元，用于基于所述稠密视差图，将目标区域的图像信息转换为世界坐标系下的三维点云信息；
直线模型拟合单元，用于将所述目标区域划分为多个m行n列的投影栅格区域，并基于每个所述投影栅格区域中的三维点云信息数据分别拟合直线模型；
重残差和获取单元，用于基于所述拟合直线模型分别统计n列的带权重残差和；
结果输出单元，用于根据所述带权重残差和与预设阈值的关系，判定并输出当前路面平整度等级。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
CN202111224178.0A 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、***和智能终端 Active CN113674275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224178.0A CN113674275B (zh) 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、***和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224178.0A CN113674275B (zh) 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、***和智能终端

Publications (2)

Publication Number Publication Date
CN113674275A CN113674275A (zh) 2021-11-19
CN113674275B true CN113674275B (zh) 2022-03-18

Family

ID=78550715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224178.0A Active CN113674275B (zh) 2021-10-21 2021-10-21 基于稠密视差图的路面不平度检测方法、***和智能终端

Country Status (1)

Country Link
CN (1) CN113674275B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108151681B (zh) * 2017-11-23 2019-12-31 中国第一汽车股份有限公司 一种基于双目相机的车载路面不平度识别***及方法
CN107945220B (zh) * 2017-11-30 2020-07-10 华中科技大学 一种基于双目视觉的重建方法
CN111443704B (zh) * 2019-12-19 2021-07-06 苏州智加科技有限公司 用于自动驾驶***的障碍物定位方法及装置
CN112906449B (zh) * 2020-12-02 2024-04-16 北京中科慧眼科技有限公司 基于稠密视差图的路面坑洼检测方法、***和设备
CN113240632B (zh) * 2021-04-22 2024-04-16 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、***和智能终端
CN113240631B (zh) * 2021-04-22 2023-12-12 北京中科慧眼科技有限公司 基于rgb-d融合信息的路面检测方法、***和智能终端

Also Published As

Publication number Publication date
CN113674275A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN112906449B (zh) 基于稠密视差图的路面坑洼检测方法、***和设备
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN113240632B (zh) 基于语义分割网络的路面检测方法、***和智能终端
US11762957B2 (en) RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal
CN114495043B (zh) 基于双目视觉***的上下坡路况检测方法、***和智能终端
CN112465831B (zh) 基于双目立体相机的弯道场景感知方法、***和装置
CN114509045A (zh) 车轮区域高程检测方法和***
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和***
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、***和智能终端
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、***和智能终端
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、***和智能终端
CN113781543B (zh) 基于双目相机的限高装置检测方法、***和智能终端
CN113240631B (zh) 基于rgb-d融合信息的路面检测方法、***和智能终端
CN113689565B (zh) 基于双目立体视觉的路面平整度等级检测方法、***和智能终端
CN111754574A (zh) 基于双目相机的距离测试方法、装置、***和存储介质
US20230147557A1 (en) Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal
CN113253256B (zh) 基于传感器融合设备的监控方法、装置和传感器融合设备
CN114511600A (zh) 基于点云配准的位姿计算方法和***
CN114049307A (zh) 基于双目立体视觉的路面高度检测方法、***和智能终端
CN113706622B (zh) 基于双目立体视觉的路面拟合方法、***和智能终端
CN115205809B (zh) 路面凹凸度检测方法和***
CN115116038B (zh) 基于双目视觉的障碍物识别方法和***
CN117455815B (zh) 基于卫星影像平顶建筑物顶底偏移校正方法及相关设备
CN114298965A (zh) 基于双目视觉***的帧间匹配检测方法、***和智能终端
CN118433535A (zh) 一种路侧目标感知方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant