CN115100621A - 基于深度学习网络的地面场景检测方法和*** - Google Patents

基于深度学习网络的地面场景检测方法和*** Download PDF

Info

Publication number
CN115100621A
CN115100621A CN202211023050.2A CN202211023050A CN115100621A CN 115100621 A CN115100621 A CN 115100621A CN 202211023050 A CN202211023050 A CN 202211023050A CN 115100621 A CN115100621 A CN 115100621A
Authority
CN
China
Prior art keywords
ground
detection area
unit
disparity map
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211023050.2A
Other languages
English (en)
Inventor
苏文秀
杨超
冯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202211023050.2A priority Critical patent/CN115100621A/zh
Publication of CN115100621A publication Critical patent/CN115100621A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习网络的地面场景检测方法和***，所述方法包括：获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。

Description

基于深度学习网络的地面场景检测方法和***
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于深度学习网络的地面场景检测方法和***。
背景技术
近年来，自动驾驶和辅助驾驶得到了广泛的使用，在辅助驾驶过程中，平顺性是主要的性能条件之一。在面对如积水、泥泞、坑洼等不同的地面状态或草地、岩石、积雪等不同地面类型时，汽车底盘和悬架需要采用不同的策略及时调整阻尼、刚度等参数特性，从而提高底盘自动化水平，提高驾驶体验和乘坐舒适性。
现有的地面场景检测方法，通常将地面作为一个整体区域进行检测，若地面场景复杂时，无法获得精确的细粒度结果，导致地面场景检测的准确性较差。
发明内容
为此，本发明实施例提供一种基于深度学习网络的地面场景检测方法和***，以期至少部分解决现有技术中地面场景检测准确性较差的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于深度学习网络的地面场景检测方法，所述方法包括：
获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；
基于所述视差图计算地面检测区域；
将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；
将所有所述地面感知结果进行融合，以得到感知融合结果；
将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
其中，所述网格像素分割模型是通过地面检测区域样本划分的单元网格样本训练得到的。
进一步地，基于所述视差图计算地面检测区域，具体包括：
设定从最近地面可视点至距离双目相机v_z米的范围为地面检测区域的纵向范围；
由双目视差图做水平投影，以得到V向视差图；
在V向视差图上拟合路面斜线，以得到路面方程，所述路面方程表示地面视差值与视差图中图像纵坐标i_y的转换关系；
根据路面拟合方程和双目立体视觉公式，计算v_z距离对应的图像纵坐标i_y；
基于图像纵坐标i_y在视差图中获得地面检测区域。
进一步地，根据双目立体视觉原理，所述双目立体视觉公式为：
Figure 718587DEST_PATH_IMAGE001
式中，v_z表示地面上某一点P到相机的纵向距离，baseline为双目相机的基线，focus为焦距，disp表示地面点P的视差值。
进一步地，将所述地面检测区域划分为若干单元网格，具体包括：
根据预先设定的检出精度和检出范围，设定所述单元网格的大小。
进一步地，预先训练网格像素分割模型，具体包括：
获取地面检测区域样本，并将所述地面检测区域样本划分为若干单元网格样本；
将各所述单元网格样本输入深度学习网络进行训练，以得到网格像素分割模型。
进一步地，将所有所述地面感知结果进行融合，以得到感知融合结果，具体包括：
对不同距离范围内、相同地面类型和地面状态的邻近单元网格进行合并，以得到地面检测区域内的地面场景信息和图像中的坐标信息；
以所述地面场景信息和所述坐标信息作为感知融合结果。
本发明还提供一种基于深度学习网络的地面场景检测***，所述***包括：
图像获取单元，用于获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；
检测区域计算单元，用于基于所述视差图计算地面检测区域；
感知结果获取单元，用于将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；
第一结果融合单元，用于将所有所述地面感知结果进行融合，以得到感知融合结果；
第二结果融合单元，用于将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本发明所提供的基于深度学习网络的地面场景检测方法和***，通过获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。
这样，本发明提供的地面场景检测方法和***，对车辆前方地面类型、地面状态等利用深度学习模型进行多网格像素分割检测，并且融合双目视差图得到空间位置信息。在复杂的地面场景下，能够细粒度的判断地面不同区域的多种地面类型和地面状态，从而准确地检测不同距离的地面场景变化，利用网格像素分割思想，解决了现有技术中地面场景检测准确性较差的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的地面场景检测方法一种具体实施方式的流程图；
图2为图1所示方法中计算地面检测区域的流程图；
图3为地面检测区域的网格划分结构示意图；
图4为网格像素分割模型的训练流程图；
图5为图4所示网格像素分割模型所采用的网络结构示意图；
图6为本发明所提供的地面场景检测***一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术地面场景检测准确性较差的技术问题，本发明提供了一种地面场景检测方法和***，利用深度学习模型，对车辆前方地面类型、地面状态进行多网格像素分割检测，在降低数据和模型复杂度的同时可以获得细粒度的感知结果；再结合双目立体视觉技术获得空间位置信息，从而实时监测感知前方的地面场景，向车辆控制器输出稳定的检测信号，为汽车悬架调整提供数据支持。
请参考图1，图1为本发明所提供的地面场景检测方法一种具体实施方式的流程图。
在一种具体实施方式中，本发明所提供的基于深度学习网络的地面场景检测方法包括以下步骤：
S101：获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图。具体地，通过车载的双目立体相机获取道路原始图像，该道路原始图像是需要检测的目标区域内的图像。通过双目立体相机可以获取左、右两个原始彩色图像，根据相机的标定参数进行矫正后，获得左、右两个彩色矫正图像。而后根据双目立体视觉原理，对双目左、右相机的图像匹配区域逐点计算视差值，得到相应的视差图。
S102：基于所述视差图计算地面检测区域，在视差图上动态的计算地面检测区域。
S103：将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果。为了得到更准确的地面场景信息，将地面检测区域（ROI）划分为均匀大小的网格，而后利用预先训练的网格像素分割模型对每个单元网格进行地面类型和地面状态的检测，以得到每个单元网格的地面感知结果。其中，地面感知结果包括了地面类型检测结果和地面状态检测结果。
S104：将所有所述地面感知结果进行融合，以得到感知融合结果。具体地，利用上述预训练得到的网格像素分割模型，对地面场景进行检测时，获得地面类型和地面状态构成的感知结果。其中，地面类型可以包括沥青、混凝土、草地、沙漠、雪地等；地面状态可以包括积水、坑洼、破损、泥泞等。
S105：将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
其中，所述网格像素分割模型是通过地面检测区域样本划分的单元网格样本训练得到的。
在一些实施例中，为了提高地面检测区域的获取准确性，可动态地计算地面检测区域。如图2所示，基于所述视差图计算地面检测区域，具体包括以下步骤：
S201：设定从最近地面可视点至距离双目相机v_z米的范围为地面检测区域的纵向范围；
S202：由双目视差图做水平投影，以得到V向视差图，应当理解的是，由双目视差图做水平投影，以得到水平方向视差图，即V视差图；
S203：在V向视差图上拟合路面斜线，以得到路面方程，所述路面方程表示地面视差值与视差图中图像纵坐标i_y的转换关系；
S204：根据路面拟合方程和双目立体视觉公式，计算v_z距离对应的图像纵坐标i_y；
S205：基于图像纵坐标i_y在视差图中获得地面检测区域。
其中，根据双目立体视觉原理，所述双目立体视觉公式为：
Figure 504009DEST_PATH_IMAGE002
式中，v_z表示地面上某一点P到相机的纵向距离，baseline为双目相机的基线，focus为焦距，disp表示地面点P的视差值。
在一个具体使用场景中，动态计算地地面检测区域（ROI）时，假设地面检测区域的纵向范围为：从最近地面可视点至距离双目相机v_z米的范围。由双目视差图做水平投影得到V向视差图，在V向视差图上拟合路面斜线得到路面方程R，即为地面视差值disp与图像纵坐标i_y的转换关系，计算出v_z距离对应的图像纵坐标i_y，从而动态的获得地面检测范围在图像中对应的感兴趣区域ROI。
在一些实施例中，将所述地面检测区域划分为若干单元网格，具体包括：
根据预先设定的检出精度和检出范围，设定所述单元网格的大小。在一个具体使用场景中，根据具体的检出精度和检出范围设置单元网格的大小，假设单元网格宽为w个像素，高为h个像素，则需要将ROI的大小自适应调整为W * H,且W、H分别为w、h的整数倍，W *H = w * h * m * n,即将W * H的ROI划分为m * n个w * h的网格。如图3所示，为地面检测区域ROI的网格划分示意图。
如图4所示，上述预先训练的网格像素分割模型，其预训练过程具体包括以下步骤：
S401：获取地面检测区域样本，并将所述地面检测区域样本划分为若干单元网格样本；
S402：将各所述单元网格样本输入深度学习网络进行训练，以得到网格像素分割模型。
仍以上述使用场景为例，如图5所示，是深度学习网格像素分割模型的一个基本网络示例结构。该网络结构基本包括：（1）ROI图像输入，将适配宽高之后W * H的ROI图像输入；（2）多个卷积层进行特征提取；（3）模型输出：获得m * n个单元网格的像素分类结果。本方法提出的网格像素分割模型，以深度学习图像分割网络为基础，进行了改进和创新。常见的图像分割网络，是对每一个像素点进行判断类别，得到像素级别的分割结果；而基于网格像素分割的模型，则是以每一个网格为最小单元进行像素类别判断，可以在获得细粒度的检测结果的同时，很大程度的降低数据标注的复杂度和模型计算量。
进一步地，将所有所述地面感知结果进行融合，以得到感知融合结果，具体包括：
对不同距离范围内、相同地面类型和地面状态的邻近单元网格进行合并，以得到地面检测区域内的地面场景信息和图像中的坐标信息；
以所述地面场景信息和所述坐标信息作为感知融合结果。
具体地，该方法包括两步融合，其一为多个网格区域感知结果融合，其二为感知信息与双目视差信息融合。其中，在进行多个网格区域感知结果融合时，将m * n个单元网格的模型感知结果进行融合，对不同距离范围内，相同地面类型和地面状态的邻近单元网格进行合并，最后得到整个地面检测区域范围内的各种地面场景信息和图像中的坐标信息。在进行感知信息与双目视差信息融合时，依据双目立体视觉原理，将深度学习网格像素分割模型基于图像的感知结果，融合视差信息，进一步获得准确地空间位置信息。
在上述具体实施方式中，本发明所提供的基于深度学习网络的地面场景检测方法，通过获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。
这样，本发明提供的地面场景检测方法和***，对车辆前方地面类型、地面状态等利用深度学习模型进行多网格像素分割检测，并且融合双目视差图得到空间位置信息。在复杂的地面场景下，能够细粒度的判断地面不同区域的多种地面类型和地面状态，从而准确地检测不同距离的地面场景变化，利用网格像素分割思想，解决了现有技术中地面场景检测准确性较差的技术问题。
除了上述方法，本发明还提供一种基于深度学习网络的地面场景检测***，如图6所示，所述***包括：
图像获取单元100，用于获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；
检测区域计算单元200，用于基于所述视差图计算地面检测区域；
感知结果获取单元300，用于将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；
第一结果融合单元400，用于将所有所述地面感知结果进行融合，以得到感知融合结果；
第二结果融合单元500，用于将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。
在上述具体实施方式中，本发明所提供的基于深度学习网络的地面场景检测***，通过获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；基于所述视差图计算地面检测区域；将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；将所有所述地面感知结果进行融合，以得到感知融合结果；将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息。从而利用单元网格的划分，实现了较高的细粒度结果，提高了地面场景检测的准确性。
这样，本发明提供的地面场景检测***，对车辆前方地面类型、地面状态等利用深度学习模型进行多网格像素分割检测，并且融合双目视差图得到空间位置信息。在复杂的地面场景下，能够细粒度的判断地面不同区域的多种地面类型和地面状态，从而准确地检测不同距离的地面场景变化，利用网格像素分割思想，解决了现有技术中地面场景检测准确性较差的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定***执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习网络的地面场景检测方法，其特征在于，所述方法包括：
获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；
基于所述视差图计算地面检测区域；
将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；
将所有所述地面感知结果进行融合，以得到感知融合结果；
将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息；
其中，所述网格像素分割模型是通过地面检测区域样本划分的单元网格样本训练得到的。
2.根据权利要求1所述的地面场景检测方法，其特征在于，基于所述视差图计算地面检测区域，具体包括：
设定从最近地面可视点至距离双目相机v_z米的范围为地面检测区域的纵向范围；
由双目视差图做水平投影，以得到V向视差图；
在V向视差图上拟合路面斜线，以得到路面方程，所述路面方程表示地面视差值与视差图中图像纵坐标i_y的转换关系；
根据路面拟合方程和双目立体视觉公式，计算v_z距离对应的图像纵坐标i_y；
基于图像纵坐标i_y在视差图中获得地面检测区域。
3.根据权利要求1所述的地面场景检测方法，其特征在于，根据双目立体视觉原理，所述双目立体视觉公式为：
Figure DEST_PATH_IMAGE001
式中，v_z表示地面上某一点P到相机的纵向距离，baseline为双目相机的基线，focus为焦距，disp表示地面点P的视差值。
4.根据权利要求1所述的地面场景检测方法，其特征在于，将所述地面检测区域划分为若干单元网格，具体包括：
根据预先设定的检出精度和检出范围，设定所述单元网格的大小。
5.根据权利要求1所述的地面场景检测方法，其特征在于，预先训练网格像素分割模型，具体包括：
获取地面检测区域样本，并将所述地面检测区域样本划分为若干单元网格样本；
将各所述单元网格样本输入深度学习网络进行训练，以得到网格像素分割模型。
6.根据权利要求1所述的地面场景检测方法，其特征在于，将所有所述地面感知结果进行融合，以得到感知融合结果，具体包括：
对不同距离范围内、相同地面类型和地面状态的邻近单元网格进行合并，以得到地面检测区域内的地面场景信息和图像中的坐标信息；
以所述地面场景信息和所述坐标信息作为感知融合结果。
7.一种基于深度学习网络的地面场景检测***，其特征在于，所述***包括：
图像获取单元，用于获取目标区域内的道路原始图像，并通过双目立体匹配计算所述道路原始图像的视差图；
检测区域计算单元，用于基于所述视差图计算地面检测区域；
感知结果获取单元，用于将所述地面检测区域划分为若干单元网格，根据预先训练的网格像素分割模型，计算各所述单元网格的地面感知结果；
第一结果融合单元，用于将所有所述地面感知结果进行融合，以得到感知融合结果；
第二结果融合单元，用于将所述感知融合结果与所述视差图相融合，以得到所述地面检测区域的地面场景信息；
其中，所述网格像素分割模型是通过地面检测区域样本划分的单元网格样本训练得到的。
8.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-6任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
CN202211023050.2A 2022-08-25 2022-08-25 基于深度学习网络的地面场景检测方法和*** Pending CN115100621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211023050.2A CN115100621A (zh) 2022-08-25 2022-08-25 基于深度学习网络的地面场景检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211023050.2A CN115100621A (zh) 2022-08-25 2022-08-25 基于深度学习网络的地面场景检测方法和***

Publications (1)

Publication Number Publication Date
CN115100621A true CN115100621A (zh) 2022-09-23

Family

ID=83300701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211023050.2A Pending CN115100621A (zh) 2022-08-25 2022-08-25 基于深度学习网络的地面场景检测方法和***

Country Status (1)

Country Link
CN (1) CN115100621A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273405A (zh) * 2023-11-22 2023-12-22 航天正通汇智(北京)科技股份有限公司 阵列计算视觉应用在景区管理的方法
CN118135527A (zh) * 2024-05-10 2024-06-04 北京中科慧眼科技有限公司 基于双目相机的道路场景感知方法、***和智能终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244218A (ja) * 2011-05-16 2012-12-10 Fujifilm Corp 視差画像表示装置、視差画像生成方法、及び視差画像プリント
CN105868687A (zh) * 2015-02-09 2016-08-17 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法
CN110021041A (zh) * 2019-03-01 2019-07-16 浙江大学 基于双目相机的无人驾驶场景增量式网格化结构重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244218A (ja) * 2011-05-16 2012-12-10 Fujifilm Corp 視差画像表示装置、視差画像生成方法、及び視差画像プリント
CN105868687A (zh) * 2015-02-09 2016-08-17 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN107071383A (zh) * 2017-02-28 2017-08-18 北京大学深圳研究生院 基于图像局部分割的虚拟视点合成方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法
CN110021041A (zh) * 2019-03-01 2019-07-16 浙江大学 基于双目相机的无人驾驶场景增量式网格化结构重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273405A (zh) * 2023-11-22 2023-12-22 航天正通汇智(北京)科技股份有限公司 阵列计算视觉应用在景区管理的方法
CN117273405B (zh) * 2023-11-22 2024-07-12 航天正通汇智(北京)科技股份有限公司 阵列计算视觉应用在景区管理的方法
CN118135527A (zh) * 2024-05-10 2024-06-04 北京中科慧眼科技有限公司 基于双目相机的道路场景感知方法、***和智能终端

Similar Documents

Publication Publication Date Title
CN112906449B (zh) 基于稠密视差图的路面坑洼检测方法、***和设备
CN111583663B (zh) 基于稀疏点云的单目感知修正方法、装置及存储介质
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和***
CN113240632B (zh) 基于语义分割网络的路面检测方法、***和智能终端
US20220277470A1 (en) Method and system for detecting long-distance target through binocular camera, and intelligent terminal
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
US9704253B2 (en) Method for determining depth maps from stereo images with improved depth resolution in a range
CN107636679A (zh) 一种障碍物检测方法及装置
CN114495043B (zh) 基于双目视觉***的上下坡路况检测方法、***和智能终端
CN114509045A (zh) 车轮区域高程检测方法和***
CN112465831B (zh) 基于双目立体相机的弯道场景感知方法、***和装置
CN110926408A (zh) 基于特征物的近距离测距方法、装置、***和存储介质
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、***和智能终端
CN111382591B (zh) 一种双目相机测距校正方法及车载设备
CN114926521A (zh) 基于双目相机的立体匹配方法和***
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、***和智能终端
CN113240631B (zh) 基于rgb-d融合信息的路面检测方法、***和智能终端
US20230147557A1 (en) Real-time ground fusion method and system based on binocular stereo vision, and intelligent terminal
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、***和智能终端
CN111754574A (zh) 基于双目相机的距离测试方法、装置、***和存储介质
CN114511600A (zh) 基于点云配准的位姿计算方法和***
CN114972470A (zh) 基于双目视觉的路面环境获取方法和***
CN114049307A (zh) 基于双目立体视觉的路面高度检测方法、***和智能终端
CN113706622B (zh) 基于双目立体视觉的路面拟合方法、***和智能终端
CN115116038B (zh) 基于双目视觉的障碍物识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220923