CN113781543B - 基于双目相机的限高装置检测方法、***和智能终端 - Google Patents

基于双目相机的限高装置检测方法、***和智能终端 Download PDF

Info

Publication number
CN113781543B
CN113781543B CN202111324101.0A CN202111324101A CN113781543B CN 113781543 B CN113781543 B CN 113781543B CN 202111324101 A CN202111324101 A CN 202111324101A CN 113781543 B CN113781543 B CN 113781543B
Authority
CN
China
Prior art keywords
target
limiting device
cleaning
disparity map
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111324101.0A
Other languages
English (en)
Other versions
CN113781543A (zh
Inventor
孙旭生
杨超
朱海涛
肖志鹏
孙钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202111324101.0A priority Critical patent/CN113781543B/zh
Publication of CN113781543A publication Critical patent/CN113781543A/zh
Application granted granted Critical
Publication of CN113781543B publication Critical patent/CN113781543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目相机的限高装置检测方法、***和智能终端，所述方法包括：构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置；获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图；基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离。解决了现有技术中限高装置的高度、距离检测准确性较差的技术问题。

Description

基于双目相机的限高装置检测方法、***和智能终端
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于双目相机的限高装置检测方法、***和智能终端。
背景技术
随着汽车技术的不断发展，大型客车、大型货车以及房车等车身高度比较高的车型数量持续增长。然而，由于大型车辆驾驶员的疏忽或无法准确估计限高装置高度等原因，车辆与限高装置发生碰撞而造成人员伤亡以及财产损失的事故频繁发生。事故发生的主要原因如下：1）部分限高装置的颜色、纹理等特征不明显，驾驶员难以发现；2）部分限高装置无标识牌注明限高装置的实际高度，或限高标识牌注明的高度与实际限高装置的高度不符。
基于上述原因，提供一种基于双目相机的限高装置检测方法、***和智能终端，以提高限高装置的位置准确和高度、距离准确性，使得有高度方向碰撞风险的大型车辆司机可以提前获得准确预警，避免碰撞事故的发生，保证行车安全。
发明内容
为此，本发明实施例提供一种基于双目相机的限高装置检测方法、***和智能终端，以解决现有技术中限高装置的高度、距离检测准确性较差的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目相机的限高装置检测方法，所述方法包括：
构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；
基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置；
获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图；
基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离。
进一步地，所述构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型，具体包括：
构建限高装置数据集并完成精确标注后，选择SSD作为深度学习目标检测算法进行目标检测模型的训练。
进一步地，所述基于所述深度学习目标检测模型获取目标限高装置的位置，具体包括：
将限高装置数据集中的测试集数据输入模型中对模型进行测试。
进一步地，对所述视差图进行清洗，得到目标视差图，具体包括：
使用均值滤波对原始视差图进行粗粒度清洗，得到粗清洗后的视差图；
对粗清洗后的视差图进行细粒度清洗，得到所述目标视差图。
进一步地，所述使用均值滤波对原始视差图进行粗粒度清洗，具体包括：
设定视差极大值阈值与视差极小值阈值；
求取所述原始视差图的全图非零平均值；
按行求取所述原始视差图中每行的平均值与非零平均值，并计算该行平均值与非零平均值的差值；
若对比计算的结果超过极大值阈值，则将该行置0；
如果计算低于极小值阈值，则认为该行空洞较多，并将该行替换为全图非零平均值。
进一步地，所述对粗清洗后的视差图进行细粒度清洗，具体包括：
设定细粒度滤波步数=15与细粒度滤波步长=3，并进行反复清洗；
清洗次数为所述滤波步数与所述滤波步长的乘积，其中，每完成1次清洗，滤波步数减1，滤波步数加1，直到完成清洗次数为止。
进一步地，所述基于所述目标视差图计算所述目标限高装置的高度，具体包括：
根据以下公式计算目标限高装置的高度：
Figure 236024DEST_PATH_IMAGE001
其中，height代表目标高度，V代表目标相素坐标，V 0 代表相机光心坐标，disparity代表视差值大小。
进一步地，基于所述目标视差图计算所述目标限高装置与当前车辆的距离，具体包括：
基于所述目标视差图，计算所述目标限高装置在所述目标视差图上的视差值；
根据以下公式计算目标限高装置与当前车辆之间的距离：
Figure 956856DEST_PATH_IMAGE002
其中，distance为目标限高装置与当前车辆之间的距离，b为双目相机的基线，f为双目相机的焦距，disparity为所述目标限高装置在所述目标视差图上的视差值。
本发明还提供一种基于双目相机的限高装置检测***，用于实施如上所述的方法，所述***包括：
模型构建单元，用于构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；
位置检测单元，用于基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置；
视差图清洗单元，用于获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图；
高度和距离计算单元，用于基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明所提供的基于双目相机的限高装置检测方法包括：构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置；获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图；基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离。该方法通过对目标检测模型进行训练，提高模型准确性，从而提高基于模型获得的目标限高装置位置的准确性；同时，通过对视差图进行清洗，提高视差图的准确性，从而提高基于视差图计算得到的目标限高装置的高度和距离的准确性。从而解决了现有技术中限高装置的高度、距离检测准确性较差的技术问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目相机的限高装置检测方法一种具体实施方式的流程图；
图2为SSD的网络结构图；
图3为视差图做可视化处理后的结果示意图；
图4为对原始视差图进行粗粒度清洗后的示意图；
图5为对视差图进行细粒度清洗后的示意图；
图6为本发明所提供的基于双目相机的限高装置检测***一种具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一种具体实施方式中，如图1所示，本发明所提供的基于双目相机的限高装置检测方法包括以下步骤：
S1：构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型。
具体地，构建限高装置数据集并完成精确标注后，选择合适的深度学习目标检测算法进行目标检测模型的训练。在模型训练的过程中，应持续调整算法的超参数，直至算法的超参数完全适配限高装置数据集与目标检测算法，从而训练出检测精度较高的深度学习目标检测模型。
为了提高模型训练的准确性，在进行深度学习目标检测模型训练之前，选择对限高装置检测问题合适的目标检测网络。SSD网络使用了多尺度多长宽比的密集锚点以及特征金字塔的设计，与限高装置的几何特征适配度较高，因此选择使用SSD网络作为目标检测网络进行训练，其中，SSD的网络结构如图2所示。
S2：基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置。在训练出高检测精度的深度学习目标检测模型后，将限高装置数据集中的测试集数据输入模型中对模型进行测试，基于目标检测模型的测试结果会精确的检出限高装置的位置，并以矩形框的形式将限高装置的区域包裹住，即标出目标限高装置。
S3：获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图。
为了提高清洗效果，可通过粗清洗和细清洗两步。也就是说，对所述视差图进行清洗，得到目标视差图，具体包括：
使用均值滤波对原始视差图进行粗粒度清洗，得到粗清洗后的视差图；
对粗清洗后的视差图进行细粒度清洗，得到所述目标视差图。
其中，所述使用均值滤波对原始视差图进行粗粒度清洗，具体包括：
设定视差极大值阈值与视差极小值阈值；
求取所述原始视差图的全图非零平均值；
按行求取所述原始视差图中每行的平均值与非零平均值，并计算该行平均值与非零平均值的差值；
若对比计算的结果超过极大值阈值，则将该行置0；
如果计算低于极小值阈值，则认为该行空洞较多，并将该行替换为全图非零平均值。
其中，所述对粗清洗后的视差图进行细粒度清洗，具体包括：
设定细粒度滤波步数=15与细粒度滤波步长=3；
按上述的步骤进行反复清洗；
清洗次数为所述滤波步数与所述滤波步长的乘积，其中，每完成1次清洗，滤波步数减1，滤波步数加1，直到完成清洗次数为止。
从原理上来讲，利用双目相机的原始图像，逐点计算左右相机重合且有效区域的视差，得到与原始图像相对应的视差图。在视差图中视差值的大小代表物体与相机距离的大小。但是经过计算得到的视差图在远距离会有较大的噪音干扰，根据目标检测模型检出的包裹限高装置的矩形框的位置取出对应位置的视差图，做可视化处理后的结果如图3所示。
从可视化结果可以看出，原始视差图的视差分布非常不均匀，因此需要对原始视差图进行清洗。视差图的清洗分为粗粒度清洗与细粒度清洗，首先使用均值滤波对原始视差图进行粗粒度清洗，结果如图4所示。
基于上述原理，粗粒度清洗的策略为：
设定视差极大值阈值与视差极小值阈值；
求取全图的非零平均值；
按行求取该行的平均值与非零平均值，并计算该行平均值与非零平均值的差值；
如果计算超过极大值阈值，则认为该行为异常值，并将该行置0；
如果计算低于极小值阈值，则认为该行空洞较多，并将该行替换为全图非零平均值。
从可视化结果可以看出，在经过粗粒度清洗后的视差图的数值分布相比初始视差图要均匀很多，但仍不足以支持算法完成准确计算。因此，需要对视差图进行进一步的细粒度清洗，经过细粒度清洗后的视差图可视化结果如图5所示。
基于上述原理，细粒度清洗的方式为：
设定细粒度滤波步数=15与细粒度滤波步长=3；
每一次细粒度清洗，滤波步数减1，步数加1，总共进行滤波步数×滤波步长次视差图清洗；
每一步清洗都按照粗粒度清洗的方法严格执行。
经过细粒度清洗后的视差图的数值分布均匀，可以进行下一步的限高装置的距离以及高度的计算。
S4：基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离。
其中，所述基于所述目标视差图计算所述目标限高装置的高度，具体包括：
根据以下公式计算目标限高装置的高度：
Figure 856679DEST_PATH_IMAGE001
其中，height代表目标高度，V代表目标相素坐标，V 0 代表相机光心坐标，disparity代表视差值大小。
基于所述目标视差图计算所述目标限高装置与当前车辆的距离，具体包括：
基于所述目标视差图，计算所述目标限高装置在所述目标视差图上的视差值；
根据以下公式计算目标限高装置与当前车辆之间的距离：
Figure 750685DEST_PATH_IMAGE002
其中，distance为目标限高装置与当前车辆之间的距离，b为双目相机的基线，f为双目相机的焦距，disparity为所述目标限高装置在所述目标视差图上的视差值。
在上述具体实施方式中，该方法通过对目标检测模型进行训练，提高模型准确性，从而提高基于模型获得的目标限高装置位置的准确性；同时，通过对视差图进行清洗，提高视差图的准确性，从而提高基于视差图计算得到的目标限高装置的高度和距离的准确性。从而解决了现有技术中限高装置的高度、距离检测准确性较差的技术问题。
进一步地，该方法使用双目相机构建限高装置数据库，使用深度学习目标检测方法对车辆前方的限高装置进行精确检测。根据双目相机的左右视图逐点计算视差值并提取检测出的限高装置对应位置的视差图，在经过粗粒度与细粒度清洗后，视差图数值分布更加均匀可靠，可根据计算出的视差值完成限高装置的距离与高度的测量。进而能够提前为驾驶员提供有效信息，避免发生高度方向上的碰撞，有效降低限高事故的发生率。
除了上述方法，本发明还提供一种基于双目相机的限高装置检测***，用于实施如上所述的方法，在一种具体实施方式中，如图6所示，所述***包括：
模型构建单元100，用于构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；
位置检测单元200，用于基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置。具体地，位置检测单元200用于使用限高装置数据集中的测试集数据对模型进行测试。
视差图清洗单元300，用于获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图。
其中，视差图清洗单元300具体用于：
使用均值滤波对原始视差图进行粗粒度清洗，得到粗清洗后的视差图；
对粗清洗后的视差图进行细粒度清洗，得到所述目标视差图。
高度和距离计算单元400，用于基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离。
高度和距离计算单元400具体用于，根据以下公式计算目标限高装置的高度：
Figure 52354DEST_PATH_IMAGE001
其中，height代表目标高度，V代表目标相素坐标，V 0 代表相机光心坐标，disparity代表视差值大小。
高度和距离计算单元400具体用于，基于所述目标视差图，计算所述目标限高装置在所述目标视差图上的视差值；
根据以下公式计算目标限高装置与当前车辆之间的距离：
Figure 412928DEST_PATH_IMAGE002
其中，distance为目标限高装置与当前车辆之间的距离，b为双目相机的基线，f为双目相机的焦距，disparity为所述目标限高装置在所述目标视差图上的视差值。
在上述具体实施方式中，该***通过对目标检测模型进行训练，提高模型准确性，从而提高基于模型获得的目标限高装置位置的准确性；同时，通过对视差图进行清洗，提高视差图的准确性，从而提高基于视差图计算得到的目标限高装置的高度和距离的准确性。从而解决了现有技术中限高装置的高度、距离检测准确性较差的技术问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定***执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (7)

1.一种基于双目相机的限高装置检测方法，其特征在于，所述方法包括：
构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；
基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置；
获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图；
基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离；
对所述视差图进行清洗，得到目标视差图，具体包括：
使用均值滤波对原始视差图进行粗粒度清洗，得到粗清洗后的视差图；
对粗清洗后的视差图进行细粒度清洗，得到所述目标视差图；
其中，所述使用均值滤波对原始视差图进行粗粒度清洗，具体包括：
设定视差极大值阈值与视差极小值阈值；
求取所述原始视差图的全图非零平均值；
按行求取所述原始视差图中每行的平均值，并计算该行平均值与全图非零平均值的差值；
若该行平均值与全图非零平均值的差值超过极大值阈值，则认为该行涵盖的是背景，则将该行置0；
若该行平均值与全图非零平均值的差值低于极小值阈值，则认为该行空洞较多，并将该行替换为全图非零平均值；
其中，所述对粗清洗后的视差图进行细粒度清洗，具体包括：
设定细粒度滤波步数=15与细粒度滤波步长=3，并进行反复清洗；
清洗次数为所述滤波步数与所述滤波步长的乘积，其中，每完成1次清洗，滤波步数减1，滤波步长加1，直到完成清洗次数为止。
2.根据权利要求1所述的限高装置检测方法，其特征在于，所述构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型，具体包括：
构建限高装置数据集并完成精确标注后，选择SSD作为深度学习目标检测算法进行目标检测模型的训练。
3.根据权利要求2所述的限高装置检测方法，其特征在于，所述基于所述深度学习目标检测模型获取目标限高装置的位置，具体包括：
将限高装置数据集中的测试集数据输入模型中对模型进行测试。
4.根据权利要求3所述的限高装置检测方法，其特征在于，所述基于所述目标视差图计算所述目标限高装置的高度，具体包括：
根据以下公式计算目标限高装置的高度：
Figure 572929DEST_PATH_IMAGE001
其中，height代表目标高度，V代表目标相素坐标，V 0 代表相机光心坐标，disparity代表视差值大小。
5.根据权利要求4所述的限高装置检测方法，其特征在于，基于所述目标视差图计算所述目标限高装置与当前车辆的距离，具体包括：
基于所述目标视差图，计算所述目标限高装置在所述目标视差图上的视差值；
根据以下公式计算目标限高装置与当前车辆之间的距离：
Figure 493612DEST_PATH_IMAGE002
其中，distance为目标限高装置与当前车辆之间的距离，b为双目相机的基线，f为双目相机的焦距，disparity为所述目标限高装置在所述目标视差图上的视差值。
6.一种基于双目相机的限高装置检测***，用于实施如权利要求1-5任一项所述的方法，其特征在于，所述***包括：
模型构建单元，用于构建目标检测模型，并利用目标检测算法对所述目标检测模型进行训练，以得到深度学习目标检测模型；
位置检测单元，用于基于所述深度学习目标检测模型获取目标限高装置的位置，并在双目相机的原始图像上标出所述目标限高装置；
视差图清洗单元，用于获取所述双目相机的原始视差图，并对所述原始视差图进行清洗，得到目标视差图；
高度和距离计算单元，用于基于所述目标视差图计算所述目标限高装置的高度，以及所述目标限高装置与当前车辆的距离；
对所述视差图进行清洗，得到目标视差图，具体包括：
使用均值滤波对原始视差图进行粗粒度清洗，得到粗清洗后的视差图；
对粗清洗后的视差图进行细粒度清洗，得到所述目标视差图；
其中，所述使用均值滤波对原始视差图进行粗粒度清洗，具体包括：
设定视差极大值阈值与视差极小值阈值；
求取所述原始视差图的全图非零平均值；
按行求取所述原始视差图中每行的平均值，并计算该行平均值与全图非零平均值的差值；
若该行平均值与全图非零平均值的差值超过极大值阈值，则认为该行涵盖的是背景，则将该行置0；
若该行平均值与全图非零平均值的差值低于极小值阈值，则认为该行空洞较多，并将该行替换为全图非零平均值；
其中，所述对粗清洗后的视差图进行细粒度清洗，具体包括：
设定细粒度滤波步数=15与细粒度滤波步长=3，并进行反复清洗；
清洗次数为所述滤波步数与所述滤波步长的乘积，其中，每完成1次清洗，滤波步数减1，滤波步长加1，直到完成清洗次数为止。
7.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
CN202111324101.0A 2021-11-10 2021-11-10 基于双目相机的限高装置检测方法、***和智能终端 Active CN113781543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111324101.0A CN113781543B (zh) 2021-11-10 2021-11-10 基于双目相机的限高装置检测方法、***和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111324101.0A CN113781543B (zh) 2021-11-10 2021-11-10 基于双目相机的限高装置检测方法、***和智能终端

Publications (2)

Publication Number Publication Date
CN113781543A CN113781543A (zh) 2021-12-10
CN113781543B true CN113781543B (zh) 2022-03-18

Family

ID=78873667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111324101.0A Active CN113781543B (zh) 2021-11-10 2021-11-10 基于双目相机的限高装置检测方法、***和智能终端

Country Status (1)

Country Link
CN (1) CN113781543B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463388A (zh) * 2022-04-13 2022-05-10 北京中科慧眼科技有限公司 基于双目相机的限高装置检测方法、***和智能终端
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260720A (zh) * 2020-01-13 2020-06-09 浙江大学 一种基于深度学习方法的目标高度测定***
CN113240632A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、***和智能终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN104700414B (zh) * 2015-03-23 2017-10-03 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
CN111339956A (zh) * 2020-02-28 2020-06-26 北京中科慧眼科技有限公司 基于双目相机的限高预警方法、装置、***和存储介质
CN111314688B (zh) * 2020-03-16 2022-05-17 北京迈格威科技有限公司 视差图空洞填充方法、装置和电子***
CN111862077A (zh) * 2020-07-30 2020-10-30 浙江大华技术股份有限公司 视差图的处理方法及装置、存储介质、电子装置
CN113378805B (zh) * 2021-08-13 2021-12-17 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、***和智能终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260720A (zh) * 2020-01-13 2020-06-09 浙江大学 一种基于深度学习方法的目标高度测定***
CN113240632A (zh) * 2021-04-22 2021-08-10 北京中科慧眼科技有限公司 基于语义分割网络的路面检测方法、***和智能终端

Also Published As

Publication number Publication date
CN113781543A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113781543B (zh) 基于双目相机的限高装置检测方法、***和智能终端
US9058524B2 (en) Measuring the range to an object, in an image, using size categorization
CN112906449A (zh) 基于稠密视差图的路面坑洼检测方法、***和设备
CN114495043B (zh) 基于双目视觉***的上下坡路况检测方法、***和智能终端
CN110991232B (zh) 一种车辆位置修正方法及***、存储介质及终端
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、***和智能终端
CN112465831B (zh) 基于双目立体相机的弯道场景感知方法、***和装置
CN111339956A (zh) 基于双目相机的限高预警方法、装置、***和存储介质
CN114509045A (zh) 车轮区域高程检测方法和***
CN114742914A (zh) 车道线生成的方法、装置及电子设备
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、***和智能终端
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和***
CN113256701B (zh) 一种距离的获取方法、装置、设备及可读存储介质
CN111191538B (zh) 基于双目相机的障碍物跟踪方法、装置、***和存储介质
CN114463388A (zh) 基于双目相机的限高装置检测方法、***和智能终端
EP3623994A2 (en) Method, device, apparatus and storage medium for detecting a height of an obstacle
CN113155143A (zh) 用于评估自动驾驶用的地图的方法、设备和车辆
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、***和智能终端
CN116148821A (zh) 激光雷达的外参修正方法和装置、电子设备和存储介质
CN111539279B (zh) 道路限高高度检测方法、装置、设备及存储介质
CN114049307A (zh) 基于双目立体视觉的路面高度检测方法、***和智能终端
DE102011111856B4 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
CN112061118A (zh) 车辆碰撞预测方法及装置
CN113706622B (zh) 基于双目立体视觉的路面拟合方法、***和智能终端
CN115205809B (zh) 路面凹凸度检测方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant