CN114842340A - 一种机器人双目立体视觉障碍物感知方法与*** - Google Patents

一种机器人双目立体视觉障碍物感知方法与*** Download PDF

Info

Publication number
CN114842340A
CN114842340A CN202210522701.6A CN202210522701A CN114842340A CN 114842340 A CN114842340 A CN 114842340A CN 202210522701 A CN202210522701 A CN 202210522701A CN 114842340 A CN114842340 A CN 114842340A
Authority
CN
China
Prior art keywords
image
matching
stereoscopic vision
binocular
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210522701.6A
Other languages
English (en)
Inventor
杜明芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210522701.6A priority Critical patent/CN114842340A/zh
Publication of CN114842340A publication Critical patent/CN114842340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明属于人工智能图像处理技术领域，公开了一种机器人双目立体视觉障碍物感知方法与***，应用在具有双目摄像传感器的硬件设备中提高障碍物检测精度，1)先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；2)通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；3)通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。同时，本发明还公开一种***，具有图像预处理模块和立体视觉处理模块。本发明通过立体视觉可以让机器人进一步理解障碍物的距离、高度信息，有效排除伪障碍物，从而提高其对环境理解的精准度。

Description

一种机器人双目立体视觉障碍物感知方法与***
技术领域
本发明属于人工智能图像处理技术领域，具体涉及一种机器人双目立体视觉障碍物感知方法与***。
背景技术
机器人道路环境的理解，除了检测和识别道路导航标识外，还需准确探测出道路环境中的障碍物，以提高道路环境理解的准确性和完整性。机器人障碍物检测常采用两种途径：雷达测距法，CCD视觉法。本专利研究的是后者。典型的机器人立体视觉障碍物检测方法包括：完全依靠立体视觉感知；立体视觉与雷达融合感知。在DARPAUrbanChallenge中，Princeton车队的自主车Prowler只用了3个立体视觉摄像机Bumblebee就完成了看路及障碍物检测。其立体视觉***能探测60米远，一套障碍物检测算法即可通用。双目视觉在智能机器人中是一项核心技术。要实现机器人的深度人工智能，让机器人能够看得更准、更快、更智能是最基本的条件之一。
一般的立体视觉障碍物检测方法是按像素点进行匹配，对机器人获取的行进道路图像中需要判定的每一个像素点进行立体视觉计算，根据图像坐标、摄像机坐标及世界坐标系之间的关系，计算出像素点的高度值，该值与地面高度值的差值超过设定的阈值则划分为障碍点，否则为可通行区域。典型应用是火星探测车“勇气号”和“机遇号”，做法是：先对图像中的每一像点进行左右视点匹配及高峰、小点过滤，再根据其像点的高度、斜坡度判断是否为障碍物，同时建立障碍物的远近层次图，当前只考虑较近层次的障碍物。该方法的缺点是对图像中的每一个像素点都要进行立体视觉重建，计算量大，不能满足快速移动机器人的实时性要求。
尽管人们对基于视觉的障碍物检测方法已开展了大量研究，但迄今为止该领域的一些关键技术问题仍未得到很好的解决，总的来看，目前车载、机载等快速移动机器人视觉平台障碍物检测的难点可总结为以下几点：
特征相似障碍物的区分。有些障碍物与可通行区域的特征提取结果非常相似，例如颜色、纹理特征一致，此时障碍物的准确辨识比较困难，可以尝试采用多特征融合方法加以解决；
伪障碍物的检测及障碍物界定。有些伪障碍物按照***障碍物的定义被判断为障碍物，例如路面上高度、体积不大的石块、砖块等，空中突然闯入的飞鸟、纸屑、树叶等，还有扬尘尘团、污染物团等，如果频繁的把这些伪障碍物作为障碍物处理，显然会影响车辆行进速度；
运动振动造成的障碍物信息测量失真。典型的情况如无人平台在野外复杂凹凸地形环境下行进时，行进过程中的振动使得传感器检测和传输的数据不连续，从而造成所描述的地形信息不准确，障碍虚报、误报率增大，影响平台行驶速度。
发明内容
为了解决现有技术存在的问题，本发明提供一种机器人双目立体视觉障碍物感知方法与***，采用彩色双目立体视觉技术、结合局部不变性特征检测技术和深度神经网络理论，适用于车载、机载、机器人等视觉***，提高其障碍物检测和模式识别精度。
本发明所采用的技术方案为：
第一方面，本发明公开一种机器人双目立体视觉障碍物感知方法，应用在具有双目摄像传感器的硬件设备中提高障碍物检测精度，
S1.先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；
S2.通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；
S3.通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。
结合第一方面，本发明提供第一方面的第一种实施方式，其中，所述步骤S1中的预处理算法包括滤波算法进行畸变消除、通过校正算法进行校正、对图像进行压缩以及对图像进行特征检测、通过小波阈值降噪法进行图像噪声去除、对图像进行压缩、通过光学防抖对振动进行抑制以及对图像进行特征提取中的一种或多种。
其中，立体视觉图像在预处理过程中的去噪采用基于小波阈值降噪法。利用信号通常是低频或者平稳信号形式、而噪声一般是高频信号的特点，采用小波阈值降噪方法滤除高频信号。选择小波coif2，一般情况下选择分解尺度N＝4，根据具体实施场景可调整分解尺度。具体操作方法是：通过设置某种阈值，将小波系数与阈值进行比较，将小于阈值的系数设置为0，而对大于阈值的小波系数，通过某种阈值函数进行修正得到其估计系数。阈值的确定方法采用邻域信息的分块阈值法。采用以下两类噪声数据集测试降噪效果，一类是高斯白噪声—BSD68、Set12等；另一类是真实噪声，真实噪声数据集采用DnD、RNI15、SIDD等。去噪步骤：
对立体视觉采集到的原始图像信号进行小波分解。选择一个小波和小波分解的层次N，然后计算信号s到第N层的分解，得到各细节分量(高频)与近似分量(低频)；对高频系数进行阈值量化，对于从1-N的每一层，选择一个阈值，并对这一层的高频系数进行软阈值量化处理。
对细节分量进行阈值处理，用处理后的各分量进行小波重构，得到去噪后的图像信号。
阈值处理方面采用极值阈值原则(minimax)：采用极大极小原理选择阈值，产生一个最小均方误差的极值。最后进行二维小波重构。
而其中所采用光学防抖技术路线，利用镜头里的陀螺仪对微小偏移量进行测量，将偏移量测量结果信号传递至镜头内的微处理器，计算补偿位移量，然后根据镜头抖动加以补偿，以调整镜头角度或距离的方式使光路稳定，有效克服振动所带来的画面模糊。
结合第一方面，本发明提供第一方面的第二种实施方式，所述步骤S2中的双目立体匹配算法中：
先实现基于像素块的快速匹配，假定一幅图像中的每一像素点都是兴趣点，再在另一幅图像中搜索对应像素点，搜索以像素块为单位进行；
然后再实现基于特征的匹配，先在一幅图像中确定出特征，然后再在待匹配图像中利用约束条件在一定范围内搜索相似特征；
再进行局部优化和全局优化相结合的优化匹配，从而获得匹配后的视差图数据。
结合第一方面的第一种实施方式，本发明提供第一方面的第三种实施方式，所述特征检测方法如下：
先从视频序列中检测并分割出目标，作为模板图像，提取模板图像的SURF特征点；然后读取视频帧，采用背景减差法检测出运动目标，得到包含运动目标的感兴趣区域，提取该区域的SURF特征点；
将上述方式中获取的两种SURF特征点集通过最近邻法进行匹配，并统计匹配点的数量，匹配点数量最多的目标为最终检测出的目标；
再用视频序列中匹配的目标图像更新模板图像。
结合第一方面，本发明提供第一方面的第四种实施方式，所述步骤S2中采用增加约束条件来减少误匹配，所述约束条件包括一性约束、相似性约束、外极线约束、平滑性约束、单调性约束、顺序约束、遮挡约束中的一种或多种。
结合第一方面，本发明提供第一方面的第五种实施方式，所述步骤S2中的双目立体匹配算法中的基于像素块的快速匹配方式具体如下：
(1)对图像A中的某一个像素，以该像素为中心，确定一个像素的正方形模板；
(2)沿同一行水平极线，将(1)中模板与图像B中的相同大小模板遍历比较；
(3)依据比较结果，选择最佳匹配；
(4)重复步骤(1)，直至所有点匹配完成。
第二方面，本发明提供一种机器人双目立体视觉障碍物感知***，基于上述中任一项的感知方法，具有图像预处理模块和立体视觉处理模块，由图像预处理模块对原始图像进行处理，从而获得预处理图像；
然后由立体视觉处理模块处理获得深度图像。
本发明的有益效果为：
本发明通过立体视觉可以让机器人进一步理解障碍物的距离、高度信息，有效排除伪障碍物，从而提高其对环境理解的精准度；
通过加强视觉感知降低机器人感知***的成本，通过算法性能的提升降低无人平台这类快速移动机器人感知***的造价，使机器人、无人车、无人机等人工智能装备进一步走向实用化、商业化。
附图说明
图1是本发明中双目立体视觉感知方法的步骤图；
图2是本发明中立体视觉图像数据处理流程；
图3是本发明中用于说明图像中的视差含义的图像对比图；
图4是本发明实施例中障碍物探测深度与视差的三角测量关系示意图；
图5是本发明实施例中远近不同障碍物点的视差关系图；
图6是本发明实施例中基于CNN特征匹配的深度图获取示意图；
图7是本发明实施例中立体视觉精度-测距范围关系曲线的近视野示意图；
图8是本发明实施例中立体视觉精度-测距范围关系曲线的远视野示意图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，本申请的描述中若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，本申请的描述中若出现术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
实施例1：
本实施例公开一种机器人双目立体视觉障碍物感知方法，如图1所示，图1中展示了基于双目视觉的立体感知步骤与算法总体流程。
整个方法基于具有双目摄像传感器的机器人，对其摄像传感器所获取的图像数据进行处理，并通过优化算法来获取更加精确的障碍物及其他特征物体的信息，便于获取到更加真实的场景信息，便于机器人进行避障或其他对应操作。
其中，双目摄像传感器对于单个场景至少获取两个视角的图像数据，先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；然后通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；再通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。
同时，如图2所示，本实施例还公开一种基于该算法构建的感知***，包括图像预处理模块和立体视觉处理模块，由图像预处理模块对原始图像进行处理，从而获得预处理图像；然后由立体视觉处理模块处理获得深度图像。
立体匹配算法和方法如下：
综合采用两种类型的匹配算法：一种是基于特征的匹配，另一种是基于像素的匹配。算法实现步骤如下：
(1)实现基于像素块的快速匹配。假定一幅图像中的每一像素点都是兴趣点，再在另一幅图像中搜索对应像素点，搜索以像素块为单位进行；
(2)实现基于特征的匹配。先在一幅图像中确定出特征，然后再在待匹配图像中利用约束条件在一定范围内搜索相似特征；
(3)实现局部优化和全局优化相结合的优化匹配。局部优化方法通常只能保证视差是某个区域内的最优解，不能在整个图像范围内对视差进行优化，全局优化可得到全局最优的视差分布，因此采用局部优化与全局优化相结合的方式。
立体匹配优化算法选择：可选择采用的基于局部优化的匹配方法为：基于区域的匹配法、基于小波域相位的匹配法、基于三角剖分的匹配法、基于秩变化和Census变换的变换匹配法、基于特征和区域混合的混合匹配法。
可选择采用的基于全局优化的典型匹配方法有：基于动态规划的匹配法、最大流-最小割法、协同迭代法等。
常用的优化方法有：神经网络、模拟退火、遗传算法、粒子滤波、动态规划、最大流-最小割法等，这些算法在面临图像高维数据据时，都或多或少存在着难以控制收敛、效率低问题。全局优化可得到全局最优的视差分布，如何定义目标函数及开发行之有效的寻优算法有难度。
其中，求解匹配关系最优化使用如下能量函数：
E(f)＝Edata(f)+Eocc(f)+Esmooth(f)
式中：
Edata(f)为数据项，表示对应像素匹配的一致性程度；
Eocc(f)为惩罚项，记录误匹配；
Esmooth(f)为平滑项，用于约束邻接像素，使其具有一致性视差。
同时，为减少误匹配，采用增加约束的手段。
可采用如下立体匹配的约束条件：唯一性约束、相似性约束、外极线约束、平滑性约束、单调性约束、顺序约束、遮挡约束。
在自主车、飞行器、工业机器人导航的应用环境下，所采用的立体视觉算法还应该满足如下要求：
实时性，应能满足实时响应控制***、导航决策***需求的能力，在规定时限内为其提供必要的数据。
可靠性，算法在不同条件下可准确辨识出障碍物，且一旦出现异常问题，算法具有自动修复、自动容错能力。
环境自适应性，根据机器人运行环境的变化，算法应能自动调整其采集到的环境特征，并自主学习其特征参数，最终通过机器学习算法实现对环境的自适应。
立体匹配算法是基于像素“绝对误差累计”的块匹配算法。步骤为：
(1)对图像A中的某一个像素，以该像素为中心，确定一个像素的正方形模板；
(2)沿水平极线(同一行)，将(1)中模板与图像B中的相同大小模板遍历比较；
(3)依据比较结果，选择最佳匹配；
(4)重复步骤(1)，直至所有点匹配完成。
模板比较时采用的公式为：
Figure BDA0003642407980000101
其中，d为视差，dmin和dmax为视差的最小值和最大值，Iright和Ileft为左右图像，m为模板尺寸。
本实施例中，采用的双目视觉光学***的两个摄像传感器的两幅图像是行对准的，光轴严格平行，两摄像机间的极线距离为T，焦距相同，为左图像的原点，为右图像的原点。则利用三角测量原理，可由视差d计算出深度Z。
Figure BDA0003642407980000102
其中，xi和xr分别为点P在左右摄像机成像平面上的横坐标。由该公式可知，视差与深度成反比，视差值通过三角测量原理可转成距离值，这也是现实中立体视觉可以用来测距的原理所在。
然后通过下述公式，可确定可获得的最小深度范围的精度。
Figure BDA0003642407980000103
其中，Δd是允许的最小视差增量。
已知像素的视差d和(x，y)坐标，通过下述公式可计算出该像素的三维坐标。
Figure BDA0003642407980000111
其中，Q是4×4的重投影矩阵：
Figure BDA0003642407980000112
其中，Tx为T的x方向分量。Q在立体标定时已确定。如果主光线在无穷远处相交，则
Figure BDA0003642407980000113
此时右下角项为0。
假设目标点在左视图中的坐标为(x，y)，在左右视图上形成的视差为d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为(x，y，z)，则存在重投影矩阵Q，使得Q[x yd 1]T＝[X Y Z W]T。
获取某点在世界坐标系中的距离Z所需的参数条件有：视差d、焦距f、摄像头中心距Tx。如果还需求得X和Y坐标，则还需知道左右像平面坐标系与立体坐标系中原点的偏移Cx和Cy。其中f，Tx，Cx和Cy可通过立体标定获得初始值，并通过立体校准优化，使得两个摄像头在数学上完全平行放置，并且左右摄像头的f，Cx和Cy相同。立体匹配在以上基础上，求视差d。
物距和视差变化引起的测距深度变化之间的关系如图5所示。P1、P2、P3是现实世界中的三个点，在同一摄像机坐标系下，其视差分别为d1、d2、d3显然，d1＜d2＜d3。物距越远，视差变化引起的测距深度变化越不明显，即越不利于深度的精确测量。
对工业机器人抓取工件、三维建模等需要精确知道三维世界坐标的应用场合，需要真正的三维重建。但对于机器人立体视觉导航应用，由于对实时性的强烈要求，并不需要做完整的三维重建。移动机器人视觉导航实质上是对视频图像(图像序列)的处理、分析及理解问题。再利用静态图像基础理论的基础上，还应更多关注图像运动信息的分析问题，例如利用帧到帧的匹配来重建运动轨迹。
本实施例中，还在预处理阶段对图像的鲁棒特征进行提取，具体步骤如下：
(1)模板图像(Model Image)获取及其SURF特征提取
从视频序列中检测并分割出目标，作为模板图像，提取模板图像的SURF特征点。
(2)实时图像(Observation Image)中目标子图SURF特征提取
读取视频帧，采用背景减差法检测出运动目标，得到包含运动目标的感兴趣区域，提取该区域的SURF特征点。
(3)特征匹配及障碍物目标检测
将(1)、(2)中获取的SURF特征点集通过最近邻法进行匹配，并统计匹配点的数量，匹配点数量最多的目标为最终检测出的目标。
(4)模板更新
用视频序列中匹配的目标图像更新模板图像。
采用模板匹配法，其原理描述如下。
设Model Image中某一个特征点A的SURF描述向量为：
Ai＝(ai1 ai2 ... ai64)
Observation Image(模板图像)中，与点A(也称为待匹配特征)距离最小及次小的特征点分别为B(也称为最邻近特征)和C(也称为次邻近特征)，设B、C的SURF描述向量为：
Bj＝(bj1 bj2 ... bj64)
Ck＝(ck1 ck2 ... ck64)
其中，i∈[1,M]，M为Model Image中特征点的总数目；j,k∈[1,N]，N为Observation Image中特征点的总数目。
A点与B点、A点与C点的欧式距离分别记为：
Figure BDA0003642407980000131
Figure BDA0003642407980000141
设d(Ai,Bj)与d(Ai,Ck)比值的阈值为DThreshold，则判断特征匹配的条件是：
d(Ai,Bj)/d(Ai,Ck)＜DThreshold
即A点和B点的欧式距离比上A点和C点的欧式距离小于阈值DThreshold时(现有技术中取为0.8，实际中选择在0.6-0.8左右就可识别目标)，即认为点A与点B匹配，否则为不匹配。
实际应用时使用K-D(K-Dimension Tree)树搜索算法来优化，降低SURF向量匹配会带来的大计算量。
本实施例中，基于卷积神经网络(CNN)特征匹配的深度图获取方法和结果如图6所示。图像分左右两部分，各为一个多层的CNN，两个CNN共享网络权重。将偏移矢量估计问题转化为一个分类问题，输入是图片块(可根据实际***速度要求调整图片块大小)，输出是128或者256个可能的偏移矢量y(根据实际***输入图片块大小自动调整矢量维数)。通过从已知偏移矢量的图片对中抽取的图片块输入到左右两个CNN，然后最小化交叉熵(cross-entropy)：
Figure BDA0003642407980000142
优选的，本实施例还采用ResNet(深度残差网络)做图像分类，以获取深度图像。
ResNet在传统卷积神经网络中加入残差学习(residual learning)，解决深层网络中梯度弥散和精度下降(训练集)的问题，使网络能够越来越深，既保证了精度，又控制了速度。采用SRResNet模型做超分重建。使用目前大部分超分重建算法采用的目标函数MSE作为目标函数，通过模型还原出来的高分辨率图像与原始高分辨率图像的均方误差，公式如下：
Figure BDA0003642407980000151
SRResNet深度模型采用多个深度残差模块进行图像特征提取，多次运用跳链技术将输入连接到网络输出，相比浅层模型能够更有效的挖掘图像特征，在性能上可以超越浅层模型算法(SRResNet使用12个残差模块)。
进一步的，本实施例还提供一种在履带式移动机器人上应用案例。基于本方法，可开发基于立体是觉的灾难救援机器人、电力***监测机器人、消防机器人、无人车等。研发平台采用工业级成像设备，用户可根据所开发产品的需求标定***的内外参数，确定精度等级。立体相机视觉***采用OpenCV、Python、QT、C#、VC等语言开发，算法仿真采用MATLAB软件。视觉软件提供二次开发包及API库函数，用户可根据自己的需要添加特定人工智能算法，根据项目场景需求进行开发、测试、验证。三维测量的精度可达<0.1mm。
在针对特定场景研发一款产品使用本发明的方法时，关键步骤可采用的开发方法如下：
(1)两类立体匹配方法的实验及选择
局部方法，可在产品开发前对BM、SGM、ELAS、Patch Match等方法进行测试、验证、比较，选择最合适的方法；全局方法，可在产品开发前对Dynamic Programming、Graph Cut、Belief Propagation等方法进行测试、验证、比较，选择最合适的方法。局部方法计算量小，匹配质量相对较低，全局方法省略了代价聚合而采用了优化能量函数的方法，匹配质量较高，但是计算量也比较大。具体开始应折中考虑。
(2)OpenCV中算法的选择
OpenCV已经实现的方法有BM、binaryBM、SGBM、binarySGBM、BM(cuda)、BelliefPropogation(cuda)、Constant Space Bellief Propogation(cuda)。可综合开率实际***应用时的快速性指标、精度指标、误识别率指标选择一种算法，如SGBM算法。
(3)视差图滤波后处理
在立体匹配生成视差图之后，为了提高检测识别质量，还可以对视差图进行滤波后处理，视差图滤波能够将稀疏视差转变为稠密视差，并在一定程度上降低视差图噪声，改善视差图的视觉效果。可依据实际***指标需求选择Guided Filter、Fast Global SmoothFilter(一种快速WLS滤波方法)、Bilatera Filter、TDSR、RBS等算法。
(4)无人车障碍物探测精度
无人车实施案例中立体视觉较近视野内(1米以内)和较远视野内(35米以内)的精度-测距范围关系曲线如图8所示。
一些实测数据为：
(1)当视野距离由38.28米变化到0.52米时，视野中的视场角变化并不大，相应的仅由66度变化到55.78度；
(2)物体离摄像机越近，深度越小，深度测量精度越高，视差越大；
(3)较近视野内(1米以内)的测量精度高，较远视野内(35米以内)测量精度下降很快。例如当视差为34，视野范围为60.42度、1米时，可测深度最大值为0.87米，深度精度为0.0051米，测量精度已经非常高了；当视差为34，视野范围为60.42度、1米时，可测深度最大值为0.87米，深度精度为0.0051米，测量精度已经非常高。从精度-测距范围曲线可知，在1米内的近距离内，双目视觉的测距精度非常高，理想状况下精度可达到小于6毫米。但随着测距范围的增大，测距精度将下降很快。当测距范围为10米时，测距精度为0.65米左右；当测距范围为15米时，测距精度为1.5米左右；当测距范围为20米时，测距精度仅为2.8米左右。因此，在较近的范围内，立体视觉测距可获得较理想的效果。对无人车道路环境检测来讲，将立体视觉的测距范围设计为10米，可运用立体视觉较精确的检测出近距离范围的凸起型障碍物(石块、灌木等)及凹形障碍物(坑洞)，从而为可通行性决策提供证据信息。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (7)

1.一种机器人双目立体视觉障碍物感知方法，应用在具有双目摄像传感器的硬件设备中提高障碍物检测精度，其特征在于：
S1.先通过预处理算法对获取到的图像数据进行处理，从而获得预处理图像；
S2.通过双目立体匹配算法处理，从而将获得的预处理图像进一步处理获取视差图；
S3.通过卷积神经网络进行学习和验证，从而对视差图进行处理从而获取到深度图像，并根据深度图像的深度信息进行三维重建。
2.根据权利要求1所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：其中，所述步骤S1中的预处理算法包括滤波算法进行畸变消除、通过校正算法进行校正、对图像进行压缩以及对图像进行特征检测、通过小波阈值降噪法进行图像噪声去除、对图像进行压缩、通过光学防抖对振动进行抑制以及对图像进行特征提取中的一种或多种。
3.根据权利要求1所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：所述步骤S2中的双目立体匹配算法中：
先实现基于像素块的快速匹配，假定一幅图像中的每一像素点都是兴趣点，再在另一幅图像中搜索对应像素点，搜索以像素块为单位进行；
然后再实现基于特征的匹配，先在一幅图像中确定出特征，然后再在待匹配图像中利用约束条件在一定范围内搜索相似特征；
再进行局部优化和全局优化相结合的优化匹配，从而获得匹配后的视差图数据。
4.根据权利要求2所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：所述特征检测方法如下：
先从视频序列中检测并分割出目标，作为模板图像，提取模板图像的SURF特征点；然后读取视频帧，采用背景减差法检测出运动目标，得到包含运动目标的感兴趣区域，提取该区域的SURF特征点；
将上述方式中获取的两种SURF特征点集通过最近邻法进行匹配，并统计匹配点的数量，匹配点数量最多的目标为最终检测出的目标；
再用视频序列中匹配的目标图像更新模板图像。
5.根据权利要求1所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：所述步骤S2中采用增加约束条件来减少误匹配，所述约束条件包括一性约束、相似性约束、外极线约束、平滑性约束、单调性约束、顺序约束、遮挡约束中的一种或多种。
6.根据权利要求1所述的一种机器人双目立体视觉障碍物感知方法，其特征在于：所述步骤S2中的双目立体匹配算法中的基于像素块的快速匹配方式具体如下：
(1)对图像A中的某一个像素，以该像素为中心，确定一个像素的正方形模板；
(2)沿同一行水平极线，将(1)中模板与图像B中的相同大小模板遍历比较；
(3)依据比较结果，选择最佳匹配；
(4)重复步骤(1)，直至所有点匹配完成。
7.一种机器人双目立体视觉障碍物感知***，其特征在于：基于上述权利要求1-6中任一项的感知方法，具有图像预处理模块和立体视觉处理模块，由图像预处理模块对原始图像进行处理，从而获得预处理图像；
然后由立体视觉处理模块处理获得深度图像。
CN202210522701.6A 2022-05-13 2022-05-13 一种机器人双目立体视觉障碍物感知方法与*** Pending CN114842340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210522701.6A CN114842340A (zh) 2022-05-13 2022-05-13 一种机器人双目立体视觉障碍物感知方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210522701.6A CN114842340A (zh) 2022-05-13 2022-05-13 一种机器人双目立体视觉障碍物感知方法与***

Publications (1)

Publication Number Publication Date
CN114842340A true CN114842340A (zh) 2022-08-02

Family

ID=82569717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210522701.6A Pending CN114842340A (zh) 2022-05-13 2022-05-13 一种机器人双目立体视觉障碍物感知方法与***

Country Status (1)

Country Link
CN (1) CN114842340A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168333A (zh) * 2023-04-20 2023-05-26 华南理工大学 一种自监督视觉语言导航预训练方法、装置及存储介质
CN117132973A (zh) * 2023-10-27 2023-11-28 武汉大学 一种地外行星表面环境重建与增强可视化方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168333A (zh) * 2023-04-20 2023-05-26 华南理工大学 一种自监督视觉语言导航预训练方法、装置及存储介质
CN116168333B (zh) * 2023-04-20 2023-08-22 华南理工大学 一种自监督视觉语言导航预训练方法、装置及存储介质
CN117132973A (zh) * 2023-10-27 2023-11-28 武汉大学 一种地外行星表面环境重建与增强可视化方法及***
CN117132973B (zh) * 2023-10-27 2024-01-30 武汉大学 一种地外行星表面环境重建与增强可视化方法及***

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及***
Dhiman et al. Pothole detection using computer vision and learning
CN110032949B (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN111563415A (zh) 一种基于双目视觉的三维目标检测***及方法
CN105225482A (zh) 基于双目立体视觉的车辆检测***和方法
CN104574393A (zh) 一种三维路面裂缝图像生成***和方法
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与***
CN115049700A (zh) 一种目标检测方法及装置
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN112862858A (zh) 一种基于场景运动信息的多目标跟踪方法
CN116434088A (zh) 基于无人机航拍图像的车道线检测及车道辅助保持方法
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
CN112683228A (zh) 单目相机测距方法及装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Wang et al. 3d reconstruction and segmentation system for pavement potholes based on improved structure-from-motion (sfm) and deep learning
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
Fakhfakh et al. Weighted v-disparity approach for obstacles localization in highway environments
Khosravi et al. Vehicle speed and dimensions estimation using on-road cameras by identifying popular vehicles
CN117058236A (zh) 一种基于多目视觉***自切换的目标识别定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination