CN108090930A - 基于双目立体相机的障碍物视觉检测***及方法 - Google Patents

基于双目立体相机的障碍物视觉检测***及方法 Download PDF

Info

Publication number
CN108090930A
CN108090930A CN201611019555.6A CN201611019555A CN108090930A CN 108090930 A CN108090930 A CN 108090930A CN 201611019555 A CN201611019555 A CN 201611019555A CN 108090930 A CN108090930 A CN 108090930A
Authority
CN
China
Prior art keywords
barrier
image
point
binocular
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611019555.6A
Other languages
English (en)
Inventor
陈墩金
覃争鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Original Assignee
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou filed Critical Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority to CN201611019555.6A priority Critical patent/CN108090930A/zh
Publication of CN108090930A publication Critical patent/CN108090930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目立体相机的障碍物视觉检测***及方法，所述***包括：特征提取模块，用于提取图像的特征点；特征匹配模块，用于对双目相机图像的特征点进行匹配；障碍物区域计算模块，用于计算障碍物的阻挡区域。本发明方案通过使用双目立体相机采集场景图像的稀疏特征点，而非密集的深度信息图，对图像特征点进行匹配，获取场景图像的三维世界坐标，进而实现障碍物的区域检测，实现机器人避障。该方案使用少数特征点的深度信息计算障碍物的阻挡范围，无需密集的深度信息实现三维场景重建，减少了计算量，保证了实时检测效率。

Description

基于双目立体相机的障碍物视觉检测***及方法
技术领域
本发明涉及障碍物视觉检测技术，具体涉及基于双目立体相机的障碍物视觉检测***及方法。
背景技术
自主移动机器人是机器人技术的一个重要分支，是高度智能化的可以自主移动的机器人。自主移动机器人的重要发展方向是具有高度自感知、自规划和自组织能力，在无需人干预下自主应对环境变化，有目的地移动和完成任务。自主移动机器人已在多个领域有大量应用，改变着人们的生产生活方式，在可以预见的将来，将成为人类的不可或缺的助手，极大的提高人类生活质量。具体的实际应用有高尔夫球场、病人看护、物流基地和单兵小分队军事运输等多种领域。
在自主跟随机器人***的研究中，机器人在运动过程中是否能够准确、快速地检测出行进过程中的障碍物成为自主跟随机器人***的关键。机器人***大多采用声纳避障，通过主动发射探测信号，然后接收场景中各物体反射的回波，通过测量发射和返回信号来获取场景信息。声纳避障只具有局部空间避障特点(只能进行特定高度和视角的障碍物检测，检测范围和检测距离有较大局限性)，不具有检测全局视野特点。
另一种是采用双目立体视觉方法，由两个完全相同规格的相机平行并排放置的三维视觉***，即利用两个相机获取的同一三维场景对象的投影视差来进行深度计算，利用深度信息进行图像匹配，从而实现对三维场景信息的感知和重建，再根据重建后的三维场景进行障碍物检测。
双目立体视觉***实现障碍物检测所面临的最大挑战是计算复杂度和双目立体视觉图像匹配精度之间的矛盾问题。障碍物检测的准确率取决于图像匹配的准确性，然而要求保持精确的匹配结果，计算复杂度会提高，难以保证实时检测。
发明内容
本发明目的在于克服现有技术的不足，尤其解决双目立体视觉***实现障碍物检测中的计算复杂度和双目立体视觉图像匹配精度之间的矛盾问题。
为解决上述技术问题，本发明提供一种基于双目立体相机的障碍物视觉检测***，其中，所述基于双目立体相机的障碍物视觉检测***包括：特征提取模块，用于提取图像的特征点；特征匹配模块，用于对双目相机图像的特征点进行匹配；障碍物区域计算模块，用于计算障碍物的阻挡区域及阻挡角度。
本发明还提供一种基于双目立体相机的障碍物视觉检测方法，其中，所述基于双目立体相机的障碍物视觉检测方法包括：S1，提取图像的特征点；S2，对双目相机图像的特征点进行匹配；S3，计算障碍物的阻挡区域及阻挡角度。
该发明方案的有益效果在于，通过使用双目立体相机采集场景图像的稀疏特征点，而非密集的深度信息图，对图像特征点进行匹配，获取场景图像的三维世界坐标，进而实现障碍物的区域检测，实现机器人避障。该方案使用少数特征点的深度信息计算障碍物的阻挡范围，无需密集的深度信息实现三维场景重建，减少了计算量，保证了实时检测效率。
附图说明
图1是本发明实施例的基于双目立体相机的障碍物视觉检测***示意图。
图2为本发明实施例的基于双目立体相机的障碍物视觉检测方法的流程图。
图3为水平双目立体视觉模型示意图。
图4为障碍物区域表示示意图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。
图1是根据本发明的实施例的基于双目立体相机的障碍物视觉检测***示意图。
参照图1，基于双目立体相机的障碍物视觉检测***包括：特征提取模块10，用于提取图像的特征点；特征匹配模块20，用于对双目相机图像的特征点进行匹配；障碍物区域计算模块30，用于计算障碍物的阻挡区域。
相对应的，本发明还提供一种基于双目立体相机的障碍物视觉检测方法，具体请参照图2，其是本发明的实施例的基于双目立体相机的障碍物视觉检测方法的流程图。
参照图2，根据本发明的实施例的基于单目摄像头的管道机器人视觉处理方法包括：S1、提取图像的特征点；S2、对双目相机图像的特征点进行匹配；S3、计算障碍物的阻挡区域。
具体而言，本发明的实施例描述如下：
S1：对双目立体相机捕获的图像提取特征点，其具体过程描述如下：
S11：利用水平、垂直差分算子对图像每个像素点(x,y)进行滤波以求取水平梯度Ix和垂直梯度Iy，如公式1所示。
S12：每个像素点(x,y)的Harris角点值c(x,y)如公式2所示。
当c(x,y)的值大于给定的阈值时，则认为该像素点是一个Harris角点。
S13：构建多尺度图像空间，对于一副图像，通过下采样得到不同尺寸的子图像，将子图像与高斯卷积核相乘进行卷积计算，从而得到多尺度图像空间。
S14：寻找尺度空间的特征点，每一个Harris角点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。Harris角点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和图像空间都检测到特征点。一个Harris角点如果在多尺度图像空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。
S15：利用特征点邻域像素的梯度方向分布特性为每个关键点指定方向参数，计算该特征点梯度的模值和方向。在特征点邻域4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个4×4×8＝128维的直方图，即SIFT特征描述。
S2：对双目相机图像的特征点进行匹配。具体描述如下：
给定两幅图像P和Q，HP(k)和HQ(k)，k＝0,1,2,…,L-1分别表示图像P和Q的局部特征，L表示直方图的维度。则直方图匹配D1(P,Q)由公式3表示。
当匹配距离D1(P,Q)小于设定阈值时，认为两个特征点是匹配的，否则为不匹配。
S3：计算障碍物的阻挡区域及阻挡角度，其具体过程描述如下：
S31：将匹配的图像坐标转为三维世界坐标。
参照图3，图3为水平双目立体视觉模型示意图，水平双目立体视觉模型由两个平行的水平放置的摄像机针孔模型组成。沿摄像机光轴方向观察的双目立体视觉模型示意图中，P为三维世界坐标中一点，Cl和Cr分别为左、右两个摄像机的光学中心位置(简称光心)，b为左右摄像机的光心间距离，f为两摄像机的焦距。
三维空间场景中任一点P，点P在左摄像机坐标系下的坐标齐次坐标为(Xc,Yc,Zc,1)，Pl为点P投影到左摄像机成像平面上的点，像素坐标系下坐标为(u,v,1)；点P在右摄像机坐标系下的坐标齐次坐标为(X'c,Yc',Z'c,1)，Pr为点P投影到右摄像机成像平面上的点，像素坐标系下坐标为(u',v',1)。左右两摄像机平行水平放置，且光心间距离为b。则三维空间点的坐标(Xc,Yc,Zc,1)可以表示为：
其中ax,ay分别为水平方向和竖直方向相邻像素点的物理间距，(u0,v0)为成像平面中心在像素坐标系下的坐标。、
S32：计算障碍物的阻挡区域。
参照图4，图4为障碍物区域表示示意图，设已获取三维坐标的点的集合为S。对于任一点P(x,y,z)∈S，(x,y,z)为点P在左摄像机坐标系下的空间三维坐标，若存在P'(x',y',z')∈S，且两点距离D(P,P')满足以下公式5：
其中Dmax为设定的距离阈值，则将点P和P'分到同一集合，最终集合分割成多个互不相交的子集合S1,S2,...Sk，即S＝S1∪S2∪S…∪Sk，k为集合个数。其中对于任意的1≤i＜j≤k，均有
每个集合Si代表着三维空间中某个特定对象的边缘点集合，则三维空间的障碍物前near、后far、左left、右right、高height分别表示为：near＝min(z)，far＝max(z)，left＝min(x)，right＝max(x)，height＝min(-y)，(x,y,z)分别为集合Si中坐标。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于双目立体相机的障碍物视觉检测***，其特征在于，所述***包括：
特征提取模块，用于提取图像的特征点；
特征匹配模块，用于对双目相机图像的特征点进行匹配；
障碍物区域计算模块，用于计算障碍物的阻挡区域。
2.一种应用权利要求1所述的基于双目立体相机的障碍物视觉检测***实现的方法，其特征在于，所述方法包括如下步骤：
S1.提取图像的特征点；
S2.对双目相机图像的特征点进行匹配；
S3.计算障碍物的阻挡区域。
CN201611019555.6A 2016-11-22 2016-11-22 基于双目立体相机的障碍物视觉检测***及方法 Pending CN108090930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611019555.6A CN108090930A (zh) 2016-11-22 2016-11-22 基于双目立体相机的障碍物视觉检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611019555.6A CN108090930A (zh) 2016-11-22 2016-11-22 基于双目立体相机的障碍物视觉检测***及方法

Publications (1)

Publication Number Publication Date
CN108090930A true CN108090930A (zh) 2018-05-29

Family

ID=62169270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611019555.6A Pending CN108090930A (zh) 2016-11-22 2016-11-22 基于双目立体相机的障碍物视觉检测***及方法

Country Status (1)

Country Link
CN (1) CN108090930A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032211A (zh) * 2019-04-24 2019-07-19 西南交通大学 多旋翼无人机自动避障方法
CN110488320A (zh) * 2019-08-23 2019-11-22 南京邮电大学 一种利用立体视觉检测车辆距离的方法
CN112611360A (zh) * 2019-10-04 2021-04-06 株式会社丰田自动织机 物体检测装置、车辆及物体检测处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032211A (zh) * 2019-04-24 2019-07-19 西南交通大学 多旋翼无人机自动避障方法
CN110488320A (zh) * 2019-08-23 2019-11-22 南京邮电大学 一种利用立体视觉检测车辆距离的方法
CN110488320B (zh) * 2019-08-23 2023-02-03 南京邮电大学 一种利用立体视觉检测车辆距离的方法
CN112611360A (zh) * 2019-10-04 2021-04-06 株式会社丰田自动织机 物体检测装置、车辆及物体检测处理方法

Similar Documents

Publication Publication Date Title
WO2021004312A1 (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
WO2021004548A1 (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN105225482B (zh) 基于双目立体视觉的车辆检测***和方法
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
CN104574393B (zh) 一种三维路面裂缝图像生成***和方法
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN102831601A (zh) 基于联合相似性测度和自适应支持权重的立体匹配方法
CN103868460A (zh) 基于视差优化算法的双目立体视觉自动测量方法
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN107767424A (zh) 多相机***的标定方法、多相机***及终端设备
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN104700355A (zh) 室内二维平面图的生成方法、装置和***
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN104182968A (zh) 宽基线多阵列光学探测***模糊动目标分割方法
CN110599545A (zh) 一种基于特征的构建稠密地图的***
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN115035235A (zh) 三维重建方法及装置
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529

WD01 Invention patent application deemed withdrawn after publication