CN115290038B - 面向线状障碍物的双目测距方法 - Google Patents
面向线状障碍物的双目测距方法 Download PDFInfo
- Publication number
- CN115290038B CN115290038B CN202211197062.7A CN202211197062A CN115290038B CN 115290038 B CN115290038 B CN 115290038B CN 202211197062 A CN202211197062 A CN 202211197062A CN 115290038 B CN115290038 B CN 115290038B
- Authority
- CN
- China
- Prior art keywords
- edge
- obstacle
- point
- points
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004888 barrier function Effects 0.000 title claims abstract description 18
- 238000000691 measurement method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000003708 edge detection Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000010845 search algorithm Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向线状障碍物的双目测距方法,测距方法包括如下:第一步是利用标定好的双目相机内、外、畸变参数进行双目校正;第二步是利用目标检测网络对左目图像进行检测,得到障碍物在图像中的位置;第三步对障碍物区域内的图像先后进行高斯去噪、Sobel算子计算边缘梯度与方向、自适应阈值的Canny边缘检测,得到障碍物的边缘图;第四步通过深度优先搜索算法统计所有的边缘长度,通过设置的边缘属性阈值对边缘进行筛选;第五步计算边缘点描述子,并对边缘点校验、匹配得到视差,进而得到障碍物上某边缘点的深度值。最后,通过统计障碍物区域内的深度信息,得到障碍物距离值。
Description
技术领域
本发明涉及利用图像的障碍物测距领域,尤其涉及面向线状障碍物的双目测距方法。
背景技术
传统的双目障碍物测距方法大多通过结合双目相机生成的深度图和目标检测网络给出的障碍物区域来测距,并将障碍物区域内中心点的深度值作为距离值,这种测距方法对于人、车等一些面状障碍物是有效的。但是,现实中存在着大量的线状的障碍物,比如围网,其特征在于障碍物自身上的点仅存在于细细的网线上,并且图像的障碍物区域内的点大多数是背景区域的点。大量的背景点不仅在双目匹配时容易和真实物体上的点误匹配,而且使得障碍物区域内中心点的深度值大概率是背景点的深度值。这都使得对于线状物体的双目测距效果大大下降。
发明内容
发明目的:提出面向线状障碍物的双目测距方法,并进一步提出一种用于实现上述方法的***,以解决现有技术存在的上述问题。
第一方面,提出面向线状障碍物的双目测距方法,该方法步骤如下:
步骤1、利用标定好的双目相机内参矩阵、畸变参数、相机外参,对采集到的左右两幅图像进行双目校正;
步骤2、利用目标检测网络对左目图像进行检测,得到障碍物在图像中的位置;
步骤3、对障碍物区域内的图像进行边缘检测,得到障碍物区域边缘图;
步骤4、通过深度优先搜索算法统计所有的边缘长度,通过设置的边缘属性阈值对边缘进行筛选;
步骤5、计算边缘点描述子,并对边缘点校验、匹配得到视差,进而得到障碍物上边缘点的深度值;
步骤6、通过统计障碍物区域内的深度信息,得到障碍物距离值。
在第一方面的一些可实现方式中,经过步骤1双目校正后的左目图像和右目图像中对应的点具有相同的像素行。
在第一方面的一些可实现方式中,步骤2中检测障碍物位置的过程进一步包括:
步骤2-1、将校正后的左目图像导入至坐标系中,将检测到的障碍物区域用S表示,之后所有的操作默认为仅在S区域内执行,忽略右目图像的目标检测;
步骤2-2、将S区域的左侧边界向左扩充90个像素点,右侧边界不变,以此作为右目图像中的障碍物区域。
在第一方面的一些可实现方式中,步骤3中对障碍物的边缘检测的过程进一步包括:
步骤3-1、分别对左目图像、右目图像的障碍物区域S去噪;
步骤3-2、对去噪后的所述障碍物区域S计算图像点的梯度信息和方向;
步骤3-3、利用得到的所述梯度信息检测降噪后的图像边缘。
在第一方面的一些可实现方式中,步骤4进一步包括:
步骤4-1、设置边缘长度最低阈值为Th_len,并过滤掉边缘长度小于Th_len的边缘;
步骤4-2、设置边缘线的最大数量为Th_max,当统计到的边缘数目超过Th_max时,过滤掉边缘长度排名靠后的边缘:
通过深度优先遍历的方法得到图像中所有边缘点的集合及其长度大小;
通过快速排序算法对边缘长度进行排序;
去除掉长度小于Th_len阈值的边缘;
根据设置的边缘数量上限Th_max阈值,过滤长度靠后的边缘。
在第一方面的一些可实现方式中,步骤5进一步包括:
步骤5-1、遍历左目图像上的所有边缘点,计算其BRIEF描述子;
步骤5-2、计算右目图像上对应匹配点的搜索范围;
步骤5-3、在计算得到的搜索范围之内初步匹配边缘点;
步骤5-4、选取最优匹配点,重复循环。
在第一方面的一些可实现方式中,步骤5进一步包括:
计算被测障碍物中一点P与所述相机基线之间的垂直距离z:
其中,b表示相机基线的长度;此时计算出的z的范围即为被测障碍物中一点P的深度值范围;
对边缘点初步筛选:首先对左目图像和右目图像进行边缘检测,分别得到左目图像和右目图像的边缘点;边缘点匹配时,遍历左目图像的边缘点,根据计算的搜索范围在右目图像上寻找匹配点,排除右目图像中这个搜索范围内非边缘的点;
然后判断两个边缘点的梯度方向差是否小于阈值,若满足要求,则会计算该点的BRIEF描述子,并与左目边缘点的描述子计算其汉明距离;
选取与左目图像边缘点BRIEF描述子之间的汉明距离最小的点作为最优匹配点,计算并保存其深度值;之后回到步骤5-1中重复循环,得到障碍物上多个符合要求的边缘点的深度值;
若最优匹配点与左目图像边缘点两者BRIEF描述子间的汉明距离大于预设阈值,则认为匹配失败,放弃计算该点的深度值。
在第一方面的一些可实现方式中,步骤6进一步包括:
统计步骤5中成功计算出深度的边缘点的数量,设该数量为N,若N小于测距所需的最小点数目阈值Min_num,则认为测距失败,不给出具体的距离值;否则,通过快速排序算法对有所的深度值从小到大排序;
在边缘点的深度排序中,障碍物自身上的点应处于排序的前50%中,背景区域的点应处于排序的后50%中,采用第0.25*N个点处的深度值作为障碍物的距离值。在不考虑遮挡的情况下,障碍物区域内的点就两种,一种是障碍物自身上的点,另一种就是背景区域内的点。那么,我们根据深度值从小到大将边缘点排序后,深度排序靠前的点理应是障碍物自身上的点(因为不考虑障碍物前方有东西遮挡),又因为一共有N个点参与深度排序。所以,将障碍物距离值选取了一个实际效果比较好的0.25*N个点处的深度值。
第二方面,提出一种线状障碍物双目测距***,该***包括双目相机和数据处理模块两部分。双目相机拍摄的到的图像数据导入至所述数据处理模块,由数据处理模块执行如第一方面所述的面向线状障碍物的双目测距方法。
数据处理模块至少由校正单元、目标检测单元、边缘检测单元、边缘线筛选单元、特征匹配单元、深度信息统计单元六个部分组成。
校正单元利用标定好的双目相机内参矩阵、畸变参数、相机外参,对采集到的左右两幅图像进行双目校正,使得左目图像和右目图像中对应的点具有相同的像素行。目标检测单元用于对左目图像进行检测,得到障碍物在图像中的位置。边缘检测单元用于对障碍物区域内的图像进行边缘检测,得到障碍物区域边缘图。边缘线筛选单元通过深度优先搜索算法统计所有的边缘长度,通过设置的边缘属性阈值对边缘进行筛选。特征匹配单元用于计算边缘点描述子,并对边缘点校验、匹配得到视差,进而得到障碍物上预定边缘点的深度值。深度信息统计单元通过统计障碍物区域内的深度信息,得到障碍物距离值。
有益效果:
①、根据相机标定得到的相机内参矩阵、畸变参数以及相机外参对左右图像进行校准,如此一来,一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,为其后的双目匹配缩小了搜索空间。
②、本方法使用直方图统计目标区域内的梯度信息,自适应的计算Canny边缘检测所需的双阈值,这样去噪处理比均衡降噪算法使得图像的边缘区域得到了更高的保留,使得边缘检测更加清晰锐利。
③、通过设定障碍物的有效测距量程范围可以进一步的缩小搜索范围,增加匹配精度。
综上,相比于传统双目测距方法,本方法对于线状物体的双目测距效果具有显著提升。
附图说明
图1是线状障碍物的示例图。
图2是面向线状障碍物的双目测距方法流程图。
图3是双目校正结果示意图。
图4是障碍物目标检测示意图。
图5是高斯分布函数示意图。
图6是双目测距原理图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
申请人研究发现,如图1中的围网,由于这些障碍物的线状特性,传统的双目测距方法很难对其进行精确的测距。对于围网等线状障碍物很难找到其中心点,其目标区域内的点大多为背景区域的点,不仅在双目匹配时容易和真实物体上的点误匹配,而且在统计目标区域内点的深度值时混杂了大量的背景点,这都使得对于线状物体的双目测距效果大大下降。
为此,申请人提出一种面向线状障碍物的双目测距方法。第一步是利用标定好的双目相机内、外、畸变参数进行双目校正;第二步是利用目标检测网络对左目图像进行检测,得到障碍物在图像中的位置;第三步对障碍物区域内的图像先后进行高斯去噪、Sobel算子计算边缘梯度与方向、自适应阈值的Canny边缘检测,得到障碍物的边缘图;第四步通过深度优先搜索算法统计所有的边缘长度,通过设置的边缘属性阈值对边缘进行筛选;第五步计算边缘点描述子,并对边缘点校验、匹配得到视差,进而得到障碍物上某边缘点的深度值。最后,通过统计障碍物区域内的深度信息,得到障碍物距离值。步骤流程如图2所示,下面详细介绍本方法:
第一步是双目图像校正,根据相机标定得到的相机内参矩阵、畸变参数以及相机外参对左右图像进行校准。如图3所示,经过校准后的双目左、右目图像中对应的点具有相同的像素行。这样,一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,为其后的双目匹配缩小了搜索空间。
第二步是障碍物检测,将校正后的左目图像送入到目标检测网络中,得到障碍物的类别和在图像中的位置。其中,障碍物的位置表示如图4所示,假设检测到的障碍物区域用S表示,之后所有的操作默认为仅在S区域内执行。同时,由于双目相机摆放的空间位置关系,空间中的点在左、右目相机成像时,其在右目相机成像点的x坐标应小于在左目相机成像点的x坐标。所以,为了节省计算量,我们并不对右目图像进行目标检测,直接将S区域的左侧边界向左扩充90个像素点,右侧边界不变,以此作为右目图像中的障碍物区域。
第三步是障碍物的边缘检测,由于传感器在采集图像时会有许多的噪声,这极大的影响着边缘检测的效果。所以,我们首先会使用高斯去噪算法对左、右目图像的障碍物区域去噪,然后对降噪后的区域使用Sobel算子计算图像点的梯度信息和方向,最后利用得到的梯度信息对降噪后的图像进行Canny边缘检测。不同于一般的固定阈值的Canny边缘检测,我们使用直方图统计目标区域内的梯度信息,自适应的计算Canny边缘检测所需的双阈值。具体包括:
1、使用高斯去噪算法对图像进行降噪处理:
高斯降噪的原理是利用高斯函数作为模板,与原始图像进行卷积达到降噪的目的,二维高斯函数的图像如图5所示,其公式可以表示为:
其中σ2为二维高斯分布的方差。
结合二维高斯函数的公式及其图像可以发现,以高斯函数为基础对图像进行降噪时,每个像素的值都是周围相邻像素值的加权平均,距离原点越近的点的权重越大,越远的点的权重越小,这样去噪处理比均衡降噪算法使得图像的边缘区域得到了更高的保留。
2、使用Sobel算子计算图像的梯度与边缘的方向:
我们使用Sobel图像卷积算子对降噪后的图像进行卷积操作,得到x和y方向的梯度信息,具体如下式所示:
其中S代表经过去噪处理后的图像区域,Gx和Gy代表着经过横向、纵向卷积操作后的图像梯度值,其中的3*3矩阵便是Sobel卷积算子。得到图像的横向以及纵向的梯度Gx和Gy后,通过下式可以求得梯度相加的模,得到某点处最终的梯度G。
以及通过下式得到梯度方向:
3、自适应计算Canny边缘检测算法的双阈值,具体包括:
3.1遍历得到S区域内图像梯度的最大值,设该值为maxGd。
3.2计算图像梯度直方图,统计得到S区域内各梯度值的数目;
其中,直方图的横轴范围为(0,maxGd),表示S区域内各点的梯度值范围,各横轴对应的纵轴为S区域各梯度值点的数目。在具体计算时,会将各梯度值换算为整数类型,便于直方图梯度的统计。
3.3统计直方图信息,计算Canny边缘检测算法的双阈值;
假设S区域内一共有St个点,我们会根据直方图信息,从横轴0坐标开始累加各梯度点的数目,直到点的数目超过0.9*St,得到当前直方图的横坐标为i,并设置i为Canny边缘检测算法的高阈值Th_high,相应的低阈值设置为0.4*Th_high。
这样做的目的是可以根据不同的图像统计梯度直方图,动态的设置边缘检测的阈值。
4、调用Canny边缘检测算法,检测图像边缘。
第四步是对检测得到的边缘进行处理,我们认为线状障碍物的边缘应该为较为连续的边缘,而由于检测区域内背景或者其他物体的干扰,检测过程中会有较多较短的边缘。所以,我们会设置边缘长度最低阈值Th_len=20,过滤掉边缘长度小于Th_len的边缘。同时,为了节省计算量的考虑,我们同时会设置边缘线的最大数量为Th_max=200,当统计到的边缘数目超过Th_max时,会过滤掉边缘长度排名靠后的边缘。具体包括:
1. 通过深度优先遍历的方法得到图像中所有边缘点的集合及其长度大小;
2. 通过快速排序算法对边缘长度进行排序;
3. 去除掉长度小于Th_len阈值的边缘;
4. 并根据设置的边缘数量上限Th_max阈值,将长度靠后的边缘过滤掉。
第五步是边缘点的匹配,在这一步中,我们会通过选取左目图像上的边缘点,计算其BRIEF特征描述子然后与右目图像上的边缘点进行匹配。由于前面的双目校正操作,使得左、右目图像上对应的匹配点在同一行上,所以只需在右目图像相同行上进行搜索,而且我们还会通过量程约束进一步缩小搜索空间。此外,我们还会进行是否为边缘点校验和梯度方向校验,最后对通过校验的点计算其BRIEF描述子,并根据描述子的匹配选取最佳匹配点,具体包括:
1、遍历左目图像上的所有边缘点,计算其BRIEF描述子;
若从控制计算量的角度考虑,假设左目图像上一共有LN个边缘点,边缘点上限阈值为300个,那么按照步长LN/300去遍历边缘点,便可以很容易的将算法的计算量控制在一定范围内。
2、计算右目图像上对应匹配点的搜索范围;
假设当前遍历的左目图像的边缘点横坐标为nx,纵坐标为ny,那么在右目图像上找寻其匹配点时,只需遍历右目图像的ny行上的点即可。
此外,由于双目相机有效的测距量程与其基线长度是密切相关的,虽然在数学上能够计算出量程以外点的深度值,但是测距效果会有极大的下降。所以,我们会根据具体所使用的双目相机的基线长度,设定障碍物的有效测距量程范围。
图6所示为双目相机的测距原理图。
不同的双目相机由于有不同的基线长度、焦距长度、像素尺寸等,会有不同的有效测距距离。可以根据所使用的双目相机提供的有效测距距离设定匹配点的搜索范围。这里有效测距距离其实就是点P的深度值z的范围。虽然能在数学上求出这个范围外的深度值来,但是结果不够准确。
在实际使用时,还可以根据不同应用场景下不同障碍物的测距范围和的实际测距效果,为不同的障碍物都设定不同的合理量程。因为有目标检测算法,可以知道当前的障碍物的类型与量程,通过这个量程可以进一步缩小对应匹配点的搜索空间,提高搜索的准确率和耗时。
根据三角形PPLPR和POLOR的相似关系,有:
其中,z代表着空间中点P的深度值,f为相机的焦距长度,b为相机的基线长度,UL和UR分别是点P在左目、右目图像上的投影横坐标。对上式稍加整理,可得:
上式不仅给出了空间中一点P的深度z计算公式,还给出了在深度已知时,投影点在右目图像上的投影横坐标。
那么,假如我们设定障碍物测距量程范围,即深度z的数值范围后,UR的搜索范围也就可以很容易的计算出来了,这样可以进一步的缩小搜索范围,增加匹配精度。
3、边缘点初匹配;
由于在上一步中,我们已经计算出了匹配点在右目图像的搜索范围,下面我们将会通过是否为边缘点、边缘方向是否一致进行边缘点的初步匹配筛选。
在遍历右目搜索范围内的点时,我们首先会排除非边缘的点,然后判断两个边缘点的梯度方向差是否小于一定的阈值要求。若满足要求,则会计算该点的BRIEF描述子,并与左目边缘点的描述子计算其汉明距离。
4、选取最优匹配点,重复循环;
若所有匹配点的BRIEF描述子汉明距离最小值大于30,则认为匹配失败。否则,对汉明距离最小的点计算并保存其深度值。之后回到第1步中重复循环。
第六步是统计所有边缘点的深度值得到障碍物距离,在第五步中,已经得到了障碍物目标区域内所有符合要求的边缘点的深度值,若这些点的总数目小于50,则认为测距失败,不给出具体的距离值。否则,会通过快速排序算法对有所的深度值从小到大排序。我们认为,在不考虑遮挡的情况下,通过目标检测算法给出的障碍物区域内主要包含两类点,一类是障碍物自身上的点,另一类是背景图像上的点。在边缘点的深度排序中,障碍物自身上的点应大多处于排序的前50%中,背景区域的点应大多处于排序的后50%中。所以,最终我们采用第0.25*N个点处的深度值作为障碍物的距离值。
综上,本发明提出了一种面向线状障碍物的双目测距方法。首先,对于线状障碍物来讲,目标检测算法给出的中心点大概率是背景点,所以传统双目测距方法找中心点的方式对于线状障碍物测距来讲并不奏效。
其次,对于围网等线状障碍物,其目标区域内的点大多是背景点,而不是线状障碍物自身上的点(比如围网,其网线只占障碍物区域内的很小一部分)。
综上,所以采用边缘检测,对边缘线进行检测并处理,最终通过统计的方式(统计障碍物区域内边缘点的深度值)得到障碍物的距离值。
另外,很多传统双目测距方法如果不结合目标检测技术的话,只能首先通过双目相机生成整张图像的深度图,然后人工的在深度图上选取测距点的位置来对障碍物进行测距。
该方法结合目标检测技术,可以实现对障碍物的自动测距,并通过统计的方式动态的对障碍物进行测距。
如上所述,尽管参照特定的优选实施例已经表示和表述了本发明,但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下,可对其在形式上和细节上做出各种变化。
Claims (7)
1.面向线状障碍物的双目测距方法,其特征在于,包括如下步骤:
步骤1、利用标定好的双目相机内参矩阵、畸变参数、相机外参,对采集到的左右两幅图像进行双目校正;
步骤2、利用目标检测网络对左目图像进行检测,得到障碍物在图像中的位置;
步骤3、对障碍物区域内的图像进行边缘检测,得到障碍物区域边缘图;
步骤4、通过深度优先搜索算法统计所有的边缘长度,通过设置的边缘属性阈值对边缘进行筛选;
步骤4-1、设置边缘长度最低阈值为Th_len,并过滤掉边缘长度小于Th_len的边缘;
步骤4-2、设置边缘线的最大数量为Th_max,当统计到的边缘数目超过Th_max时,过滤掉边缘长度排名靠后的边缘:
通过深度优先遍历的方法得到图像中所有边缘点的集合及其长度大小;
通过快速排序算法对边缘长度进行排序;
去除掉长度小于Th_len阈值的边缘;
根据设置的边缘数量上限Th_max阈值,过滤长度靠后的边缘;
步骤5、计算边缘点描述子,并对边缘点校验、匹配得到视差,进而得到障碍物上预定边缘点的深度值;
步骤6、通过统计障碍物区域内的深度信息,得到障碍物距离值。
2.根据权利要求1所述的面向线状障碍物的双目测距方法,其特征在于,经过步骤1双目校正后的左目图像和右目图像中对应的点具有相同的像素行。
3.根据权利要求1所述的面向线状障碍物的双目测距方法,其特征在于,步骤2中检测障碍物位置的过程进一步包括:
步骤2-1、将校正后的左目图像导入至坐标系中,将检测到的障碍物区域用S表示,之后所有的操作默认为仅在S区域内执行,忽略右目图像的目标检测;
步骤2-2、将S区域的左侧边界向左扩充90个像素点,右侧边界不变,以此作为右目图像中的障碍物区域。
4.根据权利要求3所述的面向线状障碍物的双目测距方法,其特征在于,步骤3中对障碍物的边缘检测的过程进一步包括:
步骤3-1、分别对左目图像、右目图像的障碍物区域S去噪;
步骤3-2、对去噪后的所述障碍物区域S计算图像点的梯度信息和方向;
步骤3-3、利用得到的所述梯度信息检测降噪后的图像边缘。
5.根据权利要求1所述的面向线状障碍物的双目测距方法,其特征在于,步骤5进一步包括:
步骤5-1、遍历左目图像上的所有边缘点,计算其BRIEF描述子;
步骤5-2、计算右目图像上对应匹配点的搜索范围;
步骤5-3、在计算得到的搜索范围之内初步匹配边缘点;
步骤5-4、选取最优匹配点,重复循环。
6.根据权利要求5所述的面向线状障碍物的双目测距方法,其特征在于,步骤5进一步包括:
计算被测障碍物中一点P与所述相机基线之间的垂直距离z:
其中,b表示相机基线的长度;此时计算出的z的范围即为被测障碍物中一点P的深度值范围;
对边缘点初步筛选:首先对左目图像和右目图像进行边缘检测,分别得到左目图像和右目图像的边缘点;边缘点匹配时,遍历左目图像的边缘点,根据计算的搜索范围在右目图像上寻找匹配点,排除右目图像中这个搜索范围内非边缘的点;
然后判断两个边缘点的梯度方向差是否小于阈值,若满足要求,则会计算该点的BRIEF描述子,并与左目边缘点的描述子计算其汉明距离;
选取与左目图像边缘点BRIEF描述子之间的汉明距离最小的点作为最优匹配点,计算并保存其深度值;之后回到步骤5-1中重复循环,得到障碍物上多个符合要求的边缘点的深度值;
若最优匹配点与左目图像边缘点两者BRIEF描述子间的汉明距离大于预设阈值,则认为匹配失败,放弃计算该点的深度值。
7.根据权利要求1所述的面向线状障碍物的双目测距方法,其特征在于,步骤6进一步包括:
统计步骤5中成功计算出深度的边缘点的数量,设该数量为N,若N小于测距所需的最小点数目阈值Min_num,则认为测距失败,不给出具体的距离值;否则,通过快速排序算法对有所的深度值从小到大排序;
在边缘点的深度排序中,障碍物自身上的点应处于排序的前50%中,背景区域的点应处于排序的后50%中,采用第0.25*N个点处的深度值作为障碍物的距离值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211197062.7A CN115290038B (zh) | 2022-09-29 | 2022-09-29 | 面向线状障碍物的双目测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211197062.7A CN115290038B (zh) | 2022-09-29 | 2022-09-29 | 面向线状障碍物的双目测距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115290038A CN115290038A (zh) | 2022-11-04 |
CN115290038B true CN115290038B (zh) | 2022-12-30 |
Family
ID=83833903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211197062.7A Active CN115290038B (zh) | 2022-09-29 | 2022-09-29 | 面向线状障碍物的双目测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115290038B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107167139A (zh) * | 2017-05-24 | 2017-09-15 | 广东工业大学 | 一种变电站巡检机器人视觉定位导航方法及*** |
CN108919838A (zh) * | 2018-08-27 | 2018-11-30 | 河海大学常州校区 | 一种基于双目视觉的无人机输电线路自动跟踪方法 |
CN109212377A (zh) * | 2018-09-27 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 一种高压线路障碍物识别方法、装置、巡检机器人 |
CN112686938A (zh) * | 2020-12-29 | 2021-04-20 | 重庆大学 | 基于双目图像测距的输电线路净距计算与安全告警方法 |
CN112734840A (zh) * | 2020-12-31 | 2021-04-30 | 广东电网有限责任公司中山供电局 | 一种输电线安全距离测量方法 |
CN114782529A (zh) * | 2022-03-25 | 2022-07-22 | 国网湖北省电力有限公司电力科学研究院 | 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 |
-
2022
- 2022-09-29 CN CN202211197062.7A patent/CN115290038B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107167139A (zh) * | 2017-05-24 | 2017-09-15 | 广东工业大学 | 一种变电站巡检机器人视觉定位导航方法及*** |
CN108919838A (zh) * | 2018-08-27 | 2018-11-30 | 河海大学常州校区 | 一种基于双目视觉的无人机输电线路自动跟踪方法 |
CN109212377A (zh) * | 2018-09-27 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 一种高压线路障碍物识别方法、装置、巡检机器人 |
CN112686938A (zh) * | 2020-12-29 | 2021-04-20 | 重庆大学 | 基于双目图像测距的输电线路净距计算与安全告警方法 |
CN112734840A (zh) * | 2020-12-31 | 2021-04-30 | 广东电网有限责任公司中山供电局 | 一种输电线安全距离测量方法 |
CN114782529A (zh) * | 2022-03-25 | 2022-07-22 | 国网湖北省电力有限公司电力科学研究院 | 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 |
Non-Patent Citations (2)
Title |
---|
《基于机器视觉的输电线路识别定位关键技术研究》;黄巨挺;《西南交通大学研究生学位论文》;20220515;31-50 * |
《自适应Canny边缘检测算法研究》;李二森;《测绘科学》;20081130;第33卷(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115290038A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6142611B2 (ja) | ステレオマッチングのための方法及びステレオマッチングのためのシステム | |
CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US8385630B2 (en) | System and method of processing stereo images | |
CN109559324B (zh) | 一种线阵图像中的目标轮廓检测方法 | |
CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
CN109211198B (zh) | 一种基于三目视觉的智能目标检测和测量***和方法 | |
CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
CN110520768B (zh) | 高光谱光场成像方法和*** | |
CN112991420A (zh) | 一种视差图的立体匹配特征提取及后处理方法 | |
CN111080542B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN110414385A (zh) | 一种基于单应性变换和特征窗口的车道线检测方法及*** | |
CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
TW201433985A (zh) | 自動描繪物件邊緣走向之方法 | |
CN110866882A (zh) | 基于深度置信度的分层联合双边滤波深度图修复算法 | |
CN108510544B (zh) | 一种基于特征聚类的光条定位方法 | |
CN114119437B (zh) | 一种基于gms的用于改善运动物体畸变的图像拼接方法 | |
CN117011560A (zh) | 基于阈值和权重Census变换的煤矿井下图像立体匹配方法 | |
CN115290038B (zh) | 面向线状障碍物的双目测距方法 | |
CN113589263A (zh) | 一种多个同源传感器联合标定方法及*** | |
JP2019120590A (ja) | 視差値算出装置、視差値算出方法及びプログラム | |
JP6855938B2 (ja) | 距離測定装置、距離測定方法および距離測定プログラム | |
CN111445435A (zh) | 一种基于多区块小波变换的无参考图像质量评价方法 | |
CN113450335B (zh) | 一种路沿检测方法、路沿检测装置及路面施工车辆 | |
CN113269733A (zh) | 一种断层扫描图像中放射粒子的伪影检测方法 | |
CN107330932B (zh) | 一种修补视差图中噪点的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |