CN114782529B - 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 - Google Patents
一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 Download PDFInfo
- Publication number
- CN114782529B CN114782529B CN202210299938.2A CN202210299938A CN114782529B CN 114782529 B CN114782529 B CN 114782529B CN 202210299938 A CN202210299938 A CN 202210299938A CN 114782529 B CN114782529 B CN 114782529B
- Authority
- CN
- China
- Prior art keywords
- transmission line
- point
- power transmission
- pixel
- wire stripping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 135
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000003708 edge detection Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 229910052709 silver Inorganic materials 0.000 claims description 3
- 239000004332 silver Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000005286 illumination Methods 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质，方法包括以下具体步骤：输电线深度图和彩色图获取；深度阈值分割进行复杂背景去除；像素均值滤波进行图像预处理；输电线轮廓提取与中轴拟合；基于像素灰度差的剥线点识别与定位；结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；完成输电线剥线点空间定位和姿态解算。本申请通过利用双目相机彩色图上的特征信息并辅以深度图上的深度信息实现对输电线及剥线点区域的识别，再利用深度图上的深度信息实现对剥线点区域的三维空间坐标计算。该方法计算量小，受环境光照影响小，成本较低，精度高，具有较强的实用性。
Description
技术领域
本申请涉及带电作业机器人的抓线点定位技术领域，具体涉及一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质。
背景技术
配网带电作业是提高配网供电可靠性、提升电力服务水平的重要手段，但目前的配网带电作业以人工方式为主，在高空高压作业环境下，工人的人身安全受到一定威胁，并且带电作业工作强度大，工人培训周期长。随着电力***对于智能化装备的不断重视，配网带电作业机器人得到了广泛的关注和研究。但由于配网带电作业工作场景在户外，配网线路的排列方式多种多样，作业场景并不固定，并且户外场景下相关视觉传感器会受到光照影响，因此配网带电作业机器人的自动化作业仍有不小的挑战。
现有输电线识别方法都很少考虑输电线主线和引线剥线点的识别与定位问题，在目前通常的机器人带电接引线作业中，在完成行线的剥线作业后，需要将引线搭接到行线的剥线点区域，并安装好接线工具，因此在输电线识别的基础上对剥线点区域进行精确识别与定位是有必要的。
发明内容
本申请实施例的目的在于提供一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质，能够同时完成配网高空开放复杂环境下引线和主线输电线抓线点的识别和高精度空间定位问题，从而更好地引导机械臂进行带电接引线作业。
为实现上述目的，本申请提供如下技术方案：
第一方面，本申请实施例提供一种面向带电作业机器人的抓线点高精度定位方法，包括以下具体步骤：
1)输电线深度图和彩色图获取，获得的目标深度图和彩色图是对齐的，即对于彩色图上每一个像素点可以通过深度图上对应的像素点获取该点的空间距离；
2)深度阈值分割进行复杂背景去除；对彩色图中深度信息超过某一阈值的像素点进行滤除，从而完成复杂背景去除；
3)像素均值滤波进行图像预处理；于对深度相机成像过程中错误匹配的像素点进行滤除，得到预处理后的输电线图像；
4)输电线轮廓提取与中轴拟合；利用Canny边缘检测算法进行输电线轮廓检测，确定输电线的主要区域；之后根据边缘进行输电线中轴拟合；
5)基于像素灰度差的剥线点识别与定位；结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；
6)完成输电线剥线点空间定位和姿态解算。
所述输电线深度图和彩色图获取具体为，采用Realsense D435作为视觉传感器，同时输出彩色图与深度图，彩色图用于输电线剥线点的识别任务，深度图用于输电线剥线点的定位任务。
所述像素均值滤波进行图像预处理具体为，根据输电线区域相比较于噪声区域颜色更深，像素值要低，通过对步骤2)中完成复杂背景去除的图像的像素均值进行统计，滤除灰度值在像素均值以上的点就可以完成对于噪声的去除，得到理想的输电线分割结果。
所述利用Canny边缘检测算法进行输电线轮廓检测核心步骤分为：高斯图像滤波、像素梯度强度与方向计算、非极大值抑制三步，具体如下：
(1)高斯图像滤波，利用高斯滤波器对图像进行滤波平滑处理；
(2)像素梯度强度与方向计算，采用Sobel算子来计算图像在水平和垂直方向上的像素差值，首先采用两个Sobel卷积核与原图像进行卷积，得到水平和垂直方向上的像素提取矩阵，最终得到像素梯度强度与方向，计算公式为：
Gx＝Sx*A (2)
Gy＝Sy*A (3)
θ＝tan-1Gy/Gx (5)
式中，Sx和Sy分别是水平和垂直方向上的Sobel卷积核，A是原始图像灰度矩阵，Gx和Gy分别是水平和垂直方向上的像素梯度矩阵，G是像素梯度强度，θ是像素梯度方向；
(3)非极大值抑制，在局部范围内将当前像素与沿正负梯度强度方向的像素梯度强度进行对比，仅保留梯度强度最大的像素点，从而剔除哪些变化不明显的杂点，得到的边缘也更加精确。
所述基于像素灰度差的剥线点识别与定位具体为，
利用形态学运算消除图像中的毛刺区域，
形态学运算：形态学运算是基于形状的一系列图像处理操作，膨胀是最基本的一种形态学操作，它的实现方式是通过将原始图像与卷积核进行卷积，其数学表达式为：
dst(x,y)＝max src(x+x′,y+y′) (6)
式中，dst是膨胀后得到的图像矩阵，src是原始图像矩阵，(x′,y′)是卷积核元素；
由公式(3)可以知道，膨胀运算是在求取局部的最大值，并且将图像中的高亮部分进行扩张，因此它能够消除边缘检测中存在的细小毛刺点，得到更加平滑的边缘；
输电线轮廓提取与中轴拟合：边缘检测可以得到边缘点点簇，通过获取点簇中所有点在x轴和y轴方向上的最小值和最大值可以得到边缘点簇的外接矩阵，并且可以得到四个顶点坐标，通过对上下两对顶点坐标求解其中心点可以得到输电线中轴的起始点和终止点，然后利用直线拟合的方法得到输电线的中轴，
3)剥线点识别定位
在剥线点区域，由于黑色的绝缘皮被剥离，银色的导线外露，因此剥线点区域的像素值相比较于其它区域的像素值要高，利用这一特征来完成对于输电线区域的识别，
首先沿着输电线中轴从起始点到终止点进行采样遍历，并计算采样点周围区域的像素均值，遍历完成后可以得到所有采样点区域像素均值的均值，而后重新对输电线中轴进行遍历，如果采样点周围区域的像素均值大于所有采样点区域像素均值的均值，则将其进行标记为剥线点区域，如此便可完成剥线点的识别。
所述剥线点识别定位后，获取了彩色图像中输电线剥线点两端的像素坐标，得到中轴两个顶点的三维空间坐标，假设中轴两个顶点的三维空间坐标分别为(x1,y1,z1)，(x0,y0,z0)，则拟合得到的直线方向向量为a＝(x1-x0,y1-y0,z1-z0)，空间直线方程为：
在得到输电线的空间方程后，还需要进一步求解输电线的空间位姿，以引导机器人以一种合适的角度对输电线进行夹取、压线等操作，输电线的空间位姿由其在相机坐标系下相较于各坐标轴的余弦值来决定，假设输电线相较于相机x，y，z轴的夹角分别为α，β，γ，计算公式为：
式中，|a|表示输电线拟合直线方向向量的模，
如此便可完成输电线在相机坐标系下的三维坐标和姿态，从而完成空间定位功能，进而为机器人进行接引线操作提供引导。
第二方面，本申请实施例提供一种面向带电作业机器人的抓线点高精度定位***，包括输电线深度图和彩色图获取模块、复杂背景去除模块、图像预处理模块、输电线轮廓提取与中轴拟合模块、剥线点识别与定位模块以及剥线点空间定位和姿态解算模块，
所述输电线深度图和彩色图获取模块采用Realsense D435作为视觉传感器，同时输出彩色图与深度图；
所述复杂背景去除模块用以对输电线深度图和彩色图获取模块输出的彩色图中深度信息超过某一阈值的像素点进行滤除，从而完成复杂背景去除；
所述图像预处理模块用于对输电线深度图和彩色图获取模块成像过程中错误匹配的像素点进行滤除，得到预处理后的输电线图像；
所述输电线轮廓提取与中轴拟合模块利用Canny边缘检测算法进行输电线轮廓检测，确定输电线的主要区域；之后根据边缘进行输电线中轴拟合；
所述剥线点识别与定位模块结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；
所述剥线点空间定位和姿态解算模块完成输电线在相机坐标系下的三维坐标和姿态，从而完成空间定位功能，进而为机器人进行接引线操作提供引导。
第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如上所述的带电作业机器人的抓线点高精度定位方法的步骤。
与现有技术相比，本发明的有益效果是：通过利用双目相机彩色图上的特征信息并辅以深度图上的深度信息实现对输电线及剥线点区域的识别，再利用深度图上的深度信息实现对剥线点区域的三维空间坐标计算。该方法计算量小，受环境光照影响小，成本较低，精度高，具有较强的实用性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例***图；
图2是本申请实施例方法流程图；
图3是本申请实施例双目相机测距模型图；
图4是本申请实施例输电线剥线点示意图；
图5是本申请实施例输电线粗略分割结果图；
图6是本申请实施例输电线精确提取结果图；
图7是本申请实施例剥线点识别结果图；
图8是本申请实施例不同场景剥线点定位效果图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
第一方面，如图1所示，本发明提供了一种面向带电作业机器人的抓线点高精度定位***，包括输电线深度图和彩色图获取模块1、复杂背景去除模块2、图像预处理模块3、输电线轮廓提取与中轴拟合模块4、剥线点识别与定位模块5以及剥线点空间定位和姿态解算模块6，
所述输电线深度图和彩色图获取模块1采用Realsense D435作为视觉传感器，同时输出彩色图与深度图；
所述复杂背景去除模块2用以对输电线深度图和彩色图获取模块1输出的彩色图中深度信息超过某一阈值的像素点进行滤除，从而完成复杂背景去除；
所述图像预处理模块3用于对输电线深度图和彩色图获取模块1成像过程中错误匹配的像素点进行滤除，得到预处理后的输电线图像；
所述输电线轮廓提取与中轴拟合模块4利用Canny边缘检测算法进行输电线轮廓检测，确定输电线的主要区域；之后根据边缘进行输电线中轴拟合；
所述剥线点识别与定位模块5结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；
所述剥线点空间定位和姿态解算模块6完成输电线在相机坐标系下的三维坐标和姿态，从而完成空间定位功能，进而为机器人进行接引线操作提供引导。
如图2所示，第二方面，本申请实施例提供一种面向带电作业机器人的抓线点高精度定位方法，包括以下具体步骤：
1)输电线深度图和彩色图获取，获得的目标深度图和彩色图是对齐的，即对于彩色图上每一个像素点可以通过深度图上对应的像素点获取该点的空间距离；
2)深度阈值分割进行复杂背景去除；对彩色图中深度信息超过某一阈值的像素点进行滤除，从而完成复杂背景去除；
3)像素均值滤波进行图像预处理；于对深度相机成像过程中错误匹配的像素点进行滤除，得到预处理后的输电线图像；
4)输电线轮廓提取与中轴拟合；利用Canny边缘检测算法进行输电线轮廓检测，确定输电线的主要区域；之后根据边缘进行输电线中轴拟合；
5)基于像素灰度差的剥线点识别与定位；结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；
6)完成输电线剥线点空间定位和姿态解算。
步骤1)输电线深度图和彩色图获取，图像获取主要靠相机硬件实现，具体地，本发明采用Realsense D435作为视觉传感器，其属于RGB-D深度相机，能够同时输出彩色图与深度图。其中，彩色图主要用于输电线剥线点的识别任务，而深度图用于输电线剥线点的定位任务。Realsense D435的深度获取原理为双目视觉方法，具体原理如下：该双目相机由两台相同的数字相机，通过视差可计算出目标的三维坐标。其双目测距模型如图3所示。
如图3所示，当双目相机观察到空间中一点P(X,Y,Z)时，会在左图像(原点为ol)和右图像(原点为or)上分别生成pl(xl,yl)和pr(xr,yr)。此外，假设双目相机镜头焦距均为f，两相机光轴距离为T，左右对应点的视差为d，且有：
d＝xl-xr (1)
根据三角形相似原理，有：
之后根据单目成像模型，相机坐标系下点P的三维坐标如下：
由式(3)可知，双目相机可将目标区域有效重建出来，该相机的典型工作范围从0.28m到8m，1m内精度可达±2mm级别，输出分辨率为1080*720，帧率可达30帧/s，满足对于输电线识别的精度要求。
图4为配网输电线的一种工作场景，一般而言，由于配网作业在户外进行，利用深度相机获取的输电线图像并不一定是纯净的背景，为了将输电线从图像中分割出来，本发明利用深度阈值进行目标分割。
在断接引线工作过程中，深度相机与输电线的距离是在一个范围内的，因此本发明借鉴了图像分割中的基于固定阈值分割的思路，采用了深度阈值分割的方法来实现对输电线区域的分割。由于深度相机获取的深度图和彩色图是对齐的，因此将深度图中深度信息超过设定阈值的像素点进行滤除就可以实现对输电线区域的粗略提取，其提取结果如图5所示。
由图5可知，输电线背景建筑已被去除，输电线已被成功分割出。但由于深度相机受到户外光照的影响，在深度图上出现了一些误匹配的噪声区域，使得输电线区域的分割效果并不是非常理想，需要进行均值滤波处理。
根据输电线区域相比较于噪声区域颜色更深，像素值要低，通过对图4所示图像的像素均值进行统计，滤除灰度值在像素均值以上的点就可以完成对于噪声的去除，得到理想的输电线分割结果，其分割结果如图6所示。
如图6所示，输电线区域被很好地分割出来，其轮廓与形态信息保存的也很完好，有助于后续利用边缘检测的方法实现其轮廓的提取。
输电线边缘检测使用Canny边缘检测算法进行，其核心步骤分为：高斯图像滤波、像素梯度强度与方向计算、非极大值抑制三步。具体如下：
1)高斯图像滤波。由于边缘检测算法对于噪声比较敏感，噪声很有可能成为伪边缘，因此需要对图像进行滤波平滑处理。高斯滤波器是在图像处理领域应用最为广泛的滤波器之一，其卷积核中元素计算公式为：
式中，k为高斯核矩阵的维数。
2)像素梯度强度与方向计算。图像边缘最重要的特征就是像素灰度值剧烈变化，而这种剧烈变化就是像素值的梯度。由于图像是离散数据，因此像素的梯度就是像素的灰度差值。本发明采用Sobel算子来计算图像在水平和垂直方向上的像素差值，首先采用两个Sobel卷积核与原图像进行卷积，得到水平和垂直方向上的像素提取矩阵，最终得到像素梯度强度与方向，计算公式为：
Gx＝Sx*A (6)
Gy＝Sy*A (7)
θ＝tan-1Gy/Gx (9)
式中，Sx和Sy分别是水平和垂直方向上的Sobel卷积核，A是原始图像灰度矩阵，Gx和Gy分别是水平和垂直方向上的像素梯度矩阵，G是像素梯度强度，θ是像素梯度方向。
3)非极大值抑制。为了提高得到的边缘的质量，使其更加精确的位于真实边缘的中心，由于在局部范围内将当前像素与沿正负梯度强度方向的像素梯度强度进行对比，仅保留梯度强度最大的像素点，从而剔除哪些变化不明显的杂点，得到的边缘也更加精确。
通过Canny边缘检测可以得到输电线轮廓，但得到的二值化图像中仍然存在噪声，因此需要利用形态学运算消除图像中的毛刺区域。
1)形态学运算：形态学运算是基于形状的一系列图像处理操作，膨胀是最基本的一种形态学操作，它的实现方式是通过将原始图像与卷积核进行卷积，其数学表达式为：
dst(x,y)＝max src(x+x′,y+y′) (10)
式中，dst是膨胀后得到的图像矩阵，src是原始图像矩阵，(x′,y′)是卷积核元素。
由公式(7)可以知道，膨胀运算是在求取局部的最大值，并且将图像中的高亮部分进行扩张，因此它能够消除边缘检测中存在的细小毛刺点，得到更加平滑的边缘。
2)输电线轮廓提取与中轴拟合：边缘检测可以得到边缘点点簇，通过获取点簇中所有点在x轴和y轴方向上的最小值和最大值可以得到边缘点簇的外接矩阵，并且可以得到四个顶点坐标。通过对上下两队顶点坐标求解其中心点可以得到输电线中轴的起始点和终止点，然后利用直线拟合的方法可以得到输电线的中轴，其求解公式为：
式中，(x1,y1)和(x2,y2)分别是由外接矩形的顶点坐标得到的输电线中州的起始点和终止点。
3)剥线点识别定位
在剥线点区域，由于黑色的绝缘皮被剥离，银色的导线外露，因此剥线点区域的像素值相比较于其它区域的像素值要高，可以利用这一特征来完成对于输电线区域的识别。
首先沿着输电线中轴从起始点到终止点进行采样遍历，并计算采样点周围区域的像素均值，遍历完成后可以得到所有采样点区域像素均值的均值，而后重新对输电线中轴进行遍历。如果采样点周围区域的像素均值大于所有采样点区域像素均值的均值，则将其进行标记为剥线点区域，如此便可完成剥线点的识别。效果如图7所示：
获取了彩色图像中输电线剥线点两端的像素坐标后，利用公式(3)可得到中轴两个顶点的三维空间坐标。假设中轴两个顶点的三维空间坐标分别为(x1,y1,z1)，(x0,y0,z0)，则拟合得到的直线方向向量为a＝(x1-x0,y1-y0,z1-z0)，空间直线方程为：
在得到输电线的空间方程后，还需要进一步求解输电线的空间位姿，以引导机器人以一种合适的角度对输电线进行夹取、压线等操作。输电线的空间位姿由其在相机坐标系下相较于各坐标轴的余弦值来决定，假设输电线相较于相机x，y，z轴的夹角分别为α，β，γ，计算公式为：
式中，|a|表示输电线拟合直线方向向量的模。
如此便可完成输电线在相机坐标系下的三维坐标和姿态，从而完成空间定位功能。进而为机器人进行接引线操作提供引导。根据该方法，可对不同场景的引线和主线剥线点进行定位，如图8所示：
因此以上具体实施方式和附图仅是对配网引线作业中一种场景、一种线径引线定位的示例性说明，而不应当被视为本发明的全部或限制与限定。
本发明的关键点在于：相比现有基于激光雷达进行输电线图像获取的方法，本方法通过单个双目相机进行目标彩色图和深度图获取，图像分辨率更高，深度精度可达±2mm级别，帧率可达30帧/s。相比现有输电线定位方法通过点云分割完成图像中引线的定位，其容易受复杂环境干扰，本方法则通过深度阈值分割进行定位，算法模型更简单、更高效；相比其他方法只通过深度图或彩色图直接定位引线，本发明则将深度图和彩色图进行结合，通过深度图完成目标分割，通过彩色图的灰度信息完成剥线点定位；相比现有方法只完成了引线的整体定位，难以实现剥线点的二次定位，本方法则将剥线点直接定位出来，且可有效获取配网输电线的空间姿态；本发明提出了完整的配网带电作业机器人抓线点定位方法，可有效用于现场，实现机器人的快速视觉引导功能。
整体来说，相比现有方法，本发明提出的方法只需要单个双目相机实现，成本较低；视觉定位精度高，受环境干扰小，这是本发明的关键优势。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如上所述的带电作业机器人的抓线点高精度定位方法的步骤。
本发明有以下三个优点：1、采用单个双目相机获取配网引线的彩色图和深度图，成本低，体积小，功耗低；2、采用深度阈值分割进行深度图处理，可完成复杂背景下近距离目标的有效提取；3、将彩色图和深度图进行结合，先根据空间位置进行整体定位，再通过颜色进行精确定位，最后通过深度图进行空间姿态计算，最终实现配网引线的高精度定位。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (5)
1.一种面向带电作业机器人的抓线点高精度定位方法，其特征在于，包括以下具体步骤：
1)输电线深度图和彩色图获取，获得的目标深度图和彩色图是对齐的，即对于彩色图上每一个像素点可以通过深度图上对应的像素点获取该点的空间距离；
2)深度阈值分割进行复杂背景去除；对彩色图中深度信息超过某一阈值的像素点进行滤除，从而完成复杂背景去除；
3)像素均值滤波进行图像预处理；于对深度相机成像过程中错误匹配的像素点进行滤除，得到预处理后的输电线图像；
4)输电线轮廓提取与中轴拟合；利用Canny边缘检测算法进行输电线轮廓检测，确定输电线的主要区域；之后根据边缘进行输电线中轴拟合；
5)基于像素灰度差的剥线点识别与定位；结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；
6)完成输电线剥线点空间定位和姿态解算；
所述利用Canny边缘检测算法进行输电线轮廓检测核心步骤分为：高斯图像滤波、像素梯度强度与方向计算、非极大值抑制三步，具体如下：
(1)高斯图像滤波，利用高斯滤波器对图像进行滤波平滑处理；
(2)像素梯度强度与方向计算，采用Sobel算子来计算图像在水平和垂直方向上的像素差值，首先采用两个Sobel卷积核与原图像进行卷积，得到水平和垂直方向上的像素提取矩阵，最终得到像素梯度强度与方向，计算公式为：
Gx＝Sx*A(2)
Gy＝Sy*A(3)
θ＝tan-1Gy/Gx(5)
式中，Sx和Sy分别是水平和垂直方向上的Sobel卷积核，A是原始图像灰度矩阵，Gx和Gy分别是水平和垂直方向上的像素梯度矩阵，G是像素梯度强度，θ是像素梯度方向；
(3)非极大值抑制，在局部范围内将当前像素与沿正负梯度强度方向的像素梯度强度进行对比，仅保留梯度强度最大的像素点，从而剔除哪些变化不明显的杂点，得到的边缘也更加精确；
所述基于像素灰度差的剥线点识别与定位具体为，
利用形态学运算消除图像中的毛刺区域，
形态学运算：形态学运算是基于形状的一系列图像处理操作，膨胀是最基本的一种形态学操作，它的实现方式是通过将原始图像与卷积核进行卷积，其数学表达式为：
dst(x,y)＝max src(x+x′,y+y′) (6)
式中，dst是膨胀后得到的图像矩阵，src是原始图像矩阵，(x′,y′)是卷积核元素；
由公式(3)可以知道，膨胀运算是在求取局部的最大值，并且将图像中的高亮部分进行扩张，因此它能够消除边缘检测中存在的细小毛刺点，得到更加平滑的边缘；
输电线轮廓提取与中轴拟合：边缘检测可以得到边缘点点簇，通过获取点簇中所有点在x轴和y轴方向上的最小值和最大值可以得到边缘点簇的外接矩阵，并且可以得到四个顶点坐标，通过对上下两对顶点坐标求解其中心点可以得到输电线中轴的起始点和终止点，然后利用直线拟合的方法得到输电线的中轴，
剥线点识别定位，
在剥线点区域，由于黑色的绝缘皮被剥离，银色的导线外露，因此剥线点区域的像素值相比较于其它区域的像素值要高，利用这一特征来完成对于输电线区域的识别，
首先沿着输电线中轴从起始点到终止点进行采样遍历，并计算采样点周围区域的像素均值，遍历完成后可以得到所有采样点区域像素均值的均值，而后重新对输电线中轴进行遍历，如果采样点周围区域的像素均值大于所有采样点区域像素均值的均值，则将其进行标记为剥线点区域，如此便可完成剥线点的识别；
所述剥线点识别定位后，获取了彩色图像中输电线剥线点两端的像素坐标，得到中轴两个顶点的三维空间坐标，假设中轴两个顶点的三维空间坐标分别为(x1,y1,z1)，(x0,y0,z0)，则拟合得到的直线方向向量为a＝(x1-x0,y1-y0,z1-z0)，空间直线方程为：
在得到输电线的空间方程后，还需要进一步求解输电线的空间位姿，以引导机器人以一种合适的角度对输电线进行夹取、压线等操作，输电线的空间位姿由其在相机坐标系下相较于各坐标轴的余弦值来决定，假设输电线相较于相机x，y，z轴的夹角分别为α，β，γ，计算公式为：
式中，|a|表示输电线拟合直线方向向量的模，
如此便可完成输电线在相机坐标系下的三维坐标和姿态，从而完成空间定位功能，进而为机器人进行接引线操作提供引导。
2.根据权利要求1所述的一种面向带电作业机器人的抓线点高精度定位方法，其特征在于，所述输电线深度图和彩色图获取具体为，采用Realsense D435作为视觉传感器，同时输出彩色图与深度图，彩色图用于输电线剥线点的识别任务，深度图用于输电线剥线点的定位任务。
3.根据权利要求1所述的一种面向带电作业机器人的抓线点高精度定位方法，其特征在于，所述像素均值滤波进行图像预处理具体为，根据输电线区域相比较于噪声区域颜色更深，像素值要低，通过对步骤2)中完成复杂背景去除的图像的像素均值进行统计，滤除灰度值在像素均值以上的点就可以完成对于噪声的去除，得到理想的输电线分割结果。
4.一种面向带电作业机器人的抓线点高精度定位***，用以实现权利要求1所述的方法，其特征在于，包括输电线深度图和彩色图获取模块(1)、复杂背景去除模块(2)、图像预处理模块(3)、输电线轮廓提取与中轴拟合模块(4)、剥线点识别与定位模块(5)以及剥线点空间定位和姿态解算模块(6)，
所述输电线深度图和彩色图获取模块(1)采用Realsense D435作为视觉传感器，同时输出彩色图与深度图；
所述复杂背景去除模块(2)用以对输电线深度图和彩色图获取模块(1)输出的彩色图中深度信息超过某一阈值的像素点进行滤除，从而完成复杂背景去除；
所述图像预处理模块(3)用于对输电线深度图和彩色图获取模块(1)成像过程中错误匹配的像素点进行滤除，得到预处理后的输电线图像；
所述输电线轮廓提取与中轴拟合模块(4)利用Canny边缘检测算法进行输电线轮廓检测，确定输电线的主要区域；之后根据边缘进行输电线中轴拟合；
所述剥线点识别与定位模块(5)结合引线末端的剥线点和主线剥线区域的灰度信息差，实现对剥线点的识别；
所述剥线点空间定位和姿态解算模块(6)完成输电线在相机坐标系下的三维坐标和姿态，从而完成空间定位功能，进而为机器人进行接引线操作提供引导。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如权利要求1至3任一项所述的带电作业机器人的抓线点高精度定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299938.2A CN114782529B (zh) | 2022-03-25 | 2022-03-25 | 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299938.2A CN114782529B (zh) | 2022-03-25 | 2022-03-25 | 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782529A CN114782529A (zh) | 2022-07-22 |
| CN114782529B true CN114782529B (zh) | 2024-06-25 |
Family
ID=82426031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210299938.2A Active CN114782529B (zh) | 2022-03-25 | 2022-03-25 | 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782529B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115290038B (zh) * | 2022-09-29 | 2022-12-30 | 中科南京人工智能创新研究院 | 面向线状障碍物的双目测距方法 |
| CN117197067B (zh) * | 2023-09-05 | 2024-07-02 | 深圳市海蓝智能科技有限公司 | 线束芯线数量的视觉检测方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111283686A (zh) * | 2020-03-05 | 2020-06-16 | 亿嘉和科技股份有限公司 | 一种用于带电作业机器人抓取支线场景下的抓取姿态计算方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106356757B (zh) * | 2016-08-11 | 2018-03-20 | 河海大学常州校区 | 一种基于人眼视觉特性的电力线路无人机巡检方法 |
| CN112034470B (zh) * | 2020-09-02 | 2022-10-18 | 亿嘉和科技股份有限公司 | 一种基于固态面阵激光雷达的电缆识别定位方法 |
| CN112366615B (zh) * | 2020-09-22 | 2022-04-22 | 亿嘉和科技股份有限公司 | 一种垂直距离1m场景的不移斗线路搭接方法 |
-
2022
- 2022-03-25 CN CN202210299938.2A patent/CN114782529B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111283686A (zh) * | 2020-03-05 | 2020-06-16 | 亿嘉和科技股份有限公司 | 一种用于带电作业机器人抓取支线场景下的抓取姿态计算方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于双目立体视觉技术的成熟番茄识别与定位;蒋焕煜;彭永石;申川;应义斌;;农业工程学报;20080815(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782529A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108845574B (zh) | 目标识别与追踪方法、装置、设备及介质 | |
| CN114782529B (zh) | 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质 | |
| CN108381549B (zh) | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 | |
| US20210056715A1 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
| US11379963B2 (en) | Information processing method and device, cloud-based processing device, and computer program product | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN105205459B (zh) | 一种图像特征点类型的识别方法和装置 | |
| CN109360239B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| Baker et al. | Power line detection using Hough transform and line tracing techniques | |
| CN109035307B (zh) | 基于自然光双目视觉的设定区域目标追踪方法及*** | |
| CN111178150A (zh) | 车道线检测方法、***及存储介质 | |
| EP3639192A1 (en) | Computer vision-based thin object detection | |
| CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
| CN110926408A (zh) | 基于特征物的近距离测距方法、装置、***和存储介质 | |
| CN110345924B (zh) | 一种距离获取的方法和装置 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN107818596B (zh) | 一种场景参数确定方法、装置及电子设备 | |
| US20180357784A1 (en) | Method for characterising a scene by computing 3d orientation | |
| KR102188164B1 (ko) | 3차원 데이터를 이용한 도로 인식 방법 | |
| CN107802468B (zh) | 导盲方法及导盲*** | |
| CN111489384A (zh) | 基于互视角的遮挡评估方法及装置、设备、***和介质 | |
| GB2583774A (en) | Stereo image processing | |
| KR20160072477A (ko) | 주변 환경 모델링 방법 및 이를 수행하는 장치 | |
| CN116755562B (zh) | 一种避障方法、装置、介质及ar/vr设备 | |
| CN112395912B (zh) | 一种人脸分割方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |