CN109212377B - 一种高压线路障碍物识别方法、装置、巡检机器人 - Google Patents

一种高压线路障碍物识别方法、装置、巡检机器人 Download PDF

Info

Publication number
CN109212377B
CN109212377B CN201811133352.9A CN201811133352A CN109212377B CN 109212377 B CN109212377 B CN 109212377B CN 201811133352 A CN201811133352 A CN 201811133352A CN 109212377 B CN109212377 B CN 109212377B
Authority
CN
China
Prior art keywords
obstacle
image
robot
identification
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811133352.9A
Other languages
English (en)
Other versions
CN109212377A (zh
Inventor
卢士彬
李路
郭锐
张峰
杨立超
杨波
孙晓斌
张哲�
邓承会
刘云静
曹雷
李振宇
贾娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Intelligent Technology Co Ltd filed Critical State Grid Intelligent Technology Co Ltd
Priority to CN201811133352.9A priority Critical patent/CN109212377B/zh
Publication of CN109212377A publication Critical patent/CN109212377A/zh
Application granted granted Critical
Publication of CN109212377B publication Critical patent/CN109212377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/08Locating faults in cables, transmission lines, or networks
    • G01R31/081Locating faults in cables, transmission lines, or networks according to type of conductors
    • G01R31/085Locating faults in cables, transmission lines, or networks according to type of conductors in power transmission or distribution lines, e.g. overhead
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高压线路障碍物识别方法及识别装置,所述的方法基于障碍物的几何基元特征,结合线路结构信息,判断障碍物的类型和位置。所述的识别装置包括识别模块,所述的识别模块包括摄像机,用于实时拍摄以天空为背景的巡检图像;识别单元,基于障碍物的几何基元特征,结合线路结构信息,判断障碍物的类型和位置。本发明还提供了一种巡检机器人,该机器人安装了所述的识别装置。本发明利用摄像机获得图像,然后再根据障碍物的几何形状特征,准确判断出障碍物的类型。

Description

一种高压线路障碍物识别方法、装置、巡检机器人
技术领域
本发明属于电力巡检技术领域,具体涉及一种高压线路障碍物识 别方法、装置,以及安装了识别装置的巡检机器人。
背景技术
高压输电线路巡检机器人运行于具有防振锤、悬垂线夹和耐张过 桥等障碍物的高压线路地线上,要顺利通过这些障碍物实现巡检机器 人的跨档距全程巡检,就必须要能够准确地识别出这些障碍物并能测 量出障碍物到机器人的距离,才能实现机器人稳定可靠的越障。
现有的高压输电线路巡检机器人采用摄像机测距定位的方法,高 压输电线路巡检机器人运行于高压输电线路的地线上,机器人移动的 同时拍摄线路周围的情况,并对周围可能存在的障碍物和缺陷信息进 行实时分析,以发现前方的障碍物,并识别出障碍物的类型和计算出 与障碍物的距离,同时识别和记录出线路及其附近存在的缺陷数据和 危险情况。
但是,采用摄像机测距定位的方法,当机器人非常靠近障碍物或 者正在通过障碍物时,摄像机已经不能拍摄到完整障碍物,无法实现 障碍物的识别。
发明内容
为了解决上述问题,本发明提出了一种高压线路障碍物识别方 法、装置,以及安装了识别装置的巡检机器人,利用机器人本体上的 摄像机获得图像,然后再根据障碍物的几何形状特征,判断出障碍物 的类型。
本发明的技术方案是按以下方式实现的:
本发明实施例提供了一种高压线路障碍物识别方法,所述的方法 包括:
S1:基于障碍物的几何基元特征,结合线路结构信息,判断障碍 物的类型和位置。
进一步的,步骤S1的具体实现过程为:
S11:采集图像并识别地线的位置;
S12:依据障碍物的几何形状识别障碍物的类型和位置。
进一步的,步骤S11的具体实现过程为:
首先,使用摄像机采集图像,并通过Gaussian滤波器消除高频 噪音,将图像模糊化;然后对图像进行缩小,并通过Canny边缘检测 算子提取图像的边缘信息;最后通过累计概率霍夫变换PPHT提取边 缘图中长度大于给定阈值的所有直线段。
进一步的,步骤S12的具体实现过程为:
首先,从边缘图像中检测直线、矩形、圆、圆弧和椭圆几何基元 特征;然后,根据几何基元特征检测结果,结合线路结构信息,判断 障碍物的类型及位置;最后,采用Kalman滤波器跟踪障碍物,利用 运动信息进一步验证障碍识别结果。
进一步的,所述的方法还包括:
S2:基于视觉识别或光电测距,识别巡检机器人与障碍物之间的 位置关系。
进一步的,步骤S2中,基于视觉识别实现测距的具体实现过程 为:
首先,建立摄像机与障碍物特征点的几何关系模型,然后,根据 标定的不同焦距的每个像素点的弧度,建立出摄像机在此焦距下与障 碍物距离的关系式;最后,把标定好的不同焦距下每个像素点所代表 的弧度和机器人与障碍物的垂直距离带入式中,即可求解摄像机与障 碍物的水平距离。
进一步的,步骤S2中,基于光电测距的具体实现过程为:
机器人在行走过程中,通过光电传感器向障碍物发射信号,并实 时获取反馈的信号;
结合机器人的运行速度和信号的通断变化时间,计算出障碍物金 属部分和镂空部分的长度;
根据障碍物的尺寸判断障碍物的类型和位置。
本发明实施例还提供了一种高压线路障碍物识别装置,所述的装 置包括:
识别模块,所述的识别模块包括摄像机,用于实时拍摄以天空为 背景的巡检图像;识别单元,基于障碍物的几何基元特征,结合线路 结构信息,判断障碍物的类型和位置。
进一步的,所述的装置还包括:
测距模块,基于视觉识别或光电测距,识别巡检机器人与障碍物 之间的位置关系。
除此之外,本发明实施例提供了一种巡检机器人,该巡检机器人 包括行走装置和障碍物识别装置,通过障碍物识别装置对障碍物的类 型和距离进行识别,辅助巡检机器人实现早高压线路上的巡检越障。
本发明的有益效果是:
本发明利用机器人本体上的摄像机获得图像,然后再根据障碍物 的几何形状特征,判断出障碍物的类型。根据识别出来的障碍特征点 与摄像机的位置关系建立测距几何模型,从而计算出机器人到障碍物 的距离。
当机器人非常靠近障碍物或者正在通过障碍物时,采用摄像机测 距定位的方法就不再适用,此时可以采用安装在机器人上的光电传感 器和动态倾角仪,结合机器人的运行速度和传感器的采集信号的变 化,就可以识别出障碍物的关键点,从而计算出已到达障碍物的具体 位置。
附图说明
图1为悬垂线夹改造图;
图2为耐张过桥改造图;
图3为障碍物识别流程图;
图4为地线识别实际拍摄图;
图5为单目视觉测距原理图;
图6为防振锤和线夹的传感器检测原理图;
图7为耐张塔过桥的传感器检测原理图;
图8为机器人结构图。
具体实施方式
以下结合附图详细说明本发明的具体实施方式,下文的公开提供 了具体实施方式用来实现本发明的装置及方法,使本领域的技术人员 更清楚地理解如何实现本发明。为了简化本发明的公开,下文中对特 定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复 参考数字或字母。这种重复是为了简化和清楚的目的,其本身不指示 所讨论各种实施例或设置之间的关系。应当注意,在附图中所图示的 部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺 的描述以避免不必要地限制本发明。应当理解,尽管本发明描述了其 优选的具体实施方案,然而这些只是对实施方案的阐述,而不是限制 本发明的范围。
本发明实施例提供了一种高压线路障碍物识别方法,所述的方法 基于障碍物的几何基元特征,结合线路结构信息,判断障碍物的类型 和位置。
该方法的针对的对象是安装在地线上的防振锤、悬垂线夹、耐张 杆塔等线路金具。同时,为了便于机器人的跨档距自主运行和传感器 的识别,在保证电气性能和功能的前提下对地线上的金具进行了相应 的选型和改造。
防振锤包括一定质量的重锤,具有较高弹性、高强度的镀锌钢 绞线及线夹组。防振锤的选取主要考虑防振锤线夹线上部分的凸起要 足够的小,并且形状复杂度较低,易于传感器检测和处理的型号。
悬垂线夹分为上扛式、防晕型、下垂式。如图1所示,悬垂线 夹选取挂板挂点位于线夹下部的上扛式,并将挂板的形状改造为C 型,这样可使机器人的行走轮顺利通过悬垂线夹,而且易于线夹障碍 物的检测识别。
由于高压输电线路地线在耐张杆塔处并不是连续的,而是断开后 两端分别连接到耐张杆塔的横担上。这就阻断了沿高压输电线路地线 行走的机器人的通路。为了使机器人能够顺利通过耐张杆塔,实现跨 档距自主运行全程巡检,就必须在耐张杆塔处添加可供机器人运行通 过的耐张过桥。耐张过桥的结构如图2所示。
为了实现更好的识别效果,该方法采用以下的识别构思:
摄像机安装在巡线机器人本体的前后两端,光轴与机器人运行方 向处于同一平面。这样摄像机拍摄到图像的背景是天空,可以降低图 像背景的复杂度。而且防振锤端面、悬垂线夹、耐张过桥向摄像机成 像平面上的投影呈典型几何形状。因此,我们可以选择图像特定的几 何形状以及它们与输电导线之间的位置关系来描述待识别的障碍物。
防振锤、悬垂线夹和耐张过桥没有容易区分的表面纹理,也没有 明显的颜色特征,还相互铰接,比较难以分割成单独的区域。对障碍 物的外观、形状还有结构特点进行分析,我们选择相对简单的直线、 矩形、圆、圆弧、椭圆等几何形状基元作为障碍物判断的线索。
整个方法的具体实现过程和原理如图3所示,包括两大部分,第 一部分用于地线识别与定位,第二部分用于对障碍物的识别。
对于第一部分,采用的原理为:防振锤、悬垂线夹、耐张过桥都 与地线有固定连接关系,因此,要对障碍物识别就先要对地线进行识 别、定位与跟踪。首先使用摄像机采集图像,并通过Gaussian滤波 器消除高频噪音,适度模糊化图像,这样可以减少细小的纹理边缘, 方便地线边缘直线的检出;然后对图像进行缩小,可以缩小为320× 240像素,这样可以加快后续处理的速度,并通过Canny边缘检测算 子提取图像的边缘信息;最后通过累计概率霍夫变换PPHT提取边缘 图中长度大于给定阈值的所有直线段。
实现上述第一部分的具体操作为:
在巡检机器人沿地线运动时,地线在图像平面中的投影呈上粗下 细的棒状,并竖立于图像平面中,如图4所示。
若以图像的左上角为原点,水平向右为x轴,竖直向下为y轴。 机器人的抖动会造成地线在图像平面中向x轴方向的投影的位置及 倾角的变化。通过实验发现,地线向x轴方向投影的位置及倾角的的 变化在一定的范围内。因此,可以采用基于规则的分类器对检出的直 线段进行分类,找出地线左边缘直线LL和右边缘直线LR就可以找出 地线。
设E={Li,i=1,2,…,n}表示由PPHT检出的所有直线集合,C表 示地线边缘直线候选集合,分类器分类规则为:
如果任意直线段Li∈E满足条件:
(1)向y轴的投影长度Δy≥Ly,Ly为60;
(2)倾角θ满足75°<θ<105°;
(3)上端点坐标y轴分量y1<Y0,Y0为预设的阈值,经实验确定 为30,则Li∈C。
然后将候选集合C中的直线按上端点坐标x分量从小到大排序, 计算相邻两条直线Li、Lj上端点坐标x分量之差,如果满足:
T1<(xj-xi)<T2,(xj>xi,i≠j);T1,T2根据地线型号和投影 宽度来确定;直线Li、Lj的距离由上至下越来越靠近,则直线Li、Lj分别为地线的左、右边缘直线LL、LR
这样就完成了地线的识别和定位,并且确定了障碍所在的区域的 大体范围,为后续障碍物的识别奠定了基础。
第二部分的具体实现过程为:
首先,从边缘图像中检测直线、矩形、圆、圆弧和椭圆几何基元 特征。
Hough变换(Hough Transform)被广泛应用于图像中的几何形状 检测。Hough变换定义了一个图像空间与参数空间的映射,它把图像 平面中的每一个点映射为参数空间中的一条曲线或曲面,并记录下通 过该点的所有可能的几何构型(如所有经过该点的直线、圆、椭圆等), 然后查看投票结果,决定哪一个构型真正存在。那些存在的直线或者 圆就会突显出来,因为它们穿过很多点,所以会有很多投票,可见 Hough变换采用了类似“投票表决”的边缘点聚类机制。
Hough变换直线检测的基本思想是点-线的对偶性。设图像平面 上有一条直线,要求出这条直线所在的位置。
在图像空间x-y平面上,该直线可表示为:y=ax+b。
其中a为斜率,b为截距。设(xi,yi)是上述直线上的任意一点,我 们把a、b看作变量,那么方程b=-axi+yi表示了参数空间a-b平面 上的一条直线。由此可知,在图像空间x-y平面上共线的点(直线) 对应于参数空间a-b平面上共点(a0,b0)的直线族。亦即在参数空间a-b平面上相交于同一点的所有直线在图像空间都有共线的点与之 对应。Hough变换根据这些关系把在图像空间中检测共线点集的问题 转换为在参数空间中检测共点直线的等价问题。
上面使用的参数空间是二维的斜率-截距平面,由于斜率a和截 距b均为无界实数,给参数平面a-b的离散量化和二维累加器数组内 存空间的分配带来了极大的困难。为解决这一问题,采用参数方程 xcosθ+ysinθ=ρ表示图像空间x-y平面上的直线。式中,ρ表示坐标 原点到该直线的垂直距离,θ表示该直线的法线方向与x坐标轴正向 的夹角。如果令θ∈[0,π],那么,图像x-y平面上的每条直线就与θ- ρ平面上的点一一对应。
设{(x1,y1),...,(xn,yn)}是图像平面x-y上的点集,对任一点(xi,yi), 同样当把θ、ρ看作变量,方程ρ=xicosθ+yisinθ定义了参数空间θ- ρ平面上的一条正弦曲线。易证,图像空间x-y平面上共线的点对应 于参数空间θ-ρ平面上共点(θ00)的正弦曲线族。同样,采用参数 化直线方程后,把在图像空间中检测共直线的点集问题转换为在参数 空间中检测共点正弦曲线的等价问题。
因为待检图像的大小尺寸已知,因此存在某个实数R使得对图像 中所有可能的直线,满足ρ∈[-R,+R],这意味着我们感兴趣的那些直 线参数形成了θ-ρ平面的一个有界子集,即由θ∈[0,π],ρ∈[-R,+R] 所定义的参数平面区域。用适当的网格将该有界区域离散量化,每个 网格节点视为一个累加器,整个离散量化后的区域网格被当作一个二 维累加器数组。对于图像平面上的每一边缘点(xi,yi),求出参数平面 θ-ρ上对应的正弦曲线,并将曲线经过的所有网格节点对应的累加 器的值都增加1。因此,二维累加器数组中的每一单元就记录了经过 它的正弦曲线的数量。待图像中的所有边缘点处理完毕后,统计二维 累加器数组中计数值较高的单元,如果某一累加器单元(θij)的累加 值为K,这说明在图像空间x-y平面上有K个边缘点位于由参数(θij) 定义的直线上。这样,就把在图像空间x-y平面上检测共线点(直线) 的问题转换为易于实现的二维累加器数组累加值的峰值检测问题。
对于矩形轮廓曲线,其几何特征是边长(长和宽),通过直线 Hough变换投票后,应该出现4个峰值,投票空间的4个峰值是H1 =(ρ1,θ1),H2=(ρ2,θ2),H3=(ρ3,θ3),H4=(ρ4, θ4)分别对应矩形的4个特征,即P2P3,P1P4,P3P4,P1P2条边。
由矩形的几何特征可知,在投票空间应该满足如下关系:
Δθ=|θij|<Tθ,ΔP=|Pi-Pj|<TP
|C(ρii)-C(ρjj)|<TL(C(ρi,θi)+C(ρj,θj))/2;
其中,Tθ为角度θ的阈值,用于判断每对峰值(Hi和Hj)是否 为一对平行边,如果θi≈θj,即可确定其为矩形的一对平行边;TP为 距离阈值,用于判断对应于峰值点对(Hi和Hj)平行线是否关于H轴 对称,如果ρi≈-ρj,则关于H轴对称;TL为规范阈值,用于判断对 应于点Hi和Hj的对边是否具有近似相同的长度,C(ρjj)是在点Hj处的投票数,如果C(ρii)=C(ρjj),则认为对应于点Hi和Hj的两 条边的长度相等。检测后的峰值,对应矩形的一组对边,可以表示如 下:
Figure BDA0001814128620000111
Figure BDA0001814128620000112
当k=1时,i=1,j=2,表示一组对边E1和E2;当k=2时,i=3, j=4表示另一组对边E3,E4。
最后利用下面公式通过比较两组对边的夹角来判断是否为矩形:
Δα=||α12|-90°|<Tα
阈值TA用于判断两组对边E1和E2是否垂直。同理,对于根据 形状角粗分后的其他轮廓曲线,也可经过直线投票提取几何特征后, 再根据各自几何特征进一步判断识别其具体形状。在粗分基础上,即 可充分利用几何特征和采用直线投票来提高算法的执行速度和准确 性。
图像平面x-y上任意一个由边缘点构成的圆,可表示为:
(x-a)2+(y-b)2=r2;式中(a,b)为圆心坐标,r为圆半径。设 (xi,yi)为图像平面上的任意一边缘点,当把a、b、r看作变量,则方 程(a-xi)2+(b-yi)2=r2定义了三维参数空间a-b-r中的一个圆锥。据 此可知,图像平面x-y上共圆的边缘点映射为三维参数空间a-b-r中相交于一点的圆锥族。这样就把二维图像平面上共圆点集的检测问题 转化为三维参数空间中共点圆锥族的检测。类似直线检测,把参数空 间沿a、b、r坐标轴离散量化为立体格栅,用一个三维累加器数组来 表示参数空间,数组单元的索引下标与网格点的坐标一一对应。对于 图像平面上的每一边缘点(xi,yi),求出参数空间a-b-r中对应的圆锥, 并将圆锥经过的所有网格节点对应的累加器的值都增加1,三维累加 器数组中的每一单元就记录了经过它的圆锥曲线的数量。待图像中的 所有边缘点处理完毕后,统计三维累加器数组中计数值较高的单元, 如果某一累加器单元(ai,bj,rk)的累加值为K,这说明在图像空间x-y 平面上有K个边缘点位于由参数(ai,bj,rk)定义的圆上。
在图像平面描述任意椭圆需五个未知参数,即形心坐标(x0, y0)、长半轴a、短半轴b和旋转角α,相应的参数方程为:
Figure BDA0001814128620000121
或用隐函数方程表示为:
x2+Bxy+Cy2+Dx+Ey+F=0
为了降低过度的计算时间和存储空间开销,通常根据边缘点的梯 度方向信息、椭圆的的几何特性把5维参数空间分解为几个低维子空 间,在子参数空间中利用Hough变换完成椭圆的检测。
然后,根据几何基元特征检测结果,结合线路结构信息,判断障 碍物的类型及位置。
防振锤左右两个重锤呈棒状,端面呈圆形或者椭圆形,两个重锤 通过钢绞线相连接。且防振锤的绝大部分处于地线的下方。防振锤的 识别以端面的圆形、椭圆形为线索,结合重锤的左右分布结构和处于 地线下方的特点,就能与其它障碍物区分开。
悬垂线夹经过改造变成实体C型,C型悬垂线夹的上部通过挂环 挂接到杆塔的横担上。下部由上扛式线夹紧紧地“握住”地线。悬垂 线夹的识别是以实体的C型形状为线索,结合连接C型形状的上下连 接结构与地线的位置关系,就能轻松区分出悬垂线夹。
耐张过桥在摄像机视角观察会呈现上下两个巨大的圆弧,两个巨 大圆弧之间有多个实体块相连,中间还有多个镂空部分。圆弧中间通 过实体杆与杆塔连接。圆弧的两端是两个三角形实体。三角形实体中 间有地线穿过。通过耐张过桥本身的形状结构特点,就能识别出来。
最后,采用Kalman滤波器跟踪障碍物,利用运动信息进一步验 证障碍识别结果。
Kalman滤波是一种线性滤波与预测方法,分为2个步骤,预测 (predict)和校正(correct)。预测是基于上一时刻状态估计当前时刻 状态,而校正则是综合当前时刻的估计状态与观测状态,估计出最优 的状态。对于视频序列中检测到的目标,使用kalman滤波器预测出 当前状态,再用当前帧图像的检测结果作为观测值输入给kalman滤 波器,得到的校正结果就被认为是目标在当前帧的真实状态。
巡检机器人在线路上行走时,视频序列中检测到的目标也会产生 相对运动。描述运动目标的信息可以由状态空间{xk}k=0,1,k定义,随着 时间推移,按照{xk}=φk(xk-1,wk)变化。所观测到的测量序列{zk}k=1,k, 满足zk=Hk(xk,vk)。φk和Hk是时变、非线性的向量。噪音序列wk和vk满足独立的高斯分布:
xk=φk,k-1kwk
zk=Hkxk+vk
式中:φk,k-1为xk-1变化为xk转移矩阵,λk为观测噪声的参数,Hk为 观测矩阵。目标跟踪即从已知开始到当前的所有观测向量z1:k,通过 最小均方误差方法,估计出当前的状态xk
除了上述描述中的识别过程,所述的识别方法还能基于视觉识别 或光电测距,识别巡检机器人与障碍物之间的位置关系。
根据高压输电线路地线上的金具障碍物的特点,基于视觉识别的 测距方法,采用单目视觉测距,利用摄像机小孔成像原理,摄像机成 像平面上产生的图像与外界实物图像向平行于摄像机成像平面的世 界平面的投影成比例关系,且某点与其图像投影的连线与光轴的夹角 产生的一对顶角角度相同。根据此原理建立摄像机与金具障碍物的特 征点的几何关系模型,然后根据标定的不同焦距的每个像素点的弧 度,建立出摄像机在此焦距下与障碍物距离的关系式。把标定好的不 同焦距下每个像素点所代表的弧度和机器人与障碍物的垂直距离带 入式中,即可求解摄像机与障碍物的水平距离。
以高压输电线路地线为平面上的一条线,向下做一平面,此平面 穿过地球的引力中心,称作地线引力平面,且高压输电线路地线经过 此平面。由于金具障碍物和机器人都是悬挂于此高压输电线路地线 上,其上的金具障碍物都是左右对称的,自然此平面穿过金具障碍物 的对称中心,就可以选取金具的中心点作为测距的特征点,又由于悬 挂于高压输电线路地线上的机器人受到重力的作用,其重心必然经过 此平面,调节机器人上的摄像机位置,使摄像机的光轴线也经过此平 面,这样摄像机的垂直轴始终位于此平面上。这样就可以简化为一个 平面内的几何关系。
由于机器人的左右摆动和线路的坡度等原因,在实际中会存在一 定的误差,此误差也可以根据安装在机器人上的动态倾角传感器的测 量的角度值进修正。
为了更好的理解单目视觉测距原理,下面结合附图5进行说明。
根据摄像机的成像原理可知,特征点P在像平面上对应产生一点 为p的像点,此像点同时位于摄像机拍摄的图像上。
以光轴点对应的像素点为原点建立图像坐标系,此图像坐标系以 像平面与地线引力平面的相交线为y轴,x轴垂直于y轴,此图像坐 标系的单位为像素。
通过计算机数字图像处理的方式可以获取到p点的坐标(xp, yp),根据摄像机的焦距和提前标定好的摄像机在此焦距下的每个像 素点的弧度信息Prad,可以计算出此点所对应的摄像机光轴与此点光 线的夹角α的值
α=∑Prad
又由于α和β为顶角关系所以α=β;
从图中可以看出
Figure BDA0001814128620000151
可以得出
Figure BDA0001814128620000152
由于Prad为提前标定好地摄像机每个像素点的弧度;γ为摄像机光 轴与水平面的夹角,也可以通过摄像机的云台控制***获取到;H为 摄像机与障碍物之间的垂直距离,也可以事先测量出来。
那么就可以得出
Figure BDA0001814128620000161
从而计算出的D即为机器人到障碍物的水平距离。
视觉识别和测距方式,适用于机器人和障碍物还有一定距离的条 件下。当机器人比较靠近障碍物或者机器人正在通过障碍物时,由于 摄像机安装位置和机器人本体的遮挡,导致摄像机并不能拍摄到完整 的障碍物图像。就无法利用上述的视觉识别和测距的方法测量出机器 人到障碍物的距离或者到达障碍物的具***置。此时可以采用机器人 两臂上的光电传感器进行测距和定位。
大雾等天气条件下,可能造成视觉方式无法识别出障碍物的类 型,只能识别出前方有障碍物的存在,这时也需要利用光电传感器判 断出障碍物的类型和位置。
光电传感器安装在机器人的两个臂上各安装一个,左右对称,这 样就可以不论机器人向前还是向后运动都可以检测。当机器人靠近障 碍物时,障碍物的金属部分会遮挡传感器的光线,使传感器接收端接 收到漫反射回来的光线,这样就有持续的信号,检测到障碍物的存在。 当障碍物的镂空部分透过传感器的光线时,传感器的接收端不能接收 到漫反射回来的光线,就没有检测到障碍物的信号。
机器人通过障碍物时,由于障碍物既有金属部分又有镂空部分, 这样就会产生断续的信号变化。然后结合机器人的运行速度和信号的 通断变化时间,就可以计算出障碍物金属部分和镂空部分的长度,由 于障碍物的尺寸是事先已知的,适当选取相应的误差,就可以判断出, 障碍物的类型和位置。同时可以根据断续信号变化的点作为障碍物检 测的关键点。
金属和镂空部分的距离长度计算公式为
∫vdt=L
其中v是机器人的当前运行速度,dt是一小段时间,L是机器人 通过的距离。
图6和图7中检测轨迹线代表光电传感器的检测轨迹。由以上的 公式就可以计算出图中的L1、S1、L2,其中L1、L2的长度为防振锤 的金属重锤的长度,S1为防振锤的镂空部分长度,得出的数据与相 应的防振锤的真实数据对比,就可以确认为是防振锤,也同时可以知 道当前机器人的具***置和所处障碍物位置的关键点。又由于防振 锤、线夹、耐张塔过桥有较大尺寸和形状的差别,很容易就可以区分 出是何种障碍物。
倾角传感器安装于机器人箱体中,采用高精度两轴动态倾角仪, 可以同时测量机器人运行前后方向的上下坡角度和机器人左右摇摆 的角度。根据机器人前进方向上检测到的倾角的变化幅度和变化时间 可以测算出机器人正在经过何种障碍物。同时计算机器人速度对时间 的积分量,就可以得到长度信息。
正如图6图7所示,可以看出当机器人经过防振锤时,倾角的变 化是先有一个较小的上坡,然后有一个较小的平缓区间,再有一个较 小的下坡。当机器人经过悬垂线夹时,有一个较大的上坡,然后会有 一个稍长距离的平缓区,最后经过一个较大的下坡。当机器人经过过 桥时,可以看出倾角仪会检测到一个很大的上坡,然后会有很长时间 的平缓区,在过桥上运行一段时间后又会遇到一个很大的下坡说明机 器人已经通过过桥,正在下桥离开。
结合光电传感器检测的障碍物金属部分长度和镂空部分长度,以 及倾角仪的上下坡角度变化和区间长度,适当选取误差范围,就可以 判断出机器人正在通过障碍物的类型,以及与障碍物的相对位置和对 传感器变化关键点的精确定位。
为了实现本发明的识别方法,本发明实施例还提供了一种高压线 路障碍物识别装置,所述的装置包括识别模块和测距模块。
所述的识别模块,包括摄像机,用于实时拍摄以天空为背景的巡 检图像;识别单元,基于障碍物的几何基元特征,结合线路结构信息, 判断障碍物的类型和位置。
所述的测距模块,基于视觉识别或光电测距,识别巡检机器人与 障碍物之间的位置关系。
其中,视觉识别的实现基于视觉识别单元,与单目视觉测距对应, 实现单目视觉测距的分析和计算过程。光电测距的实现基于光电测距 单元,实现光电测距的分析和计算过程。
除此之外,本发明实施例提供了一种巡检机器人,如图8所示, 该巡检机器人包括行走装置和障碍物识别装置,通过障碍物识别装置 对障碍物的类型和距离进行识别,辅助巡检机器人实现早高压线路上 的巡检越障。
本机器人运行于高压输电线路地线上,前后两个行走轮挂放到地 线上,可以沿着地线前进和后退。行走轮下方是两个可以左右旋转的 臂,以适应机器人弯道运行。臂上安装有压紧轮和检测障碍物的光电 传感器。臂的下方是机器人控制箱,里面装设有两台单目摄像机,一 个动态两轴倾角仪以及电池和控制***等。
机器人本体上装设的前后两台单目摄像机和前后光电传感器,用 于障碍物识别和定位。
前后单目摄像机和光电传感器对称安装,这样有利于机器人在前 进和后退两个方向上的障碍物识别和定位。
单目摄像机采用海康威视的DS-2DE4220W-AE3,此摄像机是200 万像素4寸网络高清球机。支持最大1920×1080@30fps高清画面输 出,也可以960p@60fps、720p@60fps高帧率输出;支持20倍光学变 倍,16倍数字变倍;支持三码流技术,每路码流可独立配置分辨率及帧率;支持断网续传功能保证录像不丢失;支持360°水平旋转, 垂直方向0-90°。
光电传感器采用倍加福的GLV18-8-H-120/25/102/115,此光电 传感器检测距离为10-120mm,可调范围为40-120mm,输出开关频率 500Hz,响应时间小于等于1ms,可在小于30000Lux的光线条件下工 作,具有较高的抗干扰能力。
倾角传感器采用POSITAL的AKS-090-2-CA01-HK2-PV动态两轴倾 角仪。不论机器人处于动态或者静态状态下,利用此倾角仪都能够准 确迅速地测量出当前机器人的前后和左右两个轴的角度。两个轴的测 量范围为±90°,分辨率为0.01°,绝对准确度为0.30°,动态准 确度为0.50°,接口协议为CANopen。
此外,本发明的应用范围不局限于说明书中描述的特定实施例的 工艺、机构、制造、物质组成、手段、方法及步骤。从本发明的公开 内容,作为本领域的普通技术人员将容易地理解,对于目前已存在或 者以后即将开发出的工艺、机构、制造、物质组成、手段、方法或步 骤,其中它们执行与本发明描述的对应实施方式大体相同的功能或者 获得大体相同的结果,依照本发明可以对它们进行应用。因此,本发 明所附权利要求旨在将这些工艺、机构、制造、物质组成、手段、方 法或步骤包含在其保护范围内。

Claims (7)

1.一种高压线路障碍物识别方法,其特征在于,所述的方法包括:
S1:基于障碍物的几何基元特征,结合线路结构信息,判断障碍物的类型和位置;
S2:基于光电测距,识别巡检机器人与障碍物之间的位置关系;
其中,步骤S2中,基于光电测距的具体实现过程为:
机器人在行走过程中,通过光电传感器向障碍物发射信号,并实时获取反馈的信号;
结合机器人的运行速度和信号的通断变化时间,计算出障碍物金属部分和镂空部分的长度;
根据障碍物的尺寸判断障碍物的类型和位置。
2.根据权利要求1所述的一种高压线路障碍物识别方法,其特征在于,步骤S1的具体实现过程为:
S11:采集图像并识别地线的位置;
S12:依据障碍物的几何形状识别障碍物的类型和位置。
3.根据权利要求2所述的一种高压线路障碍物识别方法,其特征在于,步骤S11的具体实现过程为:
首先,使用摄像机采集图像,并通过Gaussian滤波器消除高频噪音,将图像模糊化;然后对图像进行缩小,并通过Canny边缘检测算子提取图像的边缘信息;最后通过累计概率霍夫变换PPHT提取边缘图中长度大于给定阈值的所有直线段。
4.根据权利要求2所述的一种高压线路障碍物识别方法,其特征在于,步骤S12的具体实现过程为:
首先,从边缘图像中检测直线、矩形、圆、圆弧和椭圆几何基元特征;然后,根据几何基元特征检测结果,结合线路结构信息,判断障碍物的类型及位置;最后,采用Kalman滤波器跟踪障碍物,利用运动信息进一步验证障碍识别结果。
5.一种高压线路障碍物识别装置,其特征在于,用于实现权利要求1-4任意一项所述的方法,所述的装置包括:
识别模块,所述的识别模块包括摄像机,用于实时拍摄以天空为背景的巡检图像;识别单元,基于障碍物的几何基元特征,结合线路结构信息,判断障碍物的类型和位置。
6.根据权利要求5所述的一种高压线路障碍物识别装置,其特征在于,所述的装置还包括:
测距模块,基于光电测距,识别巡检机器人与障碍物之间的位置关系。
7.一种巡检机器人,其特征在于,所述的巡检机器人安装了权利要求5-6任意一项所述的识别装置。
CN201811133352.9A 2018-09-27 2018-09-27 一种高压线路障碍物识别方法、装置、巡检机器人 Active CN109212377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811133352.9A CN109212377B (zh) 2018-09-27 2018-09-27 一种高压线路障碍物识别方法、装置、巡检机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811133352.9A CN109212377B (zh) 2018-09-27 2018-09-27 一种高压线路障碍物识别方法、装置、巡检机器人

Publications (2)

Publication Number Publication Date
CN109212377A CN109212377A (zh) 2019-01-15
CN109212377B true CN109212377B (zh) 2021-08-20

Family

ID=64981827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133352.9A Active CN109212377B (zh) 2018-09-27 2018-09-27 一种高压线路障碍物识别方法、装置、巡检机器人

Country Status (1)

Country Link
CN (1) CN109212377B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705545B (zh) * 2019-09-09 2023-03-10 云南电网有限责任公司曲靖供电局 障碍物识别方法、装置、存储介质及巡检机器人
CN110956614B (zh) * 2019-11-11 2023-04-07 国网山东省电力公司电力科学研究院 基于迭代搜索与投影法的导地线异物检测方法及装置
CN110861073A (zh) * 2019-11-18 2020-03-06 云南电网有限责任公司电力科学研究院 基于架空高压输电线路的机器人的视觉检测***及方法
CN112060106A (zh) * 2020-09-11 2020-12-11 徐州工程学院 矿用巡检机器人的巡检***及巡检机器人群的巡检方法
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112560697A (zh) * 2020-12-17 2021-03-26 合肥高维数据技术有限公司 一种基于局部特征的建盏识别方法、***及存储介质
CN115290038B (zh) * 2022-09-29 2022-12-30 中科南京人工智能创新研究院 面向线状障碍物的双目测距方法
CN117611532A (zh) * 2023-11-17 2024-02-27 国网四川省电力公司泸州供电公司 适用于电网的无人机巡检方法、巡检终端及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108068107A (zh) * 2016-11-09 2018-05-25 哈尔滨工大天才智能科技有限公司 一种高压输电线路除冰机器人视觉控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04135213A (ja) * 1990-09-27 1992-05-08 Yaskawa Electric Corp 移動ロボットの誘導方法および装置
CN103941750B (zh) * 2014-04-30 2016-08-31 东北大学 基于小型四旋翼无人机的构图装置及方法
US10088557B2 (en) * 2015-03-20 2018-10-02 MSOTEK Co., Ltd LIDAR apparatus
CN205852774U (zh) * 2016-07-27 2017-01-04 太原科技大学 多功能整理机器人
CN106226772B (zh) * 2016-08-01 2018-12-28 北京小轮科技有限公司 一种基于超声波传感器的运动物体识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108068107A (zh) * 2016-11-09 2018-05-25 哈尔滨工大天才智能科技有限公司 一种高压输电线路除冰机器人视觉控制方法

Also Published As

Publication number Publication date
CN109212377A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109212377B (zh) 一种高压线路障碍物识别方法、装置、巡检机器人
US8379926B2 (en) Vision based real time traffic monitoring
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN101488222B (zh) 一种基于运动目标表象和运动信息的摄像机自标定方法
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航***及方法
CN107907066B (zh) 单目六自由度形变监测***及方法
CN110334678A (zh) 一种基于视觉融合的行人检测方法
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及***
CN109434251B (zh) 一种基于粒子滤波的焊缝图像跟踪方法
Wedel et al. Realtime depth estimation and obstacle detection from monocular video
CN107421473A (zh) 基于图像处理的两束激光同轴度检测方法
CN106183995B (zh) 一种基于立体视觉的可视倒车方法
Sehestedt et al. Robust lane detection in urban environments
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN104331907B (zh) 一种基于orb特征检测测量载体速度的方法
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及***
CN113034586B (zh) 道路倾角检测方法和检测***
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN103617631A (zh) 一种基于中心检测的跟踪方法
CN111562262B (zh) 一种合金分析***及其复检方法
CN105791686A (zh) 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法
McLauchlan et al. Coarse image motion for saccade control
CN108122244B (zh) 一种视频图像的视频测速方法及装置
CN211498390U (zh) 一种车载冰面识别追踪***
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000

Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant after: National Network Intelligent Technology Co., Ltd.

Applicant after: State Grid Corporation of China

Address before: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000

Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company

Applicant before: Shandong Luneng Intelligent Technology Co., Ltd.

Applicant before: State Grid Corporation of China

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201030

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Applicant after: National Network Intelligent Technology Co.,Ltd.

Address before: Wang Yue Central Road Ji'nan City, Shandong province 250002 City No. 2000

Applicant before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Applicant before: National Network Intelligent Technology Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

GR01 Patent grant
GR01 Patent grant