CN103810494B - 基于线状目标的高压输电塔定位方法 - Google Patents
基于线状目标的高压输电塔定位方法 Download PDFInfo
- Publication number
- CN103810494B CN103810494B CN201210458823.XA CN201210458823A CN103810494B CN 103810494 B CN103810494 B CN 103810494B CN 201210458823 A CN201210458823 A CN 201210458823A CN 103810494 B CN103810494 B CN 103810494B
- Authority
- CN
- China
- Prior art keywords
- tower
- image
- power transmission
- hessian matrix
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于线状目标的高压输电塔定位方法,包括以下步骤:利用Hessian矩阵得到每个像素点对应的Hessian矩阵特征向量的方向,该方向即为由该点组成的线状目标的方向;然后利用区域增长的方法提取Hessian矩阵特征向量方向近似的点组成小线段(线状目标);最后利用统计方法,分别在水平和垂直方向上对小线段进行投票,小线段最集中的区域就是高压输电塔所在位置。本发明检测速度快、检测精度高,能够满足无人机巡检要求。
Description
技术领域
本发明涉及图像处理、模式识别和自动目标识别技术,具体的说就是利用图像处理技术检测和定位高压输电塔的位置。
背景技术
电力线路的完好是传送电能,保障安全用电的前提,所以保证电力线路的完好是一项非常重要任务,电力线路巡检工作尤为必要。传统的电力线路巡检流程是工作人员亲自到现场巡视线路。因此,巡检受过多人为因素的影响,在危险地段会危及到巡线工人的生命安危,并且人工录入数据量大、数据手工录入过程中容易出错。无人机,是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器。在无人机前端安装具有稳定能力的摄像机云台,无人机首先飞行到高压线路的侧方或侧上方,启动机载视觉***后,利用摄像机获得场景的视频信息,之后应用图像识别技术和数据融合技术对线路及设备缺陷进行自动检测与分析。无人机巡线检测提高了检测精度和效率,实现对线路设备的缺陷的自动辅助检测诊断和评估。
现有的高压输电塔定位是通过用塔图像中的角点对称性来查找塔区域的中轴,进而确定塔顶和最高的两个塔角位置,并基于这三点来定位塔区域(尹柯,侯松鹂.塔图像的一种自动定位算法.河南大学学报.2010.323-326)。但该方法要求塔正面图像是对称的,对背景有较高要求,有一定的局限性。
本发明针对无人机巡检过程中的输电塔定位技术提出了一种基于线状目标的高压输电塔定位方法,本发明具有较高的鲁棒性,能适应复杂的背景。
发明内容
为了解决以上问题,本发明的目的在于提出一种具有准确性,实时性的基于线状目标的高压输电塔定位方法,有效的解决了无人机在复杂背景下对高压输电塔进行定位的技术问题。
本发明为实现上述目的所采用的技术方案是:一种基于线状目标的高压输电塔定位方法,通过无人机上搭载的摄像机或照相机获得场景的视频或照片信息,对视频或照片信息进行图像识别来检测高压输电线,包括以下步骤:
(1)计算图像中每个像素点Hessian矩阵;
(2)计算每个像素点对应的Hessian矩阵的特征值和特征向量;
(3)利用区域增长方法提取所有像素点中Hessian矩阵特征向量方向一致的相邻像素点,相邻像素点组成了小线段(线状目标),通过小线段的起点/终点坐标得出长度及斜率;
(4)选取矩形框在视频图像上从左至右按像素滑动并统计矩形框内小线段长度之和,根据小线段长度之和曲线峰值两侧下降到峰值一定比例时所对应的位置确定塔的水平位置和宽度;
(5)从得到塔的水平位置的图像中截取出矩形框后,在视频图像塔的水平位置处从上向下按像素滑动矩形框并统计矩形框内小线段长度之和,根据小线段长度之和曲线峰值两侧至峰值的一定比例处所对应的位置确定塔的垂直位置和高度;即完成高压输电塔的定位。
所述像素点的Hessian矩阵通过以下公式计算:以s为尺度,在图像某一点p0=(x0,y0)处的Hessian矩阵
其中 L(x,y)是图像灰度值。
所述Hessian矩阵的特征值和特征向量分别为视频图像某点处二阶导数的大小与方向。
所述Hessian矩阵的特征值为λ1,λ2,特征向量为u1,u2;其中,|λ1|≤0.1,|λ1|≤|λ2|;λ2<0,背景暗,目标亮;λ2>0,则相反。
所述步骤(2)中特征向量的方向为由像素点组成的线状目标的方向,包括:若|λ1|≤|λ2|,则特征向量u1的方向即为线状目标的方向;反之,特征向量u2则为线状目标的方向。
所述步骤(3)所述区域增长方法包括:
3.1)记录种子像素点P的Hessian矩阵的特征向量方向;
3.2)查看P点的8邻域点的Hessian矩阵的特征向量方向,如果方向一致,则标记该点状态与P点状态相同;
3.3)依次搜索所有像素点并记录每个点的状态,将状态相同的点进行归类。
所述步骤(4)包括以下步骤:
在视频图像水平方向上取一定宽度a且高度b等于图像高度的矩形框从视频图像最左边向右边进行滑动,每滑动一个像素统计一次;
统计值在输电塔区域存在峰值,当两侧统计值下降到峰值一定比例时所对应的位置即是塔的水平位置,两位置的像素值差为塔的宽度c。
所述步骤(5)以下步骤:
在得到塔的水平位置之后,从视频图像中截取出宽度c高度b的图像;
然后在此图像取一定宽度d且高度c的矩形框,在塔的水平位置处从上向下挨个像素滑动矩形框,每滑动一个像素统计一次;
得到统计峰值并从两侧取峰值的一定比例时所对应的位置即为塔在垂直方向上的位置,两位置的像素值差为塔的高度。
所述统计值为线段中点像素坐标在矩形框之内的小线段长度之和。
本发明具有以下有益效果及优点:
1.本发明公开了一种基于线状目标的高压输电塔定位方法。解决了无人机在复杂背景下巡检过程中对高压输电塔进行定位的技术问题。
2.该方法首先利用Hessian矩阵得到每个像素点对应的Hessian矩阵特征向量的方向,该方向即为由该点组成的线状目标的方向;然后利用区域增长的方法提取Hessian矩阵特征向量方向近似的点组成小线段(线状目标);最后利用统计方法,分别在水平和垂直方向上对小线段进行投票,小线段最集中的区域就是高压输电塔所在位置。通过理论仿真和大量的实验验证,证明本发明检测速度快、检测精度高,能够满足无人机巡检要求。
附图说明
图1为本发明的方法流程图。
图2为无人机拍摄的原图像例;
图3(a)为图2中有线红框内Hessian矩阵后线状目标方向提取结果图像;
图3(b)为图2中无线红框内Hessian矩阵后线状目标方向提取结果图像;
图4(a)为本发明实施例的原图像;
图4(b)为图4(a)区域增长后的小线段提取结果图像;
图5为水平方向上小线段长度之和统计值图像;
图6为高压输电塔的定位结果图像。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
流程图如图1所示,本发明采用Hessian矩阵用于高压输电塔定位方法。Hessian矩阵(Hessian matrix或Hessian)也称海塞矩阵,是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵。
具体实施步骤如下:
(1)计算图像中每个像素点的梯度向量和Hessian矩阵
如果将图像L(x,y)看作是由像素二维坐标及其对应灰度值构成的三维曲面,该三维曲面的坐标可以表示为:
C={(x,y,L)|L=L(x,y)}
其中(x,y)是像素位置坐标,L(x,y)是图像灰度值;
考虑其局部结构,对于图像中的某一点p0=(x0,y0),其邻域的二阶泰勒展开式为: 式中s为尺度(即模板大小),和Ho,s分别是以s为尺度,在图像某一点p0处的梯度向量和Hessian矩阵,
其中和Lxx(p0)、Lxy(p0)、Lyx(p0)和Lyy(p0)(在连续情况下,Lxy(p0)=Lyx(p0))为图像L(p0)的二阶导数,即
此处尺度s单位为像素,可事先设定,所选数值不同,检测的小线段粗细也不同。
(2)计算每个像素点对应的Hessian矩阵的特征值和特征向量
Hessian矩阵的特征值和特征向量分别描述图像某点处二阶导数的大小与方向,特征向量互相正交,在空间内相互垂直;对于某一个固定尺度s,Hessian矩阵的特征值为λ1,λ2,对应的特征向量分别为u1,u2;设|λ1|≤|λ2|,当某一像素位于线状目标区域内时,λ1值非常小(理想情况下为0),λ2值较大其正负号决定此目标是亮目标还是暗目标。因此对于线状目标须满足|λ1|≈0,|λ1|≤|λ2|;若背景暗,目标亮,则λ2<0;反之,则λ2>0。
通过比较λ1和λ2的值来判断线状目标区域,并找出相对应的特征向量的方向;若|λ1|≤|λ2|,则特征向量u1的方向即为线状目标的方向,反之u2则为线状目标的方向。
提取Hessian矩阵的特征值和特征向量,通过比较λ1和λ2的值来判断线状目标区域,找出对应的特征向量的方向。图2为无人机拍摄的原图像,图3(a)是图2中下面那个框内有高压线的处理结果,图3(b)是图2上面那个框内没有高压线的处理结果。在处理结果中,线段的长度代表特征值的大小,线段的方向代表特征向量的方向。从处理结果中可以看出,有高压线的区域线段比较集中,特征向量的方向也比较近似。
(3)利用区域增长的方法提取Hessian矩阵特征向量方向近似的点组成小线段(线状目标)
在提取出线状目标的方向之后,对每一个线状目标的点做如下处理:
1.假设P点作为种子像素点,并记录P点的Hessian矩阵的特征向量方向;
2.查看P点的8邻域点的Hessian矩阵的特征向量方向,如果方向近似,即与P点的Hessian矩阵的特征向量方向的误差范围为±1°以内,则标记该点状态与P点状态相同;
3.依次搜索所有像素点并记录每个点的状态。
用该方法可以找出方向相近的点对应的区域,进一步从该区域提取到线段的起点、终点、方向等信息。图4(a)为本发明实施例的原图像,区域增长结果如图4(b)所示。
(4)塔的水平位置和宽度
在图像水平方向上取一定宽度且高度等于图像高度的矩形框从图像最左边向右边进行滑动,每滑动一个像素统计一次,统计值为中心像素坐标在矩形框之内的小线段长度之和,那么统计值在输电塔区域存在峰值,如图5所示,在图像上像素横坐标对应纵坐标值即为统计值,统计曲线在峰值两侧统计值存在整体下降趋势,当两侧统计值下降到峰值一定比例(本实施例为10%)时所对应的位置即是塔的水平位置,同时也得到了塔的宽度。
输电塔的水平位置是指在统计值峰值两侧找统计值下降到峰值一定比例时所对应的位置;输电塔的宽度是指峰值两侧位置所跨宽度,即位置像素值之差。
(5)塔的垂直位置和高度
得到塔的水平位置之后,从图像中截取出塔所占宽度的图像,然后在此图像垂直方向取一定宽度且高度等于图像宽度的矩形框,从上向下挨个像素滑动矩形框,每滑动一个像素统计一次,垂直方向的统计值为中心像素坐标在矩形框之内的小线段长度之和,得到统计曲线,在统计曲线上从峰值向两侧取峰值的一定比例(本实施例为10%)的值所对应的位置即为塔在垂直方向上的位置,同时也得到了塔的高度。
塔所占宽度的图像是指在步骤(4)中得到的塔所在水平位置的图像部分。垂直方向上的矩形框是指在截取后图像中,高度等于截取后图像宽度,宽度可以根据实际情况取值,但最好不要太大,这样精确度高一些,一般取几十个像素左右。统计值是指矩形框从上到下挨个像素滑动过程中矩形框内小线段的长度之和。塔在垂直方向上的位置从统计峰值两侧取一定比例的临界值所对应的位置,位置之差即是塔的高度。塔的定位结果如图6所示。
Claims (8)
1.一种基于线状目标的高压输电塔定位方法,通过无人机上搭载的摄像机或照相机获得场景的视频或照片信息,对视频或照片信息进行图像识别来检测高压输电塔,其特征在于,包括以下步骤:
(1)计算图像中每个像素点Hessian矩阵;
(2)计算每个像素点对应的Hessian矩阵的特征值和特征向量;
(3)利用区域增长方法提取所有像素点中Hessian矩阵特征向量方向一致的相邻像素点,相邻像素点组成了小线段即线状目标,通过小线段的起点、终点坐标得出长度及斜率;
(4)选取矩形框在视频图像上从左至右按像素滑动并统计矩形框内小线段长度之和,根据小线段长度之和曲线峰值两侧下降到峰值一定比例时所对应的位置确定塔的水平位置和宽度;
(5)从得到塔的水平位置的图像中截取出矩形框后,在视频图像塔的水平位置处从上向下按像素滑动矩形框并统计矩形框内小线段长度之和,根据小线段长度之和曲线峰值两侧至峰值的一定比例处所对应的位置确定塔的垂直位置和高度;即完成高压输电塔的定位;
所述区域增长方法包括:
3.1)记录种子像素点P的Hessian矩阵的特征向量方向;
3.2)查看P点的8个邻域点的Hessian矩阵的特征向量方向,如果方向一致,则标记该邻域点状态与P点状态相同;
3.3)依次搜索所有像素点并记录每个点的状态,将状态相同的点进行归类。
2.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述像素点的Hessian矩阵通过以下公式计算:以s为尺度,在图像某一点p0=(x0,y0)处的Hessian矩阵
其中L(x,y)是图像灰度值。
3.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述Hessian矩阵的特征值和特征向量分别为视频图像某点处二阶导数的大小与方向。
4.根据权利要求3所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述Hessian矩阵的特征值为λ1,λ2,特征向量为u1,u2;其中,|λ1|≤0.1,|λ1|≤|λ2|;λ2<0,背景暗,目标亮;λ2>0,则相反。
5.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述步骤(2)中特征向量的方向为由像素点组成的线状目标的方向,包括:若|λ1|≤|λ2|,则特征向量u1的方向即为线状目标的方向;反之,特征向量u2则为线状目标的方向。
6.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述步骤(4)包括以下步骤:
在视频图像水平方向上取一定宽度a且高度b等于图像高度的矩形框从视频图像最左边向右边进行滑动,每滑动一个像素统计一次;
统计值在输电塔区域存在峰值,当两侧统计值下降到峰值一定比例时所对应的位置即是塔的水平位置,两位置的像素值差为塔的宽度c。
7.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述步骤(5)以下步骤:
在得到塔的水平位置之后,从视频图像中截取出宽度c高度b的图像;
然后在此图像取一定宽度d且高度c的矩形框,在塔的水平位置处从上向下挨个像素滑动矩形框,每滑动一个像素统计一次;
得到统计峰值并从两侧取峰值的一定比例时所对应的位置即为塔在垂直方向上的位置,两位置的像素值差为塔的高度。
8.根据权利要求1所述的一种基于线状目标的高压输电塔定位方法,其特征在于:所述统计值为线段中点像素坐标在矩形框之内的小线段长度之和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210458823.XA CN103810494B (zh) | 2012-11-14 | 2012-11-14 | 基于线状目标的高压输电塔定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210458823.XA CN103810494B (zh) | 2012-11-14 | 2012-11-14 | 基于线状目标的高压输电塔定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103810494A CN103810494A (zh) | 2014-05-21 |
CN103810494B true CN103810494B (zh) | 2017-02-08 |
Family
ID=50707235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210458823.XA Expired - Fee Related CN103810494B (zh) | 2012-11-14 | 2012-11-14 | 基于线状目标的高压输电塔定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103810494B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104865971B (zh) * | 2015-05-26 | 2017-07-28 | 广西大学 | 一种输电线路巡检无人机的控制方法及无人机 |
WO2021016880A1 (zh) * | 2019-07-30 | 2021-02-04 | 深圳市大疆创新科技有限公司 | 无人机仿真飞行方法及装置、记录介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426019A (zh) * | 2011-08-25 | 2012-04-25 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及*** |
-
2012
- 2012-11-14 CN CN201210458823.XA patent/CN103810494B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426019A (zh) * | 2011-08-25 | 2012-04-25 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及*** |
Non-Patent Citations (3)
Title |
---|
Projective and Object Space Geometry for Monocular Building Extraction;J. Chris McGlone etc.;《1994 IEEE Computer Vision and Pattern Recognition》;19941231;54-61 * |
图像处理技术在直升机巡检输电线路中的应用综述;仝卫国等;《电网技术》;20101231;第34卷(第12期);204-208 * |
面向巡线无人机高压线实时检测与识别算法;赵利坡 等;《小型微型计算机***》;20120415;第33卷(第4期);882-886 * |
Also Published As
Publication number | Publication date |
---|---|
CN103810494A (zh) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103810462B (zh) | 一种基于线状目标的高压输电线检测方法 | |
CN102831618B (zh) | 基于霍夫森林的视频目标跟踪方法 | |
CN107038683B (zh) | 运动目标的全景成像方法 | |
CN111260788B (zh) | 一种基于双目视觉的配电柜开关状态识别方法 | |
CN111292321B (zh) | 一种输电线路绝缘子缺陷图像识别方法 | |
CN111275759A (zh) | 基于无人机双光影像融合的变电站刀闸温度检测方法 | |
CN104281857B (zh) | 一种基于正交方向投影的绝缘子检测方法 | |
CN105427284A (zh) | 基于机载Android平台的固定靶标识方法 | |
CN105374051B (zh) | 智能移动终端防镜头抖动视频运动目标检测方法 | |
CN102156881B (zh) | 基于多尺度图像相位信息的海难搜救目标检测方法 | |
CN105825204A (zh) | 一种智能相机夜间识别电力设备表计的方法 | |
CN104749801B (zh) | 高精度自动光学检测方法和*** | |
CN103533332B (zh) | 一种2d视频转3d视频的图像处理方法 | |
CN108133211B (zh) | 一种基于移动终端视觉图像的检测配电柜的方法 | |
CN103810494B (zh) | 基于线状目标的高压输电塔定位方法 | |
CN101561316B (zh) | 一种基于感兴趣区域(roi)的在线检测视觉数据处理*** | |
CN112308887B (zh) | 一种多源图像序列实时配准方法 | |
CN106228560B (zh) | 一种复杂场景下的人数统计方法 | |
CN108254380A (zh) | 基于数字图像处理的pcb电路板模板比对方法 | |
CN106603888A (zh) | 图像颜色提取处理结构 | |
CN108734158B (zh) | 一种实时列车车号识别方法及装置 | |
CN115330751A (zh) | 一种基于YOLOv5和Realsense的螺栓检测与定位方法 | |
CN111652055B (zh) | 一种基于两阶段定位的开关仪表智能识别方法 | |
CN109544608A (zh) | 一种无人机图像采集特征配准方法 | |
CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170208 Termination date: 20181114 |
|
CF01 | Termination of patent right due to non-payment of annual fee |