CN107221006A - 一种基于无人机成像平台的通信单管塔倾斜检测方法 - Google Patents

一种基于无人机成像平台的通信单管塔倾斜检测方法 Download PDF

Info

Publication number
CN107221006A
CN107221006A CN201710328960.4A CN201710328960A CN107221006A CN 107221006 A CN107221006 A CN 107221006A CN 201710328960 A CN201710328960 A CN 201710328960A CN 107221006 A CN107221006 A CN 107221006A
Authority
CN
China
Prior art keywords
pipe tower
image
pixel
tower
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710328960.4A
Other languages
English (en)
Inventor
白晓东
康明与
赵来定
方军
郭钟
谢继东
肖建
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710328960.4A priority Critical patent/CN107221006A/zh
Publication of CN107221006A publication Critical patent/CN107221006A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机成像平台的通信单管塔倾斜检测方法,通过无人机绕单管塔飞行一圈并从不同角度拍摄数张单管塔照片,以人工提取的单管塔的颜色特征作为分割依据,针对单管塔照片进行基于全局阈值的图像分割,进而进行膨胀处理得到单管塔的粗略区域。再检测原照片中单管塔的边缘,在检测结果经形态学去噪后,将去噪结果进行Hough直线检测,通过将检测到的直线与单管塔粗略区域相比对,最终得到单管塔轴线及其倾斜角度。当所有单管塔照片均按此流程处理后可得到每张照片对应的角度,以此判断单管塔的倾斜程度。本发明方法简单,精确度高,对无人机及数字图像处理技术的扩展应用具有重要的指导意义。

Description

一种基于无人机成像平台的通信单管塔倾斜检测方法
技术领域
本发明涉及一种基于无人机成像平台的通信单管塔倾斜检测方法,属于无人机和图像处理技术在通信铁塔倾斜度检测方面的应用领域。
背景技术
高度信息化的今天,人们生活越来越离不开信息技术。这使得人们对通信质量、通信速度、信号覆盖等的要求越来越高。目前,移动通信网中信号的传输主要依靠于通信铁塔基站。借助通信铁塔实现对微波、超短波、无线网络信号的传输与发射。通信铁塔在为人们提供服务的同时,其本身大面积的扩张建设也为带来了问题,最常见的问题就是通信铁塔的倾斜该如何检测。容易发现,通信铁塔应用广泛且遍布各类地形,容易遭受到自然因素和人为因素的影响发生倾斜,如果一些细小变化得不到及时的发现和处理,问题会进一步扩大导致信号覆盖区域偏移、通信中断,更为严重的甚至铁塔倒塌运行安全。由此可见,通过有效的技术手段完成通信铁塔倾斜检测显得十分重要。
通信铁塔倾斜的传统检测方式是人工巡回检测,其中大多采用铅垂仪等垂直检测仪器进行简单判断。这种方式的缺点是十分低效,工作量较大,成本较高。而且,铁塔常搭建在一些偏远地区,由于人力、物力以及周围环境等因素的制约,难以对铁塔难实现全面检测。
为解决铁塔倾斜检测的问题,近年来我国涌现了一些新的检测方法。常见的有基于传感器技术和无线通信技术的在线监测方式,即利用倾角传感器对通信铁塔的倾斜度进行监测,通过无线网络将铁塔的倾斜数据实时上传至监控中心,同时监控中心可远程对监测前端进行各种参数的设置(赵猛.基于倾角传感器的移动通信铁塔形变预警***设计[D].武汉理工大学,2014.)。这种方式做到了实时的信息获取,并且精确度也有了相应的提升。但是这种方式也存在着问题,比如传感器需要在常规温度下才能正常工作,否则检测精度会降低。受地形影响而维护难度大又是另一问题。
除了在线监测方式之外,部分地区还使用GPS精密单点定位的方式检测通信铁塔的倾斜状态。主要利用卫星通信并结合坐标***来进行状态检测和数据分析(龚佑兴.GPS单点定位研究[D].长沙:中南大学,2004.)。但是这种方式定位精度较低,并且实现成本很高。以目前的技术发展来看并不适用于大规模应用。
近年来,受城市化进程影响,城市人口不断增多,面积不断扩大。为了尽可能的将通信信号覆盖到城市用户群,大量的通信基站需要集中建设在城市中。由于传统的角铁架信号塔体积庞大且不易于架设等问题,现阶段城市中主要是采用了单管信号塔(又称单管塔、独管塔)。单管信号塔具有制作方便、美观和易于批量生产等优点,所以渐渐取代传统角铁架信号塔而被广泛使用(屠海明,毛玥蕾,郁蔚.一体化基站通信单管塔简介[J].工程建设与设计,2011,6:036.)。鉴于当前单管信号塔的广泛应用,就需要一种能够实现其倾斜检测的更为有效的技术。
发明内容
本发明所要解决的技术问题是提供一种基于无人机成像平台的通信单管塔倾斜检测方法,利用无人机的环绕飞行功能对目标铁塔从多个方向以水平视角进行拍摄,之后再利用图像处理技术检测传回的图片中铁塔的轴线,进而实现铁塔倾斜检测。本发明提供了一种精度更高、可行性更好的通信铁塔倾斜状态检测方式,涉及到数字图像处理技术和无人机技术,能够适应不同地理环境,可进行大规模应用。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种基于无人机成像平台的通信单管塔倾斜检测方法,包括以下具体步骤:
步骤1,无人机以目标通信单管塔为圆心、绕目标通信单管塔水平飞行一周,飞行过程中机载相机保持水平状态、在不同位置连续采集w张目标通信单管塔的图像;
步骤2,对步骤1中采集的w张目标通信单管塔图像进行逐一处理,得到每张目标通信单管塔图像中单管塔与水平面之间的夹角,具体为:
2.1,识别并确定采集到的第t张目标通信单管塔图像St中的单管塔区域,其中,t=1,2,…,w;
2.2,确定采集到的第t张目标通信单管塔图像St中单管塔的轴线:
2.3,计算2.2中单管塔轴线与水平面之间的夹角,即为图像St中单管塔与水平面之间的夹角αt
步骤3,判断步骤2得到的w个夹角是否均在安全范围内,若是则判定目标通信单管塔未倾斜,否则判定目标通信单管塔发生倾斜。
作为本发明的进一步技术方案,步骤1中通过机载三轴自稳云台使得机载相机保持水平状态拍摄到单管塔图像。
作为本发明的进一步技术方案,步骤2.1中通过人工交互方式或机器学习方法,识别并确定采集到的第t张目标通信单管塔图像St中的单管塔区域。
作为本发明的进一步技术方案,通过人工交互方式识别并确定采集到的第t张目标通信单管塔图像St中的单管塔区域,具体为:
1)任意选取图像St中单管塔上的n个像素点;
2)将图像St由RGB颜色空间转换到CIE Lab颜色空间;
3)在CIE Lab颜色空间,对1)中选取的n个像素点的色彩分量求取均值;
4)在CIE Lab颜色空间,若图像St中任一像素点(x,y)的色彩分量同时满足条件:|L(x,y)-L|<threshold、|a(x,y)-a|<threshold和|b(x,y)-b|<threshold,则将像素点(x,y)置为白色点,否则置为黑色点;遍历图像St的所有像素点,得到二值化图像label;其中,L(x,y)为像素点(x,y)的亮度值,L为n个像素点的亮度均值,a(x,y)为像素点(x,y)的红或绿颜色值,a为n个像素点的红或绿颜色均值,b(x,y)为像素点(x,y)的黄或蓝颜色值,b为n个像素点的黄或蓝颜色均值,threshold为设定的全局阈值;
5)对4)中得到的二值化图像label进行膨胀处理,得到单管塔的粗略区域。
作为本发明的进一步技术方案,步骤3)中对1)中选取的n个像素点的色彩分量求取均值为:
其中,(xi,yi)为第i个像素点的坐标,i=1,2,...,n,L为n个像素点的亮度均值,L(xi,yi)为选取的第i个像素点的亮度值,a为n个像素点的红或绿颜色均值,a(xi,yi)为选取的第i个像素点的红或绿颜色值,b为n个像素点的黄或蓝颜色均值,b(xi,yi)为选取的第i个像素点的黄或蓝颜色值。
作为本发明的进一步技术方案,步骤2.2中确定采集到的第t张目标通信单管塔图像St中单管塔的轴线,具体为:
①将图像St转化为灰度图BW;
②对灰度图BW进行边缘检测,得到边缘图像f;
③对边缘图像f进行形态学去噪;
④采用Hough变换对形态学去噪后的边缘图像f进行直线检测;
⑤判断④中检测得到的直线是否在2.1中确定的单管塔区域内,若是则保留,否则排除;
⑥在⑤中保留的直线中任选一条作为单管塔的轴线。
作为本发明的进一步技术方案,步骤②中利用Canny算子或Robert算子或Prewitt算子或Sobel算子对灰度图BW进行边缘检测。
作为本发明的进一步技术方案,步骤2.3中夹角αt的计算方法为:
Ⅰ,若xpoint1=xpoint2,则αt=90°;
II,若xpoint1≠xpoint2,则
其中,(xpoint1,ypoint1)和(xpoint2,ypoint2)为单管塔的轴线的两个端点的坐标。
作为本发明的进一步技术方案,步骤1中w的取值范围为[3,7]。
作为本发明的进一步技术方案,步骤3中的安全范围为[88°,90°]。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明以无人机机载三轴自稳云台为手段,得到相机以水平姿态下拍摄到的单管塔照片,利用相关数字图像处理技术检测单管塔的倾斜程度,方法简单,精确度高,对无人机及数字图像处理技术的扩展应用具有重要的指导意义。
附图说明
图1是三轴自稳云台结构图;
图2是图片数据采集阶段流程图;
图3是图像处理阶段流程图;
图4是待测单管塔照片;
图5是经过图像分割处理之后的二值图像;
图6是图5经过膨胀处理之后人工给出的单管塔的粗略区域;
图7是Canny算子的边缘检测效果图;
图8是图7经过形态学去噪后的结果图;
图9是Hough变换空间结果图;
图10是Hough直线检测结果图;
图11是最终检测结果图。
具体实施方式
下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明:
本发明所公开的检测单管塔倾斜的方法将会使用到工业级无人机技术、三轴云台技术以及相机,其中,相机的分辨率不低于1200万像素。整个检测方法主要分为图片数据采集阶段和图像处理阶段。在图片数据采集阶段,将会利用无人机的环绕飞行功能、以目标通信单管塔对应的GPS位置为圆心、200m距离为半径环绕通信单管塔飞行一圈,绕飞中在不同位置通过三轴自稳云台使得相机姿势保持水平状态连续拍摄w张照片。在图像处理阶段,将会利用Canny边缘检测和Hough变换作直线检测,并最后给出检测结果,即判断通信单管塔是否倾斜。
一、图片数据采集阶段:
这将会使用到多旋翼无人机、三轴自稳云台、相机。本检测方法中则使用的是工业级无人机,利用无人机的定点绕飞功能,使无人机在一定高度下环绕目标单管塔绕飞一周,期间连续以“水平姿态”下,绕飞过程中从不同位置拍摄w张通信铁塔的照片。之后,将照片信息保存在相机本地存储卡中由无人机带回或者4G等无线信号实时传回以待分析,图片数据采集阶段结束。
本发明的实施例中,从5个不同的方位拍摄图像的检测结果来最终判断单管塔是否倾斜,即w=5。且,本发明的方案中不局限于5个图片,w的取值范围在[3,7]个图片范围内都为有效。
在图片数据采集期间可能会遇到两个问题:
1)如何使相机保持水平姿势?
2)如何避免无人机抖动对相机造成的影响?
关于第一个问题,本方法中将会采用机载三轴自稳云台来加以解决。三轴自稳云台采用由三个互相垂直的框组成的三轴结构,这三个框架依次嵌套,分别实现不同的作用。如附图1所示。
上述三轴体系中,外框轴为航向轴,与外框一起安装在无人机上。中框轴为俯仰轴,同中框一起安装在外框上,绕外框作俯仰运动。内框轴为横滚轴,与内框一起安装在中框上,用以测定承载台的滚动姿态。这三个轴分别负责承载台的航向、俯仰和滚转等三个方位的运动旋转补偿。当无人机飞行中姿态发生改变时,云台上的陀螺仪和加速度传感器传感器可及时测出旋转的角速度和角度,并将信息发送给控制器,由控制器驱动电机做运动反方向的旋转补偿以维持承载台的平衡,从而可以使相机始终保持水平。
关于第二个问题,要避免无人机抖动对相机造成的影响,主要通过三个途径:第一个是在云台减震板的上下板之间加装橡胶球,通过软连接以减弱震动的影响;第二个是通过在三轴云台实现无人机在机动时大的姿态动作补偿,使得画面稳定;第三种则是通过相机的快速曝光来减弱震动的影响。当相机的曝光时间减少,则能够避免由于无人机抖动而产生的拖影,采集到的图片信息的质量大大提高。
图片数据采集阶段的流程如图2所示:
首先是无人机的组装,无人机在飞行之前需要对其各部件进行组装:
(1)安装螺旋桨和智能飞行电池;
(2)展开遥控器上的移动设备支架,放置并使用数据线连接遥控器USB接口和移动设备;
(3)调整天线位置;
(4)校准指南针。
然后打开电源,进行飞行前检查:
(1)检查遥控器、智能飞行电池和移动设备的电量是否充足;
(2)检查三轴自稳云台是否运行正常;
(3)检查相机是否运行正常,确保Micro SD已***,以及前视摄像头清洁;
(4)检查电机是否正常启动。
通过一系列检查并简单试飞之后,最后设置好飞行轨迹和飞行高度15m,便可以开始正式飞行。飞行过程中使无人机按照预定轨迹环绕单管塔飞行一周,同时保证相机镜头时刻对准单管塔方向,使得单管塔出现在照片中。飞行期间利用三轴自稳云台时刻保持相机姿势水平,即使相机所拍摄照片底边始终平行于地表。当连续拍摄w=5张照片之后,则图片数据采集完毕,使无人机返航。
二、图像处理阶段:
对无人机传回的照片信息进行处理。处理的目的是为了获取照片中通信铁塔的轴线以作进一步的判断单管塔是否倾斜。这一阶段主要分为两步:第一步为单管塔识别,在该步中可以通过两种方式实现,一种是人工交互方式,一种是基于深度学习等的机器学习自动识别方式(本方案中以人工方式进行示例说明);第二步为单管塔轴线的确定,进而判断其倾斜程度。
人机交互方式主要是通过人工交互来确定信号塔的粗略区域并进行后续处理。它的思路为人工点击待检测图片中的信号塔,从而提取单管塔的颜色特征,并确定出其粗略范围。具体为:选择待处理的图片并读入原始图像信息;将原始图像在显示器上显示出来,由人工准确选取图片中信号塔上的一个点,并获得该点的图像的横纵坐标将原始图像由RGB颜色空间转化到CIE Lab颜色空间,选择固定阈值,将图像中各像素点的Lab颜色空间各通道色彩分量与人工点选位置处的L、A、B颜色值进行比较,依据阈值确定颜色分布范围与人工点选像素相近的像素点为信号塔区域像素点;将处理过后的图像用大小为20像素的方型结构元素作膨胀处理,给出单管信号塔的粗略区域。
本实施例中,首先将无人机采集回来的待检测通信单管塔照片序列标记为St,其中,t=1,2,...,5。选取并读入原始图像S1,依照如图3所示图像处理步骤进行处理,其余图像依照同样的步骤处理。
图像处理的具体可分为:
一)确定原始图像S1中单管塔的区域:
■单管塔特征提取
将原始图像S1在显示器上显示出来,如图4所示。在人机交互方式下,由人工准确点击选取原始图像S1上单管塔的n个点,其中,n的值越大即选取的点越多,最终提取到的单管塔的颜色信息就越准确。依次读取这n个像素点的坐标,记为(xi,yi),其中,i=1,2,...,n,关闭原始图像窗口。
■由RGB颜色空间转化到CIE Lab颜色空间
将原始图像S1由RGB颜色空间转化到CIE Lab颜色空间,获取原始图像S1上各像素点在Lab颜色空间的色彩分量(L,a,b),其中,L表示亮度,a表示红或绿的对应值,b表示黄或蓝的对应值,L、a、b均为8bit无符号整形。
■基于全局阈值的图像分割处理
设原始图像S1中像素点(x,y)在Lab颜色空间中的色彩分量为L(x,y)、a(x,y)和b(x,y)。
首先,对(1)中提取到的n个单管塔像素点作进一步处理,根据如下公式:
其中,L为n个像素点的亮度均值,L(xi,yi)为选取的第i个像素点的亮度值,a为n个像素点的红或绿颜色均值,a(xi,yi)为选取的第i个像素点的红或绿颜色值,b为n个像素点的黄或蓝颜色均值,b(xi,yi)为选取的第i个像素点的黄或蓝颜色值。
然后,人工设置固定阈值threshold(本实施例中threshold=10),在CIE Lab颜色空间,依次遍历S1上的每个像素点,按照如下标准分割图像:
若像素点同时满足:
|L(x,y)-L|<threshold
|a(x,y)-a|<threshold
|b(x,y)-b|<threshold
则判定该点为单管塔像素点,置为白色点(值为1)。反之则不是单管塔像素点,置为黑色点(值为0)。
最终会得到除了单管塔部分为白色、其余部分均为黑色的如图5所示的二值化图像label。
■膨胀处理
如图5所示的二值化图像label中,由于存在本来应该标记为1的像素点(白色点)仍然标记为0(黑色点),则产生了大量“空洞”,得到的并非完整的单管塔。因此,为了获得单管塔的粗略区域,则仍需要对该图像作膨胀处理,消除“空洞”。
膨胀处理是形态学处理的一种重要的方式,它利用结构元素来对图像补集进行填充,即扩大图像,使图像中的亮色特征变浓,暗色特征降低(Gonzalez R S,WintzP.Digital image processing[J].1977.)。
选择大小为20像素的方型结构元素,依次对label中的每一层二值图像进行膨胀处理,得到人工给出的单管塔的粗略区域,如图6所示。
二)确定单管塔的轴线
■将原始图像S1转化为灰度图BW。
■Canny边缘检测
Canny边缘检测算子是一种基于最优检测、最优定位和单边缘响应等准则而出现的算子,因为其检测精确度高、信噪比大和漏检率低等特点而被广泛使用。
对BW做Canny边缘检测从而获取单管塔的边缘特征。设置阈值Thresh为(0.093,0.095),标准偏差值sigma(sigma=2),得到处理后的单管塔边缘图像f。边缘检测的结果如图7所示,得到的效果图f为二值图像。
本发明中,可利用canny算子对图像的边缘进行检测,但不局限于该算子,其它例如Robert算子、Prewitt算子和Sobel算子等其它边缘检测算法同样适用。
■形态学去噪
如图7所示,经过Canny算子检测到的效果图f上仍然存在噪声。为了避免噪声对最后结果产生影响,需要继续对效果图f做形态学去噪处理(曹海燕.数学形态学与变换域图像去噪算法及其并行化研究[D].成都:成都理工大学,2009.)。
先删除二值图f中面积小于Scale(Scale=30)的噪声。为了填补删除噪声点后在图像中出现的“空洞”,还需要对二值图f继续做膨胀处理。选择长度为6像素,旋转角度为90°的垂直线性结构元素。依次对f中的每一层二值图像进行膨胀处理,得到去噪后的效果图f,如图8所示。
■Hough变换
现已得到二值图f上点的集合,如果要找到位于图中一条直线上所有点的子集,其中一种方法就是先找到由每一对点决定的直线,然后找到属于这条特殊线的所有点的子集,这种方法在直角坐标系下往往由于计算量非常大并且时间复杂度高而极难实现(Gonzalez R C,Woods R E,Eddins S L.Digital image processing using MATLAB[M].2004.)。所以通常采用Hough变换来实现对直线的检测。
Hough变换利用点—线对偶性把图像空间中的检测问题转换到参数空间。通过简单的累加统计,在Hough参数空间中寻找累加器峰值的方法检测直线。参数空间中直线的表示方式如下:
ρ=xkcosθ+yksinθ
即将原本图像空间中用以表示经过点(xk,yk)的直线yk=axk+b转化为用上述公式表示,其中ρ为直线到原点的距离,θ为该直线的垂线的倾斜角度。原图像上位于同一条直线上的所有点的子集拥有相同的(ρ,θ),即可依此方式检测出二值图f中与单管塔相符合的直线,直线的倾斜角度即为单管塔的倾斜角度,进而检测出单管塔的倾斜角度。
首先设置ρ值的单位区间RhoResolution(RhoResolution=0.5),以及θ值的单位区间Theta(Theta=0.5),θ的单位为度。因为单管塔不可能过分倾斜,为了减少计算量,限定θ值的取值范围为(-10,10)。经过处理,得到Hough变换的结果H,如图9所示。以及θ和ρ的一组值theta和rho。
■检测直线
检测直线的第一步是做Hough变换峰值检测,旨在从Hough变换的结果H中找到一组有意义的明显峰值。通过设置查找峰值数NumPeaks(NumPeaks=3),对H处理后得到一组峰值peak。
之后利用上一步骤Hough变换中得到的θ和ρ的值theta和rho,以及峰值peak对二值图f进行Hough直线检测,得到一组线段lines,其中线段的两个端点记为point1和point2,其坐标分别为(xpoint1,ypoint1)和(xpoint2,ypoint2)。可在二值图f中绘制并叠加这些线段,如图10所示。
■确定单管塔的轴线
现已得到Hough直线检测的结果,首先判断其是否在一)中的单管塔粗略区域内,判断的标准如下:
若满足公式label(xpoint1,ypoint1)+label(xpoint2,ypoint2)=2,则判定该线段两端点在图中单管塔粗略区域内,即该线段在单管塔的粗略区域内。如果不满足上述公式,则该线段不在图中单管塔上,排除该条直线段。从判定在单管塔粗略区域内的线段中任选一条,即认定为单管塔的轴线,如图11所示。
三)计算单管塔轴线与水平面之间的夹角
若:xpoint1=xpoint2并且ypoint1≠ypoint2,则单管塔轴线与水平面之间的夹角α1为90°。
若:若xpoint1≠xpoint2并且ypoint1≠ypoint2,则依据如下公式可得到单管塔轴线与水平面之间的夹角α1
三、根据步骤二可得到一组αt,其中,t=1,2,...,5。若αt值均满足αt∈[88°,90°],则可认为该单管塔垂直于地面(未倾斜)。否则,视该单管塔发生倾斜为危险状态。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,包括以下具体步骤:
步骤1,无人机以目标通信单管塔为圆心、绕目标通信单管塔水平飞行一周,飞行过程中机载相机保持水平状态、在不同位置连续采集w张目标通信单管塔的图像;
步骤2,对步骤1中采集的w张目标通信单管塔图像进行逐一处理,得到每张目标通信单管塔图像中单管塔与水平面之间的夹角,具体为:
2.1,识别并确定采集到的第t张目标通信单管塔图像St中的单管塔区域,其中,t=1,2,…,w;
2.2,确定采集到的第t张目标通信单管塔图像St中单管塔的轴线:
2.3,计算2.2中单管塔轴线与水平面之间的夹角,即为图像St中单管塔与水平面之间的夹角αt
步骤3,判断步骤2得到的w个夹角是否均在安全范围内,若是则判定目标通信单管塔未倾斜,否则判定目标通信单管塔发生倾斜。
2.根据权利要求1所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤1中通过机载三轴自稳云台使得机载相机保持水平状态拍摄到单管塔图像。
3.根据权利要求1所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤2.1中通过人工交互方式或机器学习方法,识别并确定采集到的第t张目标通信单管塔图像St中的单管塔区域。
4.根据权利要求3所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,通过人工交互方式识别并确定采集到的第t张目标通信单管塔图像St中的单管塔区域,具体为:
1)任意选取图像St中单管塔上的n个像素点;
2)将图像St由RGB颜色空间转换到CIE Lab颜色空间;
3)在CIE Lab颜色空间,对1)中选取的n个像素点的色彩分量求取均值;
4)在CIE Lab颜色空间,若图像St中任一像素点(x,y)的色彩分量同时满足条件:|L(x,y)-L|<threshold、|a(x,y)-a|<threshold和|b(x,y)-b|<threshold,则将像素点(x,y)置为白色点,否则置为黑色点;遍历图像St的所有像素点,得到二值化图像label;其中,L(x,y)为像素点(x,y)的亮度值,L为n个像素点的亮度均值,a(x,y)为像素点(x,y)的红或绿颜色值,a为n个像素点的红或绿颜色均值,b(x,y)为像素点(x,y)的黄或蓝颜色值,b为n个像素点的黄或蓝颜色均值,threshold为设定的全局阈值;
5)对4)中得到的二值化图像label进行膨胀处理,得到单管塔的粗略区域。
5.根据权利要求4所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤3)中对1)中选取的n个像素点的色彩分量求取均值为:
<mrow> <mi>L</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>a</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>a</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>b</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mi>b</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> 1
其中,(xi,yi)为第i个像素点的坐标,i=1,2,...,n,L为n个像素点的亮度均值,L(xi,yi)为选取的第i个像素点的亮度值,a为n个像素点的红或绿颜色均值,a(xi,yi)为选取的第i个像素点的红或绿颜色值,b为n个像素点的黄或蓝颜色均值,b(xi,yi)为选取的第i个像素点的黄或蓝颜色值。
6.根据权利要求1所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,步骤2.2中确定采集到的第t张目标通信单管塔图像St中单管塔的轴线,具体为:
①将图像St转化为灰度图BW;
②对灰度图BW进行边缘检测,得到边缘图像f;
③对边缘图像f进行形态学去噪;
④采用Hough变换对形态学去噪后的边缘图像f进行直线检测;
⑤判断④中检测得到的直线是否在2.1中确定的单管塔区域内,若是则保留,否则排除;
⑥在⑤中保留的直线中任选一条作为单管塔的轴线。
7.根据权利要求6所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤②中利用Canny算子或Robert算子或Prewitt算子或Sobel算子对灰度图BW进行边缘检测。
8.根据权利要求1所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤2.3中夹角αt的计算方法为:
Ⅰ,若xpoint1=xpoint2,则αt=90°;
II,若xpoint1≠xpoint2,则
其中,(xpoint1,ypoint1)和(xpoint2,ypoint2)为单管塔的轴线的两个端点的坐标。
9.根据权利要求1所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤1中w的取值范围为[3,7]。
10.根据权利要求1所述的一种基于无人机成像平台的通信单管塔倾斜检测方法,其特征在于,步骤3中的安全范围为[88°,90°]。
CN201710328960.4A 2017-05-11 2017-05-11 一种基于无人机成像平台的通信单管塔倾斜检测方法 Pending CN107221006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710328960.4A CN107221006A (zh) 2017-05-11 2017-05-11 一种基于无人机成像平台的通信单管塔倾斜检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710328960.4A CN107221006A (zh) 2017-05-11 2017-05-11 一种基于无人机成像平台的通信单管塔倾斜检测方法

Publications (1)

Publication Number Publication Date
CN107221006A true CN107221006A (zh) 2017-09-29

Family

ID=59943881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710328960.4A Pending CN107221006A (zh) 2017-05-11 2017-05-11 一种基于无人机成像平台的通信单管塔倾斜检测方法

Country Status (1)

Country Link
CN (1) CN107221006A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213196A (zh) * 2018-09-05 2019-01-15 福州日兆信息科技有限公司 一种通信铁塔智能巡检无人机装置
CN110320934A (zh) * 2018-03-27 2019-10-11 杭州海康机器人技术有限公司 云台控制方法、装置、云台及移动设备
CN110425999A (zh) * 2019-03-22 2019-11-08 浙江大学 一种基于无人机图像的起重设备垂直度检测方法及***
CN110954063A (zh) * 2018-09-27 2020-04-03 北京自动化控制设备研究所 一种用于无人机着网回收的光学相对测量方法
CN113588654A (zh) * 2021-06-24 2021-11-02 宁波大学 一种发动机热交换器接口的三维视觉检测方法
CN113905077A (zh) * 2021-10-28 2022-01-07 南京工程学院 一种基于LoRa的模块化无人机防抖云台***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103884939A (zh) * 2014-03-26 2014-06-25 华北电力大学 基于pms的电力线路激光雷达扫描数据应用分析***
CN104807444A (zh) * 2015-04-09 2015-07-29 中国大唐集团新能源股份有限公司 风机塔筒倾斜测量方法
CN105739512A (zh) * 2016-02-01 2016-07-06 成都通甲优博科技有限责任公司 无人机自动巡检***及方法
CN106092049A (zh) * 2016-08-13 2016-11-09 哈尔滨理工大学 杆塔倾斜智能图像在线监测***
CN106296694A (zh) * 2016-08-13 2017-01-04 哈尔滨理工大学 杆塔倾斜智能图像辨识测量方法
CN106355580A (zh) * 2016-09-22 2017-01-25 云南电网有限责任公司电力科学研究院 一种杆塔倾倒的检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103884939A (zh) * 2014-03-26 2014-06-25 华北电力大学 基于pms的电力线路激光雷达扫描数据应用分析***
CN104807444A (zh) * 2015-04-09 2015-07-29 中国大唐集团新能源股份有限公司 风机塔筒倾斜测量方法
CN105739512A (zh) * 2016-02-01 2016-07-06 成都通甲优博科技有限责任公司 无人机自动巡检***及方法
CN106092049A (zh) * 2016-08-13 2016-11-09 哈尔滨理工大学 杆塔倾斜智能图像在线监测***
CN106296694A (zh) * 2016-08-13 2017-01-04 哈尔滨理工大学 杆塔倾斜智能图像辨识测量方法
CN106355580A (zh) * 2016-09-22 2017-01-25 云南电网有限责任公司电力科学研究院 一种杆塔倾倒的检测方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
孙保安等: ""铁塔倾斜的中轴线归心校正"", 《农村电气化》 *
曹敏等: ""绝缘子倾斜角的图像识别方法"", 《云南电力技术》 *
武晓华等: ""无人机在基站勘察巡检工作中的应用"", 《电信工程技术与标准化》 *
石振江等: ""六旋翼无人机对输电线路日常巡检应用的研究"", 《科技风》 *
程凯: ""电力巡线无人机智能地面监控***研究"", 《万方数据企业知识服务平台》 *
顾和志: ""一种铁塔倾斜中轴线的校正方法"", 《江苏电机工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110320934A (zh) * 2018-03-27 2019-10-11 杭州海康机器人技术有限公司 云台控制方法、装置、云台及移动设备
CN110320934B (zh) * 2018-03-27 2022-11-22 杭州海康机器人技术有限公司 云台控制方法、装置、云台及移动设备
CN109213196A (zh) * 2018-09-05 2019-01-15 福州日兆信息科技有限公司 一种通信铁塔智能巡检无人机装置
CN110954063A (zh) * 2018-09-27 2020-04-03 北京自动化控制设备研究所 一种用于无人机着网回收的光学相对测量方法
CN110425999A (zh) * 2019-03-22 2019-11-08 浙江大学 一种基于无人机图像的起重设备垂直度检测方法及***
CN110425999B (zh) * 2019-03-22 2021-06-01 浙江大学 一种基于无人机图像的起重设备垂直度检测方法及***
CN113588654A (zh) * 2021-06-24 2021-11-02 宁波大学 一种发动机热交换器接口的三维视觉检测方法
CN113588654B (zh) * 2021-06-24 2024-02-02 宁波大学 一种发动机热交换器接口的三维视觉检测方法
CN113905077A (zh) * 2021-10-28 2022-01-07 南京工程学院 一种基于LoRa的模块化无人机防抖云台***
CN113905077B (zh) * 2021-10-28 2024-03-08 南京工程学院 一种基于LoRa的模块化无人机防抖云台***

Similar Documents

Publication Publication Date Title
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
US10650235B2 (en) Systems and methods for detecting and tracking movable objects
CN107830846B (zh) 一种利用无人机和卷积神经网络测量通信塔天线角度方法
CN110595476B (zh) 一种基于gps和图像视觉融合的无人机降落导航方法及装置
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别***及方法
CN105527969B (zh) 一种基于无人机的山地植被垂直带调查监测方法
US20200357141A1 (en) Systems and methods for calibrating an optical system of a movable object
CN112215860A (zh) 一种基于图像处理的无人机定位方法
CN109885086A (zh) 一种基于复合多边形标志引导的无人机垂直降落方法
CN112666963A (zh) 基于四轴无人机的公路路面裂缝检测***及其检测方法
CN111709994B (zh) 一种自主无人机视觉探测与引导***及方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及***
US20230222642A1 (en) Inundation damage determination device, inundation damage determination method, and program
CN108871409A (zh) 一种故障检测方法和***
CN109883433A (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN110825098B (zh) 一种无人机配电网智能巡检***
CN106403901A (zh) 一种浮标姿态测量装置及方法
CN115683062A (zh) 一种国土空间规划检测分析***
CN111812659A (zh) 一种基于图像识别和激光测距的铁塔姿态预警装置及方法
JP2010014491A (ja) 洋上監視システムおよび方法
CN106709432A (zh) 基于双目立体视觉的人头检测计数方法
CN103453882A (zh) 一种基于飞行器的云层高度测量***及云层高度测量方法
CN116486290B (zh) 一种无人机监测追踪方法、装置、电子设备及存储介质
CN111402324A (zh) 一种目标测量方法、电子设备以及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929

RJ01 Rejection of invention patent application after publication