CN111860298A - 一种基于无人机检测营区户外设施状态的***及方法 - Google Patents

一种基于无人机检测营区户外设施状态的***及方法 Download PDF

Info

Publication number
CN111860298A
CN111860298A CN202010693035.3A CN202010693035A CN111860298A CN 111860298 A CN111860298 A CN 111860298A CN 202010693035 A CN202010693035 A CN 202010693035A CN 111860298 A CN111860298 A CN 111860298A
Authority
CN
China
Prior art keywords
image
facility
aerial vehicle
unmanned aerial
camp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010693035.3A
Other languages
English (en)
Other versions
CN111860298B (zh
Inventor
李长龙
曾庆涛
邹云堂
何林达
姚友杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Ksec Design Research Institute Co ltd
Original Assignee
Yunnan Ksec Design Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Ksec Design Research Institute Co ltd filed Critical Yunnan Ksec Design Research Institute Co ltd
Priority to CN202010693035.3A priority Critical patent/CN111860298B/zh
Publication of CN111860298A publication Critical patent/CN111860298A/zh
Application granted granted Critical
Publication of CN111860298B publication Critical patent/CN111860298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机检测营区户外设施状态的***及方法，包括无人机空中平台和营区管理中心，无人机空中平台包括无人机、无线通信模块和图像采集模块；营区管理中心包括无人机控制***、图像处理***和信息发布***；图像采集模块采集设施图像并通过无线通信模块发送至所述营区管理中心图像处理***进行包括图像光照补偿、图像几何校正、模板匹配、设施模板区域和设施匹配区域二值化以及利用相关算法处理图像、设置阈值、判断设施是否有缺陷并输出结果等处理，营区管理中心经信息发布***发布，并将图像和结果存储。本发明提供的***可大大减轻巡检人员的工作负荷及人员危险的机率，减少误报，提升效率，降低成本，提高营区的安全性。

Description

一种基于无人机检测营区户外设施状态的***及方法
技术领域
本发明属于无人机巡检技术领域，涉及无人巡检、电子信息工程和图像识别等设备及方法，尤其是一种基于无人机检测营区户外设施状态的***及方法。
背景技术
目前传统的营区设施状态检测多是利用相关仪器定期对设施的各个部位进行检测、记录、统计。在此过程中，有些设施体积大，分布范围广，维护人员需要登高远行作业，难免忽略一些细节部位，耗时费力，效率较低。这也决定了人工巡检的频率不高，一些设施损坏只能是下一次巡检中才能发现。
采用人工查看无人机航拍图像中设施状况，也可以准确检测出设施状态，但是费时费力、效率低下。
因此亟需研发一种简单、便携的无人巡检装置，可大大减轻巡检人员的工作负荷，减少可能发生的人员危险的机率，减少误报，提升效率，降低成本，提高营区的安全性。
发明内容
为解决上述技术问题，本发明提供一种基于无人机检测营区户外设施状态的方法，包括如下步骤：
Step1：无人机控制***设定所述无人机的巡检飞行路线；
Step2：无人机按照设定的飞行路线飞行至检查点；
Step3：图像采集模块开始采集设施图像；
Step4：所述采集设施图像通过所述无线通信模块发送至所述营区管理中心图像处理***；
Step5：所述采集设施图像通过所述营区管理中心图像处理***进行图像处理；
Step6：所述营区管理中心图像处理结果经信息发布***发布，并将图像和结果存储。
进一步地，所述Step5图像处理包含以下步骤：
第一步：图像光照补偿。不同时间采集设施图像时光线不同，为了弱化光照对图像内容的影响，提高图像质量采用光照补偿；
第二步：图像几何校正，由于无人机飞行精度、图像采集模块的像差、畸变等，无法确保每次采集图像时相机位置对应检查点成像姿态一致，需做图像校正；
第三步：模板匹配，利用模板图像中设施模板找到采集设施图像中设施的位置大小；
第四步：设施模板区域和设施匹配区域二值化；
第五步：利用相关算法处理图像，设置阈值，判断设施是否有缺陷，输出结果。
进一步地，所述图像光照补偿的算法为：
(1)统计每个灰度值的像素数，通过循环得到排列前5％的像素灰度值作为参考白，则参考白像素的亮度平均值aveGray为：aveGray＝Grayref/GrayrefNum，式中Grayref为参考白灰度值；GrayrefNum用为参考白像素数；
(2)计算光照补偿系数coe：coe＝255/aveGray；
(3)原像素值分别乘以光照补偿系数coe，得到光照补偿后的像素值。
进一步地，所述模板匹配的模板图像是利用已有的采集图像中选取出的无缺陷最优视觉效果图像。
进一步地，所述图像几何校正是在进行模板匹配后，构建目标四边形，由四个顶点构建方程，通过解方程得到变换系数，最后逐个像素点实现校正。
进一步地，所述逐个像素点实现校正用下面的函数关系来描述：
u＝p(x，y)
v＝q(x，y)
其中x，y为采集图像空间中的像素坐标，u，v是x，y在校正图像空间中对应的像素坐标；
根据上述的函数关系，可以依次计算采集图像每个像素的矫正坐标值，保持各像素值不变，这样生成一幅矫正图像。
一种基于无人机检测营区户外设施状态的***，包括无人机空中平台和营区管理中心，所述无人机空中平台包括无人机、无线通信模块和图像采集模块；所述营区管理中心包括无人机控制***、图像处理***和信息发布***；所述无线通信模块和图像采集模块置于无人机内，所述无线通信模块与图像采集模块通讯连接，所述无人机控制***、图像处理***和信息发布***网络连接；所述图像采集模块采集设施图像，所述设施图像通过所述无线通信模块发送至所述营区管理中心图像处理***；所述采集设施图像通过所述营区管理中心图像处理***进行图像处理；所述营区管理中心图像处理结果经信息发布***发布，并将图像和结果存储；所述营区管理中心图像处理***执行本发明所述的基于无人机检测营区户外设施状态的方法图像处理的步骤。
所述设施外观状态包括建筑物顶部是否完好、建筑物外墙有无异常、营区围墙是否破损以及地面是否破损等。
本发明的有益效果是：
本发明的基于无人机检测营区户外设施状态的***及方法提供了一种简单、便携的无人巡检装置，可大大减轻巡检人员的工作负荷，减少可能发生的人员危险的机率，减少误报，提升效率，降低成本，提高营区的安全性。本发明提供了营区设施外观缺陷检测的巡检方法，可广泛应用于营区设施外观缺陷巡检及其他相关行业。本发明中的图像处理算法可以搭建在多种嵌入式设备上。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1为本发明的基于无人机检测营区户外设施状态的***的结构示意图。
图2为本发明的基于无人机检测营区户外设施状态的方法的流程示意图。
图3为实施例的模板图像分区域图。
图4为在图像中几何校正原理示意图。
图5为实施例的模板图像。
图6为实施例的区域模板图像。
图7为实施例的设施模板图像。
图8为实施例的设施模板二值化图像。
图9为实施例的待检原始图像。
图10为实施例的原始图像光照补偿。
图11为实施例的区域匹配图像。
图12为实施例的几何校正图像。
图13为实施例的设施匹配图像。
图14为实施例的设施匹配二值化图像。
图15为实施例的设施匹配结果与设施模板相减图像。
图16为实施例的设施匹配结果与设施模板相加图像。
图17为实施例的图15和图16相减结果图像。
图18为实施例的阈值分割图像。
图19为实施例的检测结果图像。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的实施例提供一种无人机图像处理***，参见图1。
本发明包括无人机空中平台，无人机上搭载有无线通信模块、图像采集模块；采集到的设施外观图像传输到所述营区管理中心图像处理***进行图像处理，并对结果发布存储。
较佳地，本发明的一种基于无人机检测营区户外设施状态的方法包括以下步骤：
Step1：所述无人机控制***设定所述无人机的巡检飞行路线；
Step2：所述无人机按照设定的飞行路线飞行至检查点；
Step3：所述图像采集模块开始采集设施图像；
Step4：所述采集设施图像通过所述无线通信模块发送至所述营区管理中心图像处理***；
Step5：所述采集设施图像通过所述营区管理中心图像处理***进行图像处理；
Step6：所述营区管理中心图像处理结果经信息发布***发布，并将图像和结果存储。
其中Step5图像处理过程的结果如图5至图19所示，包含以下步骤：
第一步：选择模板图像并设置。模板图像是利用已有的采集图像中选取出的最优视觉效果图像如图5。设定区域模板图6和设施模板图7，并对设施模板二值化如图8。
第二步：图像光照补偿。具体算法为：
(1)统计每个灰度值的像素数，通过循环得到排列前5％的像素灰度值作为参考白，则参考白像素的亮度平均值aveGray为：aveGray＝Grayref/GrayrefNum，式中Grayref为参考白灰度值；GrayrefNum用为参考白像素数；
(2)计算光照补偿系数coe：coe＝255/aveGray；
(3)原像素值分别乘以光照补偿系数coe，得到光照补偿后的像素值。
对图9原始图像光照补偿，处理结果如图10。
第三步：图像几何校正。由于无人机飞行精度、图像采集模块的像差、畸变等，无法确保每次采集图像时相机位置对应检查点成像姿态一致，需做图像校正。利用图6中区域模板图像对图10中图像进行模板匹配，构建目标四边形，由四个顶点构建方程，通过解方程得到变换系数，最后逐个像素点实现校正，结果如图12中图像。
如图3所示设施搜索区域不能过大，否则采集图像可能未把设施搜索区域包含进去，设施搜索区域也不能过小，否则构建方程不够精确。根据采集图像和模板图像中的四边形顶点对应关系，建立函数关系式，通过坐标变换，实现失真图像的几何校正。两幅图像坐标***之间关系用解析式来描述：
u＝p(x，y)
v＝q(x，y)
其中x，y为采集图像空间中的像素坐标，u，v是x，y在校正图像空间中对应的像素坐标，参见图4。根据上述的函数关系，可以依次计算采集图像每个像素的矫正坐标值，保持各像素值不变，这样生成一幅矫正图像。
第四步：设施匹配。利用图7中设施模板图像对图像12进行设施模板匹配，找到设施图像中设施的位置大小，结果如图13中图像。
第五步：二值化。设施匹配区域二值化，结果如图14中图像。
第六步：对图8中设施模板二值化图像和图14中设施匹配区域二值化图像分别进行相减和相加，结果分别为图15和图16。图15与图16进行相减，得到结果图17。
第七步：对图17中图像进行阈值分割得到图18。
第八步：对图18中图像进行腐蚀、膨胀操作，联通区域得到图像19，根据阈值，判断设施有缺陷，输出结果。
如上所述，仅为本发明的具体实施例，不能以此限定本发明的范围，即依本发明专利申请保护范围所作的等同变化与修饰，皆应仍属本发明涵盖的范围。

Claims (7)

1.一种基于无人机检测营区户外设施状态的方法，其特征在于，包括如下步骤：
Step1：无人机控制***设定所述无人机的巡检飞行路线；
Step2：无人机按照设定的飞行路线飞行至检查点；
Step3：图像采集模块开始采集设施图像；
Step4：所述采集设施图像通过所述无线通信模块发送至所述营区管理中心图像处理***；
Step5：所述采集设施图像通过所述营区管理中心图像处理***进行图像处理；
Step6：所述营区管理中心图像处理结果经信息发布***发布，并将图像和结果存储。
2.根据权利要求1所述的基于无人机检测营区户外设施状态的方法，其特征在于，所述Step5图像处理包含以下步骤：
第一步：图像光照补偿，不同时间采集设施图像时光线不同，为了弱化光照对图像内容的影响，提高图像质量采用光照补偿；
第二步：图像几何校正，由于无人机飞行精度、图像采集模块的像差、畸变，无法确保每次采集图像时相机位置对应检查点成像姿态一致，需做图像校正；
第三步：模板匹配，利用模板图像中设施模板找到采集设施图像中设施的位置大小；
第四步：设施模板区域和设施匹配区域二值化；
第五步：利用相关算法处理图像，设置阈值，判断设施是否有缺陷，输出结果。
3.根据权利要求2所述的基于无人机检测营区户外设施状态的方法，其特征在于，所述图像光照补偿的算法为：
(1)统计每个灰度值的像素数，通过循环得到排列前5％的像素灰度值作为参考白，则参考白像素的亮度平均值aveGray为：aveGray＝Grayref/GrayrefNum，式中Grayref为参考白灰度值；GrayrefNum用为参考白像素数；
(2)计算光照补偿系数coe：coe＝255/aveGray；
(3)原像素值分别乘以光照补偿系数coe，得到光照补偿后的像素值。
4.根据权利要求2所述的基于无人机检测营区户外设施状态的方法，其特征在于，所述模板匹配的模板图像是利用已有的采集图像中选取出的无缺陷最优视觉效果图像。
5.根据权利要求2所述的基于无人机检测营区户外设施状态的方法，其特征在于，所述图像几何校正是在进行模板匹配后，构建目标四边形，由四个顶点对构建方程，通过解方程得到变换系数，最后逐个像素点实现校正。
6.根据权利要求5所述的基于无人机检测营区户外设施状态的方法，其特征在于，所述逐个像素点实现校正用下面的函数关系来描述：
u＝p(x，y)
v＝q(x，y)
其中x，y为采集图像空间中的像素坐标，u，v是x，y在校正图像空间中对应的像素坐标；
根据上述的函数关系，可以依次计算采集图像每个像素的矫正坐标值，保持各像素值不变，这样生成一幅校正图像。
7.一种基于无人机检测营区户外设施状态的***，包括无人机空中平台和营区管理中心，其特征在于：
所述无人机空中平台包括无人机、无线通信模块和图像采集模块；
所述营区管理中心包括无人机控制***、图像处理***和信息发布***；
所述无线通信模块和图像采集模块置于无人机内，所述无线通信模块与图像采集模块通讯连接，所述无人机控制***、图像处理***和信息发布***网络连接；
所述图像采集模块采集设施图像，所述设施图像通过所述无线通信模块发送至所述营区管理中心图像处理***；
所述采集设施图像通过所述营区管理中心图像处理***进行图像处理；
所述营区管理中心图像处理结果经信息发布***发布，并将图像和结果存储；
所述营区管理中心图像处理***执行如权利要求2至6任一项所述的基于无人机检测营区户外设施状态的方法的步骤。
CN202010693035.3A 2020-07-17 2020-07-17 一种基于无人机检测营区户外设施状态的***及方法 Active CN111860298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010693035.3A CN111860298B (zh) 2020-07-17 2020-07-17 一种基于无人机检测营区户外设施状态的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010693035.3A CN111860298B (zh) 2020-07-17 2020-07-17 一种基于无人机检测营区户外设施状态的***及方法

Publications (2)

Publication Number Publication Date
CN111860298A true CN111860298A (zh) 2020-10-30
CN111860298B CN111860298B (zh) 2023-12-22

Family

ID=73001937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010693035.3A Active CN111860298B (zh) 2020-07-17 2020-07-17 一种基于无人机检测营区户外设施状态的***及方法

Country Status (1)

Country Link
CN (1) CN111860298B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051665A1 (en) * 2011-08-31 2013-02-28 Hirotaka SHINOZAKI Image processing apparatus, image processing method, and program
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051665A1 (en) * 2011-08-31 2013-02-28 Hirotaka SHINOZAKI Image processing apparatus, image processing method, and program
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周前飞;丁树庆;冯月贵;张慎如;王会方;任诗波;: "大型起重机金属结构无人机智能视觉检测***研究", 内燃机与配件, no. 19 *
韩进宇;吴超群;: "基于视觉的卡钳毛刺检测和定位方法研究", 数字制造科学, no. 04 *

Also Published As

Publication number Publication date
CN111860298B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110703800A (zh) 基于无人机的电力设施智能识别方法及***
US20180357788A1 (en) UAV Inspection Method for Power Line Based on Human Visual System
CN111260615B (zh) 基于激光和机器视觉融合的无人机桥梁表观病害检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN111754466B (zh) 传输机皮带损伤状况的智能检测方法
CN112686938B (zh) 基于双目图像测距的输电线路净距计算与安全告警方法
CN103745484B (zh) 一种电力设施带电作业的人员目标安全预警方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及***
CN110130987B (zh) 一种基于图像分析的隧道收敛变形监测方法
CN108665468B (zh) 一种提取直线塔绝缘子串的装置及方法
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN103149222A (zh) 射线实时成像中缺陷检测方法
CN110533649B (zh) 一种无人机通用结构裂缝识别检测装置及方法
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及***
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别***
CN109143001A (zh) 受电弓检测***
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN111860298B (zh) 一种基于无人机检测营区户外设施状态的***及方法
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
CN115375762A (zh) 一种基于三目视觉的电力线三维重构方法
CN115546716A (zh) 一种基于双目视觉的输电线路周边火灾源头定位方法
CN115355952A (zh) 一种原油储罐智能巡检***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant