CN113449688B - 一种基于影像和激光点云数据融合的输电树障识别*** - Google Patents

一种基于影像和激光点云数据融合的输电树障识别*** Download PDF

Info

Publication number
CN113449688B
CN113449688B CN202110816656.0A CN202110816656A CN113449688B CN 113449688 B CN113449688 B CN 113449688B CN 202110816656 A CN202110816656 A CN 202110816656A CN 113449688 B CN113449688 B CN 113449688B
Authority
CN
China
Prior art keywords
power transmission
data
image
sampling
transmission line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110816656.0A
Other languages
English (en)
Other versions
CN113449688A (zh
Inventor
戴永东
姚建光
蒋中军
王茂飞
翁蓓蓓
曹世鹏
刘玺
鞠玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Zhongxin Hanchuang Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd, Zhongxin Hanchuang Beijing Technology Co Ltd filed Critical Taizhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202110816656.0A priority Critical patent/CN113449688B/zh
Publication of CN113449688A publication Critical patent/CN113449688A/zh
Application granted granted Critical
Publication of CN113449688B publication Critical patent/CN113449688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于影像和激光点云数据融合的输电树障识别***,其包括检测装置、采集装置、采样装置、分析装置和处理器,所述检测装置用于对输电线路进行检测;所述采集装置用于对所述输电线路上的路径或者障碍进行数据的采集;所述采样装置用于对树障与所述输电线路的数据进行采样;所述分析装置对所述输电线路进行定位并与所述采样装置的数据进行辅助融合。本发明通过处理器的处理操作对图像数据的异常区域位置提取,并识别该区域的异常点,从而能够对异常点位置进行精准的定位,还进一步的提升对异常点的检测效率。

Description

一种基于影像和激光点云数据融合的输电树障识别***
技术领域
本发明涉及输电或供电技术领域,尤其涉及一种基于影像和激光点云数据融合的输电树障识别***。
背景技术
目前对输电设备的检查维护主要依靠现场勘察,人眼去识别是否有异常的情况,最近几年由于无人机技术的发展,可以利用无人机去拍照,再通过人员对这些照片进行筛查,进而省去一些人力,但还是无法满足智能化的需求,检测及维护输电设备的效率还是不高。
如CN111929698A现有技术公开了一种输电线路走廊区域内的树障隐患识别方法,目前的树障的检测手段主要靠人工肉眼判断为主,巡检人员通过在地面手持激光测距判别树木与输电线路的距离,但是,由于人与树障点的测量角度和位置关系,检测结果很大可能存在较大的误差。还有一种方式是利用倾斜摄影建模进行安全距离测量,但是这些检种方法在检测的时候,容易将输电线路挂点附近的金具、绝缘子等距离输电线路走廊区域较近的部件也视为树障隐患,导致树障隐患判断不够准确。
经过大量检索发现存在的现有技术如KR101654364B1、EP2482996B1 和US08721396B1,近年来,随着我国林业发展,退耕还林政策的实施以及对环保要求的逐年提高,输电线路下方树木的存在对输电线路造成的隐患威胁越发严重;近年来,各省树障引起的跳闸断电事故在每年百次以上,严重影响了居民日常生活,并造成了大量的经济损失。目前常见的输电线树障维护策略是依靠电网巡线工作人员进行定期巡线,然而人工巡线依靠的目测法判断是否具有威胁存在目测不准确、对输电线是否具有威胁的判断存在误差。此外,寻线人员通过目测仅判断当前数目是否具备威胁,而忽视了速生类树木在下一次巡线前的生长裕度,造成巡线不及时产生的输电线路树障事故。
为了解决本领域普遍存在检测精度不高、预测成长裕度不准确、检测强度高和数据分析不准确等等问题,作出了本发明。
发明内容
本发明的目的在于,针对目前树障智能识别所存在的不足,提出了一种基于影像和激光点云数据融合的输电树障识别***。
为了克服现有技术的不足,本发明采用如下技术方案:
一种基于影像和激光点云数据融合的输电树障识别***,其包括检测装置、采集装置、采样装置、分析装置和处理器,所述检测装置用于对输电线路进行检测;所述采集装置用于对所述输电线路上的路径或者障碍进行数据的采集;所述采样装置用于对树障与所述输电线路的数据进行采样;所述分析装置对所述输电线路进行定位并与所述采样装置的数据进行辅助融合;所述采样装置包括采样机构和数据采集模块,所述采样机构用于对所述树障和所述输电线路的位置数据进行采样;所述数据采集模块对所述采样机构的数据进行汇总并存储在所述存储器中;所述采样机构包括采样探头和转向机构,所述采样探头用于对所述树障进行识别;所述转向机构用于对所述采样机构的检测角度进行调整;
采集所述采样探头的多组图像数据,并对多组数据进行异常点位置的检测,若存在异常点,则对异常点进行定位;
采集影像的基础数据,并对检测尺度为ρ的范围内,计算以异常点为圆心,ω(r)*ρ为半径的圆形的相邻区域内的图像的幅值和幅角;存在:
Figure GDA0003668688220000021
其中,G(x,y)为图像梯度的幅值;x为图像像素坐标系中的横坐标, y为图像像素坐标系中的纵坐标;
Figure GDA0003668688220000031
其中,θ(x,y)为图像梯度的幅角;L表示异常点所在的尺度;
Figure GDA0003668688220000032
其中,r为检测的步长;rmax为最大的允许步长,取值范围为1-4.5 倍的r。
可选的,所述检测装置包括移动机构和稳定机构,所述移动机构用于对所述采集装置进行调整;所述稳定机构用于对所述移动机构的检测过程进行稳定;所述移动机构包括移动平台,所述采集装置设置在所述移动平台上,并跟随所述移动平台的移动而对移动路径上的数据进行采集。
可选的,所述分析装置包括定位机构、辅助机构,所述定位机构用于对输电线路的位置进行定位;所述辅助机构用于对所述定位机构进行辅助定位;所述定位机构包括定位识别件和绑定构件,所述定位识别件设置在所绑定构件上,并与所述采集装置进行数据传输;所述绑定构件用于对输电线路的输电架进行绑定。
可选的,所述辅助机构与所述定位机构配对使用,所述辅助机构包括若干个辅助定位件和支撑立杆,各个所述辅助定位件设置在所述支撑立杆上,并对所述输电架的范围进行标定;各个所述支撑立杆的一端设置有限位构件,所述限位构件与地面接触,并保持竖直向上的状态。
可选的,所述稳定机构包括缓冲构件和防抖模块,所述缓冲构件用于对所述移动机构的移动过程中产生的震动进行缓冲;所述防抖模块用于对所述采集装置的位置进行防护;所述缓冲构件包括活动腔、活动件、弹性模块和充气模块,所述活动件与所述弹性模块嵌套形成活动部,所述活动部设置在所述活动腔中;所述充气模块通过管道连通所述活动腔。
可选的,所述采集装置包括采集机构和调整机构,所述调整机构用于对所述采集机构的位置进行调整;所述采集机构用于对所述输电线路的位置或者图像数据进行采集;所述采集机构包括采集探头和标记模块,所述采集探头对所述输电线路上的点云数据进行采集;所述标记模块用于对点云数据中的深度位置或者异常检测位置进行标记。
本发明提供一种适用于影像和激光点云数据融合的输电树障识别***计算机可读存储介质,所述计算机可读存储介质中包括所述适用于影像和激光点云数据融合的输电树障识别***的控制方法和数据处理程序,所述适用于影像和激光点云数据融合的输电树障识别***控制方法和数据处理程序被处理器执行时,实现影像和激光点云数据融合的输电树障识别***的控制方法和数据处理的步骤。
本发明所取得的有益效果是:
1.通过处理器的处理操作对图像数据的异常区域位置提取,并识别该区域的异常点,从而能够对异常点位置进行精准的定位,还进一步的提升对异常点的检测效率;
2.通过采用所述采样机构与所述数据采集模块配合,使得所述采样机构采集的数据能够通过所述数据采集模块与所述通信机构进行数据的传输;
3.通过采用所述检测装置与所述采集装置相互配合,使得在对所述输电线路的点云数据能够被采集;
4.通过采用所述导引机构用于对所述无人机的移动范围或者识别范围进行限定,使得识别的效率和精度能够提升;
5.通过采用对图像中的异常阴影位置的朝向偏移,且基于当前步长的位置与所述阴影位置之间的距离进行多等分的步长的划分,使得步长在检测的过程中能够对所述异常位置进行精准的定位,通过对r与异常阴影位置进行划分,还防止对边沿位置的不精准检测造成的误差;
6.通过采用所述稳定机构与所述采集探头限位连接,使得所述采样探头在所述无人机进行移动或者飞行的过程中能够进行缓冲,保证所述采样探头在检测的过程中能够稳定,使得采集的图像数据能够更加准确和清晰。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制,而是将重点放在示出实施例的原理上。在不同的视图中,相同的附图标记指定对应的部分。
图1为本发明的控制流程示意图。
图2为所述移动平台的结构示意图。
图3为所述移动平台与所述采样装置的结构示意图。
图4为所述控制手柄的结构示意图。
图5为所述分析装置的结构示意图。
图6为所述转向机构的部分结构示意图。
图7为所述转向机构的结构示意图。
图8为所述缓冲构件的剖视示意图。
图9为本发明的应用场景示意图。
附图标号说明:1-无人机;2-采集探头;3-树障;4-输电架;5-采样装置;6-显示屏;7-缓冲构件;8-采样探头;9-支撑架;10-驱动部;11- 操作手柄;12-支撑立杆;13-辅助定位件;14-限位环;15-定位识别件; 16-分析装置;17-标记模块;18-限位构件;19-活动件;20-活动腔;21- 充气模块;22-弹性模块。
具体实施方式
为了使得本发明的目的.技术方案及优点更加清楚明白,以下结合其实施例,对本发明进行进一步详细说明;应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。对于本领域技术人员而言,在查阅以下详细描述之后,本实施例的其它***.方法和/或特征将变得显而易见。旨在所有此类附加的***.方法.特征和优点都包括在本说明书内. 包括在本发明的范围内,并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征,并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”.“下”.“左”.“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位. 以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
实施例一:结合附图1-9,本实施例提供一种基于影像和激光点云数据融合的输电树障识别***,其包括检测装置、采集装置、采样装置、分析装置和处理器,所述检测装置用于对输电线路进行检测;所述采集装置用于对所述输电线路上的路径或者障碍进行数据的采集;所述采样装置用于对树障与所述输电线路的数据进行采样;所述分析装置对所述输电线路进行定位并与所述采样装置的数据进行辅助融合;所述采样装置包括采样机构和数据采集模块,所述采样机构用于对所述树障和所述输电线路的位置数据进行采样;所述数据采集模块对所述采样机构的数据进行汇总并存储在所述存储器中;所述采样机构包括采样探头和转向机构,所述采样探头用于对所述树障进行识别;所述转向机构用于对所述采样机构的检测角度进行调整;
采集所述采样探头的多组图像数据,并对多组数据进行异常点位置的检测,若存在异常点,则对异常点进行定位;
采集影像的基础数据,并对检测尺度为ρ的范围内,计算以异常点为圆心,ω(r)*ρ为半径的圆形的相邻区域内的图像的幅值和幅角;存在:
Figure GDA0003668688220000071
其中,G(x,y)为图像梯度的幅值;x为图像像素坐标系中的横坐标, y为图像像素坐标系中的纵坐标;
Figure GDA0003668688220000072
其中,θ(x,y)为图像梯度的幅角;L表示异常点所在的尺度;
Figure GDA0003668688220000073
其中,r为检测的步长;rmax为最大的允许步长,取值范围为1-4.5 倍的r;
进一步的,所述检测装置包括移动机构和稳定机构,所述移动机构用于对所述采集装置进行调整;所述稳定机构用于对所述移动机构的检测过程进行稳定;所述移动机构包括移动平台,所述采集装置设置在所述移动平台上,并跟随所述移动平台的移动而对移动路径上的数据进行采集;
进一步的,所述分析装置包括定位机构、辅助机构,所述定位机构用于对输电线路的位置进行定位;所述辅助机构用于对所述定位机构进行辅助定位;所述定位机构包括定位识别件和绑定构件,所述定位识别件设置在所绑定构件上,并与所述采集装置进行数据传输;所述绑定构件用于对输电线路的输电架进行绑定;
进一步的,所述辅助机构与所述定位机构配对使用,所述辅助机构包括若干个辅助定位件和支撑立杆,各个所述辅助定位件设置在所述支撑立杆上,并对所述输电架的范围进行标定;各个所述支撑立杆的一端设置有限位构件,所述限位构件与地面接触,并保持竖直向上的状态;
进一步的,所述稳定机构包括缓冲构件和防抖模块,所述缓冲构件用于对所述移动机构的移动过程中产生的震动进行缓冲;所述防抖模块用于对所述采集装置的位置进行防护;所述缓冲构件包括活动腔、活动件、弹性模块和充气模块,所述活动件与所述弹性模块嵌套形成活动部,所述活动部设置在所述活动腔中;所述充气模块通过管道连通所述活动腔;
进一步的,所述采集装置包括采集机构和调整机构,所述调整机构用于对所述采集机构的位置进行调整;所述采集机构用于对所述输电线路的位置或者图像数据进行采集;所述采集机构包括采集探头和标记模块,所述采集探头对所述输电线路上的点云数据进行采集;所述标记模块用于对点云数据中的深度位置或者异常检测位置进行标记;
本发明提供一种适用于影像和激光点云数据融合的输电树障识别***计算机可读存储介质,所述计算机可读存储介质中包括所述适用于影像和激光点云数据融合的输电树障识别***的控制方法和数据处理程序,所述适用于影像和激光点云数据融合的输电树障识别***控制方法和数据处理程序被处理器执行时,实现影像和激光点云数据融合的输电树障识别***的控制方法和数据处理的步骤。
实施例二:本实施例应当理解为至少包含前述任一一个实施例的全部特征,并在其基础上进一步改进,结合附图1-9,本实施例提供一种基于影像和激光点云数据融合的输电树障识别***,其包括检测装置、采集装置、采样装置、分析装置和处理器,所述检测装置用于对输电线路进行检测;所述采集装置用于对所述输电线路上的路径或者障碍进行数据的采集;所述采样装置用于对树障与所述输电线路的数据进行采样;所述分析装置对所述输电线路进行定位并与所述采样装置的数据进行辅助融合;所述处理器分别与所述检测装置、所述采集装置、所述采样装置、所述分析装置控制连接,并基于所述处理器对各个装置进行集中的控制,使得对所述树障能够被精准的识别;另外,所述检测装置与所述采集装置相互配合,使得在对所述输电线路的点云数据能够被采集;同时,所述采样装置与所述分析装置相互配合,使得所述输电线路或者所述树障的图像数据能够采集并分析;
所述识别***还包括导引装置,所述导引装置用于对所述采集装置或者所述采样装置的数据进行回传存储;同时,还能够对输电线路的范围或者侵入所述输电线路范围的树障进行图像数据的采集;另外,所述导引装置还对所述移动平台的移动路径或者移动的范围进行限定,保证所述移动平台在设定的范围内进行识别的操作;所述导引装置包括导引台、通信机构,所述导引台用于对所述移动平台的位置进行支撑;所述通信机构用于对所述导引台与所述移动装置的移动平台的位置进行通信连接,并指导所述检测装置的移动平台能够按照既定的路线进行移动或者飞行;在本实施例中,所述移动平台包括但是不局限于以下列举的几种:无人机、遥控飞机和固定翼飞机等;在本实施例中,优选的采用无人机;另外,所述无人机在使用前需要与所述导引台建立通信传输链路,使得所述无人机的采集的数据能够与地面进行数据的传输,同时,还能对所述无人机的移动的范围或者移动的路径进行导引,提升所述无人机在设定的范围中进行精准的检测,提升对树障的检测,保证所述输电线路的安全;所述导引装置还包括导引机构,所述导引机构用于对所述无人机的移动范围或者识别范围进行限定,使得识别的效率和精度能够提升;
所述采样装置包括采样机构和数据采集模块,所述采样机构用于对所述树障和所述输电线路的位置数据进行采样;所述数据采集模块对所述采样机构的数据进行汇总并存储在所述存储器中;所述采样机构包括采样探头和转向机构,所述采样探头用于对所述树障进行识别;所述转向机构用于对所述采样机构的检测角度进行调整;所述采样机构与所述数据采集模块配合,使得所述采样机构采集的数据能够通过所述数据采集模块与所述通信机构进行数据的传输;另外,所述采样装置也设置在所述移动平台上,并在所述移动平台的带动下对所述输电线路的进行数据的采集;所述采样探头与所述转向机构相互配合,使得所述采样探头的采样角度能够被精准的控制,同时,也可以通过遥控手柄对所述采样探头的检测角度进行调整;所述采集装置设置在所述无人机上并跟随所述无人机的移动对所述输电线路进行数据的采集;另外,所述采样探头与所述转向机构相互配合,使得所述采样探头的角度能够被调整;通过控制手柄对所述无人机的控制是本领域技术人员所熟知的技术手段,本领域的技术人员可以查询相关的技术手册获知该技术,因而在本实施例中不再一一赘述;另外,在所述控制手柄还与显示屏进行配合使用,用于对所述移动平台的移动的位置进行检测;所述显示屏还与所述移动平台、所述采样装置、所述采集装置通信连接,并实时显示所述移动平台采集的图像数据;
另外,所述转向机构包括支撑架、一组转动件、转动驱动机构和角度检测件,所述支撑架用于对所述采样探头进行支撑;一组所述转动件设置在所述支撑架的两侧,并对所述支撑架进行调整;所述转动驱动机构分别与一组所述转动件驱动连接形成驱动部,所述驱动部对所述支撑架进行同步的驱动;所述角度检测件对所述驱动部的转动角度进行检测;另外,所述处理器与所述驱动部控制连接,并控制所述驱动部驱动所述支撑架,使得设置在所述支撑架上的采集探头的检测角度能够被调整;另外,所述无人机的上设有供所述转向机构和所述采样探头进行容纳的空腔;另外,所述空腔朝向所述无人机的下底部设置有开口,用于对所述采样探头的镜头进行放置,使得所述采集探头能够对所述无人机的移动过程中的进行数据的采集;另外,所述开口设置有透明的密封板,用于对放置所述采样探头和所述转向机构进行防护;
采集所述采样探头的多组图像数据,并对多组数据进行异常点位置的检测,若存在异常点,则对异常点进行定位;在本实施例中,所述异常点位置包括但是不局限于以下列举的几种:树障对所述输电线路的干涉、输电线路上的异常阴影等;另外,所述处理器还对所述采集探头的多组图像数据进行处理操作,所述处理操作包括但是不局限于以下列举的几种:对图像进行灰度化、对图像数据的异常区域位置进行裁剪等操作;对所述异常点进行识别的过程中,可以通过处理器的处理操作对图像数据的异常区域位置提取,并识别该区域的异常点,从而能够对异常点位置进行精准的定位,还进一步的提升对异常点的检测效率;
采集影像的基础数据,并对检测尺度为ρ的范围内,计算以异常点为圆心,ω(r)*ρ为半径的圆形的相邻区域内的图像的幅值和幅角;存在:
Figure GDA0003668688220000111
其中,G(x,y)为图像梯度的幅值;L表示异常点所在的尺度;x为图像像素坐标系中的横坐标, y为图像像素坐标系中的纵坐标
Figure GDA0003668688220000112
其中,θ(x,y)为图像梯度的幅角;L表示异常点所在的尺度;
Figure GDA0003668688220000121
其中,r为检测的步长;rmax为最大的允许步长,取值范围为1-4.5 倍的r;另外,在对所述图像数据进行选择的过程中,通过对图像中的异常阴影位置的朝向偏移,且基于当前步长的位置与所述阴影位置之间的距离进行多等分的步长的划分,使得步长在检测的过程中能够对所述异常位置进行精准的定位,通过对r与异常阴影位置进行划分,还防止对边沿位置的不精准检测造成的误差;当对某一区域进行检测后,通过所述处理器对图像数据下一相邻的异常区域进行检测;
所述检测装置包括移动机构和稳定机构,所述移动机构用于对所述采集装置进行调整;所述稳定机构用于对所述移动机构的检测过程进行稳定;所述移动机构包括移动平台,所述采集装置设置在所述移动平台上,并跟随所述移动平台的移动而对移动路径上的数据进行采集;所述移动机构用于对所述采集装置进行支撑,使得所述采集装置能够对所述树障或者所述输电线路进行图像数据的采集;所述稳定机构与所述移动机构相互配合,使得设置在所述移动机构上的所述采集装置能够进行稳定的采集;所述移动平台包括但是不局限于以下列举的几种:无人机、遥控飞机和固定翼飞机等;在本实施例中,优选的采用无人机;所述稳定机构与所述采集探头限位连接,使得所述采样探头在所述无人机进行移动或者飞行的过程中能够进行缓冲,保证所述采样探头在检测的过程中能够稳定,使得采集的图像数据能够更加准确和清晰;
所述稳定机构包括缓冲构件和防抖模块,所述缓冲构件用于对所述移动机构的移动过程中产生的震动进行缓冲;所述防抖模块用于对所述采集装置的位置进行防护;所述缓冲构件包括活动腔、活动件、弹性模块和充气模块,所述活动件与所述弹性模块嵌套形成活动部,所述活动部设置在所述活动腔中;所述充气模块通过管道连通所述活动腔;所述稳定机构设置在所述无人机的空腔内,并通过所述活动件的一端与所述转向构件进行连接,使得所述转向构件连同所述采样探头在进行图像数据的采样的过程中获得最佳的检测效果;所述活动件的一端与所述支撑件连接,另一端与所述空腔的底部连接,且所述无人机在进行动作的过程中能够对无人机的震动进行降低,使得所述采样探头能够采集最佳的图像数据;
所述防抖模块包括检测传感器和微控制器,所述微控制器被构造为通过向至少一个缓冲构件提供一个或多个命令来控制所述缓冲构件的缓冲量增加或减小;所述检测传感器用于对所述采样装置的震动进行检测,若震动的幅超过设定的阈值,则通过所述微控制器对所述缓冲构件进行减振或者限制幅度的操作;所述防抖模块还与所述处理器控制连接,并基于所述处理器的控制下对所述采集装置进行减振的操作;所述防抖模块还包括惯性测量单元,所述惯性测量单元用于对所述无人机的飞行的惯性进行检测;至少一个检测传感器位于所述无人机上并被配置为向微控制器提供传感器信息;所述传感器信息包括表示横向加速度值的加速度信息;另外,所述微控制器被配置为通过基于将横向加速度值与第一阈值进行比较来确定无人机正在转弯来确定转弯事件;所述传感器信息还包括表示偏航率的偏航率信息;在其他实施例中,所述微控制器还被配置为通过基于将偏航率与第二阈值进行比较来确定无人机正在转弯来确定转弯事件;转向传感器;传感器信息还包括指示与方向盘对应的转向位置或转向速率的转向信息;所述微控制器被配置为通过基于将转向位置与第三阈值进行比较来确定无人机正在转弯来确定转弯事件;其中,所述检测传感器信息包括指示偏航率的偏航率信息和指示转向位置或转向率的转向信息,并且其中微控制器进一步被配置为使横摆率信息优先于转向信息,使得微控制器被配置为基于指示在第一方向上转弯的横摆率确定无人机正在沿第一方向执行转弯,并且即使转向位置或转向率指示转向第二个方向或不指示转向;其中,所述检测传感器信息包括指示转向位置或转向速率的转向信息和指示横向加速度值的加速度信息,并且其中,所述微控制器进一步被配置为将加速度信息优先于转向信息,使得微控制器被配置为基于指示在第一方向上转弯的横向加速度值确定车辆正在沿第一方向执行转弯,并且即使转向位置或转向率指示转向第二个方向或不指示转向;
所述分析装置包括定位机构、辅助机构,所述定位机构用于对输电线路的位置进行定位;所述辅助机构用于对所述定位机构进行辅助定位;所述定位机构包括定位识别件,所述定位识别件设置在所述辅助机构上,并与所述采集装置进行数据传输;所述定位装置与所述检测装置进行配合,使得所述无人机能够基于所述定位装置的定位数据对设定范围内的图像数据进行采集;在本实施例中,所述定位机构与所述辅助机构相互配合,保证所述无人机的飞行范围能够进行限定,提升对限定区域中的输电线路或者树障进行采集;
另外,所述辅助机构用于对所述定位机构的位置进行辅助支撑,使得所述定位机构发出的信号能够被所述无人机所捕获,且所述无人机基于所述定位机构的定位数据进行往复的检测;同时,所述辅助机构与所述定位机构配对使用,所述辅助机构包括若干个辅助定位件和支撑立杆,各个所述辅助定位件设置在所述支撑立杆上,并对所述输电架的范围进行标定;各个所述支撑立杆的一端设置有限位构件,所述限位构件与地面接触,并保持竖直向上的状态;各个所述辅助定位件沿着所述支撑立杆一端的周侧设置,并与限位环进行铰接,使得所述支撑立杆能够始终竖直向上设置;另外,所述定位机构设置在所述支撑立杆的另一端,且所述定位机构与所述无人机进行通信连接;另外,设置在各个支撑立杆上的定位机构为一个定位节点,各个节点相互搭配形成一个定位网络,所述定位网络还与所述无人机进行导航、定位或者导引的作用,使得所述无人机以及设置在所述采样机构能够对所述输电线路或者树障进行采集;在本实施例中,所述支撑立杆上设置有供各个所述辅助定位件进行连接的支撑环,所述支撑环用于在对所述支撑立杆进行支撑限位的过程中能够在所述支撑立杆上进行滑动,使得所述支撑立杆能够被稳定的支撑,且始终保持在竖直向上的姿态;
所述采集装置包括采集机构和调整机构,所述调整机构用于对所述采集机构的位置进行调整;所述采集机构用于对所述输电线路的位置或者图像数据进行采集;所述采集机构包括采集探头和标记模块,所述采集探头对所述输电线路上的点云数据进行采集;所述标记模块用于对点云数据中的纵向深度位置或者异常检测位置进行标记;所述采集装置与所述移动装置相互配合,使得所述移动平台在移动的过程中,保证所述输电线路的位置或者图像数据能够被采集;所述采集装置还基于所述输电线路的区域范围进行检测,使得所述输电线路上的状态能够被检测出来;另外,所述标记模块设置在所述输电架上,并通过与所述采集探头对所述标记模块的位置进行识别,保证所述无人机在不同的所述标记模块之间进行标记,有效的提升所述无人机对不同位置或者输电线路的纵向方向上进行检测;通过所述采集装置对所述输电线路在纵向方向的图像数据进行采集,使得所述树障对输电线路的侵犯的图像数据能够被精准的采集;各个设置在所述输电架上的标记模块与所述无人机配合,并进行通信连接,使得所述无人机能够沿着各个所述标记模块设定的安全距离内进行检测,提升对该位置的精准的数据的采集,并检测所述树障对所述输电线路的纵向的间距能够被检测出来;
本发明提供一种适用于影像和激光点云数据融合的输电树障识别***计算机可读存储介质,所述计算机可读存储介质中包括所述适用于影像和激光点云数据融合的输电树障识别***的控制方法和数据处理程序,所述适用于影像和激光点云数据融合的输电树障识别***控制方法和数据处理程序被处理器执行时,实现影像和激光点云数据融合的输电树障识别***的控制方法和数据处理的步骤;所述计算机存储介质用于对检测的程序进行存储,使得在对所述采样装或者所述采集装置的采集的数据进行分析或者调控,使得对输电线路上的树障的数据能够被采集,并基于所述采集的数据进行精准的调整。
实施例三:本实施例应当理解为至少包含前述任一一个实施例的全部特征,并在其基础上进一步改进,结合附图1-9,本实施例提供一种基于影像和激光点云数据融合的输电树障识别***,其包括检测装置、采集装置、采样装置、分析装置和处理器,所述检测装置用于对输电线路进行检测;所述采集装置用于对所述输电线路上的路径或者障碍进行数据的采集;所述采样装置用于对树障与所述输电线路的数据进行采样;所述分析装置对所述输电线路进行定位并与所述采样装置的数据进行辅助融合;所述处理器分别与所述检测装置、所述采集装置、所述采样装置、所述分析装置控制连接,并基于所述处理器对各个装置进行集中的控制,使得对所述树障能够被精准的识别;另外,所述检测装置与所述采集装置相互配合,使得在对所述输电线路的点云数据能够被采集;同时,所述采样装置与所述分析装置相互配合,使得所述输电线路或者所述树障的图像数据能够被采集;
所述识别***还包括导引装置,所述导引装置用于对所述采集装置或者所述采样装置的数据进行回传存储;同时,还能够对输电线路的范围或者侵入所述输电线路范围的树障进行图像数据的采集;另外,所述导引装置还对所述移动平台的移动路径或者移动的范围进行限定,保证所述移动平台在设定的范围内进行识别的操作;所述导引装置包括导引台、通信机构,所述导引台用于对所述移动平台的位置进行支撑;所述通信机构用于对所述导引台与所述移动装置的移动平台的位置进行通信连接,并指导所述检测装置的移动平台能够按照既定的路线进行移动或者飞行;在本实施例中,所述移动平台包括但是不局限于以下列举的几种:无人机、遥控飞机和固定翼飞机等;在本实施例中,优选的采用无人机;另外,所述无人机在使用前需要与所述导引台建立通信传输链路,使得所述无人机的采集的数据能够与地面进行数据的传输,同时,还能对所述无人机的移动的范围或者移动的路径进行导引,提升所述无人机在设定的范围中进行精准的检测,提升对树障的检测,保证所述输电线路的安全;所述导引装置还包括导引机构,所述导引机构用于对所述无人机的移动范围或者识别范围进行限定,使得识别的效率和精度能够提升;
所述采集装置包括采集机构和调整机构,所述调整机构用于对所述采集机构的位置进行调整;所述采集机构用于对所述输电线路的位置或者图像数据进行采集;所述采集机构包括采集探头和标记模块,所述采集探头对所述输电线路上的点云数据进行采集;所述标记模块用于对点云数据中的深度位置或者异常检测位置进行标记;所述采集装置与所述移动装置相互配合,使得所述移动平台在移动的过程中,保证所述输电线路的位置或者图像数据能够被采集;所述采集装置还基于所述输电线路的区域范围进行检测,使得所述输电线路上的状态能够被检测出来;另外,所述标记模块设置在所述输电架上,并通过与所述采集探头对所述标记模块的位置进行识别,保证所述无人机在不同的所述标记模块之间进行标记,有效的提升所述无人机对不同位置或者输电线路的纵向方向上进行检测;通过所述采集装置对所述输电线路在纵向方向的图像数据进行采集,使得所述树障对输电线路的侵犯的图像数据能够被精准的采集;各个设置在所述输电架上的标记模块与所述无人机配合,并进行通信连接,使得所述无人机能够沿着各个所述标记模块设定的安全距离内进行检测,提升对该位置的精准的数据的采集,并检测所述树障对所述输电线路的纵向的间距能够被检测出来;所述采集探头包括但是不局限于以下列举的几种:摄像机、检测传感器、具有摄像功能的照相机等仪器;
通过采集探头采集所述标记模块的位置,并对计算第K帧图像与第K- 1帧图像之间的差别,得到车分后的图像DK,然后对车分后的图像DK进行分割使得所述图像DK进行被二值化处理;通过这样的设置使得当差分图像DK的某一个像素DK大于设定的阈值是,则认为像素点为检测到的目标,反之则认为是背景像素;在差分图像DK二值化后还可以使用数学形态学对其进行滤波处理,然后得到最终的图像;最后,对DK图像进行区域通兴分析,当某一连通的区域的面积大于某一设定的阈值,则成为检测目标,并把该区域设置为检测区域范围,并确定最小的外接矩形;
DK(x,y)=|fk(x,y)-fk-1(x,y)|
其中,fk(x,y),fk-1(x,y)为连续的两帧图像;DK(x,y)为帧差图像;
Figure GDA0003668688220000181
其中,T为而知还设定的阈值,其值可以认为进行设定;
另外,在本实施例中,对所述标记模块进行检测或者定位还对输电线路或者其他的树障进行噪声的过滤;过滤方法包括以下步骤:
S1:对序列图像进行预处理,去掉图像的随机噪声;
S2:从序列图像序列中选取出背景图像Bk(x,y),使得背景图像中只包含固定的背景图像;
S3:在视频的图像序列中选取连续的两帧图像,其中,前一帧图像 Gk-1(x,y),当前帧图像为Gk(x,y);
S4:计算出当前帧与背景帧的差值FD(x,y),从图像中提取出完整的目标;
S5:计算当前帧的差值FG(x,y),得到目标的变化量;
S6:对帧差FD(x,y)与FG(x,y)的交集得到运动目标的粗糙的运动区域图像;
S6:通过降噪算法去掉背景中的噪声;
其中,
Figure GDA0003668688220000191
Figure GDA0003668688220000192
公式中,T为阈值,对于给定的视频序列图像,假设像素点K处没有运动,其帧差dk服从均值为0,方差为δ2的常态分布N(0,δ2):
Figure GDA0003668688220000193
其中,H0表示无运动假设,δ2为帧差的统计方差,其值取值为采样探头噪声方差的2倍;T取值范围为5-15之间的任意正整数值。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。也就是说上面讨论的方法,***和设备是示例。各种配置可以适当地省略,替换或添加各种过程或组件。例如,在替代配置中,可以以与所描述的顺序不同的顺序执行方法,和/或可以添加,省略和/或组合各种部件。而且,关于某些配置描述的特征可以以各种其他配置组合,如可以以类似的方式组合配置的不同方面和元素。此外,随着技术发展其中的元素可以更新,即许多元素是示例,并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而,可以在没有这些具体细节的情况下实践配置例如,已经示出了众所周知的电路,过程,算法,结构和技术而没有不必要的细节,以避免模糊配置。该描述仅提供示例配置,并且不限制权利要求的范围,适用性或配置。相反,前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。
综上,其旨在上述详细描述被认为是例示性的而非限制性的,并且应当理解,以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种基于影像和激光点云数据融合的输电树障识别***,其特征在于,包括检测装置、采集装置、采样装置、分析装置和处理器,所述检测装置用于对输电线路进行检测;所述采集装置用于对所述输电线路上的路径或者障碍进行数据的采集;所述采样装置用于对树障与所述输电线路的数据进行采样;所述分析装置对所述输电线路进行定位并与所述采样装置的数据进行辅助融合;所述采样装置包括采样机构和数据采集模块,所述采样机构用于对所述树障和所述输电线路的位置数据进行采样;所述数据采集模块对所述采样机构的数据进行汇总并存储在存储器中;所述采样机构包括采样探头和转向机构,所述采样探头用于对所述树障进行识别;所述转向机构用于对所述采样机构的检测角度进行调整;
采集所述采样探头的多组图像数据,并对多组数据进行异常点位置的检测,若存在异常点,则对异常点进行定位;
采集影像的基础数据,并对检测尺度为ρ的范围内,计算以异常点为圆心,ω(r)*ρ为半径的圆形的相邻区域内的图像的幅值和幅角;存在:
Figure FDA0003668688210000011
其中,G(x,y)为图像梯度的幅值;
Figure FDA0003668688210000012
其中,θ(x,y)为图像梯度的幅角;L表示异常点所在的尺度;
Figure FDA0003668688210000013
其中,r为检测的步长;rmax为最大的允许步长,取值范围为1-4.5倍的r;所述检测装置包括移动机构和稳定机构,所述移动机构用于对所述采集装置进行调整;所述稳定机构用于对所述移动机构的检测过程进行稳定;所述移动机构包括移动平台,所述采集装置设置在所述移动平台上,并跟随所述移动平台的移动而对移动路径上的数据进行采集;所述稳定机构包括缓冲构件和防抖模块,所述缓冲构件用于对所述移动机构的移动过程中产生的震动进行缓冲;所述防抖模块用于对所述采集装置的位置进行防护;所述缓冲构件包括活动腔、活动件、弹性模块和充气模块,所述活动件与所述弹性模块嵌套形成活动部,所述活动部设置在所述活动腔中;所述充气模块通过管道连通所述活动腔。
2.根据权利要求1所述的一种基于影像和激光点云数据融合的输电树障识别***,其特征在于,所述分析装置包括定位机构、辅助机构,所述定位机构用于对输电线路的位置进行定位;所述辅助机构用于对所述定位机构进行辅助定位;所述定位机构包括定位识别件和绑定构件,所述定位识别件设置在所述绑定构件上,并与所述采集装置进行数据传输;所述绑定构件用于对输电线路的输电架进行绑定。
3.根据权利要求2所述的一种基于影像和激光点云数据融合的输电树障识别***,其特征在于,所述辅助机构与所述定位机构配对使用,所述辅助机构包括若干个辅助定位件和支撑立杆,各个所述辅助定位件设置在所述支撑立杆上,并对所述输电架的范围进行标定;各个所述支撑立杆的一端设置有限位构件,所述限位构件与地面接触,并保持竖直向上的状态。
4.根据权利要求1所述的一种基于影像和激光点云数据融合的输电树障识别***,其特征在于,所述采集装置包括采集机构和调整机构,所述调整机构用于对所述采集机构的位置进行调整;所述采集机构用于对所述输电线路的位置或者图像数据进行采集;所述采集机构包括采集探头和标记模块,所述采集探头对所述输电线路上的点云数据进行采集;所述标记模块用于对点云数据中的深度位置或者异常检测位置进行标记。
5.一种适用于权利要求1-4之一所述的基于影像和激光点云数据融合的输电树障识别***的计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括所述基于影像和激光点云数据融合的输电树障识别***的控制方法和数据处理程序,所述基于影像和激光点云数据融合的输电树障识别***控制方法和数据处理程序被处理器执行时,实现所述基于影像和激光点云数据融合的输电树障识别***的控制方法和数据处理的步骤。
CN202110816656.0A 2021-07-20 2021-07-20 一种基于影像和激光点云数据融合的输电树障识别*** Active CN113449688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816656.0A CN113449688B (zh) 2021-07-20 2021-07-20 一种基于影像和激光点云数据融合的输电树障识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816656.0A CN113449688B (zh) 2021-07-20 2021-07-20 一种基于影像和激光点云数据融合的输电树障识别***

Publications (2)

Publication Number Publication Date
CN113449688A CN113449688A (zh) 2021-09-28
CN113449688B true CN113449688B (zh) 2022-07-22

Family

ID=77816795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816656.0A Active CN113449688B (zh) 2021-07-20 2021-07-20 一种基于影像和激光点云数据融合的输电树障识别***

Country Status (1)

Country Link
CN (1) CN113449688B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985907B (zh) * 2021-10-28 2024-02-02 国网江苏省电力有限公司泰州供电分公司 一种基于无人机多载荷数据的树障风险预测和优化方法
CN115188091B (zh) * 2022-07-13 2023-10-13 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476091A (zh) * 2020-03-05 2020-07-31 中国电力科学研究院有限公司 一种输电线路通道树障信息的处理方法及***
CN111578861A (zh) * 2020-05-25 2020-08-25 广东电网有限责任公司 一种配电网树障检测方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476091A (zh) * 2020-03-05 2020-07-31 中国电力科学研究院有限公司 一种输电线路通道树障信息的处理方法及***
CN111578861A (zh) * 2020-05-25 2020-08-25 广东电网有限责任公司 一种配电网树障检测方法及***

Also Published As

Publication number Publication date
CN113449688A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN112164015B (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN113449688B (zh) 一种基于影像和激光点云数据融合的输电树障识别***
CN104865971B (zh) 一种输电线路巡检无人机的控制方法及无人机
JP6826421B2 (ja) 設備巡視システム及び設備巡視方法
CN110879991B (zh) 一种障碍物识别方法及***
CN109739254B (zh) 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN107703951B (zh) 一种基于双目视觉的无人机避障方法及***
CN106323243A (zh) 一种基于无人机的大坝变形观测预警***及方法和装置
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测***和工作方法
CN107139666A (zh) 越障识别***及方法
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
CN113066120B (zh) 一种基于机器视觉的智能杆塔倾斜检测方法
CN113076899B (zh) 一种基于目标跟踪算法的高压输电线路异物检测方法
CN110953993A (zh) 一种用于输电线路弧垂和限距的检测装置和方法
CN112631314A (zh) 基于多线激光雷达与事件相机slam的机器人控制方法、***
CN113778137A (zh) 输电线路的无人机自主巡检方法
CN107256034B (zh) 一种基于无人机的变配电室多点环境数据采集***
CN113985907A (zh) 一种基于无人机多载荷数据的树障风险预测和优化方法
CN106773709A (zh) 一种沉浸式无人机驾驶飞行***
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
CN113361826B (zh) 一种基于多维特征融合和神经网络的树木生长预测***
CN115188091B (zh) 一种融合电力输变配设备的无人机网格化巡检***及方法
CN117253203A (zh) 一种基于视觉传感器的障碍物检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220812

Address after: 225700 No. 2, Fenghuang West Road, Taizhou City, Jiangsu Province

Patentee after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH

Address before: 225300 Taizhou Power Supply Branch of State Grid Jiangsu Electric Power Co., Ltd., No. 2, Fenghuang West Road, Taizhou City, Jiangsu Province

Patentee before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. TAIZHOU POWER SUPPLY BRANCH

Patentee before: ZHONGXIN HANCHUANG (BEIJING) TECHNOLOGY CO.,LTD.