CN113411501B - 基于嵌入式及双光谱成像的无人机载电力巡检方法及*** - Google Patents

基于嵌入式及双光谱成像的无人机载电力巡检方法及*** Download PDF

Info

Publication number
CN113411501B
CN113411501B CN202110725440.3A CN202110725440A CN113411501B CN 113411501 B CN113411501 B CN 113411501B CN 202110725440 A CN202110725440 A CN 202110725440A CN 113411501 B CN113411501 B CN 113411501B
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
target
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110725440.3A
Other languages
English (en)
Other versions
CN113411501A (zh
Inventor
杨甬英
江佳斌
曹频
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zernike Optical Technology Co ltd
Original Assignee
Zernike Optical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zernike Optical Technology Co ltd filed Critical Zernike Optical Technology Co ltd
Priority to CN202110725440.3A priority Critical patent/CN113411501B/zh
Publication of CN113411501A publication Critical patent/CN113411501A/zh
Application granted granted Critical
Publication of CN113411501B publication Critical patent/CN113411501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于嵌入式及双光谱成像的无人机载电力巡检方法及***。本发明包括双光谱视频采集模块、图像处理模块、双模式视频输出模块和通信模块；通过双光谱视频采集模块分别由可见光CCD和紫外光ICCD将可见光图像以及电晕放电产生的紫外光图像采集到***内，经图像处理模块后得到处理完成的视频图像，最后经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路由通信模块经编码后以码流形式进行推送。本发明实现了针对绝缘子的异常电晕放电位置检测和针对绝缘子和输电杆塔的目标识别，同时可以传递位姿信息、接收传感器信息以及存储视频文件，解决了传统电力巡检方法中巡检效率低、危险性高的问题。

Description

基于嵌入式及双光谱成像的无人机载电力巡检方法及***
技术领域
本发明属于电力巡检领域，特别涉及一种基于嵌入式及双光谱成像的无人机载电力巡检方法及***。
背景技术
高压输电线路由于常年经受各种自然条件的影响，容易出现老化、绝缘子破损等情况，进而产生输电线路的异常放电。在电力巡检领域中，常见的传感器包括可见光相机、红外成像仪、紫外成像仪和空间扫描仪等。其中，可见光相机往往用于对肉眼可见的缺陷进行识别或对目标进行拍摄。红外成像仪则用来对电力线路的导线、绝缘子等目标进行红外成像，通过对热量分布的特征进行分析，来判断目标的温度是否在正常的范围内。紫外成像仪则用于捕捉导地线、金具以及绝缘子等部件的异常放电情况，同时可以可见光或红外光图像进行对比来检测放电位置和原因。空间扫描仪则可以通过扫描输电杆塔、输电线路以及线路周围的地形地貌，来构建整体的三维模型，用于测量输电线路与周围物体的安全距离，以及附近树木的生长情况。
紫外光成像仪所检测的大多是日盲区紫外光，其波长范围为240～280nm。由于地球大气层中的臭氧层对该波段的太阳光幅射有着强烈的吸收作用，同时，臭氧层以下的大气层也会对这一波段的太阳光幅射产生强烈的散射作用，因此当太阳光到达近地面时，该波段的幅射可被完全吸收。而由于电晕放电现象所产生的紫外辐射有小部分的波长小于280nm，就使得240nm～280nm波段的日盲区紫外光成为了输电线路电晕放电检测的理想波段。
常见的检测方法中，主要通过将紫外光图像与可见光图像直接融合的方法来实现放电的检测，这种方法虽然可以很直观的看到放电的情况，但光斑图像往往会很大，有时甚至遮挡住可见光图像上的目标，严重影响检测的效果。另外，在当前的无人机巡检技术中，采用的都是可见光相机或红外摄像机，但检测的缺陷种类有一定的局限性，往往为异常放热情况或部件的缺失情况，且仍然需要辅助以人力调整拍摄方向来进行输电线路的检测。
在对此方法及***的研究实践过程中，本发明的发明人发现：由于绝缘子污损等情况难以用肉眼观察，而其产生的电晕放电情况则十分适合利用日盲区紫外光进行检测。同时，利用图像处理等方法对异常放电位置进行检测然后标记，可以很好的避免紫外光斑图像过大导致可见光图像被覆盖的情况。最终配合针对输电杆塔和绝缘子的目标识别方法可以实时返回图像中的目标位置，进而对无人机云台的位姿进行实时调整，进一步实现自动化巡航检测。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于嵌入式及双光谱成像的无人机载电力巡检方法及***。本发明能够解决传统电晕放电检测利用人工的电力巡检方法效率低的问题，同时为无人机电力巡检提供了新的自动化解决方案。
基于嵌入式及双光谱成像的无人机载电力巡检***，包括双光谱视频采集模块、图像处理模块、双模式视频输出模块和通信模块。双光谱视频采集模块分别通过可见光CCD和紫外光ICCD将可见光图像以及电晕放电产生的紫外光图像采集到***内，经图像处理模块后得到处理完成的视频图像，最后经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路编码后通过通信模块以码流形式进行推送。
所述的图像处理模块中，对可见光光谱图像进行针对输电杆塔和绝缘子的目标识别，对日盲区紫外光光谱图像进行绝缘子异常电晕放电位置检测。
所述的针对输电杆塔和绝缘子的目标识别及云台的实时追踪方法主要设计为两个线程，其中第一个线程为目标识别线程，通过嵌入式平台的NNIE模块读取移植完成后的YOLOv3模型文件，对输入的每一帧图像进行识别计算，待计算完成后将识别出的目标位置坐标信息存放至目标位置结构体中。第二个线程为目标标记线程，负责视频的正常输出，同时通过嵌入式平台VGS模块读取目标位置结构体中的坐标信息，该结构体被目标识别线程实时刷新，待位置坐标换算完成后在原图像上进行位置标识。根据目标在图像中出现的位置计算目标框体中心相对于图像中心的方向和距离，将图像的左上顶点定义为原点O(0,0)，像素是坐标轴的单位，目标框的坐标为(xbox,ybox,wbox,hbox)，目标框矩形的质心坐标为B(x,y)，则x＝xbox+wbox/2，y＝ybox+hbox/2，图像的质心坐标为A(a,b)，则Δx和Δy分别为：
Figure BDA0003138437690000031
Figure BDA0003138437690000032
最终通过向无人机发送指令来调整无人机云台的俯仰角ψ和偏航角θ，使目标质心与图像质心位置相统一。
所述的针对绝缘子的异常放电位置检测方法中，通过图像阈值分割、连通域标记以及形态学滤波等图像处理方法对日盲区紫外光的光斑图像进行放电位置检测，主要流程为：
1)对连续三帧的图像进行叠加，保证光斑图像的均匀；
2)通过图像阈值分割和形态学滤波对图像进行预处理，同时减少光斑图像中离散的小光斑对后续计算的影响；
3)通过连通域标记对图像中每个光斑的面积进行统计，输出面积大于阈值的光斑的外接矩形坐标；
4)对当前的异常放电情况进行判断，若存在面积大于阈值的光斑，判断此时的异常放电情况有效。否则，判断此时不存在异常放电情况。
5)最后对返回的每一个光斑进行质心(X0,Y0)求取，
Figure BDA0003138437690000041
Figure BDA0003138437690000042
这里将图像看作离散二维随机变量(X,Y)，其中P(X,Y)表示图像像素的密度函数，M10和M01为X和Y的一阶矩，M00为X和Y的空间矩。对质心坐标点进行位置换算，计算出原图像中的质心位置，
x2＝x1×(W1/W2) 公式(5)
y2＝y1×(H1/H2) 公式(6)
其中x2和y2表示原图像中的矩形起始坐标，x1和y1表示缩放后的图像中矩形起始坐标，W2和H2分别表示原图像的宽和高，W1和H1分别表示缩放后的图像的宽和高。最终在可见光图像上对放电位置进行标记。
所述的双光谱视频采集模块可分别通过可见光CCD和紫外光ICCD采集双光谱图像。通过在紫外光ICCD前放置滤光片来采集波长在240nm-280nm的日盲区紫外光。其中，日盲区紫外光图像用于检测绝缘子等部件的异常电晕放电情况，可见光图像用于识别电力巡检中的关键目标并与紫外光图像进行对比分析，检测放电的具***置。
所述的双模式视频输出模块包括两种输出模式。第一种输出方式通过将视频信号与QT界面叠加，实时的显示在液晶屏上来支持手持模式下的人工巡检使用需求；第二种输出方式先将视频信号进行H264编码，利用rspt协议通过以太网将编码后的视频信号推送至无人机平台，最终在无人机平台上对码流信号进行解码后通过无人机自身的图像传输***将视频信号传递至远程的操作端，以满足负载模式下的无人机巡检需求。
所述的通信模块通过串口将俯仰角ψ和偏航角θ的信息传递至无人机。无人机平台在接收到俯仰角和偏航角的信息后，通过其接口实现二维云台转角的调整，使目标始终位于图像的正中心。同时，通信模块通过串口读取无人机平台各个传感器的相关数据，实现时间同步、空间坐标定位、障碍物检测等功能；通过SD接口将图像处理模块输出的视频信号存储在大容量存储设备中。
基于嵌入式及双光谱成像的无人机载电力巡检方法，包括如下步骤：
步骤1、采集双光谱视频；
双光谱视频采集模块通过可见光CCD采集可见光图像，双光谱视频采集模块通过紫外光ICCD采集电晕放电产生的紫外光图像；
步骤2、图像处理；
图像由图像处理模块进行处理，对可见光光谱图像进行针对输电杆塔和绝缘子的目标识别，对日盲区紫外光光谱图像进行绝缘子异常电晕放电位置检测；
步骤3、双模式视频输出；
将经图像处理模块处理完后的视频图像经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路编码后通过通信模块以码流形式进行推送。
进一步的，步骤2具体实现如下：
所述的输电杆塔和绝缘子的目标识别及云台的实时追踪，具体设计有两个线程：第一个线程为目标识别线程，通过嵌入式平台的NNIE模块读取移植完成后的YOLOv3模型文件，对输入的每一帧图像进行识别计算，待计算完成后将识别出的目标位置坐标存放至目标位置结构体中；第二个线程为目标标记线程，负责视频的正常输出，同时通过嵌入式平台VGS模块读取目标位置结构体中的坐标信息，该结构体被目标识别线程实时刷新，待坐标位置换算完成后在原图像上进行位置标识；根据目标在图像中出现的位置计算目标框体中心相对于图像中心的方向和距离，将图像的左上顶点定义为原点O(0,0)，像素是坐标轴的单位，目标框的坐标为(xbox,ybox,wbox,hbox)，目标框矩形的质心坐标为B(x,y)，则x＝xbox+wbox/2，y＝ybox+hbox/2，图像的质心坐标为A(a,b)，则Δx和Δy分别为：
Figure BDA0003138437690000061
Figure BDA0003138437690000062
最终通过向无人机发送指令来调整无人机云台的俯仰角ψ和偏航角θ，使目标质心与图像质心位置相统一；
所述的绝缘子的异常放电位置检测，通过图像阈值分割、连通域标记以及形态学滤波的图像处理对日盲区紫外光的光斑图像进行放电位置检测，具体实现流程为：
1)由图像处理模块读取连续三帧的图像，并对连续三帧的图像进行叠加，保证光斑图像的均匀；
2)通过图像阈值分割和形态学滤波对图像进行预处理，同时减少光斑图像中离散的小光斑对后续计算的影响；
3)通过连通域标记对图像中每个光斑的面积进行统计，输出面积大于阈值的光斑的外接矩形坐标；
4)对当前的异常放电情况进行判断，若存在面积大于阈值的光斑，判断此时的异常放电情况有效；否则，判断此时不存在异常放电情况；
5)最后对返回的每一个光斑进行质心求取，具体计算如下：
Figure BDA0003138437690000063
Figure BDA0003138437690000064
将图像看作离散二维随机变量(X,Y)，其中P(X,Y)表示图像像素的密度函数，M10和M01为X和Y的一阶矩，M00为X和Y的空间矩；并对质心坐标点进行位置换算，计算出原图像中的质心位置，
x2＝x1×(W1/W2) 公式(5)
y2＝y1×(H1/H2) 公式(6)
其中x2和y2表示原图像中的矩形起始坐标，x1和y1表示缩放后的图像中矩形起始坐标，W2和H2分别表示原图像的宽和高，W1和H1分别表示缩放后的图像的宽和高，最终在可见光图像上对放电位置进行标记。
进一步的，步骤3所述的双模式视频输出模块包括两种输出模式；第一种输出方式通过将视频信号与QT界面叠加，实时的显示在液晶屏上来支持手持模式下的人工巡检使用需求；第二种输出方式先将视频信号进行H264编码，利用rspt协议通过以太网将编码后的视频信号推送至无人机平台，最终在无人机平台上对码流信号进行解码后通过无人机自身的图像传输***将视频信号传递至远程的操作端，以满足负载模式下的无人机巡检需求。
本发明有益效果如下：
本发明设计了基于嵌入式及双光谱成像的无人机载电力巡检方法及***，包括了能够实现针对绝缘子的异常电晕放电位置检测和针对绝缘子和输电杆塔的目标识别的图像处理模块，实现了异常电晕放电位置的精确检测以及针对绝缘子和输电杆塔的目标识别，并根据目标在画面中的位置计算云台调节的偏航角和俯仰角实现了云台对目标的自动追踪，首次将日盲区电晕放电检测技术以及深度学习技术融合并应用在无人机电力巡检领域中。同时本发明还设计了双模式的视频输出模块，可支持手持模式下的视频信号的可视化输出以及无人机负载模式下的以太网输出，并利用无人机自身的图传***将图像传输至终端设备，首次实现了电力巡检设备手持模式和无人机负载模式的一体化，不仅克服了传统电力巡检方式效率低下、危险性高的问题，还解决了无人机巡检中无人机续航能力不足、对巡检人员技术要求较高的缺陷。
附图说明
图1是本发明无人机载电力巡检方法及***的模块构成框图；
图2是针对输电杆塔和绝缘子的目标识别及云台的实时追踪方法的功能框图；
图3是相机坐标系图；
图4是相机转动目标位置变换图；
图5目标框偏差示意图；
图6是针对绝缘子的异常放电位置检测方法流程图；
图7是绝缘子异常放电情况判断流程图；
图8是紫外ICCD采集到的微弱放电图像；
图9是紫外ICCD采集到的光斑较离散时的放电图像。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例1
本发明应用于针对绝缘子和输电杆塔的目标识别及云台自动定位追踪的实例描述如下：
图1为无人机载电力巡检方法及***的模块构成框图。该***包括双光谱视频采集模块、图像处理模块、双模式视频输出模块和通信模块。通过双光谱视频采集模块分别由可见光CCD和紫外光ICCD将可见光图像以及电晕放电产生的紫外光图像采集到***内(通过双光谱视频采集模块由可见光CCD将可见光图像采集到***内，通过双光谱视频采集模块由紫外光ICCD将电晕放电产生的紫外光图像采集到***内)，经图像处理模块后得到处理完成的视频图像，最后经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路通过通信模块经编码后以码流形式进行推送。
图2是针对输电杆塔和绝缘子的目标识别及云台的实时追踪方法的功能框图。其中的可见光CCD采集的图像分辨率为720×576，采集帧率为25帧。可将光CCD采集到的图像数据在视频输入子模块中被分为两路分别输入到目标识别线程和目标标记线程中。其中在目标识别线程中，图像的分辨率为416×416，颜色空间为YUV。在目标标记线程中，图像分辨率为720×576，颜色空间为YUV。
第一个线程为目标识别线程，通过嵌入式平台的NNIE模块读取移植完成后的YOLOv3模型文件，对输入的每一帧图像进行识别计算，待计算完成后将识别出的目标信息存放至目标位置结构体RECT_ARRAY_S中，该结构体的成员包括图像中的分类数、有效目标总数、每个分类下感兴趣区域的总数以及矩形位置坐标结构体stRect。第二个线程为目标标记线程，负责视频的正常输出，同时通过嵌入式平台VGS模块读取目标位置结构体中的坐标信息stRect，该结构体被目标识别线程实时刷新，待坐标位置换算完成后在原图像上进行目标标识。在完成目标识别后，云台控制器根据目标质心坐标和图像质心坐标的差值，调节云台角度实现目标的跟踪功能。
图3是相机坐标系。相机坐标系中，图像平面的法向量为
Figure BDA0003138437690000091
云台绕X轴旋转称为云台的俯仰角，以相机镜头抬头为正方向，云台绕Y轴旋转称为云台的航向角，以相机镜头右偏为正方向。图4是相机转动目标位置变换图，实线是相机转动前的成像图，虚线是相机转动后的成像图，A是未转动相机的成像质心，移动相机前，目标框是偏离成像质心的，移动相机后，目标框的质心与相机的成像质心重合，假设mx是沿X轴方向单位距离的像素数量，my是沿Y轴方向单位距离的像素数，那么X轴方向和Y轴方向的焦距分别为αx＝fmx和αy＝fmy，X轴方向和Y轴方向的像素差分别为Δx和Δy，则目标所在线的矢量为
Figure BDA0003138437690000092
图5是目标框偏差示意图，一般将图像的左上顶点定义为原点O(0,0)，像素是坐标轴的单位，目标框的坐标为(xbox,ybox,wbox,hbox)，目标框矩形的质心坐标为B(x,y)，则x＝xbox+wbox/2，y＝ybox+hbox/2，图像的质心坐标为A(a,b)，则Δx和Δy分别为：
Figure BDA0003138437690000101
Figure BDA0003138437690000102
最终通过向无人机发送指令来调整无人机云台的俯仰角ψ和偏航角θ，使目标质心与图像质心相统一。
实施例2
本发明应用于绝缘子异常放电位置检测的实例描述如下：
图1为无人机载电力巡检方法及***的模块构成框图。该***包括双光谱视频采集模块、图像处理模块、双模式视频输出模块和通信模块。通过双光谱视频采集模块分别由可见光CCD和紫外光ICCD将可见光图像以及电晕放电产生的紫外光图像采集到***内，经图像处理模块后得到处理完成的视频图像，最后经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路通过通信模块经编码后以码流形式进行推送。
图6和图7分别是针对绝缘子的异常放电位置检测方法流程图和绝缘子异常放电情况判断流程图。该方法的实现步骤为：
1)由图像处理模块从紫外ICCD中读取连续三帧的图像，紫外ICCD输入的图像分辨率为720×576，采集频率为25fps；
2)通过隔行抽取方法将源图像缩放至360×288的分辨率来降低运算量，提高***的实时性；
3)将紫外ICCD采集到的YUV格式的图像转换成图像处理常用的RGB格式图像，并通过虚拟地址映射将opencv的mat数据类型指向存储在内存中的ICCD图像数据，以便于后续计算；
4)图8是光斑较离散时的放电图像，为减少此类情况对后续计算的影响，对连续三帧的图像进行叠加，保证光斑图像的均匀；
5)通过图像阈值分割和形态学滤波对图像进行预处理，同时减少光斑图像中离散的小光斑对之后计算的影响；
6)通过连通域标记对图像中每个光斑的面积进行统计，输出面积大于阈值的光斑的外接矩形坐标，存入矩形坐标结构体stRect中；
7)图9为异常放电情况判断流程图，用于对当前的异常放电情况进行判断，若存在面积大于阈值的光斑，判断此时的异常放电情况有效土语9所示。否则，判断此时不存在异常放电情况如图8所示。图8是紫外ICCD采集到的微弱放电图像，类似于这种情况的光斑图像都会被判定为未放电；
9)对返回的每一个光斑进行质心求取，
Figure BDA0003138437690000111
Figure BDA0003138437690000112
这里将图像看作离散二维随机变量(X,Y)，其中P(X,Y)表示图像像素的密度函数，M10和M01为X和Y的一阶矩，M00为X和Y的空间矩。并对质心坐标点进行位置换算，计算出原图像中的质心位置，
x2＝x1×(W1/W2) 公式(17)
y2＝y1×(H1/H2) 公式(18)
其中x2和y2表示原图像中的矩形起始坐标，x1和y1表示缩放后的图像中矩形起始坐标，W2和H2分别表示原图像的宽和高，W1和H1分别表示缩放后的图像的宽和高。最终在可见光图像上对放电位置进行标记。

Claims (6)

1.基于嵌入式及双光谱成像的无人机载电力巡检***，其特征在于，包括双光谱视频采集模块、图像处理模块、双模式视频输出模块和通信模块；通过双光谱视频采集模块分别由可见光CCD和紫外光ICCD将可见光图像以及电晕放电产生的紫外光图像采集到***内，经图像处理模块后得到处理完成的视频图像，最后经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路由通信模块经编码后以码流形式进行推送；
所述的图像处理模块，分别对可见光光谱图像进行针对输电杆塔和绝缘子的目标识别，对日盲区紫外光光谱图像进行绝缘子异常电晕放电位置检测；
针对输电杆塔和绝缘子的目标识别及云台的实时追踪方法，具体设计有两个线程：第一个线程为目标识别线程，通过嵌入式平台的NNIE模块读取移植完成后的YOLOv3模型文件，对输入的每一帧图像进行识别计算，待计算完成后将识别出的目标位置坐标存放至目标位置结构体中；第二个线程为目标标记线程，负责视频的正常输出，同时通过嵌入式平台VGS模块读取目标位置结构体中的坐标信息，该结构体被目标识别线程实时刷新，待坐标位置换算完成后在原图像上进行位置标识；根据目标在图像中出现的位置计算目标框体中心相对于图像中心的方向和距离，将图像的左上顶点定义为原点O(0,0)，像素是坐标轴的单位，目标框的坐标为(xbox,ybox,wbox,hbox)，目标框矩形的质心坐标为B(x,y)，则x＝xbox+wbox/2，y＝ybox+hbox/2，图像的质心坐标为A(a,b)，则Δx和Δy分别为：
Figure FDA0003586534300000011
Figure FDA0003586534300000012
最终通过向无人机发送指令来调整无人机云台的俯仰角ψ和偏航角θ，使目标质心与图像质心位置相统一；
针对绝缘子的异常放电位置检测方法，通过图像阈值分割、连通域标记以及形态学滤波的图像处理对日盲区紫外光的光斑图像进行放电位置检测，具体实现流程为：
1)由图像处理模块读取连续三帧的图像，并对连续三帧的图像进行叠加，保证光斑图像的均匀；
2)通过图像阈值分割和形态学滤波对图像进行预处理，同时减少光斑图像中离散的小光斑对后续计算的影响；
3)通过连通域标记对图像中每个光斑的面积进行统计，输出面积大于阈值的光斑的外接矩形坐标；
4)对当前的异常放电情况进行判断，若存在面积大于阈值的光斑，判断此时的异常放电情况有效；否则，判断此时不存在异常放电情况；
5)最后对返回的每一个光斑进行质心求取，具体计算如下：
Figure FDA0003586534300000021
Figure FDA0003586534300000022
将图像看作离散二维随机变量(X,Y)，其中P(X,Y)表示图像像素的密度函数，M10和M01为X和Y的一阶矩，M00为X和Y的空间矩；并对质心坐标点进行位置换算，计算出原图像中的质心位置，
x2＝x1×(W1/W2) 公式(5)
y2＝y1×(H1/H2) 公式(6)
其中x2和y2表示原图像中的矩形起始坐标，x1和y1表示缩放后的图像中矩形起始坐标，W2和H2分别表示原图像的宽和高，W1和H1分别表示缩放后的图像的宽和高，最终在可见光图像上对放电位置进行标记。
2.根据权利要求1所述的基于嵌入式及双光谱成像的无人机载电力巡检***，其特征在于双光谱视频采集模块分别通过可见光CCD和紫外光ICCD采集双光谱图像；通过在紫外光ICCD前放置滤光片来采集波长在240nm-280nm的日盲区紫外光。
3.根据权利要求1或2所述的基于嵌入式及双光谱成像的无人机载电力巡检***，其特征在于所述的双模式视频输出模块包括两种输出模式；第一种输出方式通过将视频信号与QT界面叠加，实时的显示在液晶屏上来支持手持模式下的人工巡检使用需求；第二种输出方式先将视频信号进行H264编码，利用rspt协议通过以太网将编码后的视频信号推送至无人机平台，最终在无人机平台上对码流信号进行解码后通过无人机自身的图像传输***将视频信号传递至远程的操作端，以满足负载模式下的无人机巡检需求。
4.根据权利要求3所述的基于嵌入式及双光谱成像的无人机载电力巡检***，其特征在于通信模块通过串口将俯仰角ψ和偏航角θ的信息传递至无人机；无人机平台在接收到俯仰角和偏航角的信息后，通过其接口实现二维云台转角的调整，使目标始终位于图像的正中心；同时，通信模块通过串口读取无人机平台各个传感器的相关数据，实现时间同步、空间坐标定位、障碍物检测功能；通过SD接口将图像处理模块输出的视频信号存储在大容量存储设备中。
5.基于嵌入式及双光谱成像的无人机载电力巡检方法，其特征在于包括如下步骤：
步骤1、采集双光谱视频；
双光谱视频采集模块通过可见光CCD采集可见光图像，双光谱视频采集模块通过紫外光ICCD采集电晕放电产生的紫外光图像；
步骤2、图像处理；
图像由图像处理模块进行处理，对可见光光谱图像进行针对输电杆塔和绝缘子的目标识别，对日盲区紫外光光谱图像进行绝缘子异常电晕放电位置检测；
步骤3、双模式视频输出；
将经图像处理模块处理完后的视频图像经双模式视频输出模块分为两路，一路传输至液晶屏幕进行可视化输出，另一路编码后通过通信模块以码流形式进行推送；
步骤2具体实现如下：
所述的输电杆塔和绝缘子的目标识别及云台的实时追踪，具体设计有两个线程：第一个线程为目标识别线程，通过嵌入式平台的NNIE模块读取移植完成后的YOLOv3模型文件，对输入的每一帧图像进行识别计算，待计算完成后将识别出的目标位置坐标存放至目标位置结构体中；第二个线程为目标标记线程，负责视频的正常输出，同时通过嵌入式平台VGS模块读取目标位置结构体中的坐标信息，该结构体被目标识别线程实时刷新，待坐标位置换算完成后在原图像上进行位置标识；根据目标在图像中出现的位置计算目标框体中心相对于图像中心的方向和距离，将图像的左上顶点定义为原点O(0,0)，像素是坐标轴的单位，目标框的坐标为(xbox,ybox,wbox,hbox)，目标框矩形的质心坐标为B(x,y)，则x＝xbox+wbox/2，y＝ybox+hbox/2，图像的质心坐标为A(a,b)，则Δx和Δy分别为：
Figure FDA0003586534300000041
Figure FDA0003586534300000042
最终通过向无人机发送指令来调整无人机云台的俯仰角ψ和偏航角θ，使目标质心与图像质心位置相统一；
所述的绝缘子的异常放电位置检测，通过图像阈值分割、连通域标记以及形态学滤波的图像处理对日盲区紫外光的光斑图像进行放电位置检测，具体实现流程为：
1)由图像处理模块读取连续三帧的图像，并对连续三帧的图像进行叠加，保证光斑图像的均匀；
2)通过图像阈值分割和形态学滤波对图像进行预处理，同时减少光斑图像中离散的小光斑对后续计算的影响；
3)通过连通域标记对图像中每个光斑的面积进行统计，输出面积大于阈值的光斑的外接矩形坐标；
4)对当前的异常放电情况进行判断，若存在面积大于阈值的光斑，判断此时的异常放电情况有效；否则，判断此时不存在异常放电情况；
5)最后对返回的每一个光斑进行质心求取，具体计算如下：
Figure FDA0003586534300000051
Figure FDA0003586534300000052
将图像看作离散二维随机变量(X,Y)，其中P(X,Y)表示图像像素的密度函数，M10和M01为X和Y的一阶矩，M00为X和Y的空间矩；并对质心坐标点进行位置换算，计算出原图像中的质心位置，
x2＝x1×(W1/W2) 公式(5)
y2＝y1×(H1/H2) 公式(6)
其中x2和y2表示原图像中的矩形起始坐标，x1和y1表示缩放后的图像中矩形起始坐标，W2和H2分别表示原图像的宽和高，W1和H1分别表示缩放后的图像的宽和高，最终在可见光图像上对放电位置进行标记。
6.根据权利要求5所述的基于嵌入式及双光谱成像的无人机载电力巡检方法，其特征在于步骤3所述的双模式视频输出模块包括两种输出模式；第一种输出方式通过将视频信号与QT界面叠加，实时的显示在液晶屏上来支持手持模式下的人工巡检使用需求；第二种输出方式先将视频信号进行H264编码，利用rspt协议通过以太网将编码后的视频信号推送至无人机平台，最终在无人机平台上对码流信号进行解码后通过无人机自身的图像传输***将视频信号传递至远程的操作端，以满足负载模式下的无人机巡检需求。
CN202110725440.3A 2021-06-29 2021-06-29 基于嵌入式及双光谱成像的无人机载电力巡检方法及*** Active CN113411501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110725440.3A CN113411501B (zh) 2021-06-29 2021-06-29 基于嵌入式及双光谱成像的无人机载电力巡检方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110725440.3A CN113411501B (zh) 2021-06-29 2021-06-29 基于嵌入式及双光谱成像的无人机载电力巡检方法及***

Publications (2)

Publication Number Publication Date
CN113411501A CN113411501A (zh) 2021-09-17
CN113411501B true CN113411501B (zh) 2022-06-07

Family

ID=77680043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725440.3A Active CN113411501B (zh) 2021-06-29 2021-06-29 基于嵌入式及双光谱成像的无人机载电力巡检方法及***

Country Status (1)

Country Link
CN (1) CN113411501B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167225A (zh) * 2021-10-07 2022-03-11 国网山东省电力公司潍坊供电公司 输电线路自动识别缺陷的紫外光检测装置和产品
CN114034709A (zh) * 2021-11-11 2022-02-11 国网上海市电力公司 一种融合光谱与图像特征的高压外绝缘状态检测***
CN114167245B (zh) * 2022-02-11 2022-06-17 国网湖北省电力有限公司超高压公司 输变电设备表面局放智能检测方法及无人机融合紫外***
CN116109955B (zh) * 2023-04-10 2023-06-16 中国人民解放军陆军装甲兵学院 一种无人机平台火源定位装置及方法
CN116704015B (zh) * 2023-08-07 2023-11-14 中国科学院合肥物质科学研究院 一种实现噪声光斑图像自适应窗口预处理质心方法及***
CN117630597B (zh) * 2023-11-30 2024-06-07 华北电力大学 一种感传算一体化的多光谱高压电晕检测方法与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6733744B1 (en) * 2000-10-16 2004-05-11 Mallinckrodt Inc. Indole compounds as minimally invasive physiological function monitoring agents
CN106385530A (zh) * 2015-07-28 2017-02-08 杭州海康威视数字技术股份有限公司 一种双光谱摄像机
CN109618099A (zh) * 2019-01-10 2019-04-12 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1397594B1 (it) * 2009-12-21 2013-01-16 St Microelectronics Rousset Giroscopio microelettromeccanico con funzione di auto-test continua e metodo di controllo di un giroscopio microelettromeccanico.
EP3134122B1 (en) * 2014-04-22 2020-06-17 Immunolight, Llc. Tumor imaging using photon-emitting phosphors having therapeutic properties
US11871978B2 (en) * 2017-04-20 2024-01-16 Boise State University Plasma scalpel for selective removal of microbes and microbial biofilms
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110672980A (zh) * 2019-10-21 2020-01-10 江苏南大五维电子科技有限公司 一种基于紫外、红外、可见成像的电力巡检在线监测***
CN112629667A (zh) * 2020-12-02 2021-04-09 众源科技(广东)股份有限公司 一种双光谱热成像测温***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6733744B1 (en) * 2000-10-16 2004-05-11 Mallinckrodt Inc. Indole compounds as minimally invasive physiological function monitoring agents
CN106385530A (zh) * 2015-07-28 2017-02-08 杭州海康威视数字技术股份有限公司 一种双光谱摄像机
CN109618099A (zh) * 2019-01-10 2019-04-12 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置

Also Published As

Publication number Publication date
CN113411501A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113411501B (zh) 基于嵌入式及双光谱成像的无人机载电力巡检方法及***
CN110297498B (zh) 一种基于无线充电无人机的轨道巡检方法及***
US10255509B2 (en) Adaptive lane marker detection for a vehicular vision system
CN110132226B (zh) 一种无人机巡线的距离及方位角测量***和方法
CN112712037A (zh) 基于全景图像和目标检测的车载环境感知方法和***
CN109343041B (zh) 用于高级智能辅助驾驶的单目测距方法
CN110781883A (zh) 一种基于360度环视摄像头的车位尺寸识别***及方法
CN104125372A (zh) 一种目标光电搜索探测方法
CN111765974B (zh) 一种基于微型制冷红外热像仪的野生动物观测***及方法
CN109451233B (zh) 一种采集高清晰度面部图像的装置
CN109801336B (zh) 基于可见光及红外光视觉的机载目标定位***及方法
CN107092905A (zh) 一种电力巡检机器人的待识别仪器定位方法
CN108074265A (zh) 一种基于视觉辨识的网球定位***、方法及装置
CN113537049A (zh) 地面点云数据处理方法、装置、终端设备及存储介质
CN112801184A (zh) 一种云跟踪方法、***及装置
CN113435420A (zh) 一种路面病害尺寸检测方法、装置和存储介质
CN116012728A (zh) 应用于无人机巡检的轨道线路识别跟踪方法及***
CN106846385B (zh) 基于无人机的多传感遥感影像匹配方法、装置和***
CN106803073B (zh) 基于立体视觉目标的辅助驾驶***及方法
CN107147877A (zh) 固定区域夜雾天况全天候彩***成像***及其构建方法
CN113743286A (zh) 一种多源信号融合的目标监测***及方法
CN112991246A (zh) 一种可见光与红外视频图像融合方法及装置
CN116645304A (zh) 一种拍摄目标物体红外可见光融合图像的方法及***
Li et al. A calibration and real-time object matching method for heterogeneous multi-camera system
CN111399014A (zh) 野生动物监控的局部立体视觉红外相机***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant