WO2018028103A1 - 一种基于人眼视觉特性的电力线路无人机巡检方法 - Google Patents

一种基于人眼视觉特性的电力线路无人机巡检方法 Download PDF

Info

Publication number
WO2018028103A1
WO2018028103A1 PCT/CN2016/109778 CN2016109778W WO2018028103A1 WO 2018028103 A1 WO2018028103 A1 WO 2018028103A1 CN 2016109778 W CN2016109778 W CN 2016109778W WO 2018028103 A1 WO2018028103 A1 WO 2018028103A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
power line
point
right eye
left eye
Prior art date
Application number
PCT/CN2016/109778
Other languages
English (en)
French (fr)
Inventor
李庆武
马云鹏
许金鑫
周亚琴
何飞佳
Original Assignee
河海大学常州校区
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 河海大学常州校区 filed Critical 河海大学常州校区
Priority to US15/555,408 priority Critical patent/US10269138B2/en
Priority to MYPI2017703302A priority patent/MY192356A/en
Priority to DE112016000702.7T priority patent/DE112016000702T5/de
Publication of WO2018028103A1 publication Critical patent/WO2018028103A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
    • B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a power line drone inspection method based on human visual characteristics, and belongs to the field of digital image processing and power line automatic inspection.
  • the high-voltage power line is an overhead line.
  • the power line that is placed on the tower with insulators and power fittings is an important part of the power grid and power system, and is highly susceptible to external influences and damage.
  • overhead line accidents mainly include external force damage accidents, high wind accidents, lightning strikes, and accidents caused by equipment aging.
  • the so-called external force damage accidents mainly refer to accidents caused by foreign objects entering non-safe areas or distances, such as forest trees, Buildings and other non-safe areas entering the power line not only pose a threat to the safety of the power line, but also easily cause accidents such as electric shocks and fires. According to relevant reports, the external force damage accounts for about a quarter of the total number of trip failures in the national power line, and the harm and economic losses brought to the society are enormous.
  • the traditional power line inspection mode is usually manual inspection. This mode has high human resource consumption. However, under the large coverage area of the power line and the diversified environment, the manual power line inspection efficiency is low, and the real-time performance is poor. Coverage and immediacy requirements for power line inspections. In addition, the traditional artificial power line inspection method is often observed by the human eye, according to the staff's experience on the status of the power line. Judging, over-reliance on the status and experience of the staff, can not quantitatively analyze the distance between the obstacle and the power line, it is prone to false detection and missed detection, and can not meet the accuracy requirements of the power line inspection.
  • the technical problem to be solved by the present invention is to provide a power line drone inspection system for the technical vacancy in the field of current power line external damage accident inspection, improve the power line inspection manner, and improve the efficiency of the inspection. Accuracy.
  • the present invention provides a power line drone inspection method based on human visual characteristics, comprising the following steps:
  • UAV video capture using a drone equipped with binocular vision measurement equipment to obtain video images of power line distribution and power line environment information;
  • the binocular vision measuring device refers to two video image capturing devices with the same specification parameters, which are arranged in the left and right purpose forms respectively, and simultaneously collect video image information at a fixed angle of view;
  • the UAV When the drone is equipped with a binocular vision measuring device for power line inspection, the UAV is wirelessly remotely controlled, so that the drone can fly in a straight line on the route parallel to the power line and above the power line, and collect the video image sequence.
  • the direction of the power line distribution is parallel to the direction of flight of the drone.
  • the image preprocessing module takes a frame of the power line video image sequence of the input system, and performs preprocessing on the current frame image, including image graying processing and DoG (Difference of Gaussian) edge detection;
  • the DoG edge detection uses the Gaussian difference results of different parameters to describe the edges of the image, and sequentially performs the same processing on the left and right eye images.
  • the power line detection module uses the mathematical morphology to process the image that has been preprocessed, selects the structural factor in the same direction as the power line, and performs repeated expansion and corrosion treatment on the image to remove the noise in the image, and then use the human visual connection domain.
  • the attention mechanism selects the largest linear connected domain to complete the segmentation of the power line in the image.
  • the human eye visual attention mechanism means that the human eye always notices the special shape, color, and brightness in the field of view, and the human visual connection domain pays attention.
  • the mechanism uses the attention mechanism of the human eye to connect the special shape to complete the division of the power line.
  • the abscissa are respectively recorded positions of the left eye image and the right eye image of the power line (x dz1, x dz2 ... x dzj), (x dy1, x dy2 ... x dyj); wherein, x dz1, x dz2 ... x Dzj and x dy1 , x dy2 ... x dyj respectively refer to the abscissas of the center point of the j power line connected regions on the left eye image and the right eye image;
  • the binocular image registration module respectively registers the left eye image and the right eye image, and uses the SURF algorithm to respectively find the feature points of the left eye edge image and the right eye edge image that have been preprocessed, and obtain the descriptor of the current feature point. Then, the feature points are accurately paired, and the position information (x z1 , y z1 ) to (x y1 , y y1 ), (x z2 , y z2 ) to (x y2 , ) of the exact matching point in the left and right eye images are recorded.
  • y y2 )...(x zn ,y zn ) ⁇ (x yn ,y yn ), where n is the number of all feature points contained in a single image, x zn , y zn and x yn , y yn respectively Corresponding to the position coordinates of the feature points in the left eye image and the right eye image;
  • the obstacle detection and warning module abscissa positions of the left eye image and the right eye image of the power line (x dz1, x dz2 ... x dzj), (x dy1, x dy2 ...
  • the result output feedback module feeds back the obstacle information that poses a threat to the power line.
  • the specific information of the obstacle is reported on the computer software interface, and the obstacle detection is recorded.
  • Time, geographical location, etc. when the distance between the matching point and the power line perpendicular to the vertical line is lower than the set threshold, the current matching point is not processed, and the same processing is performed on all the matching points in the current frame image;
  • the frame image performs feedback processing of the obstacle information, and records the obstacle information during the inspection.
  • the beneficial effects achieved by the invention are: using binocular vision technology to detect and analyze external obstacles of the power line, and mainly through the linkage inspection of the drone with the binocular vision measuring device, the information search can be quickly performed on the large-scale power line, and real-time acquisition is obtained.
  • the image information of power lines and equipment, the expert system completes the quantitative analysis of power line faults.
  • the drone inspection is not affected by the terrain, environment, status and other factors. It can monitor the distribution of the power line and the surrounding environment in real time, and use the human eye binocular vision technology to arrange the power line. Quantitative analysis and early warning of problems such as situation and power line obstacles, featuring high inspection efficiency, strong versatility and good real-time performance.
  • FIG. 1 is a block diagram of a power line drone inspection system module of the present invention
  • FIG. 2 is a physical model diagram of a power line drone inspection system of the present invention
  • FIG. 3 is a flow chart of processing a power line drone inspection method according to the present invention.
  • FIG. 4 is a schematic view showing the dimensions of a scale space filter
  • Figure 5 is a schematic diagram of binocular vision imaging
  • FIG. 6 is a schematic diagram of matching feature points of a left eye image and a right eye image
  • Fig. 7 is a schematic diagram showing the marking of the left eye image external force accident obstacle point.
  • the power line UAV inspection system based on human visual characteristics includes a hardware working system and a software operating system.
  • the whole system module is shown in FIG. 1
  • the hardware system includes a drone video information collection module
  • the software system includes Image preprocessing module, power line detection module, binocular image registration module, obstacle detection and early warning module, and result output feedback module.
  • the physical model diagram is shown in Figure 2.
  • the UAV is equipped with binocular vision measuring equipment to collect information on the power line and its surrounding environment to control the drone flight.
  • the flight direction of the drone is parallel to the power line distribution direction.
  • the acquired binocular video sequence is transmitted to the software operating system, and the software operating system extracts the image frame from the video sequence at a certain interval, and sequentially performs image preprocessing, power line detection, left and right eye image registration, obstacle detection, and all image frames.
  • Early warning, result output and feedback complete the recording and feedback of obstacle information during the inspection of the drone.
  • the UAV When it is necessary to test the power line in a certain area, firstly, the UAV is equipped with a binocular vision measuring device to carry out cruise acquisition related information on the power line and its surrounding environment, wherein the binocular vision measuring device is composed of two specifications.
  • the drone is controlled by the staff.
  • the uniform flight direction of the drone is parallel to the power line distribution direction.
  • the UAV flight process is stable at a constant speed.
  • the binocular vision hardware system based on the dual camera needs to be installed on a stable platform of the drone.
  • the collected left video sequence l z and right video sequence l y are stored in a storage device carried by the drone and transmitted to the software system using the mobile wireless network.
  • the collected left video sequence l z and right video sequence l y are transmitted from the drone to the software system in real time, and the software system first backs up the acquired data in the data area.
  • the staff enters the shooting time and location.
  • the left video sequence l z and the right video sequence l y are processed again, and the frames are successively taken in the left video sequence l z and the right video sequence l y at a certain interval, and all frame images are required to be stitched and restored.
  • the first image T z1 of the left eye and the first image T y1 of the right eye are preprocessed, including image graying processing and DoG (Difference of Gaussian) edge detection:
  • the image gradation processing changes the color image into a single-channel grayscale image H z1 of the first image of the left eye and a single-channel grayscale image H y1 of the first image of the right eye;
  • Difference of Gaussian is a difference of a Gaussian function, and a low-pass filtering result of an image obtained by convolving an image with a Gaussian function, Gaussian and Gaussian low-pass filter Gaussian The same is a function, which is a normal distribution function. Difference of Gaussian is the difference between two Gaussian images. In the case of image processing, the Gaussian filtering result of the same image under different parameters is subtracted to obtain the DoG image, that is, the edge detection result. Define the DoG operation as:
  • the first constant ⁇ 1 0.6
  • the second constant ⁇ 2 0.9
  • x, y respectively refer to the abscissa and ordinate of the current pixel point in the image
  • the Gaussian filter function window size is 5 ⁇ 5
  • G(x, y, ⁇ 1 ) and G(x, y, ⁇ 2 ) are Gaussian filter functions with different parameters
  • H is a gray image
  • “*” represents sliding filter processing for the entire image.
  • the preprocessed images are the left eye edge image D z1 and the right eye edge image D y1 , respectively .
  • the representative is "included in”, ⁇ represents "intersection", and ⁇ represents an empty set.
  • the result of etching the workspace E with the structural element B(x) is the set of all the points of the workspace E after the structural element B is translated; the workspace E is performed with the structural element B(x)
  • the result of the expansion is a set of points that are translated by the structural element B such that the intersection of the structural element B and the workspace E is non-empty. Selecting a linear structural factor with a length of 3 pixels and an angle of 90 degrees, performing a corrosion expansion operation on the left eye edge image D z1 and the right eye edge image D y1 , wherein one cycle operation includes two etching operations and one expansion operation, and the cycle The number of operations is 20 times.
  • the area and length of the connected domain in the image are detected, and the linear segment and the line segment where the connected domain area reaches the threshold value are retained, that is, the power line is removed, the noise in the image is removed, and the power line segmentation in the image is completed, respectively recording the abscissa position of the left eye and the right edge of the image D z1 head edge image D y1 power line of the image (x dz1, x dz2 ... x dzj), (x dy1, x dy2 ... x dyj), wherein the left eye edge image
  • the D z1 and the right eye edge image D y1 images respectively contain n power lines, and j j coordinate positions are recorded.
  • the Hessian matrix has good computation time and precision performance.
  • the definition is as follows: For a point (x, y) in the left eye edge image D z1 and the right eye edge image D y1 , when the scale is ⁇ , the Hessian matrix at the point Expressed as:
  • the function L xx (x, ⁇ ) represents the second-order partial derivative of Gaussian on the x coordinate and the convolution of the left-eye edge image D z1 and the right-eye edge image D y1 at the point (x, y), and the formula is as follows:
  • L xy (x, ⁇ ) and L yy (x, ⁇ ) are as follows:
  • the scale space of the SURF algorithm is also divided into groups (retes), and the images in each group are obtained by convolving the filters of different sizes.
  • the size of the different sets of filters in the scale space is shown in Figure 4, where the abscissa represents the change in filter size and the ordinate represents a different set.
  • the SURF algorithm re-specifies a unique direction for each point of interest according to the information of the pixel points around the feature points.
  • the specific steps are as follows:
  • Gaussian weighting (2 ⁇ ) is applied to the wavelet response centering on the feature point, so that the weight value of the approaching feature point is large, and the weight value away from the feature point is small, and a new horizontal and vertical response is obtained;
  • a fan-shaped window with an angle of 60 degrees is used to traverse the entire circle until the total response in the fan-shaped window is strongest. At this time, the direction in the sector window is the main direction of the point of interest.
  • the left eye edge image uses D z1 and the right eye edge image with D y1 size of M ⁇ N, and the images are horizontally placed under the same coordinate axis to form an image of size M ⁇ 2N, left eye edge image and right eye edge image feature.
  • the point matching is shown in Figure 6.
  • the set of feature points detected by the SURF method for the left-eye edge image D z1 and the right-eye edge image D y1 are respectively represented as:
  • Pos1 ⁇ (x' 1 , y' 1 ), (x' 2 , y' 2 ),..., (x' p , y' p ) ⁇
  • Pos2 ⁇ (x 1 ,y 1 ),(x 2 ,y 2 ),...,(x q ,y q ) ⁇ ,
  • the feature point matching method of the present invention comprises the steps of:
  • Pos_K 1 ⁇ (x' 1 ,y' 1 ),(x 1 ,y 1 ) ⁇ , ⁇ (x' 2 ,y' 2 ),(x 2 ,y 2 ) ⁇ ,..., ⁇ ( x' n , y' n ), (x n , y n ) ⁇ , called set 1;
  • Pos_K 3 ⁇ (x z1 ,y z1 ),(x y1 ,y y1 ) ⁇ , ⁇ (x z2 ,y z2 ),(x y2 ,y y2 ) ⁇ ,..., ⁇ (x zn ,y Zn ), (x yn , y yn ) ⁇ , where k t ⁇ k_new;
  • x zn and x yn are the abscissas of the matching point pair in the left eye image and the right eye image, respectively, thereby calculating the spatial coordinates of a point P in the left camera coordinate system:
  • x dyj calculates the matching points in space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manufacturing & Machinery (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

一种基于人眼视觉特性的电力线路无人机巡检方法，其电力线外力事故检测及预警过程为：（1）无人机视频采集模块利用无人机搭载双目视觉测量设备获取电力线分布及其环境信息，（2）图像预处理模块对录入***的电力线图像进行预处理，（3）电力线检测模块利用人眼视觉注意机制完成图像中电力线的分割，（4）双目图像配准模块利用SURF算法对特征点进行精确匹配，（5）障碍检测及预警模块利用双目视觉原理计算匹配点与电力线的三维空间坐标，（6）结果输出反馈模块根据空间坐标信息计算匹配点到电力线的垂直距离，完成对电力线构成威胁障碍物信息的反馈工作。本方法，可以准确地对电力线障碍物进行定量分析，分析结果稳定、客观。

Description

一种基于人眼视觉特性的电力线路无人机巡检方法 技术领域
本发明涉及一种基于人眼视觉特性的电力线路无人机巡检方法，属于数字图像处理与电力线路自动巡检领域。
背景技术
随着我国经济的蓬勃发展，电力能源的需求越来越旺盛，为了满足国内对电力越来越高的需求，需要在电力线、高电压、大容量方向上继续扩建。一方面随着电力线的大量建设，覆盖面越来越广阔，地形状况也越发复杂多样，电网建设中如何跨地形进行线路维护是难以解决的问题；另一方面，电力线所在的环境随着地区和时间的变化也在不停的变化着。整个电力线体系复杂程度高，其中某个关键的环节存在隐患都会影响用户的电力供应和***的供电安全，造成不可估量的经济损失，威胁生命财产安全，所以对电力线进行巡检是电力***设备维护工作的重要部分。
高压电力线即架空线，用绝缘子及电力金具将导线架设于杆塔上的电力线，是电力网及电力***的重要组成部分，极易受到外界的影响和损害。目前架空线事故主要包括外力破坏事故、大风事故、雷击事故以及由于设备老化等引起的事故，所谓的外力破坏事故主要是指由外来物体进入非安全区域或距离所引发的事故，如森林树木、房屋建筑等进入电力线非安全区域，不仅对电力线的安全构成威胁，也极易酿成障碍物自身触电、火灾等事故。根据有关报道表明，外力破坏约占全国电力线全年跳闸故障总次数的四分之一，给社会带来了的危害性和经济损失都非常巨大。
传统的电力线巡检模式通常是人工到位巡检，这种模式人力资源消耗大，但在电力线的大覆盖面积和多样化环境的需求下，人工到位电力线巡检效率低，实时性差，往往不能满足电力线巡检的覆盖面与即时性要求。此外，传统的人工电力线巡检方式往往是通过人眼观察，根据工作人员的经验对电力线的状态 进行判断，对工作人员状态和经验的过分依赖，无法对障碍物与电力线的距离进行定量分析，极易出现误检和漏检现象，不能满足电力线巡检的准确度要求。
发明内容
本发明所要解决的技术问题是：针对当前电力线路外力破坏事故巡检领域中的技术空缺，提供一种电力线路无人机巡检***，改善电力线巡检的方式，提高巡检的有效率和准确度。
为解决上述技术问题，本发明提供一种基于人眼视觉特性的电力线路无人机巡检方法，包括以下步骤：
(1)无人机视频采集：利用无人机搭载双目视觉测量设备获取电力线分布及电力线环境信息的视频图像；
所述双目视觉测量设备是指规格参数相同的两个视频图像采集设备，分别以左目与右目的形式排列工作，以固定视角同时采集视频图像信息；
无人机搭载双目视觉测量设备进行电力线巡检时，对无人机进行无线遥控，使无人机在与电力线平行的路线上、并在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行。
(2)图像预处理模块对录入***的电力线视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和DoG(Difference of Gaussian)边缘检测；
其中，DoG边缘检测利用不同参数的高斯差分结果对图像的边缘进行描述，依次对左右目图像进行相同的处理。
(3)电力线检测模块利用数学形态学对已完成预处理的图像进行处理，选取与电力线同方向的结构因子对图像进行反复的膨胀腐蚀处理，去除图像中的噪声，再利用人眼视觉连通域注意机制选取最大的线性连通域，完成图像中电力线的分割，人眼视觉注意机制是指在视野范围内，人眼总是立刻注意到形状、颜色、亮度特殊的区域，人眼视觉连通域注意机制即利用人眼对特殊形状连通域的注意机制完成电力线的分割。
分别记录左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj), (xdy1,xdy2...xdyj)；其中，xdz1,xdz2...xdzj和xdy1,xdy2...xdyj分别指j条电力线连通区域的中心点在左目图像和右目图像上的横坐标；
(4)双目图像配准模块对左目图像和右目图像分别进行配准，利用SURF算法分别找到已完成预处理的左目边缘图像和右目边缘图像的特征点并求出当前特征点的描述子，然后对特征点进行精确配对，记录精确匹配点在左目图像和右目图像中的位置信息(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，其中n是指单幅图像中包含的所有特征点数量，xzn,yzn和xyn,yyn分别指对应特征点在左目图像和右目图像中的位置坐标；
(5)障碍检测及预警模块根据左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)和精确匹配点在左目图像和右目图像中的位置(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，利用双目视觉原理计算匹配点与电力线的三维空间坐标，根据空间坐标信息计算匹配点到电力线的垂直距离；
(6)结果输出反馈模块对电力线构成威胁的障碍物信息进行反馈，当匹配点与电力线的空间垂线距离高于设定阈值时，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置等，当匹配点与电力线的空间垂线距离低于设定阈值时，则对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理；依次对所有取得的帧图像进行障碍物信息的反馈处理，完成巡检过程中的障碍物信息的记录。
本发明所达到的有益效果：利用双目视觉技术对电力线的外界障碍物进行检测与分析，主要通过搭载双目视觉测量设备的无人机联动巡查可以对大范围电力线快速进行信息搜寻，实时获取电力线及设备的图像信息，专家***完成电力线故障隐患的定量分析。无人机巡检与传统的人工巡检相比，具有不受地形、环境、状态等因素影响的影响，可实时以监测电力线分布情况及周围环境，利用人眼双目视觉技术对电力线排布情况和电力线障碍等问题进行定量分析与预警，具有巡检效率高、通用性强、实时性好的特点。
附图说明
图1为本发明的电力线路无人机巡检***模块结构图；
图2为本发明的电力线路无人机巡检***实物模型图；
图3为本发明的电力线路无人机巡检方法处理流程图；
图4为尺度空间滤波器的尺寸示意图；
图5为双目视觉成像原理图；
图6为左目图像和右目图像特征点匹配示意图；
图7为左目图像外力事故障碍点标注示意图。
具体实施方式
本发明的基于人眼视觉特性的电力线路无人机巡检***，包括硬件工作***及软件操作***，整个***模块如图1所示，硬件***包括无人机视频信息采集模块，软件***包括图像预处理模块、电力线检测模块、双目图像配准模块、障碍检测及预警模块、结果输出反馈模块。
实物模型图如图2所示，首先利用无人机搭载双目视觉测量设备对待巡检的电力线及其周围环境进行信息采集，控制无人机飞行，无人机飞行方向平行于电力线分布方向。将获取的双目视频序列传递至软件操作***，软件操作***从视频序列中按照一定的间隔提取图像帧，依次对所有图像帧进行图像预处理、电力线检测、左右目图像配准、障碍检测及预警、结果输出及反馈，完成无人机巡检过程中的障碍物信息的记录及反馈工作。
本发明的基于人眼视觉特性的电力线路无人机巡检方法，具体流程如图3所示：
(1)当需对某一地区的电力线进行检测时，首先利用无人机搭载双目视觉测量设备对电力线及其周围环境进行巡航采集相关信息，其中，双目视觉测量设备是由两个规格相同的摄像机组成，摄像机像素不低于500W，固定两个摄像机间的基线距离b＝120mm，已知摄像机焦距f(400mm≤f≤1000mm)，两个摄像机同时进行平行同方向的拍摄。无人机由工作人员操控，无人机匀速飞行方向与电力线分布方向平行，无人机飞行过程匀速稳定，基于双摄机的双目视觉硬件***需安装在无人机一个稳定的平台上，将采集到的左视频序列lz和右视频序 列ly存储至无人机携带的存储设备中，并利用移动无线网络传输至软件***。
(2)在无人机巡航过程中，实时地将采集到的左视频序列lz和右视频序列ly从无人机中传输至软件***，软件***首先将获取到的数据备份在数据区，同时由工作人员输入拍摄时间和地点。再对左视频序列lz和右视频序列ly进行处理，首先按照一定的间隔分别在左视频序列lz和右视频序列ly中连续取帧，取帧要求所有的帧图像可以拼接恢复出完整的巡航图像信息，相邻帧之间拼接时无信息缺失，形成左图像序列Tz和右图像序列Ty，其中左图像序列Tz和右图像序列Ty都包含m幅图像，分别为Tz1,Tz2...Tzm和Ty1,Ty2...Tym；对左目和右目对应帧图像进行预处理，首先对左目第一幅图像Tz1和右目第一幅图像Ty1进行处理，按顺序依次对左目和右目对应帧图像进行处理，直至对左目第m幅Tzm和右目第m幅Tym处理结束。
对左目第一幅图像Tz1和右目第一幅图像Ty1进行预处理，包括图像灰度化处理和DoG(Difference of Gaussian)边缘检测：
所述图像灰度化处理将彩色图像变为左目第一幅图像的单通道灰度图像Hz1和右目第一幅图像的单通道灰度图像Hy1；
在所述DoG边缘检测中，Difference of Gaussian(DOG)是高斯函数的差分，通过将图像与高斯函数进行卷积得到一幅图像的低通滤波结果，所述Gaussian和高斯低通滤波器的高斯一样，是一个函数，即为正态分布函数。Difference of Gaussian即高斯函数差分是两幅高斯图像的差，具体到图像处理来讲，即将同一幅图像在不同参数下的高斯滤波结果相减，得到DoG图像，即边缘检测结果。定义DoG运算为：
Figure PCTCN2016109778-appb-000001
其中，D指处理后的图像结果，第一常数σ1＝0.6，第二常数σ2＝0.9，x、y分 别指图像中当前像素点的横坐标和纵坐标，高斯滤波函数窗口大小为5×5，G(x,y,σ1)和G(x,y,σ2)分别为不同参数的高斯滤波函数，H为灰度图像，“*”代表对整幅图像进行滑动滤波处理，经过预处理的图像分别为左目边缘图像Dz1和右目边缘图像Dy1。
(3)对左目边缘图像Dz1和右目边缘图像Dy1中电力线进行分割，首先利用数学形态学中循环膨胀腐蚀运算对左目边缘图像Dz1和右目边缘图像Dy1进行处理；视频采集方向和电力线分布方向平行，图像中电力线方向与图像90度方向平行。形态学图像处理是在图像中移动一个结构元素，然后将结构元素与左目边缘图像Dz1和右目边缘图像Dy1进行交、并等集合运算，结构元素是最重要最基本的概念，B(x)代表结构元素，对工作空间E中的每一点A(x,y)腐蚀与膨胀运算定义为：
腐蚀：
Figure PCTCN2016109778-appb-000002
膨胀：
Figure PCTCN2016109778-appb-000003
其中，
Figure PCTCN2016109778-appb-000004
代表“包含于”，∩代表“交运算”，Φ代表空集。用结构元素B(x)对工作空间E进行腐蚀的结果就是把结构元素B平移后使结构元素B包含于工作空间E的所有点构成的集合；用结构元素B(x)对工作空间E进行膨胀的结果就是把结构元素B平移后使结构元素B与工作空间E的交集非空的点构成的集合。选取线性的结构因子，长度为3个像素点，角度为90度，对左目边缘图像Dz1和右目边缘图像Dy1进行腐蚀膨胀运算，其中一次循环运算包含两次腐蚀运算和一次膨胀运算，循环运算次数20次。
对于完成循环膨胀腐蚀运算的图像，检测图像中连通域的面积和长度，保留线性形态与连通域面积达到阈值要求的线段，即为电力线，去除图像中的噪声，完成图像中电力线的分割，分别记录左目边缘图像Dz1和右目边缘图像Dy1图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，其中，左目边缘图像Dz1和右目边缘图像Dy1图像中分别包含n条电力线，记录j个横坐标位置。
(4)利用SURF算法对图像左目边缘图像Dz1和右目边缘图像Dy1进行特征点检测，为了使配准特征具有尺度不变性，图像关键点的检测在尺度空间完成。SURF算法是在原图像上进行大小不同的方框滤波，形成不同尺度的图像金字塔。
(41)利用快速Hessian检测子提取特征点，Hessian矩阵具有良好的计算时间和精度表现。对于图像上一点在尺度下的Hessian矩阵定义如下式所示，对于左目边缘图像Dz1和右目边缘图像Dy1中的某一点(x,y)，当尺度为σ时，该点处的Hessian矩阵表示为：
Figure PCTCN2016109778-appb-000005
其中，函数Lxx(x,σ)表示Gaussian在x坐标上的二阶偏导数和左目边缘图像Dz1和右目边缘图像Dy1在点(x,y)处的卷积，公式如下所示：
Figure PCTCN2016109778-appb-000006
Lxy(x,σ)、Lyy(x,σ)的描述分别如下式所示：
Figure PCTCN2016109778-appb-000007
Figure PCTCN2016109778-appb-000008
Figure PCTCN2016109778-appb-000009
是指求偏导的运算，
其中，SURF算法的尺度空间也是按组(Octaves)进行划分的，每组里的图像由不同大小的滤波器卷积后得到。其中，滤波器的尺寸逐步增加，假设其尺寸大小为N×N，则相对应的尺度为σ＝1.2×N/9。尺度空间内不同组滤波器的尺寸大小如图4所示，其中横坐标代表滤波器尺寸(scale)的变化，纵坐标代表不同的组。
为了使算法具备方向不变的特性，SURF算法按照特征点周围的像素点的信息给每个兴趣点重新指定唯一的方向，具体步骤为：
a)以特征点为中心，计算Harr小波在半径为6σ的圆形邻域内水平和竖直方向上的响应，其中采样步长为σ，小波的尺寸为4σ；
b)以特征点为中心对小波响应进行高斯加权(2σ)，使得接近特征点的权重值大，远离特征点的权重值小，得到新的水平方向和竖直方向上的响应；
c)最后采用一个角度为60度的扇形窗口遍历整个圆，直到扇形窗口内总响应最强，此时扇形窗口内的方向指向即为该兴趣点的主方向。
(42)首先将特征点设置为中心点，并沿着中心点的主方向构造一个大小为20σ的方框，然后将区域划分成16个小区域，计算每个子区域内(5σ×5σ)的小波响应，并得到0°方向和向量∑dx，90°方向和向量∑dy，180°方向和向量∑d|x|，180°方向和向量∑d|y|，每个子区域利用构建4维特征向量v＝(∑dx,∑|dx|,∑dy,∑|dy|)来表示，最后形成该点的64维描述子。
假设左目边缘图像用Dz1和右目边缘图像用Dy1尺寸均为M×N，并将图像水平依次放置于同一坐标轴下，形成尺寸为M×2N的图像，左目边缘图像和右目边缘图像特征点匹配示意如图6所示。左目边缘图像Dz1和右目边缘图像Dy1通过SURF方法检测到的特征点集合分别表示成：
Pos1＝{(x′1,y′1),(x′2,y′2),...,(x′p,y′p)}
Pos2＝{(x1,y1),(x2,y2),...,(xq,yq)},
其中p和q分别表示左目边缘图像Dz1和右目边缘图像Dy1特征点的数量；根 据最后正确匹配点对之间的斜率方向一致性的先验知识，本发明的特征点匹配方法包括步骤：
a)对左目边缘图像的特征点集合Pos1中的每个点i，计算与右目边缘图像的特征点集合Pos2中所有的点之间的欧氏距离，选择最小欧氏距离对应的点作为点i的粗匹配点；
b)计算所有粗匹配点对之间的欧氏距离，并按照欧式距离由小到大的顺序对匹配点对排序，并删除其中多点对一点的点对，此时左目边缘图像Dz1和右目边缘图像Dy1中的特征点分别用修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'表示；
c)选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K1对匹配点，记作
Pos_K1＝{{(x′1,y′1),(x1,y1)},{(x′2,y′2),(x2,y2)},...,{(x′n,y′n),(xn,yn)}}，称为集合1；
选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K2对匹配点，用Pos_K2表示，其中
Figure PCTCN2016109778-appb-000010
称为集合2，其中K1＜K2；
d)对于集合2中所有的点对，计算两点间的斜率，如下式所示，并对其四舍五入取整，形成斜率集合k：k＝{k1,k2,...,kw},
Figure PCTCN2016109778-appb-000011
e)计算斜率集合k中每个斜率出现的频数，筛选频数大于等于2的斜率，形 成新的集合k_new＝{k1,k2,...,kt}，其中t是得到的特征点的总数量，理论上集合k_new中元素个数小于斜率集合k中元素个数；如果斜率集合k中每个斜率出现的频数都为1，则选择前2K2/3对的斜率构成新的集合k_new；
f)遍历计算集合修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中所有的点对的斜率，筛选出斜率在区间[kt-0.5,kt+0.5]内的所有的点对，形成点对集合
Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}，其中kt∈k_new；
(5)双目视觉成像原理如图5所示，已知双目视觉摄像机间的基线距离b＝120mm，已知摄像机焦距f(400mm≤f≤1000mm)，视差d定义为某一点在两幅图像中相应点的位置差：
d＝(xzn-xyn)
其中，xzn、xyn分别是匹配点对在左目图像和右目图像中的横坐标，由此计算出左摄像机坐标系中某点P的空间坐标为：
Figure PCTCN2016109778-appb-000012
其中，(xc，yc，zc)是当前匹配点在空间坐标中的位置信息，yzn是匹配点对在左目图像和右目图像中的纵坐标，根据上式计算出所有匹配点在左摄像机坐标系中的坐标，再根据上式与已得到的电力线横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，计算与匹配点空间欧式距离最小的电力线上的点的空间坐标；其中，定义在二维坐标系中纵坐标相同的电力线上的点和匹配点的空间欧式距 离最小，将匹配点纵坐标直接赋予电力线上对应的点，则与点对集合Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}形成一一对应电力线的点为Pos_D＝{{(xdz1,yz1),(xdy1,yy1)},{(xdz2,yz2),(xdy2,yy2)},...,{(xdzn,yzn),(xdyn,yyn)}}，由此计算出左摄像机坐标系中电力线上某点D的空间坐标(xd,yd,zd)；
(6)得到点P和点D的空间坐标后，计算匹配点到电力线的空间欧式距离J，定义J为：
Figure PCTCN2016109778-appb-000013
依次计算当帧图像中所有匹配点到电力线的空间欧式距离，并且与设定的距离经验阈值进行比较，若J大于阈值，则在左目图像中完成该点的标注，完成对电力线构成威胁障碍物信息的反馈工作，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置，当匹配点与电力线的空间垂线距离低于设定阈值时，则不对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理。依次对所有视频序列帧图像中的帧图像进行以上处理，完成巡检过程中的障碍物的标注及信息的记录工作。

Claims (11)

  1. 一种基于人眼视觉特性的电力线路无人机巡检方法，其特征在于，包括以下步骤：
    (1)无人机视频采集：利用无人机搭载双目视觉测量设备获取电力线分布及电力线环境信息的视频图像；
    (2)图像预处理模块对录入的电力线视频图像序列取帧，对当前帧图像进行预处理，包括图像灰度化处理和DoG边缘检测；所述DoG边缘检测利用不同参数的高斯差分结果对图像的边缘进行描述，依次对左目图像和右目图像进行相同的处理；
    (3)电力线检测模块利用数学形态学对已完成预处理的图像进行处理，选取与电力线同方向的结构因子对图像进行反复的膨胀腐蚀处理，去除图像中的噪声，再利用人眼视觉连通域注意机制选取最大的线性连通域，完成图像中电力线的分割；
    分别记录左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)；其中，xdz1,xdz2...xdzj和xdy1,xdy2...xdyj分别指j条电力线连通区域的中心点在左目图像和右目图像上的横坐标；
    (4)双目图像配准模块对左目图像和右目图像分别进行配准，利用SURF算法分别找到已完成预处理的左目边缘图像和右目边缘图像的特征点并求出当前特征点的描述子，然后对特征点进行精确配对，记录精确匹配点在左目图像和右目图像中的位置信息(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，其中n是指单幅图像中包含的所有特征点数量，xzn,yzn和xyn,yyn分别指对应特征点在左目图像和右目图像中的位置坐标；
    (5)障碍检测及预警模块根据左目图像和右目图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)和精确匹配点在左目图像和右目图像中的位置(xz1,yz1)～(xy1,yy1),(xz2,yz2)～(xy2,yy2)...(xzn,yzn)～(xyn,yyn)，利用双目 视觉原理计算匹配点与电力线的三维空间坐标，根据空间坐标信息计算匹配点到电力线的垂直距离；
    (6)结果输出反馈模块对电力线构成威胁的障碍物信息进行反馈，当匹配点与电力线的空间垂线距离高于设定阈值时，在计算机软件界面反馈障碍物的具体信息，记录障碍物检测时间、地理位置，当匹配点与电力线的空间垂线距离低于设定阈值时，则对当前匹配点不作处理，对当前帧图像中的所有匹配点进行同样的处理；依次对所有取得的帧图像进行障碍物信息的反馈处理，完成巡检过程中的障碍物信息的记录。
  2. 根据权利要求1所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(1)中，所述双目视觉测量设备是指规格参数相同的两个视频图像采集设备，分别以左目与右目的形式排列工作，以固定视角同时采集视频图像信息；
    无人机搭载双目视觉测量设备进行电力线巡检时，对无人机进行无线遥控，使无人机在与电力线平行的路线上、并在电力线上方进行直线匀速飞行，采集视频图像序列中的电力线分布方向与无人机飞行方向平行；
    采集到的电力线视频图像包括左视频序列lz和右视频序列ly，并将左视频序列lz和右视频序列ly数据存储至无人机携带的存储设备中，并利用移动无线网络传输至软件***的图像预处理模块。
  3. 根据权利要求1所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(2)中，图像预处理模块对左视频序列lz和右视频序列ly进行处理，首先按照一定的间隔分别在左视频序列lz和右视频序列ly中连续取帧，取帧要求所有的帧图像可以拼接恢复出完整的巡航图像信息，相邻帧之间拼接时无信息缺失，形成左图像序列Tz和右图像序列Ty，其中左图像序列Tz和右图像序列Ty都包含m幅图像，分别为Tz1,Tz2...Tzm和Ty1,Ty2...Tym；对左目和右目对应帧图像进行预处理，首先对左目第一幅图像Tz1和右目第一幅图像Ty1进行处理， 按顺序依次对左目和右目对应帧图像进行处理，直至对左目第m幅Tzm和右目第m幅Tym处理结束。
  4. 根据权利要求3所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：对左目第一幅图像Tz1和右目第一幅图像Ty1进行预处理，包括图像灰度化处理和DoG边缘检测：
    所述图像灰度化处理将彩色图像变为左目第一幅图像的单通道灰度图像Hz1和右目第一幅图像的单通道灰度图像Hy1；
    在所述DoG边缘检测中，定义DoG运算为：
    Figure PCTCN2016109778-appb-100001
    其中，D指处理后的图像结果，σ1为第一常数，σ2为第二常数，x、y分别指图像中当前像素点的横坐标和纵坐标，G(x,y,σ1)和G(x,y,σ2)分别为不同参数的高斯滤波函数，H为灰度图像，“*”代表对整幅图像进行滑动滤波处理，经过预处理的图像分别为左目边缘图像Dz1和右目边缘图像Dy1。
  5. 根据权利要求4所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(3)中，对左目边缘图像Dz1和右目边缘图像Dy1中电力线进行分割，B(x)代表结构元素，对工作空间E中的每一点A(x,y)腐蚀与膨胀运算定义为：
    腐蚀：
    Figure PCTCN2016109778-appb-100002
    膨胀：
    Figure PCTCN2016109778-appb-100003
    其中，
    Figure PCTCN2016109778-appb-100004
    代表“包含于”，∩代表“交运算”，Φ代表空集，用结构元素B(x)对工作空间E进行腐蚀的结果就是把结构元素B平移后使结构元素B包含于工作空间E的所有点构成的集合；用结构元素B(x)对工作空间E进行膨胀的结果就 是把结构元素B平移后使结构元素B与工作空间E的交集非空的点构成的集合。
  6. 根据权利要求5所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：选取线性的结构因子，长度为3个像素点，角度为90度，对左目边缘图像Dz1和右目边缘图像Dy1进行腐蚀膨胀运算，其中一次循环运算包含两次腐蚀运算和一次膨胀运算，循环运算次数20次。
  7. 根据权利要求5所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：对于完成循环膨胀腐蚀运算的图像，检测图像中连通域的面积和长度，保留线性形态与连通域面积达到阈值要求的线段，即为电力线，去除图像中的噪声，完成图像中电力线的分割，分别记录左目边缘图像Dz1和右目边缘图像Dy1图像中电力线的横坐标位置(xdz1,xdz2...xdzj),(xdy1,xdy2...xdyj)，其中，左目边缘图像Dz1和右目边缘图像Dy1图像中分别包含j条电力线，记录j个横坐标位置。
  8. 根据权利要求7所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(4)中，利用SURF算法对图像左目边缘图像Dz1和右目边缘图像Dy1进行特征点检测，具体步骤包括：
    (41)利用快速Hessian检测子提取特征点，对于左目边缘图像Dz1和右目边缘图像Dy1中的某一点(x,y)，当尺度为σ时，该点处的Hessian矩阵表示为：
    Figure PCTCN2016109778-appb-100005
    其中，函数Lxx(x,σ)表示高斯函数Gaussian在x坐标上的二阶偏导数和左目边缘图像Dz1和右目边缘图像Dy1在点(x,y)处的卷积，公式如下所示：
    Figure PCTCN2016109778-appb-100006
    Lxy(x,σ)、Lyy(x,σ)的描述分别如下式所示：
    Figure PCTCN2016109778-appb-100007
    Figure PCTCN2016109778-appb-100008
    是指求偏导的运算，
    其中，SURF算法的尺度空间按组进行划分，每组里的图像由不同大小的滤波器卷积后得到，滤波器的尺寸逐步增加；
    (42)将特征点设置为中心点，并沿着中心点的主方向构造一个大小为20σ的方框，然后将区域划分成16个小区域，计算每个子区域内(5σ×5σ)的小波响应，并得到0°方向和向量Σdx，90°方向和向量Σdy，180°方向和向量Σd|x|，180°方向和向量Σd|y|，每个子区域利用构建4维特征向量v＝(Σdx,Σ|dx|,Σdy,Σ|dy|)来表示，最后形成该点的64维描述子；
    假设左目边缘图像用Dz1和右目边缘图像用Dy1尺寸均为M×N，并将图像水平依次放置于同一坐标轴下，形成尺寸为M×2N的图像，左目边缘图像Dz1和右目边缘图像Dy1通过SURF方法检测到的特征点集合分别表示成：
    Pos1＝{(x'1,y'1),(x'2,y'2),...,(x'p,y'p)}
    Pos2＝{(x1,y1),(x2,y2),...,(xq,yq)},
    其中p和q分别表示左目边缘图像Dz1和右目边缘图像Dy1特征点的数量；
    特征点匹配方法包括以下步骤：
    a)对左目边缘图像的特征点集合Pos1中的每个点i，计算与右目边缘图像的特征点集合Pos2中所有的点之间的欧氏距离，选择最小欧氏距离对应的点作为点i的粗匹配点；
    b)计算所有粗匹配点对之间的欧氏距离，并按照欧式距离由小到大的顺序 对匹配点对排序，并删除其中多点对一点的点对，此时左目边缘图像Dz1和右目边缘图像Dy1中的特征点分别用修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'表示；
    c)选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K1对匹配点，记作
    Pos_K1＝{{(x'1,y'1),(x1,y1)},{(x'2,y'2),(x2,y2)},...,{(x'n,y'n),(xn,yn)}}，称为集合1；
    选择修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中前K2对匹配点，用Pos_K2表示，其中
    Figure PCTCN2016109778-appb-100009
    称为集合2，其中K1＜K2；
    d)对于集合2中所有的点对，计算两点间的斜率，如下式所示，并对其四舍五入取整，形成斜率集合k：k＝{k1,k2,...,kw},
    Figure PCTCN2016109778-appb-100010
    e)计算斜率集合k中每个斜率出现的频数，筛选频数大于等于2的斜率，形成新的集合k_new＝{k1,k2,...,kt}，其中t是得到特征点的总数量；如果斜率集合k中每个斜率出现的频数都为1，则选择前2K2/3对的斜率构成新的集合k_new；
    f)遍历计算集合修正左目边缘图像的特征点集合Pos1'和修正右目边缘图像的特征点集合Pos2'中所有的点对的斜率，筛选出斜率在区间[kt-0.5,kt+0.5]内的所有的点对，形成点对集合
    Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}，其中
    kt∈k_new。
  9. 根据权利要求8所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤41)中，SURF算法按照特征点周围的像素点的信息给每个兴趣点重新指定唯一的方向，具体步骤为：
    a)以特征点为中心，计算Harr小波在半径为6σ的圆形邻域内水平和竖直方向上的响应，其中采样步长为σ，小波的尺寸为4σ；
    b)以特征点为中心对小波响应进行高斯加权，使得接近特征点的权重值大，远离特征点的权重值小，得到新的水平方向和竖直方向上的响应；
    c)最后采用一个角度为60度的扇形窗口遍历整个圆，直到扇形窗口内总响应最强，此时扇形窗口内的方向指向即为该兴趣点的主方向。
  10. 根据权利要求8所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(5)中，双目视觉摄像机间的基线距离b，已知摄像机焦距f，视差d定义为某一点在两幅图像中相应点的位置差：
    d＝(xzn-xyn)
    其中，xzn、xyn分别是匹配点对在左目图像和右目图像中的横坐标，由此计算出左摄像机坐标系中某点P的空间坐标为：
    Figure PCTCN2016109778-appb-100011
    其中，(xc，yc，zc)是当前匹配点在空间坐标中的位置信息，yzn是匹配点对在左目图像和右目图像中的纵坐标，根据上式计算出所有匹配点在左摄像机坐标系中的坐标，再根据上式与已得到的电力线横坐标位置(xdz1,xdz2...xdzn), (xdy1,xdy2...xdyn)，计算与匹配点空间欧式距离最小的电力线上的点的空间坐标；其中，定义在二维坐标系中纵坐标相同的电力线上的点和匹配点的空间欧式距离最小，将匹配点纵坐标直接赋予电力线上对应的点，则与点对集合Pos_K3＝{{(xz1,yz1),(xy1,yy1)},{(xz2,yz2),(xy2,yy2)},...,{(xzn,yzn),(xyn,yyn)}}形成一一对应电力线的点为Pos_D＝{{(xdz1,yz1),(xdy1,yy1)},{(xdz2,yz2),(xdy2,yy2)},...,{(xdzn,yzn),(xdyn,yyn)}}，由此计算出左摄像机坐标系中电力线上某点D的空间坐标(xd,yd,zd)。
  11. 根据权利要求10所述的基于人眼视觉特性的电力线路无人机巡检方法，其特征在于：在所述步骤(6)中，得到点P和点D的空间坐标后，计算匹配点到电力线的空间欧式距离J，定义J为：
    Figure PCTCN2016109778-appb-100012
PCT/CN2016/109778 2016-08-11 2016-12-14 一种基于人眼视觉特性的电力线路无人机巡检方法 WO2018028103A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/555,408 US10269138B2 (en) 2016-08-11 2016-12-14 UAV inspection method for power line based on human visual system
MYPI2017703302A MY192356A (en) 2016-08-11 2016-12-14 An uav inspection method for power line based on human visual system
DE112016000702.7T DE112016000702T5 (de) 2016-08-11 2016-12-14 Auf den visuellen Eigenschaften der menschlichen Augen basierendes UAV-Inspektionsverfahren eines Stromkabels

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610656038.3A CN106356757B (zh) 2016-08-11 2016-08-11 一种基于人眼视觉特性的电力线路无人机巡检方法
CN2016106560383 2016-08-11

Publications (1)

Publication Number Publication Date
WO2018028103A1 true WO2018028103A1 (zh) 2018-02-15

Family

ID=57843922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/109778 WO2018028103A1 (zh) 2016-08-11 2016-12-14 一种基于人眼视觉特性的电力线路无人机巡检方法

Country Status (5)

Country Link
US (1) US10269138B2 (zh)
CN (1) CN106356757B (zh)
DE (1) DE112016000702T5 (zh)
MY (1) MY192356A (zh)
WO (1) WO2018028103A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390672A (zh) * 2019-07-11 2019-10-29 中国计量大学 一种基于EDLines的电力线快速提取方法
CN114119606A (zh) * 2022-01-20 2022-03-01 国网江西省电力有限公司电力科学研究院 基于可见光照片电力线着色的智能化树障隐患分析方法
CN114463648A (zh) * 2022-01-09 2022-05-10 中国长江三峡集团有限公司 一种基于纯视觉的保持风机叶片位于相机视野中间的方法
CN114659523A (zh) * 2022-03-04 2022-06-24 中国科学院微电子研究所 一种大范围高精度姿态测量方法及装置
CN114756052A (zh) * 2022-03-31 2022-07-15 电子科技大学 一种基于无人机群的多目标协同追踪方法
CN116918593A (zh) * 2023-09-14 2023-10-24 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测***
CN118097565A (zh) * 2024-04-19 2024-05-28 国网上海市电力公司 一种基于单目视觉的输电通道无效隐患判定方法

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
CN106873627B (zh) * 2017-03-31 2020-07-28 湘潭大学 一种自动巡检输电线路的多旋翼无人机及方法
CN107462217B (zh) * 2017-07-07 2020-04-14 北京航空航天大学 一种面向电力巡检任务的无人机双目视觉障碍物感知方法
CN109426277B (zh) * 2017-08-30 2022-11-08 广州极飞科技股份有限公司 移动轨迹规划的方法及装置
CN107796360B (zh) * 2017-09-30 2020-06-09 杭州艾航科技有限公司 一种基于无人机视频测量单管塔平板天线角度的方法
CN108280404A (zh) * 2017-12-29 2018-07-13 宁波诺视智能科技有限公司 一种基于人工智能的无人机智能巡线识别方法及***
CN108734143A (zh) * 2018-05-28 2018-11-02 江苏迪伦智能科技有限公司 一种巡检机器人的基于双目视觉的输电线路在线检测方法
US10391867B1 (en) 2018-06-09 2019-08-27 Nxp Aeronautics Research, Llc Apparatus having electric-field actuated generator for powering electrical load within vicinity of powerlines
US11011922B2 (en) 2018-06-09 2021-05-18 Nxp Aeronautics Research, Llc Monitoring tower with device powered using differentials in electric field strengths within vicinity of powerlines
CN108982554A (zh) * 2018-06-20 2018-12-11 国网河南省电力公司电力科学研究院 一种无人机吊装x射线检测装置及检测方法
CN108645383A (zh) * 2018-07-27 2018-10-12 国网福建省电力有限公司漳州供电公司 一种基于无人机测量树线距离的方法
CN108919838B (zh) * 2018-08-27 2021-03-26 河海大学常州校区 一种基于双目视觉的无人机输电线路自动跟踪方法
CN109145905A (zh) * 2018-08-29 2019-01-04 河海大学常州校区 一种基于视觉显著性的输电线路配件检测方法
CN109300118B (zh) * 2018-09-11 2021-09-10 东北大学 一种基于rgb图像的高压电力线路无人机巡检方法
CN109412079B (zh) * 2018-12-13 2020-07-14 杭州申昊科技股份有限公司 一种输电线无人机巡检***
CN109711368B (zh) * 2018-12-29 2023-04-14 华东理工大学 高空电缆线危险区域图像识别方法
CN110033471B (zh) * 2019-04-19 2022-09-13 福州大学 一种基于连通域分析和形态学操作的框线检测方法
CN110119161B (zh) * 2019-06-14 2022-03-01 河海大学常州校区 一种无人机输电线路巡线视觉避障方法及***
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪***
CN112258561B (zh) * 2019-07-22 2023-08-25 复旦大学 针对图像拼接的匹配点获取方法
WO2021101608A1 (en) 2019-08-26 2021-05-27 Nxp Aeronautics Research, Llc Uav airways systems and apparatus
CN110676753B (zh) * 2019-10-14 2020-06-23 宁夏百川电力股份有限公司 输电线路智能巡检机器人
CN111310731B (zh) * 2019-11-15 2024-04-09 腾讯科技（深圳）有限公司 基于人工智能的视频推荐方法、装置、设备及存储介质
CA3164654A1 (en) * 2019-12-13 2021-06-17 Lindsey Firesense, Llc System and method of debris detection and integrity validation for right-of-way based infrastructure
CN111071442B (zh) * 2020-01-07 2022-06-21 国网冀北电力有限公司唐山供电公司 一种线路安全巡视器及其使用方法
DE102020111209A1 (de) 2020-04-24 2021-10-28 Westnetz Gmbh Verfahren zum Überwachen eines elektrischen Versorgungsnetzes
CN111814546A (zh) * 2020-06-03 2020-10-23 国网浙江省电力有限公司 用于输电线弧垂测量的图像识别算法
CN111882618B (zh) * 2020-06-28 2024-01-26 北京石油化工学院 双目测距中左右视图特征点匹配处理方法、终端及***
CN112053461A (zh) * 2020-09-16 2020-12-08 江苏伊卡洛斯电力无人机通用技术有限公司 一种基于无人机的电力巡检方法
CN112215878B (zh) * 2020-11-04 2023-03-24 中日友好医院(中日友好临床医学研究所) 一种基于surf特征点的x光图像配准方法
CN112464789B (zh) * 2020-11-25 2022-09-02 河海大学常州校区 基于线特征的输电线路提取方法
CN112686938B (zh) * 2020-12-29 2024-03-15 重庆大学 基于双目图像测距的输电线路净距计算与安全告警方法
CN112525162B (zh) * 2021-02-09 2021-07-13 国网江苏省电力有限公司泰州供电分公司 一种无人机测量输电线路影像距离的***及方法
CN113160150B (zh) * 2021-04-01 2022-12-06 西安科技大学 线网异物入侵ai检测方法与装置
CN113191972B (zh) * 2021-04-27 2023-04-14 西安交通大学 一种轻量真实图像去噪的神经网络设计及训练方法
CN113034501B (zh) * 2021-05-25 2021-10-15 国网江苏省电力有限公司泰州供电分公司 一种基于关键点检测的均压环倾斜故障识别方法及装置
CN113205541A (zh) * 2021-05-31 2021-08-03 交通运输部天津水运工程科学研究所 一种基于视觉边缘检测的实验室空间波浪实时测量方法
CN113525183A (zh) * 2021-07-29 2021-10-22 北京南凯自动化***工程有限公司 一种铁路接触网障碍物清理***和方法
CN113670268B (zh) * 2021-08-04 2023-08-01 国网福建省电力有限公司泉州供电公司 基于双目视觉的无人机和电力杆塔距离测量方法
CN113733142B (zh) * 2021-11-05 2022-03-08 广东电网有限责任公司江门供电局 机械手***及机械手***的控制方法
CN114463425B (zh) * 2022-01-26 2024-04-16 武汉理工大学 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN114782529B (zh) * 2022-03-25 2024-06-25 国网湖北省电力有限公司电力科学研究院 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质
CN114777745A (zh) * 2022-04-08 2022-07-22 南京信息工程大学 一种基于无迹卡尔曼滤波的倾斜取证建模方法
CN114926552B (zh) * 2022-06-17 2023-06-27 中国人民解放军陆军炮兵防空兵学院 一种基于无人机图像计算像素点高斯坐标方法及***
CN115150784B (zh) * 2022-09-02 2022-12-06 汕头大学 基于基因调控网络的无人机集群区域覆盖方法及设备
CN115294482B (zh) * 2022-09-26 2022-12-20 山东常生源生物科技股份有限公司 一种基于无人机遥感图像的食用菌产量估算方法
CN116843909B (zh) * 2023-05-12 2024-03-08 国家电网有限公司华东分部 电力线提取方法及装置、存储介质、计算机设备
CN117146826B (zh) * 2023-10-26 2024-01-02 国网湖北省电力有限公司经济技术研究院 一种输电线路隐患巡检路径规划方法及装置
CN117541605B (zh) * 2024-01-09 2024-03-29 山东华中重钢有限公司 一种钢结构锈蚀图像区域快速分割方法
CN118245453A (zh) * 2024-05-28 2024-06-25 中水淮河规划设计研究有限公司 一种无人机采集数据的处理方法及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102390370A (zh) * 2011-10-25 2012-03-28 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
CN203083532U (zh) * 2013-01-11 2013-07-24 北京国网富达科技发展有限责任公司 一种检测输电线路安全运行的***
CN103454556A (zh) * 2013-08-09 2013-12-18 国家电网公司 一种具有3d扫描功能的巡检装置及其检测方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和***
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉***目标图像稳定化方法
GB0920636D0 (en) * 2009-11-25 2010-01-13 Cyberhawk Innovations Ltd Unmanned aerial vehicle
US20120250010A1 (en) * 2011-03-31 2012-10-04 Richard Charles Hannay Aerial Inspection System(s) and Method(s)
CN102663766B (zh) * 2012-05-04 2014-10-22 云南大学 一种基于非真实感的艺术插画效果绘制方法
CN102929288B (zh) * 2012-08-23 2015-03-04 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
US9162753B1 (en) * 2012-12-31 2015-10-20 Southern Electrical Equipment Company, Inc. Unmanned aerial vehicle for monitoring infrastructure assets
CN103761524B (zh) * 2014-01-17 2016-11-16 电子科技大学 一种基于图像的线性目标识别与提取方法
ES2746980T3 (es) * 2014-01-30 2020-03-09 Boeing Co Vehículo aéreo no tripulado
US10509417B2 (en) * 2015-03-18 2019-12-17 Van Cruyningen Izak Flight planning for unmanned aerial tower inspection with long baseline positioning
CN104766319B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 提升夜间拍照图像配准精度的方法
CN104764748B (zh) * 2015-05-04 2017-08-11 成都唐源电气有限责任公司 定位绝缘子的方法、***以及故障检测的方法和***
CN104851144B (zh) * 2015-05-29 2018-02-06 高彬桓 具有自适应偏振镜调节的巡检机器人图像处理***及方法
CN105205781B (zh) * 2015-08-24 2018-02-02 电子科技大学 输电线路航拍图像拼接方法
US11029352B2 (en) * 2016-05-18 2021-06-08 Skydio, Inc. Unmanned aerial vehicle electromagnetic avoidance and utilization system
US20180314994A1 (en) * 2017-05-01 2018-11-01 International Business Machines Corporation Directed unmanned aircraft for enhanced power outage recovery

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102390370A (zh) * 2011-10-25 2012-03-28 河海大学 一种基于立体视觉的车辆行驶应急处理装置及方法
CN203083532U (zh) * 2013-01-11 2013-07-24 北京国网富达科技发展有限责任公司 一种检测输电线路安全运行的***
CN103454556A (zh) * 2013-08-09 2013-12-18 国家电网公司 一种具有3d扫描功能的巡检装置及其检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAN FENG: "Monocular to Realize Binocular Visual Positioning Based on SURF Algorithm", COMPUTER SYSTEMS & APPLICATIONS, vol. 24, no. 11, 30 November 2015 (2015-11-30), pages 252 - 254 *
ZHENG, SHUNYI ET AL.,: "Power Line Distance Measuring Technology Based on Stereo Camera", JOURNAL OF GEOMATICS, vol. 35, no. 1, 28 February 2010 (2010-02-28), pages 38 - 39 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390672A (zh) * 2019-07-11 2019-10-29 中国计量大学 一种基于EDLines的电力线快速提取方法
CN114463648A (zh) * 2022-01-09 2022-05-10 中国长江三峡集团有限公司 一种基于纯视觉的保持风机叶片位于相机视野中间的方法
CN114463648B (zh) * 2022-01-09 2024-04-16 中国长江三峡集团有限公司 一种基于纯视觉的保持风机叶片位于相机视野中间的方法
CN114119606A (zh) * 2022-01-20 2022-03-01 国网江西省电力有限公司电力科学研究院 基于可见光照片电力线着色的智能化树障隐患分析方法
CN114119606B (zh) * 2022-01-20 2022-05-10 国网江西省电力有限公司电力科学研究院 基于可见光照片电力线着色的智能化树障隐患分析方法
CN114659523A (zh) * 2022-03-04 2022-06-24 中国科学院微电子研究所 一种大范围高精度姿态测量方法及装置
CN114756052A (zh) * 2022-03-31 2022-07-15 电子科技大学 一种基于无人机群的多目标协同追踪方法
CN116918593A (zh) * 2023-09-14 2023-10-24 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测***
CN116918593B (zh) * 2023-09-14 2023-12-01 众芯汉创(江苏)科技有限公司 一种基于双目视觉无人影像的输电线路通道树障监测***
CN118097565A (zh) * 2024-04-19 2024-05-28 国网上海市电力公司 一种基于单目视觉的输电通道无效隐患判定方法

Also Published As

Publication number Publication date
MY192356A (en) 2022-08-17
US10269138B2 (en) 2019-04-23
CN106356757B (zh) 2018-03-20
US20180357788A1 (en) 2018-12-13
CN106356757A (zh) 2017-01-25
DE112016000702T5 (de) 2018-04-19

Similar Documents

Publication Publication Date Title
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN110415342B (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN107392247B (zh) 一种电力线下方地物安全距离实时检测方法
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及***
Li et al. Towards automatic power line detection for a UAV surveillance system using pulse coupled neural filter and an improved Hough transform
CN101957325B (zh) 基于变电站巡检机器人变电站设备外观异常识别方法
CN109598794B (zh) 三维gis动态模型的构建方法
AU2019222803A1 (en) Volume measurement apparatus and method
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN111126116A (zh) 无人船河道垃圾识别方法及***
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN109684914A (zh) 基于无人机影像智能识别方法
CN112037252A (zh) 基于鹰眼视觉的目标跟踪方法及***
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN116030208A (zh) 一种真实无人机虚拟仿真输电线路场景搭建方法及***
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN115995058A (zh) 基于人工智能的输电通道安全在线监测方法
CN114758215A (zh) 一种配网带电作业机器人接地环及其螺栓的识别定位方法
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN115713654A (zh) 基于2d与3d激光图像的轨道扣件螺栓松动自动检测方法
Rong et al. A joint faster RCNN and stereovision algorithm for vegetation encroachment detection in power line corridors
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN114552601A (zh) 双目视觉输电线震荡监测及三维重建方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 112016000702

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 11201707142S

Country of ref document: SG

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16912557

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16912557

Country of ref document: EP

Kind code of ref document: A1