CN109410207A - 一种基于ncc特征的无人机巡线图像输电线路检测方法 - Google Patents
一种基于ncc特征的无人机巡线图像输电线路检测方法 Download PDFInfo
- Publication number
- CN109410207A CN109410207A CN201811341219.2A CN201811341219A CN109410207A CN 109410207 A CN109410207 A CN 109410207A CN 201811341219 A CN201811341219 A CN 201811341219A CN 109410207 A CN109410207 A CN 109410207A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- camera
- ncc
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000013519 translation Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 20
- 230000005611 electricity Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 241000196324 Embryophyta Species 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：双目相机标定，分别获得左右相机的内、外参数矩阵以及双目相机的旋转矩阵与平移向量；接收两路相机的图像数据；对图像数据进行极线、畸变校正和灰度化、平滑预处理；对图像进行边缘特征与角点特征提取；对两路图像的边缘特征、角点特征进行匹配，获取视差图以及深度图；根据所述深度图进行图像分割，提取电力线路信息。本方法利用多个特征进行特征匹配，能够快速、准确地识别复杂自然环境中的电力线路。
Description
技术领域
本发明属于计算机视觉技术领域，涉及一种基于NCC特征的无人机巡线图像输电线路检测方法。
背景技术
绝大多数电力线路暴露在复杂多变的自然环境中，受到各种自然灾害的威胁，对于电力线路故障如果不能及时得到检测与修复，将直接影响正常的生产活动。开展电力线路巡检有着重大的意义。
目前主要采用人工现场检测或者通过电力线路图像对电力线路故障进行检测，这种方式劳动强度大、主观性强。对于图像检测，主要集中在二维的层次进行检测，这种方式尚不能对复杂的自然背景与电力线路进行有效地分割，正确率得不到保证。
发明内容
本发明要解决的问题是：提供了一种基于NCC特征的无人机巡线图像输电线路检测方法，以解决现有技术人工现场检测或者通过电力线路图像检测劳动强度大、主观性强和正确率低的问题。
本发明的技术方案是：一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：
步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；
步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；
步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；
步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；
步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；
步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；
步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。
NCC(normalized cross correlation)算法，指归一化互相关匹配法，是基于图像灰度信息的匹配方法。
本发明的有益效果是：
(1)本发明对输电线路图像进行预处理，消除了图像中的噪点或畸变信息，减少了输入，去除了一些可能对结果产生影响的噪声干扰，也增强了有用的信息，有利于后续图像特征提取、图像识别等方法对图像的处理，增加了结果的可靠性；
(2)本发明能够准确地检测到输电线路的缺陷类型，且在对图像进行特征提取时采用PCA降维的方式，极大提高了图像检测效率；
(3)本发明能够准确地检测到输电线路的缺陷类型，且在对图像进行预处理前采用OpenCV算法得到输电线路图像的感兴趣区域，极大提高了图像检测效率。
附图说明
图1为本发明实施的流程图；
图2为本发明实施提供的双目图像灰度图；
图3为本发明实施提供的双目图像平滑图；
图4为本发明实施提供的特征检测算法活动图；
图5为本发明实施提供的输电线路特征检测效果图；
图6为本发明实施提供的极线校准图；
图7为本发明实施提供的特征匹配活动图；
图8为本发明实施提供的特征匹配效果；
图9为本发明实施提供的输电线路深度图像；
图10为本发明实施提供的灰度直方图；
图11为本发明实施提供的线路检测分割效果图。
具体实施方式
下面结合附图对本发明方法的实施方式做详细说明。
本发明采用的技术方案为：一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：
步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；
步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；
步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；
步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；
步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；
步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；
步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。
其中，步骤1中对左右相机进行立体标定，标定工具采用MATLAB的标定工具箱对双目相机进行标定，具体标定流程如下：
步骤1.1：打印一张黑白棋盘方格纸作，标定方格纸尺寸为200mm×200mm，将其平整地贴在平面板上作为标定板；
步骤1.2：通过拍摄棋盘格不同角度的图片，棋盘格转动的角度要保证在相机能拍摄到棋盘格的每个方格的范围内，共采集20对左右棋盘格图像对；
步骤1.3：分别对左、右相机进行单目标定，得到左、右相机的内参数、外参数及畸变参数；
步骤1.4：用MATLAB的标定工具箱来进行双目标定，获得左相机和右相机的内参数矩阵M、径向畸变参数(k1,k2,k3)、切向畸变参数(p1,p2)；
其中：fx，fy分别称为x轴和y轴上的归一化焦距，cx，cy为图像原点相对于光心成像点的横纵偏移量。
步骤1.5：完成双目相机标定，得到双目相机标定后的内参数以及右相机相对于左相机的旋转矩阵、平移向量。
步骤2中对左、右两幅图像进行畸变校正和极线约束：畸变校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：
径向畸变的校正：
x'＝x(1+k1r2+k2r4+k3r6)
y'＝y(1+k1r2+k2r4+k3r6)
切向畸变的校正：
x'＝x+[2p1y+p2(r2+2x2)]
y'＝y+[p1(r2+2y2)+2p2x]
其中k1、k2、k3为相机的径向畸变系数，p1、p2为相机的切向畸变系数，(x，y)为畸变点的原始位置，(x’,y’)为校正后的新位置，r为畸变点距离光学中心的距离。
步骤3中对左右两幅图像进行灰度化、平滑、锐化预处理分别如下：
步骤3.1：灰度化是将彩色图像转换为灰度图像的方法，在本发明中，彩色图像由红(R)、绿(G)、蓝(B)三种基色构成，本发明采用加权平均值法对彩色图像进行灰度化：
Vgray＝WRR+WGG+WBB
其中，Vgray为灰度值，WR＝0.30，WG＝0.59，WB＝0.11。
步骤3.2：图像的平滑处理采用中值滤波法，对于每一个像素点，以该点为中心创建一个3×3的模板，以该模板内所有像素的中值代替该像素点处的像素值。
步骤3.3：对于图像的锐化处理，采用近似的拉普拉斯锐化法，假设存在一幅图像f(x,y)，则其拉普拉斯算子为：
根据f(x,y)的一阶差分以及二阶差分，经过简化上式可以得到下式：
可以采用下式避免在处理图像的过程中因扩散而造成的图像模糊这一现象：
公式中的k是一个与扩散相关的系数，通常情况下k＝1，则可得其近似表达方式：
L(x,y)＝5f(x,y)-f(x-1,y)-f(x,y-1)-f(x+1,y)-f(x,y+1)
拉普拉斯锐化法在对凸显图像边缘的方法中效果最明显，并且不会受到图像灰度梯度值的干扰。
本发明中对图像进行灰度化、平滑预处理的结果如附图2和图3所示。
步骤4中特征点提取，构造特征向量，特征检测算法步骤如下：
步骤4.1：输入输电线路的左、右图像；
步骤4.2：对整个图像中的所有像素点采用改进的Harris角点检测算法计算
R值，采用最大容忍距离筛选出符合要求的特征点构成集合T1；
步骤4.3：对整个图像进行基于Hough变换线段检测，对检测出的线段提取
其两个端点，所有线段的端点组成特征点集合T2；
步骤4.4：对T1、T2进行合并剔除掉重复的特征点。
Harris角点检测算法：是取以某个像素点为中心的一个窗口，计算窗口沿垂直和水品方向移动后的灰度变化，并通过解析式描述。设以像素点(x,y)为中心的小窗口在X方向上变化u，Y方向上变化v，Harris算法所描述的灰度变化度量表达式如下：
其中A、B、C为常量，Gx,y为窗口内的灰度变化度量；I为图像灰度函数。
将Gx,y化为二次型有：
其中：
通过对角化处理得到：
其中，R为旋转因子，其特征值λ1和λ2反映了两个主轴方向的图像表面曲率。
为了避免求矩阵M的特征值，可以采用Tr(M)和Det(M)来代替λ1和λ2，如果假设：
则矩阵M(x,y)的行列式和迹为：
Tr(M)＝λ1+λ2＝A+B
Det(M)＝λ1λ2＝AB-C2
Harris角点检测算法的角点响应函数R(x,y)表达式由此而得知：
R(x,y)＝Det(M)-k(Tr(M))2＝(AB-C2)-k(A+B)2
其中，k为大于零的参数，其取值一般为0.04。实际应用中，当目标像素点的R值比初始阈值Rt大时，该像素点即为角点。
改进的Harris角点检测算法为了消除k值的影响，通过改进响应函数R(x,y)，响应函数R是和自相关矩阵M有关的函数，与M的2个特征向量λ1和λ2有关。假如某一个被选取的像素点的自相关矩阵M的2个特征值λ1和λ2(λ1λ≥0)，如果满足条件λ1≈λ2，那么R**＝(λ1-λ2)2/(λ1+λ2)2的值趋于0，而且有0<R**<1，且(λ1-λ2)2＝(λ1+λ2)2-4λ1λ2＝(tarce(M))2-4det(M)。假设R*＝1-R**，仍然成立0<R*<1。由此可以得到关于R*的表达式：
分母中ε为任何一个小的正数，本方法中取0.000001，不存在k值，解决了由于k值的不同对角点检测效果的影响。如果其中一个特征值趋于0，那么R也将趋于0；如果这2个特征值都非常小并且绝对差值相差不多，那么R值仍旧接近于0；如果这2个特征向量的值都很大时，R值就会相应增大。
本方法采用一种基于容忍距离的角点筛选方法来取代非极大值抑制法，该方法着眼于图像全局，不仅运算简单，而且无需设置筛选阈值，所得角点分布广泛而不稀疏，很大程度上解决了角点聚簇的干扰。改进的特征检测算法活动图如附图4所示，左相机的图像也称左图像，右相机的图像也称右图像，特征检测算法结果图如图5所示。
具体方法如下：
1)根据期望所得角点的密度大小设定一个容忍距离d(奇数，d只能取奇数)；创建一个和图像相同大小的矩阵corners用于记录改点是否为角点，并初始化为0；
2)对图像中所有像素计算R值；
3)计算corners矩阵中0值对应的图像位置的最大R值的像素集合，并判断集合是否为空：如果为空，结束运算；如果非空，依据从上往下、从左到右依次进行操作：以该像素为中心，d为边长的正方形中，设置该像素点对应的corners矩阵位置值为TRUE，设置正方形内其他像素对应的corners矩阵位置的非FALSE值为FALSE。
4)重复步骤3)的循环判断，如果集合为空，则结束运算退出循环；如果集合不为空，则继续循环。
步骤5中具体方法如下：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，如图6所示，通过计算像素点的NCC值，建立准确的特征匹配关系，改进特征匹配算法活动图如图7所示。
归一化互相关NCC值计算公式如下：
其中k、l是NCC运算的窗口尺寸，是对应的窗口内灰度平均值，其公式为：
改进的归一化互相关计算公式如下，NCCF是改进的NCC值：
其中k、l是NCCF运算的窗口尺寸，II(u,v)是对应的窗口内灰度的平均值，其公式为：
记录计算所得结果为1的特征点对，即为匹配特征点。特征匹配结果如图8所示。
步骤6中根据步骤5中的正确匹配特征点进行视差计算，并根据旋转向量与平移向量映射到现实的世界坐标系中，得到其深度图，结果如图9所示：
对匹配的像素点进行视差计算：xdepth＝xl-xr，其中l为左图片，r为右图片。通过Z0＝fT/xdepth以及相机标定后得到的内参数矩阵M和旋转向量、平移向量求得该点在空间中的真实坐标Z0。其中，f为焦距，T为左右相机距离。
步骤7中具体方法如下：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。
根据深度图像的成像原理可知，在一幅图像中，距离拍摄者位置越近的物体其视差就会越大，相应地在深度图像中对应的像素就会越亮，即像素值越大。一般对输电线路进行图像采集的时候，双目相机是从上向下正对着输电线路进行俯拍。由此关系，我们需要提取的输电线路目标信息距离拍摄位置距离最近。根据对输电线路深度图像的灰度直方图进行分析，可以明显地看到输电线路目标和背景之间有着明显的峰值特性。
本方法采用双峰法对深度图像进行分割。双峰法的原理及其简单：一幅图像一般由目标区域和背景区域构成。通过对灰度直方图的分析，灰度直方图如图10所示。目标和背景都处在某个像素值的高峰上，最佳分割阈值往往存在于两峰之间的最低点处。双峰法采用确定双峰直方图的两峰之间的最低点来寻找图像的最佳分割阈值。当图像的分割阈值处在最低点时，图像分割一般会表现出良好的分割效果。从分割效果分析，当目标和背景的区分较为明显时，图像分割的效果最好。分割结果如图11所示。
Claims (6)
1.一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，包括以下步骤：
步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；
步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；
步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；
步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；
步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；
步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；
步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。
2.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤2中对左、右两幅图像进行畸变校正和极线约束：畸变校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：
径向畸变的校正：
x'＝x(1+k1r2+k2r4+k3r6)
y'＝y(1+k1r2+k2r4+k3r6)
切向畸变的校正：
x'＝x+[2p1y+p2(r2+2x2)]
y'＝y+[p1(r2+2y2)+2p2x]
其中k1、k2、k3为相机的径向畸变系数，p1、p2为相机的切向畸变系数，(x，y)为畸变点的原始位置，(x’,y’)为校正后的新位置，r为畸变点距离光学中心的距离。
3.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤3中对左右两幅图像进行灰度化、平滑、锐化预处理分别如下：
步骤3.1：灰度化是采用加权平均值法将彩色图像转换为灰度图像；
步骤3.2：图像的平滑处理采用中值滤波法，对于每一个像素点，以该点为中心创建一个3×3的模板，以该模板内所有像素的中值代替该像素点处的像素值；
步骤3.3：对于图像的锐化处理，采用拉普拉斯锐化法。
4.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤4中特征点提取，构造特征向量，特征检测算法步骤如下：
步骤4.1：输入输电线路的左、右图像；
步骤4.2：对整个图像中的所有像素点采用改进的Harris角点检测算法计算R值，采用最大容忍距离筛选出符合要求的特征点构成集合T1；
Harris角点检测算法：是取以某个像素点为中心的一个窗口，计算窗口沿垂直和水品方向移动后的灰度变化，并通过解析式描述。设以像素点(x,y)为中心的小窗口在X方向上变化u，Y方向上变化v，Harris算法所描述的灰度变化度量表达式如下：
其中A、B、C为常量，Gx,y为窗口内的灰度变化度量；I为图像灰度函数；
步骤4.3：对整个图像进行基于Hough变换线段检测，对检测出的线段提取其两个端点，所有线段的端点组成特征点集合T2；
步骤4.4：对T1、T2进行合并剔除掉重复的特征点。
5.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤5中计算像素点的NCC值归一化互相关计算公式如下：
其中k、l是NCC运算的窗口尺寸，是对应的窗口内灰度平均值，其公式为：
改进的归一化互相关计算公式如下，NCCF是改进的NCC值：
其中k、l是NCCF运算的窗口尺寸，II(u,v)是对应的窗口内灰度的平均值，其公式为：
记录计算所得结果为1的特征点对，即为匹配特征点。
6.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤6中对匹配的像素点进行视差计算：xdepth＝xl-xr，其中l为左相机的图像，r为右相机的图像，通过Z0＝fT/xdepth以及相机标定后得到的内参数矩阵M和旋转向量、平移向量求得该点在空间中的真实坐标Z0，其中，f为焦距，T为左右相机距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811341219.2A CN109410207B (zh) | 2018-11-12 | 2018-11-12 | 一种基于ncc特征的无人机巡线图像输电线路检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811341219.2A CN109410207B (zh) | 2018-11-12 | 2018-11-12 | 一种基于ncc特征的无人机巡线图像输电线路检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410207A true CN109410207A (zh) | 2019-03-01 |
| CN109410207B CN109410207B (zh) | 2023-05-02 |
Family
ID=65472866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811341219.2A Active CN109410207B (zh) | 2018-11-12 | 2018-11-12 | 一种基于ncc特征的无人机巡线图像输电线路检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410207B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523528A (zh) * | 2018-11-12 | 2019-03-26 | 西安交通大学 | 一种基于无人机双目视觉sgc算法的输电线路提取方法 |
| CN110349172A (zh) * | 2019-06-28 | 2019-10-18 | 华南理工大学 | 基于图像处理和双目立体测距的输电线路防外破预警方法 |
| CN110910457A (zh) * | 2019-11-22 | 2020-03-24 | 大连理工大学 | 基于角点特征的多光谱立体相机外参计算方法 |
| CN111028275A (zh) * | 2019-12-03 | 2020-04-17 | 扬州后潮科技有限公司 | 一种基于互相关的图像定位匹配的寻迹机器人pid方法 |
| CN111476767A (zh) * | 2020-04-02 | 2020-07-31 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111536981A (zh) * | 2020-04-23 | 2020-08-14 | 中国科学院上海技术物理研究所 | 一种嵌入式的双目非合作目标相对位姿测量方法 |
| CN111664798A (zh) * | 2020-04-29 | 2020-09-15 | 深圳奥比中光科技有限公司 | 一种深度成像方法、装置及计算机可读存储介质 |
| CN112013830A (zh) * | 2020-08-20 | 2020-12-01 | 中国电建集团贵州电力设计研究院有限公司 | 一种输电线路无人机巡检影像检测缺陷的精确定位方法 |
| CN112595265A (zh) * | 2020-12-07 | 2021-04-02 | 新拓三维技术(深圳)有限公司 | 一种线缆折弯半径的测量方法和设备 |
| WO2021174600A1 (zh) * | 2020-03-05 | 2021-09-10 | 中国科学院上海微***与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
| CN113587829A (zh) * | 2021-09-03 | 2021-11-02 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
| CN113723373A (zh) * | 2021-11-02 | 2021-11-30 | 深圳市勘察研究院有限公司 | 一种基于无人机全景影像的违建检测方法 |
| CN114693807A (zh) * | 2022-04-18 | 2022-07-01 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云的映射数据重构方法及*** |
| CN114998576A (zh) * | 2022-08-08 | 2022-09-02 | 广东电网有限责任公司佛山供电局 | 一种输电线路开口销缺失检测方法、装置、设备和介质 |
| CN115755978A (zh) * | 2022-12-08 | 2023-03-07 | 贵州省山地资源研究所 | 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013061066A2 (en) * | 2011-10-28 | 2013-05-02 | Bae Systems Plc | Identification and analysis of aircraft landing sites |
| CN103336946A (zh) * | 2013-06-17 | 2013-10-02 | 浙江大学 | 一种基于双目立体视觉的成簇状番茄识别方法 |
| CN104036512A (zh) * | 2014-06-25 | 2014-09-10 | 西北工业大学 | 一种基于正交消隐点的新型Tsai’s摄像机标定改进方法 |
| US20150206307A1 (en) * | 2014-01-20 | 2015-07-23 | Nokia Corporation | Visual Perception Matching Cost On Binocular Stereo Images |
| CN108288294A (zh) * | 2018-01-17 | 2018-07-17 | 视缘(上海)智能科技有限公司 | 一种3d相机群的外参标定方法 |
-
2018
- 2018-11-12 CN CN201811341219.2A patent/CN109410207B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013061066A2 (en) * | 2011-10-28 | 2013-05-02 | Bae Systems Plc | Identification and analysis of aircraft landing sites |
| CN103336946A (zh) * | 2013-06-17 | 2013-10-02 | 浙江大学 | 一种基于双目立体视觉的成簇状番茄识别方法 |
| US20150206307A1 (en) * | 2014-01-20 | 2015-07-23 | Nokia Corporation | Visual Perception Matching Cost On Binocular Stereo Images |
| CN104036512A (zh) * | 2014-06-25 | 2014-09-10 | 西北工业大学 | 一种基于正交消隐点的新型Tsai’s摄像机标定改进方法 |
| CN108288294A (zh) * | 2018-01-17 | 2018-07-17 | 视缘(上海)智能科技有限公司 | 一种3d相机群的外参标定方法 |
Non-Patent Citations (5)
| Title |
|---|
| RUMANA AKTAR等: "Geospatial content summarization of UAV aerial imagery using mosaicking", 《PROCEEDINGS OF SPIE》 * |
| 吴海峰等: "基于径向畸变的数码相机标定及三维重建", 《机电一体化》 * |
| 吴蒙蒙: "基于特征点的数字水印技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| ***: "基于双目视觉三维重建的关键问题研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 王玉全: "基于双目视觉的实时三维重建技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523528A (zh) * | 2018-11-12 | 2019-03-26 | 西安交通大学 | 一种基于无人机双目视觉sgc算法的输电线路提取方法 |
| CN109523528B (zh) * | 2018-11-12 | 2021-07-13 | 西安交通大学 | 一种基于无人机双目视觉sgc算法的输电线路提取方法 |
| CN110349172A (zh) * | 2019-06-28 | 2019-10-18 | 华南理工大学 | 基于图像处理和双目立体测距的输电线路防外破预警方法 |
| CN110349172B (zh) * | 2019-06-28 | 2022-12-16 | 华南理工大学 | 基于图像处理和双目立体测距的输电线路防外破预警方法 |
| CN110910457A (zh) * | 2019-11-22 | 2020-03-24 | 大连理工大学 | 基于角点特征的多光谱立体相机外参计算方法 |
| CN111028275A (zh) * | 2019-12-03 | 2020-04-17 | 扬州后潮科技有限公司 | 一种基于互相关的图像定位匹配的寻迹机器人pid方法 |
| CN111028275B (zh) * | 2019-12-03 | 2024-01-30 | 内蒙古汇栋科技有限公司 | 一种基于互相关的图像定位匹配的寻迹机器人pid方法 |
| WO2021174600A1 (zh) * | 2020-03-05 | 2021-09-10 | 中国科学院上海微***与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
| CN111476767B (zh) * | 2020-04-02 | 2022-04-12 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111476767A (zh) * | 2020-04-02 | 2020-07-31 | 南昌工程学院 | 一种基于异源图像融合的高铁扣件缺陷识别方法 |
| CN111536981A (zh) * | 2020-04-23 | 2020-08-14 | 中国科学院上海技术物理研究所 | 一种嵌入式的双目非合作目标相对位姿测量方法 |
| CN111536981B (zh) * | 2020-04-23 | 2023-09-12 | 中国科学院上海技术物理研究所 | 一种嵌入式的双目非合作目标相对位姿测量方法 |
| CN111664798A (zh) * | 2020-04-29 | 2020-09-15 | 深圳奥比中光科技有限公司 | 一种深度成像方法、装置及计算机可读存储介质 |
| CN111664798B (zh) * | 2020-04-29 | 2022-08-02 | 奥比中光科技集团股份有限公司 | 一种深度成像方法、装置及计算机可读存储介质 |
| CN112013830B (zh) * | 2020-08-20 | 2024-01-30 | 中国电建集团贵州电力设计研究院有限公司 | 一种输电线路无人机巡检影像检测缺陷的精确定位方法 |
| CN112013830A (zh) * | 2020-08-20 | 2020-12-01 | 中国电建集团贵州电力设计研究院有限公司 | 一种输电线路无人机巡检影像检测缺陷的精确定位方法 |
| CN112595265A (zh) * | 2020-12-07 | 2021-04-02 | 新拓三维技术(深圳)有限公司 | 一种线缆折弯半径的测量方法和设备 |
| CN113587829A (zh) * | 2021-09-03 | 2021-11-02 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
| CN113587829B (zh) * | 2021-09-03 | 2023-08-01 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
| CN113723373B (zh) * | 2021-11-02 | 2022-01-18 | 深圳市勘察研究院有限公司 | 一种基于无人机全景影像的违建检测方法 |
| CN113723373A (zh) * | 2021-11-02 | 2021-11-30 | 深圳市勘察研究院有限公司 | 一种基于无人机全景影像的违建检测方法 |
| CN114693807A (zh) * | 2022-04-18 | 2022-07-01 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云的映射数据重构方法及*** |
| CN114693807B (zh) * | 2022-04-18 | 2024-02-06 | 国网江苏省电力有限公司泰州供电分公司 | 一种输电线路图像与点云的映射数据重构方法及*** |
| CN114998576A (zh) * | 2022-08-08 | 2022-09-02 | 广东电网有限责任公司佛山供电局 | 一种输电线路开口销缺失检测方法、装置、设备和介质 |
| CN114998576B (zh) * | 2022-08-08 | 2022-12-30 | 广东电网有限责任公司佛山供电局 | 一种输电线路开口销缺失检测方法、装置、设备和介质 |
| CN115755978A (zh) * | 2022-12-08 | 2023-03-07 | 贵州省山地资源研究所 | 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410207B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410207A (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| CN104778721B (zh) | 一种双目图像中显著性目标的距离测量方法 | |
| CN106407927B (zh) | 基于偏振成像的适用于水下目标检测的显著性视觉方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN107103589B (zh) | 一种基于光场图像的高光区域修复方法 | |
| CN112116576A (zh) | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 | |
| CN109118528A (zh) | 基于区域分块的奇异值分解图像匹配算法 | |
| CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| Agrafiotis et al. | Underwater photogrammetry in very shallow waters: main challenges and caustics effect removal | |
| CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN104392416A (zh) | 一种运动场景的视频拼接方法 | |
| CN104331978A (zh) | 纸币褶皱的识别装置和方法 | |
| CN109087245A (zh) | 基于相邻关系模型的无人机遥感图像拼接*** | |
| CN109858527A (zh) | 一种图像融合方法 | |
| CN109886170A (zh) | 一种钉螺智能检测识别与统计*** | |
| CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
| Bogo et al. | Automated detection of new or evolving melanocytic lesions using a 3D body model | |
| CN117576461A (zh) | 一种用于变电站场景的语义理解方法、介质及*** | |
| CN109064444A (zh) | 基于显著性分析的轨道板病害检测方法 | |
| CN111325218A (zh) | 基于光场图像的Hog特征检测与匹配方法 | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN116612097A (zh) | 一种基于表面缺陷图像的木材内部节子形态预测方法及*** | |
| CN113670268B (zh) | 基于双目视觉的无人机和电力杆塔距离测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |