CN110490261A - 一种输电线路巡检图像绝缘子的定位方法 - Google Patents

Abstract

本发明公开了一种输电线路巡检图像绝缘子定位方法，包括特征包模型构建、初始绝缘子区域确定和目标区域优化，首先构建特征包模型对样本集进行训练，得到一个绝缘子分类模型，然后根据特征点确定绝缘子的初始定位区域，然后由显著性对目标区域的生长进行引导，最后结合训练好的分类模型对定位区域进行优化，得到最终的绝缘子定位区域。本发明利用显著性对绝缘子的定位进行引导，避免了传统检测方法中需要对全图进行搜索，从而导致耗时大的缺点，所提出的方法定位精度高、定位区域目标占比高、定位速度快，为绝缘子的故障检测提供了有效技术支撑。

Description

一种输电线路巡检图像绝缘子的定位方法

技术领域

本发明涉及一种输电线路巡检图像绝缘子的定位方法，属于数字图像处理与目标检测领域。

背景技术

高压传输线路网已经成为电力***中的主干网，电网在不断加快建设的同时，输电线路分布也越来越广。为了保证传输线路正常运行，电力巡检人员需要对指定输电线路中的电力设备进行巡视，并记录存在的故障。绝缘子多用于高压电线连接塔的一端，能够耐受电压和机械应力，是输变电线路不可缺少的组成部分。据《中国绝缘子避雷器行业产业需求与投资预测分析报告前瞻》中统计国内有近200家线路绝缘子制作产业，相比各类陶瓷绝缘子，玻璃绝缘子大量使用在500KV高压传输电缆线路中，玻璃绝缘子的发展更为迅猛。

绝缘子在电能稳定输送的过程中，有着重要的作用，电网将对绝缘子等电力设备安全、可靠的稳定运行越来越重视，并制定相关章程、详细的实施规则以确保电力设备输电过程中的稳定运行。由于其收到长期的张力，使绝缘子串的两端电压变为零而产生零值自爆现象，会给输电线路在输送电能的过程中带来影响，甚至是发生事故，影响了电能的正常输送，造成大部分地区的停电，以及带来金融损失和产生不安全因素，所处环境恶劣以及受到外界强电场的影响和破坏，因此需要对其进行更换。

随着计算机视觉技术的日益发展和广泛运用，把基于图像处理与视频分析的智能识别技术引入到输电线路无人机/直升机巡检工作中，通过操纵无人机/直升机采集巡检图像和巡检视频，这些影像数据存储了输电线路各电气设备的基本特征和运行状态信息，通过对这些影像数据进行计算机分析处理，自动识别电气设备、检测相应异常状态和故障，实现输电线路巡检的智能化、自动化、先进化。这种基于图像识别的智能巡检技术既能避免掉人工方式下的种种弊病，大幅度提升工作效率和检测精准度，也能极大地改善输电线路巡检的自动化水平，同时大大减少了人力、资金的投入。

绝缘子的准确、快速识别与定位是输电线路巡检中绝缘子自爆状态检测的基础，由于巡检过程中背景复杂，给绝缘子的准确识别与定位带来了一定的困难。

发明内容

本发提所要解决的技术问题是：从巡检图像和巡检视频中，准确、快速识别与定位输电线路中的绝缘子，为输电线路巡检提供保障。

为解决上述技术问题，本发明提出一种输电线路巡检图像绝缘子的定位方法，其特征在于，包括以下步骤：

1)构建特征包模型：

11)首先采集正样本集和负样本集，正样本集中的图像包含绝缘子，负样本集中的图像不包含绝缘子；

12)对正样本集、负样本集中包括的图像利用FAST(Features from AcceleratedSegment Test)算法进行特征点检测；

13)对检测到的每一个特征点利用BRISK(Binary Robust Invariant ScalableKeypoints)算法进行特征提取，得到每一个特征点的特征表述；

14)对所有特征点的特征表述通过模糊聚类方法进行聚类得到特征码本；

15)将每一个特征点的特征表述通过特征码本进行映射；

16)用映射后的特征训练SVM(Support Vector Machine)模型，得到训练好的特征包模型；

2)确定初始绝缘子区域：

绝缘子串有多个单片绝缘子组成，边缘丰富，绝缘子区域特征点数显著；同时，实际巡检时，相机与绝缘子的距离相对背景小，绝缘子区域具有距离显著性，通过在双目可见光图像上对特征点进行稀疏立体匹配得到特征点的视差，视差越大，特征点与相机的距离越近，距离显著性越大。绝缘子区域具有特征点数量显著和距离显著的特点。

对需要检测的图像利用FAST(Features from Accelerated Segment Test)算法进行特征点检测和特征点匹配，根据检测的特征点确定绝缘子的初始定位区域；

根据区域显著度和训练好的分类模型对初始定位区域进行筛选，得到筛选后的初始定位区域；

3)目标区域生长：通过区域显著性对目标区域的生长进行引导，并利用训练好的分类模型优化目标区域。

本发明所达到的有益效果是：本发明利用显著性对绝缘子的定位进行引导和优化，避免了传统检测方法中需要对全图进行搜索，从而导致耗时大的缺点，所提出的方法具有定位精度高、定位区域目标占比高、定位速度快，为绝缘子故障检测提供了有效技术支撑。

附图说明

图1为本发明输电线路巡检图像绝缘子的定位方法流程图；

图2为目标区域生长方向示意图；

图3为邻域像素示意图。

具体实施方式

本发明的实际流程图如图1所示，本发明的一种输电线路巡检图像绝缘子的定位方法，包括以下步骤：

1)构建特征包模型：

对样本集中图像利用FAST算法进行特征点检测，对检测的每一个特征点利用BRISK算法进行特征提取，得到每一个特征点的特征表述，对所有提取到的特征通过模糊聚类方法进行聚类得到特征码本，将每一个样本图像中提取的特征点特征通过特征码本进行映射，用映射后的特征训练SVM模型，得到训练好的分类模型。

其步骤具体如下:

11)采集正样本集和负样本集，正样本集中图像包含绝缘子，负样本集中图像不包含绝缘子；

12)对正样本集、负样本集中图像利用FAST算法进行特征点检测，FAST特征点检测算法步骤如下：

(121)从图片中选取一个像素P，像素点P的灰度值为I_P；

(122)设定一个阈值t；

(123)以像素点P为中心的获取一个离散化的Bresenham圆，以半径等于3像素的圆为例，这个圆的边界上有16个像素，如图3所示，中间灰色像素为当前像素点P，黑色为Bresenham圆上的像素点，总共16个；

(124)如果在所述离散化的Bresenham圆上有n个连续的像素点，n个连续的像素点的灰度值均大于I_P+t，或者均小于I_P-t，则像素点P为一个特征点，得到特征点集P。

13)对检测到的每一个特征点利用BRISK算法进行特征提取，特征提取的步骤如下：

131)以任意特征点为中心，构建不同半径的同心圆，在每个圆上获取设定数目的等间隔采样点，对同心圆上的采样点进行高斯滤波，得到N个采样点；

132)对获取的N个采样点进行两两配对，共有N(N-1)/2种组合方式，所有组合方式的集合称为采样点对集，用集合A＝{(p_i,p_j)|i＜N and j＜i,j∈N}表示，其中特征点p_i、特征点p_j的像素值分别为I(p_i)、I(p_j)，用g(p_i,p_j)表示特征点局部梯度集合，

则有

其中，||·||表示欧式距离，定义短距离点对子集S、长距离点对子集L：

S＝{(p_i,p_j)∈A and||p_j-p_i||<δ_max}

L＝{(p_i,p_j)∈A and||p_j-p_i||>δ_min}

其中，A为采样点对集，δ_min和δ_max分别为下阈值和上阈值，通过以上信息计算特征点的主方向，如下：

α＝arctan2(g_y/g_x)

其中，g为特征点的梯度，g_x、g_y分别为特征点在x、y方向上的梯度，α为特征点的主方向；

(133)对特征点周围的采样区域旋转到主方向，旋转后得到新的采样区域，采样模式同步骤132)，得到N个采样点，由采样点集合可得到N(N-1)/2对采样点对，得到N(N-1)/2个距离的集合，对短距离点对子集S中的短距离点对进行二进制编码，得到编码b，编码方式如下

其中，带有上标，表示经过旋转α角度后的新的采样点的像素值，每一个特征点的编码为特征描述即特征向量。

14)对所有提取到的特征通过模糊聚类方法进行聚类得到特征码本。

对上述获取的所有特征点的特征向量通过模糊聚类算法进聚类，首先指定聚类中心数c及迭代终止条件ε，根据聚类中心数随机生成c个聚类中心，聚类准则函数J_m(U,V)定义为

式中：d_kt＝||x_t-v_k||表示第t个特征向量到第k个聚类中心的欧式距离，V是聚类中心的集合，m∈[1,∞]为模糊加权指数，用于控制聚类结果模糊的程度；模糊聚类获得使准则函数达到最小的一组(U,V)，令聚类准则函数J_m(U,V)对u_kt和v_k的一阶偏导数为0，可得聚类准则函数J_m(U,V)取极小值的必要条件为：

式中：t∈[1,n]，k∈[1,c]，n为特征向量总数，u_kt为第i个像素点到第k个聚类中心的隶属度，v_k为第k个聚类中心，d_jt为第t个像素到第j个像素的欧式距离，x_t为第t个像素的灰度值，利用上式不断迭代至设定的终止条件得到最终的聚类中心集，即特征码本；

15)将每一个样本图像中提取的特征点的特征描述通过特征码本进行映射，得到映射后的特征；

对于每个样本图像提取到的特征，根据欧式距离找到特征码本中与其最近的聚类中心，即为该特征所属的类别，依次计算样本中所有特征所属类别，各类别的特征向量数即为映射后的特征；

16)用映射后的特征训练SVM模型，得到训练好的分类模型，完成特征包模型的构建。

2)初始绝缘子区域确定：

对需要检测的图像利用FAST算法进行特征点检测，绝缘子串由多个单片绝缘子组成，边缘丰富，绝缘子区域特征点数显著；同时，实际巡检时，相机与绝缘子的距离相对背景小，绝缘子区域具有距离显著性，通过在双目可见光图像上对特征点进行稀疏立体匹配得到特征点的视差，视差越大距离越小，即距离显著性越大。通过显著性，即特征点数量显著性和距离显著性确定绝缘子的初始区域。对于每一个特征点，如果其显著度较大，将其邻域作为绝缘子初始定位区域。对于已经确定的绝缘子初始定位区域内的其他特征点则忽略，以保证各个初始定位区域之间没有重叠。

具体步骤如下：

21)特征点检测，利用FAST算法对左右目可见光图像进行特征点检测；

22)特征点匹配，对于左目图像中的每个特征点，找出其在右目图像中欧式距离最近的前两个特征点，如果最近距离除以次近距离小于阈值，则接受这一对匹配点，否则，去除，经以上处理得到粗匹配点对集O和新的左目特征点集一P′_left和右目特征点集二P′_right；计算所有粗匹配点对的欧式距离并得到最大距离d_max，对于距离小于α1·d_max的匹配点对进行筛除，得到新匹配点对集O'和左目特征点集二P"_left和目特征点集二P"_right；α1为修正因子一；

23)视差计算，对于筛选后的左目图像中的每一个特征点，将其与右目图像中对应的特征点之间的欧式距离作为该特征点的视差，视差定位为

其中，D_i表示左目图像中第i个特征点的视差，P"_{left_i}(x)、P"_{left_i}(y)分别为左目图像中第i个特征点的横、纵坐标，P"_{right_i}(x)、P"_{right_i}(y)分别为右目图像中第i个特征点的横、纵坐标，视差越大，距离越近，距离显著性越大；

24)确定初始定位区域：对于每一个特征点，以特征点为中心，w为宽度，h为宽度的区域作为初始定位区域，对于已经确定的绝缘子初始定位区域内的其他特征点则忽略，使各个初始定位区域之间没有重叠；

25)初步筛选初始定位区域：对所有的初始定位区域计算其显著度，显著度Sal定义如下：

其中，Sal_{feature_point}为区域特征点数量显著度，Sal_dis为距离显著度，α为修正因子二，number_region为区域的特征点数量，area_region为区域面积，Avg(D)为区域所有特征点的平均视差，Max(D)区域所有特征点的最大视差；

26)再筛选初始定位区域：对所有的初步筛选的定位区域通过构建的特征包模型进行筛选，得到包含绝缘子的初始定位区域，即再筛选后的定位区域。

3)目标区域优化：

利用显著性对目标区域的生长进行引导，同时利用训练好的特征包模型对目标区域进行优化，得到最终的定位区域。

具体步骤如下：

31)目标区域生长：对于初始定位区域，每一个边可以向两个方向生长(90°和-90°)，如图2所示，4个边总共8个方向，具体生长方向由显著性进行引导，显著性包括特征点数显著和距离显著，生长条件如下：

Sal_change＞Sal_threshod

其中，Sal_change＝Sal_after-Sal_before为生长前后目标区域显著性变化值，Sal_threshod为目标区域显著性变化阈值；Sal_after为生长后的目标区域显著性，Sal_before为生长前的目标区域显著性；

Area_after＝Area_before+β*step_dir

其中，Area_after为生长后的目标区域，Area_before为生长前的目标区域，step_dir为生长方向的步长；下标dir为方向，可以是8个方向的任意一个方向；

32)目标区域优化：对于生长后的目标区域，通过构建后的特征包模型进行分类，模型的输出为该区域包含目标即绝缘子的概率；若出现Pro_after-Pro_before＜Pro_threshod，则停止生长，其中，Pro_after为目标区域生长后包含绝缘子的概率，Pro_before为目标区域生长后包含绝缘子的概率，Pro_threshod为概率阈值。

以上已以较佳实施例公开了本发明，然其并非用以限制本发明，凡采用等同替换或者等效变换方式所获得的技术方案，均落在本发明的保护范围之内。

Claims (8)

1.一种输电线路巡检图像绝缘子的定位方法，其特征在于，包括以下步骤：

1)构建特征包模型：

11)首先采集正样本集和负样本集，正样本集中的图像包含绝缘子，负样本集中的图像不包含绝缘子；

12)对正样本集、负样本集中包括的图像利用FAST算法进行特征点检测；

13)对检测到的每一个特征点利用算法进行特征提取，得到每一个特征点的特征表述；

14)对所有特征点的特征表述通过模糊聚类方法进行聚类得到特征码本；

15)将每一个特征点的特征表述通过特征码本进行映射；

16)用映射后的特征训练SVM模型，得到训练好的特征包模型；

2)确定初始绝缘子区域：

对需要检测的图像利用FAST算法进行特征点检测和特征点匹配，根据检测的特征点确定绝缘子的初始定位区域；

根据区域显著度和训练好的分类模型对初始定位区域进行筛选，得到筛选后的初始定位区域；

3)目标区域生长：通过区域显著性对目标区域的生长进行引导，并利用训练好的分类模型优化目标区域。

2.根据权利要求1所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤12)中，具体步骤如下：

(121)从图片中选取一个像素P，像素点P的灰度值为I_P；

(122)设定一个阈值t；

(123)以像素点P为中心的获取一个离散化的Bresenham圆；

(124)如果在所述离散化的Bresenham圆上有n个连续的像素点，n个连续的像素点的灰度值均大于I_P+t，或者均小于I_P-t，则像素点P为一个特征点，得到特征点集P。

3.根据权利要求1所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤13)中，特征提取的步骤如下：

131)以任意特征点为中心，构建不同半径的同心圆，在每个圆上获取设定数目的等间隔采样点，对同心圆上的采样点进行高斯滤波，得到N个采样点；

132)对获取的N个采样点进行两两配对，共有N(N-1)/2种组合方式，所有组合方式的集合称为采样点对集，用集合A＝{(p_i,p_j)|i＜N and j＜i,j∈N}表示，其中特征点p_i、特征点p_j的像素值分别为I(p_i)、I(p_j)，用g(p_i,p_j)表示特征点局部梯度集合，

则有

其中，||·||表示欧式距离，定义短距离点对子集S、长距离点对子集L：

S＝{(p_i,p_j)∈A and||p_j-p_i||<δ_max}

L＝{(p_i,p_j)∈A and||p_j-p_i||>δ_min}

其中，A为采样点对集，δ_min和δ_max分别为下阈值和上阈值，通过以上信息计算特征点的主方向，如下：

α＝arctan2(g_y/g_x)

其中，g为特征点的梯度，g_x、g_y分别为特征点在x、y方向上的梯度，α为特征点的主方向；

(133)对特征点周围的采样区域旋转到主方向，旋转后得到新的采样区域，采样模式同步骤132)，得到N个采样点，由采样点集合可得到N(N-1)/2对采样点对，得到N(N-1)/2个距离的集合，对短距离点对子集S中的短距离点对进行二进制编码，得到编码b，编码方式如下

其中，表示经过旋转α角度后的新的采样点的像素值，每一个特征点的编码为特征描述即特征向量。

4.根据权利要求1所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤14)中，得到特征码本的步骤为：

对获取的所有特征点的特征向量通过模糊聚类算法进聚类，首先指定聚类中心数c及迭代终止条件ε，根据聚类中心数随机生成c个聚类中心，聚类准则函数J_m(U,V)定义为

式中：d_kt＝||x_t-v_k||表示第t个特征向量到第k个聚类中心的欧式距离，V是聚类中心的集合，m∈[1,∞]为模糊加权指数，用于控制聚类结果模糊的程度；模糊聚类获得使准则函数达到最小的一组(U,V)，令聚类准则函数J_m(U,V)对u_kt和v_k的一阶偏导数为0，可得聚类准则函数J_m(U,V)取极小值的必要条件为：

式中：t∈[1,n]，k∈[1,c]，n为特征向量总数，u_kt为第i个像素点到第k个聚类中心的隶属度，v_k为第k个聚类中心，d_jt为第t个像素到第j个像素的欧式距离，x_t为第t个像素的灰度值，利用上式不断迭代至设定的终止条件得到最终的聚类中心集，即特征码本。

5.根据权利要求1所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤15)中，对于每个样本图像提取到的特征，根据欧式距离找到特征码本中与其最近的聚类中心，即为该特征所属的类别，依次计算样本中所有特征所属类别，各类别的特征向量数即为映射后的特征。

6.根据权利要求1所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤2)中，进行特征点检测和特征点匹配、根据检测的特征点确定绝缘子的初始定位区域，具体步骤为：

21)特征点检测，利用FAST算法对左右目可见光图像进行特征点检测；

22)特征点匹配，对于左目图像中的每个特征点，找出其在右目图像中欧式距离最近的前两个特征点，如果最近距离除以次近距离小于阈值，则接受这一对匹配点，否则，去除，经以上处理得到粗匹配点对集O和新的左目特征点集一P′_left和右目特征点集二P′_right；计算所有粗匹配点对的欧式距离并得到最大距离d_max，对于距离小于α1·d_max的匹配点对进行筛除，得到新匹配点对集O'和左目特征点集二P″_left和目特征点集二P″_right；α1为修正因子一；

23)视差计算，对于筛选后的左目图像中的每一个特征点，将其与右目图像中对应的特征点之间的欧式距离作为该特征点的视差，视差定位为

其中，D_i表示左目图像中第i个特征点的视差，P″_{left_i}(x)、P″_{left_i}(y)分别为左目图像中第i个特征点的横、纵坐标，P″_{right_i}(x)、P″_{right_i}(y)分别为右目图像中第i个特征点的横、纵坐标，视差越大，距离越近，距离显著性越大；

24)确定初始定位区域：对于每一个特征点，以特征点为中心，w为宽度，h为宽度的区域作为初始定位区域，对于已经确定的绝缘子初始定位区域内的其他特征点则忽略，使各个初始定位区域之间没有重叠。

7.根据权利要求6所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤2)中，对初始定位区域进行筛选，具体步骤为：

25)初步筛选初始定位区域：对所有的初始定位区域计算其显著度，显著度Sal定义如下：

其中，Sal_{feature_point}为区域特征点数量显著度，Sal_dis为距离显著度，α为修正因子二，number_region为区域的特征点数量，area_region为区域面积，Avg(D)为区域所有特征点的平均视差，Max(D)区域所有特征点的最大视差；

26)再筛选初始定位区域：对所有的初步筛选的定位区域通过构建的特征包模型进行筛选，得到包含绝缘子的初始定位区域，即再筛选后的定位区域。

8.根据权利要求1所述的输电线路巡检图像绝缘子的定位方法，其特征在于，在所述步骤3)中，对目标区域进行优化，得到最终的定位区域，具体步骤为：

31)目标区域生长：对于初始定位区域，每一个边可以向两个方向生长，4个边总共8个方向，具体生长方向由显著性进行引导，显著性包括特征点数显著和距离显著，生长条件如下：

Sal_change＞Sal_threshod

其中，Sal_change＝Sal_after-Sal_before为生长前后目标区域显著性变化值，Sal_threshod为目标区域显著性变化阈值；Sal_after为生长后的目标区域显著性，Sal_before为生长前的目标区域显著性；

Area_after＝Area_before+β*step_dir

其中，Area_after为生长后的目标区域，Area_before为生长前的目标区域，step_dir为生长方向的步长；下标dir为方向，可以是8个方向的任意一个方向；

32)目标区域优化：对于生长后的目标区域，通过构建后的特征包模型进行分类，模型的输出为该区域包含目标即绝缘子的概率；若出现Pro_after-Pro_before＜Pro_threshod，则停止生长，其中，Pro_after为目标区域生长后包含绝缘子的概率，Pro_before为目标区域生长后包含绝缘子的概率，Pro_threshod为概率阈值。