CN114119606A - 基于可见光照片电力线着色的智能化树障隐患分析方法 - Google Patents

Abstract

本发明公开了一种基于可见光照片电力线着色的智能化树障隐患分析方法，根据线路杆塔的经纬度，以及巡检照片的经纬度进行匹配，自动把巡检照片归类到对应最近的杆塔上；快速对巡检照片中的电力线进行标识着色，然后生成三维点云，自动根据电力线标识提取电力线，生成杆塔区间，以及根据生成的电力线对电力线下方的点云进行自动分类，最后进行隐患分析并一键导出报告，本发明的方法可提升数据处理效率，降低了树障隐患防范的技术经济门槛。

Description

基于可见光照片电力线着色的智能化树障隐患分析方法

技术领域

本发明属于电网巡检技术领域，具体涉及一种基于可见光照片电力线着色的智能化树障隐患分析方法。

背景技术

架空输电线路多处于山区，面积大、树木多，危险隐患也多了许多，巡线人员经常遇到树障问题。树障对线路的安全运行造成的影响，轻则跳闸，重则使导线断裂或者杆塔倒塌，造成较大面积的停电，严重影响电网安全。传统的树障查找手段主要靠人工肉眼判断或者无人机采集的点云数据分析，肉眼判断有很大的可能性造成判断错误，激光点云数据采集设备昂贵，巡视成本高，而可见光点云的采集成本低，但数据分析复杂，因此，需要一套自动化程度高，操作简单，处理方便的树障隐患分析***，在无人机巡线拍摄的可见光照片的基础上智能分析出树障隐患。

CN113537180A公开了一种树障的识别方法、装置、计算机设备和存储介质。所述方法包括：获取输配电廊道的拍摄图像；对所述拍摄图像进行像素级的稠密点云数据恢复，得到目标稠密三维点云数据；目标稠密三维点云数据包含色度特征信息；对所述目标稠密三维点云数据进行三维语义分割，得到三维语义分割结果；所述三维语义分割结果包括各语义对应的点云数据集合；根据所述三维语义分割结果，确定输配电线路树障隐患点。

CN111929698A公开了一种输电线路走廊区域内的树障隐患识别方法，包括：将输电线路走廊区域的点云数据中的悬空点使用悬链线方程及弧垂方程计算相邻基塔之间的输电线路的弧垂，以拟合出相邻基塔之间的每条输电线路；然后对点云数据进行分类得到输电线路点云数据、基塔点云数据和植被点云数据；以分类后得到的点云数据为基础，构建以相邻基塔、相邻基塔之间的输电线路以及地面为边界的柱状探查空间；最后获取柱状探查空间内的植被与输电线路之间的距离，并标识出植被中与输电线路之间的距离小于设定值的树木。该方法可及时发现输电线路内的树障隐患，防止树木对输电线路造成威胁，与传统人工量测排除相比识别的准确性更高。

上述现有技术的树障识别方法，无人机采集的线路通道可见光图像，生成可见光三维点云后，需要比较复杂的操作才能提取出导线，需要进行弧垂建模，其中拟合导线需要在图片上进行大量的人工操作，对于杆塔区间只有导线的看不到杆塔的图片，从图片中需要反复比较分析，才能区分出图片最下方导线，对人员专业性要求高，以及要手动分类线下地面点云，数据处理智能化程度低，造成树障隐患分析效率低，而通过稠密三维点云数据进行三维语义分割，确定输配电线路树障隐患点，三维语义分割的结果准确性无法保证，存在较大误差，造成分析成果精度无法保证，实用性不高。

发明内容

为了克服现有技术在生成可见光三维点云后，树障识别的过程中操作复杂，树障隐患分析效率低的缺点，本发明提供一种基于可见光照片电力线着色的智能化树障隐患分析方法，对巡检图片进行自动分类，利用智能识别技术，快速对巡检照片中的电力线进行标识着色，然后生成三维点云，自动根据电力线标识提取电力线，生成杆塔区间，以及根据生成的电力线对电力线下方的点云进行自动分类，快速自动计算分析输电线路树障隐患，提升数据处理效率。降低了树障隐患防范的技术经济门槛。

为了解决上述技术问题，本发明提供一种基于可见光照片电力线着色的智能化树障隐患分析方法，包括如下步骤：

步骤S1、照片自动分类:对采集的巡检照片进行自动分类，根据线路杆塔的经纬度和巡检照片的经纬度进行距离匹配，自动把采集的巡检照片分类绑定到最近的线路杆塔上；

步骤S2、电力线标识着色: 打开杆塔对应的巡检照片，为每个杆塔标识出最下方电力线挂点处，最下方电力线为需要分析树障隐患的电力线，然后使用智能识别技术，自动根据标识的电力线，把每张巡检照片中需要分析树障隐患的电力线识别出来，并对电力线进行着色；

步骤S3、生成点云：把标识着色了电力线的巡检照片转换为对应可见光密集三维点云；

步骤S4、生成杆塔区间和电力线：根据线路杆塔顺序，每两个相邻的杆塔生成杆塔区间，经过空三计算后生成的三维点云，三维点云中电力线已着色，通过杆塔区域划分三维空间区域，区域内的高度在塔高/3至塔高范围内的着色的点云即为电力线点云，并且把电力线归到对应的杆塔区间；

步骤S5、点云分类：对电力线下方的点云进行自动分类，以需要分析树障隐患的电力线垂直向下为长，两侧宽度不限的区域内所有点云标识为地面点云，以便下一步进行树障隐患分析；

步骤S6、树障隐患分析；

步骤S7、一键导出报告。

进一步优选，步骤S2所述电力线标识着色的过程如下：

S21、先对巡检照片预处理，彩色图像转灰度，图像二值化，得到二值图区域Z；

S22、图像增强：使用边界算子对二值化的灰度图像进行滤波；

S23、导线标记：对步骤S22滤波所得图像中的连通区域进行搜索，得到连通区域的边界，初始化标记的电力线挂点的坐标点p(x₀，y₀)，并筛选出包围该点的连通区域S，对连通区域S中的全部点和坐标点p(x₀，y₀)求向量方向，得到单位向量的集合Π(θ)，单位向量θ的定义如下：

式中x和y为连通区域S的像素点的横坐标和纵坐标；

对单位向量的集合Π(θ)进行统计，得到密度峰值的均值点θ′，此时，θ′就是最下方电力线的方向，临近θ′的单位向量的像素点均为最下方电力线上的像素点，以坐标点p(x₀，y₀)为初始像素点，以θ′为初始方向，计算当前的直线L，取直线上距离末端最近的像素点p′，记录像素点p′的8邻接区域范围内的二值图区域Z的像素点，将其标记为m；若m不为空，求m中的像素点的重心f，计算p(x₀，y₀)到重心f的直线，替换直线L，若m为空，则计算下一个m，直到m不为空时，构造上一个重心f_n-1到当前重心f_n的线段，n为重心的编号，将线段上的像素点标记为m′，并重复这一过程，直到计算连续5个m出现空值，或已到达图像边缘时退出，此举是为避免二值化过程中，导线暗光处出现图像断点，每次得到m′时，将m′导入至标记集合M；

S24、导线着色：取标记集合M中所有的标记m′，进行一次形态学膨胀操作，得到最终标记图，最后，将标记图标识在原图上，完成了图像的着色。

进一步优选，步骤S21中，彩色图像转灰度Gray过程中，对R、G、B三个颜色通道进行拆分，然后使用下述心理学公式进行转换：

。

进一步优选，步骤S21中，图像二值化，采用指定的阈值进行二值化，二值化过程的公式如下：

其中，maxval为设置的最终阈值，src(x，y)为原始巡检照片中的像素点， thresh为设置的阈值，dst(x，y)为目标图像中的像素点，otherwise表示小于等于thresh的条件。

进一步优选，步骤S3包括以下步骤

S31：对巡检照片进行匹配转点，匹配转点是对航带内和航带间相邻巡检照片特征点提取和特征点匹配，从而得到足够多的同名点，所述同名点是地面上同一个点在不同巡检照片上的成像点；

S32：对巡检照片进行平差解算，平差解算是根据输入的巡检照片的内参数和外参数粗略值和匹配转点得到的同名点坐标，所述内参数包括相机焦距、像元大小和畸变，所述外参数包括相影像拍摄时刻的空间位置和姿态，利用共线方程进行反复迭代计算，解算出每张巡检照片的最佳内外参数和大量的同名点的对应的地面点坐标；

S33：处理巡检照片的最佳内外参数和同名点坐标，利用计算机视觉的逐像素密集匹配算法，得到线路杆塔可见光密集三维点云，并且三维点云中需要分析树障隐患的电力线已着色标识，将得到的三维点云数据整合得到一个工程文件，加载三维点云实现可视化呈现。

进一步优选，所述树障隐患分析过程为：将S4生成的电力线点云，和S5自动分类的地面点云一并计算，获取地面各点到电力线的距离，包括水平距离、垂直距离、净空距离，根据电力树障隐患分级标准设置线树安全距离标准，获取不同严重等级的树障缺陷点，以及树障缺陷点的位置、距离杆塔的距离，根据空间位置匹配预览树障缺陷点对应在航拍照片上的位置，并用圆圈标识显示树障缺陷点。

进一步优选，步骤S7对树障缺陷点的信息确认无误后自动集成到报告中，实现过程为，制作一个报告模板，报告模板中控件中涉及的数据源，来源于步骤S6中分析的树障缺陷点的信息，按照需求设计定义好统计变量、命令、巡检图片，通过数据源传递相关数据给模板中的控件，报告中的统计则用脚本依据报告模块中的逻辑运算，获得结果填充到报告模板中，最后调用office组件，渲染生成标准的树障office报告。

进一步优选，报告内容包括杆塔区间、距小号塔、缺陷级别、经度、纬度、水平距离、垂直距离、净空距离、分析人员、缺陷照片、剖面图。

本发明支持多种无人机或有人机可见光数据源，如固定翼、多旋翼等无人机搭载普通可见光相机所摄取影像，或者直升机、大型固定翼等有人机等搭载专业量测相机所摄取的照片。将可见光影像先按杆塔进行分类，利用智能识别技术对巡检图片中最下方的电力线进行快速标识，着色，然后经过空三加密处理之后生成可见光点云，根据标识着色的电力线，可以快速拟合出电力线轨迹，对电力下方的地面点云进行自动分类，进而准确计算量取电力线距离地面的准确距离。最后自动进行隐患分析，输出实时工况树障危险点分析报告。

本发明无需人为干预即可获得专业的精度：通过自动计算原始影像外方位元素、自动校准影像、自动生成精度报告，可以快速和正确地评估结果的质量。提供详细的、定量化的自动空三、区域网平差和地面控制点的精度。整个过程完全自动化并且精度更高。自动化程度高，只需要简单标识出需要分析树障隐患的电力线，***即可自动开展分析，智能化数据分析，作业效率高，节省时间。

附图说明

图1是本发明的流程图。

图2为无人机照片的成像原理图。

具体实施方式

下面结合实施例进一步详细阐明本发明。

步骤S1、照片自动分类:高精度定位无人机按一定飞行规则，在线路通道两侧采集可见光照片作为巡检照片，其中巡检照片与航线重叠度大于85%，旁向重叠度大于35%，保证作业覆盖足够的输电线路杆塔及地面区域以及精度。对采集的巡检照片进行自动分类，根据线路杆塔的经纬度和巡检照片的经纬度进行距离匹配，自动把采集的巡检照片分类绑定到最近的线路杆塔上，这样可以区分巡检照片中的电力线是属于哪个杆塔区间，后面隐患分析时，也可以自动归类到对应的杆塔区间。

步骤S2、电力线标识着色: 打开杆塔对应的巡检照片，为每个杆塔标识出最下方电力线挂点处，最下方电力线为需要分析树障隐患的电力线，然后使用智能识别技术，自动根据标识的电力线，把每张巡检照片中需要分析树障隐患的电力线识别出来，并对电力线进行着色。

S21、先对巡检照片预处理，彩色图像转灰度，图像二值化，得到二值图区域Z。

在一般的彩色图像转灰度Gray过程中，都是对R、G、B三个颜色通道进行拆分，然后使用心理学公式进行转换，公式如下：

由于巡检照片的绿色部分多为树木背景，且导线部分蓝光波段偏多，因此，特对心理学公式进行优化改进，使导线区域更明显，本方法改进后的心理学公式为：

图像二值化，采用指定的阈值进行二值化，二值化过程的公式如下：

其中，maxval为设置的最终阈值，src(x，y)为原始巡检照片中的像素点， thresh为设置的阈值，dst(x，y)为目标图像中的像素点，otherwise表示小于等于thresh的条件。

S22、图像增强。使用边界算子对二值化的灰度图像进行滤波，算子如下：

S23、导线标记。对步骤S22滤波所得图像中的连通区域进行搜索，得到连通区域的边界，初始化标记的电力线挂点的坐标点p(x₀，y₀)，并筛选出包围该点的连通区域S，对连通区域S中的全部点和坐标点p(x₀，y₀)求向量方向，得到单位向量的集合Π(θ)，单位向量θ的定义如下：

式中x和y为连通区域S的像素点的横坐标和纵坐标；

对单位向量的集合Π(θ)进行统计，得到密度峰值的均值点θ′，此时，θ′就是最下方电力线的方向，临近θ′的单位向量的像素点均为最下方电力线上的像素点，以坐标点p(x₀，y₀)为初始像素点，以θ′为初始方向，计算当前的直线L，取直线上距离末端最近的像素点p′，记录像素点p′的8邻接（最近的8个像素点）区域范围内的二值图区域Z的像素点，将其标记为m；若m不为空，求m中的像素点的重心f，计算p(x₀，y₀)到重心f的直线，替换直线L，若m为空，则计算下一个m（最多5次），直到m不为空时，构造上一个重心f_n-1到当前重心f_n的线段，n为重心的编号，将线段上的像素点标记为m′，并重复这一过程，直到计算连续5个m出现空值，或已到达图像边缘时退出，此举是为避免二值化过程中，导线暗光处出现图像断点，每次得到m′时，将m′导入至标记集合M。

S24、导线着色。取标记集合M中所有的标记m′，进行一次形态学膨胀操作，得到最终标记图，最后，将标记图标识在原图上，完成了图像的着色。

步骤S3、生成点云。把标识着色了电力线的巡检照片转换为对应可见光密集三维点云，包括以下步骤

S31：对巡检照片进行匹配转点，匹配转点是对航带内和航带间相邻巡检照片特征点提取和特征点匹配，从而得到足够多的同名点，所述同名点是地面上同一个点在不同巡检照片上的成像点；

S32：对巡检照片进行平差解算，平差解算是根据输入的巡检照片的内参数和外参数粗略值和匹配转点得到的同名点坐标，所述内参数包括相机焦距、像元大小和畸变，所述外参数包括相影像拍摄时刻的空间位置和姿态，利用共线方程进行反复迭代计算，解算出每张巡检照片的最佳内外参数和大量的同名点的对应的地面点坐标；

S33：处理巡检照片的最佳内外参数和同名点坐标，利用计算机视觉的逐像素密集匹配算法，可得到线路杆塔可见光密集三维点云，并且三维点云中需要分析树障隐患的电力线已着色标识，将得到的三维点云数据整合得到一个工程文件，加载三维点云实现可视化呈现，提供平断面图查看，平面、三维视角查看，放大缩小、旋转等操作。

步骤S4、生成杆塔区间和电力线：根据线路杆塔顺序，每两个相邻的杆塔生成杆塔区间，经过空三计算后生成的三维点云，三维点云中电力线已着色，通过杆塔区域划分三维空间区域，区域内的高度在[塔高/3， 塔高]范围内的着色的点云即为电力线点云，并且把电力线归到对应的杆塔区间。

步骤S5、点云分类：对电力线下方的点云进行自动分类，以需要分析树障隐患的电力线垂直向下为长，两侧宽度不限的区域内所有点云标识为地面点云，以便下一步进行电力隐患分析。

步骤S6、树障隐患分析：将S4生成的电力线点云，和S5自动分类的地面点云一并计算，获取地面各点到电力线的距离，包括水平距离、垂直距离、净空距离，根据电力树障隐患分级标准设置线树安全距离标准（不同的电压等级，对应的安全距离可以进行配置），获取不同严重等级的树障缺陷点，以及树障缺陷点的位置、距离杆塔的距离，根据空间位置可以匹配预览树障缺陷点对应在航拍照片上的位置，并用圆圈标识显示树障缺陷点，其中点云物体空间坐标位置与航拍照片像素的坐标转换匹配步骤如下：

S61、如附图2所示，其中，W代表所述无人机的航摄仪，A代表地面上某一点，a代表A在航摄仪上的影像。根据无人机照片的成像原理，地面物体通过光线投影到影像上，满足中心投影原理。因此可以通过共线方程描述地面物体坐标到影像像素的坐标转换关系，共线方程如下：

λ变量是共线的缩放系数，影像的分辨率不一样，需要加缩放系数，i,j是共线的线向量，是影像像素上的坐标，X,Y,Z是实际地面空间的下位置，P是投影矩阵，P矩阵由影像的内参数和外参数构成。内参数是指相机焦距、像元大小和畸变；外参数是指相影像拍摄时刻的空间位置和姿态。

S62、坐标转换后，基于树障缺陷点的空间位置，匹配对应巡检照片像素的坐标位置，匹配后显示对应的航拍巡检照片，并在照片上用圆圈标识显示匹配的树障缺陷点位置。

步骤S7、一键导出报告。对缺陷点的信息确认无误后自动集成到报告中，实现过程为，制作一个报告模板，报告模板中控件中涉及的数据源，来源于步骤S6中分析的树障缺陷点的信息，按照需求设计定义好统计变量、命令、巡检图片等，通过该数据源传递相关数据给模板中的控件，报告中的统计则用脚本依据报告模块中的逻辑运算，获得结果填充到报告模板中，最后调用office组件，渲染生成标准的树障office报告。报告内容图文并茂，按杆塔区间统计缺陷数，按缺陷级别，统计危急、严重、一般、关注点缺陷数，以及逐条详细描述树障缺陷信息，包括杆塔区间、距小号塔、缺陷级别、经度、纬度、水平距离、垂直距离、净空距离、分析人员、缺陷照片、剖面图等信息，缺陷记录可以按线路杆塔区间从小到大排序，相同杆塔区间在按缺陷等级进行排序。

Claims (8)

1.一种基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，包括如下步骤：

步骤S1、照片自动分类:对采集的巡检照片进行自动分类，根据线路杆塔的经纬度和巡检照片的经纬度进行距离匹配，自动把采集的巡检照片分类绑定到最近的线路杆塔上；

步骤S2、电力线标识着色: 打开杆塔对应的巡检照片，为每个杆塔标识出最下方电力线挂点处，最下方电力线为需要分析树障隐患的电力线，然后使用智能识别技术，自动根据标识的电力线，把每张巡检照片中需要分析树障隐患的电力线识别出来，并对电力线进行着色；

步骤S3、生成点云：把标识着色了电力线的巡检照片转换为对应可见光密集三维点云；

步骤S4、生成杆塔区间和电力线：根据线路杆塔顺序，每两个相邻的杆塔生成杆塔区间，经过空三计算后生成的三维点云，三维点云中电力线已着色，通过杆塔区域划分三维空间区域，区域内的高度在塔高/3至塔高范围内的着色的点云即为电力线点云，并且把电力线归到对应的杆塔区间；

步骤S5、点云分类：对电力线下方的点云进行自动分类，以需要分析树障隐患的电力线垂直向下为长，两侧宽度不限的区域内所有点云标识为地面点云，以便下一步进行树障隐患分析；

步骤S6、树障隐患分析；

步骤S7、一键导出报告。

2.根据权利要求1所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，步骤S2所述电力线标识着色的过程如下：

S21、先对巡检照片预处理，彩色图像转灰度，图像二值化，得到二值图区域Z；

S22、图像增强：使用边界算子对二值化的灰度图像进行滤波；

S23、导线标记：对步骤S22滤波所得图像中的连通区域进行搜索，得到连通区域的边界，初始化标记的电力线挂点的坐标点p(x₀，y₀)，并筛选出包围该点的连通区域S，对连通区域S中的全部点和坐标点p(x₀，y₀)求向量方向，得到单位向量的集合Π(θ)，单位向量θ的定义如下：

式中x和y为连通区域S中像素点的横坐标和纵坐标；

对单位向量的集合Π(θ)进行统计，得到密度峰值的均值点θ′，此时，θ′就是最下方电力线的方向，临近θ′的单位向量的像素点均为最下方电力线上的像素点，以坐标点p(x₀，y₀)为初始像素点，以θ′为初始方向，计算当前的直线L，取直线上距离末端最近的像素点p′，记录像素点p′的8邻接区域范围内的二值图区域Z的像素点，将其标记为m；若m不为空，求m中的像素点的重心f，计算p(x₀，y₀)到重心f的直线，替换直线L，若m为空，则计算下一个m，直到m不为空时，构造上一个重心f_n-1到当前重心f_n的线段，n为重心的编号，将线段上的像素点标记为m′，并重复这一过程，直到计算连续5个m出现空值，或已到达图像边缘时退出，此举是为避免二值化过程中，导线暗光处出现图像断点，每次得到m′时，将m′导入至标记集合M；

S24、导线着色：取标记集合M中所有的标记m′，进行一次形态学膨胀操作，得到最终标记图，最后，将标记图标识在原图上，完成了图像的着色。

3.根据权利要求2所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，步骤S21中，彩色图像转灰度Gray过程中，对R、G、B三个颜色通道进行拆分，然后使用下述心理学公式进行转换：

。

4.根据权利要求2所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，步骤S21中，图像二值化，采用指定的阈值进行二值化，二值化过程的公式如下：

其中，maxval为设置的最终阈值，src(x，y)为原始巡检照片中的像素点， thresh为设置的阈值，dst(x，y)为目标图像中的像素点，otherwise表示小于等于thresh的条件。

5.根据权利要求1所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，步骤S3包括以下步骤

S31：对巡检照片进行匹配转点，匹配转点是对航带内和航带间相邻巡检照片特征点提取和特征点匹配，从而得到足够多的同名点，所述同名点是地面上同一个点在不同巡检照片上的成像点；

S32：对巡检照片进行平差解算，平差解算是根据输入的巡检照片的内参数和外参数粗略值和匹配转点得到的同名点坐标，所述内参数包括相机焦距、像元大小和畸变，所述外参数包括相影像拍摄时刻的空间位置和姿态，利用共线方程进行反复迭代计算，解算出每张巡检照片的最佳内外参数和大量的同名点的对应的地面点坐标；

S33：处理巡检照片的最佳内外参数和同名点坐标，利用计算机视觉的逐像素密集匹配算法，得到线路杆塔可见光密集三维点云，并且三维点云中需要分析树障隐患的电力线已着色标识，将得到的三维点云数据整合得到一个工程文件，加载三维点云实现可视化呈现。

6.根据权利要求1所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，所述树障隐患分析过程为：将S4生成的电力线点云，和S5自动分类的地面点云一并计算，获取地面各点到电力线的距离，包括水平距离、垂直距离、净空距离，根据电力树障隐患分级标准设置线树安全距离标准，获取不同严重等级的树障缺陷点，以及树障缺陷点的位置、距离杆塔的距离，根据空间位置匹配预览树障缺陷点对应在航拍照片上的位置，并用圆圈标识显示树障缺陷点。

7.根据权利要求1所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，步骤S7对树障缺陷点的信息确认无误后自动集成到报告中，实现过程为，制作一个报告模板，报告模板中控件中涉及的数据源，来源于步骤S6中分析的树障缺陷点的信息，按照需求设计定义好统计变量、命令、巡检图片，通过数据源传递相关数据给模板中的控件，报告中的统计则用脚本依据报告模块中的逻辑运算，获得结果填充到报告模板中，最后调用office组件，渲染生成标准的树障office报告。

8.根据权利要求7所述的基于可见光照片电力线着色的智能化树障隐患分析方法，其特征在于，报告内容包括杆塔区间、距小号塔、缺陷级别、经度、纬度、水平距离、垂直距离、净空距离、分析人员、缺陷照片、剖面图。

Images