CN110580703B

CN110580703B - 一种配电线路的检测方法、装置、设备及存储介质

Info

Publication number: CN110580703B
Application number: CN201910853961.XA
Authority: CN
Inventors: 刘高; 林俊省; 彭炽刚; 张峰; 李国强; 廖建东
Original assignee: Guangdong Power Grid Co Ltd; Machine Inspection Center of Guangdong Power Grid Co Ltd
Current assignee: Guangdong Power Grid Co Ltd; Machine Inspection Center of Guangdong Power Grid Co Ltd
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2024-01-23
Anticipated expiration: 2039-09-10
Also published as: CN110580703A

Abstract

本申请公开了一种配电线路的检测方法，包括：获取配电线路中的待测配电设备的不同时刻的多个图像；分别计算各图像中的各个特征点的纹理特征值，并按照预设规则从各纹理特征值中选择出目标纹理值及对应的目标特征点；依据光流恒定原理将不同的图像中的目标特征点进行匹配；将相匹配的目标特征点映射至世界坐标系中，得出与各待测配电设备对应的三维点云；依据三维点云对配电线路进行检测。本方法能够减少得出目标特征点的计算量，减少计算时间，降低获取到目标特征点的延时；能够提高构建待测配电设备的三维点云的效率，进而提高对配电线路的检测效率。本申请还公开了一种配电线路的检测装置、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种配电线路的检测方法、装置、设备及存储介质

技术领域

本发明涉及电力检测领域，特别涉及一种配电线路的检测方法、装置、设备及计算机可读存储介质。

背景技术

近年来，无人机在配电线路巡检工作中大量应用。通过无人机搭载可见光相机对配电线路中的待测配电设备进行三维建模，进而利用对应的三维点云进行配电线路的检测成为一种常用的配电线路的检测方式。具体的，在获取到待测配电设备的图像之后，提取出各图像中能够反映待测配电设备的特征的目标特征点，再将不同图像中的目标特征点进行匹配，以将各目标特征点映射至世界坐标系中，得出待测配电设备的三维模型，再依据所述三维模型对所述配电线路进行检测。

现有技术中，一般是通过SIFT(Scale-Invariant Feature Transform)算法的方法来提取出图像中的目标特征点，但是由于SIFT算法需要利用图像中的特征点的各不同尺度进行融合计算，再提取出能够反映待测配电设备的特征的目标特征点。这种方法将导致计算量大，进而使得计算时间长，造成获取到目标特征点的延时，降低得出待测配电设备的三维点云的效率，进而降低对配电线路的检测效率。

因此，如何提高构建待测配电设备的三维点云的效率，提高对配电线路的检测效率，是本领域技术人员目前需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种配电线路的检测方法，能够提高构建待测配电设备的三维点云的效率，提高对配电线路的检测效率；本发明的另一目的是提供一种配电线路的检测装置、设备及计算机可读存储介质，均具有上述有益效果。

为解决上述技术问题，本发明提供一种配电线路的检测方法，包括：

获取配电线路中的待测配电设备的不同时刻的多个图像；

分别计算各所述图像中的各个特征点的纹理特征值，并按照预设规则从各所述纹理特征值中选择出目标纹理值及对应的目标特征点；

依据光流恒定原理将不同的图像中的目标特征点进行匹配；

将相匹配的目标特征点映射至世界坐标系中，得出与各所述待测配电设备对应的三维点云；

依据所述三维点云对所述配电线路进行检测。

优选地，所述依据光流恒定原理将不同的图像中的目标特征点进行匹配的过程，具体包括：

分别从不同的两个所述图像中选取目标特征点；

调用预先依据光流恒定原理为两个所述目标特征点设置的局部图像亮度模型；

根据所述局部图像亮度模型计算两个所述目标特征点的距离，并判断所述距离是否小于预设阈值；

若是，则判定所述两个目标特征点相匹配。

优选地，所述获取配电线路中的待测配电设备的不同时刻的多个图像的过程，具体为：

利用多目成像设备获取所述配电线路中的所述待测配电设备的不同时刻的多个所述图像。

优选地，所述将相匹配的目标特征点映射至世界坐标系中，得出与各所述待测配电设备对应的三维点云的过程，具体包括：

预先根据各所述图像的像素坐标系、图像平面坐标系、相机坐标系和所述世界坐标系之间的相互转换关系，得出所述目标特征点的像素坐标与世界坐标之间的转换关系；

根据所述转换关系得出与相匹配的所述目标特征点相对应的稀疏点云；

依据各不同的所述目标特征点在所述世界坐标系中的稀疏点云，得出与各所述待测配电设备对应的所述三维点云。

优选地，进一步包括：

存储在不同时间点得出的所述三维点云。

为解决上述技术问题，本发明还提供一种配电线路的检测装置，包括：

获取模块，用于获取配电线路中的待测配电设备的不同时刻的多个图像；

计算模块，用于分别计算各所述图像中的各个特征点的纹理特征值，并按照预设规则从各所述纹理特征值中选择出目标纹理值及对应的目标特征点；

匹配模块，用于依据光流恒定原理将不同的图像中的目标特征点进行匹配；

设置模块，用于将相匹配的目标特征点映射至世界坐标系中，得出与各所述待测配电设备对应的三维点云；

检测模块，用于依据所述三维点云对所述配电线路进行检测。

优选地，所述匹配模块具体包括：

选取子模块，用于分别从不同的两个所述图像中选取目标特征点；

调用子模块，用于调用预先依据光流恒定原理为两个所述目标特征点设置的局部图像亮度模型；

判断子模块，用于根据所述局部图像亮度模型计算两个所述目标特征点的距离，并判断所述距离是否小于预设阈值；

判定子模块，用于若是，则判定所述两个目标特征点相匹配。

为解决上述技术问题，本发明还提供一种配电线路的检测设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种配电线路的检测方法的步骤。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种配电线路的检测方法的步骤。

本发明提供的一种配电线路的检测方法，相较于现有技术中利用SIFT算法来提取出目标特征点的方法，本方法通过分别计算各图像中的各个特征点的纹理特征值，并按照预设规则从各纹理特征值中选择出目标纹理值，进而得出对应的目标特征点，从而大大减少得出目标特征点的计算量，相对减少计算时间，降低获取到目标特征点的延时；再依据光流恒定原理将各图像数据中的特征点进行匹配；将匹配出的特征点映射至世界坐标系中，并得出与各待测配电设备对应的三维点云；以便依据三维点云对各配电线路进行检测，因此能够提高构建待测配电设备的三维点云的效率，进而提高对配电线路的检测效率。

为解决上述技术问题，本发明还提供了一种配电线路的检测装置、设备及计算机可读存储介质，均具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种配电线路的检测方法的流程图；

图2为本发明实施例提供的一种配电线路的检测装置的结构图；

图3为本发明实施例提供的一种配电线路的检测设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的核心是提供一种配电线路的检测方法，能够提高构建待测配电设备的三维点云的效率，提高对配电线路的检测效率；本发明的另一核心是提供一种配电线路的检测装置、设备及计算机可读存储介质，均具有上述有益效果。

为了使本领域技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种配电线路的检测方法的流程图。如图1所示，一种配电线路的检测方法包括：

S10：获取配电线路中的待测配电设备的不同时刻的多个图像。

具体的，本步骤的目的是获取用于构建配电线路中的待测配电设备的三维点云的图像。需要说明的是，本实施例中的图像指的是利用可见光相机拍摄的图像，即可见光倾斜摄影。待测配电设备可以包括配电线路中的架空导线和杆塔等，本实施例对此不做限定。另外，本实施例对待测配电设备的数量不做限定，也就是说，可以获取多个待测配电设备的图像。

S20：分别计算各图像中的各个特征点的纹理特征值，并按照预设规则从各纹理特征值中选择出目标纹理值及对应的目标特征点。

具体的，本实施例首先分别计算各图像中的各个特征点对应的纹理特征值，具体是利用以特征点为中心的窗口(如7*7)内的梯度分布特点来描述特征点M(m,n)的纹理特征值。每个特征点都可以用以下公式组计算出对应的特征值，然后以特征值为标准，将同一图像中的所有的特征点进行排序，从中选择出特征值最大的预设数量的特征点，即得出目标特征点，用于后续的匹配操作。

更具体的，在实施例中，通过计算特征点M(m,n)的特征矩阵，以及对应的特征值；

其中，特征矩阵为：

特征值为：

其中，

其中，height和width分别表示特征点M(m,n)处邻域窗口的高和宽，gradm和gradn分别表示该图像在横向和纵向上的梯度图像；i和j分别表示当前计算对应的邻域窗口的高度和宽度。

具体的，在计算出各特征点的特征值之后，将特征值按照从大到小的顺序排序，然后根据预先设置的需要选择的目标特征点的数量从排序中选择对应排名的特征点，得出目标特征点。

S30：依据光流恒定原理将不同的图像中的目标特征点进行匹配。

需要说明的是，光流恒定指的是图像中的某个位置的特征点的亮度值在时间、空间上不会发生突变，因此依据光流恒定原理，若是不同图像中的目标特征点的亮度值没有发生突变，那么表示这两个目标特征点所对应表示的图像中的特征是一致的，即，为相匹配的目标特征点。

S40：将相匹配的目标特征点映射至世界坐标系中，得出与各待测配电设备对应的三维点云。

具体的，在得出相匹配的目标特征点之后，则将相匹配的目标特征点映射至世界坐标系中，当将图像中相匹配的目标特征点均映射至世界坐标系中之后，便能够在世界坐标系中得出与各待测设备对应的三维点云。

S50：依据三维点云对配电线路进行检测。

本步骤中，是在得出三维点云之后，利用三维点云对配电线路进行检测。可以理解的是，三维点云能够直观地反应待测配电设备的外观、位置以及高度等属性，利用这些属性能够对待测配电设备进行检测，检测内容可以包括线路连接异常、导线接续点异常等，本实施例对此也不做具体的限定。

本发明实施例提供的一种配电线路的检测方法，相较于现有技术中利用SIFT算法来提取出目标特征点的方法，本方法通过分别计算各图像中的各个特征点的纹理特征值，并按照预设规则从各纹理特征值中选择出目标纹理值，进而得出对应的目标特征点，从而大大减少得出目标特征点的计算量，相对减少计算时间，降低获取到目标特征点的延时；再依据光流恒定原理将各图像数据中的特征点进行匹配；将匹配出的特征点映射至世界坐标系中，并得出与各待测配电设备对应的三维点云；以便依据三维点云对各配电线路进行检测，因此能够提高构建待测配电设备的三维点云的效率，进而提高对配电线路的检测效率。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，依据光流恒定原理将不同的图像中的目标特征点进行匹配的过程，具体包括：

分别从不同的两个图像中选取目标特征点；

调用预先依据光流恒定原理为两个目标特征点设置的局部图像亮度模型；

根据局部图像亮度模型计算两个目标特征点的距离，并判断距离是否小于预设阈值；

若是，则判定两个目标特征点相匹配。

具体的，在本实施例中，首先分别从不同的两个图像中选取目标特征点，然后判断选取的两个目标特征点是否匹配；在得出判断结果之后，再分别从不同的两个图像中再次选取出目标特征点继续进行判断，直至各目标特征点两两之间均进行判断是否匹配并得出判断结果之后，停止从不同的两个图像中选取目标特征点。

需要说明的是，在选取出两个目标特征点之后，考虑到任意3变量的函数I(m,n,t)，其空间变量m和n以及时间变量t都是离散变量，因此恰当的时间采样可以代表图像序列。在相近时刻采样的图像常常是强相关的，因为它们参考的是相同的场景，只是视点存在稍稍的差异。因此，本实施例依据光流恒定原理为选取的两个目标特征点设置的局部图像亮度模型。

具体的，首先确定目标特征点的亮度值I(m,n,t)满足条件：

I(m,n,t+τ)＝I(m-ξ,n-η,t)；

然后设置J(x)＝I(m,n,t+τ)，I(x-d)＝I(m-ξ,n-η,t)；

为了简化复杂度，舍去时间变量t，从而得到局部图像亮度模型J(x)＝I(x-d)-n(x)；其中，x＝[m,n]^T；n(x)表示两个图像之间的噪声。

利用双整数窗口W定义的残留误差最小时的位移：

ε＝∫_w[I(x-d)-J(x)]²ωdx；

其中，ω表示权重函数，权重函数ω可以依赖于图像的亮度模式，也可以选为高斯似然函数以强调窗口的中心区域。当这个位移远小于窗口的尺寸时，线性化方法处理是最有效的。

然后，根据局部图像亮度模型计算两个目标特征点的距离，并判断距离是否小于预设阈值。

具体的，设置两个目标特征点分别所对应的窗口之间的差异：

其中，d表示两个目标特征点之间的距离，且d＝[d_x,d_y]^T；并且，在本实施例中，权重函数ω(x)的取值为1。

具体的计算过程如下：

将J在a＝[a_x,a_y]^T处展开成泰勒级数舍去高阶项，线性化为如下形式：

其中，ξ＝[ξ_x,ξ_y]^T；

令x＝a，并代入上式中，得到如下两个方向的偏微分方程：

因此

其中，

为了求解距离d，令g等于0，即：

移项后我们得到：

∫∫_w[J(x)-I(x)]g(x)ω(x)dx＝-∫∫_wg^Tdg(x)ω(x)dx＝[∫∫_wg^Tg(x)ω(x)dx]d；

通过求解以下的矩阵方程，得到距离d；

Zd＝e；

Z为一个2*2的矩阵，且Z＝∫∫_wg^Tg(x)ω(x)dx；

e为2*1的列向量，且e＝∫∫_w[J(x)-I(x)]g(x)ω(x)dx；

然后，判断距离d是否小于预设阈值；预设阈值根据实际需求设置，对匹配的目标特征点的要求越高，将设置阈值越小，例如在一些具体实施中，预设阈值可以设置为0。若距离d小于预设阈值，则判定两个目标特征点相匹配。

本实施例提供的方法，能够便捷且精确地对各目标特征点进行匹配。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，获取配电线路中的待测配电设备的不同时刻的多个图像的过程，具体为：

利用多目成像设备获取配电线路中的待测配电设备的不同时刻的多个图像。

具体的，在本实施例中，具体是利用多目成像设备获取配电线路中的待测配电设备的不同时刻的多个图像。也就是说，在每个时刻，是利用多目成像设备获取图像的，多目成像设备指的是一个拍摄装置上设置有多个摄像头，能够同时拍摄得到多个图像。

利用多目成像设备获取待测配电设备的图像，以便后续还可以利用同一时刻的多个图像进行构建三维点云，能够进一步提升构建出三维点云的精确度。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，将相匹配的目标特征点映射至世界坐标系中，得出与各待测配电设备对应的三维点云的过程，具体包括：

预先根据各图像的像素坐标系、图像平面坐标系、相机坐标系和世界坐标系之间的相互转换关系，得出目标特征点的像素坐标与世界坐标之间的转换关系；

根据转换关系得出与相匹配的目标特征点相对应的稀疏点云；

依据各不同的目标特征点在世界坐标系中的稀疏点云，得出与各待测配电设备对应的三维点云。

具体的，本实施例中，通过预先根据各图像的像素坐标系、图像平面坐标系、相机坐标系和世界坐标系之间的相互转换关系，得出目标特征点的像素坐标(u,v,l)^T与世界坐标(X_W,Y_W,Z_W,l)^T之间的转换关系；然后利用得出的转换关系将相配的目标特征点的像素坐标转换为世界坐标系中的世界坐标，即稀疏点云。

更具体的，假设目标特征点M(m,n)在两个图像中的像素坐标分别为(u₁,v₁,l)^T和(u₂,v₂,l)^T；该目标特征点M(m,n)在世界坐标系中的世界坐标为(X_W,Y_W,Z_W,l)^T，

根据坐标转换公式可以得到下面的方程组：

由于数据带有噪声，因此一般通过最小二乘方法计算出最优解(X,Y,Z)，也就是图像中目标特征点在世界坐标系中的坐标，即稀疏点云。

通过将各相匹配的目标特征点均映射至世界坐标系中，从而依据各不同的目标特征点在世界坐标系中的稀疏点云得出待测配电设备的三维点云。

可见，本实施例提供的方法，能够快速准确地在世界坐标系中得出待测配电设备的三维点云。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例进一步包括：

存储在不同时间点得出的三维点云。

可以理解的是，在实际操作中，可能会不断获取到配电线路中的待测配电设备的新的图像，因此将不断利用新获取到的图像更新世界坐标系中的三维点云，修正之前的三维点云中的错误，使之更为精准；或者补充新的待测配电设备对应的三维点云，使信息更加完备等。因此，可以在每次得出新的三维点云之后，分别将得出的三维点云进行存储，并且记录存储各三维点云的时间，从而便于用户可以在后续查看各不同时刻对应的三维点云，进一步提升用户的使用体验。

上文对于本发明提供的一种配电线路的检测方法的实施例进行了详细的描述，本发明还提供了一种与该方法对应的配电线路的检测装置、设备及计算机可读存储介质，由于装置、设备及计算机可读存储介质部分的实施例与方法部分的实施例相互照应，因此装置、设备及计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图2为本发明实施例提供的一种配电线路的检测装置的结构图，如图2所示，一种配电线路的检测装置包括：

获取模块21，用于获取配电线路中的待测配电设备的不同时刻的多个图像；

计算模块22，用于分别计算各图像中的各个特征点的纹理特征值，并按照预设规则从各纹理特征值中选择出目标纹理值及对应的目标特征点；

匹配模块23，用于依据光流恒定原理将不同的图像中的目标特征点进行匹配；

设置模块24，用于将相匹配的目标特征点映射至世界坐标系中，得出与各待测配电设备对应的三维点云；

检测模块25，用于依据三维点云对配电线路进行检测。

本发明实施例提供的配电线路的检测装置，具有上述配电线路的检测方法的有益效果。

作为优选的实施方式，匹配模块具体包括：

选取子模块，用于分别从不同的两个图像中选取目标特征点；

调用子模块，用于调用预先依据光流恒定原理为两个目标特征点设置的局部图像亮度模型；

判断子模块，用于根据局部图像亮度模型计算两个目标特征点的距离，并判断距离是否小于预设阈值；

判定子模块，用于若是，则判定两个目标特征点相匹配。

图3为本发明实施例提供的一种配电线路的检测设备的结构图，如图3所示，一种配电线路的检测设备包括：

存储器31，用于存储计算机程序；

处理器32，用于执行计算机程序时实现如上述配电线路的检测方法的步骤。

本发明实施例提供的配电线路的检测设备，具有上述配电线路的检测方法的有益效果。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述配电线路的检测方法的步骤。

本发明实施例提供的计算机可读存储介质，具有上述配电线路的检测方法的有益效果。

以上对本发明所提供的配电线路的检测方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种配电线路的检测方法，其特征在于，包括：

获取配电线路中的待测配电设备的不同时刻的多个图像；

依据光流恒定原理将不同的图像中的目标特征点进行匹配；

依据所述三维点云对所述配电线路进行检测；

所述三维点云能够直观地反应所述待测配电设备的属性，所述待测配电设备的属性包括外观、位置以及高度，利用所述待测配电设备的属性能够对所述待测配电设备进行检测，检测内容包括线路连接异常、导线接续点异常；

所述将相匹配的目标特征点映射至世界坐标系中，得出与各所述待测配电设备对应的三维点云的过程，具体包括：

2.根据权利要求1所述的方法，其特征在于，所述依据光流恒定原理将不同的图像中的目标特征点进行匹配的过程，具体包括：

分别从不同的两个所述图像中选取目标特征点；

若是，则判定所述两个目标特征点相匹配。

3.根据权利要求1所述的方法，其特征在于，所述获取配电线路中的待测配电设备的不同时刻的多个图像的过程，具体为：

4.根据权利要求1至3任一项所述的方法，其特征在于，进一步包括：

存储在不同时间点得出的所述三维点云。

5.一种配电线路的检测装置，其特征在于，包括：

检测模块，用于依据所述三维点云对所述配电线路进行检测；

所述设置模块具体用于预先根据各所述图像的像素坐标系、图像平面坐标系、相机坐标系和所述世界坐标系之间的相互转换关系，得出所述目标特征点的像素坐标与世界坐标之间的转换关系；

6.根据权利要求5所述的装置，其特征在于，所述匹配模块具体包括：

7.一种配电线路的检测设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的配电线路的检测方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的配电线路的检测方法的步骤。