CN115375762A - 一种基于三目视觉的电力线三维重构方法 - Google Patents

Abstract

本发明提供了一种基于三目视觉的电力线三维重构方法，包括以下步骤：(1)：利用三目相机拍摄目标输电线路图像，获得三目图像以及相机拍摄时的滚转角；(2)：利用Bouguet算法分别对图像信息进行初次校正；(3)：通过平移顶摄像机和右摄像机完成顶摄像机和右摄像机的二次校正，校正后得到三目图像；(4)：根据相机姿态确定电力线的匹配对；(5)：提取与拟合匹配对中的电力线；(6)：利用极线约束对配对中的电力线进行匹配并重建左图电力线的三维向量。本发明提供一种基于三目视觉的电力线三维重构方法，实现输电线路的准确定位，降低巡检人员工作强度与危险系数，提高工作效率。

Description

一种基于三目视觉的电力线三维重构方法

技术领域

本发明属于计算机视觉与输电线路巡检技术领域，特别涉及一种基于三目视觉的电力线三维重构方法。

背景技术

输电线路是电网中不可或缺的组成部分，主要承担电能的输送，对电网的安全、可靠运行起着非常重要的作用。因此保障输电线路***的正常运行是保障各行各业稳定安全运行的重要基础。但是，由于现代社会的不断发展，输电线路布设的范围越来越大，覆盖越来越广，地理环境愈加复杂，地面上高度不一的植被、建筑等都会对输电线构成潜在的威胁。因此有必要通过定时巡检电力走廊，保证电力设备的正常运营状态。

目前主要依靠人工进行线路运维，劳动强度大，且野外高压电力走廊维护危险性极高。这种低效的巡检模式已无法满足现代化电网建设与发展需求，因此势必需要一种智能、高效、安全的输电线巡检技术。随着摄像头技术和图像处理技术的成熟，以及无人机在电网运行各领域的广泛应用，将二者结合使用，自动对电力线下存在隐患的地区进行警报，就可实现智能化的维护工作。因此，研究电力线的二维图像识别和三维重构具有重要的社会意义和经济效益。

发明内容

为了解决上述问题，本发明提供一种基于三目视觉的电力线三维重构方法，实现输电线路的准确定位，降低巡检人员工作强度与危险系数，提高工作效率。

本发明具体为一种基于三目视觉的电力线三维重构方法，所述电力线三维重构方法包括以下步骤：

步骤(1)：利用三目相机拍摄目标输电线路图像，获得三目图像以及相机拍摄时的滚转角θ_z；

步骤(2)：利用Bouguet算法分别对{I_left,I_right}、{I_left,I_up}进行初次校正；

步骤(3)：通过平移顶摄像机和右摄像机完成顶摄像机和右摄像机的二次校正，校正后得到三目图像{I₁,I₂,I₃}，其中I₁，I₂的极线与图像横轴平行，I₁，I₃的极线平行于图像纵轴且I₁，I₂的横向视差与I₁，I₃的纵向视差相等；

步骤(4)：根据相机姿态θ_z确定电力线的匹配对

步骤(5)：提取与拟合

中的电力线；

步骤(6)：利用极线约束对Matchl中的电力线进行匹配并重建左图电力线的三维向量。

与现有技术相比，有益效果是：

(1)本发明提出的垂直双基线结构的三目相机通过增加一个辅助摄像机，解决了不同拍摄角度下电力线匹配精度不高的问题。三目图像提供水平和竖直两个方向的视差信息，***能自适应选择合适方向的视差用于立体匹配，能大幅度提高在不同的相机姿态下电力线匹配的准确性和稳定性；

(2)本发明提出利用改进的Bouguet算法实现三目图像的协同校正，校正后左目图像不变，左右目图像极线与图像横轴平行且左上目图像极线与图像纵轴平行，该方法操作简单，能够快速获取初次校正结果；

(3)本发明通过SURF算法获取三目图像的特征点对初次校正结果进行优化，能够快速得到高精度的三目图像校正结果，提高后续电力线立体匹配的精度。该方法适用于多种航拍拍摄姿态，对于标定精度较低的三目图像也能准确校正。

附图说明

图1为本发明一种基于三目视觉的电力线三维重构方法算法流程图；

图2为本发明具体实施例三目相机模型示意图；

图3为本发明具体实施例三目图像匹配示意图。

具体实施方式

下面结合附图对本发明一种基于三目视觉的电力线三维重构方法的具体实施方式做详细阐述。

如图1所示，本发明的电力线三维重构方法具体运行流程为：

1、图2为三目相机模型示意图，由三个规格相同的摄像机组成的垂直双基线三目相机模块和水平仪构成，水平仪设置在云台上，用于实时测量相机拍摄时的滚转角；首先利用三目相机拍摄目标输电线路图像，并将获取的图像信息{I_left,I_right,I_up}以及摄像机拍摄时的滚转角θ_z传入信息模块进行处理；

2、基于三目相机标定参数利用改进的Bouguet算法分别对{I_left,I_right}、{I_left,I_up}进行校正，得到校正后的三目图像{I”_left,I’_right,I’_up}，且I”_left＝I_left；校正后I”_left，I’_right的极线与图像横轴平行，I”_left，I’_up的极线平行于图像纵轴；具体步骤如下：

21)根据张氏标定法获得三目相机的标定参数，利用Bouguet算法构造I_left，I_right的旋转矩阵R_l，R_r对{I_left,I_right}进行初次水平校正，具体步骤如下：

a.首先将{I_left,I_right}之间的变换矩阵R_lr划分为左右相机的合成矩阵r_l，r_r，其中

b.创建{I_left,I_right}之间的平移向量T_lr方向的旋转矩阵R_rect使得基线与成像平面平行；

R_rect＝[e₁ e₂ e₃]^T (1)

其中，e₁＝T_lr/||T_lr||为与平移向量T_lr同方向的极点，

和

分别为x、y和z方向上的平移向量；

为图像平面方向的向量；e₃＝e₁×e₂为垂直于e₃与e₃所在平面的向量；

c.根据公式(2)获得左右相机的整体旋转矩阵R_l，R_r；左右相机坐标系O_l-xyz，O_r-xyz乘以各自的整体旋转矩阵R_l，R_r使得左右相机的主光轴平行，且像平面与基线平行，旋转后左右相机坐标系为O’_l-xyz，O’_r-xyz。

22)将O’_l-xyz，O’_r-xyz围绕着各自的光心同时旋转

得到新的坐标系O”_l-xyz，O”_r-xyz，则O”_l-xyz与O_l-xyz重合。旋转后得到行对准图像{I’_left,I’_right}，且I’_left＝I_left；

23)重复步骤21)对{I_left,I_up}进行校正，得到左目相机和上目相机的整体旋转矩阵R_l2，R_u，校正后左目相机、上目相机坐标系为O’_l2-xyz，O’_u-xyz；

24)重复步骤22)将O’_l2-xyz，O’_u-xyz围绕着各自的光心同时旋转

得到新的坐标系O”_l2-xyz，O”_u-xyz，则O”_l2-xyz与O_l-xyz重合，旋转后得到列准图像{I”_left,I’_up}，且I”_left＝I_left；

3、初次校正后得到三目图像{I_left,I’_right,I’_up}，假设顶摄像机的主点坐标为

右摄像机的主点坐标为

通过平移顶摄像机和右摄像机，分别在

上附加一个偏移量

可完成顶摄像机和右摄像机的二次校正；校正后得到三目图像{I₁,I₂,I₃}，其中I₁，I₂的极线与图像横轴平行，I₁，I₃的极线平行于图像纵轴且I₁，I₂的横向视差与I₁，I₃的纵向视差相等；具体步骤如下：

31)利用SURF算法获取三目图像{I_left,I’_right,I’_up}特征点坐标，三目图像特征点定义为：

其中P_os1、P_os2和P_os3分别为I_left、I’_right和I’_up的特征点参数，m_p、n_p和z_p分别为I_left、和I’_right和T’_up中特征点的总数目，

为I_left中第i_p1个特征点坐标，

为I’_right中第j_p1个特征点坐标；

为I’_up中第q_p1个特征点坐标；

32)计算I_left、I'_right的特征点参数P_os1、P_os2中所有点的欧式距离，选择欧式距离最小的点作为粗略匹配点，按欧氏距离升序对粗略匹配点进行排序，删除异常点，选择前k_p个匹配点，定义为

同理，计算I_left、I’_up的特征点参数P_os1、P_os3中所有点的欧式距离，根据欧式距离进行排序，选择前k_p个匹配点，定义为

根据

中的共有的左目特征点坐标，重新定义三目图像匹配点为

其中匹配点的数目为n；

33)标定带来的误差会使得初次校正后的左目图像和右目图像极线并不完全平行于横轴。由于校正后应使得I_left、I’_right的对应特征点的纵坐标相等，因此：

而

以

作为新的主点坐标，重复步骤23)-24)重新对右摄像机进行校正得到校正后的右目图像I₂；

34)对于横向偏移，由于校正后应使得I_left、I’_up的对应特征点的横坐标相等，因此：

对于纵向偏移，由于校正后I_left、I’_up之间的纵向视差应与I_left、I’_right的横向视差相等，因此：

以

作为新的主点坐标，重复步骤23)-24)重新对顶摄像机进行校正得到校正后的上目图像I₃。最终的校正后的三目图像为{I₁,I₂,I₃}，其中I₁为校正后的左目图像，I₂为校正后的右目图像，I₃为校正后的上目图像。

4、三目图像处理复杂度是双目图像的两倍，因此为了减少运算时间，在电力线提取过程中，是否处理右目图像还是上目图像将取决于相机拍摄角度θ_z，根据θ_z确定电力线的匹配对

如果

以上目图像和左目图像作为线的匹配对，即

如果

以右目图像和左目图像作为线的匹配对，即

5、提取与拟合

中的电力线，以

为例电力线提取的具体步骤如下：

51)基于航拍图像中电力线的特征提取Match_l中的所有电力线，具体步骤为：

a.将

转化为灰度图I_gray并高斯滤波；最后进行直方图均衡化得到预处理后的图像I_gray2；

b.基于边缘检测算法(ED)得到边缘图I_edge，其中I_edge中天空等背景灰度值为0，电力线灰度值为255；

c.在I_edge的基础上，通过矢量跟踪算法，将栅格化形式存在的单像素宽度线特征变换为二维矢量V₁并删除长度小于20像素的短特征，则V₁可以由公式(5)表示，I_edge中的每个不为0的点(xj,y_j)都被分配到不同的向量组v_i；

再按照公式(6)计算V₁中剩余特征的形状因子SI，删除曲度大于0.27的过弯曲特征；

其中，

d.根据线段的端点投影法对线特征进行聚合，如果两条线段共线，则进行连接得到二维矢量

对v_i进行迭代处理得到单像素宽度的向量

52)假设线段

的拟合方程为

根据最小二乘法对

进行拟合，得到拟合参数a_k(k＝0,1,...,n)；按照拟合参数a₀的大小从小到大对电力线进行排序，则图像中所有电力线可由

表示，其中i表示排序的序列号；

53)重复步骤52)-52)提取与拟合

中的电力线得到

N₁，N₂表示电力线的数目；具有相同的i，j对应的电力线为同名电力线；

6、利用极线约束对Matchl中的电力线进行匹配并重建左图电力线的三维向量，具体步骤为：

61)如图3(a)所示，

此时

电力线在图中的走向是倾斜的，而核线与图像横轴平行，因此核线与电力线的交点唯一；计算同名核线与同名电力线的交点得到电力线上的同名像点对

同名像点对对应的视差值为

62)如图3(b)所示，

此时

电力线在图中的走向是水平的，而核线与图像纵轴平行，因此核线与电力线的交点唯一；计算同名核线与同名电力线的交点得到电力线上的同名像点对

同名像点对对应的视差值为

根据视差信息可以得到电力线的三维向量为V₃，表达式可由公式(8)所示：

最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

Claims (7)

1.一种基于三目视觉的电力线三维重构方法，其特征在于，所述电力线三维重构方法包括以下步骤：

步骤(1)：利用三目相机拍摄目标输电线路图像，获得三目图像以及相机拍摄时的滚转角θ_z；

步骤(2)：利用Bouguet算法分别对{I_left,I_right}、{I_left,I_up}进行初次校正；

步骤(3)：通过平移顶摄像机和右摄像机完成所述顶摄像机和所述右摄像机的二次校正，校正后得到三目图像{I₁,I₂,I₃}，其中I₁，I₂的极线与图像横轴平行，I₁，I₃的极线平行于图像纵轴且I₁，I₂的横向视差与I₁，I₃的纵向视差相等；

步骤(4)：根据相机姿态θ_z确定电力线的匹配对

步骤(5)：提取与拟合

中的电力线；

步骤(6)：利用极线约束对Match_l中的电力线进行匹配并重建左图电力线的三维向量。

2.根据权利要求1所述的一种基于三目视觉的电力线三维重构方法，其特征在于，所述三目相机模块包括三个参数相同的摄像机组成垂直双基线结构的三目相机，并在云台上设置有水平仪，用于实时测量相机拍摄时的滚转角。

3.根据权利要求1所述的一种基于三目视觉的电力线三维重构方法，其特征在于，步骤(2)具体包含以下步骤：

21)根据张氏标定法获得所述三目相机的标定参数，利用Bouguet算法构造I_left，I_right的旋转矩阵R_l，R_r对{I_left,I_right}进行初次水平校正；

22)将O'_l-xyz，O'_r-xyz围绕着各自的光心同时旋转

得到新的坐标系O”_l-xyz，O”_r-xy_z，则O”_l-xyz与O_l-xyz重合；旋转后得到行对准图像{I'_left,I'_right}，且I'_left＝I_left；

23)重复步骤21)对{I_left,I_up}进行校正，得到左目相机和上目相机的整体旋转矩阵R_l2，R_u，校正后左目相机、上目相机坐标系为O'_l2-xyz，O'_u-xyz；

24)重复步骤22)将O'_l2-xyz，O'_u-xyz围绕着各自的光心同时旋转

得到新的坐标系O”_l2-xyz，O”_u-xyz，则O”_l2-xyz与O_l-xyz重合；旋转后得到列准图像{I”_left,I'_up}，且I”_left＝I_left。

4.根据权利要求3所述的一种基于三目视觉的电力线三维重构方法，其特征在于，步骤21)具体包含以下步骤：

a.首先将{I_left,I_right}之间的变换矩阵R_lr划分为左右相机的合成矩阵r_l，r_r，其中

b.创建{I_left,I_right}之间的平移向量T_lr方向的旋转矩阵R_rect使得基线与成像平面平行；

R_rect＝[e₁ e₂ e₃]^T

其中，e₁＝T_lr/||T_lr||为与平移向量T_lr同方向的极点，

和

分别为x、y和z方向上的平移向量；

为图像平面方向的向量；e₃＝e₁×e₂为垂直于e₃与e₃所在平面的向量；

c.根据下式获得左右相机的整体旋转矩阵R_l，R_r；左右相机坐标系O_l-xyz，O_r-xyz乘以各自的整体旋转矩阵Rl，R_r使得左右相机的主光轴平行，且像平面与基线平行，旋转后左右相机坐标系为O'_l-xyz，O'_r-xyz；

5.根据权利要求1所述的一种基于三目视觉的电力线三维重构方法，其特征在于，步骤(3)具体包含以下步骤：

31)利用SURF算法获取三目图像{I_left,I'_right,I'_up}特征点坐标，三目图像特征点定义为：

其中P_os1、P_os2和P_os3分别为I_left、I'_right和I'_up的特征点参数，m_p、n_p和z_p分别为I_left、I'_right和I'_up中特征点的总数目，

为I_left中第i_p1个特征点坐标，

为I’_right中第j_p1个特征点坐标；

为I’_up中第q_p1个特征点坐标；

32)计算I_left、I'_right的特征点参数P_os1、P_os2中所有点的欧式距离，选择欧式距离最小的点作为粗略匹配点，按欧氏距离升序对粗略匹配点进行排序，删除异常点，选择前k_p个匹配点，定义为

同理，计算I_left、I'_up的特征点参数P_os1、P_os3中所有点的欧式距离，根据欧式距离进行排序，选择前k_p个匹配点，定义为

根据

中的共有的左目特征点坐标，重新定义三目图像匹配点为

其中匹配点的数目为n；

33)标定带来的误差会使得初次校正后的左目图像和右目图像极线并不完全平行于横轴；由于校正后应使得I_left、I’_right的对应特征点的纵坐标相等，因此：

而

以

作为新的主点坐标，重复步骤23)-24)重新对右摄像机进行校正得到校正后的右目图像I₂；

34)对于横向偏移，由于校正后应使得I_left、I’_up的对应特征点的横坐标相等，因此：

对于纵向偏移，由于校正后I_left、I’_up之间的纵向视差应与I_left、I’_right的横向视差相等，因此：

以

作为新的主点坐标，重复步骤23)-24)重新对顶摄像机进行校正得到校正后的上目图像I₃；最终的校正后的三目图像为{I₁,I₂,I₃}，其中I₁为校正后的左目图像，I₂为校正后的右目图像，I₃为校正后的上目图像。

6.根据权利要求1所述的一种基于三目视觉的电力线三维重构方法，其特征在于，步骤(4)包含的具体内容：

如果

以上目图像和左目图像作为线的匹配对，即

如果

以右目图像和左目图像作为线的匹配对，即

7.根据权利要求1所述的一种基于三目视觉的电力线三维重构方法，其特征在于，步骤(6)的具体步骤：

61)当

此时

电力线在图中的走向是倾斜的，而核线与图像横轴平行，因此核线与电力线的交点唯一；计算同名核线与同名电力线的交点得到电力线上的同名像点对

同名像点对对应的视差值为

62)当

此时

电力线在图中的走向是水平的，而核线与图像纵轴平行，因此核线与电力线的交点唯一；计算同名核线与同名电力线的交点得到电力线上的同名像点对

同名像点对对应的视差值为

根据视差信息能够得到电力线的三维向量为V₃，表达式为：

Images