发明内容
本发明的目的在于克服现有技术的不足,提供一种针对电力杆塔的无人机自主巡检航线生成方法,降低了巡检航线生成的工作量,提高了巡检航线的精确度。
本发明的目的是通过以下技术方案来实现的:一种针对电力杆塔的无人机自主巡检航线生成方法,包括以下步骤:
S1.判断电力杆塔的几何结构是否已知:
若是,获取电力杆塔的部分巡检点三维坐标,并结合电力杆塔的几何结构,得到其它巡检点坐标然后进行优化;
若否,获取电力杆塔所有巡检点的三维坐标;
S2.根据位置约束条件,确定与电力杆塔巡检点数目相同且一一对应的多个巡航点,所述的巡检点指的是杆塔上需要检查缺陷的位置点,巡航点指的是无人机拍照时的位置点;
S3.在线生成包括多个巡航点的自主巡检航线。
所述步骤S1中,若已知电力杆塔的几何结构,获取电力杆塔的部分巡检点三维坐标然后进行优化,并结合电力杆塔的几何结构,得到其它巡检点坐标的具体步骤包括:
A1、获取对电力杆塔上若干个巡检点拍摄的多张图像和对应的数据;
A2、处理图像和对应的数据计算巡检点的三维坐标;
A3、由巡检点之间的结构信息引入额外的优化巡检点坐标方法;
A4、利用杆塔几何结构信息和几何测量方法计算其它多个巡检点坐标。
其中,所述步骤A1包括以下两种信息获取方式:
第一、选定电力杆塔上的若干个巡检点,对选定的巡检点进行整体拍照,每张拍摄的图像中都要含有所有选定的巡检点,拍摄的图像在两张以上;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;拍摄时选定的各巡检点需靠近图像的中间位置,且各张图像之间的拍摄角度不同;
第二、选定电力杆塔上的若干个巡检点,分别对每一个巡检点拍摄两张以上图像;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;对于每一个巡检点拍摄的照片中,巡检点需保持在图像的中间位置,且各张图像之间的拍摄角度不同。
其中,所述步骤A2包括:对于拍摄的图像,获取其中巡检点在图像中的像素坐标位置和对应云台的角度、相机的三维坐标:
获取巡检点在图像中的像素坐标:
方式一、在拍摄完图像之后,从存储卡中导出图像进行标注获取像素坐标;
方式二、在实时回传的视频图像上进行标注获取像素坐标;
计算选定的各个巡检点的三维坐标:对于任一巡检点,利用两张以上不同角度拍摄的巡检点分别获取的像素坐标以及拍摄图像对应的云台姿态、相机的经纬度、高度,通过相机成像原理以及最小二乘优化算法得到巡检点的三维坐标,具体地:
基于相机成像原理,利用云台姿态、拍摄时相机的三维坐标以及相机内参信息计算出巡检点的理论三维坐标;具体计算步骤如下:
计算大地坐标系转换到相机坐标系的旋转矩阵Rcw:
其中下标cw代表大地坐标系转换到相机坐标系的简称,R
cwx(φ)、R
cwy(θ)、R
cwz(ψ)代表从相机坐标系到大地坐标系需要绕着x、y、z轴旋转的矩阵,φ、θ、
分别为相机云台姿态的滚转角、俯仰角和偏航角,根据相机的初始朝向(一般相机的z轴指向正前方,x轴向右,y轴向下),R
cw还需左乘一个初始旋转R
cw0,此时:
R
cw=R
cw0·(R
cwx(φ)·R
cwy(θ)·R
cwz(ψ)),式中
由相机采集的图像获得巡检点的像素坐标Puv(u,v),经过相机标定得到相机的内参矩阵:
其中fx是由αf合并、fy是由βf合并,f为相机焦距,α,β是像素坐标在u、v坐标轴上缩放倍数,[cx,cy]T是原点的平移量;
则:
Pc(Xc,Yc,Zc)为相机坐标系下巡检点的归一化坐标,由上述等式求得:
利用求得的Rcw和Pc以及相机平移坐标(相机拍摄时的坐标)t(X0,Y0,Z0),求出巡检点在大地坐标系下的理论三维坐标Pw(Xw,Yw,Zw):
采用最小二乘优化算法得到巡检点的实际三维坐标,具体步骤如下:
利用两张以上对某个巡检点不同角度拍摄的图像分别计算得到的理论三维坐标;
利用每一张拍摄图像计算得到的理论三维坐标与该拍摄图像对应的相机三维坐标,计算出经过拍摄点和理论巡检点直线的方向向量;
由多张图像就计算出多条直线的方向向量;
利用实际巡检坐标点到多条直线距离最短建立数学模型,,最终利用最小二乘优化算法迭代出巡检点的实际位置,也就是多条直线的交叉处三维坐标,由此计算出任一巡检点实际坐标,重复上述步骤获得所有选定巡检点的实际三维坐标。
其中,所述步骤A3包括:在几何测量方法计算出所有巡检点坐标后,利用所有巡检点之间的结构信息以及相互之间的结构信息来优化坐标,即利用已知巡检点之间的结构信息,建立带约束的最小二乘优化算法问题,由此对所选的若干巡检点进行坐标优化,使得优化后的若干巡检点之间的长度等于实际长度,从而优化出更准确三维的坐标;上述带约束的最小二乘优化算法的目标函数如下:
式中,di,dj表示杆塔上两个实际巡检点坐标到各自经过拍摄点和理论巡检点直线的方向向量的距离,w·(L-|L′|)为额外引入的约束项,其中w为约束系数,L为在已知杆塔结构下的两个巡检点之间的实际距离,|L′|表示计算出的两个巡检点坐标之间的模长;该目标函数R的迭代结果会受w·(L-|L′|)约束项的影响,调整约束系数的大小,使得该目标函数迭代出的两巡检点的坐标之间的长度接近实际长度L,且跟实际坐标的差值会变小,最终达到对巡检点坐标的优化;对于选定的其它巡检点坐标同样使用该目标函数,从而完成对巡检点坐标进行优化的目标。
其中,利用上述计算出的杆塔中若干个巡检点坐标,在杆塔的三维结构中通过测量的方法,计算出其它多个巡检点的三维坐标。
所述步骤S1中,若未知电力杆塔几何结构,获取电力杆塔所有巡检点的三维坐标的具体步骤包括:
B1、获取对电力杆塔上所有巡检点拍摄的多张图像和对应的数据;
B2、处理图像和对应的数据计算所有巡检点的三维坐标;
所述步骤B1具体包括如下两种方式:
第一、确定电力杆塔上的所有巡检点,对巡检点进行整体拍照,每张拍摄的图像中都要含有所有的巡检点,拍摄的图像在两张以上;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;拍摄时各巡检点需靠近图像的中间位置,且各张图像之间的拍摄角度不同;
第二、确定电力杆塔上的所有巡检点,分别对每一个巡检点拍摄两张以上图像;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;对于每一个巡检点拍摄的照片中,巡检点需保持在图像的中间位置,且各张图像之间的拍摄角度不同。
所述步骤B2包括对于拍摄的图像,获取其中巡检点在图像中的像素坐标位置和对应云台的角度、相机的三维坐标:
获取巡检点在图像中的像素坐标:
方式一、在拍摄完图像之后,从存储卡中导出图像进行标注获取像素坐标;
方式二、在实时回传的视频图像上进行标注获取像素坐标;
计算所有巡检点的三维坐标:对于任一巡检点,利用两张以上不同角度拍摄的巡检点分别获取的像素坐标以及拍摄图像对应的云台姿态、相机的经纬度、高度,通过相机成像原理以及最小二乘优化算法得到巡检点的三维坐标,具体地:
基于相机成像原理,利用云台姿态、拍摄时相机的三维坐标以及相机内参信息计算出巡检点的理论三维坐标;具体计算步骤如下:
计算大地坐标系转换到相机坐标系的旋转矩阵Rcw:
其中下标cw代表大地坐标系转换到相机坐标系的简称,R
cwx(φ)、R
cwy(θ)、R
cwz(ψ)代表从相机坐标系到大地坐标系需要绕着x、y、z轴旋转的矩阵,φ、θ、
分别为相机云台姿态的滚转角、俯仰角和偏航角;根据相机的初始朝向,R
cw还需左乘一个初始旋转R
cw0,此时R
cw=R
cw0·(R
cwx(φ)·R
cwy(θ)·R
cwz(ψ));式中
由相机采集的图像获得巡检点的像素坐标Puv(u,v),经过相机标定得到相机的内参矩阵:
其中fx是由αf合并、fy是由βf合并,f为相机焦距,α,β是像素坐标在u、v坐标轴上缩放倍数,[cx,cy]T是原点的平移量;
则:
Pc(Xc,Yc,Zc)为相机坐标系下巡检点的归一化坐标,由上述等式求得:
利用求得的Rcw和Pc以及相机平移坐标t(X0,Y0,Z0),求出巡检点在大地坐标系下的理论三维坐标Pw(Xw,Yw,Zw):
采用最小二乘优化算法得到巡检点的实际三维坐标,具体步骤如下:
利用两张以上对某个巡检点不同角度拍摄的图像分别计算得到的理论三维坐标;
利用每一张拍摄图像计算得到的理论三维坐标与该拍摄图像对应的相机三维坐标,计算出经过拍摄点和理论巡检点直线的方向向量;
由多张图像就计算出多条直线的方向向量;
利用实际巡检坐标点到多条直线距离最短建立数学模型,最终利用最小二乘优化算法迭代出巡检点的实际位置,也就是多条直线的交叉处三维坐标,由此计算出任一巡检点实际坐标,利用上述方法即可算出所有巡检点的实际三维坐标。
所述步骤S2中,位置约束条件表示巡航点和巡检点之间的位置关系,该约束条件是变化的,视杆塔结构和实际情况进行预先设置而确定,每对巡航点和巡检点之间的位置约束条件都是相同的,便于快速确定对应的巡航点,实现在线生成自主巡检航线。
本发明的有益效果是:本发明有助于减少无人机巡检航线生成的计算量,节省了时间成本,提高了巡检航线的精确度,有利于提高无人机自主巡检航线生成的效率;在完成了自主巡检航迹生成,后续若还需要改变或增加巡检点的位置,该方法可以实时的计算出这些巡检点坐标,而不增加额外的计算量,并实时生成自主巡检航线,极大的增加了后续功能的拓展性和简易性;按照本发明生成的航线完成巡检任务后,所得到的电力杆塔主要部位拍摄的图像是按照一定顺序规则排列的,省去了后续整理图像的工序,节约了时间和人力物力,有效提升了巡检任务的效率。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
如图1所示,一种针对电力杆塔的无人机自主巡检航线生成方法,包括以下步骤:
S1.判断电力杆塔的几何结构是否已知:
若是,获取电力杆塔的部分巡检点三维坐标,并结合电力杆塔的几何结构,得到其它巡检点坐标然后进行优化;
若否,获取电力杆塔所有巡检点的三维坐标;
S2.根据位置约束条件,确定与电力杆塔巡检点数目相同且一一对应的多个巡航点,所述的巡检点指的是杆塔上需要检查缺陷的位置点,巡航点指的是无人机拍照时的位置点;
S3.在线生成包括多个巡航点的自主巡检航线。
所述步骤S1中,若已知电力杆塔几何结构,获取电力杆塔的部分巡检点三维坐标然后进行优化,并结合电力杆塔的几何结构,得到其它巡检点坐标的具体步骤包括:
A1、获取对电力杆塔上若干个巡检点拍摄的多张图像和对应的数据;
A2、处理图像和对应的数据计算巡检点的三维坐标;
A3、由巡检点之间的结构信息引入额外的优化巡检点坐标方法;
A4、利用杆塔几何结构信息和几何测量方法计算其它多个巡检点坐标。
其中,所述步骤A1包括以下两种信息获取方式:
第一、选定电力杆塔上的若干个巡检点,对选定的巡检点进行整体拍照,每张拍摄的图像中都要含有所有选定的巡检点,拍摄的图像在两张以上;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;拍摄时选定的各巡检点需靠近图像的中间位置,且各张图像之间的拍摄角度不同;
第二、选定电力杆塔上的若干个巡检点,分别对每一个巡检点拍摄两张以上图像;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;对于每一个巡检点拍摄的照片中,巡检点需保持在图像的中间位置,且各张图像之间的拍摄角度不同。
其中,所述步骤A2包括:对于拍摄的图像,获取其中巡检点在图像中的像素坐标位置和对应云台的角度、相机的三维坐标:
获取巡检点在图像中的像素坐标:
方式一、在拍摄完图像之后,从存储卡中导出图像进行标注获取像素坐标;
方式二、在实时回传的视频图像上进行标注获取像素坐标;
计算选定的各个巡检点的三维坐标:对于任一巡检点,利用两张以上不同角度拍摄的巡检点分别获取的像素坐标以及拍摄图像对应的云台姿态、相机的经纬度、高度,通过相机成像原理以及最小二乘优化算法得到巡检点的实际三维坐标,具体地:
基于相机成像原理,利用云台姿态、拍摄时相机的三维坐标以及相机内参信息计算出巡检点的理论三维坐标;具体计算步骤如下:
计算大地坐标系转换到相机坐标系的旋转矩阵Rcw:
其中下标cw代表大地坐标系转换到相机坐标系的简称,R
cwx(φ)、R
cwy(θ)、R
cwz(ψ)代表从相机坐标系到大地坐标系需要绕着x、y、z轴旋转的矩阵,φ、θ、
分别为相机云台姿态的滚转角、俯仰角和偏航角,根据相机的初始朝向(一般相机的z轴指向正前方,x轴向右,y轴向下),R
cw还需左乘一个初始旋转R
cw0,此时:
R
cw=R
cw0·(R
cwx(φ)·R
cwy(θ)·R
cwz(ψ)),式中
由相机采集的图像获得巡检点的像素坐标Puv(u,v),经过相机标定得到相机的内参矩阵:
其中fx是由αf合并、fy是由βf合并,f为相机焦距,α,β是像素坐标在u、v坐标轴上缩放倍数,[cx,cy]T是原点的平移量;
则:
Pc(Xc,Yc,Zc)为相机坐标系下巡检点的归一化坐标,由上述等式求得:
利用求得的Rcw和Pc以及相机平移坐标(相机拍摄时的坐标)t(X0,Y0,Z0),求出巡检点在大地坐标系下的理论三维坐标Pw(Xw,Yw,Zw):
采用最小二乘优化算法得到巡检点的三维坐标,具体步骤如下:
利用两张以上对某个巡检点不同角度拍摄的图像分别计算得到的理论三维坐标;
利用每一张拍摄图像计算得到的理论三维坐标与该拍摄图像对应的相机三维坐标,计算出经过拍摄点和理论巡检点直线的方向向量;
由多张图像就计算出多条直线的方向向量;
利用实际巡检坐标点到多条直线距离最短建立数学模型,最终利用最小二乘优化算法迭代出巡检点的实际位置,也就是多条直线的交叉处三维坐标,由此计算出任一巡检点实际坐标,重复上述步骤获得所有选定巡检点的实际三维坐标。
其中,所述步骤A3包括:在几何测量方法计算出所有巡检点坐标后,利用所有巡检点之间的结构信息以及相互之间的结构信息来优化坐标,即利用已知巡检点之间的结构信息,建立带约束的最小二乘优化算法问题,由此对所选的若干巡检点进行坐标优化,使得优化后的若干巡检点之间的长度等于实际长度,从而优化出更准确三维的坐标;上述带约束的最小二乘优化算法的目标函数如下:
式中,di,dj表示杆塔上两个实际巡检点坐标到各自经过拍摄点和理论巡检点直线的方向向量的距离,w·(L-|L′|)为额外引入的约束项,其中w为约束系数,L为在已知杆塔结构下的两个巡检点之间的实际距离,|L′|表示计算出的两个巡检点坐标之间的模长;该目标函数R的迭代结果会受w·(L-|L′|)约束项的影响,调整约束系数的大小,使得该目标函数迭代出的两巡检点的坐标之间的长度接近实际长度L,且跟实际坐标的差值会变小,最终达到对巡检点坐标的优化;对于选定的其它巡检点坐标同样使用该目标函数,从而完成对巡检点坐标进行优化的目标。
其中,利用上述计算出的杆塔中若干个巡检点坐标,在杆塔的三维结构中通过测量的方法,计算出其它多个巡检点的三维坐标。
所述步骤S1中,若未知电力杆塔几何结构,获取电力杆塔所有巡检点的三维坐标的具体步骤包括:
B1、获取对电力杆塔上所有巡检点拍摄的多张图像和对应的数据;
B2、处理图像和对应的数据计算所有巡检点的三维坐标;
所述步骤B1具体包括如下两种方式:
第一、确定电力杆塔上的所有巡检点,对巡检点进行整体拍照,每张拍摄的图像中都要含有所有的巡检点,拍摄的图像在两张以上;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;拍摄时各巡检点需靠近图像的中间位置,且各张图像之间的拍摄角度不同;
第二、确定电力杆塔上的所有巡检点,分别对每一个巡检点拍摄两张以上图像;将拍摄每一张图像时对应的相机云台的姿态和相机的三维坐标作为各张图像对应的数据;对于每一个巡检点拍摄的照片中,巡检点需保持在图像的中间位置,且各张图像之间的拍摄角度不同。
所述步骤B2包括对于拍摄的图像,获取其中巡检点在图像中的像素坐标位置和对应云台的角度、相机的三维坐标:
获取巡检点在图像中的像素坐标:
方式一、在拍摄完图像之后,从存储卡中导出图像进行标注获取像素坐标;
方式二、在实时回传的视频图像上进行标注获取像素坐标;
计算所有巡检点的三维坐标:对于任一巡检点,利用两张以上不同角度拍摄的巡检点分别获取的像素坐标以及拍摄图像对应的云台姿态、相机的经纬度、高度,通过相机成像原理以及最小二乘优化算法得到巡检点的三维坐标,具体地:
基于相机成像原理,利用云台姿态、拍摄时相机的三维坐标以及相机内参信息计算出巡检点的理论三维坐标;具体计算步骤如下:
计算大地坐标系转换到相机坐标系的旋转矩阵Rcw:
其中下标cw代表大地坐标系转换到相机坐标系的简称,R
cwx(φ)、R
cwy(θ)、R
cwz(ψ)代表从相机坐标系到大地坐标系需要绕着x、y、z轴旋转的矩阵,φ、θ、
分别为相机云台姿态的滚转角、俯仰角和偏航角;根据相机的初始朝向(一般相机的z轴指向正前方,x轴向右,y轴向下),R
cw还需左乘一个初始旋转R
cw0,此时:
R
cw=R
cw0·(R
cwx(φ)·R
cwy(θ)·R
cwz(ψ));式中
由相机采集的图像获得巡检点的像素坐标Puv(u,v),经过相机标定得到相机的内参矩阵:
其中fx是由αf合并、fy是由βf合并,f为相机焦距,α,β是像素坐标在u、v坐标轴上缩放倍数,[cx,cy]T是原点的平移量;
则:
Pc(Xc,Yc,Zc)为相机坐标系下巡检点的归一化坐标,由上述等式求得:
利用求得的Rcw和Pc以及相机平移坐标t(X0,Y0,Z0),求出巡检点在大地坐标系下的理论三维坐标Pw(Xw,Yw,Zw):
采用最小二乘优化算法得到巡检点的实际三维坐标,具体步骤如下:
利用两张以上对某个巡检点不同角度拍摄的图像分别计算得到的理论三维坐标;
利用每一张拍摄图像计算得到的理论三维坐标与该拍摄图像对应的相机三维坐标,计算出经过拍摄点和理论巡检点直线的方向向量;
由多张图像就计算出多条直线的方向向量;
利用实际巡检坐标点到多条直线距离最短建立数学模型,模型中z轴未知量约除,最终利用最小二乘优化算法迭代出巡检点的实际位置,也就是多条直线的交叉处三维坐标,由此计算出任一巡检点实际坐标,利用上述方法即可算出所有巡检点的实际三维坐标。
具体的计算原理如图2所示,图像1、图像2、图像3…是相机对同一巡检点在不同角度拍摄的若干图像,直线1、直线2、直线3…的方向向量是由相机拍摄图像时相机的三维坐标和通过相机成像原理计算出的巡检点坐标计算出的。所得到的若干条直线之间的交叉点位置就是该巡检点实际坐标位置。图中省略号表示所拍摄图像有若干张,具体数量取决于对巡检点拍摄的张数(两张以上),直线数量与图像张数相同。
所述步骤S2中,位置约束条件表示巡航点和巡检点之间的位置关系,该约束条件是变化的,视杆塔结构和实际情况进行预先设置而确定,每对巡航点和巡检点之间的位置约束条件都是相同的,便于快速确定对应的巡航点,实现在线生成自主巡检航线。
在本申请的实施例中,图3是电力杆塔的几何结构模型,图中A、B、C、D、E、F、G、H、I为杆塔的其中9个巡检点,与之对应的巡航点分别为A′、B′、C′、D′、E′、F′、G′、H′。在已知电力杆塔结构的无人机自主巡检航线的生成方法中,额外的优化巡检点坐标方法表示利用其中若干或所有巡检点之间的实际长度为约束条件,调整巡检点的实际三维坐标,从而达到优化的目的。几何测量方法是利用已知的杆塔三维结构,也就是已知巡检点到其它巡检点的长度等信息,由计算出的任意若干个巡检点实际三维坐标去计算其它多个巡检点三维坐标。
图4是每个巡检点和其对应的巡航点位置之间的约束图示,其中巡检点和巡航点安全距离的长度为8m,以巡航点为圆心半径r=0.5m的球形为巡航点的范围,由于在实际巡检过程中,可能会产生定位不准和特定巡航位置会有障碍物遮挡等因素导致巡检拍摄失败,该约束条件设置了巡航点的球形范围,使得巡航点位置选择更自由,生成的自主巡检航线更可靠。电力杆塔中每对巡检点和巡航点之间的约束条件一致。
综上,本发明有助于减少无人机巡检航线生成的计算量,节省了时间成本,提高了巡检航线的精确度,有利于提高无人机自主巡检航线生成的效率;在完成了自主巡检航迹生成,后续若还需要改变或增加巡检点的位置,该方法可以实时的计算出这些巡检点坐标,而不增加额外的计算量,并实时生成自主巡检航线,极大的增加了后续功能的拓展性和简易性;按照本发明生成的航线完成巡检任务后,所得到的电力杆塔主要部位拍摄的图像是按照一定顺序规则排列的,省去了后续整理图像的工序,节约了时间和人力物力,有效提升了巡检任务的效率。
最后需要说明的是,以上所述是本发明的优选实施方式,应当理解本发明并非局限于所披露的形式,不应该看作是对其它实施例的排除,而可用于其它组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。