CN112767391A - 融合三维点云和二维图像的电网线路部件缺陷定位方法 - Google Patents

Abstract

本发明提出融合三维点云和二维图像的电网线路部件缺陷定位方法，包括以下步骤；步骤S1：对无人机进行相机参数标定，使相机的像素坐标系能与世界坐标系相互转换；步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；步骤S3：利用深度学习模型获取缺陷部件的中心坐标；步骤S4：对三维点云数据进行投影变换得到二维图像F’；步骤S5：对F、F’进行融合处理，得到缺陷部件在图像F’的坐标位置；步骤S6：将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置；本发明能准确记录电网线路缺陷部位的信息，促进机巡作业后续图像信息处理效率。

Description

融合三维点云和二维图像的电网线路部件缺陷定位方法

技术领域

本发明涉及电网线路巡检技术领域，尤其是融合三维点云和二维图像的电网线路部件缺陷定位方法。

背景技术

无人机携带可见光拍摄装置进行电网线路精细化巡检已逐步常态化，目前的线路部件缺陷分析也主要基于无人机拍摄的线路图像。但是，由于无人机在拍照过程中存在这两方面的问题：一是由于实际操作中存在偏差，拍摄目标区域、角度、方位等因素的变化，导致目标部件在图像中的位置具有不确定性；二是拍摄图像中包含较多的部件，仅依靠二维图像信息在缺陷分析后无法建立图像中的缺陷与实际部件位置的准确对应关系。因此，在目前的线路缺陷记录中主要采用文字描述的方式记录线路部件缺陷内容，由于采用文字描述无法准确地提供缺陷发生位置，而且还会由于塔型不同、新部件应用等原因，导致缺陷部位的描述出现差异甚至产生歧义，从而给线路缺陷的分析造成困难，因此亟需能够进行线路缺陷准确定位的方法。

发明内容

本发明提出融合三维点云和二维图像的电网线路部件缺陷定位方法，具有快速、精准的特点，通过三维坐标变换、图像特征识别匹配等方法，准确记录电网线路缺陷部位的信息，从而促进电网线路机巡作业中的后续图像信息处理工作效率，推动和提升海量巡检图像数据信息的挖掘和应用效果。

本发明采用以下技术方案。

融合三维点云和二维图像的电网线路部件缺陷定位方法，用于无人机航拍巡检，所述定位方法包括以下步骤；

步骤S1：对无人机携带的相机进行相机参数标定，使相机的像素坐标系能与世界坐标系相互转换；

步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取与图像对应的拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；

步骤S3：利用深度学习模型对巡检目标中的缺陷部件进行智能识别，获取缺陷部件的中心坐标；

步骤S4：对三维点云数据进行投影变换以处理其三维图像信息，得到以相机为原点的坐标系下的三维点云数据的坐标，同时根据相机标定参数，进行世界坐标系到图像坐标系的变换，得到二维图像F’；

步骤S5：进行融合处理，为了确保对巡检目标中缺陷部件的准确匹配，采用特征匹配和位置匹配两种方式进行确认；先对可见光图像F和二维图像F’整体进行特征匹配，得到两张图中整体目标的位置偏移；然后将图像F中识别到的缺陷部件中心坐标与偏移量进行计算，得到缺陷部件在图像F’的坐标位置；

步骤S6：进行坐标逆变换；将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置，建立部件状态与实际位置的对应关系并记录结果。

步骤S2中的所述巡检目标为电网线路中的杆塔，步骤S2以可见光图像信息为基础，提取对应巡检目标的杆塔的三维点云。

在步骤S3中，深度学习模型对巡检目标中的缺陷部件进行智能识别后，在可见光图像F中的中心位置坐标处输出缺陷目标框对缺陷部件进行标识。

步骤S2中的拍摄点位信息包括无人机拍摄位置和相机拍摄方位；所述无人机拍摄位置包括无人机高度和无人机拍摄点位的GPS坐标；

在步骤S4中，对可见光图像F中的目标杆塔进行三维点云投影变换处理，其方法包括以下步骤；

步骤S41：根据无人机的拍摄位置和相机拍摄方位，并结合拍摄目标杆塔的三维点云数据，对杆塔的三维点云数据进行坐标系变换；

步骤S42：结合相机标定得到的变换矩阵，对三维点云数据进一步进行坐标系变换，得到像素坐标系下的二维影像。

在于所述步骤S5中进行可见光图像F和二维图像F’的融合处理，其方法包括以下步骤：

步骤S51：提取可见光图像中的杆塔轮廓与拍摄可见光图像F和二维图像F’中的杆塔形态进行特征匹配，同时计算两个图中目标位置的偏差；

步骤S52：根据得到的偏差和步骤S3中得到的目标框中心坐标，进一步计算缺陷部件在F’中的位置坐标。

在步骤S6中，将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置后，建立缺陷部件状态与实际位置的对应关系并以数据结构记录结果，所述数据结构的字段包括序号、部件实际位置、所在线路名称、杆塔号、时间、部件名称和状态。

步骤S3中，采用基于YoloV5深度学习的智能识别模型进行缺陷识别；智能识别模型包括注意力模块、上采样模块、CSP1_i模块、CSP2_i模块和SPP模块，CSP1_i模块中包括了CBL模块和i个残差连接单元；CSP2_i模块包括了i个CBL模块；SPP模块包括三个最大池化层，用于对图像特征的深度挖掘；

所述智能识别模型在进行缺陷识别时，通过将待识别图像输入检测模型，经过卷积神经网络的处理，得到可见光图像中缺陷部件以及矩形目标框顶点坐标，采用中心点坐标表征缺陷部件位置，通过计算目标框顶点坐标来得到部件中心点坐标。

所述步骤S2中通过可见光图像的信息提取，使用步骤S1中的像素坐标系与世界坐标系之间的转换矩阵对目标杆塔进行坐标变换；具体方法为：坐标变换包括从空间直角大地坐标系到无人机地理坐标系的变换，还包括从无人机地理坐标系到相机坐标系的变换；

设杆塔为在空间直角大地坐标系XYZ下的一个点t1，坐标为(t_x1,t_y1,t_z1)，对应的经度为B、纬度L、高度H；c1为相机中心在空间直角大地坐标系下的坐标为(c_x1,c_y1,c_z1)，c2为图像中心在空间直角大地坐标系下的坐标为(c_x2,c_y2,c_z2)，其中有f＝|c₂-c₁|，f为相机的焦距；在无人机水平拍摄情况下，可以设置俯仰角和滚转角为0，仅考虑云台偏航角ω即可；在无人机地理坐标系X’Y’Z’中，c1为原点，c1-Z’指向地心，c1-Y’指向正东，c1-X’指向正北。在相机坐标系X”Y”Z”中，c1为原点，c1-Z”指向地心，c1-Y”指向相机拍摄方向，c1-X”与c1-Y”在同一平面且相互垂直；

则从空间直角大地坐标系到无人机地理坐标系的变换采用的公式为

e是地球椭球的第一偏心率，N是卯酉圈曲率半径曲率半径，经度为B、纬度L、高度H；

从无人机地理坐标系到相机坐标系的变换采用的公式为

α和β为相机和无人机在水平和垂直方向的夹角，当相机拍摄方向和无人机方向一致时，可以设置为0；θ是滚转角，ω是偏航角，ψ是俯仰角，当机身保持水平情况下，θ＝ψ＝0，即有

根据步骤S1中的相机标定参数，把相机坐标系变换至像素坐标系，公式为

f为相机的焦距，u₀，v₀为像素坐标系中的参考原点；

经上述坐标变换后，得到目标杆塔在二维图像F’中的对应坐标为：

(t_x1,t_y1,t_z1)为实际杆塔的坐标，(u’，v’)为杆塔在像素坐标系中的坐标。

所述步骤S5中的特征匹配，采用hough变换提取可见光图像F中的主体目标特征，然后与图像F’进行特征匹配，以如下方式进行：

步骤A1、将可见光图像F进行灰度处理和噪声滤波；其中噪声滤波采用算式均值滤波方法，公式为

其中，像素点(p,q)为原图中的一个点，S为该点的邻域，n为邻域中点的数量，滤波后的图像为

步骤A2、提取主体目标的轮廓特征；即采用canny算法进行边缘提取，然后进行hough变换映射到霍夫空间，通过设定直线所需最少的曲线交点，组成一条直线最少点的数量等阈值，过滤干扰直线；进行轮廓特征匹配；即步骤A3、对输入图像F’进行尺寸转化使之与图像F尺寸相同，然后采用平移方式，实现特征的重合匹配；公式为

通过遍历寻优方式，选取重合度最高，即D值最小时的平移向量，作为两张图中的目标偏移值△M＝(△x，△y)；

步骤A4、根据可见光图像智能识别得到目标框Fni在可见光图像F的中心坐标(u_ci，v_ci)和△M，可以根据下式得到目标中心在F’中的位置坐标；

步骤S6中根据坐标变换所使用的变换矩阵对目标坐标进行坐标逆变换，把像素坐标系变换为世界坐标系，公式为

与现有技术相比，本发明具有以下有益效果：

(1)本发明采用电网线路部件三维点云和二维图像信息融合的方法，从而提升部件工况信息与部件位置的信息采集精确性，避免了文字描述产生的歧义及不确定影响，为进一步开展线路缺陷成因、发展趋势、缺陷全景展示等研究提供基础。

(2)本发明中进行了电网线路巡视二维可见光图像和三维点云信息的深入挖掘和融合应用，提升电网巡检数据的利用率。

(3)本发明在中涉及无人机拍摄点位、相机参数、杆塔三维点云、杆塔可见光图像等信息的综合管理和调用，有助于海量电网线路数据的集约化管理。

由于本发明采用了数据结构和统一的世界坐标系对巡检目标的巡检数据进行存贮，因此有利于对电力网络的统一管理和维护。

附图说明

下面结合附图对本发明进一步详细的说明：

附图1是本发明的流程示意图；

附图2为本发明的可见光图像识别模型示意图；

附图3为本发明的坐标变换示意图；

附图4为本发明的特征匹配流程示意图。

具体实施方式

如图所示，融合三维点云和二维图像的电网线路部件缺陷定位方法，用于无人机航拍巡检，所述定位方法包括以下步骤；

步骤S1：对无人机携带的相机进行相机参数标定，使相机的像素坐标系能与世界坐标系相互转换；

步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取与图像对应的拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；

步骤S3：利用深度学习模型对巡检目标中的缺陷部件进行智能识别，获取缺陷部件的中心坐标；

步骤S4：对三维点云数据进行投影变换以处理其三维图像信息，得到以相机为原点的坐标系下的三维点云数据的坐标，同时根据相机标定参数，进行世界坐标系到图像坐标系的变换，得到二维图像F’；

步骤S5：进行融合处理，为了确保对巡检目标中缺陷部件的准确匹配，采用特征匹配和位置匹配两种方式进行确认；先对可见光图像F和二维图像F’整体进行特征匹配，得到两张图中整体目标的位置偏移；然后将图像F中识别到的缺陷部件中心坐标与偏移量进行计算，得到缺陷部件在图像F’的坐标位置；

步骤S6：进行坐标逆变换；将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置，建立部件状态与实际位置的对应关系并记录结果。

步骤S2中的所述巡检目标为电网线路中的杆塔，步骤S2以可见光图像信息为基础，提取对应巡检目标的杆塔的三维点云。

在步骤S3中，深度学习模型对巡检目标中的缺陷部件进行智能识别后，在可见光图像F中的中心位置坐标处输出缺陷目标框对缺陷部件进行标识。

步骤S2中的拍摄点位信息包括无人机拍摄位置和相机拍摄方位；所述无人机拍摄位置包括无人机高度和无人机拍摄点位的GPS坐标；

在步骤S4中，对可见光图像F中的目标杆塔进行三维点云投影变换处理，其方法包括以下步骤；

步骤S41：根据无人机的拍摄位置和相机拍摄方位，并结合拍摄目标杆塔的三维点云数据，对杆塔的三维点云数据进行坐标系变换；

步骤S42：结合相机标定得到的变换矩阵，对三维点云数据进一步进行坐标系变换，得到像素坐标系下的二维影像。

在于所述步骤S5中进行可见光图像F和二维图像F’的融合处理，其方法包括以下步骤：

步骤S51：提取可见光图像中的杆塔轮廓与拍摄可见光图像F和二维图像F’中的杆塔形态进行特征匹配，同时计算两个图中目标位置的偏差；

步骤S52：根据得到的偏差和步骤S3中得到的目标框中心坐标，进一步计算缺陷部件在F’中的位置坐标。

在步骤S6中，将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置后，建立缺陷部件状态与实际位置的对应关系并以数据结构记录结果，所述数据结构的字段包括序号、部件实际位置、所在线路名称、杆塔号、时间、部件名称和状态。

步骤S3中，采用基于YoloV5深度学习的智能识别模型进行缺陷识别；智能识别模型包括注意力模块、上采样模块、CSP1_i模块、CSP2_i模块和SPP模块，CSP1_i模块中包括了CBL模块和i个残差连接单元；CSP2_i模块包括了i个CBL模块；SPP模块包括三个最大池化层，用于对图像特征的深度挖掘；

所述智能识别模型在进行缺陷识别时，通过将待识别图像输入检测模型，经过卷积神经网络的处理，得到可见光图像中缺陷部件以及矩形目标框顶点坐标，采用中心点坐标表征缺陷部件位置，通过计算目标框顶点坐标来得到部件中心点坐标。

所述步骤S2中通过可见光图像的信息提取，使用步骤S1中的像素坐标系与世界坐标系之间的转换矩阵对目标杆塔进行坐标变换；具体方法为：坐标变换包括从空间直角大地坐标系到无人机地理坐标系的变换，还包括从无人机地理坐标系到相机坐标系的变换；

设杆塔为在空间直角大地坐标系XYZ下的一个点t1，坐标为(t_x1,t_y1,t_z1)，对应的经度为B、纬度L、高度H；c1为相机中心在空间直角大地坐标系下的坐标为(c_x1,c_y1,c_z1)，c2为图像中心在空间直角大地坐标系下的坐标为(c_x2,c_y2,c_z2)，其中有f＝|c₂-c₁|，f为相机的焦距；在无人机水平拍摄情况下，可以设置俯仰角和滚转角为0，仅考虑云台偏航角ω即可；在无人机地理坐标系X’Y’Z’中，c1为原点，c1-Z’指向地心，c1-Y’指向正东，c1-X’指向正北。在相机坐标系X”Y”Z”中，c1为原点，c1-Z”指向地心，c1-Y”指向相机拍摄方向，c1-X”与c1-Y”在同一平面且相互垂直；

则从空间直角大地坐标系到无人机地理坐标系的变换采用的公式为

e是地球椭球的第一偏心率，N是卯酉圈曲率半径曲率半径，经度为B、纬度L、高度H；

从无人机地理坐标系到相机坐标系的变换采用的公式为

α和β为相机和无人机在水平和垂直方向的夹角，当相机拍摄方向和无人机方向一致时，可以设置为0；θ是滚转角，ω是偏航角，ψ是俯仰角，当机身保持水平情况下，θ＝ψ＝0，即有

根据步骤S1中的相机标定参数，把相机坐标系变换至像素坐标系，公式为

f为相机的焦距，u₀，v₀为像素坐标系中的参考原点；

经上述坐标变换后，得到目标杆塔在二维图像F’中的对应坐标为：

(t_x1,t_y1,t_z1)为实际杆塔的坐标，(u’，v’)为杆塔在像素坐标系中的坐标。

所述步骤S5中的特征匹配，采用hough变换提取可见光图像F中的主体目标特征，然后与图像F’进行特征匹配，以如下方式进行：

步骤A1、将可见光图像F进行灰度处理和噪声滤波；其中噪声滤波采用算式均值滤波方法，公式为

其中，像素点(p,q)为原图中的一个点，S为该点的邻域，n为邻域中点的数量，滤波后的图像为

步骤A2、提取主体目标的轮廓特征；即采用canny算法进行边缘提取，然后进行hough变换映射到霍夫空间，通过设定直线所需最少的曲线交点，组成一条直线最少点的数量等阈值，过滤干扰直线；进行轮廓特征匹配；即步骤A3、对输入图像F’进行尺寸转化使之与图像F尺寸相同，然后采用平移方式，实现特征的重合匹配；公式为

通过遍历寻优方式，选取重合度最高，即D值最小时的平移向量，作为两张图中的目标偏移值△M＝(△x，△y)；

步骤A4、根据可见光图像智能识别得到目标框Fni在可见光图像F的中心坐标(u_ci，v_ci)和△M，可以根据下式得到目标中心在F’中的位置坐标；

步骤S6中根据坐标变换所使用的变换矩阵对目标坐标进行坐标逆变换，把像素坐标系变换为世界坐标系，公式为

在完成坐标计算后，结合各个步骤中提取和生成的信息，可以生成缺陷记录，包括时间、杆塔号、所在线路名称、缺陷部件实际位置、部件名称、部件状态等内容，如下表所示

电网线路缺陷部件记录

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.融合三维点云和二维图像的电网线路部件缺陷定位方法，用于无人机航拍巡检，其特征在于：所述定位方法包括以下步骤；

步骤S1：对无人机携带的相机进行相机参数标定，使相机的像素坐标系与世界坐标系相互转换；

步骤S2：从无人机对电网线路航拍巡检获取的可见光图像F中提取与图像对应的拍摄点位信息，并以该信息获得可见光图像F中巡检目标的三维点云数据；

步骤S3：对巡检目标中的缺陷部件进行智能识别，获取缺陷部件的中心坐标；

步骤S4：对三维点云数据进行投影变换以处理其三维图像信息，得到以相机为原点的坐标系下的三维点云数据的坐标，同时根据相机标定参数，进行世界坐标系到图像坐标系的变换，得到二维图像F’；

步骤S5：先对可见光图像F和二维图像F’整体进行特征匹配，得到两张图中整体目标的位置偏移；然后将图像F中识别到的缺陷部件中心坐标与偏移量进行计算，得到缺陷部件在图像F’的坐标位置；

步骤S6：将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置，建立部件状态与实际位置的对应关系。

2.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：步骤S2中的所述巡检目标为电网线路中的杆塔，步骤S2以可见光图像信息为基础，提取对应巡检目标的杆塔的三维点云。

3.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：在步骤S3中，深度学习模型对巡检目标中的缺陷部件进行智能识别后，在可见光图像F中的中心位置坐标处输出缺陷目标框对缺陷部件进行标识。

4.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：步骤S2中的拍摄点位信息包括无人机拍摄位置和相机拍摄方位；所述无人机拍摄位置包括无人机高度和无人机拍摄点位的GPS坐标；

在步骤S4中，对可见光图像F中的目标杆塔进行三维点云投影变换处理，其方法包括以下步骤；

步骤S41：根据无人机的拍摄位置和相机拍摄方位，并结合拍摄目标杆塔的三维点云数据，对杆塔的三维点云数据进行坐标系变换；

步骤S42：结合相机标定得到的变换矩阵，对三维点云数据进一步进行坐标系变换，得到像素坐标系下的二维影像。

5.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：在于所述步骤S5中进行可见光图像F和二维图像F’的融合处理，其方法包括以下步骤：

步骤S51：提取可见光图像中的杆塔轮廓与拍摄可见光图像F和二维图像F’中的杆塔形态进行特征匹配，同时计算两个图中目标位置的偏差；

步骤S52：根据得到的偏差和步骤S3中得到的目标框中心坐标，进一步计算缺陷部件在F’中的位置坐标。

6.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：在步骤S6中，将缺陷部件在图像F’的坐标位置变换到三维世界坐标系下的位置后，建立缺陷部件状态与实际位置的对应关系并以数据结构记录结果，所述数据结构的字段包括序号、部件实际位置、所在线路名称、杆塔号、时间、部件名称和状态。

7.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：步骤S3中，采用基于YoloV5深度学习的智能识别模型进行缺陷识别；智能识别模型包括注意力模块、上采样模块、CSP1_i模块、CSP2_i模块和SPP模块，CSP1_i模块中包括了CBL模块和i个残差连接单元；CSP2_i模块包括了i个CBL模块；SPP模块包括三个最大池化层，用于对图像特征的深度挖掘；

所述智能识别模型在进行缺陷识别时，通过将待识别图像输入检测模型，经过卷积神经网络的处理，得到可见光图像中缺陷部件以及矩形目标框顶点坐标，采用中心点坐标表征缺陷部件位置，通过计算目标框顶点坐标来得到部件中心点坐标。

8.根据权利要求1所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：所述步骤S2中具体方法为：坐标变换包括从空间直角大地坐标系到无人机地理坐标系的变换，还包括从无人机地理坐标系到相机坐标系的变换；

设杆塔为在空间直角大地坐标系XYZ下的一个点t1，坐标为(t_x1,t_y1,t_z1)，对应的经度为B、纬度L、高度H；c1为相机中心在空间直角大地坐标系下的坐标为(c_x1,c_y1,c_z1)，c2为图像中心在空间直角大地坐标系下的坐标为(c_x2,c_y2,c_z2)，其中有f＝|c₂-c₁|，f为相机的焦距；在无人机水平拍摄情况下，设俯仰角和滚转角为0，云台偏航角为ω；在无人机地理坐标系X’Y’Z’中，c1为原点，c1-Z’指向地心，c1-Y’指向正东，c1-X’指向正北；在相机坐标系X”Y”Z”中，c1为原点，c1-Z”指向地心，c1-Y”指向相机拍摄方向，c1-X”与c1-Y”在同一平面且相互垂直；

则从空间直角大地坐标系到无人机地理坐标系的变换采用的公式为

e是地球椭球的第一偏心率，N是卯酉圈曲率半径曲率半径，经度为B、纬度L、高度H；

从无人机地理坐标系到相机坐标系的变换采用的公式为

α和β为相机和无人机在水平和垂直方向的夹角，当相机拍摄方向和无人机方向一致时，可以设置为0；θ是滚转角，ω是偏航角，ψ是俯仰角，当机身保持水平情况下，θ＝ψ＝0，即有

根据步骤S1中的相机标定参数，把相机坐标系变换至像素坐标系，公式为

f为相机的焦距，u₀，v₀为像素坐标系中的参考原点；

经上述坐标变换后，得到目标杆塔在二维图像F’中的对应坐标为：

(t_x1,t_y1,t_z1)为实际杆塔的坐标，(u’，v’)为杆塔在像素坐标系中的坐标。

9.根据权利要求8所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：所述步骤S5中的特征匹配，以如下方式进行：

步骤A1、将可见光图像F进行灰度处理和噪声滤波；其中噪声滤波采用算式均值滤波方法，公式为

其中，像素点(p,q)为原图中的一个点，S为该点的邻域，n为邻域中点的数量，滤波后的图像为

步骤A2、进行边缘提取，然后变换映射到霍夫空间，通过设定直线所需最少的曲线交点，组成一条直线最少点的数量阈值，过滤干扰直线；

步骤A3、对输入图像F’进行尺寸转化使之与图像F尺寸相同，然后采用平移方式，实现特征的重合匹配；公式为

选取重合度最高，即D值最小时的平移向量，作为两张图中的目标偏移值△M＝(△x，△y)；

步骤A4、根据可见光图像智能识别得到目标框Fni在可见光图像F的中心坐标(u_ci，v_ci)和△M，可以根据下式得到目标中心在F’中的位置坐标；

10.根据权利要求8或9所述的融合三维点云和二维图像的电网线路部件缺陷定位方法，其特征在于：

步骤S6中根据坐标变换所使用的变换矩阵对目标坐标进行坐标逆变换，把像素坐标系变换为世界坐标系，公式为

Images