CN110458951A

CN110458951A - 一种电网杆塔的建模数据获取方法及相关装置

Info

Publication number: CN110458951A
Application number: CN201910754037.6A
Authority: CN
Inventors: 刘高; 易琳; 林俊省; 彭炽刚; 王丛; 蒙华伟
Original assignee: Guangdong Power Grid Co Ltd Patrol Operation Center; Guangdong Power Grid Co Ltd
Current assignee: Guangdong Power Grid Co Ltd Patrol Operation Center; Guangdong Power Grid Co Ltd
Priority date: 2019-08-15
Filing date: 2019-08-15
Publication date: 2019-11-15
Anticipated expiration: 2039-08-15
Also published as: CN110458951B

Abstract

本申请公开了一种电网杆塔的建模数据获取方法，通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。与传统的可见光建模方法对比，本发明对建模人员的专业素质要求较低，减轻了理想模型对建模人员的专业能力依赖程度，降低了技术门槛，在保持建模数据精度和运算速度的情况下降低获取成本。本申请还公开了一种电网杆塔的建模数据获取装置、建模数据获取设备以及计算机可读存储介质，具有以上有益效果。

Description

一种电网杆塔的建模数据获取方法及相关装置

技术领域

本申请涉及数据建模技术领域，特别涉及一种电网杆塔的建模数据获取方法、建模数据获取装置、建模数据获取设备以及计算机可读存储介质。

背景技术

随着自动化技术的不断发展。目前，在巡检工作中常常采用无人机进行巡检操作。一般的，在巡检过程中需要对输电线路进行三维建模处理，以便无人机对电网的情况可以进行更好的巡检处理。

目前，常用的输电线路三维建模的方法主要有激光雷达三维建模与可见光三维建模两种。激光雷达三维建模通过利用机载激光雷达扫描可以直接呈现出杆塔概况，实现情景再现。激光雷达建模技术在实际应用中不需要直接接触被测物体、扫描效率高、定位精准、电位均匀、获取信息真实，为电塔三维模型建设提供了新的思路。可见光三维建模采用摄影技术在走廊通道构建非单体的三维模型。该项技术的应用更加倾向于几何处理、多视角匹配、赋予纹理等，从而获取最终的模型信息。在实际应用中是连续的获得二维图，不需要采用激光、POS定位等技术。由于架空输电线路本体都是镂空结构，如果采用倾斜拍摄法可能会造成杆塔扭曲问题发生。因此可以采用精细化三维建模方法，人工交互的提取杆塔导线信息，最终完成该建模。

但是，激光雷达建模方法工作强度大、成本高、后续工作困难，更加适用于小面积、高精度的平原地区建模。可见光三维建模法对工作人员的专业素质要求较高，要保证建模人员专业能力可以满足实际要求才可以得到理想的模型图。

因此，如何保持建模精细程度的情况下降低建模难度，提高后期工作的可维护性，是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种电网杆塔的建模数据获取方法、建模数据获取装置、建模数据获取设备以及计算机可读存储介质，通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。

为解决上述技术问题，本申请提供一种电网杆塔的建模数据获取方法，包括：

采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合；

对所述多个特征点集合进行特征点匹配处理，得到特征点匹配集合；

对所述特征点匹配集合进行基础矩阵计算，得到基础矩阵；

对待标定图像进行相机标定处理，得到相机内部参数；

对所述多个可见光图像进行单应矩阵计算处理，得到旋转平移矩阵；

根据所述基础矩阵、所述相机内部参数以及所述旋转平移矩阵对所述多个特征点集合进行点云建模处理，得到点云数据。

可选的，采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合，包括：

对所述多个可见光图像进行极值点检测，得到多个极值点集合；

对所述多个极值点集合进行特征点定位处理，得到多个初级特征点集合；

对所述多个初级特征点集合中的每个特征点进行方向确定处理，得到多个次级特征点集合；

对所述多个次级特征点集合中的每个特征点进行描述符计算，得到所述多个特征点集合。

可选的，对所述多个特征点集合进行特征点匹配处理，得到特征点匹配集合，包括：

采用灰度模版匹配算法对所述多个特征点集合进行特征点匹配处理，得到所述特征点匹配集合。

可选的，对待标定图像进行相机标定处理，得到相机内部参数，包括：

采用张正友标定算法对所述待标定图像进行相机标定处理，得到所述相机内部参数。

本申请还提供一种电网杆塔的建模数据获取装置，包括：

图像特征点检测模块，用于采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合；

图像特征点匹配模块，用于对所述多个特征点集合进行特征点匹配处理，得到特征点匹配集合；

基础矩阵计算模块，用于对所述特征点匹配集合进行基础矩阵计算，得到基础矩阵；

相机标定模块，用于对待标定图像进行相机标定处理，得到相机内部参数；

单应矩阵计算模块，用于对所述多个可见光图像进行单应矩阵计算处理，得到旋转平移矩阵；

点云数据获取模块，用于根据所述基础矩阵、所述相机内部参数以及所述旋转平移矩阵对所述多个特征点集合进行点云建模处理，得到点云数据。

可选的，所述图像特征点检测模块，包括：

极值点检测单元，用于对所述多个可见光图像进行极值点检测，得到多个极值点集合；

特征点定位单元，用于对所述多个极值点集合进行特征点定位处理，得到多个初级特征点集合；

特征点方向获取单元，用于对所述多个初级特征点集合中的每个特征点进行方向确定处理，得到多个次级特征点集合；

描述符计算单元，用于对所述多个次级特征点集合中的每个特征点进行描述符计算，得到所述多个特征点集合。

可选的，所述图像特征点匹配模块，具体用于采用灰度模版匹配算法对所述多个特征点集合进行特征点匹配处理，得到所述特征点匹配集合。

可选的，所述相机标定模块，具体用于采用张正友标定算法对所述待标定图像进行相机标定处理，得到所述相机内部参数。

本申请还提供一种建模数据获取设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的建模数据获取方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的建模数据获取方法的步骤。

本申请所提供的一种电网杆塔的建模数据获取方法，包括：采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合；对所述多个特征点集合进行特征点匹配处理，得到特征点匹配集合；对所述特征点匹配集合进行基础矩阵计算，得到基础矩阵；对待标定图像进行相机标定处理，得到相机内部参数；对所述多个可见光图像进行单应矩阵计算处理，得到旋转平移矩阵；根据所述基础矩阵、所述相机内部参数以及所述旋转平移矩阵对所述多个特征点集合进行点云建模处理，得到点云数据。

通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。与传统的可见光建模方法对比，本发明对建模人员的专业素质要求较低，减轻了理想模型对建模人员的专业能力依赖程度，降低了技术门槛，在保持建模数据精度和运算速度的情况下降低获取成本。

本申请还提供一种电网杆塔的建模数据获取装置、建模数据获取设备以及计算机可读存储介质，具有以上有益效果，在此不作赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种电网杆塔的建模数据获取方法的流程图；

图2为本申请实施例所提供的一种电网杆塔的建模数据获取装置的结构示意图；

图3为本申请所提供的一种建模数据获取设备的结构示意图。

具体实施方式

本申请的核心是提供一种电网杆塔的建模数据获取方法、建模数据获取装置、建模数据获取设备以及计算机可读存储介质，通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术中，常用的输电线路三维建模的方法主要有激光雷达三维建模与可见光三维建模两种。激光雷达三维建模通过利用机载激光雷达扫描可以直接呈现出杆塔概况，实现情景再现。激光雷达建模技术在实际应用中不需要直接接触被测物体、扫描效率高、定位精准、电位均匀、获取信息真实，为电塔三维模型建设提供了新的思路。可见光三维建模采用摄影技术在走廊通道构建非单体的三维模型。该项技术的应用更加倾向于几何处理、多视角匹配、赋予纹理等，从而获取最终的模型信息。在实际应用中是不断获得二维图，不需要采用激光、POS定位等技术。由于架空输电线路本体都是镂空结构，如果采用倾斜拍摄法可能会造成杆塔扭曲问题发生。因此可以采用精细化三维建模方法，人工交互的提取杆塔导线信息，最终完成该建模。

因此，本申请实施例提供一种电网杆塔的建模数据获取方法，通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。与传统的可见光建模方法对比，本发明对建模人员的专业素质要求较低，减轻了理想模型对建模人员的专业能力依赖程度，降低了技术门槛，在保持建模数据精度和运算速度的情况下降低获取成本。

请参考图1，图1为本申请实施例所提供的一种电网杆塔的建模数据获取方法的流程图。

本实施例中，该方法可以包括：

S101，采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合；

S102，对多个特征点集合进行特征点匹配处理，得到特征点匹配集合；

可选的，本步骤可以包括：

采用灰度模版匹配算法对多个特征点集合进行特征点匹配处理，得到特征点匹配集合。

S103，对特征点匹配集合进行基础矩阵计算，得到基础矩阵；

可见，步骤S101至S103主要是通过SIFT算法对可见光图像进行基本矩阵的计算处理。

在对可见光图像进行处理的过程根据可见光图像中的特征点是否可以确定另外一副图像上的直线。如果可以，那么可以计算出该可见光图像的基本矩阵，用于表示特征点的变换方式。

对于另一种情况，是通过对不同图像之间的特征点进行映射，一幅图像上的特征点可以确定另一幅特征点上的一个点，该点是第一幅图像通过光心和图像点的射线与一个平面的交点在第二幅图像上的影像。对于这种情况，通常计算出该可见光图像的单应矩阵，以便获取到对应的旋转平移矩阵。

S104，对待标定图像进行相机标定处理，得到相机内部参数；

本步骤是在将待标定图像输入到处理处理流程中，以便得到相机的内部参数，用于对特征点进行精确的变换，提高点云数据获取的精度。

可选的，本步骤可以包括：

采用张正友标定算法对待标定图像进行相机标定处理，得到相机内部参数。

其中，“张正友标定算法”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法。提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

S105，对多个可见光图像进行单应矩阵计算处理，得到旋转平移矩阵；

本步骤旨在对可见光图像进行单应计算，得到旋转平移矩阵。

可以想到是的，本实施例并不限定S101至S103和S104以及S105之间执行顺序，本实施例所示的执行顺序仅是其中一种，还可以根据需要改变不同的执行顺序，在此不做具体限定。

S106，根据基础矩阵、相机内部参数以及旋转平移矩阵对多个特征点集合进行点云建模处理，得到点云数据。

可选的，本实施例中的S101可以包括：

对多个可见光图像进行极值点检测，得到多个极值点集合；

对多个极值点集合进行特征点定位处理，得到多个初级特征点集合；

对多个初级特征点集合中的每个特征点进行方向确定处理，得到多个次级特征点集合；

对多个次级特征点集合中的每个特征点进行描述符计算，得到多个特征点集合。

可见，本可选方案对本实施例中的S101进行了进一步说明。

综上，本实施例通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。与传统的可见光建模方法对比，本发明对建模人员的专业素质要求较低，减轻了理想模型对建模人员的专业能力依赖程度，降低了技术门槛，在保持建模数据精度和运算速度的情况下降低获取成本。

以下通过一个实施例，对本申请实施例提供的一种电网杆塔的建模数据获取方法做进一步的具体说明。

本实施例中，该方法可以包括：图像特征点检测、图像特征点匹配、计算基础矩阵、相机标定、计算单应矩阵以及获取点云。

通过以下实施例，对本实施例中的图像特征点检测的过程进行说明。

SIFT算法提取出的特征点拥有优良的鲁棒性，同时SIFT描述符具备高度的独特性，因此，本实施例使用SIFT算法进行图像特征点的检测。SIFT算法中，通过使用尺度空间技术来模拟图像的多尺度特征。建立图像尺度空间是为了能够检测出相对于图像的尺度参数具有不变性的像素的位置。图像的尺度空间函数定义如下所示：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，I(x,y)表示输入图像，*表示卷积运算符，G(x,y,σ)表示高斯函数，其定义如下所示：

其中，σ为尺度因子，σ越小代表图像细节特征，σ越大表示图像概貌特征。为了能够在尺度空间中高效地检测出稳定的特征点位置，将DoG(高斯差分函数)与图像进行卷积。高斯差分函数D(x,y,σ)可以通过以常量的倍增因子k的两个相邻尺度图像相减得出，公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

为了具备真正的尺度不变性，LoG算子必须具有归一化因数σ²，LoG与DoG的关系可用下式来表示：

由上式得：

G(x,y,kσ)-G(x,y,σ)≈(k-1)σ²▽²G

其中的因数(k-1)在所有的尺度中是一个不变量，因此不会对极值点的位置产生影响。随着k取值接近于1，误差将会近似为零。

为了确保于G(x,y,σ)局部的极大值或极小值，每个采样点将要与它所在尺度的8个相邻点并加上其相邻的两个尺度上的9x2个点一共26个点的取值相比较。

进一步的，极值点检测是在离散空间中进行的，真正意义上的极值点有可能与在离散空间中检测到的极值点存在位置上的误差。因此，对局部极值点使用三维二次方程进行拟合来确定极值点的位置将会显著的提高特征点的稳定性，如下所示：

其中，X＝X(x,y,σ)^T，通过对上式进行求关于X的导数，可以得到极值点如下所示：

带入后可以得到下式：

在进行泰勒二阶展开的过程中，候选极值点被当作坐标原点，因此偏离候选极值点的尺度差和位置差分别对应于极值点所包含的三个分量，如果这三个分量有任意一个大于0.5，那么该分量将会被调整到下一个最接近的值。经过多次重复上述拟合过程，极值点将会获得精确的尺度和位置。

为了获得较好的稳定性，仅仅剔除低对比度的极值点还不够，因为DoG函数会产生较强的边缘响应。通常情况下，垂直边缘的位置将会有较小的主曲率，而横跨边缘的位置将会有较大的主曲率。

通过海瑟矩阵H(x,y)可以求出主曲率，如式(1-9)所示

可以使用求临近点差分的方式获得D的值。由于D的主曲率和H的特征值成正比关系，所以可以通过求H的特征值的比率来获得D的主曲率的比率，从而避免了具体的计算。假设α为较大的特征值，β为较小的特征值，则容易得出：

Tr(H)＝D_xx+D_yy＝α+β，

Det(H)＝D_xxD_yy-(D_xy)²＝α·β

其中，Tr(H)代表矩阵H的值，Det(H)代表H的行列式值。

假设最大特征值α和最小特征值β的比值为r，则有：

上式的结果只和两个特征值的比值有关，由于r＝α/β≥1，所以当r＝1，即α＝β时，结果最小，当r增大时，结果将增大，此时D的两个主曲率的比值也增大，比值越大，该点越有可能是边缘点。

为了获得特征点关于图像旋转的不变性，需要为每个特征点分配主方向，之后关于特征点的计算都将相对于这个主方向进行，同时相关操作的像素都位于特征点的尺度所对应的高斯平滑图像上，特征点也因此获得了尺度无关性。对于每一个特征点，其邻域内像素点的梯度值表示如下所示：

其中，每个特征点的方向如下所示：

上述两式中的L(x,y)表示特征点所在高斯平滑图像的像素点的灰度值。获得特征点主方向的详细过程为：在相应的高斯平滑图像上，以特征点为中心，取适当的邻域区域，统计该区域内所有图像像素的梯度方向；梯度方向从0度开始，每隔10度分配一个方向，这样将会产生36个方向。

在计算过程中，需要使用适当的高斯函数进行加权，该高斯函数的高斯核等于特征点所在尺度1.5倍，目的是为了减小窗口内距离特征点较远的点对方向直方图的权重。统计结果中的最大值所在的方向就是相应特征点的主方向。为了增强后续匹配的稳定性，那些取值超过主方向取值80％的方向将会被作为该特征点的辅方向，这样一来，具有相同尺度和位置的特征点有可能具有多个方向这样的特征点的比例大概为15％，但他们能够很好的提高后续匹配的稳定性。

描述符计算

到目前为止，已经获得了特征点的尺度、位置和方向信息，接下来需要为特征点创建一个描述子，这个描述子需要具备较好的独特性，同时对视角、光照等变化具备良好的鲁棒性。

特征点描述子的计算过程如下：

以特征点为中心，把邻域坐标轴旋转θ°，将其调整为特征点的主方向，以此来获得特征点关于旋转的不变性；

确保旋转不变之后，以特征点为中心取一定大小的邻域窗口。每个单元方格代表特征点邻域窗口内的一个像素，像素的方向和箭头的方向一致，像素的大小和箭头的长度成比例，其中箭头的方向就是旋转后的像素方向；

将所取的邻域窗口以4*4为单位均匀分为若干个子区域，之后使用高斯函数进行加权，这样有利于增加离特征点较近的采样点的权重，同时减小距特征点较远的采样点的权重，然后计算每个区域在若干个方向上的梯度的累加值。

把前面所采用的邻域中的每个子区域的所有方向上的梯度累加值合并在一起，就形成了一个SIFT描述符，通常该描述符是一个16*8＝128维的向量。

经过上述一系列的变换，SIFT特征描述符已经具备了尺度不变性和旋转不变性，接下来将要对特征点描述符进行归一化处理，这样可以进一步增强其对光照的鲁棒性。假设D是特征点描述符，令D＝(d₁，d₂，d₃...dn)，对其进行归一化处理，得到下式：

经过上述归一化处理之后，图像的对比度和线性光线的影响被消除了。然而，非线性光线的影响依然存在，因为非线性光线能够引起梯度大小的不均衡变化，为了有效地减少非线性光线的影响，需要预先设置一个阈值，如果描述符某一维的值大于该阈值，就将其截断置为该阈值，然后再重新进行归一化处理。

其中，本实施例采用基于NCC(NormalizedCrossCorrelation NCC)灰度模板匹配算法中的归一化互相关算法进行图像特征点匹配。

假设图像S的尺寸为MxM，模板T大小为NxN，其中M>N，M、N的单位为像素。模板T在S上平移，模板所覆盖的子图记做S^i,j，(i，j)是图像左上角的坐标值，其主要运算公式如下所示：

计算基础矩阵

两幅视图存在两个关系：第一种，通过对一幅图像上的点可以确定另外一幅图像上的一条直线；另外一种，通过上一种映射，一幅图像上的点可以确定另外一幅图像上的一个点，这个点是第一幅图像通过光心和图像点的射线与一个平面的交点在第二幅图像上的影像。第一种情况可以用基本矩阵来表示，第二种情况则用单应矩阵来表示。

进行可见光点云建模，需要分别对基础矩阵及单应矩阵进行求解。

基本矩阵体现了两视图几何(对极几何epipolar geometry)的内在射影几何(projective geometry)关系，基本矩阵只依赖于摄像机的内参K和外参R，t。

对于两个视图的射影矩阵P、P′，在矩阵P的作用下，第一个视图中通过x和光心O的射线可以由方程PX＝x解出。给出的单参数簇解的形式为：

X(λ)＝P⁺x+λo

其中，P⁺是P的伪逆，即P⁺P＝I，O为相机的中心，即P的零矢量并且定义为PO＝0。这条射线由点P⁺x和点O决定，这两点在第二幅图像上的投影分别为点P′P⁺x和点P′O。而对极线则是连接这两点的直线，即l′＝(P′O)×(P′P⁺x)，点P′O也就是在第二幅图像上的对极点e′。也可以记为l′＝[e′]×(P′P⁺)x＝Fx，这里的F就是基本矩阵：

F＝[e′]×(P′P⁺)

进一步的，设两个视图的双目***，且世界坐标系定在第一个视图：

P＝K(I|O)

P′＝K′(R|t)＝K′R(I|-O')

则：

且：

F＝[P′C]×P′P⁺＝[K′t]×K′RK^-1＝K^'-T[t]×RK^-1＝K^'-TR[R^Tt]×K^-1＝K^'-TRK^T[KR^Tt]

因此，对极点可以表示为：

从而，F可以记作：

F＝[e′]×P′P⁺＝K^'-T[T]×RK^-1＝K^'-TR[R^Tt]×K^-1＝K^'-TRK^T[e]

对上式中的F进行求解即可得到基本矩阵。

本实施例使用张友正标定法实现从世界坐标系到像素坐标系的转换，需通过世界坐标系、相机坐标系、图像坐标系、像素坐标系路径实现。

其中，从世界坐标系到相机坐标系的公式如下：

其中，R为旋转矩阵，t为平移向量，因为假定在世界坐标系中物点所在平面过世界坐标系原点且与Zw轴垂直(也即棋盘平面与Xw-Yw平面重合，目的在于方便后续计算)，所以zw＝0，可直接转换成如下的形式。

其中，变换矩阵为：

从相机坐标系到理想图像坐标系：

这一过程进行了从三维坐标到二维坐标的转换，也即投影透视过程。

进一步的，从理想图像坐标系到实际图像坐标系进行变换。透镜的畸变主要分为径向畸变和切向畸变。其中，径向畸变是由于透镜形状的制造工艺导致。且越向透镜边缘移动径向畸变越严重。实际情况中我们常用r＝0处的泰勒级数展开的前几项来近似描述径向畸变。矫正径向畸变前后的坐标关系为：

x_corrected＝x(1+k1r2+k2r4+k3r6)

y_corrected＝y(1+k1r2+k2r4+k3r6)

由此可知对于径向畸变，存在有3个畸变参数需要求解。

切向畸变是由于透镜和CMOS或者CCD的安装位置误差导致。切向畸变需要两个额外的畸变参数来描述，矫正前后的坐标关系为：

x_corrected＝x+[2p1y+p2(r2+2x2)]

y_corrected＝y+[2p2x+p1(r2+2y2)]

由此可知对于切向畸变，存在有2个畸变参数需要求解。

可见，一共需要5个畸变参数(k1、k2、k3、p1、p2)来描述透镜畸变。

由于定义的像素坐标系原点与图像坐标系原点不重合，假设像素坐标系原点在图像坐标系下的坐标为(u0，v0)，每个像素点在图像坐标系x轴、y轴方向的尺寸为：dx、dy，且像点在实际图像坐标系下的坐标为(xc，yc)，于是可得到像点在像素坐标系下的坐标为：

化为齐次坐标表示形式可得：

若暂不考虑透镜畸变，则内参矩阵M：

之所以称之为内参矩阵可以理解为矩阵内各值只与相机内部参数有关，且不随物***置变化而变化。

具体的，标定步骤包括：打印一张棋盘格，作为标定物；为标定物拍摄一些不同方向的照片；从照片中提取棋盘格角点；估算理想无畸变的情况下，五个内参和六个外参；应用最小二乘法估算实际存在径向畸变下的畸变系数；极大似然法，优化估计，提升估计精度。

其中，计算单应矩阵包括：射影映射是P²到其自身的一种满足以下关系的可逆映射h：三点x₁，x₂和x₃共线当且仅当h(x₁)，h(x₂)和h(x₃)也共线。射影映射也称为保线映射，或者射影变换或单应。在代数上可以把这种映射关系h表示为：P²→P²是射影映射的充要条件为：存在一个3×3非奇异矩阵H使得P²的任何一个矢量x表示的点都满足h(x)＝Hx。

上图中，把点x的射线延长到世界平面π并且交于一点x_π，该点投影到另外一个视图上得到点x′，这个从点x到点x′的映射是从平面π诱导的单应。如果世界平面π到第一幅图像的透视变换为x＝H_1πx_π，而世界平面到第二幅图像的透视变换为x′＝H_2πx_π，那么这两个透视变换的复合是两个平面之间的单应变换

假设两幅视图的投影矩阵：

P＝[I|0]P′＝[A|a]

其中，定义世界平面π为π^TM＝0，其中π＝(v^T,1)^T。对于第一幅视图而言，根据透视投影有x＝PX＝[I|0]X，该射线上的点X＝(x^T,^l)^T都投影到x点，又点X在平面π上，则满足π^TX＝0，从而可以确定参数l，得到X＝(x^T,-v^Tx)^T。该3D点在第二幅图像上的投影为：

X＝P′X＝(A|a)X＝Ax-av^Tx＝(A-av^T)x

由该平面诱导的单应为x′＝Hx，得：

H＝A-av^T，

很明显，这里的单应矩阵H是有向量v决定，是一个三参数单应簇。考虑对于已经有标定的双目相机矩阵的相机矩阵：

P＝K[I|0]P′＝K′[R|t]

并且世界平面π的坐标为π＝(n^T,d)^T，则根据上面的结论，有v＝b/d，则对相机P＝[I|0]，P′＝[R|t]的单应为：

H＝R-tn^T/d，

加上内参矩阵K，K′后则得到对应的单应为：

H＝K′(R-tn^T/d)K^-1。

最后，通过以上的步骤进行计算得到对应点云模型数据，即点云数据。

可见，本实施例通过对可见光图像进行处理得到点云数据，降低了建模数据获取的成本，同时通过基础矩阵和单应矩阵的计算，提高了点云数据获取的精度和运算速度。与传统的可见光建模方法对比，本发明对建模人员的专业素质要求较低，减轻了理想模型对建模人员的专业能力依赖程度，降低了技术门槛，在保持建模数据精度和运算速度的情况下降低获取成本。

下面对本申请实施例提供的一种电网杆塔的建模数据获取装置进行介绍，下文描述的一种电网杆塔的建模数据获取装置与上文描述的一种电网杆塔的建模数据获取方法可相互对应参照。

请参考图2，图2为本申请实施例所提供的一种电网杆塔的建模数据获取装置的结构示意图。

本实施例中，该装置可以包括：

图像特征点检测模块100，用于采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合；

图像特征点匹配模块200，用于对多个特征点集合进行特征点匹配处理，得到特征点匹配集合；

基础矩阵计算模块300，用于对特征点匹配集合进行基础矩阵计算，得到基础矩阵；

相机标定模块400，用于对待标定图像进行相机标定处理，得到相机内部参数；

单应矩阵计算模块500，用于对多个可见光图像进行单应矩阵计算处理，得到旋转平移矩阵；

点云数据获取模块600，用于根据基础矩阵、相机内部参数以及旋转平移矩阵对多个特征点集合进行点云建模处理，得到点云数据。

可选的，该图像特征点检测模块100，可以包括：

极值点检测单元，用于对多个可见光图像进行极值点检测，得到多个极值点集合；

特征点定位单元，用于对多个极值点集合进行特征点定位处理，得到多个初级特征点集合；

特征点方向获取单元，用于对多个初级特征点集合中的每个特征点进行方向确定处理，得到多个次级特征点集合；

描述符计算单元，用于对多个次级特征点集合中的每个特征点进行描述符计算，得到多个特征点集合。

可选的，该图像特征点匹配模块200，具体用于采用灰度模版匹配算法对多个特征点集合进行特征点匹配处理，得到特征点匹配集合。

可选的，该相机标定模块400，具体用于采用张正友标定算法对待标定图像进行相机标定处理，得到相机内部参数。

本申请实施例还提供一种建模数据获取设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如权利要求1至4任一项的建模数据获取方法的步骤。

下面对本申请实施例提供的建模数据获取设备进行介绍，下文描述的建模数据获取设备与上文描述的建模数据获取方法可相互对应参照。

请参考图3，图3为本申请所提供的一种建模数据获取设备的结构示意图，该建模数据获取设备可以包括：

存储器11，用于存储计算机程序；

处理器12，用于执行上述存储器11存储的计算机程序时可实现如下步骤：

采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合；对多个特征点集合进行特征点匹配处理，得到特征点匹配集合；对特征点匹配集合进行基础矩阵计算，得到基础矩阵；对待标定图像进行相机标定处理，得到相机内部参数；对多个可见光图像进行单应矩阵计算处理，得到旋转平移矩阵；根据基础矩阵、相机内部参数以及旋转平移矩阵对多个特征点集合进行点云建模处理，得到点云数据。

对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。

进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时可实现如下步骤：

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的具体介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种电网杆塔的建模数据获取方法、建模数据获取装置、建模数据获取设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种电网杆塔的建模数据获取方法，其特征在于，包括：

对所述特征点匹配集合进行基础矩阵计算，得到基础矩阵；

对待标定图像进行相机标定处理，得到相机内部参数；

2.根据权利要求1所述的建模数据获取方法，其特征在于，采用SIFT算法对多个可见光图像进行特征点检测，得到多个特征点集合，包括：

3.根据权利要求1所述的建模数据获取方法，其特征在于，对所述多个特征点集合进行特征点匹配处理，得到特征点匹配集合，包括：

4.根据权利要求1所述的建模数据获取方法，其特征在于，对待标定图像进行相机标定处理，得到相机内部参数，包括：

5.一种电网杆塔的建模数据获取装置，其特征在于，包括：

6.根据权利要求5所述的建模数据获取装置，其特征在于，所述图像特征点检测模块，包括：

7.根据权利要求5所述的建模数据获取装置，其特征在于，所述图像特征点匹配模块，具体用于采用灰度模版匹配算法对所述多个特征点集合进行特征点匹配处理，得到所述特征点匹配集合。

8.根据权利要求5所述的建模数据获取装置，其特征在于，所述相机标定模块，具体用于采用张正友标定算法对所述待标定图像进行相机标定处理，得到所述相机内部参数。

9.一种建模数据获取设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的建模数据获取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的建模数据获取方法的步骤。