CN117036429A - 一种用于光伏缺陷检测的红外-可见光异源图像配准方法 - Google Patents

Abstract

本发明公开了一种用于光伏缺陷检测的红外‑可见光异源图像配准方法。具体涉及到计算机视觉和图像处理技术领域。具体方法如下：首先应用搭载双光摄像头的无人机采集原始图像；使用Mask R‑CNN网络进行图像分割背景图像；SIFT检测算子提取特征点集；对特征点集采用PSO结合K‑means方法进行聚类；RANSAC方法结合Delaunay三角网进行特征匹配；最后进行投影变换完成双光图像配准。本发明可自动化进行光伏异源图像配准，提高配准效率，优化运维决策，提升日常运维智能化检测水平，为后续光伏组件缺陷检测提供数据依据。

Description

一种用于光伏缺陷检测的红外-可见光异源图像配准方法

技术领域

本发明涉及计算机视觉和图像处理技术领域，更具体地说，涉及一种用于光伏缺陷检测的红外-可见光异源图像配准方法。

背景技术

近年来，随着光伏电站装机容量不断上升，光伏电站运维和巡检迎来挑战。光伏电站常年处于偏僻地区，光伏组件老化问题逐渐凸显，产生各种类型的缺陷。基于无人机搭载红外相机的巡检方法因其方便快捷、价格低廉等优势，已逐步取代传统人工巡检方式。

相比于红外图像诊断，红外-可见光双光联合进行光伏组件缺陷诊断更加全面与精确地区分缺陷类型和原因，从而优化运维决策，提高运维效率。这种联合缺陷诊断方法的关键在于光伏双光异源图像配准的精度。

针对异源图像的成像原理不同导致配准难度较高，且由于光伏电池板存在大量相似纹理，导致配准过程中存在大量冗余特征，双光配准效果较差。因此，本申请提出一种用于光伏缺陷检测的红外-可见光异源图像配准方法。

发明内容

为了克服上述缺陷，本发明提供了一种用于光伏缺陷检测的红外-可见光异源图像配准方法，通过去除冗余特征点、对特征点分类的方法有效提升了光伏组串双光图像的配准效率，解决了异源图像的成像原理不同导致配准难度较高和大量相似纹理导致存在大量冗余特征难以配准的技术问题，提升配准精度，达到了为后续的图像融合以及缺陷检测做出贡献的目的。

本发明采用的技术方案如下：

一种用于光伏缺陷检测的红外-可见光异源图像配准方法，其特征在于，所述方法包括以下步骤：

S1、搭载双光摄像头的无人机自主进行航迹规划，按照预设的高度和角度对光伏电站进行巡检，采集光伏组串的可见光图像和红外图像。

S2、由于光伏组串板件内存在大量重复纹理，往往会导致提取特征点阶段产生的大量冗余数据。并且不同组串个体之间的纹理也无法区分，极易产生不同个体的特征点相互匹配的错误匹配现象。为了降低重复纹理对配准效率的影响，本发明对所述可见光图像和红外图像进行图像分割，仅保留除组串外的背景图像，用于进行后续配准工作。由于组串个体所处环境不同，通过匹配背景图片可以有效区分组串间的个体差异，可以在一定程度上解决数据冗余和错误匹配的问题。

S3、使用尺度不变特征转换SIFT检测算子对所述光伏组串的背景图像进行特征提取，得到特征点集和特征点描述子。SIFT算法具有尺度不变性，当旋转图像、改变图像亮度或移动拍摄位置时，仍可得到较好的检测效果。

S4、PSO算法是一种全局搜索算法，通过适当调节其参数，可以加快收敛速度，提高全局寻找最优解的能力，但在接近最优解时收敛速度变得过慢。相反，K-means算法具有快速收敛于局部最优解的能力，但寻找全局最优解的能力较弱。采用PSO结合K-means算法对所述特征点集进行聚类，可以有效结合两种算法的优势，加快收敛速度和准确性。

S5、根据所述特征点集和特征点描述子进行特征匹配。首先采用RANSAC去除掉错误匹配点，完成图像粗配准；再构建Delaunay三角网，以同名三角形的相似度为指标，筛选出相似度更高的特征点对，构造相似度矩阵，完成特征点对的精确配准，从而提高匹配点对的精确度。

S6、对可见光和红外背景图像进行投影模型变换，求解空间变换模型参数，得到单应矩阵，作用到原图像上，得到红外-可见光异源配准图像。

附图说明

图1为本发明光伏红外-可见光异源图像配准方法的总体流程图；

图2为本发明光伏红外-可见光异源图像配准方法的聚类流程图。

具体实施方式

本发明是一种用于光伏缺陷检测的红外-可见光异源图像配准方法，总的工作流程图如图1所示，具体实施步骤如下：

S1、搭载双光摄像头的无人机采集光伏组串的可见光图像和红外图像。

S2、对所述可见光图像和红外图像进行光伏组串图像分割，获得光伏组串的背景图像。

进一步的，所述步骤S2具体包括以下步骤：

S201、对可见光图像和红外图像中的光伏组串外轮廓进行标注，构建训练数据集；

S202、采用所述训练数据集对Mask R-CNN模型进行训练，Faster R-CNN主干网络实现目标的检测与分类，mask分支对检测的目标进行像素上的分类；

S203、采用训练好的Mask R-CNN模型对所述可见光图像和红外图像进行光伏组串分割，获得光伏组串mask掩膜；

S204、提取所述光伏组串mask掩膜，并与其原图进行图像融合，得到光伏组串的背景图像。

S3、提取所述光伏组串的背景图像的特征点集和特征点描述子。使用尺度不变特征转换SIFT检测算子对所述光伏组串的背景图像进行特征提取，得到特征点集和特征点描述子。SIFT算法具有尺度不变性，当旋转图像、改变图像亮度或移动拍摄位置时，仍可得到较好的检测效果。

S4、对所述特征点集和特征点描述子进行聚类。

进一步的，如图2所示，所述步骤S4中，采用PSO结合K-means算法对所述特征点集进行聚类，这种算法结合了两种算法的优势，加快了收敛速度和准确性。所述算法流程具体如下：

S401、初始化粒子群及参数设置。

(1)假设d维空间的特征点集S＝{S₁，S₂，…，S_n}，其中S_i是特征点向量。在特征点集S中，随机抽取n个特征点分配到k个组中，将每组特征点向量的均值作为该组聚类中心，聚类中心具体表达式如下，由这k个聚类中心构成一个粒子。重复上述过程，共产生m个初始粒子。粒子i的位置为粒子i的第j个聚类中心为/>

其中，|C_ij|是粒子i的第j个簇聚中的元素个数。

(2)计算初始粒子的适应度粒子适应度F(X_i)越小，聚类质量越好，其具体表达式如下：

(3)设置粒子i的个体最优适应度PbestF(i)的初值为粒子i的个体最优位置Pbest_i的初值为/>设置粒子群的全局最优适应度GbestF的初值为所有PbestF(i)的最小值，其下标记为min，全局最优位置Gbest的初值为相应的粒子位置Pbest_min。

S402、更新粒子i的速度和位置/>形成下一代粒子群。其具体表达式为：

其中，和/>分别是当前粒子和下一代粒子的速度；/>和/>分别是当前粒子和下一代粒子的位置；tand₁()和tand₂()是两个独立的介于[0,1]之间的随机变量；c₁和c₂是加速因子，用来控制迭代的最大步长，一般取值为2.0；ω为惯性权重，权衡局部最优能力和全局最优能力，一般算法初期迅速减少，收敛于最优解时，ω缓慢减少。

S403、根据每个粒子的新位置按照最近邻原则确定对应该粒子的聚类划分，并更新各个聚类中心。

S404、重新计算每个当前粒子的适应度

S405、比较和粒子的个体最优适应度PbestF(i)，如果/> 则将PbestF(i)设置为/>同时将Pbest_i设置为/>将所有粒子的PbestF(i)中的最小值，作为粒子群的全局最优适应度GbestF的值，并将对应粒子的最优位置赋给Gbest。

S406、重复上述步骤S402-S405，直到经过多次迭代后全局最优位置Gbest仍未发生变化或迭代次数超过最大迭代次数，退出迭代过程，得到全局最优的k个聚类中心Gbest。

S407、将所述全局最优位置Gbest，作为K-means算法的初始聚类中心，使用K-means算法继续完成聚类任务。

S408、输出k个聚类中心，以及特征点集的划分。

S5、根据所述特征点集和特征点描述子进行特征匹配。

进一步的，所述步骤S5具体包括以下步骤：

S501、采用RANSAC筛选出的粗匹配关键点集；

S502、用逐点***法分别在各类特征点集构建Delaunay同名三角网；

S503、计算同名三角形的相似度，筛选出匹配度更高的特征点。假设需要判断相似性的两个三角形分别为ΔABC和ΔA′B′C′，其中A、B、C和A′、B′、C′分别为对应的点对，对应角度值分别为a、b、c和a′、b′、c′，角A和角A′的相似度I_a，具体表达式如下，同理可得I_b和I_c，两个三角形的相似度I具体表达式如下：

σ＝a/6

S504、比较I与预设相似度阈值s的大小，若I>s，则匹配点对。

S505、重复步骤S503和S504直至所有三角形遍历比对完成，构造相似度矩阵，完成特征点对的精确配准。

S6、对可见光和红外背景图像进行投影模型变换，求解空间变换模型参数，得到单应矩阵，作用到原图像上，得到红外-可见光异源配准图像。

Claims (1)

1.一种用于光伏缺陷检测的红外-可见光异源图像配准方法，其特征在于：

S1、搭载双光摄像头的无人机采集光伏组串的可见光图像和红外图像；

S2、对所述可见光图像和红外图像进行光伏组串图像分割，获得光伏组串的背景图像，具体包括以下步骤：

S201、对可见光图像和红外图像中的光伏组串外轮廓进行标注，构建训练数据集；

S202、采用所述训练数据集对Mask R-CNN模型进行训练，Faster R-CNN主干网络实现目标的检测与分类，mask分支对检测的目标进行像素上的分类；

S203、采用训练好的Mask R-CNN模型对所述可见光图像和红外图像进行光伏组串分割，获得光伏组串mask掩膜；

S204、提取所述光伏组串mask掩膜，并与其原图进行图像融合，得到光伏组串的背景图像；

S3、提取所述光伏组串的背景图像的特征点集和特征点描述子；使用尺度不变特征转换SIFT检测算子对所述光伏组串的背景图像进行特征提取，得到特征点集和特征点描述子；SIFT算法具有尺度不变性，当旋转图像、改变图像亮度或移动拍摄位置时，仍可得到较好的检测效果；

S4、对所述特征点集和特征点描述子进行聚类，采用PSO结合K-means算法对所述特征点集进行聚类，这种算法结合了两种算法的优势，加快了收敛速度和准确性；所述算法流程具体如下：

S401、初始化粒子群及参数设置；

(1)假设d维空间的特征点集S＝{S₁，S₂，…，S_n}，其中S_i是特征点向量；在特征点集S中，随机抽取n个特征点分配到k个组中，将每组特征点向量的均值作为该组聚类中心，聚类中心具体表达式如下，由这k个聚类中心构成一个粒子；重复上述过程，共产生m个初始粒子；粒子i的位置为粒子i的第j个聚类中心为/>

其中，|C_ij|是粒子i的第j个簇聚中的元素个数；

(2)计算初始粒子的适应度粒子适应度F(X_i)越小，聚类质量越好，其具体表达式如下：

(3)设置粒子i的个体最优适应度PbestF(i)的初值为粒子i的个体最优位置Pbest_i的初值为/>设置粒子群的全局最优适应度GbestF的初值为所有PbestF(i)的最小值，其下标记为min，全局最优位置Gbest的初值为相应的粒子位置Pbest_min；

S402、更新粒子i的速度和位置/>形成下一代粒子群；其具体表达式为：

其中，和/>分别是当前粒子和下一代粒子的速度；/>和/>分别是当前粒子和下一代粒子的位置；rand₁()和rand₂()是两个独立的介于[0,1]之间的随机变量；c₁和c₂是加速因子，用来控制迭代的最大步长，一般取值为2.0；ω为惯性权重，权衡局部最优能力和全局最优能力，一般算法初期迅速减少，收敛于最优解时，ω缓慢减少；

S403、根据每个粒子的新位置按照最近邻原则确定对应该粒子的聚类划分，并更新各个聚类中心；

S404、重新计算每个当前粒子的适应度

S405、比较和粒子的个体最优适应度PbestF(i)，如果/> 则将PbestF(i)设置为/>同时将Pbest_i设置为/>将所有粒子的PbestF(i)中的最小值，作为粒子群的全局最优适应度GbestF的值，并将对应粒子的最优位置赋给Gbest；

S406、重复上述步骤S402-S405，直到经过多次迭代后全局最优位置Gbest仍未发生变化或迭代次数超过最大迭代次数，退出迭代过程，得到全局最优的k个聚类中心Gbest；

S407、将所述全局最优位置Gbest，作为K-means算法的初始聚类中心，使用K-means算法继续完成聚类任务；

S408、输出k个聚类中心，以及特征点集的划分；

S5、根据所述特征点集和特征点描述子进行特征匹配，具体包括以下步骤：

S501、采用RANSAC筛选出的粗匹配关键点集；

S502、用逐点***法分别在各类特征点集构建Delaunay同名三角网；

S503、计算同名三角形的相似度，筛选出匹配度更高的特征点；假设需要判断相似性的两个三角形分别为ΔABC和ΔA′B′C′，其中A、B、C和A′、B′、C′分别为对应的点对，对应角度值分别为a、b、c和a′、b′、c′，角A和角A′的相似度I_a，具体表达式如下，同理可得I_b和I_c，两个三角形的相似度I具体表达式如下：

σ＝a/6

S504、比较I与预设相似度阈值s的大小，若I>s，则匹配点对；

S505、重复步骤S503和S504直至所有三角形遍历比对完成，构造相似度矩阵，完成特征点对的精确配准；

S6、对可见光和红外背景图像进行投影模型变换，求解空间变换模型参数，得到单应矩阵，作用到原图像上，得到红外-可见光异源配准图像。