CN110956640A - 一种异源图像边缘点检测与配准方法 - Google Patents

Abstract

本发明属于图像处理的技术领域，公开了一种异源图像边缘点检测与配准方法，包括计算红外图像和可见光图像的灰度梯度值和梯度方向；将各个像素点的梯度值与领域内相关像素点的梯度对比因子做对比，通过领域检测法筛选出边缘候选点，形成边缘候选点矩阵；通过边缘相关度检测精确提取出强边缘点，作为真实边缘点，得到红外图像和可见光图像的真实边缘点集合；开展双边近邻匹配，得到最终的边缘配准点集。

Description

一种异源图像边缘点检测与配准方法

技术领域

本发明涉及图像处理的技术领域，尤其涉及一种异源图像边缘点检测与配准方法。

背景技术

掌握配网设备运行状态与运行环境状况，及时发现配网设备运行的隐患是电力设备运维管理的关键问题。在图像检测方面，国外电力设备图像检测和分析研究的主要工作是提高输电线路飞行巡检和图像监测的效率和准确性。我国对于基于图像的设备状态检测和自动分析相关的研究主要集中在理论方法分析及可行性研究阶段。

现阶段智能平台和基于手机外设的红外摄像头的出现以及局放检测技术的普及和推广，为配网设备检测的低成本化，提供了前提条件。因此将红头、可见光融合检测，以实现配网状态检测工作的智能化，将会是近几年状态检测工作的发展趋势。

在实际融合检测中，无论是双目立体视觉技术，还是图像融合领域，图像的自动配准工作都是不可或缺的，例如医疗行业中对颅部或眼球的多张扫描图像进行配准并融合得出最清晰的诊断图像，地质测量中对无人机拍摄的遥感图像进行配准并拼接。在研究电力设备空间位置测量的过程中，必须对红外-可见光图像进行配准，以获得误差较小的测量结果。

与同源图像配准不同的是，红外-可见光图像之间色彩和分辨率差异大，并且红外图像纹理不清晰，噪声相对较大，导致两者的配准难度大，精度低。因此，本发明提出了一种异源图像边缘点检测与配准方法，提高配准精度，支撑配电设备状态检测。

发明内容

本发明提供了一种异源图像边缘点检测与配准方法，解决了红外图像与可见光灰度图像纹理清晰度差异大而导致的边缘检测难、配准精度不高等问题。

本发明可通过以下技术方案实现：

一种异源图像边缘点检测与配准方法，包括以下步骤：

步骤一、针对待配准的一张红外图像和一张可见光图像的图像，计算图像的灰度梯度值和梯度方向。

计算两张图像的横向和纵向灰度梯度。记I为图像像素值矩阵，Gu和Gv表示u和v轴上的梯度，则图像的横向和纵向灰度梯度矩阵表达式为

确定像素点的梯度值G与方向θ的计算公式为

θ＝tan^-1(G_v/G_u) (2)

步骤二、通过领域检测法进行初步的筛选，将待检测像素点的梯度值与相关像素点梯度对比因子做对比，筛选出边缘候选点，形成边缘候选点矩阵。

逐一检测各个像素点的3×3邻域，将像素点的梯度值与其领域内梯度方向上相关像素点的梯度值做对比，提取边缘候选点。

令待检测的像素点的梯度值为G_p，则该像素点的领域内在其梯度方向θ_p上相关像素点的值为G₁,G₂,G₃,G₄，如图1所示。

将待检测像素点的梯度值与相关像素点梯度值作对比，令G_p+和G_p-为正负方向的对比因子，公式如下

G_p-＝G₃tanθ_p+G₄(1-tanθ_p)

G_p+＝G₂tanθ_p+G₁(1-tanθ_p) (3)

当G_p>G_p+或G_p>G_p-时，将像素点G_p作为边缘候选点，将边缘候选点的梯度值G_p与对比因子共同组成边缘候选点矩阵E＝(G_p,G_p+,G_p-)。

遍历整张图像的边缘候选点，其提取出所有的边缘候选点矩阵。

步骤三：在边缘候选点的基础上，通过边缘相关度检测精确提取出强边缘点，作为真实边缘点。

令红外图像的边缘点候选矩阵集合为E_h＝(E_h1,E_h2,E_h3,...,E_hn)，可见光图像的边缘点候选矩阵集合为E_l＝(E_l1,E_l2,E_l3,...,E_ln)。

定义对应边缘点候选矩阵之间的边缘相关度为EC_t，其中t＝1,2,...,n。

其中

和

分别为矩阵E_ht、E_lt的元素之和的平均值，M×N为矩阵维度。EC_t取值范围为[-1,1]，该参数可以有效判定两幅边缘图像的相似程度，边缘图像相似度越高，EC_t越大；当两幅边缘图像完全重叠时，EC_t为1；当边缘图像相似度很低时，EC_t越接近0。因此，判定阈值C，当EC_t>C时，将该边缘点提取出来，作为真实边缘点，本发明中C＝0.85。

最终得到红外图像和可见光图像真实边缘点的集合为F_h＝(F_h1,F_h2,F_h3,...,F_hm)和F_l＝(F_l1,F_l2,F_l3,...,F_lm)，其中m<n。

步骤四、使用近邻匹配和双边算法对红外图像和可见光图像开展边缘点配准，获取配准点集。

在步骤三的基础上，首先以可见光图像做基准，将红外图像配准到可见光图像，即红外→可见光。

红外做待配准的红外图像Ih对应的真实边缘点集合为Fh，可见光图像Il对应的真实边缘点集合为F_l，对于集合为Fh中的第i个元素F_hi，定义F_hi到集合F_l的距离为

对于F_hi，检索集合D(F_hi,F_l)中的最大值对应的F_li作为其匹配点。在本文中为保证算法的适用性，用F_hi-max和F_hi-smax分别表示集合D(F_hi,F_l)中的最大值和次最大值；只有两者满足关系F_hi-smax<F_hi-max<R时，才选取最大值F_hi-max对应的F_li作为其匹配点，否则视为匹配失败，为了保证配准的准确性，R的取值为0.9。

当匹配成功时，将F_hi-max和F_li作为匹配点，放入单边匹配集合中M(I_h,I_l)，随后遍历红外图像的真实边缘点集合Fh，将所有的匹配点放入匹配集合M(I_h,I_l)中。

由于单边匹配会出现多对一的情况出现，即Fh中的多个元素可能会匹配到F_l中的同一个元素。为了解决该问题，以红外图像为基准，将可见光图像配准到红外图像，即可见光→红外，得到匹配集合M(I_l,I_h)。

最后保留M(I_h,I_l)和M(I_l,I_h)中相同的元素作为最终匹配成功的点。

本发明有益的技术效果在于：

由于红外图像的细节纹理丢失严重，最为显著的角点极大部分分布在物体轮廓上，而可见光图像则较为清晰，包含清晰的轮廓和纹理信息，因此，边缘点检测使得红外-可见光的相应匹配点更准，匹配效果的鲁棒性更好。

本发明通过领域检测法和边缘相关度检测精确提取出强边缘点，减少由于图像本身差异所导致的配准误差，降低可见光图像的细节纹理比红外图像清晰带来的梯度差异大问题，同时，通过领域算法和双边匹配算法获得最准确的匹配点集，提高了配准精度。

本发明整个计算过程的简单快捷，准确率高，可在电力设备监测中推广。

附图说明

图1为本发明的总体流程示意图；

图2为本发明的边缘候选点提取示意图；

图3为本发明的边缘点检测与配准示意图；

图4为本发明的另一种边缘点检测与配准示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

如图1所示，本发明提供了一种异源图像边缘点检测与配准方法，首先针对待配准的一张红外图像和一张可见光图像的图像，计算图像的灰度梯度值和梯度方向。通过领域检测法进行初步的筛选，筛选出边缘候选点。在边缘候选点的基础上，通过边缘相关度检测精确提取出强边缘点，作为真实边缘点。使用近邻匹配和双边算法对红外图像和可见光图像开展边缘点配准，获取配准点集。

首先图像预处理，并且根据图像质量的高低决定是否需要滤波操作。首先，对图像的灰度值的重新分布，先对灰度图像进行线性变换，再将灰度值拉伸到0-255之间，具体公式如下：

其次，对图像的分辨率进行调整，以待配准的两张红外和可见光图像中高度最小者的分辨率为基准分辨率，等比例缩放另一幅图像，如200*400与400*800的待配准的两张红外和可见光图像，需要将400*800缩放为200*400的比例，以便后续采用相同尺寸的模板进行SIFT描述子提取，为后续实现尺度不变性做准备。

然后，针对待配准的一张红外图像和一张可见光图像的图像，计算图像的灰度梯度值和梯度方向。

计算两张图像的横向和纵向灰度梯度。记I为图像像素值矩阵，Gu和Gv表示u和v轴上的梯度，则图像的横向和纵向灰度梯度矩阵表达式为

确定像素点的梯度值G与方向θ的计算公式为

θ＝tan^-1(G_v/G_u)

进一步，通过领域检测法进行初步的筛选，筛选出边缘候选点。

逐一检测各个像素点的3*3邻域，将像素点的梯度值与其领域内梯度方向上相关像素点的梯度值做对比，提取边缘候选点。

令待检测的像素点的梯度值为G_p，则该像素点的领域内在其梯度方向θ_p上相关像素点的值为G₁,G₂,G₃,G₄，如图1所示。

将待检测像素点的梯度值与相关像素点梯度值作对比，令G_p+和G_p-为正负方向的对比因子，公式如下

G_p-＝G₃tanθ_p+G₄(1-tanθ_p)

G_p+＝G₂tanθ_p+G₁(1-tanθ_p)

当G_p>G_p+或G_p>G_p-时，将像素点G_p作为边缘候选点，将边缘候选点的梯度值G_p与对比因子共同组成边缘候选点矩阵E＝(G_p,G_p+,G_p-)。

遍历整张图像的边缘候选点，其提取出所有的边缘候选点矩阵。

进一步，在边缘候选点的基础上，通过边缘相关度检测精确提取出强边缘点，作为真实边缘点。

令红外图像的边缘点候选矩阵集合为E_h＝(E_h1,E_h2,E_h3,...,E_hn)，可见光图像的边缘点候选矩阵集合为E_l＝(E_l1,E_l2,E_l3,...,E_ln)。

计算对应边缘点候选矩阵之间的边缘相关度EC_t，其中t＝1,2,...,n。

其中

和

分别为矩阵E_ht、E_lt的元素之和的平均值，M×N为矩阵维度。

EC_t取值范围为[-1,1]，该参数可以有效判定两幅边缘图像的相似程度，边缘图像相似度越高，EC_t越大；当两幅边缘图像完全重叠时，EC_t为1；当边缘图像相似度很低时，EC_t越接近0。因此，判定阈值C，当EC_t>C时，将该边缘点提取出来，作为真实边缘点，本发明中C＝0.85。

最终得到红外图像和可见光图像真实边缘点的集合为F_h＝(F_h1,F_h2,F_h3,...,F_hm)和F_l＝(F_l1,F_l2,F_l3,...,F_lm)，其中m<n。

最后，使用近邻匹配和双边算法对红外图像和可见光图像开展边缘点配准，获取配准点集。

首先以可见光图像做基准，将红外图像配准到可见光图像，即红外→可见光。

红外做待配准的红外图像Ih对应的真实边缘点集合为Fh，可见光图像Il对应的真实边缘点集合为F_l，对于集合为Fh中的第i个元素F_hi，定义F_hi到集合F_l的距离为

对于F_hi，检索集合D(F_hi,F_l)中的最大值对应的F_li作为其匹配点。在本文中为保证算法的适用性，用F_hi-max和F_hi-smax分别表示集合D(F_hi,F_l)中的最大值和次最大值；只有两者满足关系F_hi-smax<F_hi-max<R时，才选取最大值F_hi-max对应的F_li作为其匹配点，否则视为匹配失败，为了保证配准的准确性，R的取值为0.9。

当匹配成功时，将F_hi-max和F_li作为匹配点，放入单边匹配集合中M(I_h,I_l)，随后遍历红外图像的真实边缘点集合Fh，将所有的匹配点放入匹配集合M(I_h,I_l)中。

由于单边匹配会出现多对一的情况出现，即Fh中的多个元素可能会匹配到F_l中的同一个元素。为了解决该问题，以红外图像为基准，将可见光图像配准到红外图像，即可见光→红外，得到匹配集合M(I_l,I_h)。最后保留M(I_h,I_l)和M(I_l,I_h)中相同的元素作为最终匹配成功的点。

对配电设备的红外和可见光图像做边缘检测和配准的结果，如图3和图4所示(左边为红外图像，右边为可见光图像)。在配准后将均方根误差Root Mean Squard Error(RMSE)作为评价指标，即

其中(xi,yi)图像配准得到的配准点坐标，(x’i,y’i)为配准点经过理论透视变换矩阵后的理论配准点坐标。该指标能客观反映配准算法的匹配精度高，其值越小，配准精度越高。图3中针对图像边缘点配准的RMSE达到了6.89，且正确配准点占比为87.2％，配准点在图像上的分布离散程度也非常全面，图4中的RMSE为8.41，且正确配准点占比为77.5％。说明本发明对异源图像的边缘检测和配准具有准确性高的特点，具备一定的可行性。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (3)

1.一种异源图像边缘点检测与配准方法，其特征在于包括以下步骤：

步骤一、针对待配准的红外和可见光图像，计算图像的灰度梯度值和梯度方向。

步骤二、通过领域检测法进行初步的筛选，将各个像素点的梯度值与领域内相关像素点的梯度对比因子做对比，筛选出边缘候选点，形成边缘候选点矩阵。

步骤三：在边缘候选点的基础上，通过边缘相关度检测精确提取出强边缘点，作为真实边缘点。

步骤四、使用近邻匹配和双边算法对红外图像和可见光图像开展边缘点配准，获取配准点集。

2.根据权利要求1所述的异源图像边缘点检测与配准方法，其特征在于步骤二，通过领域检测法进行初步的筛选，将各个像素点的梯度值与领域内相关像素点的梯度对比因子做对比，筛选出边缘候选点，形成边缘候选点矩阵。

逐一检测各个像素点的3×3邻域，将像素点的梯度值与其领域内梯度方向上相关像素点的梯度值做对比，提取边缘候选点。

令待检测的像素点的梯度值为G_p，则该像素点的领域内在其梯度方向θ_p上相关像素点的值为G₁,G₂,G₃,G₄，如图2所示。

将待检测像素点的梯度值与相关像素点梯度值作对比，令

和

为正负方向的对比因子，公式如下

G_p-＝G₃tanθ_p+G₄(1-tanθ_p)

G_p+＝G₂tanθ_p+G₁(1-tanθ_p)

当

或

时，将像素点G_p作为边缘候选点，将边缘候选点的梯度值G_p与对比因子共同组成边缘候选点矩阵

遍历整张图像的边缘候选点，其提取出所有的边缘候选点矩阵。

3.根据权利要求1所述的异源图像边缘点检测与配准方法，其特征在于步骤三，在边缘候选点的基础上，通过边缘相关度检测精确提取出强边缘点，作为真实边缘点。

令红外图像的边缘点候选矩阵集合为E_h＝(E_h1,E_h2,E_h3,...,E_hn)，可见光图像的边缘点候选矩阵集合为E_l＝(E_l1,E_l2,E_l3,...,E_ln)。

定义对应边缘点候选矩阵之间的边缘相关度为EC_t，其中t＝1,2,...,n。

其中

和

分别为矩阵E_ht、E_lt的元素之和的平均值，M×N为矩阵维度。EC_t取值范围为[-1,1]，该参数可以有效判定两幅边缘图像的相似程度，边缘图像相似度越高，EC_t越大；当两幅边缘图像完全重叠时，EC_t为1；当边缘图像相似度很低时，EC_t越接近0。因此，判定阈值C，当EC_t>C时，将该边缘点提取出来，作为真实边缘点，本发明中C＝0.85。

最终得到红外图像和可见光图像真实边缘点的集合为F_h＝(F_h1,F_h2,F_h3,...,F_hm)和F_l＝(F_l1,F_l2,F_l3,...,F_lm)，其中m<n。

Images