CN114092531A - 一种红外-可见光图像配准方法及*** - Google Patents

一种红外-可见光图像配准方法及*** Download PDF

Info

Publication number
CN114092531A
CN114092531A CN202111265608.3A CN202111265608A CN114092531A CN 114092531 A CN114092531 A CN 114092531A CN 202111265608 A CN202111265608 A CN 202111265608A CN 114092531 A CN114092531 A CN 114092531A
Authority
CN
China
Prior art keywords
image
infrared
visible light
light image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111265608.3A
Other languages
English (en)
Inventor
林颖
白德盟
刘萌
张峰达
李壮壮
杨祎
刘晓东
郑文杰
李程启
张围围
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111265608.3A priority Critical patent/CN114092531A/zh
Publication of CN114092531A publication Critical patent/CN114092531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种红外‑可见光图像配准方法及***，包括：获取红外图像与可见光图像；利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外‑可见光图像配准；经过本公开中的方法，可以实现相比传统方法更准确的红外图像与可见光图像的配准；并且，对于不同角度拍摄的不同图像，均能得到准确的配准结果。

Description

一种红外-可见光图像配准方法及***
技术领域
本公开属于图像处理技术领域，尤其涉及一种红外-可见光图像配准方法及***。
背景技术
由于红外与可见光镜头所在位置不同，并且两者的焦距、图像分辨率及畸变参数等不同，同一红外热像仪采集的两种模态图像之间不可避免地存在偏移、缩放等形变问题。将红外图像与可见光图像进行融合分析，首先需要对两种模态的图像进行准确配准；配准过程一般包括角点提取、特征计算以及特征匹配。
本公开发明人发现，传统的角点提取和特征计算方法诸如尺度不变特征变换(Scale-invariant feature transform，SIFT)虽然具有较好的尺度与旋转不变性，对单模态图像中的视角变化等亦具有一定的鲁棒性，但对红外与可见光等不同模态的变化，往往不够鲁棒；传统的k-d树最近邻查询算法(Best Bin First，BBF)特征匹配方法在匹配时孤立地处理每个特征点，而忽视了邻近特征点的上下文信息，亦容易导致匹配错误。
发明内容
本公开为了解决上述问题，提出了一种红外-可见光图像配准方法及***；本公开采用基于深度自监督学习的SuperPoint特征点提取与描述子提取方法，并采用基于深度图卷积的SuperGlue匹配方法，最后采用渐近采样一致性的渐进一致采样(PROgressiveSAmple Consensus，PROSAC)方法对红外与可见光图像间的变换参数进行估计，实现了红外图像与可见光图像的配准融合；经过本公开中的方法，可以实现相比传统方法更准确的红外图像与可见光图像的配准；并且，对于不同角度拍摄的不同图像，均能得到准确的配准结果。
第一方面，本公开提供了一种红外-可见光图像配准方法，包括：
获取红外图像与可见光图像；
利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；
利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；
根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外-可见光图像配准。
进一步的，自监督学习网络的学习过程为：
构建包含三角形、四边形、立方体、和棋盘格形状的合成图像集，获取角点信息；
对图像随机进行单应变换，并加噪处理，获得变换后图像中的特征点位置；
利用变换后的图像及其角点信息，对自监督学习网络进行监督，学习得到具有获取红外图像与可见光图像特征点提取能力的自监督学习网络。
进一步的，所述深度图卷积网络包括注意力图卷积网络和优化匹配层；
所述注意力图卷积网络的输入为一对图像的特征点位置与描述向量的集合，输出空间信息聚合后的特征描述符；所述优化匹配层的输入为注意力图卷积网络输出的特征描述符，输出匹配结果。
进一步的，在注意力图卷积网络中，首先，将特征点的位置进行升维，升维后的特征点位置和描述向量与特征描述符向量相加，得到每个特征点的初始表示；然后，构建一个多元图；所述多元图的顶点为两幅图像中的所有特征点，边包括图像内边和跨图像边；所述图像内边连接单幅图像内的特征点对，所述跨图像边连接来源于两幅图像的特征点对；
构建多元图后，对构建的多元图中所有顶点的特征进行消息汇聚与更新。
进一步的，所述优化匹配层根据更新后的特征，计算一个相似度矩阵，矩阵中的每个单元表示的是两个图像中的特征的相似度；
当一幅图像中的特征点在另一幅图像中不存在匹配的特征点时，将矩阵进行扩展，扩展后矩阵新增的一行与一列用来描述特征点不存在匹配的情况。
进一步的，在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐标计算图像间的变换参数；其中，对所有匹配点对进行质量评价，得到Q值，根据Q值降序排列，每次迭代根据Q值降序排列结果时进行随机采样，进行模型假设与验证。
进一步的，依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
第二方面，本公开还提供了一种红外-可见光图像配准***，包括图像采集模块、特征点提取模块、特征点匹配模块、变换参数计算模块和图像配准模块；
所述图像采集模块，被配置为：获取红外图像与可见光图像；
所述特征点提取模块，被配置为：利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；
所述特征点匹配模块，被配置为：利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；
所述变换参数计算模块，被配置为：根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
所述图像配准模块，被配置为：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外-可见光图像配准。
第三方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面中所述的红外-可见光图像配准方法中的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面中所述的红外-可见光图像配准中的步骤。
与现有技术相比，本公开的有益效果为：
1.本公开中在利用自监督学习网络提取特征点、利用深度图卷积网络进行特征点匹配以及利用渐进一致采样算法得到变换参数的基础上，实现的红外-可见光图像配准，配准结果更为准确，实现了红外图像和可见光图像更为有效的匹配。
2.本公开相对于传统的图像配准方法，一方面通过基于深度自监督的SuperPoint可以提取到更可靠的特征点和描述子，另一方面基于深度图卷积网络的SuperGlue特征匹配方法有效利用了特征点位置信息和上下文信息，实现了更有效的匹配；在此基础上，采用的渐近采样一致性方法，可以得到更准确的变换参数估计结果，并且，对于不同角度拍摄的图像，均能得到准确的配准结果。
附图说明
构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
图1为本公开实施例1的流程图；
图2为本公开实施例2的SuperPoint特征提取与描述网络示意图；
图3为本公开实施例2的红外图像经过SuperPoint特征点提取的效果图；
图4为本公开实施例2的可见光图像经过SuperPoint特征点提取效果图；
图5为本公开实施例2的SuperGlue特征匹配网络示意图；
图6为本公开实施例2的红外图像和可见光图像经SuperGlue特征点匹配的效果图；
图7为本公开实施例2的最终融合图像效果图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
当前大多数红外热像仪可同时采集红外图像与可见光图像；红外图像记录的是物体的辐射信息，能够直接反映变电设备及环境的温度，却难以区分具有相近温度的设备部件；可见光图像记录的是物体的反射信息，能够清晰地呈现设备的外观及轮廓；因此，将红外图像与可见光图像进行融合分析，可以有效利用两种模态的优点，从而提高设备定位的精度和缺陷诊断的准确度，下面通过实施例来介绍本公开中涉及的红外图像与可见光图像进行融合的方法。
实施例1：
如图1所示，本实施例提供了一种红外-可见光图像配准方法，包括：
获取红外图像与可见光图像；
利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；
利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；
根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外-可见光图像配准。
在本实施例中，自监督学习网络的学习过程为：
构建包含三角形、四边形、立方体、和棋盘格形状的合成图像集，获取角点信息；
对图像随机进行单应变换，并加噪处理，获得变换后图像中的特征点位置；
利用变换后的图像及其角点信息，对自监督学习网络进行监督，学习得到具有获取红外图像与可见光图像特征点提取能力的自监督学习网络。
在本实施例中，所述深度图卷积网络包括注意力图卷积网络和优化匹配层；所述注意力图卷积网络的输入为一对图像的特征点位置与描述向量的集合，输出空间信息聚合后的特征描述符；所述优化匹配层的输入为注意力图卷积网络输出的特征描述符，输出匹配结果。
在本实施例中，在注意力图卷积网络中，首先，将特征点的位置进行升维，升维后的特征点位置和描述向量与特征描述符向量相加，得到每个特征点的初始表示；然后，构建一个多元图；所述多元图的顶点为两幅图像中的所有特征点，边包括图像内边和跨图像边；所述图像内边连接单幅图像内的特征点对，所述跨图像边连接来源于两幅图像的特征点对；
构建多元图后，对构建的多元图中所有顶点的特征进行消息汇聚与更新。
在本实施例中，所述优化匹配层根据更新后的特征，计算一个相似度矩阵，矩阵中的每个单元表示的是两个图像中的特征的相似度；
当一幅图像中的特征点在另一幅图像中不存在匹配的特征点时，将矩阵进行扩展，扩展后矩阵新增的一行与一列用来描述特征点不存在匹配的情况。
在本实施例中，在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐标计算图像间的变换参数；其中，对所有匹配点对进行质量评价，得到Q值，根据Q值降序排列，每次迭代根据Q值降序排列结果时进行随机采样，进行模型假设与验证。
在本实施例中，依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
实施例2：
本实施例提供了一种红外-可见光图像配准方法，通过将方法在变电设备的图像中的应用，对红外-可见光图像配准方法进行详述；具体方案如下：
首先，获取变电设备的红外图像和可见光图像，具体的，采用现有技术进行图像采集。
在本实施例中，利用深度自监督学习的SuperPoint方法，对获取的红外图像和可见光图像进行稀疏特征点提取，并对特征点进行描述；
鉴于人工设计的点特征提取与描述方法如SIFT和SURF(Speeded Up RobustFeatures)等对模态的变化缺乏鲁棒性，本实施例中，采用基于深度学习的SuperPoint方法对红外与可见光两种不同模态图像进行特征点提取与描述。
如图2所示，本实施例中的SuperPoint特征提取与描述网络由一个编码器和两个解码器构成；所述编码器是一个类似VGGNet的卷积网络，包含多个卷积层和池化层，用于对尺寸为W×H的输入图像进行编码；两个解码器则分别用于特征点提取和特征点描述；其中，特征点提取解码器由卷积层、Softmax层和Reshape层构成，输出一张W×H×1的图像，其中每个像素的值表示该像素是特征点的概率；特征描述解码器由卷积层、双线性插值层和L2模归一化层构成，最后输出一张W×H×D的特征图，其中每个像素对应一个D维的特征向量。
由于特征点的真值难以进行人工标注，本实施例中设计了一种不需要真值的自监督学习策略；具体为：首先，构建一个包含三角形、四边形、立方体、和棋盘格等简单形状的合成图像集，这些图像具有明确的角点信息；然后，对图像随机进行多种单应变换并加噪处理；由于这些单应变换是仿真生成的，所以变换后图像中的特征点位置可以准确获得；最后，利用各种仿真图像及其角点信息，对特征提取网络进行监督，学习得到SuperPoint网络；本实施例中，提取特征点的结果如图3和4所示：
在本实施例中，利用深度图卷积网络的SuperGlue方法对红外图像与可见光图像中的稀疏特征点进行匹配；鉴于现有的特征匹配方法多是对每个特征点独立匹配因此易导致错误的问题，本实施例中，采用基于深度图神经网络的SuperGlue方法，利用特征点之间的空间几何关系，提升特征匹配的准确度。
本实施例中采用的基于深度图神经网络的结构如图5所示，主要由注意力图卷积网络和优化匹配层两个模块构成；其中，所述注意力图卷积网络的输入为一对图像的特征点位置与描述向量的集合，输出空间信息聚合后的特征描述符，所述优化匹配层的输入为注意力图卷积网络输出的特征描述符，输出匹配结果。
假设红外图像与可见光图像分别为图像A和图像B，图像A和图像B的特征点总数分别为M和N；图像A中的特征点位置和描述向量记为：
Figure BDA0003326869470000091
和
Figure BDA0003326869470000092
图像B中的特征点位置和描述向量记为：
Figure BDA0003326869470000093
和
Figure BDA0003326869470000094
在注意力图卷积网络中，首先，将特征点的位置经过一个由多层感知器(MLP)构成的特征点编码器进行升维，得到高维向量后与特征描述符向量进行相加，得到每个特征点的初始表示；即：
(0)xi＝di+MLPenc(pi) (1)
然后，构建一个多元图；该图的顶点为两幅图像中的所有特征点，边则包含图像内边和跨图像边两类；其中，图像内边连接的是单幅图像内的特征点对，而跨图像边则连接来源于两幅图像的特征点对；构建图后，利用消息传递机制对图中所有顶点的特征进行消息汇聚与更新；其更新方式如下式：
Figure BDA0003326869470000101
其中，[·||·]表示联结，mε→i为通过自注意力机制从图中所有其它节点传递到节点i的信息。通过信息聚合更新后，得到每个特征点的描述向量：
Figure BDA0003326869470000102
由此，每个特征向量汇聚了其所在图像内所有特征点和另一图像中所有特征点的空间和描述信息；其中，W·(L)为L轮迭代后深度图卷积网络的权重，b为偏置参数。
优化匹配层根据更新后的特征，计算一个M×N的相似度矩阵S，矩阵中的每个单元(i,j)表示的是图像A中的特征
Figure BDA0003326869470000103
和图像B中的特征
Figure BDA0003326869470000104
的相似度，即：
Figure BDA0003326869470000105
由于遮挡或视野范围不同等原因，一幅图像中的特征点在另一幅图像中可能不存在匹配的特征点；为此，将矩阵S扩展为(M+1)×(N+1)的矩阵
Figure BDA0003326869470000106
其中新增的一行与一列用来描述特征点不存在匹配的情况，即：
Figure BDA0003326869470000107
随即，特征点匹配的问题转化为了一个最优运输的问题，可利用Sinkhorn算法进行求解。由于Sinkhorn算法具有可导性，因此可以用一个网络层实现。
本实施例中，使用SuperGlue模块，得到的特征点匹配结果如图6所示。
在本实施例中，根据匹配的特征点对在两幅图像中的像素坐标，利用渐近采样一致性PROSAC算法估计红外图像到可见光图像的变换参数。
具体为：在得到红外图像与可见光图像中匹配的特征点对后，本实施例中，根据特征点对所在的像素坐标，估算图像间的变换参数；由于红外镜头和可见光镜头之间的偏移相对拍摄的物体距离来说很小，因此可近似为共光心，利用单应性变换矩阵H，将红外图像变换到可见光图像的坐标系下；在齐次坐标系下，两幅图像中的像素坐标变换可表示为以下关系：
Figure BDA0003326869470000111
其中，单应性变换矩阵H中的h33＝1。所以，变换矩阵的参数自由度为8，可利用四对或以上的特征点对进行估计。
由于存在匹配噪声甚至错误匹配的外点，因此常用最小二乘法或RANSAC方法等进行参数估计；然而，在RANSAC中，每对特征点对同等对待，并且从整个特征点对的集合中随机选取样本，存在估算结果的随机性且收敛速度偏慢等问题。为此，本实施例中，采用PROSAC算法进行变换参数的估计。
本实施例中，PROSAC算法设计了一种半随机的方法，对所有匹配点对进行质量评价计算得到Q值，然后根据Q值降序排列，每次迭代优先在高质量点对中进行随机采样，进行模型假设与验证，从而降低算法复杂度，提升效率，并且避免了RANSAC随机算法面临的无法保证收敛的情况。
在本实施例中，根据变换参数，将红外图像的坐标变换到可见光图像坐标系下，实现配准。
具体的，在计算出变换模型后，将红外图像的坐标变换到可见光图像的坐标系下，然后按照对应位置像素取平均值，得到最终的融合图像，如图7所示。
本实施例鉴于红外与可见光两种模态的差异性，采用基于深度自监督的SuperPoint特征点提取和描述子计算、基于深度图卷积网络的SuperGlue特征匹配方法以及渐进一致采样算法，实现了红外图像与可将光图像的匹配，可以实现相比传统方法更准确的红外图像与可见光图像的配准，并且，对于不同角度拍摄的不同变电设备的图像，均能得到准确的配准结果。
实施例3：
本实施例提供了一种红外-可见光图像配准***，包括图像采集模块、特征点提取模块、特征点匹配模块、变换参数计算模块和图像配准模块；
所述图像采集模块，被配置为：获取红外图像与可见光图像；
所述特征点提取模块，被配置为：利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；
所述特征点匹配模块，被配置为：利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；
所述变换参数计算模块，被配置为：根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
所述图像配准模块，被配置为：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外-可见光图像配准。
实施例:4：
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的红外-可见光图像配准方法中的步骤。
实施例5：
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的红外-可见光图像配准方法中的步骤。
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims (10)

1.一种红外-可见光图像配准方法，其特征在于，包括：
获取红外图像与可见光图像；
利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；
利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；
根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外-可见光图像配准。
2.如权利要求1所述的一种红外-可见光图像配准方法，其特征在于，自监督学习网络的学习过程为：
构建包含三角形、四边形、立方体、和棋盘格形状的合成图像集，获取角点信息；
对图像随机进行单应变换，并加噪处理，获得变换后图像中的特征点位置；
利用变换后的图像及其角点信息，对自监督学习网络进行监督，学习得到具有获取红外图像与可见光图像特征点提取能力的自监督学习网络。
3.如权利要求1所述的一种红外-可见光图像配准方法，其特征在于，所述深度图卷积网络包括注意力图卷积网络和优化匹配层；
所述注意力图卷积网络的输入为一对图像的特征点位置与描述向量的集合，输出空间信息聚合后的特征描述符；所述优化匹配层的输入为注意力图卷积网络输出的特征描述符，输出匹配结果。
4.如权利要求3所述的一种红外-可见光图像配准方法，其特征在于，在注意力图卷积网络中，首先，将特征点的位置进行升维，升维后的特征点位置和描述向量与特征描述符向量相加，得到每个特征点的初始表示；然后，构建一个多元图；所述多元图的顶点为两幅图像中的所有特征点，边包括图像内边和跨图像边；所述图像内边连接单幅图像内的特征点对，所述跨图像边连接来源于两幅图像的特征点对；
构建多元图后，对构建的多元图中所有顶点的特征进行消息汇聚与更新。
5.如权利要求4所述的一种红外-可见光图像配准方法，其特征在于，所述优化匹配层根据更新后的特征，计算一个相似度矩阵，矩阵中的每个单元表示的是两个图像中的特征的相似度；
当一幅图像中的特征点在另一幅图像中不存在匹配的特征点时，将矩阵进行扩展，扩展后矩阵新增的一行与一列用来描述特征点不存在匹配的情况。
6.如权利要求1所述的一种红外-可见光图像配准方法，其特征在于，在得到红外图像与可见光图像中匹配的特征点对后，根据特征点对所在的像素坐标计算图像间的变换参数；其中，对所有匹配点对进行质量评价，得到Q值，根据Q值降序排列，每次迭代根据Q值降序排列结果时进行随机采样，进行模型假设与验证。
7.如权利要求1所述的一种红外-可见光图像配准方法，其特征在于，依据变换参数，将红外图像的坐标变换到可见光图像的坐标系下，按照对应位置像素取平均值，得到最终的融合图像。
8.一种红外-可见光图像配准***，其特征在于，包括图像采集模块、特征点提取模块、特征点匹配模块、变换参数计算模块和图像配准模块；
所述图像采集模块，被配置为：获取红外图像与可见光图像；
所述特征点提取模块，被配置为：利用自监督学习网络，对获取的红外图像与可见光图像进行特征点提取，并对特征点进行描述；
所述特征点匹配模块，被配置为：利用深度图卷积网络，对红外图像与可见光图像中的特征点进行匹配；
所述变换参数计算模块，被配置为：根据匹配的特征点对在两幅图像中的像素坐标，利用渐进一致采样算法，得到红外图像到可见光图像的变换参数；
所述图像配准模块，被配置为：根据所述变换参数，将红外图像的坐标变换到可见光图像坐标系下，红外-可见光图像配准。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的红外-可见光图像配准方法中的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现了如权利要求1-7任一项所述的红外-可见光图像配准法中的步骤。
CN202111265608.3A 2021-10-28 2021-10-28 一种红外-可见光图像配准方法及*** Pending CN114092531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111265608.3A CN114092531A (zh) 2021-10-28 2021-10-28 一种红外-可见光图像配准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111265608.3A CN114092531A (zh) 2021-10-28 2021-10-28 一种红外-可见光图像配准方法及***

Publications (1)

Publication Number Publication Date
CN114092531A true CN114092531A (zh) 2022-02-25

Family

ID=80298091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111265608.3A Pending CN114092531A (zh) 2021-10-28 2021-10-28 一种红外-可见光图像配准方法及***

Country Status (1)

Country Link
CN (1) CN114092531A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612698A (zh) * 2022-02-28 2022-06-10 国网山东省电力公司电力科学研究院 一种基于层级匹配的红外与可见光图像配准方法及***
CN114648564A (zh) * 2022-05-23 2022-06-21 四川大学 用于非稳态目标的可见光和红外图像优化配准方法及***
CN115578620A (zh) * 2022-10-28 2023-01-06 北京理工大学 一种点线面多维特征-可见光融合slam方法
CN117152218A (zh) * 2023-08-08 2023-12-01 正泰集团研发中心(上海)有限公司 图像配准方法、装置、计算机设备和可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612698A (zh) * 2022-02-28 2022-06-10 国网山东省电力公司电力科学研究院 一种基于层级匹配的红外与可见光图像配准方法及***
CN114648564A (zh) * 2022-05-23 2022-06-21 四川大学 用于非稳态目标的可见光和红外图像优化配准方法及***
CN115578620A (zh) * 2022-10-28 2023-01-06 北京理工大学 一种点线面多维特征-可见光融合slam方法
CN117152218A (zh) * 2023-08-08 2023-12-01 正泰集团研发中心(上海)有限公司 图像配准方法、装置、计算机设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN114092531A (zh) 一种红外-可见光图像配准方法及***
Ma et al. Robust point matching via vector field consensus
CN109903299B (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
CN106991695A (zh) 一种图像配准方法及装置
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN113160287B (zh) 一种基于特征融合的复杂构件点云拼接方法及***
CN111524168A (zh) 点云数据的配准方法、***、装置及计算机存储介质
CN113012208B (zh) 多视角遥感图像配准方法及***
Hu et al. Efficient and automatic plane detection approach for 3-D rock mass point clouds
Li et al. Coarse-to-fine PatchMatch for dense correspondence
CN116129037B (zh) 视触觉传感器及其三维重建方法、***、设备及存储介质
CN104615880B (zh) 一种三维激光雷达点云匹配的快速icp方法
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
CN113450396A (zh) 基于骨骼特征的三维/二维图像配准方法及装置
CN114612698A (zh) 一种基于层级匹配的红外与可见光图像配准方法及***
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN116862955A (zh) 一种植物图像的三维配准方法、***及设备
Dong et al. Probability driven approach for point cloud registration of indoor scene
CN114118181B (zh) 一种高维回归点云配准方法、***、计算机设备及应用
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114120013A (zh) 一种红外与rgb跨模态特征点匹配方法
CN117372480A (zh) 一种利用自适应下采样与曲率增强点对特征的点云配准方法
Santellani et al. S-TREK: Sequential Translation and Rotation Equivariant Keypoints for local feature extraction
KR20230140530A (ko) 이미지 간 대응관계를 식별하기 위한 피라미드 및 고유성 매칭 프라이어들을 사용하는 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination