CN116416289A - 基于深度曲线学习的多模图像配准方法、***及介质 - Google Patents

Abstract

本发明公开了一种基于深度曲线学习的多模图像配准方法、***及介质，本发明方法包括将待配准图像、参考图像输入完成训练的多模图像配准网络：利用特征提取单元将堆叠后的待配准图像和参考图像进行特征提取得到特征F；利用全局约束子网络基于特征F，回归得到全局仿射变换参数A并将待配准图像的初始坐标映射为全局约束网格坐标G₀；利用前向深度曲线学习的图像坐标估计子网络，结合G₀获取准确的图像像素坐标G₁；基于图像像素坐标G₁对待配准图像进行重采样得到配准图像。本发明能够配准具有辐射和几何畸变的多分辨率、多尺度等多种模态的图像，实现多模图像的准确配准，可为图像准确融合、目标精确检测识别提供可靠支撑。

Description

基于深度曲线学习的多模图像配准方法、***及介质

技术领域

本发明涉及图像处理领域的图像配准技术，具体涉及一种基于深度曲线学习的多模图像配准方法、***及介质。

背景技术

多模图像配准指用不同机理的成像设备获取的两幅或多幅图像由不同坐标系变换到同一坐标系中，使得两幅图像空间对齐的过程。现代科学技术推进了日益迫切的准确化和精细化的发展要求，而单模态的图像无法对目标进行充分和准确的表述，因此，融合多模态图像的优势实现目标的精确化表示，在民用领域，如自动驾驶、资源普查、农作物病虫害和生长状况监测、自然灾害监测等，和国防军事领域，如军事侦察、导弹制导等领域发挥支撑作用。图像配准是图像处理领域的一个基础且重要的问题，直接影响图像融合、目标检测识别等的精度。然而，受限于拍摄条件及成像机理等导致的辐射差异大、几何畸变、多视场、多尺度、多时相、多分辨率等问题对当前的基于深度学习图像配准方法提出了严峻的挑战。因此，解决多模图像的准确配准难题具有重要的研究意义与应用价值。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于深度曲线学习的多模图像配准方法、***及介质，本发明能够配准具有辐射和几何畸变的多分辨率、多尺度等多种模态的图像，实现多模图像的准确配准，可为图像准确融合、目标精确检测识别提供可靠支撑，可应用于资源普查、农作物病虫害和生长状况监测、自然灾害监测、军事侦察等应用领域，具有广泛的应用优势。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于深度曲线学习的多模图像配准方法，包括将待配准图像、参考图像输入完成训练的多模图像配准网络，所述多模图像配准网络对待配准图像的处理包括：

S101，利用特征提取单元将堆叠后的待配准图像和参考图像进行特征提取得到特征F；

S102，利用全局约束子网络基于特征F，回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标

；

S103，利用前向深度曲线学习的图像坐标估计子网络，结合全局约束子网络输出的全局约束网格坐标

获取准确的图像像素坐标G₁；

S104，基于图像像素坐标G₁对待配准图像进行图像重采样得到最终的配准图像

。

可选地，所述前向深度曲线学习的图像坐标估计子网络包括依次级联的一个第六神经网络层、一个或多个第七神经网络层、一个第八神经网络层、一个特征拆分层以及一个曲线学习的逐像素坐标估计层；所述第六神经网络层用于对输入的特征F进行提取特征，包括依次相连的卷积模块和ReLU激活模块；所述第七神经网络层对提取的特征进一步提取特征并获得部分曲线系数，包括依次相连的卷积模块和ReLU激活模块；所述第八神经网络层用于提取三维特征并将三维特征归到[-1,1]区间，包含依次相连的卷积模块和Tanh激活模块；所述特征拆分层用于对提取的三维特征拆分成二维特征并得到曲线系数，包括Λ_x ¹,Λ_y ¹Λ_x ², Λ_y ²…Λ_x ^k, Λ_y ^k；Γ_x ¹, Γ_y ¹, Γ_x ², Γ_y ²…Γ_x ^k,Γ_y ^k），其中Λ_x ¹～Λ_x ^k和Γ_x ¹～Γ_x ^k分别为坐标值X'的第1～k阶多项式曲线的系数，Λ_y ¹～Λ_y ^k和Γ_y ¹～Γ_y ^k分别为坐标值Y'第1～k阶多项式曲线的系数，其中k为曲线阶次；所述曲线网络学习的逐像素坐标估计层用于结合全局约束网格坐标G₀，并通过前向高阶逐像素曲线网络获取准确的图像像素坐标G₁，其计算函数表达式为：

G₁=(L^k(X'),L^k(Y'))；

上式中，G₀=[X',Y']为全局约束网格，L^k(X')和L^k(Y')为第k阶的中间变量，且有：

L^k(X')= Λ_x ^k(L^k-1(X')) X'+ Γ_x ^k，

L^k(Y')= Λ_y ^k(L^k-1(Y')) Y' +Γ_y ^k，

…

L¹(X')= Λ_x ¹X'+Γ_y ¹，

L¹(Y')=Λ_y ¹Y'+Γ_y ¹，

其中，L^k-1(X')和L^k-1(Y')为第k-1阶的中间变量。

可选地，所述全局约束子网络包括依次相连的多个第五神经网络层、一个自适应平均池化层、两个全连接层、参数回归层以及网格坐标变换层；所述第五神经网络层包括依次相连的卷积模块、批归一化模块、激活模块以及池化模块；所述参数回归层用于将最后一个全连接层输出的特征进行参数回归得到待配准图像相对于参考图像的全局仿射变换参数A；所述网格坐标变换层用于利用全局仿射变换参数A将待配准图像的初始网格坐标映射为全局约束网格坐标G₀。

可选地，所述将最后一个全连接层输出的特征进行参数回归的函数表达式为：

A=1/6*(A₀+A₁+A₂+A₃+A₄+A₅)

上式中，A₀～A₅分别为索引为0～5的仿射参数，且有任意索引为i的仿射参数A_i的函数表达式为：A_i=F(.)，其中F(.)为对为最后一个全连接层输出的特征采用维度变换函数F计算结果，所述维度变换函数F用于将维度为36×1的矩阵变为6×2×3矩阵；

所述利用全局仿射变换参数A将待配准图像的初始网格坐标映射为全局约束网格坐标G₀的函数表达式为：

[X',Y']=([X,Y]A)_[1:2]

上式中，[X,Y]为待配准图像的初始坐标，[X',Y']为输出的全局约束网格坐标G₀，[1:2]表示取矩阵的前两维数据。

可选地，所述特征提取单元包括依次级联连接的多个第一神经网络层、多个第二神经网络层、上采样层以及多个第四神经网络层；所述第一神经网络层用于提取特征，包括依次相连的卷积模块和激活模块；所述第二神经网络层用于提取特征并减小特征尺寸，包括依次相连的卷积模块、激活模块以及平均池化模块，所述上采样层用于增大提取特征的尺寸，所述第四神经网络层用于提取特征并增大特征尺寸并与第二神经网络层的特征进行拼接得到所需输出的特征，所述第二神经网络层和第四神经网络层两者一一对应，所述第四神经网络层包括依次相连的卷积模块、激活模块、上采样模块和特征堆叠模块，所述卷积模块、激活模块、上采样模块和特征拼接模块依次相连，且所述特征拼接模块的两路输入中的一路与上采样模块的输出端相连、另一路与对应的第二神经网络层的输出端相连。

可选地，步骤S101中利用图像拼接模块将输入的待配准图像和参考图像堆叠之前还包括检查待配准图像、参考图像的大小，若待配准图像、参考图像的大小不同，则利用图像缩放模块将输入的待配准图像缩放至与参考图像相同大小。

可选地，所述多模图像配准网络的训练步骤包括：

S201，利用图像拼接模块将输入的待配准图像样本和参考图像样本堆叠；

S202，利用特征提取单元将堆叠得到的图像后进行特征提取得到特征F；

S203，利用全局约束子网络基于特征F回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标G₀；

S204，利用前向深度曲线学习的图像坐标估计子网络基于特征F结合全局约束子网络输出的全局约束网格坐标G₀获取准确的图像像素坐标G₁；

S205，基于图像像素坐标G₁对待配准图像进行图像重采样得到最终的配准图像

；

S206，利用与前向深度曲线学习的图像坐标估计子网络的结构完全相同的反向深度曲线学习的图像坐标估计子网络，将最终的配准图像

代替输入的特征F、图像像素坐标G₁代替输入的全局约束网格坐标G₀获取重建的待配准图像/>

；

S207，采用指定的损失函数优化多模图像配准网络的网络参数直至损失函数或者迭代次数满足要求，否则返回执行步骤S201继续迭代；所述损失函数的函数表达式为：

，

上式中，L为损失函数，

为不完全配准的样本标签与已配准图像之间的像素均方误差，/>

表示基于最大索引图的归一化互相关损失函数，/>

为对比损失函数，且有：

，

，

上式中，W和H分别为参考图像的宽和高，I_r代表参考图像的最大索引图，I_r(i,j)为最大索引图中坐标(i,j)的像素值，

为参考图像的最大索引图的均值，/>

(i,j)为参考图像的最大索引图的均值中坐标(i,j)的像素值，/>

为配准图像的最大索引图，/>

(i,j)为配准图像的最大索引图中坐标(i,j)的像素值，/>

为配准图像的最大索引图的均值，/>

(i,j)为配准图像的最大索引图的均值中坐标(i,j)的像素值；/>

为损失期望，Ω表示整个训练集，KL指KL散度，/>

为通过前向深度曲线学习的图像坐标估计子网络得到的最终的配准图像/>

与参考图像的匹配概率，/>

为通过反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

与参考图像的匹配概率；/>

为配准图像与参考图像完全配准的概率，/>

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

与待配准图像完全配准的概率。

可选地，所述匹配概率的计算函数表达式为：

，

，

上式中，Sigmoid表示Sigmoid激活函数，s为余弦相似性，D_r为参考图像的描述符，

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

的描述符，D_m为待配准图像的描述符，/>

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

的描述符，所述描述符是指用于描述特征点的特征向量。

此外，本发明还提供一种基于深度曲线学习的多模图像配准***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于深度曲线学习的多模图像配准方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于深度曲线学习的多模图像配准方法。

和现有技术相比，本发明主要具有下述优点：

1、由于多模成像机理不同和拍摄环境差异化等因素，使得获取的图像具有几何畸变、多视场、多尺度、多时相、多分辨率等特点，而且辐射反射特性使得图像中的同一目标表现出不同的特性；此外，基于深度学习的参数回归和位移场配准方法在解决局部畸变和大变形问题时受限，针对以上难题，本发明采用的多模图像配准网络可通过构建的深度曲线学习网络解决图像的大变形和局部畸变问题，实现多模图像的鲁棒、准确的配准，本发明能够实现多模图像的准确配准，可为图像准确融合、目标精确检测识别提供可靠支撑。

2、在实际应用中图像配准直接影响视觉定位、图像融合、变化检测、图像拼接等后续计算机视觉任务的精度和效果。本发明方法可应用于资源普查、农作物病虫害和生长状况监测、自然灾害监测、军事侦察等应用领域，具有广泛的应用优势。

3、本发明能够配准具有辐射和几何畸变的多分辨率、多尺度等的图像，可适用于多种模态的图像之间的配准，例如全色-多光谱、可见光-SAR、可见光-红外、可见光-地图图像等图像对之间的配准，具有兼容性好、通用性强的优点。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例中采用的多模图像配准网络的结构示意图。

图3为本发明实施例中特征提取单元及其前置部分的网络结构示意图。

图4为本发明实施例中全局约束子网络的网络结构示意图。

图5为本发明实施例中深度曲线学习的图像坐标估计子网络的网络结构示意图。

图6为本发明实施例方法还建模及训练过程的完整流程示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细描述，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本实施例基于深度曲线学习的多模图像配准方法包括将待配准图像、参考图像输入完成训练的多模图像配准网络，所述多模图像配准网络对待配准图像的处理包括：

S101，利用特征提取单元将堆叠后的待配准图像和参考图像进行特征提取得到特征F；

S102，利用全局约束子网络基于特征F，回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标

；

S103，利用前向深度曲线学习的图像坐标估计子网络，结合全局约束子网络输出的全局约束网格坐标

获取准确的图像像素坐标G₁；

S104，基于图像像素坐标G₁对待配准图像进行图像重采样得到最终的配准图像

。

作为一种可选的实施方式，如图2和图3所示，步骤S101中利用图像拼接模块将输入的待配准图像和参考图像堆叠之前还包括检查待配准图像、参考图像的大小，若待配准图像、参考图像的大小不同，则利用图像缩放模块将输入的待配准图像缩放至与参考图像相同大小。

如图2所示，本实施例中步骤S101中进行特征提取为采用特征提取单元实现，步骤S102中基于特征F回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标G₀为采用全局约束子网络实现，步骤S102中基于特征F，结合全局约束网络，并通过前向高阶逐像素曲线网络获取准确的图像像素坐标G₁为通过前向深度曲线学习的图像坐标估计子网络实现，所述特征提取单元、全局约束子网络以及前向和前向深度曲线学习的图像坐标估计子网络共同构成了端到端的多模图像配准网络。

如图3所示，本实施例中的特征提取单元包括依次级联连接的多个第一神经网络层、多个第二神经网络层、上采样层以及多个第四神经网络层；第一神经网络层用于提取特征，包括依次相连的卷积模块和激活模块（图3中表示为卷积+激活）；第二神经网络层用于提取特征并减小特征尺寸，包括依次相连的卷积模块、激活模块以及平均池化模块（图3中表示为卷积+激活+平均池化），上采样层用于增大提取特征的尺寸，第四神经网络层用于提取特征并增大特征尺寸并与第二神经网络层的特征进行拼接得到所需输出的特征，第二神经网络层和第四神经网络层两者一一对应，第四神经网络层包括依次相连的卷积模块、激活模块、上采样模块和特征拼接模块（图3中表示为卷积+激活+上采样+特征拼接），卷积模块、激活模块、上采样模块和特征拼接模块依次相连，且特征拼接模块的两路输入中的一路与上采样模块的输出端相连、另一路与对应的第二神经网络层的输出端相连。

如图4所示，本实施例中全局约束子网络包括依次相连的多个第五神经网络层、一个自适应平均池化层、两个全连接层、参数回归层以及网格坐标变换层；第五神经网络层用于提取特征并缩减参数的数量，包括依次相连的卷积模块、批归一化模块、激活模块以及池化模块；自适应平均池化层用于对提取的特征进行自适应平均池化以使参数量减少并同时避免不同尺寸的输入图像引发的参数数量不匹配问题；两个全连接层用于对自适应平均池化后的特征进行融合并筛选特征以增强网络的拟合能力；参数回归层用于将最后一个全连接层输出的特征进行参数回归，得到待配准图像相对于参考图像的全局仿射变换参数A；网格坐标变换层用于利用全局仿射变换参数A建立待配准图像变换后的网格坐标以将待配准图像的初始网格坐标映射为全局约束网络G₀。

本实施例中，将最后一个全连接层输出的特征进行参数回归的函数表达式为：

A=1/6*(A₀+A₁+A₂+A₃+A₄+A₅)

上式中，A₀～A₅分别为索引为0～5的仿射参数，且有任意索引为i的仿射参数A_i的函数表达式为：A_i=F(.)，其中F(.)为对为最后一个全连接层输出的特征采用维度变换函数F计算结果，所述维度变换函数F用于将维度为36×1的矩阵变为6×2×3矩阵，利用全局仿射变换参数A将待配准图像的初始网格坐标映射为全局约束网格坐标G₀的函数表达式为：

[X',Y']=([X,Y]A)_[1:2]

上式中，[X,Y]为待配准图像的初始网格坐标，G₀=[X',Y']为输出的全局约束网络，[1:2]表示取矩阵的前两维数据。

如图5所示，本实施例中前向深度曲线学习的图像坐标估计子网络包括依次级联的一个第六神经网络层、一个或多个第七神经网络层、一个第八神经网络层、一个特征拆分层以及一个曲线学习的逐像素坐标估计层；第六神经网络层用于对输入的特征F进行提取特征，包括依次相连的卷积模块和ReLU激活模块；第七神经网络层对提取的特征进一步提取特征并获得部分曲线系数，包括依次相连的卷积模块和ReLU激活模块；第八神经网络层用于提取三维特征并将三维特征归到[-1,1]区间，包含依次相连的卷积模块和Tanh激活模块；特征拆分层用于对提取的三维特征拆分成二维特征并得到曲线系数，包括Λ_x ¹, Λ_y ¹Λ_x ², Λ_y ²…Λ_x ^k, Λ_y ^k；Γ_x ¹, Γ_y ¹, Γ_x ², Γ_y ²…Γ_x ^k,Γ_y ^k），其中Λ_x ¹～Λ_x ^k和Γ_x ¹～Γ_x ^k分别为坐标值X'的第1～k阶多项式曲线的系数，Λ_y ¹～Λ_y ^k和Γ_y ¹～Γ_y ^k分别为坐标值Y'第1～k阶多项式曲线的系数，其中k为曲线阶次；曲线网络学习的逐像素坐标估计层用于结合全局约束网格坐标G₀，并通过前向高阶逐像素曲线网络获取准确的图像像素坐标G₁，其计算函数表达式为：

G₁=(L^k(X'),L^k(Y'))；

上式中，G₀=[X',Y']为全局约束网格，L^k(X')和L^k(Y')为第k阶的中间变量，且有：

L^k(X')= Λ_x ^k(L^k-1(X')) X'+ Γ_x ^k，

L^k(Y')= Λ_y ^k(L^k-1(Y')) Y' +Γ_y ^k，

…

L¹(X')= Λ_x ¹X'+Γ_y ¹，

L¹(Y')=Λ_y ¹Y'+Γ_y ¹，

其中，L^k-1(X')和L^k-1(Y')为第k-1阶的中间变量。

深度曲线学习的图像坐标估计子网络深度曲线学习的原理，涉及“维尔斯特拉斯逼近定理”，其定义如下：D 是一个闭环有界区间，假设

是一个连续函数，那么，对于任意变量/>

，存在一个多项式函数/>

为：

，

上式中，

为连续函数/>

对输入量/>

的计算结果，/>

为多项式函数/>

对输入量/>

的计算结果。

将未配准图像、参考图像与配准图像分别表示为

、

和/>

，图像配准旨在利用空间变换关系将未配准图像与参考图像的空间位置对齐。整个过程被表示为：

，

其中，

表示图像坐标，/>

是一个位置变换函数，/>

是像素值采样函数。

图像是由像素组成的，也可以看成是一条条曲线构成。未配准图像

中的每一条像素值曲线对应的空间表示为/>

，那么在参考图像/>

和配准图像/>

的像素值曲线的空间表示为/>

。那么配准问题就转化为求解/>

与/>

之间的关系/>

。为了便于研究，本实施例中对模型进行简化并将二维坐标转化为2个1维坐标/>

和/>

，分别建立空间曲线/>

与/>

的映射，以上曲线是由逐像素点的离散点构成，本实施例中可以将其假定为逐像素点的连续曲线/>

和/>

。

基于以上的分析，本实施例中很容易发现逐像素点的连续曲线

和/>

满足“维尔斯特拉斯逼近定理”。因此，本实施例中试图设计一种可以自动将未配准图像映射到其配准图像的曲线，其中自适应曲线参数仅依赖于输入图像。

本实施例中期望设计的曲线包含两个目标：1）每个图像坐标应归一化到某个象限，以避免溢出坐标范围引起的图像信息丢失或错乱如基于坐标系的曲线对称引发的图像信息错乱2）在梯度反向传播过程中，该曲线的形式应尽可能简单且可微。为了实现这两个目标，本实施例中设计了多项式曲线。如果坐标之间的变换为线性关系，本实施例中可以设计一对线性曲线进行配准，其被表示为：

,

上式中，

、/>

、/>

以及/>

是多项式曲线/>

的可训练参数，用于控制多项式曲线/>

的幅值和方向；/>

和/>

为未配准图像的像素值曲线的x和y轴分量，/>

和/>

为多项式曲线/>

的x和y轴分量。为了能够适应更加复杂的空间变形，本实施例中定义了一个高阶多项式曲线，其被表达为：

，

，

而被定义的高次多项式可由低次多项式迭代实现：

，

，

其中，上标中的1～k均为阶次。

高阶多项式曲线可以在更宽的动态范围内调整图像坐标。尽管如此，这仍然是一个全局调整，因为α和β用于所有像素，此外，更高的阶次的曲线极大地增加了模型的复杂度。为了解决此问题，可将参数α设计成一个逐像素的可学习的参数。因此，逐像素的高阶曲线可表示为：

，

，

上式中，

和/>

分别是逐像素的可学习的α和β。在此基础上，可推导得到本实施例中曲线学习的逐像素坐标估计层用于结合全局约束网络G₀通过高阶逐像素曲线学习获取准确的图像像素坐标G₁的计算函数表达式。

参见图6，本实施例中的步骤S101之前还包括训练多模图像配准网络的步骤：1）构建全局约束子网络，并通过全局约束子网络根据输入的参考图像、待配准图像回归得到待配准图像相对于参考图像的全局仿射变换参数A；构建深度曲线学习的图像坐标估计子网络，通过高阶逐像素曲线学习获取准确的图像坐标；2）联合所述全局约束子网络和深度曲线学习的图像坐标估计子网络，并结合像素重采样层构造可端到端训练的多模图像配准网络，所述多模图像配准网络的输入为不同模态的待配准图像、参考图像以及待配准图像的初始网格坐标，输出为两个配准图像；3）为多模图像配准网络构建包含基于最大索引图的归一化互相关损失与对比损失的损失函数；4）采用训练数据集和构建的损失函数训练多模图像配准网络。

本实施例中，利用多模图像构建训练数据集包括：待配准图像I_X、参考图像I_Y和半监督标签I_Z被裁剪为子块集合{I_Xk}、{I_Yk}和{I_Zk}并构建训练数据集{I_Xk, I_Yk, I_Zk}，将训练数据输入网络，利用设计的损失函数和优化方法完成配准网络的训练。

本实施例中，多模图像配准网络的训练步骤包括：

S201，利用图像拼接模块将输入的待配准图像样本和参考图像样本堆叠；

S202，利用特征提取单元将堆叠得到的图像后进行特征提取得到特征F；

S203，利用全局约束子网络基于特征F回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标G₀；

S204，利用前向深度曲线学习的图像坐标估计子网络基于特征F结合全局约束子网络输出的全局约束网格坐标G₀获取准确的图像像素坐标G₁；

S205，基于图像像素坐标G₁对待配准图像进行图像重采样得到最终的配准图像

；

S206，利用与前向深度曲线学习的图像坐标估计子网络的结构完全相同的反向深度曲线学习的图像坐标估计子网络，将最终的配准图像

代替输入的特征F、图像像素坐标G₁代替输入的全局约束网格坐标G₀获取重建的待配准图像/>

；

S207，采用指定的损失函数优化多模图像配准网络的网络参数直至损失函数或者迭代次数满足要求，否则返回执行步骤S201继续迭代。

反向深度曲线学习的图像坐标估计子网络也是多模图像配准网络的一部分，只是在训练阶段需要使用，其和前向深度曲线学习的图像坐标估计子网络的结构完全相同，和前向深度曲线学习的图像坐标估计子网络相比，通过将最终的配准图像

代替输入的特征F、图像像素坐标G₁代替输入的全局约束网格坐标G₀以获得对应的输出——重建的待配准图像/>

；由于输入和输出不一样，因此反向深度曲线学习的图像坐标估计子网络、前向深度曲线学习的图像坐标估计子网络两者在完成训练后的网络参数也不一样。

本实施例中采用的损失函数为：

_，

上式中，L为损失函数，

为不完全配准的样本标签与已配准图像之间的像素均方误差，/>

表示基于最大索引图的归一化互相关损失函数，/>

为对比损失函数。本实施例中损失函数由均方误差L _pixel、基于最大索引图的归一化互相关损失L _NCC以及对比损失函数L _con组成，均方误差L _pixel用于保留参考图像与配准图像之间的大致配准精度并且约束图像基本平滑，基于最大索引图的归一化互相关损失L _NCC用于减小因不同成像机理引发的图像中目标的差异化表示、降低目标相似性比较的难度，对比损失函数L _con用于提升不完全监督下的目标准确配准的可靠度。其中，基于最大索引图的归一化互相关损失函数L_NCC利用构造的参考图像和配准图像的最大索引图计算互相关系数得到，用于减小不同模态的参考图像与配准后图像中相同目标的差异化表示，提升已配准图像与参考图像之间的匹配置信度，其计算函数表达式为：

，

对比损失函数L_con为利用学习到的参考图像和配准图像的欧氏距离描述符计算得到，用于提升不完全监督下的目标准确配准的可靠度，其计算函数表达式为：

，

上式中，W和H分别为参考图像的宽和高，I_r代表参考图像的最大索引图，I_r(i,j)为最大索引图中坐标(i,j)的像素值，

为参考图像的最大索引图的均值，/>

(i,j)为参考图像的最大索引图的均值中坐标(i,j)的像素值，/>

为配准图像的最大索引图，/>

(i,j)为配准图像的最大索引图中坐标(i,j)的像素值，/>

为配准图像的最大索引图的均值，/>

(i,j)为配准图像的最大索引图的均值中坐标(i,j)的像素值；/>

为损失期望，Ω表示整个训练集，KL指KL散度，/>

为通过前向深度曲线学习的图像坐标估计子网络得到的最终的配准图像/>

与参考图像的匹配概率，/>

为通过反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

与参考图像的匹配概率；/>

为配准图像与参考图像完全配准的概率，/>

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

与待配准图像完全配准的概率（若期望他们完全匹配那么就有

、/>

为全1的概率矩阵）。

本实施例中，匹配概率的计算函数表达式为：

，

，

上式中，Sigmoid表示Sigmoid激活函数，s为余弦相似性，D_r为参考图像的描述符，

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

的描述符，D_m为待配准图像的描述符，/>

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

的描述符，描述符是指用于描述特征点的特征向量。需要说明的是，计算欧氏距离为已知方法，例如可参见文献：D. DeTone, T. Malisiewicz, and A. Rabinovich.SuperPoint: Self-supervised interest point detection and description [C]. InProc. IEEE Conf. Comput. Vis. Pattern Recognit. Workshops, 2018。余弦相似性也是已知函数，其函数表达式为：

，/>

。

本实施例中，步骤S103基于全局约束网络G₀对待配准图像进行图像重采样后得到配准图像并输出、基于图像像素坐标G₁对参考图像进行图像重采样后得到配准图像并输出，具体为通过像素重采样层将被上采样的待配准图像的像素值分别采样到全局约束网络G₀和图像像素坐标G₁中对应位置，以获取全局变换子网络的配准图像和深度曲线学习的图像坐标估计子网络的配准图像。像素重采样层为用于将原始的待配准图像的像素值采样到位置变换后图像中的对应位置以获取配准图像的已知网络结构，具体实现可可参见文献：Jaderberg M, Simonyan K, Zisserman A, et al. Spatial Transformer Networks[J].MIT Press, 2015。

综上所述，多模成像机理不同和拍摄环境差异化等因素，拍摄的图像具有几何畸变、多视场、多尺度、多时相、多分辨率等特点，而且辐射反射特性使得图像中的同一目标表现出不同的特性；此外，基于深度学***台拍摄的多模数据构造半监督数据集，接着通过像素损失、基于最大索引图的归一化互相关损失和对比损失函数和优化方法训练得到最优配准曲线，最后将待配准、待配准图像的网格坐标、参考图像及参考图像的网格坐标输入该模型获取配准图像。本实施例方法通过全局约束网络与深度曲线学习的图像坐标估计网络实现多模图像的准确配准，可配准多尺度、多分辨率、多视场和几何畸变的多模图像，特别是在图像局部畸变和大变形下，较好地解决了基于深度学习的参数回归和位移场学习的多模配准方法配准精度低的问题，实现多模图像的准确配准，为像素级图像融合、精确目标识别提供可靠的基础支撑，可应用于资源普查、资源普查、目标精准打击、农作物病虫害和生长状况监测、自然灾害监测、军事侦察等应用领域，具有广泛的应用优势。

此外，本实施例还提供一种基于深度曲线学习的多模图像配准***，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于深度曲线学习的多模图像配准方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于深度曲线学习的多模图像配准方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于深度曲线学习的多模图像配准方法，其特征在于，包括将待配准图像、参考图像输入完成训练的多模图像配准网络，所述多模图像配准网络对待配准图像的处理包括：

S101，利用特征提取单元将堆叠后的待配准图像和参考图像进行特征提取得到特征F；

S102，利用全局约束子网络基于特征F，回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标

；

S103，利用前向深度曲线学习的图像坐标估计子网络，结合全局约束子网络输出的全局约束网格坐标

获取准确的图像像素坐标G₁；

S104，基于图像像素坐标G₁对待配准图像进行图像重采样得到最终的配准图像

。

2. 根据权利要求1所述的基于深度曲线学习的多模图像配准方法，其特征在于，所述前向深度曲线学习的图像坐标估计子网络包括依次级联的一个第六神经网络层、一个或多个第七神经网络层、一个第八神经网络层、一个特征拆分层以及一个曲线学习的逐像素坐标估计层；所述第六神经网络层用于对输入的特征F进行提取特征，包括依次相连的卷积模块和ReLU激活模块；所述第七神经网络层对提取的特征进一步提取特征并获得部分曲线系数，包括依次相连的卷积模块和ReLU激活模块；所述第八神经网络层用于提取三维特征并将三维特征归到[-1,1]区间，包含依次相连的卷积模块和Tanh激活模块；所述特征拆分层用于对提取的三维特征拆分成二维特征并得到曲线系数，包括Λ_x ¹, Λ_y ¹ Λ_x ², Λ_y ²…Λ_x ^k, Λ_y ^k；Γ_x ¹, Γ_y ¹, Γ_x ², Γ_y ²…Γ_x ^k,Γ_y ^k），其中Λ_x ¹～Λ_x ^k和Γ_x ¹～Γ_x ^k分别为坐标值X'的第1～k阶多项式曲线的系数，Λ_y ¹～Λ_y ^k和Γ_y ¹～Γ_y ^k分别为坐标值Y'第1～k阶多项式曲线的系数，其中k为曲线阶次；所述曲线网络学习的逐像素坐标估计层用于结合全局约束网格坐标G₀，并通过前向高阶逐像素曲线网络获取准确的图像像素坐标G₁，其计算函数表达式为：

G₁=(L^k(X'),L^k(Y'))；

上式中，G₀=[X',Y']为全局约束网格，L^k(X')和L^k(Y')为第k阶的中间变量，且有：

L^k(X')= Λ_x ^k(L^k-1(X')) X'+ Γ_x ^k，

L^k(Y')= Λ_y ^k(L^k-1(Y')) Y' +Γ_y ^k，

…

L¹(X')= Λ_x ¹ X'+Γ_y ¹，

L¹(Y')=Λ_y ¹ Y'+Γ_y ¹，

其中，L^k-1(X')和L^k-1 (Y')为第k-1阶的中间变量。

3.根据权利要求1所述的基于深度曲线学***均池化层、两个全连接层、参数回归层以及网格坐标变换层；所述第五神经网络层包括依次相连的卷积模块、批归一化模块、激活模块以及池化模块；所述参数回归层用于将最后一个全连接层输出的特征进行参数回归得到待配准图像相对于参考图像的全局仿射变换参数A；所述网格坐标变换层用于利用全局仿射变换参数A将待配准图像的初始网格坐标映射为全局约束网格坐标G₀。

4. 根据权利要求3所述的基于深度曲线学习的多模图像配准方法，其特征在于，所述将最后一个全连接层输出的特征进行参数回归的函数表达式为：

A=1/6*(A₀+A₁+A₂+A₃+A₄+A₅)

上式中，A₀～A₅分别为索引为0～5的仿射参数，且有任意索引为i的仿射参数A_i的函数表达式为：A_i=F(.)，其中F(.)为对为最后一个全连接层输出的特征采用维度变换函数F计算结果，所述维度变换函数F用于将维度为36×1的矩阵变为6×2×3矩阵；

所述利用全局仿射变换参数A将待配准图像的初始网格坐标映射为全局约束网格坐标G₀的函数表达式为：

[X',Y']=([X,Y]A)_[1:2]

上式中，[X,Y]为待配准图像的初始坐标，[X',Y']为输出的全局约束网格坐标G₀，[1:2]表示取矩阵的前两维数据。

5.根据权利要求1所述的基于深度曲线学***均池化模块，所述上采样层用于增大提取特征的尺寸，所述第四神经网络层用于提取特征并增大特征尺寸并与第二神经网络层的特征进行拼接得到所需输出的特征，所述第二神经网络层和第四神经网络层两者一一对应，所述第四神经网络层包括依次相连的卷积模块、激活模块、上采样模块和特征堆叠模块，所述卷积模块、激活模块、上采样模块和特征拼接模块依次相连，且所述特征拼接模块的两路输入中的一路与上采样模块的输出端相连、另一路与对应的第二神经网络层的输出端相连。

6.根据权利要求1所述的基于深度曲线学习的多模图像配准方法，其特征在于，步骤S101中利用图像拼接模块将输入的待配准图像和参考图像堆叠之前还包括检查待配准图像、参考图像的大小，若待配准图像、参考图像的大小不同，则利用图像缩放模块将输入的待配准图像缩放至与参考图像相同大小。

7.根据权利要求1所述的基于深度曲线学习的多模图像配准方法，其特征在于，所述多模图像配准网络的训练步骤包括：

S201，利用图像拼接模块将输入的待配准图像样本和参考图像样本堆叠；

S202，利用特征提取单元将堆叠得到的图像后进行特征提取得到特征F；

S203，利用全局约束子网络基于特征F回归得到待配准图像相对于参考图像的全局仿射变换参数A，并利用全局仿射变换参数A将待配准图像的初始坐标映射为全局约束网格坐标G₀；

S204，利用前向深度曲线学习的图像坐标估计子网络基于特征F结合全局约束子网络输出的全局约束网格坐标G₀获取准确的图像像素坐标G₁；

S205，基于图像像素坐标G₁对待配准图像进行图像重采样得到最终的配准图像

；

S206，利用与前向深度曲线学习的图像坐标估计子网络的结构完全相同的反向深度曲线学习的图像坐标估计子网络，将最终的配准图像

代替输入的特征F、图像像素坐标G₁代替输入的全局约束网格坐标G₀获取重建的待配准图像/>

；

S207，采用指定的损失函数优化多模图像配准网络的网络参数直至损失函数或者迭代次数满足要求，否则返回执行步骤S201继续迭代；所述损失函数的函数表达式为：

，

上式中，L为损失函数，

为不完全配准的样本标签与已配准图像之间的像素均方误差，/>

表示基于最大索引图的归一化互相关损失函数，/>

为对比损失函数，且有：

，

，

上式中，W和H分别为参考图像的宽和高，I_r代表参考图像的最大索引图，I_r(i,j)为最大索引图中坐标(i,j)的像素值，

为参考图像的最大索引图的均值，/>

(i,j)为参考图像的最大索引图的均值中坐标(i,j)的像素值，/>

为配准图像的最大索引图，/>

(i,j)为配准图像的最大索引图中坐标(i,j)的像素值，/>

为配准图像的最大索引图的均值，/>

(i,j)为配准图像的最大索引图的均值中坐标(i,j)的像素值；/>

为损失期望，Ω表示整个训练集，KL指KL散度，/>

为通过前向深度曲线学习的图像坐标估计子网络得到的最终的配准图像/>

与参考图像的匹配概率，/>

为通过反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

与参考图像的匹配概率；/>

为配准图像与参考图像完全配准的概率，/>

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

与待配准图像完全配准的概率。

8.根据权利要求7所述的基于深度曲线学习的多模图像配准方法，其特征在于，所述匹配概率的计算函数表达式为：

，

，

上式中，Sigmoid表示Sigmoid激活函数，s为余弦相似性，D_r为参考图像的描述符，

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

的描述符，D_m为待配准图像的描述符，/>

为反向深度曲线学习的图像坐标估计子网络得到的重建的待配准图像/>

的描述符，所述描述符是指用于描述特征点的特征向量。

9.一种基于深度曲线学习的多模图像配准***，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于深度曲线学习的多模图像配准方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于深度曲线学习的多模图像配准方法。

Images