CN110599528A - 一种基于神经网络的无监督三维医学图像配准方法及*** - Google Patents

Abstract

本发明提供一种基于神经网络的无监督三维医学图像配准方法及***，包括：图像采集；对获取到的三维医学图像进行预处理；训练神经网络，得到训练好的神经网络模型；将待配准的医学图像输入训练好的神经网络模型进行配准，得到并输出配准图像。其中，本发明基于变形场变形场变形场以及基于变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到训练好的神经网络模型。本发明用于实现医学图像配准。

Description

一种基于神经网络的无监督三维医学图像配准方法及***

技术领域

本发明涉及医学图像配准领域，具体涉及一种基于神经网络的无监督三维医学图像配准方法及***，主要用于三维人脑图像的配准。

背景技术

医学图像配准，是指对一幅医学图像寻求一种或一系列空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两幅匹配图像上具有相同的空间位置。通常，待配准的图像称之为浮动图像(Moving Image)，变换目标图像称之为固定图像或参考图像(Fi×ed Image)。

当前已有诸多开源软件可用于医学图像的分割、配准等工作，例如：FreeSurfer可用于分析和可视化来自切片或者时间序列的结构和功能神经影像数据，其在颅骨剥离，B1偏置场校正、灰白质分割和形态差异测量等方面具有较好的表现；FSL与Freesufer类似，可以对FMRI、MRI和DTI脑成像数据进行综合分析；ITK软件包可用于多维图像的分割与配准；NiftyReg实现了对nifti图像的刚体、仿射和非线性配准方法，同时支持GPU运行；elasti×是基于ITK的开源软件，包含了处理医学图像配准的常用算法；ANTS作为当前较好的配准工具，可以实现微分同胚的可变形配准。以上配准工具都是基于传统的配准方法来拟合图像的形变。另外，当前诸多基于深度学习的配准方法也被相继提出，如：DIRNet、BIRNet、voxelmorph等利用神经网络获得图像变换参数，然后利用变换网络对浮动图像进行变换得到配准结果。

尽管以上配准工具及方法都在图像配准方面得到了较好的结果，然而仍然存在以下问题：

(1)部分方法需要人工标记和监督信息，配准专业要求性高、且配准速率相对低。医学图像的特征点和特征区域的标记，以及图像监督信息的获取需要专业的医学影像医生来完成，对于没有相关医学经验的配准工作者来说具有极大的困难，同时不同的医生以及同一个医生在不同时间所得到特征标记都可能存在差异，而且人为标记的过程费时费力，医生的主观判断对配准结果的影响较大。

(2)配准精度相对较低。近几年提出的一些方法虽然在配准结果上取得了较大进展，但精度仍有待提高。

为此，本发明提供一种基于神经网络的无监督三维医学图像配准方法及***，用于解决上述问题。

发明内容

针对现有技术的上述不足，本发明提供一种基于神经网络的无监督三维医学图像配准方法及***，用于实现医学图像的快速配准。还用于提高配准精度。

第一方面，本发明提供一种基于神经网络的无监督三维医学图像配准方法，包括步骤：

L1，图像采集：从公开数据集OASIS和ADNI获取三维医学图像，和/或：从CT、MRI或超声成像仪的DICOM接口获取三维医学图像；

L2，对获取到的三维医学图像进行预处理：包括图像分割、裁剪、归一化处理和仿射对齐，并从仿射对齐后的图像中选取任意一个图像作为固定图像I_F，其余图像作为浮动图像I_M；其中裁剪后的图像大小一致；

L3，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型；

L4，将待配准的医学图像输入上述训练好的神经网络模型进行配准，得到并输出该待配准的医学图像的配准图像；

其中步骤L3中，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型，包括：

S1、将预处理后得到的固定图像I_F和浮动图像I_M作为神经网络的输入层输入神经网络，每一组输入数据均包括所述的固定图像I_F和一个所述的浮动图像I_M；

S2、对输入层中输入的固定图像I_F和浮动图像I_M进行下采样，输出特征图；

所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程；所述的3个下采样过程对应3个下采样过程层；所述的3个下采样过程层，依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层；每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层；

S3、对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权，得到三个加权后的特征图，依次为：第一加权特征图、第二加权特征图、第三加权特征图；

S4、对步骤S2中输出的特征图进行1×1×1卷积，输出浮动图像I_M到固定图像I_F的变形场

S5、将步骤S2中输出的特征图输入上采样层进行上采样，所述的上采样层包括3个上采样过程层，每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层，每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层；3个上采样过程层对应所述上采样的3个上采样过程；所述的3个上采样过程层，依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层；

其中，第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后，作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入；第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后，作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入；第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后，作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入；

S6、对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积，输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像I_M到固定图像I_F的变形场，依次为变形场变形场和变形场

S7、将浮动图像I_M和上述输出的变形场输入到空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络，分别经所述空间变换网络的空间变换，对应得到浮动图像I_M对应的变形后的图像，依次为变形后的图像变形后的图像变形后的图像以及变形后的图像

S8、基于上述输出的变形场变形场变形场以及基于上述得到的变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到所述的训练好的神经网络模型；

所述损失函数的计算表达式为：

在此式①中，表示计算所得的损失函数值，α、β均为常数且α+β＝1，是正则项，λ是正则化控制常数参数，表示预先给定的由所述固定图像I_F降采样得到的三维医学图像；三维医学图像的大小，依次与所述变形后的图像相等，三维医学图像 的分辨率依次降低并且均小于所述固定图像I_F的分辨率，表示所述固定图像I_F与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量；采用相同的相似度度量函数。

进一步地，步骤S3中所述特征重加权的实现步骤包括：

步骤S31、记下采样中输出的每个要进行特征重加权的特征图均为特征图X，该X∈R^(H×W×D)，对特征图X在其D维度上进行切片处理，使用全局平均池化策略对切片处理得到的每个切片x∈R^(H×W)进行全局平均池化处理，得到特征图X其D维度上的每个切片x的切片描述符z，每个切片描述符z的具体公式如下：

式中(i，j)表示切片x上的像素点，x(i，j)表示切片x在像素点(i，j)处的灰度值；

步骤S32、获取所述特征图X其D维度上的每个切片x的权重s，其中每个切片x的权重s的计算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函数，δ是ReLU激活函数，z为步骤S31中得到的切片x的切片描述符；

步骤S33、将步骤S32中获取的每个权重s对应加载到各自对应的切片上，得到特征图X其D维度上的每个切片×对应的重加权后的切片其中所述每个切片x对应的特征重加权计算公式如下：

该式中，F_scale(x，s)表示切片x及其对应权重s之间的乘法操作；

步骤S34、基于步骤S33中得到的特征图X其D维度上的每个切片x对应的重加权后的切片对应得到所述特征图X对应的重加权后的特征图

进一步地，所述的相似度度量函数，采用互相关函数。

进一步地，所述的空间变换网络，采用STN空间变换网络。

进一步地，所述的预处理还包括数据增强；

所述的数据增强包括：对已得到的每个浮动图像分别进行弯曲变换，得到所述已得到的每个浮动图像对应的弯曲变换后的图像；所得到的各弯曲变换后的图像为新增加的浮动图像。

第二方面，本发明提供一种基于神经网络的无监督三维医学图像配准***，包括：

图像获取单元，从公开数据集OASIS和ADNI获取三维医学图像，和/或：从CT、MRI或超声成像仪的DICOM接口获取三维医学图像；

图像预处理单元，对获取到的三维医学图像进行预处理，包括图像分割、裁剪、归一化处理和仿射对齐，并从仿射对齐后的图像中选取任意一个图像作为固定图像I_F，其余图像作为浮动图像I_M；其中裁剪后的图像大小一致；

神经网络训练单元，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型；

图像配准单元，将待配准的医学图像输入上述训练好的神经网络模型进行配准，得到并输出该待配准的医学图像的配准图像；

其中，所述的神经网络训练单元，包括：

输入模块，将预处理后得到的固定图像I_F和浮动图像I_M作为神经网络的输入层输入神经网络，每一组输入数据均包括所述的固定图像I_F和一个所述的浮动图像I_M；

下采样模块，对输入层中输入的固定图像I_F和浮动图像I_M进行下采样，输出特征图；所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程；3个下采样过程对应3个下采样过程层；所述的3个下采样过程层，依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层；每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层；

重加权模块，对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权，得到三个加权后的特征图，依次为：第一加权特征图、第二加权特征图、第三加权特征图；

第一变形场输出模块，对下采样模块输出的特征图进行1×1×1卷积，输出浮动图像I_M到固定图像I_F的变形场

上采样模块，将下采样模块输出的特征图输入上采样层进行上采样，所述的上采样层包括3个上采样过程层，每个上采样过程层均包括一个UpSampling(即上采样)层和一个卷积核大小为3×3×3的卷积层，每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层；3个上采样过程层对应所述上采样的3个上采样过程；所述的3个上采样过程层，依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层；其中，第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后，作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入；第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后，作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入；第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后，作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入；

第二变形场输出模块，对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积，输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像I_M到固定图像I_F的变形场，依次为变形场变形场和变形场

空间变换模块，将浮动图像I_M和上述输出的变形场输入到空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络，分别经所述空间变换网络的空间变换，对应得到浮动图像I_M对应的变形后的图像，依次为变形后的图像变形后的图像变形后的图像以及变形后的图像

神经网络优化模块，基于上述输出的变形场变形场变形场以及基于上述得到的变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到所述的训练好的神经网络模型；

所述损失函数的计算表达式为：

在此式①中，表示计算所得的损失函数值，α、β均为常数且α+β＝1，是正则项，λ是正则化控制常数参数，表示预先给定的由所述固定图像I_F降采样得到的三维医学图像；三维医学图像的大小，依次与所述变形后的图像相等，三维医学图像的分辨率依次降低并且均小于所述固定图像I_F的分辨率，表示所述固定图像I_F与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量；采用相同的相似度度量函数。

进一步地，所述的重加权模块，包括：

描述符获取模块，记下采样中输出的每个要进行特征重加权的特征图均为X，X∈R^(H×W×D)，对特征图X在其D维度上进行切片处理，使用全局平均池化策略对切片处理得到的每个切片x∈R^(H×W)进行全局平均池化处理，得到特征图X其D维度上的每个切片x的切片描述符z，每个切片描述符z的具体公式如下：

式中(i，j)表示切片x上的像素点，x(i，j)表示切片x在像素点(i，j)处的灰度值；

切片权重计算模块，获取所述特征图X其D维度上的每个切片x的权重s，其中每个切片x的权重s的计算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函数，δ是ReLU激活函数，z为描述符获取模块得到的切片x的切片描述符；

加权模块，将切片权重计算模块获取的每个权重s对应加载到各自对应的切片上，得到特征图X其D维度上的每个切片×对应的重加权后的切片其中所述每个切片x对应的特征重加权计算公式如下：

该式中，F_scale(x，s)表示切片x及其对应权重s之间的乘法操作；

加权后图像获取模块，基于加权模块得到的特征图X其D维度上的每个切片x对应的重加权后的切片对应得到所述特征图X对应的重加权后的特征图

进一步地，所述的相似度度量函数，采用互相关函数。

进一步地，所述的空间变换网络，采用STN空间变换网络。

进一步地，图像预处理单元中所述的预处理还包括数据增强；其中所述的数据增强包括：对已得到的每个浮动图像分别进行弯曲变换，得到所述已得到的每个浮动图像对应的弯曲变换后的图像；所得到的各弯曲变换后的图像为新增加的浮动图像。

本发明的有益效果在于，

(1)本发明提供的基于神经网络的无监督三维医学图像配准方法及***，均使用无监督的配准方式，配准过程中不需要任何的标记信息和配准监督信息，减少了标记数据的需求和人为主观判断的错误，一定程度上有助于没有相关医学经验的医学工作者进行图像配准，且一定程度上提高了配准的速率，节约了配准的时间，同时也在一定程度上节约人力物力。

(2)本发明提供的基于神经网络的无监督三维医学图像配准方法及***，分别通过特征重加权融合和具有多层次损失监督作用的损失函数，将下采样路径得到的特征图依据其贡献度加权融合到上采样路径，同时从不同分辨率角度监督模型损失，实现更有效的特征重用和模型监督，一定程度上提高了配准精度。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2为图1所示方法中获取所述变形场变形场变形场变形场的过程指示示意图。

图3是本发明一个实施例的***的示意性框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面对本发明中出现的关键术语进行解释。

图1、2是本发明一个实施例的方法的示意性流程图。本实施例以对3D人脑图像配准为例。

如图1所示，该方法100包括：

第一步，图像采集。

从公开数据集OASIS和ADNI下载人脑图像的公开数据集。

具体实现时，本领域技术人员还可以从CT、MRI或超声成像仪的DICOM接口获取所需的三维医学图像。

第二步，预处理：

对第一步中获取到的三维医学图像进行预处理。

第一步骤中采集的人脑数据，包含颈部、口腔、鼻腔、头骨等多余部分，且其大小、灰度不一。为此，对这些图像数据进行标准的预处理。首先对图像进行分割，将人脑从原始数据中分离出来，并对所得的人脑图像进行裁剪，使其大小一致。然后进行归一化处理，将体素值归一化到[0，1]。之后进行仿射对齐。然后从仿射对齐后的数据中选取一个图像作为固定图像I_F，其余作为浮动图像I_M。

另外，为了增强神经网络模型的鲁棒性和泛化能力，该步骤中的预处理，还包括数据增强，即对上述已在预处理过程中得到的各浮动图像进行弯曲变换，弯曲变换后得到的所有的图像均为新增的浮动图像。即弯曲变换得到的新的图像也属于该步骤中预处理得到的浮动图像。

其中，本实施例中所述的弯曲变换，可以采用三种不同程度的弯曲变换，以实现数据增强。具体实现时，还可依据实际情况，对不同程度的弯曲变换的数量的增减。

至此，本步骤中预处理得到的所有的浮动图像构成神经网络的训练集。

第三步，训练神经网络，得到训练好的神经网络模型。基于预处理后得到的固定图像I_F和训练集训练神经网络，得到训练好的神经网络模型。

第四步，将待配准三维医学图像输入上述神经网络模型进行配准，最终得到并输出该待配准三维医学图像的配准图像。

本发明使用时，先进行图像采集，之后对采集的图像进行预处理，之后基于预处理得到的固定图像I_F和训练集训练神经网络，并得到训练好的神经网络模型，之后将待配准的三维医学图像输入训练好的神经网络模型进行配准，最终得到并输出对应的配准图像。

该方法在待配准的相关图像(本实施例中为待配准的人脑图像)数量相对较多时，效果更优。具体地，可在训练好的神经网络模型后，分别将待配准的图像输入训练好的神经网络模型，即可得到各待配准的图像各自对应的配准图像。具体地，在训练好神经网络模型后，每输入一个待配准的图像，则可对应输出一个相应的配准图像；在上一配准图像输出后，可继续向该训练好的神经网络模型中输入下一待配准的图像，直至完成所有待配准图像的图像配准。

其中在第三步中，所述的训练神经网络，得到训练好的神经网络模型，包括：

S1、将预处理后得到的固定图像I_F和浮动图像I_M作为神经网络的输入层输入神经网络，每一组输入数据均包括所述的固定图像I_F和一个所述的浮动图像I_M。

每组输入数据I_F和I_M在被无损拼接成为2通道的3D图像后送入神经网络输入层。

S2、对输入层中输入的固定图像I_F和浮动图像I_M进行下采样，输出所输入的固定图像I_F和浮动图像I_M的特征图。

所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程；所述的3个下采样过程对应3个下采样过程层；所述的3个下采样过程层，依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层；每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层。

S3、对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权，得到三个加权后的特征图，依次为：第一加权特征图、第二加权特征图、第三加权特征图。

该步骤S3中所述特征重加权的实现步骤包括：

步骤S31、记下采样中输出的每个要进行特征重加权的特征图均为特征图X，该X∈R^(H×W×D)，对特征图X在其D维度上进行切片处理，使用全局平均池化策略对切片处理得到的每个切片x∈R^(H×W)进行全局平均池化处理，得到特征图X其D维度上的每个切片x的切片描述符z，每个切片描述符z的具体公式如下：

式中(i，j)表示切片x上的像素点，x(i，j)表示切片x在像素点(i，j)处的灰度值；

步骤S32、获取所述特征图X其D维度上的每个切片x的权重s，其中每个切片x的权重s的计算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函数，δ是ReLU激活函数，z为步骤S31中得到的切片x的切片描述符；

步骤S33、将步骤S32中获取的每个权重s对应加载到各自对应的切片上，得到特征图X其D维度上的每个切片×对应的重加权后的切片其中所述每个切片x对应的特征重加权计算公式如下：

该式中，F_scale(x，s)表示切片x及其对应权重s之间的乘法操作；

步骤S34、基于步骤S33中得到的特征图X其D维度上的每个切片x对应的重加权后的切片对应得到所述特征图X对应的重加权后的特征图

比如对于特征图X∈R^(H×W×D)，步骤S33中得到的特征图X其D维度上的切片有X₁、X₂、…、X_D，切片X₁、X₂、…、X_D对应的重加权后的特征图依次为则有特征图X对应的重加权后的特征图

S4、S4、对步骤S2中输出的特征图进行1×1×1卷积，输出浮动图像I_M到固定图像I_F的变形场

S5、将步骤S2中输出的特征图输入上采样层进行上采样，所述的上采样层包括3个上采样过程层，每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层，每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层；3个上采样过程层对应所述上采样的3个上采样过程；所述的3个上采样过程层，依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层。

其中，第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后，作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入；第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后，作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入；第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后，作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入。

S6、对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积，输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像I_M到固定图像I_F的变形场，依次为变形场变形场和变形场

S7、将浮动图像I_M和上述输出的变形场输入到空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络，分别经所述空间变换网络的空间变换，对应得到浮动图像I_M对应的变形后的图像，依次为变形后的图像变形后的图像变形后的图像以及变形后的图像

S8、基于上述输出的变形场变形场变形场以及基于上述得到的变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到所述的训练好的神经网络模型。

其中，所述损失函数的计算表达式为：

在此式①中，表示计算所得的损失函数值，α、β均为常数且α+β＝1，是正则项，λ是正则化控制常数参数，表示预先给定的由所述固定图像I_F降采样得到的三维医学图像；三维医学图像的大小，依次与所述变形后的图像相等，三维医学图像的分辨率依次降低并且均小于所述固定图像I_F的分辨率，表示所述固定图像I_F与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量；采用相同的相似度度量函数。

可选地，本实施例中所述的相似度度量函数，采用互相关函数；所述的空间变换网络，采用STN空间变换网络。

可选地，本实施例中所述的方法100，可采用U-Net神经网络作为基本神经网络结构进行实现。

可选地，本发明中所涉及的特征图的融合的方式可为拼接融合。本实施例中可采用U-Net式的channel维度拼接融合。另外，本领域技术人员在实现本发明所涉及的特征图的融合时，还可依据实际情况选择其他融合方式进行融合，比如还可采用加和融合(对应点相加)的方式进行特征图的融合。

本实施方式中，下采样时，最大池化层下采样因子为2×2×2，相对应地，可预先设定由固定图像I_F缩小1/2后得到、由固定图像I_F缩小1/4后得到、由固定图像I_F缩小1/8后得到，的分辨率＞的分辨率＞＞0。

综上，本发明提供的基于神经网络的无监督三维医学图像配准方法，其损失函数的使用，实现了三维医学图像的无监督配准，配准过程中不需要任何的标记信息和配准监督信息，减少了标记数据的需求和人为主观判断的错误，一定程度上有助于没有相关医学经验的医学工作者进行图像配准，且一定程度上提高了配准的速率，节约了配准的时间，同时也在一定程度上节约人力物力。

参见图3，本发明的一种基于神经网络的无监督三维医学图像配准***200，包括：

图像获取单元201，从公开数据集OASIS和ADNI获取三维医学图像；

图像预处理单元202，对获取到的三维医学图像进行预处理，包括图像分割、裁剪、归一化处理和仿射对齐，并从仿射对齐后的图像中选取任意一个图像作为固定图像I_F，其余图像作为浮动图像I_M；其中裁剪后的图像大小一致；

神经网络训练单元203，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型；

图像配准单元204，将待配准的医学图像输入上述训练好的神经网络模型进行配准，得到并输出该待配准的医学图像的配准图像；

其中，所述的神经网络训练单元203，包括：

输入模块，将预处理后得到的固定图像I_F和浮动图像I_M作为神经网络的输入层输入神经网络，每一组输入数据均包括所述的固定图像I_F和一个所述的浮动图像I_M；

下采样模块，对输入层中输入的固定图像I_F和浮动图像I_M进行下采样，输出特征图；所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程；3个下采样过程对应3个下采样过程层；所述的3个下采样过程层，依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层；每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层；

重加权模块，对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权，得到三个加权后的特征图，依次为：第一加权特征图、第二加权特征图、第三加权特征图；

第一变形场输出模块，对下采样模块输出的特征图进行1×1×1卷积，输出浮动图像I_M到固定图像I_F的变形场

上采样模块，将下采样模块输出的特征图输入上采样层进行上采样，所述的上采样层包括3个上采样过程层，每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层，每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层；3个上采样过程层对应所述上采样的3个上采样过程；所述的3个上采样过程层，依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层；其中，第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后，作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入；第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后，作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入；第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后，作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入；

第二变形场输出模块，对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积，输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像I_M到固定图像I_F的变形场，依次为变形场变形场和变形场

空间变换模块，将浮动图像I_M和上述输出的变形场输入到空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络，分别经所述空间变换网络的空间变换，对应得到浮动图像I_M对应的变形后的图像，依次为变形后的图像变形后的图像变形后的图像以及变形后的图像

神经网络优化模块，基于上述输出的变形场变形场变形场以及基于上述得到的变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到所述的训练好的神经网络模型；

所述损失函数的计算表达式为：

在此式①中，表示计算所得的损失函数值，α、β均为常数且α+β＝1，是正则项，λ是正则化控制常数参数，表示预先给定的由所述固定图像I_F降采样得到的三维医学图像；三维医学图像的大小，依次与所述变形后的图像相等，三维医学图像的分辨率依次降低并且均小于所述固定图像I_F的分辨率，表示所述固定图像I_F与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量；采用相同的相似度度量函数。

其中，所述的重加权模块，包括：

描述符获取模块，记下采样中输出的每个要进行特征重加权的特征图均为X，X∈R^(H×W×D)，对特征图X在其D维度上进行切片处理，使用全局平均池化策略对切片处理得到的每个切片x∈R^(H×W)进行全局平均池化处理，得到特征图X其D维度上的每个切片x的切片描述符z，每个切片描述符z的具体公式如下：

式中(i，j)表示切片x上的像素点，x(i，j)表示切片x在像素点(i，j)处的灰度值；

切片权重计算模块，获取所述特征图X其D维度上的每个切片x的权重s，其中每个切片x的权重s的计算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函数，δ是ReLU激活函数，z为描述符获取模块得到的切片x的切片描述符；

加权模块，将切片权重计算模块获取的每个权重s对应加载到各自对应的切片上，得到特征图X其D维度上的每个切片×对应的重加权后的切片其中所述每个切片x对应的特征重加权计算公式如下：

该式中，F_scale(x，s)表示切片x及其对应权重s之间的乘法操作；

加权后图像获取模块，基于加权模块得到的特征图X其D维度上的每个切片x对应的重加权后的切片对应得到所述特征图X对应的重加权后的特征图

可选地，所述的相似度度量函数，采用互相关函数。

可选地，所述的空间变换网络，采用STN空间变换网络。

可选地，图像预处理单元202中所述的预处理还包括数据增强；其中所述的数据增强包括：对已得到的每个浮动图像分别进行弯曲变换，得到所述已得到的每个浮动图像对应的弯曲变换后的图像；所得到的各弯曲变换后的图像为新增加的浮动图像。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于神经网络的无监督三维医学图像配准方法，其特征在于，包括步骤：

L1，图像采集：从公开数据集OASIS和ADNI获取三维医学图像，和/或：从CT、MRI或超声成像仪的DICOM接口获取三维医学图像；

L2，对获取到的三维医学图像进行预处理：包括图像分割、裁剪、归一化处理和仿射对齐，并从仿射对齐后的图像中选取任意一个图像作为固定图像I_F，其余图像作为浮动图像I_M；其中裁剪后的图像大小一致；

L3，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型；

L4，将待配准的医学图像输入上述训练好的神经网络模型进行配准，得到并输出该待配准的医学图像的配准图像；

其中步骤L3中，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型，包括：

S1、将预处理后得到的固定图像I_F和浮动图像I_M作为神经网络的输入层输入神经网络，每一组输入数据均包括所述的固定图像I_F和一个所述的浮动图像I_M；

S2、对输入层中输入的固定图像I_F和浮动图像I_M进行下采样，输出特征图；

所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程；所述的3个下采样过程对应3个下采样过程层；所述的3个下采样过程层，依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层；每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层；

S3、对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权，得到三个加权后的特征图，依次为：第一加权特征图、第二加权特征图、第三加权特征图；

S4、对步骤S2中输出的特征图进行1×1×1卷积，输出浮动图像I_M到固定图像I_F的变形场

S_5、将步骤S2中输出的特征图输入上采样层进行上采样，所述的上采样层包括3个上采样过程层，每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层，每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层；3个上采样过程层对应所述上采样的3个上采样过程；所述的3个上采样过程层，依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层；

其中，第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后，作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入；第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后，作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入；第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后，作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入；

S6、对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积，输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像I_M到固定图像I_F的变形场，依次为变形场变形场和变形场

S7、将浮动图像I_M和上述输出的变形场输入到空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络，分别经所述空间变换网络的空间变换，对应得到浮动图像I_M对应的变形后的图像，依次为变形后的图像变形后的图像变形后的图像以及变形后的图像

S8、基于上述输出的变形场变形场变形场以及基于上述得到的变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到所述的训练好的神经网络模型；

所述损失函数的计算表达式为：

在此式①中，表示计算所得的损失函数值，α、β均为常数且α+β＝1，是正则项，λ是正则化控制常数参数，表示预先给定的由所述固定图像I_F降采样得到的三维医学图像；三维医学图像的大小，依次与所述变形后的图像相等，三维医学图像的分辨率依次降低并且均小于所述固定图像I_F的分辨率，表示所述固定图像I_F与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量；采用相同的相似度度量函数。

2.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法，其特征在于，步骤S3中所述特征重加权的实现步骤包括：

步骤S31、记下采样中输出的每个要进行特征重加权的特征图均为特征图X，该X∈R^{(H ×W×D)}，对特征图X在其D维度上进行切片处理，使用全局平均池化策略对切片处理得到的每个切片x∈R^(H×W)进行全局平均池化处理，得到特征图X其D维度上的每个切片x的切片描述符z，每个切片描述符z的具体公式如下：

式中(i，j)表示切片x上的像素点，x(i，j)表示切片x在像素点(i，j)处的灰度值；

步骤S32、获取所述特征图X其D维度上的每个切片x的权重s，其中每个切片x的权重s的计算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函数，δ是ReLU激活函数，z为步骤S31中得到的切片x的切片描述符；

步骤S33、将步骤S32中获取的每个权重s对应加载到各自对应的切片上，得到特征图X其D维度上的每个切片×对应的重加权后的切片其中所述每个切片x对应的特征重加权计算公式如下：

该式中，F_scale(x，s)表示切片x及其对应权重s之间的乘法操作；

步骤S34、基于步骤S33中得到的特征图X其D维度上的每个切片x对应的重加权后的切片对应得到所述特征图X对应的重加权后的特征图

3.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法，其特征在于，所述的相似度度量函数，采用互相关函数。

4.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法，其特征在于，所述的空间变换网络，采用STN空间变换网络。

5.根据权利要求1所述的基于神经网络的无监督三维医学图像配准方法，其特征在于，所述的预处理还包括数据增强；

所述的数据增强包括：对已得到的每个浮动图像分别进行弯曲变换，得到所述已得到的每个浮动图像对应的弯曲变换后的图像；所得到的各弯曲变换后的图像为新增加的浮动图像。

6.一种基于神经网络的无监督三维医学图像配准***，其特征在于，包括：

图像获取单元，从公开数据集OASIS和ADNI获取三维医学图像，和/或：从CT、MRI或超声成像仪的DICOM接口获取三维医学图像；

图像预处理单元，对获取到的三维医学图像进行预处理，包括图像分割、裁剪、归一化处理和仿射对齐，并从仿射对齐后的图像中选取任意一个图像作为固定图像I_F，其余图像作为浮动图像I_M；其中裁剪后的图像大小一致；

神经网络训练单元，基于预处理后得到的固定图像I_F和浮动图像I_M训练神经网络，得到训练好的神经网络模型；

图像配准单元，将待配准的医学图像输入上述训练好的神经网络模型进行配准，得到并输出该待配准的医学图像的配准图像；

其中，所述的神经网络训练单元，包括：

输入模块，将预处理后得到的固定图像I_F和浮动图像I_M作为神经网络的输入层输入神经网络，每一组输入数据均包括所述的固定图像I_F和一个所述的浮动图像I_M；

下采样模块，对输入层中输入的固定图像I_F和浮动图像I_M进行下采样，输出特征图；所述的下采样包括3个下采样过程、以及位于该3个下采样过程之后的一个卷积核大小为3×3×3的卷积计算过程和一个LeakyReLU激活函数计算过程；3个下采样过程对应3个下采样过程层；所述的3个下采样过程层，依下采样过程的执行顺序依次记为第一下采样过程层、第二下采样过程层和第三下采样过程层；每个下采样过程层均包括一个卷积核大小为3×3×3的卷积层、一个LeakyReLU激活函数层和一个最大池化层；

重加权模块，对下采样对应的第一下采样过程层、第二下采样过程层和第三下采样过程层中的LeakyReLU激活函数层输出的特征图分别进行特征重加权，得到三个加权后的特征图，依次为：第一加权特征图、第二加权特征图、第三加权特征图；

第一变形场输出模块，对下采样模块输出的特征图进行1×1×1卷积，输出浮动图像I_M到固定图像I_F的变形场

上采样模块，将下采样模块输出的特征图输入上采样层进行上采样，所述的上采样层包括3个上采样过程层，每个上采样过程层均包括一个UpSampling层和一个卷积核大小为3×3×3的卷积层，每个上采样过程层中的卷积核大小为3×3×3的卷积层后分别设有LeakyReLU激活函数层；3个上采样过程层对应所述上采样的3个上采样过程；所述的3个上采样过程层，依所述3个上采样过程发生的顺序依次记为第一上采样过程层、第二上采样过程层和第三上采样过程层；其中，第一上采样过程层的UpSampling层输出的特征图与所述的第三加权特征图融合后，作为第一上采样过程层中卷积核大小为3×3×3的卷积层的输入；第二上采样过程层的UpSampling层输出的特征图与所述的第二加权特征图融合后，作为第二上采样过程层中卷积核大小为3×3×3的卷积层的输入；第三上采样过程层的UpSampling层输出的特征图与所述的第一加权特征图融合后，作为第三上采样过程层中卷积核大小为3×3×3的卷积层的输入；

第二变形场输出模块，对上述第一上采样过程层、第二上采样过程层和第三上采样过程层输出的特征图分别进行1×1×1卷积，输出第一上采样过程层、第二上采样过程层和第三上采样过程层对应的浮动图像I_M到固定图像I_F的变形场，依次为变形场变形场和变形场

空间变换模块，将浮动图像I_M和上述输出的变形场输入到空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络、将浮动图像I_M和上述输出的变形场输入到所述空间变换网络，分别经所述空间变换网络的空间变换，对应得到浮动图像I_M对应的变形后的图像，依次为变形后的图像变形后的图像变形后的图像以及变形后的图像

神经网络优化模块，基于上述输出的变形场变形场变形场以及基于上述得到的变形后的图像变形后的图像变形后的图像变形后的图像利用损失函数计算固定图像I_F与所述变形后的图像之间的损失函数值，并对神经网络进行反向传播优化，直至计算所得的损失函数值不再变小或网络训练达到预先设定的训练迭代次数，神经网络训练完成，得到所述的训练好的神经网络模型；

所述损失函数的计算表达式为：

在此式①中，表示计算所得的损失函数值，α、β均为常数且α+β＝1，是正则项，λ是正则化控制常数参数，表示预先给定的由所述固定图像I_F降采样得到的三维医学图像；三维医学图像的大小，依次与所述变形后的图像相等，三维医学图像的分辨率依次降低并且均小于所述固定图像I_F的分辨率，表示所述固定图像I_F与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量，表示上述三维医学图像与所述变形后的图像之间的相似度度量；采用相同的相似度度量函数。

7.根据权利要求6所述的基于神经网络的无监督三维医学图像配准***，其特征在于，所述的重加权模块，包括：

描述符获取模块，记下采样中输出的每个要进行特征重加权的特征图均为X，X∈R^{(H ×W×D})，对特征图X在其D维度上进行切片处理，使用全局平均池化策略对切片处理得到的每个切片x∈R^(H×W)进行全局平均池化处理，得到特征图X其D维度上的每个切片x的切片描述符z，每个切片描述符z的具体公式如下：

式中(i，j)表示切片x上的像素点，x(i，j)表示切片x在像素点(i，j)处的灰度值；

切片权重计算模块，获取所述特征图X其D维度上的每个切片x的权重s，其中每个切片x的权重s的计算公式如下：

s＝σ(δ(z))，

其中，σ表示sigmoid激活函数，δ是ReLU激活函数，z为描述符获取模块得到的切片x的切片描述符；

加权模块，将切片权重计算模块获取的每个权重s对应加载到各自对应的切片上，得到特征图X其D维度上的每个切片×对应的重加权后的切片其中所述每个切片x对应的特征重加权计算公式如下：

该式中，F_scale(x，s)表示切片x及其对应权重s之间的乘法操作；

加权后图像获取模块，基于加权模块得到的特征图X其D维度上的每个切片x对应的重加权后的切片对应得到所述特征图X对应的重加权后的特征图

8.根据权利要求6所述的基于神经网络的无监督三维医学图像配准***，其特征在于，所述的相似度度量函数，采用互相关函数。

9.根据权利要求6所述的基于神经网络的无监督三维医学图像配准***，其特征在于，所述的空间变换网络，采用STN空间变换网络。

10.根据权利要求6所述的基于神经网络的无监督三维医学图像配准***，其特征在于，图像预处理单元中所述的预处理还包括数据增强；其中所述的数据增强包括：对已得到的每个浮动图像分别进行弯曲变换，得到所述已得到的每个浮动图像对应的弯曲变换后的图像；所得到的各弯曲变换后的图像为新增加的浮动图像。