CN111260705A - 一种基于深度卷积神经网络的***mr图像多任务配准方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的***MR图像多任务配准方法，包括训练阶段和推理阶段。训练阶段包括***MR图像的预处理、构建神经网络模型和神经网络参数的训练。通过对单向配准任务的扩展，实现多任务的联合训练模型，利用***的标签信息作为弱监督信息指导网络的训练，并利用循环一致性和逆一致性对网络训练进行约束，同时构建双路径的深度卷积神经网络实现网络权值共享。同时对网络预测的位移矢量场进行正则化，使得位移矢量场更加平滑。在推理阶段，将预处理的运动图像和参考图像数据作为网络的输入，经过训练好的网络会得到预测的位移矢量场，将位移矢量场作用于运动图像，从而得到***的MR图像配准的结果。

Description

一种基于深度卷积神经网络的***MR图像多任务配准方法

技术领域

本发明属于医学影像处理技术领域，尤其涉及一种基于深度卷积神经网络的***MR图像多任务配准方法。

背景技术

随着计算机技术和医学影像工程的发展，越来越多的科学技术被应用于现代医学中，特别是医学成像技术，渗透了医学的临床应用，各种医学成像设备从不同的侧面反映人体的身体状况，为医疗诊断治疗提供直接、客观的信息。现代医学成像技术常见的有核磁共振成像(MRI)、计算机X射线摄影(X-光)、超声成像、计算机断层成像(CT)、正电子发射计算机断层显像(PET)等，它们主要分为两大类：解剖图像和功能图像，解剖图像分辨率较高，能够较为准确的获得脏器的结构信息，但是不具备功能作用。功能图像分辨率低，无法清楚的显示脏器的轮廓信息，但是可以显示人体的新陈代谢情况。虽然两者的成像技术都在不断的进步，成像结果越来越准确，但是在实际的临床应用中，由于成像原理的不同，某一种成像技术只能反映人体的某些特定的信息，往往需要医生结合多种成像技术对病人进行诊断治疗。然而，综合多种医学影像的信息往往需要多年的经验，不仅局限于很多主观因素，还增加了医生的工作量。

解决这个问题的最佳方法便是医学图像配准技术，医学图像配准是医学图像分析的重要研究分支，是医学图像融合、重建的核心技术，在临床应用中具有重要的意义。医学图像配准技术是指将两幅或两幅以上的图像进行几何对准，使得同一像素代表相同的解剖位置。通过医学图像配准技术能够将多种成像技术有机的联合起来，将多种医学信息整合在一张图像上，更加直观、准确的辅助医生进行诊断治疗。

图像配准技术可分为刚性配准和非刚性配准。上世纪80年代，医学图像配准主要以刚体配准为主，通过学习图像灰度差异等医学信息来估计图像之间的刚性变换系数。目前，基于刚体配准的算法已经趋近成熟，在临床得到了广泛的应用。但是刚体配准的自由度小，只解决了配准问题中的小部分。对于实际医学应用中，刚体变换是远远不能满足实际需求的，医学图像配准问题需要更多自由度的变换。21世纪以来，非刚体配准技术成为了研究的重点，且得到了快速发展，许多学者研究出了许多非线性变换方式，例如基于B样条的自由变换模型、基于弹性变换模型、基于光流扩散的物理学形变模型等。经典的非刚体图像配准算法往往首先选择一个变换模型，随后定义一个相似度指标，最后迭代优化变换参数。虽然经典的算法取得了不错的性能，但由于迭代优化的性质，其速度往往较慢，无法满足临床的实时性需求，且可能陷入局部最优。此外，不同的相似性度量具有不同的性质，针对不同的脏器或影像，需要定义不同的相似性度量。

最近几年,深度学习特别是深度卷积神经网络,在计算机视觉方面取得了突破性研究成果，同时，在医学图像分析方面也得到迅速发展，深度卷积神经网络在医学图像配准方面也得到了一定的成果，例如DIRNet、VoxelMorph等。虽然模型的训练时间较长，但是一旦训练完毕，模型可以快速的配准图像，更好的满足临床需要。虽然目前基于深度学习的算法取得了令人满意的结果，但是现存的方法还存在较多不足，配准的结果往往与训练数据集的大小密切相关，同时忽略了位移矢量场的物理属性。

发明内容

针对现有技术存在的不足，本发明提供了一种高精度、高效率的基于深度卷积神经网络的***MR图像多任务配准方法。

为解决上述技术问题，本发明采用如下的技术方案：一种基于深度卷积神经网络的***MR图像多任务配准方法，包括如下步骤：

步骤1，将不同格式的***MR图像进行统一格式处理并筛选；

步骤2，对图像进行像素范围裁剪及归一化，统计图像的体素间距分布，对图像重采样统一体素间距；

步骤3，设计双路径的深度卷积神经网络模型实现多个图像的配准，网络模型的具体处理过程如下，

在编码阶段通过两条不同路径的卷积层和下采样层分别提取运动图像和参考图像不同尺度的特征信息，即是在编码阶段分为上下支流，上支流的输入是运动图像，下支流的输入是参考图像，编码阶段上下支流的结构参数和操作相同，都包括10个卷积层和5个下采样层，每经过两次卷积层之后经过一次下采样层；在解码阶段，是对编码阶段中学习的特征进行解码，首先将上下两个支流的特征图进行叠加，然后通过10卷积层和5个上采层对上下两个直流的特征进行融合及使解码之后输出的位移矢量场与原图的大小一样，每经过两次卷积层之后经过一次上采样层；同时，每次上采样之后得到的特征图通过跳跃连接与编码阶段上下两支流相同尺度的特征图进行叠加；最后一层使用1×1卷积对数据进行降维及输出最后的位移矢量场；

步骤4，利用***的标签信息作为弱监督信息指导双路径的深度卷积神经网络模型的训练，并对位移矢量场进行正则化；

步骤5，将运动图像和参考图像输入训练好的网络模型得到预测的位移矢量场，利用位移矢量场对运动图像进行重采样得到对应的配准结果。

进一步的，步骤3中，在编码阶段，卷积核的大小均为3×3，其中卷积层的卷积步长为1，下采样层卷积步长为2，每经过一次下采样层之后，卷积层特征通道数量都加倍，分别为32，64，128，256，512；在解码阶段，卷积核大小均为3×3，卷积层卷积步长为1，上采样层卷积步长为2，每经过1次上采样层之后的卷积层都将特征通道数减半，分别为512，256，128，64，32。

进一步的，步骤4中，在训练过程中使用循环一致性与逆一致性约束实现多任务互连，具体实现如下，

多任务是指A→B→A′；B→A→B′；A′→A→A″；B′→B→B″这四个任务，其中以A→B→A′为例，A表示运动图像，B表示参考图像，A′表示配准的结果图像；其中循环一致性约束和逆一致性约束的数学表达式如下：

循环一致性：

|A-A″|²+|B-B″|²

逆一致性：

|Φ_AB-Φ_B′B|²+|Φ_BA-Φ_A′A|²

其中，Φ_AB表示从图像A配准到图像B网络模型预测的位移矢量场，Φ_B′B表示从图像B′配准到图像B网络模型预测的位移矢量场，Φ_BA表示从图像B配准到图像A网络模型预测的位移矢量场，Φ_A′A表示从图像A′配准到图像A网络模型预测的位移矢量场。

进一步的，步骤4中对位移矢量场进行正则化包括范围约束正则化、L₂正则化及反折叠约束，其中范围约束正则化的数学表达式如下：

其中，p表示像素点，Ω表示空间内的所有像素，Φ()表示生成的位移矢量场，h()表示变形后的像素网格，通过将位移矢量场与原始坐标相加得到，

为位移矢量场的梯度，

为L₂正则化，f_σ为分段函数；

其中，s表示像素网格的大小，即图像的大小；

反折叠约束的数学表达式如下：

其中，Relu用于对产生折叠的位置进行惩罚，

时表示此处存在折叠，其他值则表示无折叠，即不进行惩罚。

本发明的有益效果为：

(1)本发明提出了一种多任务的配准网络，将单个任务扩展成为了四个任务，在一定程度上增加了数据量，缓解了医学图像可用数据量少的问题，进一步提高了配准的精度。

(2)本发明提出了一种自适应的基于解剖学约束的配准算法，图像的解剖学标签代表了图像的高级信息，从高层信息中学***滑概率映射，不同的标签信息对应不同的映射结果，将映射的结果作为一种弱监督信息，减少了网络的过拟合，以此指导配准网络的训练，解决了图像对之间变形大、配准难的问题。

(3)本发明提出了双路径的卷积神经网络模型，在编码阶段通过两条路径分别学习运动图像和参考图像的特征信息，在解码阶段通过跳跃连接和多尺度融合能够更好的利用图像的特征信息，同时，通过双路径网络能够实现权值的共享，从而减少资源的消耗。

(4)本发明在深度卷积神经网络的***MR图像多任务配准中提出了循环一致性约束和逆一致性约束，指导四个任务之间协同训练，且对预测的位移矢量场进范围约束，进一步提高配准精度。

附图说明

图1为本发明多任务配准示意图；

图2为本发明的双路径卷积神经网络结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明技术方案，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明公开了一种基于深度卷积神经网络的***MR图像多任务配准方法，包括训练阶段和推理阶段。训练阶段包括***MR图像的预处理、构建神经网络模型和神经网络参数的训练。其中数据预处理阶段包括数据的筛选、数据的统一存储格式、像素的归一化及裁剪和图像的重采样。通过对单向配准任务的扩展，实现多任务的联合训练模型，利用***的标签信息作为弱监督信息指导网络的训练，并利用循环一致性和逆一致性对网络训练进行约束，同时构建双路径的深度卷积神经网络实现网络权值共享。同时对网络预测的位移矢量场进行正则化，使得位移矢量场更加平滑。在推理阶段，将预处理的运动图像和参考图像数据作为网络的输入，经过训练好的网络会得到预测的位移矢量场，将位移矢量场作用于运动图像，从而得到***的MR图像配准的结果。

实施采用Python平台基于Tensorflow库实现，Python医学影像读写函数为实施基础。调用医学影像读取函数，输入医学影像文件名，医学影像读入大小为X×Y×Z的矩阵中，矩阵中各元素为各维度的对应的像素值，Z为医学影像的切片数，X,Y分别为医学影像的长和宽。Python医学影像读写函数为本技术领域的公知技术，在此不作赘述。

实施例中，基于矩阵X×Y×Z对医学影像进行如下操作：

(1)将不同格式的***MR图像进行统一格式处理并筛选。

实施例中，步骤(1)的具体操作为：由于不同的设备采集的***MR图像文件格式不一致，首先将其的格式进行统一为mhd文件格式。同时，采集的图像中可能存在无***的图像，因此通过有无***解剖学的标签对图像进行筛选，只选择存在***的图像，方便后期的训练。

(2)对图像进行像素范围裁剪及归一化，统计图像的体素间距分布，对图像重采样统一体素间距。。

实施例中，步骤(2)的具体操作为：医学图像的成像原理与自然图像不同，采集的数据集灰度值范围巨大，对灰度值进行裁剪，只保留了0.5％-99.5％之间的像素值，减少异常值的出现，增加图像的对比度。同时进行归一化，方便网络模型的训练。除此在外，不同的成像方式往往导致图像之间的体素不一致，即是两个像素点之间代表的物理距离不一样，因此需要统计数据的体素间隔，采用对图像重采样的方式来统一体素间隔。

(3)设计双路径的深度卷积神经网络模型实现多任务配准。

实施例中，步骤(3)的具体操作为：在医学图像处理领域中，往往医学图像数据成为了训练网络模型的关键，在目前存在基于深度卷积神经网络的模型中，仅仅考虑了从图像运动图像(A)配准到参考图像(B)的单向配准(A→B→A′)过程，A′为配准结果，忽略了图像变形的逆一致性和循环一致性，因此对单向配准进行了扩展，如图1所示，分别实现了A→B→A′；B→A→B′；A′→A→A″；B′→B→B″，以A→B→A′为例，A表示运动图像，B表示参考图像，A′表示配准的结果图像。为了实现任务网络的权值共享，设计了一个双路径的卷积神经网络，如图2所示，在编码阶段通过两条不同路径的卷积层和下采样层分别提取运动图像和参考图像不同尺度的特征信息，即是在编码阶段分为上下支流，上支流的输入是运动图像，下支流的输入是参考图像，编码阶段上下支流的结构参数和操作相同，都包括10个卷积层和5个下采样层，卷积核的大小均为3×3，其中卷积层的卷积步长为1，下采样层卷积步长为2。每经过两次卷积层之后经过一次下采样层，每经过一次下采样层之后，卷积层特征通道数量都加倍，分别为32，64，128，256，512。在解码阶段，主要是对编码阶段中学习的特征进行解码，首先将上下两个支流的特征图进行叠加，然后通过10卷积层和5个上采层对上下两个直流的特征进行融合及使解码之后输出的位移矢量场与原图的大小一样。同时，每次上采样之后得到的特征图通过跳跃连接与编码阶段上下两支流相同尺度的特征图进行叠加，例：上下两支流第1次下采样之前的特征图尺度与经过5次上采样之后的特征图尺度相同，目的是利用底层的特征图来改善上采样的信息不足。同时，每经过1次上采样层之后的卷积层都将特征通道数减半，分别为512，256，128，64，32，与编码阶段相对应，其中卷积核大小均为3×3，卷积层卷积步长为1，上采样层卷积步长为2。最后一层使用1×1卷积对数据进行降维及输出最后的位移矢量场。位移矢量场为原图大小的两个通道的矩阵，分别代表像素点沿x轴移动的距离和沿y轴移动的距离，

(4)利用***的标签信息作为弱监督信息指导网络的训练，使用循环一致性与逆一致性约束实现多任务互连，并对位移矢量场进行正则化。

实施例中，步骤(4)的具体操作为：由于采集的图像时间间隔大，图像之间的形变巨大，直接利用相似性度量难于训练网络，因此，利用***的解剖学标签作为先验知识指导网络的训练，直接将解剖学标签作为弱监督信息会导致网络的过拟合，不利于网络的训练。利用高斯矩阵对标签进行空间平滑概率映射，其中高斯矩阵的大小由***解剖学的最小外接正方形一致，不同的标签信息对应不同的映射结果，将映射的结果作为一种弱监督信息，以此指导配准网络的训练。同时，探索了四个任务之间的潜在关联，设计了循环一致性约束和逆一致性约束，其数学表达式如下：

循环一致性：

|A-A″|²+|B-B″|²

逆一致性：

|Φ_AB-Φ_B′B|²+|Φ_BA-Φ_A′A|²

其中Φ_AB表示从图像A配准到B网络预测的位移矢量场，Φ_B′B、Φ_BA、Φ_A′A以此类推。

同时提出了范围约束正则化，数学表达式如下：

其中，p表示像素点，Ω表示空间内的所有像素，Φ()表示生成的位移矢量场，h()表示变形后的像素网格，将位移矢量场与原始坐标相加得到，

为位移矢量场的梯度，

为L₂正则化，f_σ为分段函数。

其中，s表示像素网格的大小，即图像的大小。

除此之外还使用了L₂正则化及反折叠约束，反折叠约束的数学表达式如下：

其中，Relu用于对产生折叠的位置进行惩罚，

时表示此处存在折叠，其他值则表示无折叠，即不进行惩罚。具体细节为本技术领域的公知技术，在此不作赘述。利用上述的约束函数对网络进行训练，先输入A,B和B,A，再输入A′,A和B′,B，共训练200轮，学习率设置为10e-4。

(5)将运动图像和参考图像输入双路径的深度卷积神经网络模型得到预测的位移矢量场，利用位移矢量场对运动图像进行重采样得到对应的配准结果。

实施例中，步骤(5)的具体操作为：将运动图像和参考图像输入配准网络，配准网络会预测出相应的位移矢量场，像将位移矢量场作用于运动图像，会得到每一个像素点位移之后的位置，由于位移后的点可能不在整数坐标上，因此需要进行重采样，从而得到最终的配准结果。

具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。

以下通过对比试验来验证本发明的有益效果。

本试验采用的数据为***MR图像，包括72个病人的数据集，分别采集了两次，时间间隔长达一年，其中第一次采集图像时采用了直肠线圈，以便更好的观察病灶，第二次采集无直肠线圈，以增加病人的舒适度，为了更好的训练网络，增加数据集，采用2D训练方式，图像大小288×288，其中体素间隔为0.3516mm。分别采用目前最先进的经典的对称图像归一化方法(SyN)、基于卷积神经网络的DIRNet和弱监督的配准算法(Reg_Anat)方法进行了对比，本发明方法以具体实施方式的方法为例。

医学图像配准评价指标：Dice和HD。

在图像配准领域，由于缺少金标准，通常采用分割的评价指标Dice和豪斯多夫距离HD进行，其中Dice越高，说明感兴趣区域重叠越多，即是效果越好。豪斯多夫距离主要用于评价感兴趣区域的边缘匹配程度，HD越低，说明配准效果越好。

其中，A,B分别表示感兴趣区域解剖学标签，|A∩B|表示A,B的交集。

其中a和b分别是集合A和集合B的点，d(a,b)表示a到b之间的距离。

表1对比试验结果

	本发明方法	SyN	DIRNet	Reg_Anat
					Dice	86.36(±0.0069)	83.19(±0.0083)	80.28(±0.0097)	84.89(±0.0032)
HD	6.3860(±0.6019)	9.0284(±0.5458)	13.3911(±0.3920)	8.6822(±0.3792)

其中括号中的为标准差，从表1可见，本发明方法在两个评价指标上都处于最优，说明此发明方法具有更好的图像配准效果。与目前最优的经典配准方法SyN相比，有较大幅度的提升，从HD来看，表明此发明方法对图像边缘处理效果更好，且耗费的时间远远小于SyN方法，更能满足临床需求。而与基于深度学习的方法相比，本发明对抑制错误的配准有更好的效果，生成的位移矢量场更加符合物理属性。

由此可得出结论，与现有的医学图像配准方法相比，本发明方法拥有更高的配准精度。本发明解决了训练样本不足而无法使用深度网络进行配准训练的问题，通过双路径卷积神经网络实现多任务配准，能够增加训练数据集的同时，还利用循环一致性和逆一致性进一步校正了位移矢量场的预测。本发明提出范围约束正则化，能够有效的抑制错误的配准，减少图像的不规则变形，进一步提高配准的精度。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于深度卷积神经网络的***MR图像多任务配准方法，其特征在于，包括如下步骤：

步骤1，将不同格式的***MR图像进行统一格式处理并筛选；

步骤2，对图像进行像素范围裁剪及归一化，统计图像的体素间距分布，对图像重采样统一体素间距；

步骤3，设计双路径的深度卷积神经网络模型实现多个图像的配准，网络模型的具体处理过程如下，

在编码阶段通过两条不同路径的卷积层和下采样层分别提取运动图像和参考图像不同尺度的特征信息，即是在编码阶段分为上下支流，上支流的输入是运动图像，下支流的输入是参考图像，编码阶段上下支流的结构参数和操作相同，都包括10个卷积层和5个下采样层，每经过两次卷积层之后经过一次下采样层；在解码阶段，是对编码阶段中学习的特征进行解码，首先将上下两个支流的特征图进行叠加，然后通过10卷积层和5个上采层对上下两个直流的特征进行融合及使解码之后输出的位移矢量场与原图的大小一样，每经过两次卷积层之后经过一次上采样层；同时，每次上采样之后得到的特征图通过跳跃连接与编码阶段上下两支流相同尺度的特征图进行叠加；最后一层使用1×1卷积对数据进行降维及输出最后的位移矢量场；

步骤4，利用***的标签信息作为弱监督信息指导双路径的深度卷积神经网络模型的训练，并对位移矢量场进行正则化；

步骤5，将运动图像和参考图像输入训练好的网络模型得到预测的位移矢量场，利用位移矢量场对运动图像进行重采样得到对应的配准结果。

2.如权利要求1所述的一种基于深度卷积神经网络的***MR图像多任务配准方法，其特征在于：步骤3中，在编码阶段，卷积核的大小均为3×3，其中卷积层的卷积步长为1，下采样层卷积步长为2，每经过一次下采样层之后，卷积层特征通道数量都加倍，分别为32，64，128，256，512；在解码阶段，卷积核大小均为3×3，卷积层卷积步长为1，上采样层卷积步长为2，每经过1次上采样层之后的卷积层都将特征通道数减半，分别为512，256，128，64，32。

3.如权利要求1所述的一种基于深度卷积神经网络的***MR图像多任务配准方法，其特征在于：步骤4中，在训练过程中使用循环一致性与逆一致性约束实现多任务互连，具体实现如下，

多任务是指A→B→A′；B→A→B′；A′→A→A″；B′→B→B″这四个任务，其中以A→B→A′为例，A表示运动图像，B表示参考图像，A′表示配准的结果图像；其中循环一致性约束和逆一致性约束的数学表达式如下：

循环一致性：

|A-A″|²+|B-B″|²

逆一致性：

|Φ_AB-Φ_B′B|²+|Φ_BA-Φ_A′A|²

其中，Φ_AB表示从图像A配准到图像B网络模型预测的位移矢量场，Φ_B′B表示从图像B′配准到图像B网络模型预测的位移矢量场，Φ_BA表示从图像B配准到图像A网络模型预测的位移矢量场，Φ_A′A表示从图像A′配准到图像A网络模型预测的位移矢量场。

4.如权利要求1所述的一种基于深度卷积神经网络的***MR图像多任务配准方法，其特征在于：步骤4中对位移矢量场进行正则化包括范围约束正则化、L₂正则化及反折叠约束，其中范围约束正则化的数学表达式如下：

其中，p表示像素点，Ω表示空间内的所有像素，Φ()表示生成的位移矢量场，h()表示变形后的像素网格，通过将位移矢量场与原始坐标相加得到，

为位移矢量场的梯度，

为L₂正则化，f_σ为分段函数；

其中，s表示像素网格的大小，即图像的大小；

反折叠约束的数学表达式如下：

其中，Relu用于对产生折叠的位置进行惩罚，

时表示此处存在折叠，其他值则表示无折叠，即不进行惩罚。

Images