CN109543623A - 一种基于核磁共振成像的胎儿发育状况预测装置 - Google Patents

Abstract

本发明公开了一种基于核磁共振成像的胎儿发育状况预测装置，包括:脑部区域检测网络模块，用于对输入的腹部核磁共振3维图像中胎儿的脑部区域位置进行定位，输出为脑部区域的位置；脑部区域多维度特征提取模块，用于对脑部区域3维图像xyz三个方向分别提取相关特征，然后把多个维度方向的特征图拼接起来作为输出，输出为脑部区域提取到的多维度特征图；脑部区域特征分类网络模块，把多维度特征图投入到3D分类网络中进行分类预测，输出为输入样本图像的胎龄预测概率。本发明通过结合脑部区域在多个维度上的不同特征，大大提升了预测结果的准确性。

Description

一种基于核磁共振成像的胎儿发育状况预测装置

技术领域

本发明属于医学图像处理领域，尤其是涉及一种基于核磁共振成像的胎儿发育状况预测装置。

背景技术

胎龄是一种重要的生物年龄，是客观反映胎儿生长发育(成熟)水平和个体成熟程度的重要数据指标，也是判断胎儿是否存在生长发育提前、迟缓或发育畸形等情况的主要参考指标之一，能为预测胎儿生长发育潜能提供重要的参考依据。

目前，临床中胎龄的计算方法主要有2种：

①根据末次月经计算胎龄。由于其计算方法简单，从20世纪80年代至今仍作为国际上计算胎龄的常用手段之一，在发展中国家其应用尤为普遍。但该方法存在诸多缺陷：末次月经时间不详、***不规律、***时间不确定、闭经、妊娠期出血和口服避孕药等原因会导致根据末次月经计算胎龄不可靠。

②超声检查计算胎龄。测量指标有妊娠早期的头臀长和妊娠中晚期的双顶径。头臀长的测量需要正确的胎儿姿势(正中位)且可重复性较差，一个很小的胎位偏差就会导致头臀长的测量出现偏差。关于双顶径的测量，我国正在使用的产前筛查软件中内嵌的双顶径胎龄估算公式多来自于白种人(高加索人)的双顶径数据，由于种族的差异性，软件内置的胎龄估算公式不一定适用于我国汉族孕妇，而目前中国大陆地区对于本种族在超声检查计算胎龄方面的研究甚少。国内文献、妇产科专著和各个医院所采用的超声与胎龄对照表差异较大，导致对同一名孕妇估算的胎龄不同，产前筛查计算的风险率也不一样。

探寻一种客观、敏感的胎龄评估方法对产科处理意义重大。随着核磁共振成像技术的发展和应用,其在胎儿发育监测中的作用越来越凸显。有研究分析胎儿额叶的MRI信号，探讨其与胎龄增长的变化规律；有研究认为胎儿肾上腺的大小与胎龄及胎儿体重存在正相关；有研究运用MRS(Magnetic Resonance Spectrum)探讨脑实质内的脂蛋白含量与胎龄的相关性；有研究认为胎儿脑实质不同区域ADC值与胎龄的关系，可以不同程度反映脑的发育情况。本发明主要解决判断胎儿大脑发育是否迟缓的问题。大脑半球在颅内发育时其表面积增加较颅骨快，大脑半球内各部发育速度不均，从而形成不同的脑沟和脑回。不同孕周脑沟回的出现时间和发育深度、宽度不同，因此，在临床核磁共振成像诊断中可以通过观察胎儿脑沟回的数量、深度和宽度来初步判断胎儿的孕龄。然而由于胎儿大脑发育到不同阶段尤其是孕晚期，脑沟回的数量多且不对称，仅凭肉眼极难做出精确的判断。因此，一种使用核磁共振成像来辅助医生判断胎儿发育状况的方法，已经成为目前学术界和工业界的急切需求。

发明内容

本发明提供了一种基于核磁共振成像的胎儿发育状况预测装置，结合脑部区域在多个维度上的不同特征，可以大大提升预测结果的准确性。

本发明的技术方案如下：

一种基于核磁共振成像的胎儿发育状况预测装置，包括:

脑部区域检测网络模块，用于对输入的腹部核磁共振3维图像中胎儿的脑部区域位置进行定位，输出为脑部区域的位置；

脑部区域多维度特征提取模块，用于对脑部区域3维图像xyz三个方向分别提取相关特征，然后把多个维度方向的特征图拼接起来作为输出，输出为脑部区域提取到的多维度特征图；

脑部区域特征分类网络模块，把多维度特征图投入到3D分类网络中进行分类预测，输出为输入样本图像的胎龄预测概率。

其中，所述脑部区域检测网络模块，使用SSD检测网络的改进版本，使得改进后的检测网络可以检测3维物体。

改进后的SSD检测网络包括依次连接的两个卷积核大小为3，通道数为64的3维卷积层；两个卷积核大小为3，通道数为128的3维卷积层；三个卷积核大小为3，通道数为256的3维卷积层；三个卷积核大小为3，通道数为512的3维卷积层；三个卷积核大小为3，通道数为512的3维卷积层；一个卷积核大小为3，通道数为1024的3维卷积层；一个卷积核大小为1，通道数为1024的3维卷积层；一个卷积核大小为1，通道数为256的3维卷积层；一个卷积核大小为3，通道数为512的3维卷积层；一个卷积核大小为1，通道数为128的3维卷积层；一个卷积核大小为3，通道数为256的3维卷积层；一个卷积核大小为1，通道数为128的3维卷积层；一个卷积核大小为3，通道数为256的3维卷积层；一个卷积核大小为1，通道数为128的3维卷积层；1个卷积核大小为3，通道数为256的3维卷积层以及一个卷积核大小为3，通道数为9*(6+2)的3维卷积层。

需要注意的是，本发明首先训练脑部区域检测网络模块，当脑部区域检测网络模块训练完成后，固定住该模块的所有参数，在接下来的训练中不再更新该模块参数。

这样设置下的改进SSD检测网络能够对输入的腹部核磁共振成像中的脑部区域进行很好的检测。该SSD检测网络的损失函数如公式(1)所示：

其中，α表示分类损失L_conf和定位损失L_loc之间的比例，本发明定为10，N表示训练样本中包含脑部区域的个数。

L_loc(x,l,g)表示定位损失函数，如公式(2)所示，其中x_ij ^k表示第i个预测框和第j个真实框关于类别k是否匹配，取值为1或者为0分别表示匹配与不匹配；l_i ^m表示为第i个预测框的中心位置的横(cx)、纵(cy)、高(cz)坐标，长(w)、宽(h)、高(z)与其所对应的默认框之间的差值，如l_i ^cx表示第i个预测框中心位置的横坐标与其所对应默认框中心位置横坐标的差值；表示第j个真实框的中心位置横(cx)、纵(cy)、高(cz)坐标，长(w)、宽(h)、高(z)与默认框之间的差值，如表示第j个真实框的中心位置横坐标与默认框的中心位置差值；分别表示第j个真实框的中心位置横(cx)、纵(cy)、高(cz)坐标，长(w)、宽(h)、高(z)；d_i ^cx、d_i ^cy、d_i ^cz、d_i ^w、d_i ^y、d_i ^z分别表示第i个默认框的中心位置横(cx)、纵(cy)、高(cz)坐标，长(w)、宽(h)、高(z)。

L_conf(x,c)表示分类损失函数，其中x_ij ^p第i个预测框和第j个真实框关于类别p是否匹配，取值为1或者为0分别表示匹配与不匹配；c_i ^p表示预测第i个区域属于p类别的概率；为的归一化表示；N表示特征区域个数。如公式(3)所示：

本发明中，脑部区域多维度特征提取模块包括：

多维度切分模块，用于把脑部区域的3D图像，按照x，y，z3个方向分别进行切分，在每个方向上都获得一组通道数是3的2D图像；

特征提取模块，用于提取每个方向上的2D图像的特征，输出为xyz三个方向的脑部区域特征图；

特征拼接模块，用于把xyz三个方向的脑部区域特征图拼接起来，输出为脑部区域提取到的多维度特征图。

其中，所述的特征提取模块包含3个独立的34层的2D残差网络，用于提取3个方向的特征图，所述的2D残差网络由2D残差单元序贯堆叠而成。

所述特征拼接模块的拼接步骤为：首先把x，y，z方向的特征图分别按照通道维度拼接起来，然后把这3个方向的到的拼接后的3个特征图变化到同样的大小，最后，把3个特征图相加。

本发明中的脑部区域特征分类网络模块采用了18层的3D残差网络。所述3D残差网络的结构包括依次相连的卷积滤波器尺寸为7×7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3×3、池化步长为2的最大池化层和4个卷积群，这4个卷积群均由2个残差单元组成。

每个残差单元均由2个卷积滤波器尺寸分别为3×3×3、3×3×3的卷积层组成，每个卷积群的第一个残差单元中的第一个卷积层的卷积步长为2，剩下的卷积步长均为1。每个残差单元中，进入第一个卷积层之前的特征图直接流向第二个卷积层之后并同第二个卷积层输出的特征图相加作为该残差模块的输出。

该18层3D残差网络的损失函数为如公式(4)所示的逻辑回归损失函数，其中x_i ^p表示第i个图像是否为第p个类别，取值为1或者为0分别表示预测正确与预测错误；N表示训练图像数量；c_i ^p表示预测第i张图片属于p类别的概率，为的归一化表示。

上述胎龄预测装置建立好以后，以如公式(4)所示的函数收敛为目标，利用大量的训练样本该装置训练，以确定能够较准确反映胎龄预测的装置参数，这样，该基于核磁共振成像的胎龄预测装置确定完毕，供后续对胎龄预测进行预测。

与现有技术相比，本发明具有的有益效果为：

本发明利用核磁共振成像，使用深度学习方法，检测胎儿脑沟回的数量、深度和宽度等特征来初步判断胎儿的孕龄，相比目前的技术更加准确。尤其是针对孕晚期，脑沟回的数量多且不对称，仅凭肉眼在核磁共振成像的观察，极难做出精确的判断的问题，提出了很好的解决方案。通过结合脑部区域在多个维度上的不同特征，大大提升了预测结果的准确性。

附图说明

图1为本发明一种基于核磁共振成像的胎儿发育状况预测装置结构示意图；

图2为本发明预测装置的脑部区域检测网络模块结构示意图；

图3为本发明预测装置的脑部区域多维度特征提取模块结构示意图；

图4为脑部区域多维度特征提取模块中多维度切分模块结构示意图；

图5为脑部区域多维度特征提取模块中特征拼接模块结构示意图；

图6为3D残差网络中残差单元的结构示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种基于核磁共振成像的胎儿发育状况预测装置，包括：

脑部区域检测网络模块，用于对输入腹部核磁共振3维图像中脑部区域位置的定位，输出脑部区域的位置；

脑部区域多维度特征提取模块，用于对脑部区域3维图像xyz三个方向分别提取相关特征，然后把多个维度方向的特征图拼接起来作为输出，输出为脑部区域提取到的多维度特征图；

脑部区域特征分类网络模块，把脑部区域提取到的多维度特征图投入到3D分类网络中进行分类预测，输出为输入样本图像的胎龄的预测概率。

本实施例中，脑部区域检测网络模块可以获得脑部区域的位置信息，通过位置信息把脑部区域从整个原始输入图像中切割出来，作为接下来模型的输入。脑部区域检测网络模块的具体结构参见图2。

脑部区域多维度特征提取模块的设计，是考虑到脑部是立体结构的，在xyz三个方向上大脑的特征是不相同的，分开提取特征可以得到更精细的特征，同时考虑到使用3维卷积提取特征运行速度较慢。因此，使用了多维度切分模块、特征提取模块以及特征拼接模块，具体参见图3。

多维度切分模块，用于把脑部区域的3D图像，按照xyz三个方向分别进行切分，在每个方向上都可以获得一组通道数是3的2D图像。参见图4，以z方向为例，沿着z方向首先在原始的3维图像上下各填充一层全0的切片，然后把相邻通道的3个切片作为一个独立的2维图像(012,123,234,345……)，这样在z方向上就获得一组通道数是3的2D图像。x，y方向同理。输出为3组2D图像；

特征提取模块，该模块有3个独立的34层的2D残差网络，残差网络主要由残差单元序贯堆叠而成，如图6所示。每个残差单元均由2个卷积滤波器尺寸分别为3×3、3×3，卷积步长均为1(每个卷积群的第一个残差单元中的第一个卷积层的卷积步长例外，为2)的卷积层组成。每个残差单元中，进入第一个卷积层之前的特征图还会直接流向第三个卷积层之后并同第三个卷积层输出的特征图相加后作为该残差单元的输出。每个独立的34层的2D残差网络整体的结构包括依次相连的卷积滤波器尺寸为7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3、池化步长为2的最大池化层和4个卷积群，这4个卷积群分别由3、4、6、3个残差单元组成。3个独立的34层的2D残差网络输入分别为x方向，y方向，z方向的2D图像，每一个2D残差网络可以提取一个方向的特征图。输出为x，y，z3个方向的3组脑部区域特征图；

特征拼接模块，参见图5，在x，y，z每个方向都可以获得一组脑部区域特征图，首先把x，y，z方向的特征图分别按照通道维度拼接起来，然后把这3个方向的到的拼接后的3个特征图变化到同样的大小，最后，把3个特征图相加作为模块的输出。输出为脑部区域提取到的多维度特征图。

脑部区域特征分类网络模块，考虑到装置的运算速度与精度的平衡，采用了18层的3D残差网络，残差网络主要由残差单元序贯堆叠而成，在残差网络的最后一层使用了输出单元为14的全连接层生成胎龄概率预测。如图6所示，每个残差单元均由2个卷积滤波器尺寸分别为3×3×3、3×3×3，卷积步长均为1(每个卷积群的第一个残差单元中的第一个卷积层的卷积步长例外，为2)的卷积层组成。每个残差单元中，进入第一个卷积层之前的特征图还会直接流向第三个卷积层之后并同第三个卷积层输出的特征图相加后作为该残差单元的输出。18层的3D残差网络整体的结构包括依次相连的卷积滤波器尺寸为7×7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3×3、池化步长为2的最大池化层和4个卷积群，这4个卷积群均由2个残差单元组成。残差单元脑部区域特征分类网络模块的输入是脑部区域提取到的多维度特征图，输出输入样本图像的胎龄的预测概率。

根据预测的胚胎的孕期和实际的孕期相比较，判断胚胎发育是否存在迟缓问题。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于核磁共振成像的胎儿发育状况预测装置，其特征在于，包括:

脑部区域检测网络模块，用于对输入的腹部核磁共振3维图像中胎儿的脑部区域位置进行定位，输出为脑部区域的位置；

脑部区域多维度特征提取模块，用于对脑部区域3维图像xyz三个方向分别提取相关特征，然后把多个维度方向的特征图拼接起来作为输出，输出为脑部区域提取到的多维度特征图；

脑部区域特征分类网络模块，把多维度特征图投入到3D分类网络中进行分类预测，输出为输入样本图像的胎龄预测概率。

2.根据权利要求1所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，所述的脑部区域检测网络模块使用改进的SSD检测网络，包括依次连接的两个卷积核大小为3，通道数为64的3维卷积层；两个卷积核大小为3，通道数为128的3维卷积层；三个卷积核大小为3，通道数为256的3维卷积层；三个卷积核大小为3，通道数为512的3维卷积层；三个卷积核大小为3，通道数为512的3维卷积层；一个卷积核大小为3，通道数为1024的3维卷积层；一个卷积核大小为1，通道数为1024的3维卷积层；一个卷积核大小为1，通道数为256的3维卷积层；一个卷积核大小为3，通道数为512的3维卷积层；一个卷积核大小为1，通道数为128的3维卷积层；一个卷积核大小为3，通道数为256的3维卷积层；一个卷积核大小为1，通道数为128的3维卷积层；一个卷积核大小为3，通道数为256的3维卷积层；一个卷积核大小为1，通道数为128的3维卷积层；1个卷积核大小为3，通道数为256的3维卷积层以及一个卷积核大小为3，通道数为9*(6+2)的3维卷积层。

3.根据权利要求1所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，所述的脑部区域多维度特征提取模块包括：

多维度切分模块，用于把脑部区域的3D图像，按照xyz三个方向分别进行切分，在每个方向上都获得一组通道数是3的2D图像；

特征提取模块，用于提取每个方向上的2D图像的特征，输出为xyz三个方向的脑部区域特征图；

特征拼接模块，用于把xyz三个方向的脑部区域特征图拼接起来，输出为脑部区域提取到的多维度特征图。

4.根据权利要求3所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，所述特征提取模块包含3个独立的34层的2D残差网络，用于提取3个方向的特征图，所述的2D残差网络由2D残差单元序贯堆叠而成。

5.根据权利要求1所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，所述脑部区域特征分类网络模块采用了18层的3D残差网络。

6.根据权利要求5所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，所述3D残差网络的结构包括依次相连的卷积滤波器尺寸为7×7×7、卷积步长为2的卷积层，池化滤波器尺寸为3×3×3、池化步长为2的最大池化层和4个卷积群，这4个卷积群均由2个残差单元组成。

7.根据权利要求6所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，每个残差单元均由2个卷积滤波器尺寸分别为3×3×3、3×3×3的卷积层组成，每个卷积群的第一个残差单元中的第一个卷积层的卷积步长为2，剩下的卷积步长均为1。

8.根据权利要求7所述的基于核磁共振成像的胎儿发育状况预测装置，其特征在于，每个残差单元中，进入第一个卷积层之前的特征图直接流向第二个卷积层之后并同第二个卷积层输出的特征图相加作为该残差模块的输出。