CN109919216B - 一种用于计算机辅助诊断***癌的对抗学习方法 - Google Patents

Abstract

本发明公开了一种用于计算机辅助诊断***癌的对抗学习方法，该方法使用多个病人的***MR图像和对应的人工分割图作为训练数据集，构造包括分割器和判别器的对抗网络，让其进行对抗训练，通过多次迭代更新得到优化后的分割器，然后将待分割的***MR图像输入训练好的分割器中，从而获得最终的分割结果，实现***MR图像的自动分割，为医生分割病人***组织提供参考，能够在一定程度上有效提高医生对***疾病的诊断准确性和工作效率。

Description

一种用于计算机辅助诊断***癌的对抗学习方法

技术领域

本发明涉及深度学习方法领域，具体是一种用于计算机辅助诊断***癌的对抗学习方法。

背景技术

***癌是几十年来最常见的癌症之一，对老年男性的健康问题造成了很大的威胁。为了在临床上诊断***癌，以及后续的治疗方案的制定，首先需要医生对病变组织从整个MR图像中分离出来以区分***组织与周围的组织器官。然而经验丰富的放射科医师的手工分割是基于目视检查，逐幅图像的分割，这个过程不仅费时费力，而且不适用于大样本的数据。在计划治疗时，***组织的边界应该越精确越好，然而由于***组织与相邻结构的对比度低，导致其边界难以区分，每位患者的***组织的大小，形状，位置都各不相同，而且在MR图像中属于***组织的区域很小，可用的有效信息较少。因此***MR图像的分割成为一项具有挑战性的工作。

基于对抗学习方法的***组织分割技术，是指用***MR图像训练一个包含分割器和判别器的对抗网络模型，用训练好的模型来对***MR图像进行自动分割，这种自动分割技术应用到临床诊断中，相比于人工分割，耗时更少，精度也更高，使分割效率大幅提升，会更好的辅助医生对病人的病情进行诊断以及更高效率的规划治疗方案。

发明内容

本发明的目的是提供一种用于计算机辅助诊断***癌的对抗学习方法，以解决现有技术对***组织分割精度低、耗时高的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种用于计算机辅助诊断***癌的对抗学习方法，其特征在于：构造包括分割器和判别器的对抗网络，将原始***MR图像和对应的人工分割图作为训练数据，对构造的对抗网络进行对抗训练，通过多次迭代更新得到优化后的分割器，然后将待分割的***MR图像输入训练好的分割器中，从而获得最终的分割结果，其步骤如下：

(1)、选取多个病人的***MR图像作为训练数据集，首先将训练数据集包含的不同尺寸的图片通过尺度变化的方式调整为统一的尺寸，然后对训练图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的方式来扩展训练数据集；

(2)、固定分割器，利用损失函数计算出的梯度对判别器进行一步训练，损失函数为对抗损失与在分割器上的BCE损失的和，对抗损失的表达式如下：

BCE损失的表达式如下：

其中，x代表原始的***图片，y代表对应的人工分割标签图，S代表分割器，D代表判别器，

表示图像对(x,y)的对数似然的期望。为了使判别器做出正确的判断，需要最大化D(x,y)，同时最小化D(x,S(x))，为了防止判别器做出正确的判断，分割器会产生更接近于人工分割标签的分割结果。BCE损失是通过惩罚标签图与输出分割结果之间的距离来定义的，最小化该损失函数也可以使分割器产生更接近于标签的分割结果。因此，最后采用的损失函数为：

其中，λ是均衡两个损失的参数，判别器的的目标是判断分割图是人工分割的标签还是由分割器产生的分割图，其输入是两个图像对，分别是***MR图像+分割器产生的分割结果、***MR图像+对应的人工分割标签。判别器的网络结构包括10个卷积层+BatchNorm层+ReLU激活函数层，4个最大池化层，1个全局平均池化，1个全连接以及Sigmoid激活函数，输出0或者1，0表示图像来自分割器产生的分割结果，1表示图像来自人工分割标签；

(3)、判别器训练完后，固定判别器，激活分割器，使用从判别器传递到分割器的相同损失函数计算出的梯度对分割器进行一步训练。分割器网络由预训练模型、RFB模块和上采样层组成。通过微调预训练模型的参数从训练图像的特征图中提取多级上下文信息，然后将预训练模型产生的特征图送入RFB模块中来提取深度特征的多尺度信息，提高特征的可识别性和鲁棒性。RFB的总体结构是一个多路径的卷积块，每条路径主要由两部分组成：不同卷积核的卷积层和扩张卷积层。多路径的不同大小的卷积核用来提取多尺度信息，每条路径的扩张卷积层具有不同的扩张因子，这种结构的作用是在不改变输出特征图尺寸的情况下，增加输出特征图的感受野。最后，对RFB输出的多尺度特征进行双线性上采样，使低维特征被上采样到与原始输入的***MR图像相同的尺寸，然后得到需要的分割结果；

(4)、重复步骤(2)和(3)，整个网络通过一个交替优化分割器和和判别器之间的极大极小方案进行协同训练，经过1000次的迭代得到训练好的网络；

(5)、将待分割的病人的***MR图像输入进步骤(4)中得到的训练好的网络中，由分割器输出分割结果，将此结果与正常的影像学形态进行对比，给出辅助诊断信息，从而应用于***癌的诊断中。

本发明在对已有人工分割图的***MR图像数据进行训练的基础上，对病人的***MR图像进行分割，得到所需的***组织区域，根据分割结果辅助医生对病人的***组织情况进行诊断，提高了诊断准确率和诊断效率，同时减轻了医生的工作量，提高了医生的工作效率，该技术可用于对***癌的辅助诊断。

本发明中，由分割器和判别器组成的对抗网络，通过一个最大—最小化损失函数的对抗训练的过程，同时优化分割器和判别器。分割器在优化过程中尽量产生无法使判别器分辨出来的分割结果，判别器在优化过程中尽量分辨出输入的分割图是来自分割器产生的结果还是人工分割的标签图像。训练过程结束，得到一个最优分割器来对***MR图像进行分割，提高了分割准确率。

本发明使用预训练网络和RFB模块的方法来提取特征。预训练网络可以降低由于训练数据集小而出现的过拟合现象，同时微调预训练网络的参数可以加速模型收敛的速度。RFB模块由于其多分支的结构，可以提取深度特征的多尺度信息，提高特征的分辨性能和鲁棒性。

本发明的有益效果是：

本发明通过多个病人的***MR图像数据和对应的人工分割图，对由分割器和判别器组成的对抗网络进行训练，通过多次迭代更新得到一个稳定的最优分割器，从而实现***MR图像的自动分割，辅助***癌的临床诊断，有效提高分割精度，提高诊断准确率和效率。

附图说明

图1是本发明的实现流程框架图。

图2中的(a)为原始待分割的***MR图像；(b)为(a)对应的人工分割图；(c)为用本发明的方法对(a)处理得到的分割结果图。

图3为六例不同病人的***分割的结果对比。图中灰色线表示人工分割结果，白色线表示本发明的分割结果。经过比较，本发明提出的分割方法非常接近人工分割结果。

具体实施方式

如图1所示，一种用于计算机辅助诊断***癌的对抗学习方法，过程如下：

(1)、选取45个病人的686张***MR图像以及对应的***组织的人工分割图作为训练数据集，首先对数据集进行预处理，将训练数据集包含的不同尺寸的图片通过尺度变化的方式调整为统一的尺寸，然后对训练图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的方式来扩展训练数据集；

(2)、固定分割器，利用损失函数计算出的梯度对判别器进行一步训练，损失函数为对抗损失与在分割器上的BCE损失的和，对抗损失的表达式如下：

BCE损失的表达式如下：

其中，x代表原始的***图片，y代表对应的人工分割标签图，S代表分割器，D代表判别器，

表示图像对(x,y)的对数似然的期望。为了使判别器做出正确的判断，需要最大化D(x,y)，同时最小化D(x,S(x))，为了防止判别器做出正确的判断，分割器会产生更接近于人工分割标签的分割结果。BCE损失是通过惩罚标签图与输出分割结果之间的距离来定义的，最小化该损失函数也可以使分割器产生更接近于标签的分割结果。因此，最后采用的损失函数为：

其中，λ是均衡两个损失的参数，判别器的的目标是判断分割图是人工分割的标签还是由分割器产生的分割图，其输入是两个图像对，分别是***MR图像+分割器产生的分割结果、***MR图像+对应的人工分割标签。判别器的网络结构包括10个卷积层+BatchNorm层+ReLU激活函数层，4个最大池化层，1个全局平均池化，1个全连接以及Sigmoid激活函数，输出0或者1，0表示图像来自分割器产生的分割结果，1表示图像来自人工分割标签；

(3)、判别器训练完后，固定判别器，激活分割器，使用从判别器传递到分割器的相同损失函数计算出的梯度对分割器进行一步训练。分割器网络由预训练模型、RFB模块和上采样层组成。通过微调预训练模型的参数从训练图像的特征图中提取多级上下文信息，然后将预训练模型产生的特征图送入RFB模块中来提取深度特征的多尺度信息，提高特征的分辨性能和鲁棒性。RFB的总体结构是一个多路径的卷积块，每条路径主要由两部分组成：不同卷积核的卷积层和扩张卷积层。多路径的不同大小的卷积核用来提取多尺度信息，每条路径的扩张卷积层具有不同的扩张因子，这种结构的作用是在不改变输出特征图尺寸的情况下，增加输出特征图的感受野。最后，对RFB输出的多尺度特征进行双线性上采样，使低维特征被上采样到与原始输入的***MR图像相同的尺寸，然后得到需要的分割结果；

(4)、重复步骤(2)和(3)，整个网络通过一个交替优化分割器和和判别器之间的极大极小方案进行协同训练，经过1000次的迭代得到训练好的网络；

(5)、将待分割的病人的***MR图像输入进步骤(4)中得到的训练好的网络模型中，由分割器输出分割结果(见附图2(c))，将此结果与正常的影像学形态(见附图2(b))进行对比，给出辅助诊断信息，从而应用于***癌的诊断中。图2(a)为原始待分割的***MR图像，图3为六例不同病人的***分割的结果对比，图2与图3中的图片来自于MICCAI2012数据集。

Claims (1)

1.一种用于计算机辅助诊断***癌的对抗学习方法，其特征在于：构造包括分割器和判别器的对抗网络，将原始***MR图像和对应的人工分割图作为训练数据，对构造的对抗网络进行对抗训练，通过多次迭代更新得到优化后的分割器，然后将待分割的***MR图像输入训练好的分割器中，从而获得最终的分割结果，其步骤如下：

(1)、选取多个病人的***MR图像作为训练数据集，首先将训练数据集包含的不同尺寸的图片通过尺度变化的方式调整为统一的尺寸，然后对训练图片采用水平和垂直翻转以及调节亮度、对比度、饱和度的方式来扩展训练数据集；

(2)、固定分割器，利用损失函数计算出的梯度对判别器进行一步训练，损失函数为对抗损失与在分割器上的BCE损失的和，对抗损失的表达式如下：

BCE损失的表达式如下：

其中，x代表原始的***图片，y代表对应的人工分割标签图，S代表分割器，D代表判别器，

表示图像对(x,y)的对数似然的期望；为了使判别器做出正确的判断，需要最大化D(x,y)，同时最小化D(x,S(x))，为了防止判别器做出正确的判断，分割器会产生更接近于人工分割标签的分割结果；BCE损失是通过惩罚标签图与输出分割结果之间的距离来定义的，最小化该损失函数使分割器产生更接近于标签的分割结果；因此，最后采用的损失函数为：

其中，λ是均衡两个损失的参数，判别器的目标是判断分割图是人工分割的标签还是由分割器产生的分割图，其输入是两个图像对，分别是***MR图像与分割器产生的分割结果组成的图像 对、***MR图像与对应的人工分割标签组成的图像对；判别器的网络结构包括10个卷积层、BatchNorm层以及ReLU激活函数层，4个最大池化层，1个全局平均池化，1个全连接以及Sigmoid激活函数，输出0或者1，0表示图像来自分割器产生的分割结果，1表示图像来自人工分割标签；

(3)、判别器训练完后，固定判别器，激活分割器，使用从判别器传递到分割器的相同损失函数计算出的梯度对分割器进行一步训练；分割器网络由预训练模型、RFB模块和上采样层组成；通过微调预训练模型的参数从训练图像的特征图中提取多级上下文信息，然后将预训练模型产生的特征图送入RFB模块中来提取深度特征的多尺度信息，提高特征的分辨性能和鲁棒性；RFB的总体结构是一个多路径的卷积块，每条路径由两部分组成：不同卷积核的卷积层和扩张卷积层；多路径的不同大小的卷积核用来提取多尺度信息，每条路径的扩张卷积层具有不同的扩张因子，这种结构的作用是在不改变输出特征图尺寸的情况下，增加输出特征图的感受野；最后，对RFB输出的多尺度特征进行双线性上采样，使低维特征被上采样到与原始输入的***MR图像相同的尺寸，然后得到需要的分割结果；

(4)、重复步骤(2)和(3)，整个网络通过一个交替优化分割器和判别器之间的极大极小方案进行协同训练，经过1000次的迭代得到训练好的网络；

(5)将待分割的病人的***MR图像输入进步骤(4)中得到的训练好的网络中，由分割器输出分割结果，将此结果与正常的影像学形态进行对比，给出辅助诊断信息，从而应用于***癌的诊断中。

Images