CN110766670A - 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法 - Google Patents

Abstract

一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法，用阈值法和形态学法对乳腺钼靶图像进行预处理，剔除水印信息和无信息区域，放大乳腺区域占图比例；全卷积神经网络结合多示例学习方法构建基础***结构；模型训练阶段的损失函数分为：利用图像级标签计算图像的良恶性二分类交叉熵损失；是利用少量定位框标签计算示例的良恶性二分类交叉熵损失，两者加权和得到总损失函数；利用基础***结构和总损失函数，以乳腺钼靶图像为输入，利用反向传导过程训练***模型参数，对输入进行预切割处理后，得到示例概率回归图和图像概率回归值，得出该输入图像的良恶性分类和肿瘤定位结果。本发明克服了先前仅利用图像级标签的方法肿块定位效果差的问题。

Description

一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法

技术领域

本发明涉及图像处理算法领域，尤其是一种融合图像级标签和少量定位框标签的基于深度卷积神经网络的乳腺钼靶图像良恶性分类和肿瘤定位的***及方法。

背景技术

世界卫生组织公布的数据显示，乳腺癌是世界上最常发生在女性身上的癌症。乳腺钼靶影像是一种常用的用于乳腺癌筛查的成像技术，医学专家通过人工分析钼靶影像中病变的特征(如：良性或恶性)来做出诊断。这种手工分析还需要更进一步的乳腺穿刺技术来得到更加正确的诊断结果。然而，放射科医生分析诊断既费时又有挑战性，敏感度和特异度在很大程度上取决于放射科医生的经验。因此，乳腺钼靶影像的自动理解在诊断中起着至关重要的作用。计算机辅助诊断***对于快速做出更准确的诊断是很有帮助的。

传统乳腺癌分类器采用了k近邻、逻辑斯特回归、支持向量机、决策树以及朴素贝叶斯等分类算法，针对人工设计特征进行癌症分类。随后出现了基于深度学习的分类算法，在目前的乳腺钼靶影像分类和检测任务中，深度卷积神经网络甚至表现出超越人类的性能。然而，在已有的方法中，都需要有大量的定位框或分割标签来训练模型，但这些标注数据需要有丰富的专家领域经验才能获得，成本代价很高。所以只需要利用图像级的分类标注和少量的定位、分割标注就能实现乳腺癌分类和定位具有十分重大的意义。

为了解决只利用图像级标注数据同时实现良恶性分类和病灶定位，在一些方法中提出采用多示例学习的思想，通过保留恶性示例的空间位置信息，从而获得病变的位置。在这些方法中，他们通过稀疏标签分配或定位网络使模型关注正确的病灶区域，从而实现分类和定位。虽然这些方法具有较好的分类性能，但定位性能较差。

发明内容

本发明目的在于提供一种融合图像级标签和少量定位框标签的基于深度卷积神经网络的乳腺钼靶图像良恶性分类和肿瘤定位算法。

为实现上述目的，采用了以下技术方案：本发明所述算法包括以下步骤：

S1，获取乳腺钼靶图像，采用阈值法和形态学法对乳腺钼靶图像进行预切割处理，剔除水印信息和无信息的黑色区域，放大乳腺区域的占图比例；

S2，采用全卷积神经网络结合多示例学习方法构建基础***结构，将多语义上下文特征融合与空洞残差操作块结合，嵌入基础***结构中，在保证***对图像语义信息有效提取的前提下，保留***对图像空间信息的感知，同时实现乳腺钼靶图像良恶性分类和肿瘤定位；

S3，模型训练阶段的损失函数分为两方面，其一是利用图像级标签计算图像的良恶性二分类交叉熵损失；其二是利用少量定位框标签计算示例的良恶性二分类交叉熵损失，两者进行加权和，得到总损失函数；

S4，利用S2中构建的基础***结构和S3设计的总损失函数，以S1获得的乳腺钼靶图像为输入，利用反向传导过程训练S2构建的***的模型参数；

S5，对输入的乳腺钼靶图像进行S1的预切割处理后，输入训练得到的***模型中，得到示例概率回归图和图像概率回归值，得出该输入乳腺钼靶图像的良恶性分类和肿瘤定位结果。

进一步的，在S2中，全卷积神经网络结合多示例学习方法构建的基础***结构抛弃了传统分类网络最后的全连接层，采用全卷积神经网络进行图像特征提取，获得通道维度为C，空间维度为W×h的语义特征图；再经过

个3×3的C维卷积核，得到

个W×h的语义特征图，经过ReLU激活函数进行非线性激活，再经过1个1×1的

维卷积核，得到1个W×h的语义特征图；接着经过逐示例的逻辑斯特回归，得到1个W×h的概率回归图；逐示例的逻辑斯特回归公式如下所示：

其中，n代表第n张输入图片，ij代表第i列第j行，

代表第n张输入图片的语义特征图在第i列第j行的概率回归值；经过逻辑斯特回归后每个示例的值被回归至[0,1]，代表各示例点为恶性肿块的概率，将概率回归图每个示例点按照空间位置对应关系还原至对应的原始图像块，概率值大于0.5的图像块即模型判定的恶性肿块区域，实现肿块定位；

对概率回归图进行最大值滤波，得到全图的良恶性分类概率结果，实现钼靶图像的良恶性分类；最大值滤波公式如下所示：

其中，pⁿ代表第n张输入图片的良恶性概率值。

为获得高语义特征和高空间信息，本算法在基础***结构上，引入了多语义上下文特征融合与空洞残差模块。空洞残差模块通过在模型的第四个基础残差块中引入空洞卷积操作，将基础残差块的移窗步长设置为1，除第一个卷积层外，设置剩余的卷积层为空洞为1的空洞卷积；多语义上下文特征融合将原始图像经过四个残差块获得的四个多维特征，通过多维特征映射到语义特征得到4个包含不同语义信息的上下文特征，其中不同尺寸的上下文特征通过最大值滤波统一尺寸，最后经过逐像素点相加得到融合语义特征图。

多语义上下文特征融合与空洞残差模块相结合，在增加输出特征空间分辨率的同时，保留了神经元的原始感受野，将空间信息和语义信息进行有效结合，使得模型同时具有良好的空间细节信息保留能力和高维语义理解能力，从而同时实现乳腺钼靶图像的良恶性分类和肿瘤定位。

进一步的，在S3中，损失函数分为两方面，其一利用图像级标签计算图像的良恶性二分类交叉熵损失，公式如下所示：

其中，yⁿ代表第n张图片的图像级分类标签，yⁿ∈{0，1}，当yⁿ＝0时，表示良性，当yⁿ＝1时，表示恶性；

其二，利用少量定位框标签计算示例的良恶性二分类交叉熵损失，公式如下所示：

其中，

代表第n张图片的定位标注图在第i列第j行的分类标签，当

时，表示良性，当

时，表示恶性；

最终总损失函数为上述两者的加权和，公式如下所示：

其中，a_n＝1表示第n个样本带有定位标注，反之则a_n＝0；β是平衡因子，β∈[0，1]；

通过反向传导过程实现模型参数训练，迭代更新直至损失值足够小时，认为模型收敛，停止训练。

与现有技术相比，本发明算法具有如下优点：

1、设计一个嵌入了多语义上下文特征融合与空洞残差操作的基于多示例学习的全卷积神经网络***，将预分割处理后的乳腺钼靶图像输入该***，利用图像级标签和少量定位框标签训练得到相应的参数，得到一个可用于乳腺钼靶图像良恶性分类和肿瘤定位的计算机辅助诊断***。

2、通过结合多语义上下文特征融合和空洞残差操作，保留了模型的空间细节信息和语义理解信息，通过结合基于图像的分类损失函数和基于示例的分类损失函数，同时引入图像级标签和少量定位框标签来训练模型参数，克服了先前仅利用图像级标签的方法肿块定位效果差的问题。

3、在模型训练迭代过程中不需要大量定位框标签，降低了数据获取成本，加速模型更新速度。

附图说明

图1是本发明的模型框架图。

图2是本发明基于示例的分类损失函数使用的定位标注图。

图3是本发明六种方法在不同IOR阈值条件下的定位准确率变化趋势以及对比。

图4是本发明方法不使用带定位标注样本、加入10张带定位标注样本和加入20张带定位标注样本参与训练情况下，在IOR为0.1、0.2和0.3条件下的定位准确率变化趋势图。

具体实施方式

下面结合附图对本发明做进一步说明：

本发明实施例包括以下步骤：

步骤1：采用阈值法和形态学法对乳腺钼靶图像进行预切割处理，剔除水印信息和大量无信息的黑色区域，放大乳腺区域的占图比例。

由于钼靶图像成像特性，图像除了乳腺部分外还有很大的黑色区域，其中带有成像信息，这部分区域是无用的，预处理过程将采用形态学法和阈值法剔除掉这部分，保证乳腺部分充盈整副图像。在训练阶段，模型需统一图像尺度大小，本发明在训练时统一图像尺度为672×448。

步骤2：搭建整体网络***结构，输入预分割处理后的钼靶图像进行模型参数训练。

网络主体是四级卷积残差模块，其中最后一级卷积残差模块为空洞残差模块，每级卷积残差模块输出不同语义不同尺度的多维特征，前三级输出的特征空间大小是逐级递减的，前级为后级的四倍，最后一级特征大小与第三级相同。

将获得的四份不同语义不同尺度的多维特征通过多维特征映射到语义特征，得到四个包含不同语义信息的上下文特征，不同尺度的上下文特征通过最大值滤波操作统一尺寸，最后经过逐像素点相加输出融合语义特征。

融合语义特征经过逐示例逻辑斯特回归输出概率回归图，对概率回归图进行最大值滤波获得图像的分类概率回归值。

针对概率回归图，采用基于示例的分类损失函数，公式如下所示：

图2示出了该损失函数使用的标签样例。

针对概率回归值，采用基于图像的分类损失函数，公式如下所示：

最后将两个损失函数加权求和得到总损失函数，公式如下所示：

其中α_n＝1表示第n个样本带有定位标注，反之则α_n＝0。β是可选损失的平衡因子，β∈[0，1]。

利用总损失函数的反向传导实现模型参数更新，直至损失值降至足够小时，认为网络收敛，停止训练。

步骤3：输入乳腺钼靶图像进行良恶性分类和肿瘤定位。

首先对输入测试图像进行步骤1的预分割处理，由于***是全卷积神经网络，测试时不需要固定输入尺度，本发明在测试时将输入图像大小按照如下公式进行变换：

所得测试图像的长和宽均为16的倍数。再将变换大小后的图像输入训练好的模型中获得概率回归图和概率回归值。将概率回归图上的每个示例点的概率值对应回原图上的图像块，概率值大于0.5的为肿瘤，小于0.5的为正常，从而获得肿瘤的定位输出；概率回归值大小代表输入测试图像的良恶性概率，概率值大于0.5表示图像预测为恶性，小于0.5表示图像预测为良性。

为了更好地阐明其有效性，在此展示算法在公开数据集Inbreast上的一些结果。

图3显示了六种方法在不同IOR阈值条件下的定位准确率变化趋势以及对比图。如图3所示，当IOR阈值增大时，所有方法的定位准确率都降低了。当T(IOR)＝0.1时，包括最基础的‘FC’方法都能达到较高的定位准确率，当T(IOR)升高时，有些方法准确率开始急剧下降，可以看出，‘MIL+MS’和‘MIL+Dilated’的下降趋势比‘MIL’和‘FC’更加平缓，说明引入多语义上下文特征融合和空洞残差模块带来了定位性能的提升。‘MIL+ODL’变化曲线反映出引入少量带定位标注样本参与训练也可以很大程度提高定位准确率。

图4显示了不使用带定位标注样本、加入10张带定位标注样本和加入20张带定位标注样本参与训练情况下，本发明的算法在IOR阈值为0.1、0.2和0.3条件下的定位准确率变化趋势。可以看出，仅加入10张带定位标注的样本就可以将定位准确率提高将近10％，在T(IOR)越大的情况下，提升的越明显。但在加入20张带定位标注样本后，定位准确率变化变缓，说明再多加入定位标注样本已经无法带来更大的性能提升。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法，其特征在于，所述算法包括以下步骤：

S1，获取乳腺钼靶图像，采用阈值法和形态学法对乳腺钼靶图像进行预切割处理，剔除水印信息和无信息的黑色区域，放大乳腺区域的占图比例；

S2，采用全卷积神经网络结合多示例学习方法构建基础***结构，将多语义上下文特征融合与空洞残差操作块结合，嵌入基础***结构中，在保证***对图像语义信息有效提取的前提下，保留***对图像空间信息的感知，同时实现乳腺钼靶图像良恶性分类和肿瘤定位；

S3，模型训练阶段的损失函数分为两方面，其一是利用图像级标签计算图像的良恶性二分类交叉熵损失；其二是利用少量定位框标签计算示例的良恶性二分类交叉熵损失，两者进行加权和，得到总损失函数；

S4，利用S2中构建的基础***结构和S3设计的总损失函数，以S1获得的乳腺钼靶图像为输入，利用反向传导过程训练S2构建的***的模型参数；

S5，对输入的乳腺钼靶图像进行S1的预切割处理后，输入训练得到的***模型中，得到示例概率回归图和图像概率回归值，得出该输入乳腺钼靶图像的良恶性分类和肿瘤定位结果。

2.根据权利要求1所述的一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法，其特征在于：在S2中，采用全卷积神经网络进行图像特征提取，获得通道维度为C，空间维度为W×h的语义特征图；再经过个3×3的C维卷积核，得到

个W×h的语义特征图，经过ReLU激活函数进行非线性激活，再经过1个1×1的

维卷积核，得到1个W×h的语义特征图；接着经过逐示例的逻辑斯特回归，得到1个W×h的概率回归图；逐示例的逻辑斯特回归公式如下所示：

其中，n代表第n张输入图片，ij代表第i列第j行，pⁿ _ij代表第n张输入图片的语义特征图在第i列第j行的概率回归值；经过逻辑斯特回归后每个示例的值被回归至[0,1]，代表各示例点为恶性肿块的概率，将概率回归图每个示例点按照空间位置对应关系还原至对应的原始图像块，概率值大于0.5的图像块即模型判定的恶性肿块区域，实现肿块定位；

对概率回归图进行最大值滤波，得到全图的良恶性分类概率结果，实现钼靶图像的良恶性分类；最大值滤波公式为：

其中，pⁿ代表第n张输入图片的良恶性概率值。

3.根据权利要求1所述的一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法，其特征在于：在S3中，损失函数分为两方面，其一利用图像级标签计算图像的良恶性二分类交叉熵损失，公式如下所示：

其中，yⁿ代表第n张图片的图像级分类标签，yⁿ∈{0，1}，当yⁿ＝0时，表示良性，当yⁿ＝1时，表示恶性；

其二，利用少量定位框标签计算示例的良恶性二分类交叉熵损失，公式如下所示：

其中，代表第n张图片的定位标注图在第i列第j行的分类标签，

当

时，表示良性，当

时，表示恶性；

最终总损失函数为上述两者的加权和，公式如下所示：

其中，a_n＝1表示第n个样本带有定位标注，反之则a_n＝0；β是平衡因子，β∈{0，1}；

通过反向传导过程实现模型参数训练，迭代更新直至损失值足够小时，认为模型收敛，停止训练。

Images