CN111986177B - 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法 - Google Patents

Abstract

本发明属于CT图像目标检测领域，具体技术方案为：一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，具体步骤如下：一、获得胸部肋骨骨折数据集；二、对数据集进行训练，训练过程分为以下步骤：1)、将数据集送入预处理模块进行预处理；2)、特征提取网络提取初级特征；3)、多尺度Inception模块提取多尺度特征，并对不同尺度特征进行重新组合；4)、级联角点池化预测模块预测关键点，并输出对应的热点图/连接矢量/偏移量；5)、通过整体损失函数对关键点的热点图/连接矢量/偏移量进行约束；三、对胸部肋骨骨折数据集进行测试，根据预测的左上角、右下角、中心关键点的参数进行目标分类和定位，分类准确度高，定位精度高。

Description

一种基于注意力卷积神经网络的胸部肋骨骨折检测方法

技术领域

本发明属于CT图像目标检测技术领域，具体涉及一种基于注意力卷积神经网络的胸部肋骨骨折检测方法。

背景技术

肋骨骨折是一种由不同外界直接暴力或间接暴力(如胸部收到前后挤压等)作用方式造成的肋骨断端向内向外移位或者粉碎的病理现象，它是日常生活中(如体育锻炼、高空坠落、各类刑事案件、交通事故等)经常出现的一种严重的胸部创伤。

肋骨骨折是患者外伤后胸痛、产生液气胸的主要原因，会给患者带来强烈的疼痛感；另外，骨折形态复杂多样，给骨折诊断造成了一定的困难。医生若要及时给患者找到一种最佳治疗方案，需要一个准确的病理判断；肋骨的骨折病变一定程度上会诱发其邻近结构如肺部、胸腔、纵膈的病变，快速精确诊断肋骨骨折对治疗其他部位疾病有积极的作用；另外，肋骨骨折诊断是司法鉴定、保险理赔等的重要证据。基于上面这些原因，准确诊断肋骨骨折的部位及数量对判断伤残程度、骨折分型、伤害级数、提高医疗诊治水平、避免医疗纠纷有非常重要的意义。

临床上最常用的胸部外伤诊断依据是计算机断层成像(ComputerizedTomography,CT)。目前，商用或者临床上使用的CT设备拍摄出来的CT图像清晰度较高，与常规X线片相比，CT片能够准确获得肋骨骨折的详细情况，如骨折的数目及具体部位，并也可以评估邻近组织结构的损伤。一个有3年临床经验的大夫通过阅读此种高清晰度CT图像就能对骨折类型及伤害程度有一个准确的诊断。然而，目前医院或司法机构在做肋骨骨折诊断或治疗的时候，非常依赖于CT图像的拍摄质量和医生的经验。一个没有临床经验的人会对肋骨骨折诊断不准确，一个有临床经验的大夫对肋骨骨折做出诊断时，需要耗2-3分钟、需要来回比对，诊断过程非常耗时且繁琐。另外，人工阅片受阅片疲劳、肋骨骨折数量及其解剖学非标准平面分布等因素的影响，漏诊率较高。因此亟需研究出一种快速准确的自动肋骨骨折识别技术，使患者尽早实施手术治疗。

2006年，Geoffrey Hinton教授首次提出了深度学习(Deep Learning,DL)的概念，深度学习是一种让计算机自动学习出模式特征的方法。与传统算法相比，深度学习技术具备强大的特征提取能力，依托大量的样本数据可以获得深层的特征，具有更强的鲁棒性和泛化能力，在多种图像处理领域表现优异。近年，也成了乳腺癌、肺结节、肺肿瘤预测等领域的研究热点。

CornerNet和CenterNet是深度学习类目标检测方法中的最新研究成果，在很多目标检测任务中表现良好。但是将它们直接应用于胸部肋骨骨折检测还存在以下问题：首先，胸部肋骨骨折检测属于小尺度目标检测问题(整幅胸部CT图像大小为1176×1194，骨折大小约在50×50-100×100左右，骨折位置所占区域在整幅图像中占比很小)，骨折形态复杂多样且与周围背景相似度大，直接用HourglassNet提取特征效果不佳；其次，CenterNet的优点是在CornerNet的基础上补充了几何中心点特征，而胸部肋骨骨折的几何中心点往往特征稀疏，因此用CenterNet提取的肋骨骨折特征表达能力弱，导致骨折的检出率和分类准确度得不到保障。

发明内容

为解决现有技术存在的技术问题，本发明提供了一种胸部肋骨骨折检测方法，通过对胸部CT图像进行检测，识别出图像中所包含的所有肋骨骨折类型，并对骨折的位置进行标注，并标出具体边界框，边界框的准确性较高。

为实现上述目的，本发明所采用的技术方案为：一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，采用注意力模块来捕捉中心区域中最能表达语义信息的有效特征点，来提高骨折的检出率和分类准确度；添加多尺度Inception块有效地提取形态复杂多样的肋骨骨折特性，提高对超小目标胸部肋骨骨折的检测准确率。

具体步骤如下：

步骤一、CT扫描机对胸部进行扫描，获取胸部肋骨骨折数据，对胸部肋骨骨折数据进行类别分类、人工标注、格式转换操作，获得胸部肋骨骨折数据集。

步骤二、对胸部肋骨骨折数据集进行训练，训练过程具体分为以下步骤：

1)、将胸部肋骨骨折数据集送入预处理模块进行预处理；

2)、预处理后的图像送入特征提取网络进行初级特征提取；

3)、初级特征提取后的图像送入多尺度Inception模块进行多尺度特征提取，并对不同尺度特征进行重新组合；

4)、重组后的图像送入级联角点池化预测模块，预测待检测目标的左上角、右下角关键点，并分别输出热点图、连接矢量和偏移量；

重组后的图像送入中心池化预测模块，预测待检测目标的中心点，并分别输出偏移量和热点图，中心点热点图通过注意力模块处理；

5)、通过整体损失函数对角点的热点图/连接矢量/偏移量、中心点的偏移量/热点图进行约束；

步骤三、对胸部肋骨骨折数据集进行测试：

1)、将胸部肋骨骨折数据集送入预处理模块进行预处理；

2)、预处理后的图像送入特征提取网络进行初级特征提取；

3)、初级特征提取后的图像送入多尺度Inception模块进行多尺度特征提取，并对不同尺度特征进行重新组合；

4)、重组后的图像送入级联角点池化预测模块，预测待检测目标的左上角、右下角关键点，并分别输出热点图、连接矢量和偏移量；

重组后的图像送入中心池化预测模块，预测待检测目标的中心点，并分别输出偏移量和热点图，中心点热点图通过注意力模块处理；

5)、中心点热点图通过注意力模块处理，并对预测的左上角、右下角、中心关键点的参数进行目标分类和定位。

其中，用热点损失函数对热点图进行约束，用连接矢量损失函数对连接矢量进行约束，用偏移损失函数对偏移量进行约束。

多尺度Inception模块包括四个分支，其中的三条分支采用大小为1×1的卷积核进行卷积，采用大小为3×3的卷积核对卷积的结果进行卷积操作；另一条分支采用大小为3×3的池化核进行池化，采用大小为1×1的卷积核对池化的结果进行卷积操作；四条支路卷积后的结果输入卷积层进行数据降维。

注意力模块包括三个支路，第一支路采用大小为1×1的卷积核对输入图像进行卷积并得到特征图f(x)，第二支路采用大小为1×1的卷积核对输入图像进行卷积并得到特征图g(x)，计算特征图f(x)和g(x)的自相关系数，得到特征图像素权重值分布图；第三支路采用大小为1×1的卷积核对输入图像进行卷积并得到特征图h(x)，特征图h(x)与特征图像素权重值分布图相乘得到对应的自注意力机制特征图，找到权重最大的点即最能突显特征的响应点，通过调制因子α把自注意力机制特征图叠加到原输入特征图上得到输出。

整体损失函数包括角点位置损失、注意力点位置损失、嵌入损失、角点补偿和注意力点补偿损失，具体表达如下：

其中，α＝β＝0.1，γ＝1；

表示角点位置，/>

表示注意力点位置损失，/>

表示嵌入损失，

用来缩小属于同一个目标的两个角点的连接矢量距离，/>

用来扩大不属于同一个目标的两个角点的连接矢量距离，/>

表示角点的补偿损失；/>

表示注意力点的补偿损失。

本发明对CenterNet(基于三个关键点进行目标检测的网络模型)固有结构进行了改进，使之适应胸部肋骨骨折检测：

一、在特征提取方面，考虑到肋骨骨折属于超小尺度目标、骨折形态复杂多样且与周围背景相似度大，本发明的检测网络保留了HourglassNet结构，用其进行初步特征提取后，将特征图输入能够进行多尺度特征提取的Inception模块，能够在对肋骨骨折特征进行有效提取的同时，提高对超小目标的检测准确率。

二、本发明在预测模块设计了一个注意力子网络用以自适应估计肋骨骨折的中心区域的有效特征点，并根据估计出的中心特征点与左上角、右下角关键点确定目标类别和边界框位置，定位精度高。

附图说明

图1为肋骨骨折检测网络整体架构示意图。

图2为多尺度Inception块示意图。

图3为注意力模块的示意图。

图4为胸部肋骨骨图像中常见的几种骨折CT图像。

图5为检测到的broken1肋骨图像，缺陷位置处于小方框内。

图6为检测到的broken2肋骨图像，缺陷位置处于小方框内。

图7为检测到的broken3肋骨图像，缺陷位置处于小方框内。

图8为检测到的broken4肋骨图像，缺陷位置处于小方框内。

图9为检测到的broken5肋骨图像，缺陷位置处于小方框内。

图10为不同检测模型检测到三个缺陷的准确柱状图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，包括以下步骤：

步骤一、采用CT扫描机对胸部进行扫描，获取胸部肋骨骨折数据；

步骤二、对胸部肋骨骨折数据进行类别分类、人工标注、格式转换操作，获得胸部肋骨骨折数据集；

步骤三、对胸部肋骨骨折数据集进行训练；

步骤四、对胸部肋骨骨折数据集进行测试。

训练过程具体分为以下步骤：

1)、把胸部肋骨骨折数据集送入预处理模块进行预处理；

2)、将肋骨骨折图像先送入HourglassNet(一种对称编解码结构的沙漏网络)，进行初级特征提取；

3)、再送入多尺度Inception模块(GoogleNet网络的基础块)，进行多尺度特征提取，对不同尺度特征进行重新组合；

4)、在级联池化预测模块，预测待检测目标的左上角、右下角关键点，分别输出它们的热点图、连接矢量和偏移量；

5)、在中心池化预测模块，预测对待检测目标的中心点，特别地，在中心点预测方面采用注意力子网来提取最能表达目标中心特征的敏感点，输出热点图、连接矢量和偏移量；

6)、用热点损失、连接矢量损失和偏移损失来对网络进行约束。

测试过程与训练过程基本相同，区别在于：步骤六为根据预测的左上角、右下角、中心关键点的参数进行目标分类和定位。

其中，多尺度inception模块具体结构如下：

为了提高网络对胸部肋骨骨折的检测精度，特征提取模块包括HourglassNet和多尺度Inception模块两部分。由于沙漏型HourglassNet是编解码结构的特征提取网络，其对肋骨骨折的初步特征提取保证了网络对肋骨骨折的检出度；此外，多尺度Inception模块的引入，使得网络能够在计算代价较小的情况下，增大感受野，同时提取图像的底层特征和高层语义特征，进而提高了网络对超小目标的检测准确度。

如图2所示，多尺度Inception结构分为4个分支，首先，为了同时获得多种尺度的特征，分别采用大小为1×1的卷积核和大小为3×3的池化核对输入图像进行卷积和池化操作，然后分别采用大小为3×3的卷积核对卷积的结果进行卷积操作，采用大小为1×1的卷积核对池化的结果进行卷积操作；其次，将所提取的不同尺度特征进行融合后输入卷积层，卷积层由一个瓶颈层(卷积核大小为1×1)、一个批量归一化层(BatchNorm，BN)及一个激活函数层(Relu)组成。采用大小为1×1的卷积核所进行的卷积操作可以看作对输入通道进行线性变换，这种操作可以实现数据降维，提高了网络的特征表征能力，增加了网络对尺度的适应性。

与Alexnet、VGG等传统特征提取模块相比，多尺度Inception模块的特点在于：

(1)输入经过瓶颈层(bottleneck，卷积核大小为1×1)：经典的多尺度算法是对同一个输入用不同大小的卷积核去卷积，再分别把它们的结果给合并起来，这样的计算量很大。引入bottleneck进行特征降维，减少特征图的层数，在减少参数、加速计算的同时增加了模型的非线性表达能力。

(2)B N和Relu的组合层：加入了BN使每一层都规范化到一个标准正态分布的高斯随机变量；添加Relu这样的非线性激活单元可以很好地传递反向传播中的误差，由于采用Relu激活函数，其梯度要么是1，要么是0，可抑制梯度***/消失并加快训练速度。在每一个卷积后面都加入此组合，可以重复加速权重参数的更新。

(3)将卷积核大小为5×5的卷积拆分成2个卷积核大小为3×3卷积，这样获取的图像信息较单一，卷积核更丰富，增加了网络的宽度。同时，小卷积核可以更好地提取更小目标的信息。

一般地，传统卷积层只对输入数据进行同一尺度(如卷积核大小恒为3×3)的卷积操作，输出数据维度固定，所有的输出特征基本上均匀分布于3×3的尺度范围上，即输出了一个稀疏分布的特征集。然而，由于在多个尺度上提取特征(如卷积核大小为1×1，3×3，5×5等)，多尺度inception模块输出多个特征的分布规律为：不再呈现均匀分布，而是相关性较强的特征聚集在一起(如1×1的的多个特征聚集在一起，3×3的多个特征聚集在一起，5×5的多个特征聚集在一起)，不相关的非关键特征被弱化，即输出了多个密集分布的子特征集。同样是输出相同数量的特征，多尺度inception模块输出特征的“冗余”信息较少。用这样的“纯”的特征集层层传递最后作为反向计算的输入，自然收敛的速度更快，也可以得到高质量的检测框。总的来说，多尺度Inception模块能够将稀疏矩阵分解为密集矩阵，大大降低计算量，加快网络收敛速度。

其中，自注意力模块网的具体结构为：

由于肋骨图像的骨折中心区域特征稀疏，目标几何中心点特征可能为无用信息，若捕捉此点作为分类的特征依据会降低网络对骨折的检出率和分类准确度。为了解决这个问题，对Centernet的中心关键点预测模块进行了改进，不再以几何中心所在位置作为中心关键点的确定标准，本检测方法引入的自注意力机制注意到的特征点作为中心关键点。自注意力机制能够自动关注目标的特征中心，通过计算特征图中像素点之间的自相关系数，获取权重值最大的像素点并将其作为中心关键点。

如图3所示，自注意力模块的结构分为3个支路。首先，分别在第1条支路和第2条支路，采用大小为1×1的卷积核对输入图像进行卷积得到特征图f(x)和g(x)，计算特征图f(x)和g(x)的自相关系数，得到特征图像素权重值大小分布图；其次，在第3支路也采用大小为1×1的卷积核对输入图像进行卷积得到特征图h(x)，将其与前面得到的像素权重大小分布图相乘得到对应的自注意力特征图，找到权重最大的点即最能突显特征的那个响应点；最后，通过调制因子α把自注意力特征图叠加到原输入特征图上得到输出。

自注意力机制并没有依赖特征图像素点的位置信息，而是通过计算像素与像素之间的相似度，来捕捉数据或特征的内部相关性，减少了对外部特征信息的依赖，特别地，能够快速提取稀疏数据的重要特征，可以很好地进行并行计算，大大提高计算效率。采用这种自注意力结构进行肋骨骨折检测，能够有效缓解由于骨折图像本身中心区域特征稀疏而引起的Centernet的肋骨骨折检测准确率下降、漏检误检升高问题，对提高肋骨骨折检出率及增加骨折类型分类准确率都有积极作用。

其中，应用于本注意力卷积神经网络的损失函数具体表述如下：

注意力卷积神经网络的损失函数如式(1)所示，一共包括角点位置损失、注意力点位置损失、embedding损失、角点offsets、注意力点offsets损失损失五项。

其中，α＝β＝0.1，γ＝1，

表示角点位置(headmaps)损失，/>

表示注意力点位置损失，整体上都为改良版的focal loss(交叉熵损失函数的改进，平衡正负样本比例失衡问题)；/>

表示矢量损失，按理来说，基于不同角点的连接矢量之间的距离找到每个目标的一对角点，如果一个左上角角点和一个右下角角点属于同一个目标，那么二者的embedding vector之间的距离应该很小。embedding的训练是通过/>

这两个损失函数实现的，/>

用来缩小属于同一个目标的两个角点连接矢量的距离，/>

用来扩大不属于同一个目标的两个角点连接矢量的距离。模型训练/>

损失函数使同一目标的顶点进行分组，/>

损失函数用于分离不同目标的顶点；/>

分别表示角点、注意力点的offsets损失，offset是表示在取整计算时丢失的精度信息，offsets损失具体采用smooth L1损失函数监督参数γ的学习。

其中，数据集构建过程如下：

本发明收集了因胸部外伤进行胸部CT检查的30位患者的影像资料，图像的分辨率统一为1176×1194。由于胸部肋骨骨折病态各异、方向不一、难以区分，故对其进行合理的类别分类显得尤为重要。本发明依据医学诊断方法为其设置了一个分类标准，使其适合在深度学习框架下实现且接近于临床医学的实际需求。具体的将肋骨骨折分为以下5类：双侧骨皮质断裂、外侧骨皮质断裂、内侧骨皮质断裂、骨皮质屈曲骨折及其他不可分类。如图4所示，为了实验的方便，构建数据集时把双侧骨皮质断裂、外侧骨皮质断裂、内侧骨皮质断裂、骨皮质屈曲骨折及其他不可分类依次命名为broken1、broken2、broken3、broken4、broken5。

最终从医院收集到的胸部CT肋骨骨折图像经过图像裁剪数据集扩充方法成功构建了胸部CT肋骨骨折图像数据集，共12276张图像，均为有缺陷图像。在这些有缺陷的图像中，分为单类型缺陷图像11079幅和混合类型图像1197幅。单类型缺陷图像数据集构成如表1所示。

表1单类型缺陷图像数据集构成

整体图像数据集具体构成如表2所示：

表2整体图像数据集构成

实验时，训练集的图片数量为11314张，验证集的图片数量为212张，剩下的750张图片作为测试集。另外，本发明采用了COCO数据集的标记格式，过程为：(1)把收集到的所有胸部肋骨骨折图像统一成jpg格式，采用8位数字进行命名，例如00000001.jpg，并将图像分成训练、验证、测试三部分分别存放到images文件夹的trainval2014、minival2014、testdev2017文件夹下；(2)对trainval2014、minival2014、testdev2017文件夹里面的肋骨骨折图像通过图形图像注释工具软件进行人工标注，以此作为Ground Truth(真值，表示有监督学习的训练集的分类准确性)。标注完后会生成每幅图像对应的.xml文件，文件中包含了肋骨类别及边界框的左上角坐标与长宽等信息；(3)将trainval2014、minival2014、testdev2017文件夹的所有.xml文件分别转换成各自的instaces_trainval2014.json、instaces_minival2014.json、instaces_testdev2017.json文件，并统一存放在annotations文件夹下，json格式的文件是COCO数据集要求的格式。

本实验中训练集通过Cornernet、Centernet以及我们改进的网络这三种网络进行训练。训练完成后将数据集中测试图像输入模型，对broken1、broken2、broken3、broken4、broken5这5类缺陷进行识别与定位，输出为目标的类别、定位框。

根据上述数据集所做的实验结果如下：

为了检测改进网络的性能，本发明采用了750张图片组成的测试集，对应于broken1、broken2、broken3、broken4、broken5这5类缺陷各150张。

通过图5、图6、图7、图8和图9可以清晰地看出，本发明可以很准确地检测出这5种肋骨，由于我们采用了多尺度Inception的思路，可以让网络模型同时学习到高层和低层的特征，提取特征更全面，使得本方法的检测精度有所提高。同时结合注意力模块的优点，使得边界框位置的准确性更高。

本发明采用漏检率、虚警率以及检测位置精度三个指标定量分析了CornerNet、CenterNet和本发明方法对于三种缺陷的检测性能。这三种方法缺陷检测结果统计如表3所示。三种方法检测准确率、误检率及漏检率的统计结果如表4所示。使用不同的检测模型检测三个缺陷的准确度柱状图如图10所示。

表3三种方法缺陷检测结果统计(单位：张)

表4三种方法检测准确率、误检率及漏检率的统计结果

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (4)

1.一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，其特征在于，具体步骤如下：

一、构建胸部肋骨骨折数据集；

二、对胸部肋骨骨折数据集进行训练：

1)、将胸部肋骨骨折数据集送入预处理模块进行预处理；

2)、预处理后的图像送入特征提取网络进行初级特征提取；

3)、初级特征提取后的图像送入多尺度Inception模块进行多尺度特征提取，并对不同尺度特征进行重新组合；

多尺度Inception模块包括四个分支，其中的三条分支采用大小为1×1的卷积核进行卷积，采用大小为3×3的卷积核对卷积的结果进行卷积操作；另一条分支采用大小为3×3的池化核进行池化，采用大小为1×1的卷积核对池化的结果进行卷积操作；四条支路卷积后的结果输入卷积层进行数据降维；

4)、重组后的图像送入级联角点池化预测模块，预测待检测目标的左上角、右下角关键点，并分别输出热点图、连接矢量和偏移量；

重组后的图像送入中心池化预测模块，预测待检测目标的中心点，并分别输出偏移量和热点图，中心点热点图通过注意力模块处理；

5)、通过整体损失函数对角点的热点图/连接矢量/偏移量、中心点的偏移量/热点图进行约束；

三、对胸部肋骨骨折数据集进行测试：

测试的前期过程与步骤二中训练过程的步骤1)、步骤2)、步骤3)、步骤4)相同，区别步骤为：中心点热点图通过注意力模块处理，并对预测的左上角、右下角、中心关键点的参数进行目标分类和定位；

所述注意力模块包括三个支路，第一支路采用大小为1×1的卷积核对输入图像进行卷积并得到特征图f(x)，第二支路采用大小为1×1的卷积核对输入图像进行卷积并得到特征图g(x)，计算特征图f(x)和g(x)的自相关系数，得到特征图像素权重值分布图；第三支路采用大小为1×1的卷积核对输入图像进行卷积并得到特征图h(x)，特征图h(x)与特征图像素权重值分布图相乘得到对应的自注意力机制特征图，找到权重最大的点即最能突显特征的响应点，通过调制因子α把自注意力机制特征图叠加到原输入特征图上得到输出。

2.根据权利要求1所述的一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，其特征在于，用热点损失函数对热点图进行约束，用连接矢量损失函数对连接矢量进行约束，用偏移损失函数对偏移量进行约束。

3.根据权利要求2所述的一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，其特征在于，所述整体损失函数包括角点位置损失、注意力点位置损失、嵌入损失、角点补偿和注意力点补偿损失，具体表达如下：

其中，α＝β＝0.1，γ＝1；

表示角点位置，/>

表示注意力点位置损失，/>

表示嵌入损失，/>

用来缩小属于同一个目标的两个角点连接矢量的距离，/>

用来扩大不属于同一个目标的两个角点连接矢量的距离，/>

表示角点的补偿损失；/>

表示注意力点的补偿损失。

4.根据权利要求1所述的一种基于注意力卷积神经网络的胸部肋骨骨折检测方法，其特征在于，步骤一中，构建胸部肋骨骨折数据集的具体流程为：CT扫描机对胸部进行扫描，获取胸部肋骨骨折数据，对胸部肋骨骨折数据进行类别分类、人工标注、格式转换操作，获得胸部肋骨骨折数据集。

Images