CN109493333A - 基于卷积神经网络的超声甲状腺结节钙化点提取算法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的超声甲状腺结节钙化点提取算法，包括以下步骤：A、准备训练集图像；B、利用所述训练集图像训练卷积神经网络得到最终网络；C、利用所述最终网络对甲状腺结节超声图像中钙化点进行判别。其基于卷积神经网络对钙化特征进行提取，将钙化点的亮度、形态、与周边组织关系以及一些不容易量化的特征融合起来进行判断，避免了传统的仅通过单一亮度特征进行判别导致误判的问题；将输出标签设为一个将钙化特征分割出来的二值分割图像，使得整个网络的参数趋向于使原图映射到该二值分割图像上，最终使得钙化点判别准确率有着明显提高。

Description

基于卷积神经网络的超声甲状腺结节钙化点提取算法

技术领域

本发明属于计算机图像处理技术领域，具体涉及基于卷积神经网络的超声甲状腺结节钙化点提取算法。

背景技术

传统方法有基于局部最大类间方差法(Otsu)来判断钙化特征，其方法是采用对结节区域分块并进行Otsu阈值分割的思想来提取钙化点。首先将每张图片的结节手动分割出来，然后以结节为中心构造一个将结节包含进去并与之相切的矩形，然后将该矩形区域平均分成5×5的25个相同大小的与原矩形相似的矩形区域，并对每个区域计算Otsu阈值Ti，并将Ti与预先确定的钙化分割阈值T进行比较，如果Ti大于T则对此区域进行Otsu分割，反之则在此区域内不进行分割。在分割以后再分别对分割阈值大于标定阈值的区域内的分割区域进行区域生长并得到最终的钙化区域，并根据结果对钙化特征进行判别。

传统的钙化点判别方法基本都是基于钙化点的亮度特征，以单一或多个阈值的比较来判断是否为钙化，这些方法有很大的弊端。首先，在超声图片中，钙化点并不一定是结节及其周边组织中亮度最高的区域，有一些钙化点的亮度并不高，但它与周围组织的对比度很高。其次，甲状腺结节种类很多，很多结节其内部及外部区域组织复杂，有很多高亮组织，比如囊壁，如果仅仅以亮度作为钙化点的判别标准，那么这些高亮非钙化组织很容易被判定为钙化点。第三，由于超声机器获得图像质量不一，不同超声图像的分辨率、清晰度、整体亮度、对比度等多项指标都会有差异，所以只以单纯的亮度为提取特征，而不与结节周围以至于整个图像的整体环境做比较是很能正确提取的。第四，在判别钙化点的时候，仅仅使用了钙化点的亮度特征作为判别标准，而对其位置、形态等其他特征也没有一个综合性的使用，其判别标准过于单一。

目前较常用的方法为使用卷积神经网络对钙化特征直接进行分类，以Alexnet为例，Alexnet网络结构如图1所示，其中输入为原图像，输出为该图像所在分类，标签为由1和0组成的二维向量，对网络进行训练确定网络权重，保持权重不变，再次输入图像得到图像分类。

卷积神经网络通常作用于分类任务，假设其需要分成N类，则其训练时的标签为一个由1和0组成的N维向量，代表将该样本分成各个类的概率分布。卷积神经网络采用BP算法进行有监督训练，经过信息的正向传播和误差的反向传播两个阶段，因此，输出不断降低与标签向量之间的误差以达到训练网络参数的目的。但是这样使得整个网络的参数趋向于使原图映射到标签向量上，标签向量仅有1和0两个值，并不能够准确代表我们所需要的特征，因此识别准确率不高。

发明内容

基于此，针对上述问题，本发明提出基于卷积神经网络的超声甲状腺结节钙化点提取算法。

本发明的技术方案是：基于卷积神经网络的超声甲状腺结节钙化点提取算法，包括以下步骤：

A、准备训练集图像；

B、利用所述训练集图像训练卷积神经网络；

C、利用训练好的卷积神经网络对甲状腺结节超声图像中钙化点进行判别。

可选地，步骤A包括以下过程：

A1、获取包含甲状腺结节的超声图像，选择整幅图像RGB三个通道的最小值作为图像的灰度值去除彩色血流干扰，然后将每张图片以结节为中心、以结节最长长度为边长，截取包含一部分周边环境的正方形区域；

A2、将以上正方形区域调整成统一的大小，例如224*224，取RGB三通道，作为最终训练集图像。

可选地，步骤B包括以下过程：

B1、以训练集图像作为输入，以分割出钙化特征的二值化图像作为标签，训练分割网络；

B2、分割网络的前部结构及权值保持不变，修改其后部的结构，将其改变成为分类网络；

B3、以训练集图像作为输入，以有无钙化作为标签来训练分类网络，即为最终网络。

可选地，步骤C包含以下步骤：

步骤C1：获取超声甲状腺结节图像，按照步骤A1-A2中方法对图像进行处理，得到待识别图像；

步骤C2：将待识别图像作为分类网络的输入，对其进行预测，并得到一个二维向量以表示对该图像的预测结果。

本发明的有益效果是：

(1)相比于传统方法，基于卷积神经网络对钙化特征进行提取，通过深度学习的方法整体学习钙化点的特征，将钙化点的亮度、形态、与周边组织关系以及一些不容易量化的特征融合起来进行判断，避免了传统的仅通过单一亮度特征进行判别导致误判错判的问题。

(2)相对于传统卷积神经网络对钙化特征直接进行分类，我们将输出标签设为一个将钙化特征分割出来的二值分割图像，这样训练就会使得整个网络的参数趋向于使原图映射到该二值分割图像上，在层层的卷积过程中提取出来的特征图中的特征将趋向于二值分割图像所分割出来的特征，而这样的特征正是所需要的以其为依据分类的特征，其使得钙化点判别准确率有着明显提高。

附图说明

图1是传统Alexnet网络结构的示意图。

图2是Alexnet-2网络结构的示意图。

图3是AlexFCN_seg1网络结构的示意图。

图4是算法流程图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

如图4所示，基于卷积神经网络的超声甲状腺结节钙化点提取算法，包括以下步骤：

A、准备训练集图像；

B、利用所述训练集图像训练卷积神经网络；

C、利用训练好的卷积神经网络对甲状腺结节超声图像中钙化点进行判别。

具体地，步骤A包括以下过程：

A1、获取包含甲状腺结节的超声图像，选择整幅图像RGB三个通道的最小值作为图像的灰度值去除彩色血流干扰，然后将每张图片以结节为中心、以结节最长长度为边长，截取包含一部分周边环境的正方形区域；

A2、将以上正方形区域调整成统一的大小，例如统一调整成224*224，取RGB三通道，作为最终训练集图像。

步骤B包括以下过程：

B1、以传统Alexnet网络结构作为模板进行调整，形成分割网络结构，命名为AlexFCN_seg1，并训练它，其中，传统Alexnet网络结构如图1所示；

B2、分割网络AlexFCN_seg1的前部结构及权值保持不变，修改其后部的结构，将其改变成为分类网络Alexnet-2；

B3、以所述训练集图像作为输入，对所述Alexnet-2进行训练，得到的结果即为最终网络。

步骤B1包括以下过程：

1)将Alexnet网络中L3、L4层卷积模板数量均调整为390，去掉L6、L7和L8层，并分别构造为卷积核种类数、宽、高分别为(1024,7,7)、(1024,1,1)、(2,1,1)的三层卷积层L9、L10、L11，并在L11层后面添加L12、L13两层使图像大小还原回224×224，该全卷积神经网络命名为AlexFCN_seg1，其结构如图3所示，AlexFCN_seg1的具体结构如下表1所示。

表1

2)以分割出钙化特征的二值化图像作为标签对所述AlexFCN_seg1进行训练。

步骤B2包括以下过程：保留AlexFCN_seg1的前五层L1-L5层权重不再变化，去掉AlexFCN_seg1网络的L9-L13层，加入L6-L8的全连接层，其尺寸分别为1024，1024，2，将其命名为Alexnet-2，结构图见图2。

步骤B3包括以下过程：训练Alexnet-2，以训练集图像作为输入，以有无钙化点两类信息作为相应的标签，有即为1，无即为0，此次训练仅训练后三层L6-L8全连接层的权重，前面L1-L5层权重不再进行变化，即只训练分类网络的权重；训练结束后保留全部8层的权重，该网络权重不再变化，得到的Alexnet-2即为最终网络。

步骤C包含以下步骤：

步骤C1：获取超声甲状腺结节图像，按照步骤A1-A2中方法对图像进行处理，得到待识别图像；

步骤C2：将待识别图像作为Alexnet-2的输入，对其进行预测，并得到一个二维向量表示对该图像的预测结果。

本发明提出了先分割后分类的特征提取方法，先使用分割网络对图像中所需要判别的特征进行分割训练，使权重向着将原图映射到分割出特征的二值化图像进行训练，并在训练结束后保留特征热图及其前面各层的权重不变，去掉后面各层并添加分类网络，再次进行分类训练，分类训练仅训练后添加的各层分类网络，训练完毕保存全部权重不变，得到最终网络。

需要注意的是，以上举例仅是本发明的具体实施例，本发明核心在于通过先分割训练后分类训练的思想方法达到提高图像分类准确率的目的，任何一种卷积神经网络通过上述思想进行实验均可实现。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (4)

1.基于卷积神经网络的超声甲状腺结节钙化点提取算法，其特征在于：包括以下步骤：

A、准备训练集图像；

B、利用所述训练集图像训练卷积神经网络，获得最终网络；

C、利用所述最终网络对甲状腺结节超声图像中钙化点进行判别。

2.根据权利要求1所述的基于卷积神经网络的超声甲状腺结节钙化点提取算法，其特征在于，步骤A包括以下过程：

A1、获取包含甲状腺结节的超声图像，选择整幅图像RGB三个通道的最小值作为图像的灰度值去除彩色血流干扰，然后将每张图片以结节为中心、以结节最长长度为边长，截取包含一部分周边环境的正方形区域；

A2、将以上正方形区域调整成统一的大小，取RGB三通道，作为最终训练集图像。

3.根据权利要求1或2所述的基于卷积神经网络的超声甲状腺结节钙化点提取算法，其特征在于：步骤B包括以下过程：

B1、以所述训练集图像作为输入，以分割出钙化特征的二值化图像作为标签，训练分割网络；

B2、分割网络的前部结构及权值保持不变，修改其后部的结构，将其改变成为分类网络；

B3、以训练集图像作为输入，以有无钙化作为标签来训练分类网络，即为最终网络。

4.根据权利要求3所述的基于卷积神经网络的超声甲状腺结节钙化点提取算法，其特征在于，步骤C包含以下步骤：

步骤C1：获取超声甲状腺结节图像，按照步骤A1-A2中方法对图像进行处理，得到待识别图像；

步骤C2：将待识别图像作为所述最终网络的输入，对其进行预测，并得到一个二维向量以表示对该图像的预测结果。