CN107220971A - 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法 - Google Patents

Abstract

本发明公开了一种基于积神经网络和主成分分析法的肺结节特征提取方法，首先,利用卷积神经网络自动学习肺结节特征，通过卷积进行特征提取和降采样进行特征映射。其次，在提取特征时，利用PCA对特征提取卷积神经网络模型(Convolutional neural networks model for feature extraction，FeCNN)中每个特征映射层的输出降维，与输出层的映射相融合得到最后的多层深度融合特征。本发明不仅能有效识别肺结节的医学征象，而且避免了传统方法中复杂的特征提取和特征重建过程，从客观方面起到辅助诊断的作用。

Description

一种基于卷积神经网络和主成分分析法的肺结节特征提取 方法

技术领域

本发明涉及的是一种基于卷积神经网络和主成分分析法的肺结节特征提取方法。

背景技术

肺结节所表现的医学征象是医师诊断肺部疾病的基础，通过分析肺CT图像的各种医学征象，便于医师判断结节的良恶性程度并做出相应的诊断决策。但是医师主要根据经验诊断疾病，诊断结果具有一定主观性，常常出现误诊、漏诊的情况。近年来，无须人工提取特征，通过深度学习过程，原始输入数据中所隐藏的数据信息可以逐层提取抽象出来，层数越深，提取出来的特征所代表的数据概念就表达得越深，这是浅层结构所无法表达和得到的。

发明内容

本发明所要解决的技术问题是针对现有技术的不足提供一种基于卷积神经网络和主成分分析法的肺结节特征提取方法。

本发明的技术方案如下：

一种基于卷积神经网络和主成分分析法的肺结节特征提取方法，包括以下步骤：

A1、CT图像的预处理

在搭建CNN模型前，提取CT图像的包含肺实质的感兴趣区域；肺部CT序列图像取图像左上角坐标(40,110)，右下角坐标(470,440)，这一范围包含的肺实质最完整；然后将结果图经过双线插值法，规格化到112×112大小后，存储的样本库中，用于进行FeCNN的训练；

A2、特征提取

A21特征提取

C层为特征提取层，每个单元的通过与前一层的局部感受野相连，经过卷积运算提取局部特征，根据局部特征来确定它与其他特征空间的位置关系；

在第k(k＝1,…6)层计算时，假设输入的特征图输出的特征映射有和其中M和I分别代表x^k和y^k、z^k的最大维数；每个在卷积层运算后的特征图

其中，Convn表示特征图x^k和卷积核的卷积运算，b代表偏置量，1表示步长为1；线性函数F(x)＝max(0,x)为激活函数；

A22特征映射

S层是特征映射层，通过局部平均运算，使样本上所有单元的具有相等的权值，因而减少了FeCNN中自由参数的个数，降低了网络参数选择的复杂性；

假设输入的特征图输出的特征映射为其中M和N分别代表x^k和z^k的最大维数；

每个降采样层都采用固定大小的核对y^k进行降采样，得到特征映射

其中，downsampling代表降采样运算，2代表步长为2；在最后一次降采样后，通过激活函数得到最后输出：

经过多次卷积和降采样后，将最后一层特征图进行全连接得到48×1维单层特征向量X1；

A23特征选择

通过PCA方法对每一层的映射进行降维后输出，得到多层深度融合特征向量X2，使得特征表达更为紧凑；

对特征图像适用PCA降维的步骤如下：

1)假设有N幅特征图，每个图像的大小为M×N，则特征样本矩阵X为：

X＝(X₁,X₂,...,X_i,...,X_n)

其中，向量X_i为由第i个图像的每一列向量依次连接成的MN的一维向量，即把矩阵向量化；计算n幅特征图像的平均向量μ：

计算每幅特征图像的差值d_i＝X_i-μ i＝1,2,…,n

2)计算特征图像的协方差矩阵C：

3)对C进行奇异值分解得到特征图像的特征值λ_i和特征向量x_i,并选取贡献值和大于95％的前n个最大特征值λ_i和对应的特征向量u_i：

对每一个映射层的特征图进行PCA融合，得到特征向量Y1，Y2和Y3，将Y1，Y2和Y3相连，得到特征向量X2。

本发明首先利用卷积神经网络自动学习肺结节特征，通过卷积进行特征提取和降采样进行特征映射。在提取特征时，利用PCA对特征提取卷积神经网络模型(Convolutionalneural networks model for feature extraction，FeCNN)中每个特征映射层的输出降维，与输出层的映射相融合得到最后的多层深度融合特征。为了证明本发明提出的算法的有效性，选取了肺部薄扫CT图像共1000例，进行多次实验，大量的实验结果表明：与当前人工提取特征或单独采用最后一层映射的特征结果相比，该方法在确保分类准确性的基础上，极大的降低了特征提取的过程复杂性，从而表明了该方法在肺结节特征提取方面的有效性。

附图说明

图1是本发明对肺结节自动检测方法的框架图。运用区域生长对图像进行预处理后存储到样本库，运用卷积神经网络对样本进行特征提取，最后一步将特征进行融合。

图2是本发明中样本图像的处理过程。经过数学统计将原始CT片裁剪为128×128且包含有肺实质的图像。

图3是本发明肺结节自动检测的卷积神经网络模型。此特征提取模型包含有7层，通过卷积层和降采样层自主学习特征，将降采样层的特征经过PCA降维得到融合特征。

图4是S2层输出的6张特征图及融合后的特征向量Y1。经过第一次降采样后得到6张特征图像，将特征图像进行连接后得到特征向量Y1。

图5是S4层输出的12张特征图及融合后的特征向量Y2。经过第二次降采样后得到12张特征图像，将特征图像进行连接后得到特征向量Y2。

图6是S6层输出的12张特征图及融合后的特征向量Y3。经过第三次降采样后得到12张特征图像，将特征图像进行连接后得到特征向量Y3。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

1CT图像的预处理

在搭建CNN模型前，提取CT图像的包含肺实质的感兴趣区域。当肺部CT序列图像取图像左上角坐标(40,110)，右下角坐标(470,440)时包含的肺实质最完整。如图2所示，对图2(a)提取肺实质图像得到图2(b)所示结果。并将结果图经过双线插值法，规格化到112×112大小后，存储的样本库中，用于进行FeCNN的训练。

2特征提取

在进行肺结节特征提取任务时，FeCNN通过一组有相同权值向量但是在薄扫CT图像上不同位置的单元，来获取CT图像的肺结节显著特征并构成特征图(Feature Map)。在图像的相同位置，来自不同特征图的单元对应可以得到肺结节的不同类型特征。FeCNN的结构由输入层，隐含层和输出层构成。输入层读入样本库中归一化的样本，将局部相邻的单元分为一组，将其作为下一隐含层的输入。通过局部感知区的不同运算，能够抽取到显著的或者隐含的特征，这些特征都会被下一层利用。

2.1卷积神经网络的结构

本发明提出的特征提取模型(FeCNN)可以充分的学***均运算，不仅可以降低特征图的分辨率，还可以降低输出对于位移的敏感度。特征提取后的单层特征向量由X1表示。

2.2特征提取过程

2.2.1特征提取

C层为特征提取层，每个单元的通过与前一层的局部感受野相连，经过卷积运算提取局部特征，根据局部特征来确定它与其他特征空间的位置关系。

在第k(k＝1,…6)层计算时，假设输入的特征图输出的特征映射有和其中M和I分别代表x^k和y^k、z^k的最大维数。每个在卷积层运算后的特征图

其中，Convn表示特征图x^k和卷积核的卷积运算，b代表偏置量，1表示步长为1。线性函数F(x)＝max(0,x)为激活函数。

2.2.2特征映射

S层是特征映射层，通过局部平均运算，使样本上所有单元的具有相等的权值，因而减少了FeCNN中自由参数的个数，降低了网络参数选择的复杂性。

假设输入的特征图输出的特征映射为其中M和N分别代表x^k和z^k的最大维数。

每个降采样层都采用固定大小的核对y^k进行降采样，得到特征映射

其中，downsampling代表降采样运算，2代表步长为2。在最后一次降采样后，通过激活函数得到最后输出：

经过多次卷积和降采样后，将最后一层特征图进行全连接得到48×1维单层特征向量X1。

2.3特征选择

传统CNNs只采用最后一层的映射输出，而忽略了中间隐含层的特征。在特征提取后，若提取到的特征过多，除了可能增加过度拟合，也会有较高的计算复杂度；若提取到的特征过少时，将其对分类器进行训练，会产生一个不可靠的分类器。特征选择技术可以减少样本集的特征空间维度，可以有效地解决该问题。本发明中通过PCA方法对每一层的映射进行降维后输出，得到多层深度融合特征向量X2，使得特征表达更为紧凑。

对特征图像适用PCA降维的步骤如下：

1)假设有N幅特征图，每个图像的大小为M×N，则特征样本矩阵X为：

X＝(X₁,X₂,...,X_i,...,X_n)

其中，向量X_i为由第i个图像的每一列向量依次连接成的MN的一维向量，即把矩阵向量化。计算n幅特征图像的平均向量μ：

计算每幅特征图像的差值d_i＝X_i-μ i＝1,2,…,n

2)计算特征图像的协方差矩阵C：

3)对C进行奇异值分解得到特征图像的特征值λ_i和特征向量x_i,并选取贡献值和大于95％的前n个最大特征值λ_i和对应的特征向量u_i：

对每一个映射层的特征图进行PCA融合，得到特征向量Y1，Y2和Y3。

按照图3中特征提取模型，将Y1，Y2和Y3相连，得到特征向量X2。

本发明采用卷积神经网络和PCA算法，对来自山西某医院和网络公开的LIDC数据库的共1000例数据进行了提取特征实验，并使用SVM对提取到的多层深度融合特征进行分类，通过对比肺结节诊断的结果验证本发明算法的有效性和准确性。

实验结果证明，本发明算法不需要繁琐的过程可以提取到较好的特征，取得了较好的效果。SVM分类结果如表1所示。

表1提取特征SVM分类结果表

实验结果表明，本发明提出的方法，提取到的特征能够对肺结节进行准确的分类。该方法与传统的方法相比，准确率达到93.18％。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (1)

1.一种基于卷积神经网络和主成分分析法的肺结节特征提取方法，其特征在于，包括以下步骤：

A1、CT图像的预处理

在搭建CNN模型前，提取CT图像的包含肺实质的感兴趣区域；肺部CT序列图像取图像左上角坐标(40,110)，右下角坐标(470,440)，这一范围包含的肺实质最完整；然后将结果图经过双线插值法，规格化到112×112大小后，存储的样本库中，用于进行FeCNN的训练；

A2、特征提取

A21特征提取

C层为特征提取层，每个单元的通过与前一层的局部感受野相连，经过卷积运算提取局部特征，根据局部特征来确定它与其他特征空间的位置关系；

在第k(k＝1,…6)层计算时，假设输入的特征图输出的特征映射有和其中M和I分别代表x^k和y^k、z^k的最大维数；每个在卷积层运算后的特征图

<mrow> <msubsup> <mi>y</mi> <mi>n</mi> <mi>k</mi> </msubsup> <mo>=</mo> <mi>F</mi> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>C</mi> <mi>o</mi> <mi>n</mi> <mi>v</mi> <mi>n</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mi>m</mi> <mi>k</mi> </msubsup> <mo>,</mo> <msubsup> <mi>fC</mi> <mi>m</mi> <mi>k</mi> </msubsup> <mo>,</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>b</mi> <mi>n</mi> <mi>k</mi> </msubsup> </mrow>

其中，Convn表示特征图x^k和卷积核的卷积运算，b代表偏置量，1表示步长为1；线性函数F(x)＝max(0,x)为激活函数；

A22特征映射

S层是特征映射层，通过局部平均运算，使样本上所有单元的具有相等的权值，因而减少了FeCNN中自由参数的个数，降低了网络参数选择的复杂性；

假设输入的特征图输出的特征映射为其中M和N分别代表x^k和z^k的最大维数；

每个降采样层都采用固定大小的核对y^k进行降采样，得到特征映射

其中，downsampling代表降采样运算，2代表步长为2；在最后一次降采样后，通过激活函数得到最后输出：

<mrow> <mi>n</mi> <mi>e</mi> <mi>t</mi> <mo>.</mo> <mi>o</mi> <mo>=</mo> <mi>S</mi> <mi>i</mi> <mi>g</mi> <mi>m</mi> <mrow> <mo>(</mo> <msubsup> <mi>z</mi> <mi>n</mi> <mi>k</mi> </msubsup> <mo>&amp;CenterDot;</mo> <mi>w</mi> <mo>+</mo> <msubsup> <mi>b</mi> <mi>n</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

经过多次卷积和降采样后，将最后一层特征图进行全连接得到48×1维单层特征向量X1；

A23特征选择

通过PCA方法对每一层的映射进行降维后输出，得到多层深度融合特征向量X2，使得特征表达更为紧凑；

对特征图像适用PCA降维的步骤如下：

1)假设有N幅特征图，每个图像的大小为M×N，则特征样本矩阵X为：

X＝(X₁,X₂,...,X_i,...,X_n)

其中，向量X_i为由第i个图像的每一列向量依次连接成的MN的一维向量，即把矩阵向量化；计算n幅特征图像的平均向量μ：

计算每幅特征图像的差值d_i＝X_i-μ i＝1,2,…,n

2)计算特征图像的协方差矩阵C：

3)对C进行奇异值分解得到特征图像的特征值λ_i和特征向量x_i,并选取贡献值和大于95％的前n个最大特征值λ_i和对应的特征向量u_i：

对每一个映射层的特征图进行PCA融合，得到特征向量Y1，Y2和Y3，将Y1，Y2和Y3相连，得到特征向量X2。