CN106874489A - 一种基于卷积神经网络的肺结节图像块检索方法及装置 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的肺结节图像块检索方法及装置，通过对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图，通过构造卷积神经网络提取肺结节切片扫描图的图像特征，得到肺结节的局部特征集合，获取数据库中所有肺结节的局部特征集合，对所有肺结节的局部特征集合进行聚类构建视觉词典，基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库，根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。本发明能够快速、准确的检索出与待检索肺结节最相似的肺结节图像序列。

Description

一种基于卷积神经网络的肺结节图像块检索方法及装置

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于卷积神经网络的肺结节图像块检索方法及装置。

背景技术

肺部结节是临床上常见的一种疾病，是胸外科常见的又较难难确诊的疾病,早期及时发现是提高患者生存率的关键，随着影像学尤其是螺旋CT的发展和日益完善普及，肺部微小结节性病变的发现率明显提高，但是对肺部微小结节性病变的定性诊断仍较困难。在此背景下，医疗检索***的作用就凸显出来了，医疗检索***利用肺结节图像信息进行检索，从而匹配同类型的肺结节图像，参考以往的专家诊疗数据，为临床提供更多的诊断信息和依据。

与本发明相关的现有技术：图像检索技术由早期的基于文本的图像检索逐渐发展为基于内容的图像检索，其主要思想是通过提取图像视觉底层特征来实现图像内容表达，检索方法主要基于图像的多维特征进行相似性查询。

其中，目前常用于描述图像的特征主要有SIFT、LBP、Gabor、BOW和CNN特征等。其中SIFT特征是最常用的矢量特征，它对图像的光照、尺度、位移等变化都具有较好的容忍性。然而该特征计算量较大，纬度较高，计算较复杂。BOW特征也是图像检索领域中广泛使用的特征，每幅图像都可以描述为一个局部区域特征的无序集合。使用聚类方法将局部特征进行聚类，每个聚类中心被看作是视觉词典中的一个词汇，视觉词汇由聚类中心对应特征形成码字来表示。图像中的每个特征都将被映射到视觉词典的某个词上，这种映射可以通过计算特征间的距离去实现，然后统计每个视觉词的出现次数，从而得到每个图像的直方图向量，即BOW特征。CNN特征，是通过自主学习训练数据的特征，避免人工设计特征，近几年，在图像分类、检测、分割等学习任务上都得到了惊人的表现，可以看出，CNN特征更能表达图像深层的特征。

现有相似技术：一种基于相似度的乳腺图像检索方法，该方法通过提取乳腺图像的SIFT特征和HOG特征建立图像特征库，结合分层聚类树，通过比对待检索图像与数据库中图像特征的相似度进行检索。该方法采取传统的人工设计特征SIFT和HOG特征提取图像底层特征，表达能力不强，检索准确率有待进一步提高。

发明内容

本发明所要解决的技术问题是：现有的技术大多是采用人工设计特征提取图像的底层特征描述，从而导致表达能力不强、检索精度低；其次现有技术采用单个图像的内容检索，没有将图像的立体深层信息结合起来。从而提供了一种基于卷积神经网络的肺结节图像块检索方法及装置。

本发明解决上述技术问题的技术方案如下：一种基于卷积神经网络的肺结节图像块检索方法，包括：

步骤1：获取肺结节图像块；

步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；

步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；

步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；

步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；

步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；

步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；

步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

本发明的有益效果是：本发明利用卷积神经网络模型，能够对整个肺结节肿瘤块进行分析，挖掘肺结节切片CT图像序列的深层特征，结合倒排索引技术，构建肺结节的图像特征库，检索时，能够快速、准确的检索出与待检索肺结节最相似的肺结节图像序列，从而为专家确诊肺结节病变提供更加可靠准确的判断依据。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述步骤1包括：从图像数据库中，获取大小为64*64*64像素的肺结节图像块。

进一步地，所述步骤2包括：

步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；

步骤2.2：通过切片处理得到64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。

采用上述进一步方案的有益效果是卷积神经网络通过64*64的像素肺结节切片扫描图所提取的图像特征在准确度和复杂度的平衡中达到最佳效果，在复杂度不高的情况下，准确度达到极高水平，灰度化处理有利于图像特征的提取。

进一步地，所述步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑x_i*w_i+b)计算得到，其中，x_i表示上一层的特征图，w_i和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。

采用上述进一步方案的有益效果是通过输出高维特征来准确描述肺结节切片扫描图的图像特征，准确度高。

进一步地，所述步骤6包括：

步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；

步骤6.2：由生成的关键特征组成视觉词典。

采用上述进一步方案的有益效果是通过对关键特征生成的视觉词典，映射对应前面提取的切片扫描图的图像特征。

进一步地，所述步骤7包括：

步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；

步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；

步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；

步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；

步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。

进一步地，所述步骤8包括：

步骤8.1：根据输入的查询信息，在该患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；

步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；

步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；

步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。

采用上述进一步方案的有益效果是通过肺结节带权特征向量之间的对比来判断肺结节的相似性，是的检索过程更加准确与快速。

进一步地，步骤3中，所述卷积神经网络还包括输出层，所述卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，所述输出层采用softmax损失函数进行训练。

本发明提供的另一种技术方案如下：一种基于卷积神经网络的肺结节图像块检索装置，包括：切片处理模块、特征提取模块、特征集合生成模块、视觉词典生成模块、索引库构建模块和检索模块；

所述切片处理模块用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；

所述特征提取模块用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；

所述特征集合生成模块用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；

所述视觉词典生成模块用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；

所述索引库构建模块用于基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；

所述检索模块用于根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

进一步地，所述检索模块包括查询模块、特征向量生成模块、计算模块和结果生成模块；

所述查询模块用于根据用户的查询信息，在患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；

所述特征向量生成模块用于提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；

所述计算模块用于通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；

所述结果生成模块用于按照所述相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。

附图说明

图1为本发明一种基于卷积神经网络的肺结节图像块检索方法流程示意图；

图2为本发明一种基于卷积神经网络的肺结节图像块检索装置结构示意图。

图3为本发明一种基于卷积神经网络的肺结节图像块检索装置具体模块结构示意图；

图4为本发明一种基于卷积神经网络的肺结节图像块检索方法中卷积神经网络结构示意图。

附图中，各标号所代表的部件列表如下：

1、切片处理模块，2、特征提取模块，3、特征集合生成模块，4、视觉词典生成模块，5、索引库构建模块，6、检索模块，601、查询模块，602、特征向量生成模块，603、计算模块，604、结果生成模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例给出的一种基于卷积神经网络的肺结节图像块检索方法，包括：

步骤1：获取肺结节图像块；

步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；

步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；

步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；

步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；

步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；

步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；

步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

其中，步骤1包括：从图像数据库中，获取大小为32*32*32、52*52*52和64*64*64像素的肺结节图像块。

提取肺结节图像块之前，首先需要将CT图像重采样到0.5mm/pixel的分辨率，从而解决不同CT图像之间分辨率不一致的问题。

其中，步骤2包括：

步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；

步骤2.2：通过切片处理得到32张大小为32*32像素、52张大小为52*52像素和64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。

其中，步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑x_i*w_i+b)计算得到，其中，x_i表示上一层的特征图，w_i和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。

其中，步骤6包括：

步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；

步骤6.2：由生成的关键特征组成视觉词典。

其中，步骤7包括：

步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；

步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；

步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；

步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；

步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。

其中，步骤8包括：

步骤8.1：根据输入的查询信息，在该患者的全肺CT扫描图像序列中，截取大小为32*32*32、52*52*52和64*64*64像素的肺结节的图像块；

步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；

步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；

步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。

其中，步骤3中，卷积神经网络还包括输出层，卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，输出层采用softmax损失函数进行训练。

如图2所示为本发明实施例给出的一种基于卷积神经网络的肺结节图像块检索装置，包括：切片处理模块1、特征提取模块2、特征集合生成模块3、视觉词典生成模块4、索引库构建模块5和检索模块6；

切片处理模块1用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；

特征提取模块2用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；

特征集合生成模块3用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；

视觉词典生成模块4用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；

索引库构建模块5用于基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；

检索模块6用于根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

其中，检索模块包括查询模块601、特征向量生成模块602、计算模块603和结果生成模块604；

如图3所示为本实施例中检索模块所包含的各个模块，其中，查询模块601用于根据用户的查询信息，在患者的全肺CT扫描图像序列中，截取大小为32*32*32、52*52*52和64*64*64像素的肺结节图像块；

特征向量生成模块602用于提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；

计算模块603用于通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；

结果生成模块604用于按照所述相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。

如图4所示为本实施例中卷积神经网络模型，其中卷积层C1包含64个5*5像素大小的卷积核，卷积层C3包含128个5*5像素大小的卷积核，其中卷积层和全连接层的卷积核参数是经过学习得到的，采用随机数进行初始化，最后的输出层采用softmax损失函数进行训练，全连接层对带权特征向量进行降维，得到最终数据，由输出层输出两类结果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内，例如本发明可以移植到其他医学肿瘤、腺体的相似性检索；本发明的卷积神经网络可以用其他的经典的CNN模型替换；在本发明的基础上结合其他人工特征例如SIFT特征，进行二次检索排序，来进一步提高检索准确率。

Claims (10)

1.一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，包括以下步骤：

步骤1：获取肺结节图像块；

步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；

步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；

步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；

步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；

步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；

步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；

步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

2.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤1包括：从图像数据库中，获取大小为64*64*64像素的肺结节图像块。

3.根据权利要求2所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤2包括：

步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；

步骤2.2：通过切片处理得到64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。

4.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑x_i*w_i+b)计算得到，其中，xi表示上一层的特征图，w_i和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。

5.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤6包括：

步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；

步骤6.2：由生成的关键特征组成视觉词典。

6.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤7包括：

步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；

步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；

步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；

步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；

步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。

7.根据权利要求1-6任一项所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤8包括：

步骤8.1：根据输入的查询信息，在该患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；

步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；

步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；

步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。

8.根据权利要求4所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，步骤3中，所述卷积神经网络还包括输出层，所述卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，所述输出层采用softmax损失函数进行训练。

9.一种基于卷积神经网络的肺结节图像块检索装置，其特征在于，包括：切片处理模块、特征提取模块、特征集合生成模块、视觉词典生成模块、索引库构建模块和检索模块；

所述切片处理模块用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；

所述特征提取模块用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；

所述特征集合生成模块用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；

所述视觉词典生成模块用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；

所述索引库构建模块用于基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；

所述检索模块用于根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

10.根据权利要求9所述的一种基于卷积神经网络的肺结节图像块检索装置，其特征在于，所述检索模块包括查询模块、特征向量生成模块、计算模块和结果生成模块；

所述查询模块用于根据用户的查询信息，在患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；

所述特征向量生成模块用于提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；

所述计算模块用于通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；

所述结果生成模块用于按照所述相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。