CN110189308B - 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置 - Google Patents

Abstract

本发明提供一种基于BM3D和稠密卷积网络融合的肿瘤检测方法和装置，标记相似块；随机丢弃与快速标记；优化及训练DenseNet网络；利用输入图像的空间信息、结构信息以及提取的特征信息基于深度训练的数据进行重建。将输入的空间信息抽象为一维,减少不可逆初始特征丢失现象。构建融合BM3D的稠密卷积网络,使用可缩放指数型线性单元激活函数代替线性非饱和单元激活函数激活网络,引入负数部分参数,提升网络优化度并增强网络鲁棒性,并在每块稠密块后增加一层最大池化层抽象图像特征,提取肿瘤核心信息点。网络末端采用BM3D的聚合方法进行特征重建,融合梯度、空间信息提升网络效果。有效地提升了肿瘤检测的准确度。

Description

一种基于BM3D和稠密卷积网络融合的肿瘤检测方法和装置

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于BM3D和稠密卷积网络融合的肿瘤检测方法和装置。

背景技术

医学图像来源于成像技术,包括计算机断层扫描、核磁共振成像、超声、正电子发射断层扫描、医学超音波检查等。医学成像技术可以获取人体对应位置的二维或三维图像。二维图像中,表示具体信息的最小单位元素称为像素；三维图像中称之为体素。在特定条件下,能够将三维图像表现成一系列二维图像,这种使用方式大量降低计算复杂度,减小内存需求。不过,尽管医学图像成像技术已经日趋成熟,但受医学成像设备、放射性元素危害度以及人体生理健康等因素的相互制约,许多医学图像成像分辨率很低。例如在肿瘤检测问题上,由于肺结节与肿瘤的相似性,低分辨率图像无法完成分类检测任务,因此,医学图像处理技术应运而生。医学图像处理催生于对医学图像质量的更高需求,源自病理问题研究的相关需要,是分析医学图像的重要步骤。通过对成像图像进行二次处理,能够使图像更加清晰、简便,提高诊断效率,减少误诊率。医学图像融合、超声成像、图像重建等技术是医学图像处理的几种应用。其中,在其底层实现中,医学图像语义分割技术是处理医学图像的重要手段之一。

图像语义分割是将图像中具有不同含义的区域分割开来,这些区域均满足区域连通性,且互不相交,所有区域之和构成整幅图像。快速高效地分离不同含义的区域是图像分割的目标之一。阈值分割是最简单的像素级图像分割算法,以灰度图为例,两个物体的灰度十分相近,但观察该图像灰度直方图可发现，直方图存在两个不同的峰处,选取两峰间的谷作阈值,可以很好地分割图像。边缘检测也是一种常用图像分割算法,采用物体边缘像素灰度值变化往往十分剧烈这一思想,确定物体边缘像素,从而完成物体分割。另外,基于区域的图像分割思想也较为常见,如***合并利用四叉树原理,对图像选取数个互不相交的初始区域,依据给定的均匀性检测准则,进行区域***合并,直至最少区域数目为止。不过因大多数医学图像像素分辨率不佳,上述处理效果并不十分理想。为了在低分辨像素的基础上有效处理图像特征,一些利用模糊信息的方法出现了。模糊聚类算法是基于模糊集理论与聚类的方法,其采用的隶属原则对于解决此问题行之有效。另外利用小波变换的医学图像分割方法也有较好效果,它对图像直方图的小波分解结构,容易检测出图像中灰度突变大的物体,方便使用不同程度的阈值分割原始图像。近些年,除传统医学图像语义分割方法外,随着卷积神经网络(CNN)的兴起,基于CNN的图像分割算法也大量应用于医学图像分割领域。

CNN发展过程中,其再次兴起很大程度是因为2012年Krizhevsky等提出的AlexNet模型在图像分类任务方面ImageNet竞赛中以超越第二名11％的优势夺取冠军,该模型采用线性非饱和模型(ReLU)作其激活函数,双GPU并行运算与局部标准化共同提升性能。不得不提,在CNN模型实现中,ReLU激活函数相比此前常用Sigmoid激活函数而言,既简单又有更好效果。Sigmoid激活函数又称S型生长曲线,函数图像像是躺着的S,上限为1,下限为-1,功能是将变量映射到(0,1)区间上。ReLU激活函数是一个线性分段函数,其效果是正值不变,负数值全变为0,实践证明使用ReLU激活函数应用于CNN能比使用Sigmoid激活函数更好地拟合训练,挖掘数据特征。AlexNet之后,Karen Simonyan等提出不断加深网络结构提升自身性能的VGG网络,使用1×1卷积层增加线性变换提炼特征；Christian Szegedy等提出的GoogLeNet层深时引入两个损失回传减轻梯度消失,拓展宽度时使用多种卷积核增添特征。高速路神经网络(Highway Network)将重心放在如何更好进行特征提取,允许信息高速无阻碍地通过网络各层,有效减缓了梯度问题。此外2015年,在目标检测与语义分割方面,全卷积神经网络(FCN)也被提出。FCN是一种端到端、像素到像素的CNN语义分割模型,核心观点是构架一个“全卷积”网络,网络对输入图像尺寸无要求,最终输出结果与输入相同。网络中增添了反卷积层,其作用是对其上输入层的特征图上采样,以此恢复数据的同输入层输入一致的空间分辨率。因此,该网络在对输入图像每个像素都预测的同时,也成功保留原始输入图像中的空间信息。其次,FCN引入了下采样和上采样之间的跳跃式连接,结合来自深层、浅层的语义信息与特征,以此优化像素级分辨率损失,有利于上采样过程中从下采样层复原微量级信息。

不过,传统CNN或FCN进行信息传递时会或多或少地出现信息遗失、损耗等问题,在输入信息或梯度信息通过多层后,很可能导致梯度消失或梯度***。该问题在网络深度较深时尤为突出。

发明内容

本发明提供一种在肿瘤检测任务中,提高原始图像语义检测分割的准确性的基于BM3D和稠密卷积网络融合的肿瘤检测方法。

为此本发明方法包括：

步骤一，标记相似块；

步骤二，随机丢弃与快速标记；

步骤三，优化及训练DenseNet网络；

步骤四，利用输入图像的空间信息、结构信息以及提取的特征信息基于深度训练的数据进行重建。

本发明还提供一种实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，包括：

存储器，用于存储计算机程序及基于BM3D和稠密卷积网络融合的肿瘤检测方法；

处理器，用于执行所述计算机程序及实现多存储器压力测试***，以实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的步骤。

从以上技术方案可以看出，本发明具有以下优点：

基于DenseNet的种种优势,本发明将DenseNet应用于肿瘤检测任务,并融合图像去噪算法BM3D建立一个增强医学肿瘤图像语义分割的DenseNet模型。本发明肿瘤检测模型采用BM3D的相似块分组技术并将它置于DenseNet前端,重用图像特征并优化网络结构,加强了网络鲁棒性。并在构建的DenseNet网络模型中采取可缩放指数型线性单元激活函数(SELU)替换ReLU激活函数优化参数网络结构,充分利用细节特征避免狭小特征丢失,提升网络提取特征能力。同时,在每层稠密块末端增添一层最大池化层,深化抽象特征信息,使检测效果更为准确。最后在网络末端,采用BM3D中相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关系。

本发明采用BM3D的相似块分组技术并将它置于DenseNet前端,网络架构中使用SELU激活函数替换ReLU优化负数部分特征,利用DenseNet网络中稠密块结构将不同层学习到的特征映射串联起来,同时加入最大池化二次提取特征。最后在网络末端,采用BM3D中相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关系。最后,采用BM3D的聚合方法进行区域融合。本发明网络采用多个评价指标:均交并比、均像素精度等,并表现出优势。本发明网络架构在医学图像分割优化上具有良好的鲁棒性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于BM3D和稠密卷积网络融合的肿瘤检测模型示意图；

图2为DenseNet稠密块结构图；

图3为三种激活函数与SELU的对比示意图；

图4为消融实验a与b-h的对比示意图；

图5为六种先进方法与本方法的对比图像；

图6为基于BM3D和稠密卷积网络融合的肿瘤检测方法流程图。

具体实施方式

本发明中，如图1至6所示，在脑部损伤分割方面,一种采用双并行网络架构同时处理高、低分辨率图像的3D卷积神经网络框架被提出，称为DeepMedic。密集卷积网络(DenseNet)提出了使用稠密块结构解决网络退化的思想,该网络由稠密块和池化操作组建,每层以此前所有层的输出为输入。DenseNet的架构主要参考了Highway Network,ResNet以及GoogleNet,通过加深网络结构,提升最终分类准确度。

在肿瘤检测任务中,本发明提高原始图像语义检测分割的准确性。DenseNet在图像分类中如ImageNet数据集上具有很好的分类效果,验证其结构可以发现,将DenseNet与BM3D相结合能够迁移到肿瘤检测任务中。DenseNet着眼于特征,通过对特征的高度利用达到更好的效果,得到更少的参数,使用连接操作直接将所有层彼此连接,每层都使用前面所有层的输出,并将自己的输出传递给后面所有层,对以前的特征映射执行迭代求和。这种方式解决了随网络深度日益增加,输入信息或梯度信息传递数层后,该信息可能会接近无穷小,并最终在网络末端丢失的问题。基于此,本发明构建了一个用于检测肿瘤的DenseNet模型,并在其中融入BM3D相关结构,网络结构如图1所示,其中存在相似块标记、快速标记、随机丢弃、卷及操作、稠密块、过渡层、特征融合以及分类标记器等。其中过渡层是卷积操作加池化操作。

本发明的步骤一为标记相似块；

具体的，本发明框架中的相似块标记操作与BM3D中相似块分组方法相似,采用欧氏距离,根据欧氏距离公式找到相似块集合,用于提取输入图像相应二维、三维信息,以便于进行特征融合重建。

BM3D某种程度上算是非局部均值(non-local mean,NLM)的拓展,它的主要思想是非局部块匹配。查询相似块时,不同于NLM直接使用欧氏距离查找的思路,BM3D先使用硬阈值线性变换对欧氏距离计算进行处理,降低其计算复杂度；找到相似块后,与NLM直接均值处理但会引入相似块噪声不同,BM3D对相似块进行域转换,采用协同滤波降噪,并在聚合操作处对相似块加权,最终得到降噪后的处理块。

其中BM3D相似块分组操作为:首先在原始图像中选择N_k个k×k大小的参照块(考虑到算法复杂度,不需要就每个像素点挑选参照块,通常采用每隔S_k(S_k＜10)个像素选取,此时复杂度降到原本算法的

),并在参照块的周围选择大小为n×n的区域搜索相似块,寻找区域内所有差异度小于阈值的块,并把找寻到的相似块整合为一个三维矩阵。另外,参照块也需要整合进该三维矩阵中。BM3D使用欧氏距离判定相似块,对块距离的预处理采用标准化二维线性变换与硬阈值,公式如下:

其中x是像素点,

是目标相似块,Z_x是搜索块,

是选择块的尺寸,γ′是硬阈值操作,阈值设为

是归一化后的二维线性变换。

根据欧氏距离公式就可以找到相似块集合,由式(2)所示:

其中X是图像,

是超参数,该超参数能确定块与块之间是否相似,

为

的相似块集合。

本发明中相似块标记操作与BM3D相似块分组差别为:将利用参照块寻找到的若干差异度小于阈值的块与参照块A一起直接存入一个二维矩阵中,将其记为标记块(A,A1,A2,…),(A,A1,A2,…)为一维格式的二维空间信息,标记块中则是基础信息。随后将数个获得的二维矩阵连同空间信息整合为三维矩阵。一句话解释两者的区别,BM3D的相似块分组操作后存在数个三维块,而使用相似块标记后则是只存在一个三维块。

使用相似块分析方法,能使以一个更加客观的方式对图像提取特征,获取相似块集合,采用新的数据存取模式,增加了网络抗拟合性与稳定性。

本发明的步骤二为随机丢弃与快速标记；

具体为随机丢弃，通过对输入随机关闭N个端口以增加网络的抗拟合性和鲁棒性。本发明中使用的随机丢弃在某种程度上与对图像人工添加噪声、人为使图像产生形变类似,但随机丢弃方法比人为干预图像添加噪声更加安全。使用时,随机丢弃的参数可以设置为1,从而不对输入的矩阵进行操作。

框架中快速标记按照功能不同,可以分为两类:标签快速标记和相似块快速标记。其中标签快速标记是看作是相似块标记的简化操作,该操作仅将参照块记为标记块,并且以该标记块作为输入,从而极大地提高运算效率,但是该方法不能确保最终结果的突出。标签快速标记能够直接略过相似块标记与随机丢弃两个操作,原因在于,当实际输入数据过大或内存空间严重不足时,能够快速高效地产生直观的实验结果,可以作为预训练预先迭代,有助于数据分析。第二种操作可以看作是相似块标记的补充操作。该操作为随机选取相似块标记产生的标记块,有利于特征重用。相似块快速标记与随机丢弃的区别是随机丢弃为删除操作,而相似块快速标记是增加操作。相似块快速标记可以通过设置参数值为0,从而不输入参数。

步骤三为优化及训练DenseNet网络；

具体的，具有完整DenseNet结构,更换激活函数为SELU,每个稠密块增添最大池化层,充分利用稠密块的特征重用与连接机制,进一步抽象提取深层特征。DenseNet的优点是通过利用特征的高度来加深特征学习,解决退化问题,提高特征利用率,并使得稠密块中所有层都可以直接接收到控制信息。网络中每层的输出维度都有ψ(增长率参数)个特征映射,因此网络深度加深,特征图的数量增多,两者属于线性相关。

在CNN中,若网络含有N层,连接便为N个。但在DenseNet中,连接却有N(N+1)/2个。该网络的稠密块结构如图2所示,x₀是输入,H₁的输入是x₀；H₂的输入是x₀和x₁,其中x₁是H₁的输出；H₃的输入是x₀、x₁和x₂,其中x₂是H₂的输出；以此类推。

设x_l是DenseNet中稠密块第l(l>1)层的输出。为了更便捷地理解DenseNet结构,下述三点：

第一,在CNN中,x_l是通过对前一层也就是第l-1层的输出x_l-1作用非线性变化H_l输出,其公式为:x_l＝H_l(x_l-1), (3)

其中,非线性变化H_l的定义往往为:一个卷积接一个ReLU激活函数,并随机丢弃一些已训练的连接。

ReLU激活函数是分段线性函数,将所有可能的负值皆转为0,并保持输入的正值不变。这种单侧抑制的方式能更好地挖掘相关特征,对于非线性函数而言,使用ReLU激活函数能免于梯度消失的问题。其激活公式如下:

第二,在ResNet中,为了简化对深层网络的训练,引入残差块,允许梯度直接流向较早的层,并进行特征重用,实现对输出的标识映射相加。得到的输出x_l的公式变为:

x_l＝H_l(x_l-1)+x_l-1, (5)

第三,在DenseNet中,设计了一个更加密集的连接模式,它以一种层与层之间直接连接的方式迭代连接所有的特性输出。因此,第N层的输出x_l的公式为:

x_l＝H_l([x_l-1,x_l-2,…,x₀]), (6)

其中[…]表示连接操作,通过对输出的连接进行特征重用。H_l的定义为:一个批量标准化层(Batch Normalization,BN),后接ReLU激活函数再加一个卷积层和随机失活层。批量标准化层主要解决梯度消失与梯度***问题,拥有正向传播和反向传播结构。随机失活层通过随机关闭神经元,能够解决信息的冗余问题。

DenseNet这种连接模式优势是能够特征重用。并使得网络架构中所有层都可以直接接收到控制信息。网络中每层的输出维度都有ψ个特征映射,因此网络深度加深,特征图的数量增多,两者属于线性相关。为了避免数据***,降低特征图的空间维数,网络末端采取一个1×1卷积操作和2×2池化操作来优化。

当相似块标记产生数据输入时,会先对该输入进行批处理规范化操作、SELU函数激活和卷积操作提取特征。其中SELU的公式为

图3是在SELU激活函数与ReLU,PReLU,ELU等激活函数图像的线性表示,其中,ReLU优点是有效缓解了梯度消失问题,让模型具有稀疏表达能力。但是当神经元系数小于0时会发生神经元死亡消失现象。PReLU能够解决神经元死亡问题,通过引入负数部分参数保留负轴特征。ELU减少了正常梯度与单位梯度之间差距,加速学***缓,这使得方差过大时抑制了梯度***。而SELU的负半轴存在一个不动点,在方差过小的时候可以让其增大,防止了梯度消失。SELU激活函数在特定参数下,其分布能自动归一化到0均值和单位方差,这需满足两个条件:对于满足给定公式(7)取特定值的λ和α或者按照给定的参数对权重初始化。由于单稠密块中要求特征图保持相同大小,所以在不同特征图之间设置过渡层进行下采样,以此来保证算法的实现。过渡层是由批量标准化操作、卷积操作和池化操作组成。过渡层之后,本发明又增添了一个最大池化操作,对特征进行二度提取。

由于稠密块的存在,浅层提取出的特征仍可能被较深层直接使用,即使是在稠密块之外的过渡层中也会使用到之前稠密块中所有层的特征。本发明网络使用了SELU激活函数并在稠密块中增添了一个最大池化操作。这使得该模块中特征的利用率提升。

本发明的步骤四，利用输入图像的空间信息、结构信息以及提取的特征信息基于深度训练的数据进行重建。

具体为，利用输入图像的空间信息、结构信息以及提取的特征信息等对深度训练的数据进行重建。真值传递过程是将原始数据的空间信息、维度特征和随机丢弃后数据的标记信息、空间结构等传递给分类标记。快速真值传递过程仅仅是将原始数据的空间信息、空间结构等传递给分类标记利用并进行重建。使用快速真值传递能构建一个”粗糙”的模型,加快模型训练效率。分类标记中包含传入的深度特征,也含有来自输入图像寻找相似块处理后的特征信息,通过分类标记的采集与连接,将相应信息一一对应起来,便于后续处理。特征融合方法:每个像素的灰度值通过对每个对应位置块的值加权平均更新,权重取决于置0的个数和噪声强度。将二维块融合到原来的位置,从而计算最终图像。

其中

是权重,

是公式(6)硬阈值操作后非0系数的个数,

模型融合结果良好,基于BM3D与DenseNet相结合的网络架构能够完成医学图像语义分割肿瘤识别任务。

DenseNet如此多的优势导致即便其出现仅仅两年之久就有对其很深的研究与应用。语义分割方面,Jégou等改进上采样过程,提出全卷积DenseNet,重用特征的同时又避免产生特征***。其使用城市场景的基准数据集训练,将DenseNet应用在语义分割上。在图像分类领域,Huang等提出了一种改进网络CondenseNet,从实际效率出发,结合稠密块直接的互连,删除未使用的连接机制,得到一个更加高效的图像分类网络模型。在图像超分辨方向,Zhang等结合ResNet与DenseNet,将残差结构与稠密块结构融合,提出了残差稠密块,将图像从低分辨率原始图像到高分辨率图像重建。

有关DenseNet的研究虽然发展迅速,但由于其过于”年轻”,依然有许多方面需要做完善工作,尤其在实践应用方面,更需要一步步应用于实际,发挥其优势。

基于上述基于BM3D和稠密卷积网络融合的肿瘤检测方法，本发明采用均交并比，均像素精度以及峰值信噪比作为评价指标。交并比(IoU)是语义分割的准确度量,方式是计算两个集合的交集和并集之比。在语义分割的问题中,这两个集合为真实值和预测值,这个比例可以变形为正真数比上真正、假负、假正(并集)之和。

均交并比(Mean Intersection over Union,MIoU)是在每个类上计算IoU,之后平均。由于它的简洁、代表性强,MIoU被称为语义分割最常用的度量标准。函数值小于等于1,数值越大效果越好。

均像素精度(Mean Pixel Accuracy,MPA)是像素精度的一种简单提升。像素精度(Pixel Accuracy,PA)是检测图像准确度最简单的度量方式之一,其结果为标记正确的像素占总像素的比例。公式为:

均像素精度计算每个类内被正确分类像素数的比例,之后求所有类的平均。其中均像素精度函数值小于等于1,数值越大效果越好。具体方法是:

峰值信噪比(Peak Signal to Noise Ratio,PSNR)是一种评价图像与原图像类似度的客观标准,为了衡量经过处理后的图像品质,我们通常会观测其PSNR值来衡量某个处理能否达到预期要求。本发明中PSNR应用于对相似标记块等的消融实验的研究,它是原图像与被处理图像之间的均方误差相对于(2^n-1)^2的对数值。

本发明通过实验图像来验证肿瘤检测方法，具体的实验图像选用含肿瘤或结节的肺部、脑部等器官切片，其中,图像标签标注由人工完成。由于医学图像具有保密性,并且高度依赖于机器设备的准确度,相关图像的获取面临部分困难,最终网络图像总数量为1 200幅,训练集数量为1 000张,其中600幅图像大小是512x512,400幅图像大小是128x128。实验中网络结构采用TensorFlow框架实现。实验的硬件设施为Intel(R)Xeon(R)E5-2643 [email protected] CPU,NVIDIA GeForce GTX 1080M GPU,256GB内存,操作***是ubuntu 14.04。

实验目的是完成肿瘤检测。本发明提出的模型基于DenseNet融合BM3D,使用SELU作为激活函数,并对稠密块增添最大池化操作。基于BM3D的相似块分割与DenseNet的训练,需求的块长、块宽既不能太大也不能太小。BM3D追求小量的块参数，因此本发明在每个训练批次中,采用单位为8的拼接块作为输入进行训练。而DenseNet在提取特征方面虽同样不能过大,但小值的图像块很可能无法学习特征,所以此部分将图像块的大小设定为32×32,既能较为完整地获取图像特征,又能够保证数据的安全性。实验中选取与训练图像不同的150幅图像作测试集,50幅与训练图像和标记图像皆不相同的图像作为验证集。

在学习率的问题上，初始学习率设为1e^-3,当图像使用过半时，学习率降为1e^-4。网络进行训练所使用的图像，都通过翻转和区域扭曲等操作进行了图像增强,以此来保证网络迅速训练的同时又抑制过拟合的产生。模型的损失率设为0.2,重量衰减设为1e^-4，内斯特罗夫动量设为0.9，迭代次数设为150。实验结果通过均交并比、像素精度和均像素精度等来观测结果。

对相似块标记等部分的消融研究过程为，在关于相似块标记、随机丢弃、标签快速标记与相似块快速标记的研究中,分别以迭代次数为25、50、75、100、125、150、175、200、225情况下进行测试(为了简便表达,以迭代次数等于125为例),对其分别在允许情况下进行开闭操作(记相似块标记取值为1(存在)、随机丢弃取值为1(不丢弃参数)、标签快速标记取值为0(不输入参数)与相似块快速标记取值为0(不输入参数)为原始状态a,若标记状态为T表示存在,标记状态F表示不存在,0表示不可能发生。

通过研究相似块标记、随机丢弃、标签快速标记与相似块快速标记的消融实验,使用特征融合重建过程中的融合图像进行测试。分别对各个模块存在时进行值为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9的测试。由于测试复杂,本发明以下述条件为例:若随机丢弃模块存在，则其取值为0.7；若标签快速标记模块存在,取值也为0.7；若相似块快速标记模块存在,同样以0.7为测试值。统一模块数据有利于统一标准,进行消融实验,观察b-h与a的峰值信噪比,如表1所示:

表1 b-h与a的PSNR对比(迭代次数等于125)

表1的实验结果可以看出b、c、d与a的PSNR结果要优于e、f、g、h与a的PSNR结果。这说明随机丢弃方法的存在是本发明网络效果较好的前提；

b、c、d、e、f、g与a的PSNR都大幅大于h,可以得到相似块标记方法的存在是本发明网络的核心要素。在b、c、d与a的PSNR中可以看出c结构与a的PSNR要大于b、d与a的PSNR,这说明有时特征重用会产生过拟合问题,反而导致训练结果略有下降。同样的,在e、f、g与a的PSNR结果也发现如此。

图4是选择一幅图像分别作a-h变换产生的实际结果,可以看出尽管PSNR存在较大差异,但总体图像差别不大,总体构架完善,区别更多体现在细节上。依据共同选取出的图像块,其中a、b、c、d的细节描述能力明显高于e、f、g、h。这从图像视觉方面证明了随机丢弃方法对网络的良好优化,相似块分组存在的必要性。另外f方法处理的图像虽然PSNR相对较低,但其细节还原能力反而不差。

实验对比，将网络与SegNet、DeconvNet、空洞卷积(Dlated Convolutions)、RefineNet、PSPNet和DeepLab v36种网络图像处理结果进行对比,其中,在模型训练时,参数统一,初始学习率设为1e^-3,当图像使用过半时，学习率降为1e^-4。网络进行训练所使用的图像，都使用同样进行了翻转和区域扭曲等操作的增强图像,模型的损失率均设为0.2,重量衰减设为1e^-4，内斯特罗夫动量设为0.9，迭代次数设为150。实验的硬件设施均相同且为Intel(R)Xeon(R)E5-2643 [email protected] CPU,NVIDIA GeForce GTX 1080M GPU,256GB内存,操作***是ubuntu 14.04。实验结果通过分别计算相应MIoU与MPA来直观检测。

SegNet是由编码器、解码器和归一化指数函数分类层组成,优点是使用解码器对其较低分辨率的输入特征图进行上采样。这种方式使得网络不需要学***衡性能和内存。

DeconvNet引入反卷积解决像素级别的预测,改进了传统基于CNN网络部分的不足,可以识别出细小的物体。

Dlated Convolutions保证参数不变的情况下增加大了卷积核的视野,无需作池化操作,同时保证输出的特征映射的大小不变。

RefineNet是一种多阶段的提炼网络,能将粗糙的高层语义特征和细小的低层特征进行融合,有效保留细节信息。

PSPNet提出的金字塔池化模块能聚合不同区域上下文信息,提高获取全局信息的能力。

DeepLab v3进一步研究空洞卷积,设计了空洞卷积级联或不同采样率空洞卷积并行架构。

在变量条件基本相同的条件下,本发明方法与此6种网络对比计算MIoU与MPA的结果如表3所示。

表3不同算法语义分割图像MIoU和MPA比较

MIoU是检测语义分割的核心指标之一,其准确度的高低可以在很大程度上判定算法语义分割的准确度。而MPA可以对MIoU形成补充参照。在表3可以看出,在本发明使用的医学图像数据集下,作对比实验使用的六种方法中,DeepLab v3的MIoU与MPA所计算的值相对最高,其后是PSPNet、RefineNet和Dilated Convolutions。而SegNet与DeconvNet相对结果不如上述四种。

在本发明使用的医学图像数据集上,无论是MIoU结果还是MPA结果,本发明方法都是最优的。MIoU比DeepLab v3多了0.4个百分点,MPA多了0.5个百分点。

图5是从验证集随机选取的三幅图像在包括本发明在内的7种网络结构得到的结果图,原始的三幅图像位于最左侧,Ground Truth图像位于图像最右侧,其余是其中检验方法的排列,验证方法中最后一种方法(位于Ground Truth图像左侧)是本发明方法,并且在视觉效果上可以看出本发明方法与Ground Truth最为接近。依据三幅图像,可以看出DeconvNet、DeepLab v3与本发明方法最为稳定,图像波动不大,但RefineNet与PSPNet方法处于一种不稳定态,三幅图像标记差异方式不相同。在PSPNet中,第一幅图像中狭小红色区域位于最下方边缘处,但第二幅与第三幅的狭小红色标记区域反而在肺部。在RefineNet中标记类与背景颜色差距过小,不易准确识别。而本发明方法效果(以此三幅图为参照)准确的同时也极其稳定。部分方法PSNR较高但图像视觉效果并不十分理想的原因目前未知,当前着手于测试其具体原因。

本发明对稠密卷积网络进行了改进,引入了三维块匹配滤波模块,提出了一种结合三维块匹配滤波和稠密卷积网络的算法来进行医学图像分割与肿瘤检测。本发明肿瘤检测模型采用BM3D的相似块分组技术并将它置于DenseNet前端,网络架构中使用SELU激活函数替换ReLU优化负数部分特征,利用DenseNet网络中稠密块结构将不同层学习到的特征映射串联起来,同时加入最大池化二次提取特征。最后在网络末端,采用BM3D中相似度聚合方法进行特征重构,充分挖掘图像像素级的空间结构关系。最后,采用BM3D的聚合方法进行区域融合。本发明网络采用多个评价指标:均交并比、均像素精度等,并表现出优势。实验结果表明,本发明网络架构在医学图像分割优化上具有良好的鲁棒性。

本发明还提供一种实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，包括：存储器，用于存储计算机程序及基于BM3D和稠密卷积网络融合的肿瘤检测方法；处理器，用于执行所述计算机程序及实现多存储器压力测试***，以实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的步骤。

这里所描述的技术可以实现在硬件，软件，固件或它们的任何组合。所述的各种特征为模块，单元或组件可以一起实现在集成逻辑装置或分开作为离散的但可互操作的逻辑器件或其他硬件设备。在一些情况下，电子电路的各种特征可以被实现为一个或多个集成电路器件，诸如集成电路芯片或芯片组。

所述代码或指令可以是软件和/或固件由处理电路包括一个或多个处理器执行，如一个或多个数字信号处理器(DSP)，通用微处理器，特定应用集成电路(ASICs)，现场可编程门阵列(FPGA)，或者其它等价物把集成电路或离散逻辑电路。因此，术语“处理器，”由于在用于本发明时可以指任何前述结构或任何其它的结构更适于实现的这里所描述的技术。另外，在一些方面，本公开中所描述的功能可以提供在软件模块和硬件模块。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本发明中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本发明所示的这些实施例，而是要符合与本发明所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，其特征在于，包括：

存储器，用于存储计算机程序及基于BM3D和稠密卷积网络融合的肿瘤检测方法；

处理器，用于执行所述计算机程序及实现多存储器压力测试***，以实现如基于BM3D和稠密卷积网络融合的肿瘤检测方法的步骤；

基于BM3D和稠密卷积网络融合的肿瘤检测方法的步骤包括：

步骤一，标记相似块；

步骤二，随机丢弃与快速标记；

步骤三，优化及训练DenseNet网络；

配置DenseNet结构,设置激活函数为SELU,每个稠密块增加最大池化层，利用稠密块的特征重用与连接机制，提取深层特征；

基于DenseNet结构，通过利用特征的高度加深特征学习,并使得稠密块中所有层均接收到控制信息；

在网络中每层的输出维度都有ψ个特征映射,使得网络深度加深,特征图的数量增多；ψ为增长率参数；

配置网络的稠密块结构,x₀是输入,H₁的输入是x₀；

H₂的输入是x₀和x₁,其中x₁是H₁的输出；

H₃的输入是x₀、x₁和x₂,其中x₂是H₂的输出；

设x_l是DenseNet中稠密块第l层的输出，l>1；

基于DenseNet结构配置x_l，x_l通过对前一层第l-1层的输出x_l-1作用非线性变化H_l输出,其公式为:x_l＝H_l(x_l-1) (3)

其中,非线性变化H_l(x_l-1)的定义为:一个卷积接一个ReLU激活函数,并随机丢弃一些已训练的连接；

ReLU激活函数是分段线性函数,将所有负值皆转为0,并保持输入的正值不变；

对于非线性函数,使用ReLU激活函数免于梯度消失的问题；其激活公式如下:

在ResNet中，对深层网络的训练,引入残差块,允许梯度直接流向较早的层,并进行特征重用,实现对输出的标识映射相加，得到的输出x_l的公式变为:

x_l＝H_l(x_l-1)+x_l-1 (5)

在DenseNet中，以层与层之间直接连接的方式迭代连接所有的特性输出；第N层的输出x_l的公式为:

x_l＝H_l([x_l-1,x_l-2,…,x₀]) (6)

其中[…]表示连接操作,通过对输出的连接进行特征重用；H_l([x_l-1,x_l-2,…,x₀])的定义为:一个批量标准化层,后接ReLU激活函数再加一个卷积层和随机失活层；批量标准化层用于解决梯度消失与梯度***问题,拥有正向传播和反向传播结构；随机失活层通过随机关闭神经元，解决信息的冗余问题；

当相似块标记产生数据输入时,先对该输入进行批处理规范化操作、SELU函数激活和卷积操作提取特征；其中SELU的公式为

SELU激活函数在预设参数下,其分布能自动归一化到0均值和单位方差；

对于满足给定公式(7)取特定值的λ和α或者按照给定的参数对权重初始化；

由于单稠密块中要求特征图保持相同大小,所以在不同特征图之间设置过渡层进行下采样，保证算法的实现；

过渡层是由批量标准化操作、卷积操作和池化操作组成；

过渡层之后,配置最大池化操作,对特征进行二度提取；

步骤四，利用输入图像的空间信息、结构信息以及提取的特征信息基于深度训练的数据进行重建。

2.根据权利要求1所述的实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，其特征在于，

步骤一还包括：

在原始图像中选择N_k个k×k大小的参照块；

通常采用每隔S_k个像素选取,S_k＜10，复杂度降到原本算法的

并在参照块的周围选择大小为n×n的区域搜索相似块,寻找区域内所有差异度小于阈值的块,并把找寻到的相似块整合为一个三维矩阵；

参照块整合进该三维矩阵中；BM3D使用欧氏距离判定相似块,对块距离的预处理采用标准化二维线性变换与硬阈值,公式如下:

其中x是像素点,

是目标相似块,Z_x是搜索块,

是选择块的尺寸,γ′是硬阈值操作,阈值设为

是归一化后的二维线性变换；

根据欧氏距离公式找到相似块集合,由式(2)所示:

其中X是图像,

是超参数,该超参数能确定块与块之间是否相似,记

为

的相似块集合。

3.根据权利要求1或2所述的实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，其特征在于，

步骤二还包括：

随机丢弃的参数设置为1,不对输入的矩阵进行操作；

在框架中将快速标记分为：标签快速标记和相似块快速标记；

随机丢弃为删除操作,相似块快速标记为增加操作；相似块快速标记设置参数值为0；

标签快速标记为相似块标记的简化操作，操作将参照块记为标记块,并且以所述标记块作为输入；标签快速标记直接略过相似块标记与随机丢弃两个操作；

相似块快速标记为随机选取相似块标记产生的标记块。

4.根据权利要求1所述的实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，其特征在于，

步骤四还包括：

利用输入图像的空间信息、结构信息以及提取的特征信息对深度训练的数据进行重建；

基于真值传递过程将原始数据的空间信息、维度特征和随机丢弃后数据的标记信息、空间结构传递给分类标记；

快速真值传递过程是将原始数据的空间信息、空间结构传递给分类标记利用并进行重建；使用快速真值传递能构建一个粗糙模型,加快模型训练效率；

分类标记中包含传入的深度特征,含有来自输入图像寻找相似块处理后的特征信息,通过分类标记的采集与连接,将相应信息一一对应起来,便于后续处理；

将特征信息进行融合。

5.根据权利要求4所述的实现基于BM3D和稠密卷积网络融合的肿瘤检测方法的装置，其特征在于，

将特征信息进行融合方法包括：通过对每个对应位置块的值加权平均更新配置每个像素的灰度值；权重取决于置0的个数和噪声强度；将二维块融合到原来的位置,从而计算最终图像；

其中

是权重,

是公式(6)硬阈值操作后非0系数的个数,

X→{0,1}；

模型融合结果基于BM3D与DenseNet相结合的网络架构完成医学图像语义分割肿瘤识别任务。

Images