CN111192334A - 可训练的压缩感知模块及一种图像分割方法 - Google Patents

可训练的压缩感知模块及一种图像分割方法 Download PDF

Info

Publication number
CN111192334A
CN111192334A CN202010002908.1A CN202010002908A CN111192334A CN 111192334 A CN111192334 A CN 111192334A CN 202010002908 A CN202010002908 A CN 202010002908A CN 111192334 A CN111192334 A CN 111192334A
Authority
CN
China
Prior art keywords
trainable
sensing module
network
network model
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010002908.1A
Other languages
English (en)
Other versions
CN111192334B (zh
Inventor
向德辉
田海鸿
陈新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010002908.1A priority Critical patent/CN111192334B/zh
Publication of CN111192334A publication Critical patent/CN111192334A/zh
Application granted granted Critical
Publication of CN111192334B publication Critical patent/CN111192334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可训练的压缩感知模块及一种图像分割方法,包括以下步骤:构建具有所述可训练的压缩感应模块网络模型;将患有非小细胞肺肿瘤的三维PET图像作为训练数据集带入网络模型以训练网络,获得训练后的网络。其可以在训练过程中实现信息压缩,去除冗余的特征图并增强有效的特征图,分割结果更加精确,分割速度更快,使用的参数量更少。

Description

可训练的压缩感知模块及一种图像分割方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种可训练的压缩感知模块及一种图像分割方法。
背景技术
近50年来,肺癌成为了全球最常见的恶性肿瘤,不仅病发率高,居恶性肿瘤榜首,且死亡率也位列第一。据统计,肺肿瘤的发病率已居男性各种肿瘤的首位。PET(正电子发射断层显像)能从分子和细胞的水平来检测生物组织新陈代谢的活动进程和特征,对于代谢旺盛的组织(例如肿瘤、心脏、肝脏),在PET图像上具有较高的亮度。因此PET图像广泛用于临床肺肿瘤诊断。精确自动分割可以给医生的诊断提供重要的辅助作用。目前肺肿瘤的分割方法可以分为基于非学习的方法和基于学习的方法。基于非学习的方法通常依赖于强度统计分布。
然而基于非学习的分割方法应对肿瘤形状的变化性的能力有限。近年来,卷积神经网络已经迅速证明是处理各种医学图像的最先进的工具。UNet以及基于UNet的改进网络在医学图像像素级分割任务上表现优异。但是,当分割目标与周围组织结构的亮度非常相似时,卷积神经网络的分割效果很差。由于PET图像中的肺肿瘤亮度很高,其他器官(例如心脏,脊柱和肝脏)的亮度与肿瘤相似,在使用卷积神经网络分割时,分割结果假阳性很高。
发明内容
本发明要解决的技术问题是提供一种可训练的压缩感知模块及一种图像分割方法,其可以在训练过程中实现信息压缩,去除冗余的特征图并增强有效的特征图。
为了解决上述技术问题,本发明提供了一种可训练的压缩感知模块,包括以下步骤:
获取压缩感应模块的三维矩阵输入
Figure BDA0002354159680000021
所述压缩感应模块的输入来自前一层卷积层的输出,其中,H是特征图的高度,W是特征图的宽度,C是当前层的特征通道数;
将所述压缩感知模块的三维矩阵输入
Figure BDA0002354159680000022
做二维矩阵形变,获得形变后的二维矩阵
Figure BDA0002354159680000023
利用奇异值分解算法将二维矩阵
Figure BDA0002354159680000024
分解为X=U∑VT,其中,
Figure BDA0002354159680000025
Figure BDA0002354159680000026
是左奇异正交向量矩阵,
Figure BDA0002354159680000027
是右奇异正交向量矩阵,
Figure BDA0002354159680000028
是奇异值矩阵;
设定权重矩阵
Figure BDA0002354159680000029
所述权重矩阵
Figure BDA00023541596800000210
的对角线上的元素是可训练更新的,对角线之外的元素值为零,获得新的Y矩阵
Figure BDA00023541596800000211
利用设定的权重矩阵
Figure BDA00023541596800000212
对∑的奇异值做挑选以实现对二维矩形X=U∑VT的信息压缩,去除冗余特征并且增强有效信息。
本发明公开了一种图像分割方法,基于上述的可训练的压缩感知模块,包括以下步骤:
构建具有所述可训练的压缩感应模块网络模型;
获取患有非小细胞肺肿瘤的三维PET图像训练数据集,将所述训练数据集带入网络模型以训练网络,获得训练后的网络。
作为优选的,构建具有所述可训练的压缩感应模块网络模型,具体包括:
利用全卷积网络作为网络模型的基础框架,其中,所述全卷积网络包括三个卷积层、三个可训练压缩感知模块、三次下采样和三次上采样,所述全卷积网络的每一个卷积层包括归一化、卷积和激活函数。
作为优选的,还包括深层监督机制,所述深层监督机制具体包括以下步骤:
在所述可训练压缩感应模块后面皆添加有辅助支路,所述辅助支路使用反卷积来放大一些较低级别的和中等级别的特征向量;
利用softmax激活函数对得到的同等大小完整尺寸的特征向量计算,获得额外的密集预测图;
对于所述辅助支路的预测图以及相应的人工手动标注图,利用交叉熵代价函数计算预测图以及相应的人工手动标注图之间的分割误差;
将所有所述辅助支路的交叉熵损失和最后一层的交叉熵损失结合,以激励梯度反向传播并在每次迭代中更有效的更新参数。
作为优选的,还包括:
Figure BDA0002354159680000031
为网络模型的第l个可训练的压缩感应模块网络模型的权重参数,其中,l=1,2,…,L;
所有可训练的压缩感应模块的权重为
Figure BDA0002354159680000032
用p(xi;Φ)表示最后一层的输出经过softmax函数之后像素xi的预测概率,则交叉熵损失可以表示为:
Figure BDA0002354159680000033
其中,
Figure BDA0002354159680000034
表示训练数据集,像素yi是与像素xi∈X相对应像素的分割标签,式子的第二项权重正则化,λ是可调节超参数。
作为优选的,所述“深层监督机制”中,
Figure BDA0002354159680000041
表示主网络的前d个可训练的压缩感应模块的权重,用p(xi;Φd)表示第d个支路的输出同样经过softmax函数之后像素xi的预测概率;
所述深层监督机制
Figure BDA0002354159680000042
优化上式,获得最佳的权重Φ,从而监督可训练压缩感知模块提取到关键有效特征图。
作为优选的,使用Focal Loss监督网络模型的最后一层的输出。
作为优选的,所述“使用Focal Loss监督网络模型的最后一层的输出”,具体包括:
网络损失函数
Figure BDA0002354159680000043
其中pk=yip(xi)是第k类的预测概率,α为平衡因子,用来平衡正负样本,γ为权重因子,γ>0可以减少易分割样本的损失;
总的损失函数
Figure BDA0002354159680000044
其中,
Figure BDA0002354159680000047
为网络模型最后一层输出的交叉熵损失;
Figure BDA0002354159680000048
为中间辅助支路的交叉熵损失,ηd
Figure BDA0002354159680000045
的平衡权重,δ是
Figure BDA0002354159680000046
的平衡权重,D是具有深层监督的支路的数量。
作为优选的,所述“获取患有非小细胞肺肿瘤的三维PET图像训练数据集”,具体包括:将每个三维PET图像沿着Z轴方向切成二维的切片图像作为卷积神经网络的输入,利用翻转、旋转和长度和宽度方向平移进行数据扩增。
本发明的有益效果:
1、本发明提出了一种可训练的压缩感知模块CSM,其可以在训练过程中实现信息压缩,去除冗余的特征图并增强有效的特征图;
2、本发明提出的全卷积神经网络可以通过可训练的压缩感知模块CSM提取关键特征,并通过卷积的方式进一步加强这些关键特征,从而获得更加出色的分割效果;
3、本发明提出一种深层监督机制来监督可训练的压缩感知模块CSM中的权重参数,可以在训练过程中指导CSM进行特征提取;
4、本发明提出的方法与现有的方法相比,分割结果更加精确,分割速度更快,使用的参数量更少。
附图说明
图1为本发明的可训练的压缩感知模块CSM;
图2为效果对比图,其中,(a)为未加入CSM模块的可视化图;(b)为加入CSM模块之后的可视化效果图。
图3为本发明网络整体框架图;
图4为人体各个角度PET图像,其中,(a)图表示的是三维PET图像的冠状面的截面图;(b)图表示的时候三维PET图像的水平面的截面图;(c)图表示的是三维PET图像矢状面的截面图;
图5为不同方法分割对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
实施例一
参照图1所示,本发明基于主成分分析PCA的思想,提出了可训练的压缩感知模块CSM,包括以下步骤:
步骤一、获取压缩感应模块的三维矩阵输入
Figure BDA0002354159680000051
所述压缩感应模块的输入来自前一层卷积层的输出,其中,H是特征图的高度,W是特征图的宽度,C是特征图的通道数;
步骤二、将所述压缩感知模块的三维矩阵输入
Figure BDA0002354159680000061
做二维矩阵形变,获得形变后的二维矩阵
Figure BDA0002354159680000062
其中N=H×W是每一张特征图上的像素的总数;
步骤三、利用奇异值分解算法将二维矩阵
Figure BDA0002354159680000063
分解为X=U∑VT,其中,
Figure BDA0002354159680000064
是左奇异正交向量矩阵,
Figure BDA0002354159680000065
是右奇异正交向量矩阵,
Figure BDA0002354159680000066
是奇异值矩阵,它对角线上的元素都是非负实数,除了对角线其他地方的元素值都为零。将对角线上的元素定义为
Figure BDA0002354159680000067
其中λi表示第i个奇异值。C个奇异值是按照降序在对角线上排列。协方差矩阵可以写成:
XXT=U∑VTV∑TUT=U∑∑TUT (1)
其中T表示矩阵转置。∑∑T是一个对角矩阵。因此X的奇异值分解等效于XXT的本征空间分解。X的奇异值是XXT的特征值的平方根,X的左奇异向量是XXT的特征向量。
步骤四、利用矩阵Yr=U∑r对X=U∑VT进行降维,其中Yr是利用奇异值分解算法之后得到的二维矩阵,r表示奇异值前r个数量,∑r表示选取
Figure BDA0002354159680000068
奇异值矩阵的前r列;
由于奇异值分解得到的特征值是按照降序排列的,设定权重矩阵
Figure BDA0002354159680000069
所述权重矩阵
Figure BDA00023541596800000610
的对角线上的元素是可训练更新的,对角线之外的元素值为零,对角线之外的元素值为零。这样,新的Y矩阵可以定义为:
Figure BDA00023541596800000611
利用定义的权重矩阵
Figure BDA00023541596800000612
CSM模块可以在训练过程中实现信息压缩,去除冗余特征并且增强有效信息。经过网络训练之后,尽管每一层的卷积特征图的个数没有改变,但是每一层中的冗余信息得到了去除。因此每一层的特征图变得稀疏而且彼此不相关。
每个CSM模块可以理解为一种信息压缩算法,用于将原本相关的特征图转换为一组线性不相关的特征图,称之为主成分。这与我们的目标获得不相关的特征图相一致。本发明提出的CSM的特征提取效果图如图2所示。
实施例二
参照图3所示,本发明公开了一种图像分割方法,基于上述的可训练的压缩感知模块,包括以下步骤:
步骤一、构建具有所述可训练的压缩感应模块网络模型;具体包括:利用全卷积网络FCN作为网络模型的基础框架,其中,所述全卷积网络包括三个卷积层、三个可训练压缩感知模块CSM、三次下采样和三次上采样,所述全卷积网络的每一个卷积层包括归一化(BatchNormalization)、卷积(卷积核大小为3×3,滑动步长为1)和激活函数(ReLU)。本发明中全卷积网络的下采样采用的滑动步长为2,卷积核大小为3×3的卷积方式。在每个卷积层后面加上可训练的压缩感知模块(CSM)用来去除冗余特征,提取出有效特征。
本发明还包括深层监督机制,所述深层监督机制具体包括以下步骤:在所述可训练压缩感应模块后面皆添加有辅助支路,所述辅助支路使用反卷积(卷积核大小为3×3,滑动步长分别为2,4,8)来放大一些较低级别的和中等级别的特征向量;利用softmax激活函数对得到的同等大小完整尺寸的特征向量计算,获得额外的密集预测图;对于所述辅助支路的预测图以及相应的人工手动标注图,利用交叉熵代价函数计算预测图以及相应的人工手动标注图之间的分割误差;将所有所述辅助支路的交叉熵损失和最后一层的交叉熵损失结合,以激励梯度反向传播,以便在每次迭代中更有效的更新参数。
Figure BDA0002354159680000071
为网络模型的第l个可训练的压缩感应模块网络模型的权重参数,其中,l=1,2,…,L;所有可训练的压缩感应模块的权重为
Figure BDA0002354159680000072
用p(xi;Φ)表示最后一层的输出经过softmax函数之后像素xi的预测概率,则交叉熵损失可以表示为:
Figure BDA0002354159680000081
其中,
Figure BDA0002354159680000082
表示训练数据集,像素yi是与像素xi∈X相对应像素的分割标签,式子的第二项权重正则化,λ是可调节超参数。
另一方面,所述“深层监督机制”中,用
Figure BDA0002354159680000083
表示主网络的前d个可训练的压缩感应模块的权重,用p(xi;Φd)表示第d个支路的输出同样经过softmax函数之后像素xi的预测概率;
所述深层监督机制
Figure BDA0002354159680000084
通过优化此式,可以得到最佳的权重Φ,从而监督本发明提出的可训练压缩感知模块CSM提取到关键有效特征图。
由于分割目标比较小仅占据切片的一小部分使用Focal Loss来监督网络最后一层的输出,如公式(5)所示。通过调整超参数α和γ,获得更好的性能。
Figure BDA0002354159680000085
其中pk=yip(xi)是第k类的预测概率,α为平衡因子,用来平衡正负样本,γ为权重因子,γ>0可以减少易分割样本的损失。
总的损失函数由三个部分组成:最后一层输出的交叉熵损失和中间辅助支路的交叉熵损失和Focal Loss。总损失函数如公式6所示。
Figure BDA0002354159680000086
其中,
Figure BDA00023541596800000811
为网络模型最后一层输出的交叉熵损失;
Figure BDA00023541596800000812
为中间辅助支路的交叉熵损失,ηd
Figure BDA0002354159680000087
的平衡权重,δ是
Figure BDA0002354159680000088
的平衡权重,D是具有深层监督的支路的数量。
Figure BDA0002354159680000089
Figure BDA00023541596800000810
步骤二、获取患有非小细胞肺肿瘤的三维PET图像训练数据集,将所述训练数据集带入网络模型以训练网络,获得训练后的网络。如图4所示,为人体各个角度PET图像。
本发明使用的数据采集自患有非小细胞肺肿瘤(NSCLC)的病人。该数据集由54个带有医生标注的三维(3D)PET图像组成。每个3D PET图像的图像大小为512×512×60,体素大小为0.234×0.234×1mm3。在本发明使用其中49个用作训练,5个用做测试,将每个3DPET图像沿着Z轴方向切成二维(2D)的切片图像作为卷积神经网络的输入。考虑到数据平衡,利用翻转、旋转和长度和宽度方向平移进行数据扩增。最后利用13折交叉验证进行验证。
本发明使用Keras ImageDataGenerator用来数据扩增,具体的参数是翻转、旋转、宽度/高度方向平移(True,0.2,0.2)。每次送入网络的图片数量设置为4,使用动量为0.9,权重衰减为0.0001的随机梯度下降(SGD)训练网络。使用“多元”学习率策略,其中学习率乘以
Figure BDA0002354159680000091
power为0.9,初始学习率设为4e-3
本发明的实验结果如下:
为了定量评估本发明提出的方法的性能,根据以下四个指标将分割结果与人工手动标注图进行了比较:DSC系数(Dice similarity coefficient),精度(Precision),真阳性分数TPF(true positive fraction)和假阳性分数FPF(false positive fraction)。DSC计算分割结果和人工手动标注图之间的重叠,并定义为:
Figure BDA0002354159680000092
其中TP是真阳性的分割像素数量,FP是假阳性的分割像素数量,FN是假阴性的分割像素数量。TPF、FPF和精度指标计算公式为:
Figure BDA0002354159680000093
Figure BDA0002354159680000094
Figure BDA0002354159680000101
本发明将分割结果与他人的方法进行了比较,如表1所示,其中Param表示神经网络参数量,M表示兆。
如表1所示,为本发明方法与现有方法的分割定量结果对比。
表1
Methods DSC(%) Precision(%) TPF(%) FPF(%) Param
DenseNet 57.77±17.31 57.59±26.55 87.47±15.65 0.29±0.24 2.4M
CGAN 54.10±10.01 75.40±14.58 51.57±16.08 5.66±13.39 142M
Segcaps 58.98±23.21 50.03±23.43 97.89±3.01 3.29±3.46 1.4M
UNet 58.04±18.56 60.10±20.08 90.65±10.71 0.12±0.11 31M
SFC-FCN 79.63±7.99 86.83±7.14 92.05±5.81 0.02±0.01 1M
如图5所示,为不同方法的分割结果图,其中。第一列是原始PET图片。第二列是对应的人工手动标注图。接下来的是CGAN,DenseNet,SegCaps,UNet的分割结果图。最后一些是本发明的方法的分割结果图。
本发明技术有益效果如下:(1)提出了一种可训练的压缩感知模块(CSM);它可以在训练过程中实现信息压缩,去除冗余的特征图并增强有效的特征图;(2)提出的全卷积神经网络可以通过可训练的压缩感知模块(CSM)提取关键特征,并通过卷积的方式进一步加强这些关键特征,从而获得更加出色的分割效果;(3)提出一种深层监督机制来监督可训练的压缩感知模块(CSM)中的权重参数,可以在训练过程中指导CSM进行特征提取;(4)本发明提出的方法与现有的方法相比,分割结果更加精确,分割速度更快,使用的参数量更少。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例,本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换,均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种可训练的压缩感知模块,其特征在于,包括以下步骤:
获取压缩感应模块的三维矩阵输入
Figure FDA0002354159670000011
所述压缩感应模块的输入来自前一层卷积层的输出,其中,H是特征图的高度,W是特征图的宽度,C是特征图的通道数;
将所述压缩感知模块的三维矩阵输入
Figure FDA0002354159670000012
做二维矩阵形变,获得形变后的二维矩阵
Figure FDA0002354159670000013
其中N=H×W是每一张特征图上的像素的总数;
利用奇异值分解算法将二维矩阵
Figure FDA0002354159670000014
分解为X=U∑VT,其中,
Figure FDA0002354159670000015
Figure FDA0002354159670000016
是左奇异正交向量矩阵,
Figure FDA0002354159670000017
是右奇异正交向量矩阵,
Figure FDA0002354159670000018
是奇异值矩阵;
设定权重矩阵
Figure FDA0002354159670000019
所述权重矩阵
Figure FDA00023541596700000110
的对角线上的元素是可训练更新的,对角线之外的元素值为零,获得新的Y矩阵
Figure FDA00023541596700000111
利用设定的权重矩阵
Figure FDA00023541596700000112
对∑的奇异值做挑选以实现对二维矩形X=U∑VT的信息压缩,去除冗余特征并且增强有效信息。
2.一种图像分割方法,所述图像分割方法基于稀疏特征图重组全卷积网络,其特征在于,包括权利要求1所述的可训练的压缩感知模块,包括以下步骤:
构建具有所述可训练的压缩感应模块网络模型;
获取患有非小细胞肺肿瘤的三维PET图像训练数据集,将所述训练数据集带入网络模型以训练网络,获得训练后的网络。
3.如权利要求2所述的图像分割方法,其特征在于,构建具有所述可训练的压缩感应模块网络模型,具体包括:
利用全卷积网络作为网络模型的基础框架,其中,所述全卷积网络包括三个卷积层、三个可训练压缩感知模块、三次下采样和三次上采样,所述全卷积网络的每一个卷积层包括归一化、卷积和激活函数。
4.如权利要求3所述的图像分割方法,其特征在于,还包括深层监督机制,所述深层监督机制具体包括以下步骤:
在所述可训练压缩感应模块后面皆添加有辅助支路,所述辅助支路使用反卷积来放大一些较低级别的和中等级别的特征向量;
利用softmax激活函数对得到的同等大小完整尺寸的特征向量计算,获得额外的密集预测图;
对于所述辅助支路的预测图以及相应的人工手动标注图,利用交叉熵代价函数计算预测图以及相应的人工手动标注图之间的分割误差;
将所有所述辅助支路的交叉熵损失和最后一层的交叉熵损失结合,以激励梯度反向传播并在每次迭代中更有效的更新参数。
5.如权利要求4所述的图像分割方法,其特征在于,还包括:
Figure FDA0002354159670000021
为网络模型的第l个可训练的压缩感应模块网络模型的权重参数,其中,l=1,2,…,L;
所有可训练的压缩感应模块的权重为
Figure FDA0002354159670000022
用p(xi;Φ)表示最后一层的输出经过softmax函数之后像素xi的预测概率,则交叉熵损失可以表示为:
Figure FDA0002354159670000023
其中,
Figure FDA0002354159670000024
表示训练数据集,像素yi是与像素xi∈X相对应像素的分割标签,式子的第二项权重正则化,λ是可调节超参数。
6.如权利要求4所述的图像分割方法,其特征在于,所述“深层监督机制”中,
Figure FDA0002354159670000031
表示主网络的前d个可训练的压缩感应模块的权重,用p(xi;Φd)表示第d个支路的输出同样经过softmax函数之后像素xi的预测概率;
所述深层监督机制
Figure FDA0002354159670000032
优化上式,获得最佳的权重Φ,从而监督可训练压缩感知模块提取到关键有效特征图。
7.如权利要求4所述的图像分割方法,其特征在于,使用Focal Loss监督网络模型的最后一层的输出。
8.如权利要求7所述的图像分割方法,其特征在于,所述“使用Focal Loss监督网络模型的最后一层的输出”,具体包括:
网络损失函数
Figure FDA0002354159670000033
其中pk=yip(xi)是第k类的预测概率,α为平衡因子,用来平衡正负样本,γ为权重因子,γ>0可以减少易分割样本的损失;
总的损失函数
Figure FDA0002354159670000034
其中,
Figure FDA0002354159670000035
为网络模型最后一层输出的交叉熵损失;
Figure FDA0002354159670000036
为中间辅助支路的交叉熵损失,ηd
Figure FDA0002354159670000037
的平衡权重,δ是
Figure FDA0002354159670000038
的平衡权重,D是具有深层监督的支路的数量。
9.如权利要求2所述的图像分割方法,其特征在于,所述“获取患有非小细胞肺肿瘤的三维PET图像训练数据集”,具体包括:将每个三维PET图像沿着Z轴方向切成二维的切片图像作为卷积神经网络的输入,利用翻转、旋转和长度和宽度方向平移进行数据扩增。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述存储器执行所述程序时实现权力要求1至9任一项所述方法的步骤。
CN202010002908.1A 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法 Active CN111192334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010002908.1A CN111192334B (zh) 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010002908.1A CN111192334B (zh) 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法

Publications (2)

Publication Number Publication Date
CN111192334A true CN111192334A (zh) 2020-05-22
CN111192334B CN111192334B (zh) 2023-06-06

Family

ID=70710647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010002908.1A Active CN111192334B (zh) 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法

Country Status (1)

Country Link
CN (1) CN111192334B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734762A (zh) * 2020-12-31 2021-04-30 西华师范大学 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103596010A (zh) * 2013-11-20 2014-02-19 天津大学 基于字典学习的压缩感知视频编解码***
CN107610192A (zh) * 2017-09-30 2018-01-19 西安电子科技大学 基于深度学习的自适应观测压缩感知图像重构方法
WO2018120740A1 (zh) * 2016-12-29 2018-07-05 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN108765255A (zh) * 2018-05-31 2018-11-06 东南大学 基于压缩感知技术的角度量化索引调制图像水印***与方法
CN109168002A (zh) * 2018-07-26 2019-01-08 西安电子科技大学 基于压缩感知和卷积神经网络的视频信号测量域估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103596010A (zh) * 2013-11-20 2014-02-19 天津大学 基于字典学习的压缩感知视频编解码***
WO2018120740A1 (zh) * 2016-12-29 2018-07-05 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN108256544A (zh) * 2016-12-29 2018-07-06 深圳光启合众科技有限公司 图片分类方法和装置、机器人
CN107610192A (zh) * 2017-09-30 2018-01-19 西安电子科技大学 基于深度学习的自适应观测压缩感知图像重构方法
CN108765255A (zh) * 2018-05-31 2018-11-06 东南大学 基于压缩感知技术的角度量化索引调制图像水印***与方法
CN109168002A (zh) * 2018-07-26 2019-01-08 西安电子科技大学 基于压缩感知和卷积神经网络的视频信号测量域估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734762A (zh) * 2020-12-31 2021-04-30 西华师范大学 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法

Also Published As

Publication number Publication date
CN111192334B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
Yu et al. Tensorizing GAN with high-order pooling for Alzheimer’s disease assessment
Li et al. Deep convolutional neural networks for imaging data based survival analysis of rectal cancer
US11170502B2 (en) Method based on deep neural network to extract appearance and geometry features for pulmonary textures classification
US10366491B2 (en) Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN110853038A (zh) 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及***
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
Lin et al. BATFormer: Towards boundary-aware lightweight transformer for efficient medical image segmentation
Ouchtati et al. Novel method for brain tumor classification based on use of image entropy and seven Hu’s invariant moments
CN116030078B (zh) 多任务学习框架下结合注意力的肺叶分割方法及***
Li et al. Brain tumor segmentation using 3D generative adversarial networks
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN107133626A (zh) 一种基于部分平均随机优化模型的医学影像分类方法
Agarwal et al. Weakly supervised lesion co-segmentation on ct scans
Gao et al. Transformer based tooth classification from cone-beam computed tomography for dental charting
Barhoumi et al. Efficient scopeformer: Towards scalable and rich feature extraction for intracranial hemorrhage detection
CN114708212A (zh) 一种基于SEA-Unet的心脏图像分割方法
CN114820450A (zh) 适宜李氏人工肝治疗的ct血管造影图像分类方法
CN114663445A (zh) 一种基于多尺度边缘感知的三维心脏图像分割方法
CN111192334B (zh) 可训练的压缩感知模块及一种图像分割方法
CN112465118A (zh) 一种面向医学影像生成的低秩生成式对抗网络构建方法
Sengun et al. Automatic liver segmentation from CT images using deep learning algorithms: a comparative study
CN115100155A (zh) 放射性肺炎预测模型的建立方法与***
Zeng et al. AERMNet: Attention-enhanced relational memory network for medical image report generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant