CN111192334B - 可训练的压缩感知模块及一种图像分割方法 - Google Patents

可训练的压缩感知模块及一种图像分割方法 Download PDF

Info

Publication number
CN111192334B
CN111192334B CN202010002908.1A CN202010002908A CN111192334B CN 111192334 B CN111192334 B CN 111192334B CN 202010002908 A CN202010002908 A CN 202010002908A CN 111192334 B CN111192334 B CN 111192334B
Authority
CN
China
Prior art keywords
trainable
compressed sensing
network
sensing module
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010002908.1A
Other languages
English (en)
Other versions
CN111192334A (zh
Inventor
向德辉
田海鸿
陈新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010002908.1A priority Critical patent/CN111192334B/zh
Publication of CN111192334A publication Critical patent/CN111192334A/zh
Application granted granted Critical
Publication of CN111192334B publication Critical patent/CN111192334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可训练的压缩感知模块及一种图像分割方法，包括以下步骤：构建具有所述可训练的压缩感应模块网络模型；将患有非小细胞肺肿瘤的三维PET图像作为训练数据集带入网络模型以训练网络，获得训练后的网络。其可以在训练过程中实现信息压缩，去除冗余的特征图并增强有效的特征图，分割结果更加精确，分割速度更快，使用的参数量更少。

Description

可训练的压缩感知模块及一种图像分割方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种可训练的压缩感知模块及一种图像分割方法。
背景技术
近50年来，肺癌成为了全球最常见的恶性肿瘤，不仅病发率高，居恶性肿瘤榜首，且死亡率也位列第一。据统计，肺肿瘤的发病率已居男性各种肿瘤的首位。PET(正电子发射断层显像)能从分子和细胞的水平来检测生物组织新陈代谢的活动进程和特征，对于代谢旺盛的组织(例如肿瘤、心脏、肝脏)，在PET图像上具有较高的亮度。因此PET图像广泛用于临床肺肿瘤诊断。精确自动分割可以给医生的诊断提供重要的辅助作用。目前肺肿瘤的分割方法可以分为基于非学习的方法和基于学习的方法。基于非学习的方法通常依赖于强度统计分布。
然而基于非学习的分割方法应对肿瘤形状的变化性的能力有限。近年来，卷积神经网络已经迅速证明是处理各种医学图像的最先进的工具。UNet以及基于UNet的改进网络在医学图像像素级分割任务上表现优异。但是，当分割目标与周围组织结构的亮度非常相似时，卷积神经网络的分割效果很差。由于PET图像中的肺肿瘤亮度很高，其他器官(例如心脏，脊柱和肝脏)的亮度与肿瘤相似，在使用卷积神经网络分割时，分割结果假阳性很高。
发明内容
本发明要解决的技术问题是提供一种可训练的压缩感知模块及一种图像分割方法，其可以在训练过程中实现信息压缩，去除冗余的特征图并增强有效的特征图。
为了解决上述技术问题，本发明提供了一种可训练的压缩感知模块，包括以下步骤：
获取压缩感知模块的三维矩阵输入
Figure GDA0004105799010000021
所述压缩感知模块的输入来自前一层卷积层的输出,其中，H是特征图的高度，W是特征图的宽度，C是当前层的特征通道数；
将所述压缩感知模块的三维矩阵输入
Figure GDA0004105799010000022
做二维矩阵形变，获得形变后的二维矩阵/>
Figure GDA0004105799010000023
利用奇异值分解算法将二维矩阵
Figure GDA0004105799010000024
分解为X＝U∑VT，其中，/>
Figure GDA0004105799010000025
Figure GDA0004105799010000026
是左奇异正交向量矩阵，/>
Figure GDA0004105799010000027
是右奇异正交向量矩阵，/>
Figure GDA0004105799010000028
是奇异值矩阵；
设定权重矩阵
Figure GDA0004105799010000029
所述权重矩阵/>
Figure GDA00041057990100000210
的对角线上的元素是可训练更新的，对角线之外的元素值为零，获得新的Y矩阵/>
Figure GDA00041057990100000211
利用设定的权重矩阵/>
Figure GDA00041057990100000212
对∑的奇异值做挑选以实现对二维矩形X＝U∑VT的信息压缩，去除冗余特征并且增强有效信息。
本发明公开了一种图像分割方法，基于上述的可训练的压缩感知模块，包括以下步骤：
构建具有所述可训练的压缩感知模块网络模型；
获取患有非小细胞肺肿瘤的三维PET图像训练数据集，将所述训练数据集带入网络模型以训练网络，获得训练后的网络。
作为优选的，构建具有所述可训练的压缩感知模块网络模型，具体包括：
利用全卷积网络作为网络模型的基础框架，其中，所述全卷积网络包括三个卷积层、三个可训练压缩感知模块、三次下采样和三次上采样，所述全卷积网络的每一个卷积层包括归一化、卷积和激活函数。
作为优选的，还包括深层监督机制，所述深层监督机制具体包括以下步骤：
在所述可训练压缩感知模块后面皆添加有辅助支路，所述辅助支路使用反卷积来放大一些较低级别的和中等级别的特征向量；
利用softmax激活函数对得到的同等大小完整尺寸的特征向量计算，获得额外的密集预测图；
对于所述辅助支路的预测图以及相应的人工手动标注图，利用交叉熵代价函数计算预测图以及相应的人工手动标注图之间的分割误差；
将所有所述辅助支路的交叉熵损失和最后一层的交叉熵损失结合，以激励梯度反向传播并在每次迭代中更有效的更新参数。
作为优选的，还包括：
令
Figure GDA0004105799010000033
为网络模型的第l个可训练的压缩感知模块网络模型的权重参数，其中，l＝1,2,…,L；
所有可训练的压缩感知模块的权重为
Figure GDA0004105799010000031
用p(xi；Φ)表示最后一层的输出经过softmax函数之后像素xi的预测概率，则交叉熵损失可以表示为：
Figure GDA0004105799010000032
其中，χ表示训练数据集，像素yi是与像素xi∈χ相对应像素的分割标签，式子的第二项权重正则化，λ是可调节超参数。
作为优选的，所述“深层监督机制”中，
用
Figure GDA0004105799010000041
表示主网络的前d个可训练的压缩感知模块的权重，用p(xi；Φd)表示第d个支路的输出同样经过softmax函数之后像素xi的预测概率；
所述深层监督机制
Figure GDA0004105799010000042
优化上式，获得最佳的权重Φ，从而监督可训练压缩感知模块提取到关键有效特征图。
作为优选的，使用Focal Loss监督网络模型的最后一层的输出。
作为优选的，所述“使用Focal Loss监督网络模型的最后一层的输出”，具体包括：
网络损失函数
Figure GDA0004105799010000043
其中pk＝yip(xi)是第k类的预测概率，α为平衡因子，用来平衡正负样本，γ为权重因子，γ>0可以减少易分割样本的损失；/>
总的损失函数
Figure GDA0004105799010000044
Figure GDA0004105799010000045
其中，/>
Figure GDA0004105799010000046
为网络模型最后一层输出的交叉熵损失；/>
Figure GDA0004105799010000047
为中间辅助支路的交叉熵损失，ηd是/>
Figure GDA0004105799010000048
的平衡权重，δ是/>
Figure GDA0004105799010000049
的平衡权重，D是具有深层监督的支路的数量。
作为优选的，所述“获取患有非小细胞肺肿瘤的三维PET图像训练数据集”，具体包括：将每个三维PET图像沿着Z轴方向切成二维的切片图像作为卷积神经网络的输入，利用翻转、旋转和长度和宽度方向平移进行数据扩增。
本发明的有益效果：
1、本发明提出了一种可训练的压缩感知模块CSM，其可以在训练过程中实现信息压缩，去除冗余的特征图并增强有效的特征图；
2、本发明提出的全卷积神经网络可以通过可训练的压缩感知模块CSM提取关键特征，并通过卷积的方式进一步加强这些关键特征，从而获得更加出色的分割效果；
3、本发明提出一种深层监督机制来监督可训练的压缩感知模块CSM中的权重参数，可以在训练过程中指导CSM进行特征提取；
4、本发明提出的方法与现有的方法相比，分割结果更加精确，分割速度更快，使用的参数量更少。
附图说明
图1为本发明的可训练的压缩感知模块CSM；
图2为效果对比图，其中，(a)为未加入CSM模块的可视化图；(b)为加入CSM模块之后的可视化效果图。
图3为本发明网络整体框架图；
图4为人体各个角度PET图像，其中，(a)图表示的是三维PET图像的冠状面的截面图；(b)图表示的时候三维PET图像的水平面的截面图；(c)图表示的是三维PET图像矢状面的截面图；
图5为不同方法分割对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图1所示，本发明基于主成分分析PCA的思想，提出了可训练的压缩感知模块CSM，包括以下步骤：
步骤一、获取压缩感知模块的三维矩阵输入
Figure GDA0004105799010000051
所述压缩感知模块的输入来自前一层卷积层的输出,其中，H是特征图的高度，W是特征图的宽度，C是特征图的通道数；
步骤二、将所述压缩感知模块的三维矩阵输入
Figure GDA0004105799010000061
做二维矩阵形变，获得形变后的二维矩阵/>
Figure GDA0004105799010000062
其中N＝H×W是每一张特征图上的像素的总数；
步骤三、利用奇异值分解算法将二维矩阵
Figure GDA0004105799010000063
分解为X＝U∑VT，其中，
Figure GDA0004105799010000064
是左奇异正交向量矩阵，/>
Figure GDA0004105799010000065
是右奇异正交向量矩阵，/>
Figure GDA0004105799010000066
是奇异值矩阵，它对角线上的元素都是非负实数，除了对角线其他地方的元素值都为零。将对角线上的元素定义为/>
Figure GDA0004105799010000067
其中λi表示第i个奇异值。C个奇异值是按照降序在对角线上排列。协方差矩阵可以写成：
Figure GDA0004105799010000068
其中T表示矩阵转置。∑∑T是一个对角矩阵。因此X的奇异值分解等效于XXT的本征空间分解。X的奇异值是XXT的特征值的平方根，X的左奇异向量是XXT的特征向量。
步骤四、利用矩阵Yr＝U∑r对X＝U∑VT进行降维，其中Yr是利用奇异值分解算法之后得到的二维矩阵，r表示奇异值前r个数量，∑r表示选取
Figure GDA0004105799010000069
奇异值矩阵的前r列；
由于奇异值分解得到的特征值是按照降序排列的，设定权重矩阵
Figure GDA00041057990100000612
所述权重矩阵/>
Figure GDA00041057990100000613
的对角线上的元素是可训练更新的，对角线之外的元素值为零，对角线之外的元素值为零。这样，新的Y矩阵可以定义为：
Figure GDA00041057990100000610
利用定义的权重矩阵
Figure GDA00041057990100000611
CSM模块可以在训练过程中实现信息压缩，去除冗余特征并且增强有效信息。经过网络训练之后，尽管每一层的卷积特征图的个数没有改变，但是每一层中的冗余信息得到了去除。因此每一层的特征图变得稀疏而且彼此不相关。
每个CSM模块可以理解为一种信息压缩算法，用于将原本相关的特征图转换为一组线性不相关的特征图，称之为主成分。这与我们的目标获得不相关的特征图相一致。本发明提出的CSM的特征提取效果图如图2所示。
实施例二
参照图3所示，本发明公开了一种图像分割方法，基于上述的可训练的压缩感知模块，包括以下步骤：
步骤一、构建具有所述可训练的压缩感知模块网络模型；具体包括：利用全卷积网络FCN作为网络模型的基础框架，其中，所述全卷积网络包括三个卷积层、三个可训练压缩感知模块CSM、三次下采样和三次上采样，所述全卷积网络的每一个卷积层包括归一化(BatchNormalization)、卷积(卷积核大小为3×3，滑动步长为1)和激活函数(ReLU)。本发明中全卷积网络的下采样采用的滑动步长为2，卷积核大小为3×3的卷积方式。在每个卷积层后面加上可训练的压缩感知模块(CSM)用来去除冗余特征，提取出有效特征。
本发明还包括深层监督机制，所述深层监督机制具体包括以下步骤：在所述可训练压缩感知模块后面皆添加有辅助支路，所述辅助支路使用反卷积(卷积核大小为3×3，滑动步长分别为2，4，8)来放大一些较低级别的和中等级别的特征向量；利用softmax激活函数对得到的同等大小完整尺寸的特征向量计算，获得额外的密集预测图；对于所述辅助支路的预测图以及相应的人工手动标注图，利用交叉熵代价函数计算预测图以及相应的人工手动标注图之间的分割误差；将所有所述辅助支路的交叉熵损失和最后一层的交叉熵损失结合，以激励梯度反向传播，以便在每次迭代中更有效的更新参数。
令
Figure GDA0004105799010000071
为网络模型的第l个可训练的压缩感知模块网络模型的权重参数，其中，l＝1,2,…,L；所有可训练的压缩感知模块的权重为/>
Figure GDA0004105799010000072
用p(xi；Φ)表示最后一层的输出经过softmax函数之后像素xi的预测概率，则交叉熵损失可以表示为：
Figure GDA0004105799010000081
其中，x表示训练数据集，像素yi是与像素xi∈x相对应像素的分割标签，式子的第二项权重正则化，λ是可调节超参数。
另一方面，所述“深层监督机制”中，用
Figure GDA0004105799010000082
表示主网络的前d个可训练的压缩感知模块的权重，用p(xi；Φd)表示第d个支路的输出同样经过softmax函数之后像素xi的预测概率；
所述深层监督机制
Figure GDA0004105799010000083
通过优化此式，可以得到最佳的权重Φ，从而监督本发明提出的可训练压缩感知模块CSM提取到关键有效特征图。
由于分割目标比较小仅占据切片的一小部分使用Focal Loss来监督网络最后一层的输出，如公式(5)所示。通过调整超参数α和γ，获得更好的性能。
Figure GDA0004105799010000084
其中pk＝yip(xi)是第k类的预测概率，α为平衡因子，用来平衡正负样本，γ为权重因子，γ>0可以减少易分割样本的损失。
总的损失函数由三个部分组成：最后一层输出的交叉熵损失和中间辅助支路的交叉熵损失和Focal Loss。总损失函数如公式6所示。
Figure GDA0004105799010000085
其中，
Figure GDA0004105799010000086
为网络模型最后一层输出的交叉熵损失；/>
Figure GDA0004105799010000087
为中间辅助支路的交叉熵损失，ηd是/>
Figure GDA0004105799010000088
的平衡权重，δ是/>
Figure GDA0004105799010000089
的平衡权重，D是具有深层监督的支路的数量。/>
Figure GDA00041057990100000810
Figure GDA00041057990100000811
步骤二、获取患有非小细胞肺肿瘤的三维PET图像训练数据集，将所述训练数据集带入网络模型以训练网络，获得训练后的网络。如图4所示，为人体各个角度PET图像。
本发明使用的数据采集自患有非小细胞肺肿瘤(NSCLC)的病人。该数据集由54个带有医生标注的三维(3D)PET图像组成。每个3D PET图像的图像大小为512×512×60，体素大小为0.234×0.234×1mm3。在本发明使用其中49个用作训练，5个用做测试，将每个3DPET图像沿着Z轴方向切成二维(2D)的切片图像作为卷积神经网络的输入。考虑到数据平衡，利用翻转、旋转和长度和宽度方向平移进行数据扩增。最后利用13折交叉验证进行验证。
本发明使用KerasImageDataGenerator用来数据扩增，具体的参数是翻转、旋转、宽度/高度方向平移(True，0.2，0.2)。每次送入网络的图片数量设置为4，使用动量为0.9，权重衰减为0.0001的随机梯度下降(SGD)训练网络。使用“多元”学习率策略，其中学习率乘以
Figure GDA0004105799010000091
power为0.9，初始学习率设为4e-3。
本发明的实验结果如下：
为了定量评估本发明提出的方法的性能，根据以下四个指标将分割结果与人工手动标注图进行了比较：DSC系数(Dice similarity coefficient)，精度(Precision)，真阳性分数TPF(true positive fraction)和假阳性分数FPF(false positive fraction)。DSC计算分割结果和人工手动标注图之间的重叠，并定义为：
Figure GDA0004105799010000092
其中TP是真阳性的分割像素数量，FP是假阳性的分割像素数量，FN是假阴性的分割像素数量。TPF、FPF和精度指标计算公式为：
Figure GDA0004105799010000093
Figure GDA0004105799010000094
Figure GDA0004105799010000101
本发明将分割结果与他人的方法进行了比较，如表1所示，其中Param表示神经网络参数量，M表示兆。
如表1所示，为本发明方法与现有方法的分割定量结果对比。
表1
Methods DSC(％) Precision(％) TPF(％) FPF(％) Param
DenseNet 57.77±17.31 57.59±26.55 87.47±15.65 0.29±0.24 2.4M
CGAN 54.10±10.01 75.40±14.58 51.57±16.08 5.66±13.39 142M
Segcaps 58.98±23.21 50.03±23.43 97.89±3.01 3.29±3.46 1.4M
UNet 58.04±18.56 60.10±20.08 90.65±10.71 0.12±0.11 31M
SFC-FCN 79.63±7.99 86.83±7.14 92.05±5.81 0.02±0.01 1M
如图5所示，为不同方法的分割结果图，其中。第一列是原始PET图片。第二列是对应的人工手动标注图。接下来的是CGAN,DenseNet，SegCaps，UNet的分割结果图。最后一些是本发明的方法的分割结果图。
本发明技术有益效果如下：(1)提出了一种可训练的压缩感知模块(CSM)；它可以在训练过程中实现信息压缩，去除冗余的特征图并增强有效的特征图；(2)提出的全卷积神经网络可以通过可训练的压缩感知模块(CSM)提取关键特征，并通过卷积的方式进一步加强这些关键特征，从而获得更加出色的分割效果；(3)提出一种深层监督机制来监督可训练的压缩感知模块(CSM)中的权重参数，可以在训练过程中指导CSM进行特征提取；(4)本发明提出的方法与现有的方法相比，分割结果更加精确，分割速度更快，使用的参数量更少。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (6)

1.一种图像分割方法，所述图像分割方法基于稀疏特征图重组全卷积网络，其特征在于，包括以下步骤：
构建具有可训练的压缩感知模块网络模型；
获取患有非小细胞肺肿瘤的三维PET图像训练数据集，将所述训练数据集带入网络模型以训练网络，获得训练后的网络；
其中，可训练的压缩感知模块的构建包括以下步骤：
获取压缩感知模块的三维矩阵输入
Figure FDA0004126150390000011
所述压缩感知模块的输入来自前一层卷积层的输出,其中，H是特征图的高度，W是特征图的宽度，C是特征图的通道数；
将所述压缩感知模块的三维矩阵输入
Figure FDA0004126150390000012
做二维矩阵形变，获得形变后的二维矩阵/>
Figure FDA0004126150390000013
其中N＝H×W是每一张特征图上的像素的总数；
利用奇异值分解算法将二维矩阵
Figure FDA0004126150390000014
分解为X＝U∑VT，其中，/>
Figure FDA0004126150390000015
Figure FDA0004126150390000016
是左奇异正交向量矩阵，/>
Figure FDA0004126150390000017
是右奇异正交向量矩阵，/>
Figure FDA0004126150390000018
是奇异值矩阵；
设定权重矩阵
Figure FDA0004126150390000019
所述权重矩阵/>
Figure FDA00041261503900000110
的对角线上的元素是可训练更新的，对角线之外的元素值为零，获得新的Y矩阵/>
Figure FDA00041261503900000111
利用设定的权重矩阵/>
Figure FDA00041261503900000112
对∑的奇异值做挑选以实现对二维矩形X＝U∑VT的信息压缩，去除冗余特征并且增强有效信息；
还包括：
令
Figure FDA00041261503900000113
为网络模型的第l个可训练的压缩感知模块网络模型的权重参数，其中，l＝1,2,…,L；
所有可训练的压缩感知模块的权重为
Figure FDA0004126150390000021
用p(xi；Φ)表示最后一层的输出经过softmax函数之后像素xi的预测概率，则交叉熵损失可以表示为：
Figure FDA0004126150390000022
其中，
Figure FDA0004126150390000026
表示训练数据集，像素yi是与像素/>
Figure FDA0004126150390000027
相对应像素的分割标签，式子的第二项权重正则化，λ是可调节超参数；
深层监督机制中，
用
Figure FDA0004126150390000023
表示主网络的前d个可训练的压缩感知模块的权重，用p(xi；Φd)表示第d个支路的输出同样经过softmax函数之后像素xi的预测概率；
深层监督机制
Figure FDA0004126150390000024
Figure FDA0004126150390000025
表示训练数据集；
优化上式，获得最佳的权重Φ，从而监督可训练压缩感知模块提取到关键有效特征图。
2.如权利要求1所述的图像分割方法，其特征在于，构建具有所述可训练的压缩感知模块网络模型，具体包括：
利用全卷积网络作为网络模型的基础框架，其中，所述全卷积网络包括三个卷积层、三个可训练压缩感知模块、三次下采样和三次上采样，所述全卷积网络的每一个卷积层包括归一化、卷积和激活函数。
3.如权利要求2所述的图像分割方法，其特征在于，还包括深层监督机制，所述深层监督机制具体包括以下步骤：
在所述可训练压缩感知模块后面皆添加有辅助支路，所述辅助支路使用反卷积来放大一些较低级别的和中等级别的特征向量；
利用softmax激活函数对得到的同等大小完整尺寸的特征向量计算，获得额外的密集预测图；
对于所述辅助支路的预测图以及相应的人工手动标注图，利用交叉熵代价函数计算预测图以及相应的人工手动标注图之间的分割误差；
将所有所述辅助支路的交叉熵损失和最后一层的交叉熵损失结合，以激励梯度反向传播并在每次迭代中更有效的更新参数。
4.如权利要求3所述的图像分割方法，其特征在于，使用Focal Loss监督网络模型的最后一层的输出。
5.如权利要求4所述的图像分割方法，其特征在于，所述使用Focal Loss监督网络模型的最后一层的输出，具体包括：
网络损失函数
Figure FDA0004126150390000031
其中pk＝yip(xi)是第k类的预测概率，α为平衡因子，用来平衡正负样本，γ为权重因子，γ>0可以减少易分割样本的损失；
总的损失函数
Figure FDA0004126150390000032
Figure FDA0004126150390000033
其中，/>
Figure FDA0004126150390000034
为网络模型最后一层输出的交叉熵损失；/>
Figure FDA0004126150390000035
为中间辅助支路的交叉熵损失，ηd是/>
Figure FDA0004126150390000036
的平衡权重，δ是/>
Figure FDA0004126150390000037
的平衡权重，D是具有深层监督的支路的数量；
其中，
Figure FDA00041261503900000310
表示训练数据集，/>
Figure FDA0004126150390000038
表示主网络的前d个可训练的压缩感知模块的权重，/>
Figure FDA0004126150390000039
表示所有可训练的压缩感知模块的权重。
6.如权利要求1所述的图像分割方法，其特征在于，所述获取患有非小细胞肺肿瘤的三维PET图像训练数据集，具体包括：将每个三维PET图像沿着Z轴方向切成二维的切片图像作为卷积神经网络的输入，利用翻转、旋转和长度和宽度方向平移进行数据扩增。
CN202010002908.1A 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法 Active CN111192334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010002908.1A CN111192334B (zh) 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010002908.1A CN111192334B (zh) 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法

Publications (2)

Publication Number Publication Date
CN111192334A CN111192334A (zh) 2020-05-22
CN111192334B true CN111192334B (zh) 2023-06-06

Family

ID=70710647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010002908.1A Active CN111192334B (zh) 2020-01-02 2020-01-02 可训练的压缩感知模块及一种图像分割方法

Country Status (1)

Country Link
CN (1) CN111192334B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734762B (zh) * 2020-12-31 2022-10-11 西华师范大学 基于协方差自注意力机制的双路径UNet网络肿瘤分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103596010B (zh) * 2013-11-20 2017-01-11 天津大学 基于字典学习的压缩感知视频编解码***
CN108256544B (zh) * 2016-12-29 2019-07-23 杭州光启人工智能研究院 图片分类方法和装置、机器人
CN107610192B (zh) * 2017-09-30 2021-02-12 西安电子科技大学 基于深度学习的自适应观测压缩感知图像重构方法
CN108765255B (zh) * 2018-05-31 2022-04-29 东南大学 基于压缩感知的角度量化索引调制图像水印***与方法
CN109168002B (zh) * 2018-07-26 2020-06-12 西安电子科技大学 基于压缩感知和卷积神经网络的视频信号测量域估计方法

Also Published As

Publication number Publication date
CN111192334A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
Li et al. Deep convolutional neural networks for imaging data based survival analysis of rectal cancer
CN110335261B (zh) 一种基于时空循环注意力机制的ct***检测***
Yu et al. Tensorizing GAN with high-order pooling for Alzheimer’s disease assessment
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
Zhou et al. Multi-classification of skin diseases for dermoscopy images using deep learning
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及***
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
Agarwal et al. Weakly supervised lesion co-segmentation on ct scans
CN111192334B (zh) 可训练的压缩感知模块及一种图像分割方法
Liu et al. AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network
Barhoumi et al. Efficient scopeformer: Towards scalable and rich feature extraction for intracranial hemorrhage detection
CN112908465A (zh) 基于异常检测和半监督的超声关键帧自主识别方法
CN112465118A (zh) 一种面向医学影像生成的低秩生成式对抗网络构建方法
CN116580225A (zh) 一种基于空间信息驱动的直肠癌ct图像分类方法
Saradhi et al. A framework for automated tumor detection in thoracic FDG PET images using texture-based features
Sengun et al. Automatic liver segmentation from CT images using deep learning algorithms: a comparative study
Wang et al. SCL-Net: Structured collaborative learning for PET/CT based tumor segmentation
Chen et al. Cardiac motion scoring based on CNN with attention mechanism
Wang et al. Renal lesion classification in kidney CT images by seven-layer convolution neural network
Tian et al. Fully convolutional network with sparse feature-maps composition for automatic lung tumor segmentation from PET images
Anand et al. Convolutional neural network for kidney and kidney tumor segmentation
Nazib et al. Uncertainty Driven Bottleneck Attention U-net for Organ at Risk Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant