CN112819831B - 基于卷积Lstm及多模型融合的分割模型生成方法及装置 - Google Patents

基于卷积Lstm及多模型融合的分割模型生成方法及装置 Download PDF

Info

Publication number
CN112819831B
CN112819831B CN202110124164.5A CN202110124164A CN112819831B CN 112819831 B CN112819831 B CN 112819831B CN 202110124164 A CN202110124164 A CN 202110124164A CN 112819831 B CN112819831 B CN 112819831B
Authority
CN
China
Prior art keywords
model
segmentation
convlstm
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110124164.5A
Other languages
English (en)
Other versions
CN112819831A (zh
Inventor
杜强
欧阳金鹏
郭雨晨
聂方兴
唐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiao Bai Century Network Technology Co ltd
Original Assignee
Beijing Xiao Bai Century Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiao Bai Century Network Technology Co ltd filed Critical Beijing Xiao Bai Century Network Technology Co ltd
Priority to CN202110124164.5A priority Critical patent/CN112819831B/zh
Publication of CN112819831A publication Critical patent/CN112819831A/zh
Application granted granted Critical
Publication of CN112819831B publication Critical patent/CN112819831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于卷积Lstm及多模型融合的胸膜病变的分割模型生成方法及装置，所述方法包括，得到胸膜的CT图像，对CT图像进行预处理；将预处理后的CT图像分别送入嵌入卷积Lstm的Unet网络模型和3D分割模型进行分割；将嵌入卷积Lstm的Unet网络模型和3D分割模型输出的分割结果分别使用多种损失函数结合的方法进行计算，将计算完成后得到的损失值使用梯度下降算法进行加权求和，得到梯度；将梯度进行反向传播，更新嵌入卷积Lstm的Unet网络模型和3D分割模型的权重参数；重复上述步骤进行迭代，最终得到分割模型。本发明实施例，能够很好地结合时序空间特征，精确分割出相关病灶，并较符合人为判断的标准。

Description

基于卷积Lstm及多模型融合的分割模型生成方法及装置
技术领域
本发明涉及图像分割领域，尤其是涉及一种基于卷积Lstm及多模型融 合的分割模型生成方法及装置。
背景技术
随着近几年人工智能技术的飞速发展，如何将最先进的技术有效的应 用于临床领域，获得了更多的关注。数据、算法、计算力、专业性四大要 素促进着医疗人工智能的发展。
数据集采用为LIDC-IDRI(The Lung Image Database Consortium)，该数据 集由胸部医学图像文件(如CT、X光片)和对应的诊断结果病变标注组成。 该数据是由美国国家癌症研究所(National Cancer Institute)发起收集的，目的 是为了研究高危人群早期癌症检测。
该数据集中，共收录了1018个研究实例。对于每个实例中的图像，都 由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段， 每位医师分别独立诊断并标注病患位置，其中会标注三中类别：1)>＝3mm 的结节,2)<3mm的结节,3)>＝3mm的非结节。在随后的第二阶段中，各位 医师都分别独立的复审其他三位医师的标注，并给出自己最终的诊断结果。 这样的两阶段标注可以在避免forced consensus的前提下，尽可能完整的标注所有结果。
由于该数据集最终人工审核并且分类为胸膜病变的不同疾病症状，人 工进行分类标注。不同症状的标注区域和方法都有所不同。因此需要使用 多任务同时优化的手段对其进行优化，因此目前已有的深度学习模型如 Unet，Resnet，DenseNet，EfficientNet等都无法很好地适应该任务的要求。目前市面上暂时没有胸膜病变分割的深度学习方法。
发明内容
本发明的目的在于提供一种基于ConvLstm及多模型融合的胸膜病变 的分割模型生成方法，旨在解决对不同症状胸膜病变的分割,提高对胸膜病 变的分割任务。
本发明提供一种基于ConvLstm及多模型融合的胸膜病变的分割模型 生成方法，包括，
S1、得到胸膜的CT图像，对CT图像进行预处理；
S2、将预处理后的CT图像分别送入嵌入ConvLstm的Unet网络模型 和3D分割模型进行分割；
S3、将嵌入ConvLstm的Unet网络模型和3D分割模型输出的分割结 果分别使用多种损失函数结合的方法进行计算，将计算完成后得到的损失 值使用梯度下降算法进行加权求和，得到梯度；
S4、将梯度进行反向传播，更新嵌入ConvLstm的Unet网络模型和3D 分割模型的权重参数；
S5、重复S1到S4进行迭代，最终得到分割模型。
优选的，所述S1具体包括：
S11、对CT图像元文件进行数据转换，根据公式1将X线的吸收系数 换算成CT值：
HU＝pixel*slope+intercept 公式1；
其中，HU表示CT值的单位，用于表示CT值，slope为存储在磁盘表 示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept 为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为CT图像像素；
S12、调整CT图像的窗宽窗位，使得胸膜获得最佳显示；
S13、采用邻近插值对S12得到的CT图像进行缩放。
优选的，将预处理后的CT图像送入嵌入ConvLstm的Unet网络模型 进行分割具体包括：
S31、将胸膜的CT图像从嵌入ConvLstm的Unet网络模型的第一层输 入，每一层都进行卷积操作和激活操作，通过嵌入ConvLstm的Unet网络模型的下采样进行特征提取，通过嵌入ConvLstm的Unet网络模型的上采 样进行特征解码，逐渐恢复像素，其中，所述嵌入ConvLstm的Unet网络模型中的上采样和所述下采样有三层，每一层中间有跨越连接，并嵌入所 述ConvLstm操作，以保证每个尺寸的空间信息；
将预处理后的CT图像送入3D分割模型进行分割具体包括：
S41、将胸膜的CT图像送入Wnet3D模型的第一层模块；
S42、通过Wnet3D模型的第一层模块得到的不同尺寸的图像特征，然 后通过所述第一层模块进行下采样、卷积、和特征提取后，传入Wnet3D 模型的下一层模块进行下采样、卷积、和特征提取；
S43、将Wnet3D模型中每层模块的结果综合起来得到最后的分割结果。
优选的，所述方法进一步包括：
在嵌入ConvLstm的Unet网络模型和3D分割模型每层执行卷积后，经 过批标准化层把值全部转化到[0,1]之间，通过如公式2所示的激活函数将 特征从线性转为非线性：
其中，x为特征值；
将嵌入ConvLstm的Unet网络模型和3D分割模型输出的分割结果分别 使用多种损失函数结合的方法进行计算具体包括：
使用如公式3所示的二元交叉熵损失函数和如公式4所示的diceLoss 损失函数进行计算，得到损失值：
其中yt表示真实标签，取值为[0～1]；
其中，X为模型的分割结果，Y为真实标签，Ldice得到的值为标量，dice 系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围 为[0,1]，越接近1，表示模型越能好的分割图像。
本发明提供一种基于ConvLstm及多模型融合的胸膜病变的分割模型 生成装置，包括，
预处理模块，用于对得到胸膜的CT图像进行预处理；
分割模块，用于将预处理后的CT图像分别送入嵌入ConvLstm的Unet 网络模型和3D分割模型进行分割；
计算模块，用于将嵌入ConvLstm的Unet网络模型和3D分割模型输出 的分割结果分别使用多种损失函数结合的方法进行计算，最后将计算完成 后得到的损失值使用梯度下降算法进行加权求和，得到梯度；
更新模块，用于将梯度进行反向传播，更新嵌入ConvLstm的Unet网 络模型和3D分割模型的权重参数；
结果模块，用于调用分割模块、计算模块和更新模块进行迭代，最终 得到分割模型。
优选的，所述预处理模块具体用于：
对CT图像元文件进行数据转换，根据公式1将X线的吸收系数换算 成CT值：
HU＝pixel*slope+intercept 公式1；
其中，HU表示CT值的单位，用于表示CT值，slope为存储在磁盘表 示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept 为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为CT图像像素；
调整CT图像的窗宽窗位，使得胸膜获得最佳显示；
采用邻近插值对S12得到的CT图像进行缩放。
优选的，所述分割模块具体用于：
将胸膜的CT图像从嵌入ConvLstm的Unet网络模型的第一层输入， 每一层都进行卷积操作和激活操作，通过嵌入ConvLstm的Unet网络模型 的下采样进行特征提取，通过嵌入ConvLstm的Unet网络模型的上采样进 行特征解码，逐渐恢复像素，其中，所述嵌入ConvLstm的Unet网络模型 中的上采样和所述下采样有三层，每一层中间有跨越连接，并嵌入所述 ConvLstm操作，以保证每个尺寸的空间信息；
将预处理后的CT图像分别送入3D分割模型进行分割具体包括：
将胸膜的CT图像送入Wnet3D模型的第一层模块；
通过Wnet3D模型的第一层模块得到的不同尺寸的图像特征，然后通过 所述第一层模块进行下采样、卷积、和特征提取后，传入Wnet3D模型的下 一层模块进行下采样、卷积、和特征提取；
将Wnet3D模型中每层模块的结果综合起来得到最后的分割结果。
优选的，所述分割模块进一步用于：
在嵌入ConvLstm的Unet网络模型和3D分割模型每层执行卷积后，经 过批标准化层把值全部转化到[0,1]之间，通过如公式2所示的激活函数将 特征从线性转为非线性：
其中，x为特征值；
所述计算模块具体用于：
使用如公式3所示的二元交叉熵损失函数和如公式4所示的diceLoss 损失函数进行计算，得到损失值：
其中yt表示真实标签，取值为[0～1]；
其中，X为模型的分割结果，Y为真实标签，Ldice得到的值为标量，dice 系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围 为[0,1]，越接近1，表示模型越能好的分割图像。
一种基于ConvLstm及多模型融合的胸膜病变的分割模型生成装置， 其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处 理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述 基于ConvLstm及多模型融合的胸膜病变的分割模型生成方法的步骤。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上 存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于 ConvLstm及多模型融合的胸膜病变的分割模型生成方法的步骤。
采用本发明实施例，能够很好地结合时序空间特征，精确分割出相关 病灶，并较为符合人为判断的标准。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的 技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和 其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
图1是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成方法的原理流程图；
图2是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成方法流程图；
图3是本发明实施例现有技术的LSTM/FC-LSTM示意图；
图4是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成方法的ConvLstm内部原理示意图；
图5是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成方法的U-Net结构嵌入ConvLstm的示意图；
图6是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成方法的Wnet3D模型示意图；
图7是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成装置的模块示意图；
图8是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割 模型生成装置示意图。
附图标记说明：
710：预处理模块；720：分割模块；730：计算模块；740：更新模块； 750：结果模块。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长 度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水 平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描 述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的 方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示 相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、 “第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明 的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此 外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接； 可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的 连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种基于ConvLstm及多模型融合的胸膜病 变的分割模型生成方法，图1是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割模型生成方法的原理流程图，如图1所示，首先，将 医学图像进行常规处理后，进行堆叠，使得输入内容为保存所有空间信息 的三维张量，然后经过基础模型(Base model)对张量的空间特征进行提取， 其中使用的Base model可以为嵌入ConvLstm的Unet网络。之后得到一个分割结果，并将提取到的特征向后传递。其他模型(Other model)采用3D 分割模型，得到3D分割结果。然后通过BCEloss和Dice-coefficient loss两种损失函数计算损失值，再使用梯度下降算法来对损失函数加权求和并进 行反向传播，更新多种模型的权重参数，多轮迭代之后得到最终的分割模 型。
根据本发明实施例，提供了一种基于ConvLstm及多模型融合的胸膜病 变的分割模型生成方法，图2是本发明实施例的基于ConvLstm及多模型融合的胸膜病变的分割模型生成方法流程图，如图2所示，
S1、得到胸膜的CT图像，对CT图像进行预处理；
CT图像是根据像素按矩阵排列构成。这些像素反应的是人体相应单位 容积(体素)的X线吸收系数。CT图像有较高的密度分辨力(density resolution)，其X线吸收系数的测量精准度可达0.5％，能分辨密度差异较 小的组织。所以能清楚的显示胸部发生病变的组织。
CT值是简便的量化指标。在研究CT图像时，人们关心各组织结构内 的密度差异，即相对密度。如果某一组织发生病变其密度就会发生变化。 但是比较和计算各组织对X线的吸收系数非常繁琐，于是将X线的吸收系 数换算成CT值，对CT图像元文件进行数据转换，根据公式1将X线的吸 收系数换算成CT值，单位为HU,数据转换公式为：
HU＝pixel*slope+intercept 公式1；
其中，HU表示CT值的单位，用于表示CT值，slope为存储在磁盘表 示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept 为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为CT图像像素；
调整CT图像的窗宽窗位，使得胸膜获得最佳显示；
医学图像领域的窗口技术，包括窗宽(window width)和窗位(window center)，用于选择感兴趣的CT值范围。因为各种组织结构或病变具有不同 的CT值，因此欲显示某一组织结构细节时，应选择适合观察该组织或病变 的窗宽和窗位，以获得最佳显示。
由于训练设备的限制，采用邻近插值对S12得到的CT图像进行缩放。
图像预处理完成。
S2、将预处理后的CT图像分别送入嵌入ConvLstm的Unet网络模型 和3D分割模型进行分割；
由于CT图像是CT机从顶部到尾部按照一定的时间间隔一次扫描得到 的，我们观察到对于胸膜病变的图像对于每张图像而言都有一定的空间时 序关系。以前的网络很少融入空间时序信息，但我们发现这种空间时序关 系是很重要的。因此采用类似于LSTM的方法。
LSTM在处理时序数据的能力非常强，但是如果时序数据是图像，则 在LSTM的基础上加上卷积操作，对于图像的特征提取会更加有效。
ConvLstm核心本质还是和LSTM一样，将上一层的输出作为下一层的 输入。不同的地方在于加上卷积操作之后，不仅能够得到时序关系，还能 够像卷积层一样提取特征。本发明则是在提取特征能力更强的Unet网络上 嵌入了ConvLstm的思想，不仅能够提取更强的语义的特征还能够很好的保 留CT图像的时序空间特征。
对于CT图像而言，假设我们在一个由M×N网格表示的空间区域上观 察到一个动态模型，该网格由M行和N列组成。在网格的每个单元内部， 有P个测量值，它们随时间变化。因此，任何时候的观察都可以用张量X ∈RP×M×N来表示，其中R表示观察到的特征的域。我们每隔一定的时 间扫描一张CT图，我们将得到张量X1，X2，....,Xt的序列。对于通用序列建模，LSTM作为一种特殊的RNN结构，在以前的研究中被证明是稳定和 强大的。用于建模长期依赖关系。LSTM的主要创新是其存储单元ct，其本 质上充当状态信息的累加器。该单元由几个自参数控制门访问，写入和清 除。每当有新的输入进入时，如果输入门被激活，它的信息就会累计。此 外，如果忘记门ft打开，则过去的的ct-1可能被忘记。最新单元输出ct是否被传播到最终状态ht进一步由输出门ot控制，如图3所示：
其公式表达为：
其中空心小圆圈表示矩阵对应元素相乘，又称为Hadamard乘积。
这里关于权重W的操作，跟全连接类似，因此这种LSTM又可以叫 FC-LSTM.这种结构非常擅长处理时序信息，也能处理空间信息，但对于三 维图形来说，因为有着丰富的空间信息并且每一个点和周围是有很强的相 关性的，这就带来了冗余，FC-LSTM是很难刻画这种空间特征。FC-LSTM 在处理时空数据时的主要缺点是在输入到状态和状态到状态的转换中使用 完全连接，其中没有对空间信息进行编码。
为了克服这个问题，ConvLstm通过其本地邻居的输入和过去状态来确 定网格中某个未来状态。这可以很容易地通过在状态到状态和输入到状态 的转换中使用卷积运算符来实现，而ConvLstm是对于非圆圈乘W之后的 x或者h，进行一个卷积(conv)操作,如图4所示，此时的状态更新为：
这里的i,f,c,o,x,h都是三维的tensor.张量。
对于医学影像的特点，边界模糊，梯度复杂，需要较多的高分辨率信 息，而且人体内部结构相对固定，分割目标在人体图像中的分布规律，语 义简单，低分辨率的信息就可以定位。对于医学图像的分类或者检测，常 常使用Unet网络，能用深层特征用于定位，浅层特征用于精确分割。再加上嵌入ConvLstm提取的空间时序特征，来提高分割精准度。嵌入ConvLstm 的U-net网络模型如图5所示：
将胸膜的CT图像从嵌入ConvLstm的Unet网络模型的第一层输入， 每一层都进行卷积操作和激活操作，通过嵌入ConvLstm的Unet网络模型 的下采样进行特征提取，通过嵌入ConvLstm的Unet网络模型的上采样进 行特征解码，逐渐恢复像素，其中，所述嵌入ConvLstm的Unet网络模型 中的上采样和所述下采样有三层，每一层中间有跨越连接，并嵌入所述 ConvLstm操作，以保证每个尺寸的空间信息。
其他模型采用的是Wnet3D模型，如图6：
平行的箭头代表卷积，向下或者向上的箭头代表下采样和上采样，虚 线箭头代表identity模块。
首先将胸膜的CT图像送入Wnet3D模型的第一层模块；
然后通过Wnet3D模型的第一层模块得到的不同尺寸的图像特征，然后 通过所述第一层模块进行下采样、卷积、和特征提取后，传入Wnet3D模型 的下一层模块进行下采样、卷积、和特征提取；
最后将Wnet3D模型中每层模块的结果综合起来得到最后的分割结果。
S3、将嵌入ConvLstm的Unet网络模型和3D分割模型输出的分割结 果分别使用多种损失函数结合的方法进行计算，最后将计算完成后得到的 损失值使用梯度下降算法进行加权求和，得到梯度；
分割是对像素级别的分类，并且总共为两类，在嵌入ConvLstm的Unet 网络模型和3D分割模型每层执行卷积后，经过批标准化层把值全部转化到 [0,1]之间，通过如公式2所示的激活函数将特征从线性转为非线性：
其中，x为特征值；
在步骤S3中，需要嵌入ConvLstm的Unet网络模型和3D分割模型输 出的分割结果分别使用多种损失函数结合的方法进行计算，得到损失值， 使用如公式3所示的二元交叉熵损失函数和如公式4所示的diceLoss损失 函数：
其中yt表示真实标签，取值为[0～1]；
其中，X为模型的分割结果，Y为真实标签，Ldice得到的值为标量，dice 系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围 为[0,1]，越接近1，表示模型越能好的分割图像。
Diceloss为深度学习做医学分割时，常用的损失函数。
S4、将梯度进行反向传播，更新嵌入ConvLstm的Unet网络模型和3D 分割模型的权重参数；
S5、重复S1到S4进行迭代，最终得到分割模型。
本发明提出一种针对胸膜病变CT图像输入的3D分割模型，通过优化 方法以及时序特征提取来增强分割精度的手段。
提出一种结合时序空间特征的ConvLstm及多模型融合的分割网络，提 高对胸膜病变的分割任务。
装置实施例一
根据本发明实施例，提供了一种基于ConvLstm及多模型融合的胸膜病 变的分割模型生成装置，图7是本发明实施例基于ConvLstm及多模型融合 的胸膜病变的分割模型生成装置模块的示意图，如图7所示，根据本发明实施例基于ConvLstm及多模型融合的胸膜病变的分割模型生成装置具体 包括：
预处理模块710，用于对得到胸膜的CT图像进行预处理；
分割模块720，用于将预处理后的CT图像分别送入嵌入ConvLstm的 Unet网络模型和3D分割模型进行分割；
计算模块730，用于将嵌入ConvLstm的Unet网络模型和3D分割模型 输出的分割结果分别使用多种损失函数结合的方法进行计算，最后将计算 完成后得到的损失值使用梯度下降算法进行加权求和，得到梯度；
更新模块740，用于将梯度进行反向传播，更新嵌入ConvLstm的Unet 网络模型和3D分割模型的权重参数；
结果模块750，用于调用分割模块、计算模块和更新模块进行迭代，最 终得到分割模型。
对CT图像元文件进行数据转换，根据公式1将X线的吸收系数换算 成CT值：
HU＝pixel*slope+intercept 公式1；
其中，HU表示CT值的单位，用于表示CT值，slope为存储在磁盘表 示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept 为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为CT图像像素；
调整CT图像的窗宽窗位，使得胸膜获得最佳显示；
采用邻近插值对最佳显示的CT图像进行缩放。
分割模块具体用于：
将胸膜的CT图像从嵌入ConvLstm的Unet网络模型的第一层输入， 每一层都进行卷积操作和激活操作，通过嵌入ConvLstm的Unet网络模型 的下采样进行特征提取，通过嵌入ConvLstm的Unet网络模型的上采样进 行特征解码，逐渐恢复像素，其中，所述嵌入ConvLstm的Unet网络模型 中的上采样和所述下采样有三层，每一层中间有跨越连接，并嵌入所述 ConvLstm操作，以保证每个尺寸的空间信息；
将预处理后的CT图像分别送入3D分割模型进行分割具体包括：
将胸膜的CT图像送入Wnet3D模型的第一层模块；
通过Wnet3D模型的第一层模块得到的不同尺寸的图像特征，然后通过 所述第一层模块进行下采样、卷积、和特征提取后，传入Wnet3D模型的下 一层模块进行下采样、卷积、和特征提取；
将Wnet3D模型中每层模块的结果综合起来得到最后的分割结果。
分割模块进一步用于：
在嵌入ConvLstm的Unet网络模型和3D分割模型每层执行卷积后，经 过批标准化层把值全部转化到[0,1]之间，通过如公式2所示的激活函数将 特征从线性转为非线性：
其中，x为特征值；
所述计算模块具体用于：
使用如公式3所示的二元交叉熵损失函数和如公式4所示的diceLoss 损失函数进行计算，得到损失值：
其中yt表示真实标签，取值为[0～1]；
其中，X为模型的分割结果，Y为真实标签，Ldice得到的值为标量，dice 系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围 为[0,1]，越接近1，表示模型越能好的分割图像。
本发明实施例是与上述方法实施例对应的***实施例，各个模块的具 体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例二
本发明实施例提供一种基于ConvLstm及多模型融合的胸膜病变的分 割模型生成装置，如图8所示，包括：存储器80、处理器82及存储在存储 器80上并可在所述处理器82上运行的计算机程序，计算机程序被处理器 执行时实现上述方法实施例的步骤。
装置实施例三
本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上 存储有信息传输的实现程序，程序被处理器82执行时实现上述方法实施例 的步骤。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁 盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者 分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执 行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来 执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模 块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非 对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的 普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进 行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或 者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于ConvLstm及多模型融合的胸膜病变的分割模型生成方法，其特征在于，包括，
S1、得到胸膜的CT图像，对CT图像进行预处理；
S2、将预处理后的CT图像分别送入嵌入ConvLstm的Unet网络模型和3D分割模型进行分割；具体的：
将预处理后的CT图像送入嵌入ConvLstm的Unet网络模型进行分割具体包括：
将胸膜的CT图像从嵌入ConvLstm的Unet网络模型的第一层输入，每一层都进行卷积操作和激活操作，通过嵌入ConvLstm的Unet网络模型的下采样进行特征提取，通过嵌入ConvLstm的Unet网络模型的上采样进行特征解码，逐渐恢复像素，其中，所述嵌入ConvLstm的Unet网络模型中的上采样和所述下采样有三层，每一层中间有跨越连接，并嵌入ConvLstm操作，以保证每个尺寸的空间信息；
将预处理后的CT图像送入3D分割模型进行分割具体包括：
将胸膜的CT图像送入Wnet3D模型的第一层模块；
通过Wnet3D模型的第一层模块得到的不同尺寸的图像特征，然后通过所述第一层模块进行下采样、卷积、和特征提取后，传入Wnet3D模型的下一层模块进行下采样、卷积、和特征提取；
将Wnet3D模型中每层模块的结果综合起来得到最后的分割结果；
S3、将嵌入ConvLstm的Unet网络模型和3D分割模型输出的分割结果分别使用多种损失函数结合的方法进行计算，将计算完成后得到的损失值使用梯度下降算法进行加权求和，得到梯度；
S4、将梯度进行反向传播，更新嵌入ConvLstm的Unet网络模型和3D分割模型的权重参数；
S5、重复S1到S4进行迭代，最终得到分割模型。
2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：
S11、对CT图像元文件进行数据转换，根据公式1将X线的吸收系数换算成CT值：
HU＝pixel*slope+intercept 公式1；
其中，HU表示CT值的单位，用于表示CT值，slope为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为CT图像像素；
S12、调整CT图像的窗宽窗位，使得胸膜获得最佳显示；
S13、采用邻近插值对S12得到的CT图像进行缩放。
3.根据权利要求1所述的方法，其特征在于，
所述方法进一步包括：
在嵌入ConvLstm的Unet网络模型和3D分割模型每层执行卷积后，经过批标准化层把值全部转化到[0,1]之间，通过如公式2所示的激活函数将特征从线性转为非线性：
其中，x为特征值；
将嵌入ConvLstm的Unet网络模型和3D分割模型输出的分割结果分别使用多种损失函数结合的方法进行计算具体包括：
使用如公式3所示的二元交叉熵损失函数和如公式4所示的diceLoss损失函数进行计算，得到损失值：
其中yt表示真实标签，取值为[0～1]；
其中，X为模型的分割结果，Y为真实标签，Ldice得到的值为标量，dice系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围为[0,1]，越接近1，表示模型越能好的分割图像。
4.一种基于ConvLstm及多模型融合的胸膜病变的分割模型生成装置，其特征在于，包括，
预处理模块，用于对得到胸膜的CT图像进行预处理；
分割模块，用于将预处理后的CT图像分别送入嵌入ConvLstm的Unet网络模型和3D分割模型进行分割；
所述分割模块具体用于：
将胸膜的CT图像从嵌入ConvLstm的Unet网络模型的第一层输入，每一层都进行卷积操作和激活操作，通过嵌入ConvLstm的Unet网络模型的下采样进行特征提取，通过嵌入ConvLstm的Unet网络模型的上采样进行特征解码，逐渐恢复像素，其中，所述嵌入ConvLstm的Unet网络模型中的上采样和所述下采样有三层，每一层中间有跨越连接，并嵌入ConvLstm操作，以保证每个尺寸的空间信息；
将预处理后的CT图像分别送入3D分割模型进行分割具体包括：
将胸膜的CT图像送入Wnet3D模型的第一层模块；
通过Wnet3D模型的第一层模块得到的不同尺寸的图像特征，然后通过所述第一层模块进行下采样、卷积、和特征提取后，传入Wnet3D模型的下一层模块进行下采样、卷积、和特征提取；
将Wnet3D模型中每层模块的结果综合起来得到最后的分割结果；
计算模块，用于将嵌入ConvLstm的Unet网络模型和3D分割模型输出的分割结果分别使用多种损失函数结合的方法进行计算，最后将计算完成后得到的损失值使用梯度下降算法进行加权求和，得到梯度；
更新模块，用于将梯度进行反向传播，更新嵌入ConvLstm的Unet网络模型和3D分割模型的权重参数；
结果模块，用于调用预处理模块、分割模块、计算模块和更新模块进行迭代，最终得到分割模型。
5.根据权利要求4所述的装置，其特征在于，所述预处理模块具体用于：
对CT图像元文件进行数据转换，根据公式1将X线的吸收系数换算成CT值：
HU＝pixel*slope+intercept 公式1；
其中，HU表示CT值的单位，用于表示CT值，slope为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为CT图像像素；
调整CT图像的窗宽窗位，使得胸膜获得最佳显示；
采用邻近插值对得到的CT图像进行缩放。
6.根据权利要求4所述的一种装置，其特征在于，所述分割模块进一步用于：
在嵌入ConvLstm的Unet网络模型和3D分割模型每层执行卷积后，经过批标准化层把值全部转化到[0,1]之间，通过如公式2所示的激活函数将特征从线性转为非线性：
其中，x为特征值；
所述计算模块具体用于：
使用如公式3所示的二元交叉熵损失函数和如公式4所示的diceLoss损失函数进行计算，得到损失值：
其中yt表示真实标签，取值为[0～1]；
其中，X为模型的分割结果，Y为真实标签，Ldice得到的值为标量，dice系数是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围为[0,1]，越接近1，表示模型越能好的分割图像。
7.一种基于ConvLstm及多模型融合的胸膜病变的分割模型生成装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的基于ConvLstm及多模型融合的胸膜病变的分割模型生成方法的步骤。
8.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现如权利要求1至3中任一项所述的基于ConvLstm及多模型融合的胸膜病变的分割模型生成方法的步骤。
CN202110124164.5A 2021-01-29 2021-01-29 基于卷积Lstm及多模型融合的分割模型生成方法及装置 Active CN112819831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110124164.5A CN112819831B (zh) 2021-01-29 2021-01-29 基于卷积Lstm及多模型融合的分割模型生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124164.5A CN112819831B (zh) 2021-01-29 2021-01-29 基于卷积Lstm及多模型融合的分割模型生成方法及装置

Publications (2)

Publication Number Publication Date
CN112819831A CN112819831A (zh) 2021-05-18
CN112819831B true CN112819831B (zh) 2024-04-19

Family

ID=75860134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124164.5A Active CN112819831B (zh) 2021-01-29 2021-01-29 基于卷积Lstm及多模型融合的分割模型生成方法及装置

Country Status (1)

Country Link
CN (1) CN112819831B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327254A (zh) * 2021-05-27 2021-08-31 北京深睿博联科技有限责任公司 一种基于u型网络的图像分割方法和***
CN113378929B (zh) * 2021-06-11 2022-08-30 武汉大学 一种肺结节生长预测方法和计算机设备
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、***及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510493A (zh) * 2018-04-09 2018-09-07 深圳大学 医学图像内目标对象的边界定位方法、存储介质及终端
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析***
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN110895815A (zh) * 2019-12-02 2020-03-20 西南科技大学 一种基于深度学习的胸部x线气胸分割方法
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111553892A (zh) * 2020-04-23 2020-08-18 北京小白世纪网络科技有限公司 基于深度学习的肺结节分割计算方法、装置及***
CN111932561A (zh) * 2020-09-21 2020-11-13 深圳大学 基于集成知识蒸馏的实时肠镜影像分割方法及装置
CN111951288A (zh) * 2020-07-15 2020-11-17 南华大学 一种基于深度学习的皮肤癌病变分割方法
CN112052763A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于双向回顾生成对抗网络的视频异常事件检测方法
CN112070685A (zh) * 2020-08-10 2020-12-11 武汉大学 Hifu治疗***的动态软组织运动预测的方法
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging
US10922816B2 (en) * 2018-08-27 2021-02-16 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510493A (zh) * 2018-04-09 2018-09-07 深圳大学 医学图像内目标对象的边界定位方法、存储介质及终端
CN108734713A (zh) * 2018-05-18 2018-11-02 大连理工大学 一种基于多特征图的交通图像语义分割方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析***
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
CN110895815A (zh) * 2019-12-02 2020-03-20 西南科技大学 一种基于深度学习的胸部x线气胸分割方法
CN111047613A (zh) * 2019-12-30 2020-04-21 北京小白世纪网络科技有限公司 基于分支注意力及多模型融合的眼底血管分割方法
CN111553892A (zh) * 2020-04-23 2020-08-18 北京小白世纪网络科技有限公司 基于深度学习的肺结节分割计算方法、装置及***
CN111951288A (zh) * 2020-07-15 2020-11-17 南华大学 一种基于深度学习的皮肤癌病变分割方法
CN112070685A (zh) * 2020-08-10 2020-12-11 武汉大学 Hifu治疗***的动态软组织运动预测的方法
CN112052763A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于双向回顾生成对抗网络的视频异常事件检测方法
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法
CN111932561A (zh) * 2020-09-21 2020-11-13 深圳大学 基于集成知识蒸馏的实时肠镜影像分割方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Distilling the Knowledge in a Neural Network";Geoffrey Hinton等，;《arXiv》;正文第2节-第4节 *
"Lifelong Language Knowledge Distillation";Yung-Sung Chuang等;《arXiv》;正文第2节-第4节 *
"基于图切割算法的骨组织CT图像分割方法研究";万林祥，;《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》;第3.3.1小节 *
基于U-Net改进模型的直肠肿瘤分割方法;高海军;曾祥银;潘大志;郑伯川;;计算机应用(第08期);全文 *
基于改进U-net网络的2.5D肺实质分割;王楠;王森妹;蔡静;;现代信息科技(第09期);全文 *
面向乳腺超声图像分割的混合监督双通道反馈U-Net;贡荣麟;施俊;王骏;;中国图象图形学报(第10期);全文 *

Also Published As

Publication number Publication date
CN112819831A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
Khan et al. Deep neural architectures for medical image semantic segmentation
US10496884B1 (en) Transformation of textbook information
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN108197629B (zh) 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
CN112418329B (zh) 一种基于多尺度纹理特征融合宫颈oct图像分类方法及***
CN109753866A (zh) 机器学习中具有密集特征金字塔网络架构的医学图像对象检测
EP3852054A1 (en) Method and system for automatically detecting anatomical structures in a medical image
Pradhan et al. Transforming view of medical images using deep learning
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及***
CN112614133A (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN112508884A (zh) 一种癌变区域综合检测装置及方法
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
Zhao et al. A novel multi-scale CNNs for false positive reduction in pulmonary nodule detection
Liu et al. AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network
Routray et al. Ensemble Learning with Symbiotic Organism Search Optimization Algorithm for Breast Cancer Classification & Risk Identification of Other Organs on Histopathological Images
Chatterjee et al. A survey on techniques used in medical imaging processing
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113436127A (zh) 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质
Şahin et al. A deep learning approach for detecting pneumonia in chest X-rays
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及***
CN116580198A (zh) 基于跨尺度交互式融合Transformer模型的医学图像实例分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant