CN112150478B - 一种构建半监督图像分割框架的方法及*** - Google Patents
一种构建半监督图像分割框架的方法及*** Download PDFInfo
- Publication number
- CN112150478B CN112150478B CN202010892241.7A CN202010892241A CN112150478B CN 112150478 B CN112150478 B CN 112150478B CN 202010892241 A CN202010892241 A CN 202010892241A CN 112150478 B CN112150478 B CN 112150478B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- loss
- student
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种构建半监督图像分割框架的方法,包括构建包括学生模型、教师模型和判别器的半监督图像分割框架;获取有标记的MRI图像和其对应的金标准,以计算出监督型分割损失;获取原始未标记的MRI图像和其与预设的高斯分布的噪声相结合后的噪声未标记MRI图像,以得到对应的学生分割概率结果图和教师分割概率结果图后各自覆盖在原始未标记的MRI图像上,生成学生分割区域和教师分割区域并一同传递给判别器进行相似度比较,以计算出一致性损失;根据监督型分割损失及一致性损失,得到总分割损失并对半监督图像分割框架进行优化。实施本发明,通过改进均值教师模型来建立能够用于3D医学图像的通用半监督分割框架,并且无需额外的图像级的标记。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种构建半监督图像分割框架的 方法及***。
背景技术
医学图像分割在临床应用和科学研究中起着至关重要的作用。准确的医学 图像分割可以为病变分级,分类和疾病诊断提供重要的定量措施,并进一步帮 助临床医生评估对相关疾病的治疗反应,并为手术计划和康复策略提供可靠的 依据。
近年来,涌现了许多基于计算机辅助的深度学习方法,如可自动提取和学 习图像特征的卷积神经网络,其在图像分割中的应用取得了精度上的极大提升。 但是,这些方法依赖于具有高质量标记的大量数据,特别是在医学成像领域, 由于需要专家的领域知识,对大规模数据进行标记的过程通常更加昂贵且费时, 难以获取大量的手工标记。此外,这种分割可能会受到标记者(例如临床医生) 的变化的影响,不具有可重复性。
为了避免标记数据的需求,已经有研究者提出了医学图像的无监督学习。 然而,由于非常低的分割精度,这种完全无监督的方法对于形状和大小具有较 大变化的复杂解剖结构或病变的效果不佳,因此都需要构建具有适当大小和准 确标记的数据集以训练深度学习模型,这在医学成像的实际应用中通常难以实 现。
作为另一种解决方案,弱监督学习不需要体素级别的标记数据,而是使用 图像级别的标记数据作为网络训练中的弱监督信号。尽管如此,用于医学图像 的图像级标记或边界框也需要领域知识,并且获取成本很高,弱监督学习模型 在医学成像中的应用仍然受到限制,仍需要图像级标记和边界框之类的简单标 记。
因此,有必要设计有效且无需其他辅助标记的半监督学***衡, 以仅利用少量的有标记样本来训练模型以准确分割医学图像,这对于设计医学 中的图像分割框架可能是更有意义的选择。
但是,现有的半监督分割方法并不仅仅利用未标记的数据,还需要图像级 的标记(如边框标记)来辅助半监督网络的训练和学习,不是真正意义上的半 监督,且在3D医学图像上的应用效果还未得到充分验证;同时,现有的半监督 分割方法中采用的均值教师模型几乎都只用于图像分类,还未广泛用于图像分 割。
发明内容
本发明实施例所要解决的技术问题在于,提供一种构建半监督图像分割框 架的方法及***,通过改进均值教师模型来建立能够用于3D医学图像的通用半 监督分割框架,并且无需额外的图像级的标记。
为了解决上述技术问题,本发明实施例提供了一种构建半监督图像分割框 架的方法,包括以下步骤:
步骤S1、构建包括学生模型、教师模型和判别器的半监督图像分割框架;
步骤S2、获取有标记的MRI图像和其对应的金标准,并将所述有标记的 MRI图像作为第一训练集图像导入所述学生模型中进行训练,得到分割概率图, 且进一步结合所述金标准,以计算出监督型分割损失;
步骤S3、获取原始未标记的MRI图像和其与预设的高斯分布的噪声相结合 后的噪声未标记MRI图像,得到第二训练集图像,且将所述第二训练集图像导 入所述学生模型及所述教师模型中分别进行训练,得到对应的学生分割概率结 果图和教师分割概率结果图,进一步待所述学生分割概率结果图和所述教师分 割概率结果图各自覆盖在所述原始未标记的MRI图像上后,生成对应的学生分 割区域和教师分割区域并一同传递给所述判别器进行相似度比较,以计算出一 致性损失;其中,所述教师模型在训练过程中基于所述学生模型的权重使用指 数移动平均策略来更新模型参数;
步骤S4、根据所述监督型分割损失及所述一致性损失,得到总分割损失, 并根据所述总分割损失,对所述半监督图像分割框架进行优化。
其中,所述步骤S3具体包括:
获取原始未标记的MRI图像和将所述原始未标记的MRI图像与预设的高斯 分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像;
将所述第二训练集图像的原始未标记MRI图像导入所述学生模型中进行训 练,得到对应的学生分割概率结果图,并将所述第二训练集图像的噪声未标记 MRI图像导入所述教师模型中进行训练,且所述教师模型在训练过程中基于所 述学生模型的权重使用指数移动平均策略来更新模型参数,得到教师分割概率 结果图;
将所述学生分割概率结果图和所述教师分割概率结果图与所述原始未标记 的MRI图像分别进行逐像素相乘,得到对应的学生分割区域和教师分割区域;
将所述学生分割区域和所述教师分割区域一同传递给所述判别器进行相似 度比较,分别提取出学生多尺度特征和教师多尺度特征,并根据所述学生多尺 度特征和所述教师多尺度特征,计算出一致性损失。
其中,所述教师模型更新的模型参数为权重,其通过公式θ’t=αθ’t-1+(1-α)θt来实现;其中,θ’为所述教师模型的权重,θ为所述学生模型的权重,α为控制指 数移动平均策略衰减的超参数,t为训练步骤次数。
为所述一致性损失;为两个图像的逐体素的乘法运算;为所述原始未标记的MRI图像与所述学生分割概率结果图相乘而获得的学生分割区域;为所述原始未标记的MRI图像与所述教师分割概率结果图相乘而获得 的教师分割区域;Xu为所述原始未标记的MRI图像;S(Xu)为所述学生分割概率 结果图;R(Xu)为所述教师分割概率结果图;f(·)为相应分割区域提取的分层特征 图;h,w,d为每个图像的高、宽、长尺寸;δmae为K 为所述判别器中网络层的数量;f(xi)为第i层输出的特征向量。
其中,所述方法进一步包括:
根据所述学生分割概率结果图及其对应设置的金标准,计算出所述判别器 的自训练损失,并获取所述判别器的对抗损失,且进一步将所述判别器的自训 练损失及其对抗损失与所述监督型分割损失及所述一致性损失结合,更新所述 总分割损失,并根据更新后的总分割损失,对所述半监督图像分割框架进行优 化。
为所述判别器的自训练损失;为所述学生分割概率结果图和相应分割区域的级联,其中||表示两个图像的级联操作;A(·)为从 生成的相应置信度图;μself为置信度的阈值;为从argmaxcS(Xu)生成的 地面实况的单次热编码;为所述学生分割概率结果图对应设置的金标准。
本发明实施例还提供了一种构建半监督图像分割框架的***,包括图像分 割框架构建单元、监督型分割损失计算单元、一致性损失计算单元和图像分割 框架优化单元;其中,
图像分割框架构建单元,用于构建包括学生模型、教师模型和判别器的半 监督图像分割框架;
监督型分割损失计算单元,用于获取有标记的MRI图像和其对应的金标准, 并将所述有标记的MRI图像作为第一训练集图像导入所述学生模型中进行训练, 得到分割概率图,且进一步结合所述金标准,以计算出监督型分割损失;
一致性损失计算单元,用于获取原始未标记的MRI图像和其与预设的高斯 分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像,且将所述 第二训练集图像导入所述学生模型及所述教师模型中分别进行训练,得到对应 的学生分割概率结果图和教师分割概率结果图,进一步待所述学生分割概率结 果图和所述教师分割概率结果图各自覆盖在所述原始未标记的MRI图像上后, 生成对应的学生分割区域和教师分割区域并一同传递给所述判别器进行相似度 比较,以计算出一致性损失;其中,所述教师模型在训练过程中基于所述学生 模型的权重使用指数移动平均策略来更新模型参数;
图像分割框架优化单元,用于根据所述监督型分割损失及所述一致性损失, 得到总分割损失,并根据所述总分割损失,对所述半监督图像分割框架进行优 化。
其中,还包括:
图像分割框架再次优化单元,用于根据所述学生分割概率结果图及其对应 设置的金标准,计算出所述判别器的自训练损失,并获取所述判别器的对抗损 失,且进一步将所述判别器的自训练损失及其对抗损失与所述监督型分割损失 及所述一致性损失结合,更新所述总分割损失,并根据更新后的总分割损失, 对所述半监督图像分割框架进行优化。
实施本发明实施例,具有如下有益效果:
1、本发明利用基于多尺度特征的一致性机制来改进均值教师模型,将体素 级正则化信息纳入了半监督模型中,从而进一步改进了均值教师模型,使其更 适用于图像分割;
2、本发明深度结合对抗网络(如用于对抗学习的判别器),无需额外的图 像级标记,即可实现半监督分割,且对抗网络的作用不仅在于可提取包含空间 上下文信息的多尺度图像特征,而且能够用于衡量实现自训练方案的分割概率 图的置信度;
3、本发明建立能够用于多种MRI图像(医学图像)的通用半监督分割框架。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付 出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提出的一种构建半监督图像分割框架的方法的流程图;
图2为本发明实施例提出的一种构建半监督图像分割框架的方法中四个模 态的MRI图像预处理之前的应用场景图;
图3为本发明实施例提出的一种构建半监督图像分割框架的***的结构示 意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明 作进一步地详细描述。
如图1所示,为本发明实施例中,提出的一种构建半监督图像分割框架的 方法,包括以下步骤:
步骤S1、构建包括学生模型、教师模型和判别器的半监督图像分割框架;
具体过程为,所构建的半监督图像分割框架主要由两个模块组成:均值教 师模型和对抗网络。总的来说,该框架将对抗网络深度整合到改进后的均值教 师模型中,主要包括由一个学生模型S和一个教师模型R形成的均值教师模型和一 个判别器形成的对抗网络。所有这些模型(包括判别器)都基于CNN,特别是 学生和教师模型基于相同的分割网络(如U-Net)。
步骤S2、获取有标记的MRI图像和其对应的金标准,并将所述有标记的 MRI图像作为第一训练集图像导入所述学生模型中进行训练,得到分割概率图, 且进一步结合所述金标准,以计算出监督型分割损失;
h,w,d为每个图像的高、宽、长尺寸;C为标签类别数;c为标签类别数C 中的某一个类别。
步骤S3、获取原始未标记的MRI图像和其与预设的高斯分布的噪声相结合 后的噪声未标记MRI图像,得到第二训练集图像,且将所述第二训练集图像导 入所述学生模型及所述教师模型中分别进行训练,得到对应的学生分割概率结 果图和教师分割概率结果图,进一步待所述学生分割概率结果图和所述教师分 割概率结果图各自覆盖在所述原始未标记的MRI图像上后,生成对应的学生分 割区域和教师分割区域并一同传递给所述判别器进行相似度比较,以计算出一 致性损失;其中,所述教师模型在训练过程中基于所述学生模型的权重使用指 数移动平均策略来更新模型参数;
具体过程为,由于传统的均值教师模型存在两种损失,一种是分割损失, 另一种是一致性损失,这种损失通常是根据学生模型S和教师模型R的分割图直接 计算得出的。因此,为了克服传统的均值教师模型中一致性损失直接换算所带 来的精度不准确问题,利用基于多尺度特征的一致性机制来改进传统的均值教 师模型,使其更适用于图像分割,具体过程如下:
获取原始未标记的MRI图像Xu和将原始未标记的MRI图像Xu与预设的高斯 分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像;
将第二训练集图像的原始未标记MRI图像Xu导入学生模型S中进行训练,得 到对应的学生分割概率结果图S(Xu),并将第二训练集图的噪声未标记MRI图 像导入教师模型R中进行训练,且教师模型R在训练过程中基于学生模型S的权重 θ’使用指数移动平均(EMA)策略来更新模型参数(如权重θ’),得到教师分割概 率结果图R(Xu);其中,教师模型R更新的模型权重θ’,通过公式θ’t=αθ’t-1+(1-α)θt来实现;α为控制指数移动平均策略衰减的超参数,t为训练步骤次数;
应当说明的是,可以将整个训练集表示为集合S={Xn,Yl},包括所有图像Xn和 有标记图像的金标准Yl,其中Xn={Xl,Xu}={x1,…,xL,xL+1,…,xL+U}∈RH×W×D×N, Yl={y1,…,yL}∈RH×W×D×C×L,每个图像的尺寸为H×W×D,每个分割任务中的标签类 别数为C,具有地面真实标签图的图像数为L,训练集中的图像数量设置为N。
当将原始未标记的MRI图像Xu输入到学生模型S中时,为了获得一致性训练 所需的相似样本,还将基于高斯分布的噪声添加到了相同的原始未标记的MRI 图像Xu中,为教师模型R生成了相似的输入。基于一致性机制的假设,这两个网 络有望产生相似的分割结果,在训练过程中的每个训练步骤t中使用指数移动平 均根据学生模型的权重θ更新教师模型的权重θ’。
同时,与以前的基于简单一致性的均值教师方法不同,在框架中将用于对 抗学习的判别器A作为另一个重要组成部分,设计了基于多尺度特征计算出的一 致性损失。具体来说,从学生模型S和教师模型R输出原始未标记的MRI图像Xu和 其相应噪声未标记MRI图像所分别对应的学生分割概率结果图S(Xu)和教师分 割概率结果图R(Xu)后,其覆盖在原始未标记的MRI图像Xu上,以得到MRI中 两组分割区域,这两组分割区域型MRI是根据输入MRI与分割概率图逐像素相 乘所生成的,即学生分割区域和教师分割区域在一致性训练 中,鼓励这两个获得的分割区域相似,而不是像传统的均值教师模型那样仅考 虑分割概率图的一致性。
由于CNN可以有效地学习多层尺度的图像特征,为了更好地测量分割区域 的一致性,从基于CNN的判别器A中提取分割区域的层次特征并将其串联在一 起,并比较学生分割区域和教师分割区域相应的多尺度特征, 将其视为学生分割区域和教师分割区域之间的差异。
步骤S4、根据所述监督型分割损失及所述一致性损失,得到总分割损失, 并根据所述总分割损失,对所述半监督图像分割框架进行优化。
λcon为加权系数,用于平衡所设计的损失函数的相对重要性。
在本发明实施例中,除生成上述用于计算一致性损失的多尺度特征外,判 别器A还输出置信度图用于自训练。该置信度图可用于指导和约束目标区域,从 而使学习到的分布更接近于真实分布情况。通过为置信度图设置阈值,就可以 获得可靠的置信度区域,以选出高置信度的分割结果,将其转换为伪标签用于 自训练。因此,来自未标记的MRI图像Xu中一部分有效的分割结果可被直接看 作标签,将其加入到训练集中可进一步丰富数据集。
其中,为学生分割概率结果图和相应分割区域的级联,其 中||表示两个图像的级联操作;A(·)为从生成的相应置信度图;μself为置信度的阈值;为从argmaxcS(Xu)生成的地面实况的单次热编码;为学生分 割概率结果图对应设置的金标准,仅当判别器A输出的置信度图的对应体素值大 于用户定义的阈值μself时。
在框架的对抗训练过程中,学生模型S和教师模型R被迫生成一致的分割概率 图以欺骗判别器A,而判别器A经过训练以增强区分学生分割概率图和教师分割 概率图的能力。因此,判别器A的空间交叉熵损失定义。如公式(6)所示:
根据学生分割概率结果图及其对应设置的金标准,计算出判别器的自训练 损失,并获取判别器的对抗损失,且进一步将判别器的自训练损失及其对抗损 失与监督型分割损失及一致性损失结合,更新总分割损失,并根据更新后的总 分割损失,对半监督图像分割框架进行优化。
其中,λcon,,λself和λadv是相应的加权系数,用于平衡所设计的损失函数的相 对重要性。
如图2所示,为本发明实施例的一种构建半监督图像分割框架的方法中均 值教师模型和对抗网络联合训练的脑部MRI分割的应用场景图。
如图3所示,为本发明实施例中,提供的一种构建半监督图像分割框架的 ***,包括图像分割框架构建单元110、监督型分割损失计算单元120、一致性 损失计算单元130和图像分割框架优化单元140;其中,
图像分割框架构建单元110,用于构建包括学生模型、教师模型和判别器的 半监督图像分割框架;
监督型分割损失计算单元120,用于获取有标记的MRI图像和其对应的金 标准,并将所述有标记的MRI图像作为第一训练集图像导入所述学生模型中进 行训练,得到分割概率图,且进一步结合所述金标准,以计算出监督型分割损 失;
一致性损失计算单元130,用于获取原始未标记的MRI图像和其与预设的 高斯分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像,且将 所述第二训练集图像导入所述学生模型及所述教师模型中分别进行训练,得到 对应的学生分割概率结果图和教师分割概率结果图,进一步待所述学生分割概 率结果图和所述教师分割概率结果图各自覆盖在所述原始未标记的MRI图像上 后,生成对应的学生分割区域和教师分割区域并一同传递给所述判别器进行相 似度比较,以计算出一致性损失;其中,所述教师模型在训练过程中基于所述 学生模型的权重使用指数移动平均策略来更新模型参数;
图像分割框架优化单元140,用于根据所述监督型分割损失及所述一致性损 失,得到总分割损失,并根据所述总分割损失,对所述半监督图像分割框架进 行优化。
其中,还包括:
图像分割框架再次优化单元150,用于根据所述学生分割概率结果图及其对 应设置的金标准,计算出所述判别器的自训练损失,并获取所述判别器的对抗 损失,且进一步将所述判别器的自训练损失及其对抗损失与所述监督型分割损 失及所述一致性损失结合,更新所述总分割损失,并根据更新后的总分割损失, 对所述半监督图像分割框架进行优化。
实施本发明实施例,具有如下有益效果:
1、本发明利用基于多尺度特征的一致性机制来改进均值教师模型,将体素 级正则化信息纳入了半监督模型中,从而进一步改进了均值教师模型,使其更 适用于图像分割;
2、本发明深度结合对抗网络(如用于对抗学习的判别器),无需额外的图 像级标记,即可实现半监督分割,且对抗网络的作用不仅在于可提取包含空间 上下文信息的多尺度图像特征,而且能够用于衡量实现自训练方案的分割概率 图的置信度;
3、本发明建立能够用于多种MRI图像(医学图像)的通用半监督分割框架。
值得注意的是,上述***实施例中,所包括的各个***单元只是按照功能 逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可; 另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明 的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是 可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读 取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发 明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的 范围。
Claims (9)
1.一种构建半监督图像分割框架的方法,其特征在于,包括以下步骤:
步骤S1、构建包括学生模型、教师模型和判别器的半监督图像分割框架;
步骤S2、获取有标记的MRI图像和其对应的金标准,并将所述有标记的MRI图像作为第一训练集图像导入所述学生模型中进行训练,得到分割概率图,且进一步结合所述金标准,以计算出监督型分割损失;
步骤S3、获取原始未标记的MRI图像和其与预设的高斯分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像,且将所述第二训练集图像导入所述学生模型及所述教师模型中分别进行训练,得到对应的学生分割概率结果图和教师分割概率结果图,进一步将所述学生分割概率结果图和所述教师分割概率结果图各自覆盖在所述原始未标记的MRI图像上后,生成对应的学生分割区域和教师分割区域并一同传递给所述判别器进行相似度比较,以计算出一致性损失;其中,所述教师模型在训练过程中基于所述学生模型的权重使用指数移动平均策略来更新模型参数;
步骤S4、根据所述监督型分割损失及所述一致性损失,得到总分割损失,并根据所述总分割损失,对所述半监督图像分割框架进行优化;
所述步骤S3具体包括:
获取原始未标记的MRI图像和将所述原始未标记的MRI图像与预设的高斯分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像;
将所述第二训练集图像的原始未标记MRI图像导入所述学生模型中进行训练,得到对应的学生分割概率结果图,并将所述第二训练集图像的噪声未标记MRI图像导入所述教师模型中进行训练,且所述教师模型在训练过程中基于所述学生模型的权重使用指数移动平均策略来更新模型参数,得到教师分割概率结果图;
将所述学生分割概率结果图和所述教师分割概率结果图与所述原始未标记的MRI图像分别进行逐像素相乘,得到对应的学生分割区域和教师分割区域;
将所述学生分割区域和所述教师分割区域一同传递给所述判别器进行相似度比较,分别提取出学生多尺度特征和教师多尺度特征,并根据所述学生多尺度特征和所述教师多尺度特征,计算出一致性损失。
2.如权利要求1所述的构建半监督图像分割框架的方法,其特征在于,所述教师模型更新的模型参数为权重,其通过公式θ’t=αθ’t-1+(1-α)θt来实现;其中,θ’为所述教师模型的权重,θ为所述学生模型的权重,α为控制指数移动平均策略衰减的超参数,t为训练步骤次数。
5.如权利要求3或4所述的构建半监督图像分割框架的方法,其特征在于,所述方法进一步包括:
根据所述学生分割概率结果图及其对应设置的金标准,计算出所述判别器的自训练损失,并获取所述判别器的对抗损失,且进一步将所述判别器的自训练损失及其对抗损失与所述监督型分割损失及所述一致性损失结合,更新所述总分割损失,并根据更新后的总分割损失,对所述半监督图像分割框架进行优化。
8.一种构建半监督图像分割框架的***,其特征在于,包括图像分割框架构建单元、监督型分割损失计算单元、一致性损失计算单元和图像分割框架优化单元;其中,
图像分割框架构建单元,用于构建包括学生模型、教师模型和判别器的半监督图像分割框架;
监督型分割损失计算单元,用于获取有标记的MRI图像和其对应的金标准,并将所述有标记的MRI图像作为第一训练集图像导入所述学生模型中进行训练,得到分割概率图,且进一步结合所述金标准,以计算出监督型分割损失;
一致性损失计算单元,用于获取原始未标记的MRI图像和其与预设的高斯分布的噪声相结合后的噪声未标记MRI图像,得到第二训练集图像,且将所述第二训练集图像导入所述学生模型及所述教师模型中分别进行训练,得到对应的学生分割概率结果图和教师分割概率结果图,进一步待所述学生分割概率结果图和所述教师分割概率结果图各自覆盖在所述原始未标记的MRI图像上后,生成对应的学生分割区域和教师分割区域并一同传递给所述判别器进行相似度比较,以计算出一致性损失;其中,所述教师模型在训练过程中基于所述学生模型的权重使用指数移动平均策略来更新模型参数;将所述学生分割概率结果图和所述教师分割概率结果图与所述原始未标记的MRI图像分别进行逐像素相乘,得到对应的学生分割区域和教师分割区域;
将所述学生分割区域和所述教师分割区域一同传递给所述判别器进行相似度比较,分别提取出学生多尺度特征和教师多尺度特征,并根据所述学生多尺度特征和所述教师多尺度特征,计算出一致性损失;
图像分割框架优化单元,用于根据所述监督型分割损失及所述一致性损失,得到总分割损失,并根据所述总分割损失,对所述半监督图像分割框架进行优化。
9.如权利要求8所述的构建半监督图像分割框架的***,其特征在于,还包括:
图像分割框架再次优化单元,用于根据所述学生分割概率结果图及其对应设置的金标准,计算出所述判别器的自训练损失,并获取所述判别器的对抗损失,且进一步将所述判别器的自训练损失及其对抗损失与所述监督型分割损失及所述一致性损失结合,更新所述总分割损失,并根据更新后的总分割损失,对所述半监督图像分割框架进行优化。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010892241.7A CN112150478B (zh) | 2020-08-31 | 2020-08-31 | 一种构建半监督图像分割框架的方法及*** |
PCT/CN2020/113496 WO2022041307A1 (zh) | 2020-08-31 | 2020-09-04 | 一种构建半监督图像分割框架的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010892241.7A CN112150478B (zh) | 2020-08-31 | 2020-08-31 | 一种构建半监督图像分割框架的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150478A CN112150478A (zh) | 2020-12-29 |
CN112150478B true CN112150478B (zh) | 2021-06-22 |
Family
ID=73890865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010892241.7A Active CN112150478B (zh) | 2020-08-31 | 2020-08-31 | 一种构建半监督图像分割框架的方法及*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112150478B (zh) |
WO (1) | WO2022041307A1 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112734723B (zh) * | 2021-01-08 | 2023-06-30 | 温州医科大学 | 一种面向多源数据的乳腺肿瘤图像分类预测方法及装置 |
CN112749801A (zh) * | 2021-01-22 | 2021-05-04 | 上海商汤智能科技有限公司 | 神经网络训练和图像处理方法及装置 |
CN113129309B (zh) * | 2021-03-04 | 2023-04-07 | 同济大学 | 基于对象上下文一致性约束的医学图像半监督分割*** |
CN113256646B (zh) * | 2021-04-13 | 2024-03-22 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
CN113239924B (zh) * | 2021-05-21 | 2022-04-26 | 上海交通大学 | 一种基于迁移学习的弱监督目标检测方法及*** |
CN113256639A (zh) * | 2021-05-27 | 2021-08-13 | 燕山大学 | 基于半监督平均教师模型的冠脉造影血管图像分割方法 |
CN113344896B (zh) * | 2021-06-24 | 2023-01-17 | 鹏城实验室 | 一种胸部ct图像病灶分割模型的训练方法及*** |
CN113763406B (zh) * | 2021-07-28 | 2024-04-26 | 华中师范大学 | 基于半监督学习的婴儿脑mri分割方法 |
CN113743474B (zh) * | 2021-08-10 | 2023-09-26 | 扬州大学 | 基于协同半监督卷积神经网络的数字图片分类方法与*** |
CN113793304A (zh) * | 2021-08-23 | 2021-12-14 | 天津大学 | 一种面向肺癌靶区及危及器官智能分割方法 |
CN114332135B (zh) * | 2022-03-10 | 2022-06-10 | 之江实验室 | 一种基于双模型交互学习的半监督医学图像分割方法及装置 |
CN114897914B (zh) * | 2022-03-16 | 2023-07-07 | 华东师范大学 | 基于对抗训练的半监督ct图像分割方法 |
CN114693753B (zh) * | 2022-03-24 | 2024-05-03 | 北京理工大学 | 基于纹理保持约束的三维超声弹性配准方法及装置 |
CN114757273A (zh) * | 2022-04-07 | 2022-07-15 | 南京工业大学 | 一种基于协同对比正则化平均教师模型的脑电信号分类方法 |
CN114742799B (zh) * | 2022-04-18 | 2024-04-26 | 华中科技大学 | 基于自监督异构网络的工业场景未知类型缺陷分割方法 |
CN114549842B (zh) * | 2022-04-22 | 2022-08-02 | 山东建筑大学 | 基于不确定性知识域自适应的半监督图像分割方法及*** |
CN114926471B (zh) * | 2022-05-24 | 2023-03-28 | 北京医准智能科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
CN114882227B (zh) * | 2022-07-07 | 2022-11-04 | 南方医科大学第三附属医院(广东省骨科研究院) | 一种人体组织图像分割方法及相关设备 |
CN114882325B (zh) * | 2022-07-12 | 2022-12-02 | 之江实验室 | 基于二阶段物体检测器的半监督物检测及训练方法、装置 |
CN117523327A (zh) * | 2022-07-29 | 2024-02-06 | 马上消费金融股份有限公司 | 图像处理方法、装置、设备和介质 |
CN115496732B (zh) * | 2022-09-26 | 2024-03-15 | 电子科技大学 | 一种半监督心脏语义分割算法 |
CN117173401B (zh) * | 2022-12-06 | 2024-05-03 | 南华大学 | 基于交叉指导和特征级一致性双正则化的半监督医学图像分割方法及*** |
CN116258861B (zh) * | 2023-03-20 | 2023-09-22 | 南通锡鼎智能科技有限公司 | 基于多标签学习的半监督语义分割方法以及分割装置 |
CN116468746B (zh) * | 2023-03-27 | 2023-12-26 | 华东师范大学 | 一种双向复制粘贴的半监督医学图像分割方法 |
CN116188876B (zh) * | 2023-03-29 | 2024-04-19 | 上海锡鼎智能科技有限公司 | 基于信息混合的半监督学习方法及半监督学习装置 |
CN116543162B (zh) * | 2023-05-09 | 2024-07-12 | 山东建筑大学 | 基于特征差值与上下文感知一致性的图像分割方法及*** |
CN116645507A (zh) * | 2023-05-18 | 2023-08-25 | 丽水瑞联医疗科技有限公司 | 一种基于语义分割的胎盘图像处理方法及*** |
CN116778239B (zh) * | 2023-06-16 | 2024-06-11 | 酷哇科技有限公司 | 面向实例分割模型的半监督训练方法及设备 |
CN117058156A (zh) * | 2023-06-20 | 2023-11-14 | 苏州大学 | 一种半监督医学图像分割方法 |
CN116664602B (zh) * | 2023-07-26 | 2023-11-03 | 中南大学 | 基于少样本学习的octa血管分割方法及成像方法 |
CN117333874A (zh) * | 2023-10-27 | 2024-01-02 | 江苏新希望科技有限公司 | 一种图像分割方法、***、存储介质和装置 |
CN117593648B (zh) * | 2024-01-17 | 2024-04-05 | 中国人民解放军海军航空大学 | 基于弱监督学习的遥感目标建筑物提取方法 |
CN117765532B (zh) * | 2024-02-22 | 2024-05-31 | 中国科学院宁波材料技术与工程研究所 | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091333A (zh) * | 2014-07-01 | 2014-10-08 | 黄河科技学院 | 基于区域可信融合的多类无监督彩色纹理图像分割方法 |
CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割*** |
CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764462A (zh) * | 2018-05-29 | 2018-11-06 | 成都视观天下科技有限公司 | 一种基于知识蒸馏的卷积神经网络优化方法 |
CN109087303B (zh) * | 2018-08-15 | 2022-04-01 | 中山大学 | 基于迁移学习提升语义分割模型效果的框架 |
CN109949317B (zh) * | 2019-03-06 | 2020-12-11 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
CN110059698B (zh) * | 2019-04-30 | 2022-12-23 | 福州大学 | 用于街景理解的基于边缘稠密重建的语义分割方法及*** |
CN110428426A (zh) * | 2019-07-02 | 2019-11-08 | 温州医科大学 | 一种基于改进随机森林算法的mri图像自动分割方法 |
CN110490881A (zh) * | 2019-08-19 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 医学影像分割方法、装置、计算机设备及可读存储介质 |
CN111080645B (zh) * | 2019-11-12 | 2023-08-15 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
CN111062951B (zh) * | 2019-12-11 | 2022-03-25 | 华中科技大学 | 一种基于语义分割类内特征差异性的知识蒸馏方法 |
CN111275713B (zh) * | 2020-02-03 | 2022-04-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
CN111369618A (zh) * | 2020-02-20 | 2020-07-03 | 清华大学 | 基于压缩采样的rf信号人体姿态估计方法及装置 |
CN111402278B (zh) * | 2020-02-21 | 2023-10-27 | 华为云计算技术有限公司 | 分割模型训练方法、图像标注方法及相关装置 |
CN111401406B (zh) * | 2020-02-21 | 2023-07-18 | 华为技术有限公司 | 一种神经网络训练方法、视频帧处理方法以及相关设备 |
CN111369535B (zh) * | 2020-03-05 | 2023-04-07 | 笑纳科技(苏州)有限公司 | 一种细胞检测方法 |
CN111507993B (zh) * | 2020-03-18 | 2023-05-19 | 南方电网科学研究院有限责任公司 | 一种基于生成对抗网络的图像分割方法、装置及存储介质 |
CN111489365B (zh) * | 2020-04-10 | 2023-12-22 | 上海商汤临港智能科技有限公司 | 神经网络的训练方法、图像处理方法及装置 |
CN111507227B (zh) * | 2020-04-10 | 2023-04-18 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
-
2020
- 2020-08-31 CN CN202010892241.7A patent/CN112150478B/zh active Active
- 2020-09-04 WO PCT/CN2020/113496 patent/WO2022041307A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091333A (zh) * | 2014-07-01 | 2014-10-08 | 黄河科技学院 | 基于区域可信融合的多类无监督彩色纹理图像分割方法 |
CN109978850A (zh) * | 2019-03-21 | 2019-07-05 | 华南理工大学 | 一种多模态医学影像半监督深度学习分割*** |
CN110503654A (zh) * | 2019-08-01 | 2019-11-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
Also Published As
Publication number | Publication date |
---|---|
CN112150478A (zh) | 2020-12-29 |
WO2022041307A1 (zh) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150478B (zh) | 一种构建半监督图像分割框架的方法及*** | |
CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN108364006A (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
CN111047594A (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
CN109544517A (zh) | 基于深度学习的多模态超声组学分析方法及*** | |
CN112070078B (zh) | 基于深度学习的土地利用分类方法及*** | |
CN109920538B (zh) | 一种基于数据增强的零样本学习方法 | |
CN111932529B (zh) | 一种图像分类分割方法、装置及*** | |
CN112488976B (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
CN111860267B (zh) | 一种基于人体骨骼关节点位的多通道健身运动识别方法 | |
CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
Xu et al. | Liver segmentation in CT based on ResUNet with 3D probabilistic and geometric post process | |
CN107403434A (zh) | 基于两阶段聚类的sar图像语义分割方法 | |
Saidy et al. | Chest X-ray image segmentation using encoder-decoder convolutional network | |
Zhang et al. | Cross-modal prostate cancer segmentation via self-attention distillation | |
CN111738997A (zh) | 一种基于深度学习的计算新冠肺炎病变区域占比的方法 | |
CN105678790B (zh) | 基于可变高斯混合模型的高分辨率遥感影像监督分割方法 | |
CN115761216A (zh) | 一种孤独症脑部核磁共振图像识别方法 | |
CN113643297B (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
CN113569805A (zh) | 动作识别方法、装置、电子设备和存储介质 | |
CN108090507A (zh) | 一种基于集成方法的医疗影像纹理特征处理方法 | |
Zhang et al. | Learning from multiple annotators for medical image segmentation | |
CN115862837A (zh) | 一种基于类型推理与语义约束的医学视觉问答方法 | |
CN104751461A (zh) | 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法 | |
CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |