CN117689884A - 一种医学图像分割模型的生成方法及医学图像的分割方法 - Google Patents

一种医学图像分割模型的生成方法及医学图像的分割方法 Download PDF

Info

Publication number
CN117689884A
CN117689884A CN202311492401.9A CN202311492401A CN117689884A CN 117689884 A CN117689884 A CN 117689884A CN 202311492401 A CN202311492401 A CN 202311492401A CN 117689884 A CN117689884 A CN 117689884A
Authority
CN
China
Prior art keywords
target
training
source
image
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311492401.9A
Other languages
English (en)
Inventor
金鑫
王允楠
曾文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Digital Twin Oriental Institute Of Technology Research Institute
Original Assignee
Ningbo Digital Twin Oriental Institute Of Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Digital Twin Oriental Institute Of Technology Research Institute filed Critical Ningbo Digital Twin Oriental Institute Of Technology Research Institute
Priority to CN202311492401.9A priority Critical patent/CN117689884A/zh
Publication of CN117689884A publication Critical patent/CN117689884A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种医学图像分割模型的生成方法及医学图像的分割方法。该医学图像分割模型的生成方法包括：确定训练数据，其中，训练数据为采用未配对的源域图像和目标域图像进行双向交叉模态增强后得到的数据，源域图像为标记模态的图像，目标域图像为未标记模态的图像；采用训练数据对神经网络模型进行训练，构建自训练框架，其中，自训练框架在不使用对抗训练的前提下提取跨模态的域不变表示；将自训练框架确定为医学图像分割模型。该方法解决了相关技术中自适应医学图像分割模型的领域不变表示的学习能力和泛化性能较差，图像分割精度低的问题。

Description

一种医学图像分割模型的生成方法及医学图像的分割方法
技术领域
本申请涉及医学图像分割技术领域，特别是涉及一种医学图像分割模型的生成方法及医学图像的分割方法。
背景技术
医学图像分割是计算机视觉领域的一项基本任务，旨在对医学图像中属于不同解剖结构的像素进行分类。由于医学图像分割能够在像素级别确定特定解剖结构的形状和位置，因此医学图像分割在临床辅助诊断中起着重要的作用。
近年来，基于深度学习的全卷积神经网络在不同场景的图像分割任务中取得了令人瞩目的成果。然而，现有基于数据驱动的端到端医学图像分割方法依赖于放射科医学专家在特定模态中对医学图像进行繁重的像素级手工标注，该过程的时间和劳动成本是十分巨大的。同时，由于不同医疗设备的成像原理导致的域间分布差异，在特定模态下训练的模型在跨模态分割任务中的泛化能力有限。
为了缓解标注压力和充分利用特定模态中已有的标注数据，领域自适应医学图像分割被提出用于将解剖结构的语义知识从标记的模态(源域)迁移到未标记的模态(目标域)，目的在于学习两个不同模态分布的域不变表示。为了达到这一目的，目前最先进的方法倾向于在图像分割网络的不同级别部署额外的判别器网络以实现对抗训练框架，例如分割网络的输入、特征和输出空间，从而最大限度的减少分割网络对源域与目标域表示间的差异。与这些基于对抗训练的方法相比，基于自训练的框架旨在为无标注目标域数据生成伪标签，不借助额外的参数的前提下在不同自然场景的领域适应基准数据集上取得了引人注目的结果，因此如何在计算高效的自训练框架中有效提取领域不变表示成为了当前领域自适应医学图像分割任务的研究重点。
现有的基于自训练的领域自适应医学图像分割研究主要集中在通过不确定性估计，从而缓解伪标签噪声引起的过拟合。然而，这些方法过度强调伪标签质量，从而忽略了未标注数据中固有的先验知识，这导致了模型泛化性能的提升依然是依赖于有监督技术而不是域不变表示的学习。
针对相关技术中自适应医学图像分割模型的领域不变表示的学习能力和泛化性能较差，图像分割精度低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种医学图像分割模型的生成方法及医学图像的分割方法，至少解决相关技术中自适应医学图像分割模型的领域不变表示的学习能力和泛化性能较差，图像分割精度低的问题。
根据本申请实施例的一个方面，提供了一种医学图像分割模型的生成方法，包括：确定训练数据，其中，训练数据为采用未配对的源域图像和目标域图像进行双向交叉模态增强后得到的数据，源域图像为标记模态的图像，目标域图像为未标记模态的图像；采用训练数据对神经网络模型进行训练，构建自训练框架，其中，自训练框架在不使用对抗训练的前提下提取跨模态的域不变表示；将自训练框架确定为医学图像分割模型。
可选地，神经网络模型为基于全卷积神经网络的图像分割网络F(·)，图像分割网络F(·)的输入图像数据的维度为RW×H×3，输出像素级别分类概率的维度为RW×H×C，其中，W，H，C分别表示输入图片的长度，宽度和类别；
源域图像为Ns张具有标注的源域图片目标域图像为Nt张无标注的目标域图片/>其中xs∈RW×H×3和ys∈{0，1}W×H×C分别表示从源域/>中采样的图片和对应的标签，xt∈RW×H×3表示从目标域/>中采样的图片。
可选地，自训练框架包括两个结构相同的学生网络F(·)和教师网络Ft(·)，其中，教师网络Ft(·)在源域数据集上以完全监督的方式预训练，用于生成伪标签以监督目标域数据集中的图像，源域数据集由Ns张具有标注的源域图片Ds构成，目标域数据集由Nt张无标注的目标域图片Dt构成。
可选地，确定训练数据，包括：利用未配对的源域图像和目标域图像进行双向交叉模态增强处理，在颜色和实例级别构建自训练框架中解剖结构跨域的一致性先验信息，其中，一致性先验信息，为基于一致性先验的一致性正则化使图像分割网络F(.)对不同扰动下的同一图像的不同视图产生一致性的语义预测；将一致性先验信息确定为训练数据。
可选地，利用未配对的源域图像和目标域图像进行双向交叉模态增强处理，包括：源-目标增强As2t和目标-源增强At2s，其中，
源-目标增强As2t利用无标签的目标域图像在颜色级别将源域图像的风格迁移至目标风格，源-目标增强As2t通过以下方法实现：将源域图像和目标域图像从RGB迁移至LAB颜色空间，然后在源域图像到目标域图像方向上执行均值和方差调整：
其中，ls、lt和ls2t分别表示LAB空间中的源域图像、目标域图像和颜色迁移后的源域图像；
目标-源增强At2s利用有标签的源域图像在解剖结构实例级别增强目标域图像，目标-源增强At2s通过以下方法实现：利用源域图像的像素级别标注生成实例遮罩Mt2s∈{0，1}W×H：
xt2s＝Mt2s⊙xs+(1-Mt2s)⊙xt
其中，xt2s表示增强后的目标域图像，⊙表示哈达玛积，Mt2s指示了源域图像中粘贴到目标域图像的区域，该区域是源域图像中随机解剖结构类别cs的实例区域，同时粘贴的实例与其在源域图像中的原始位置一致，Mt2s由源域图像的标签确定：
可选地，增强后的目标域图像包括两种类型的伪标签，其中，在无法获得目标域图像的伪标签时，增强后的目标域图像利用二进制遮罩Mt2s监督源域实例部分，损失函数如下所示：
其中，和/>分别表示结合二进制遮罩Mt2s的交叉熵损失和Dice损失；
在获得跨模态的初步泛化能力后，增强后的目标域图像对应的伪标签为
可选地，上述方法还包括：利用跨域的类别特征中心计算类别特征原型表示，在跨模态增强的过程中使用类别特征原型细化目标域图像的伪标签以实现稳定的数据增强，其中，类别特征原型表示如下：
其中，fs和ft分别表示预训练教师网络Ft(·)输出的源特征和目标特征，v(c)表示类别c的原型，自训练模型的动量教师编码器对目标域数据生成的特征类别中心v′(c)被用于在线更新类别的特征原型表示，ys[：，：，c]中的：表示选择该维度的所有数据，即该式表示选择第c维度尺寸与相同的切片数据。
可选地，利用跨域的类别特征中心计算类别特征原型表示，在跨模态增强的过程中使用类别特征原型细化目标域图像的伪标签以实现稳定的数据增强，包括：
根据类别特征原型确定权重wt，并根据权重wt细化教师网络Ft(·)输出的概率，其中，权重wt的计算公式如下：
其中，其中表示动量教师编码器输出的目标图像的特征，wt在特征级别衡量伪标签中每个像素表示与每个类别原型的距离。
可选地，采用训练数据对神经网络模型进行训练，构建自训练框架，包括：预训练阶段和微调阶段两个阶段，不同阶段对应不同的目标域伪标签，其中，在预训练阶段，使用源域数据集生成的伪标签的目标损失函数；在微调阶段，使用教师网路生成的伪标签的目标损失函数。
根据本申请实施例的另一方面，还提供了一种医学图像的分割方法，包括：获取待分割的医学图像；采用领域自适应的医学图像分割模型对所述医学图像进行分割处理，其中，所述医学图像分割模型采用以上任一实施例中的医学图像分割模型的生成方法训练得到。
根据本申请实施例的再一方面，还提供了一种电子设备，包括：处理器，以及存储程序的存储器，程序包括指令，指令在由处理器执行时使处理器执行以上任一实施例中的医学图像分割模型的生成方法。
根据本申请实施例的再一方面，还提供了一种存储有计算机指令的非瞬时机器可读介质，计算机指令用于使计算机执行以上任一实施例中的医学图像分割模型的生成方法。
本发明实施例的有益效果：
本发明实施例提供的医学图像分割模型的生成方法，以半监督学习中基于一致性先验的一致性正则化技术为基础充分利用未标注数据，根据医学影像的成像特点，使用来自不同模态的未配对图像进行双向交叉跨模态增强，弥合模态间的分布差异从而提升自训练框架域不变表示的效率。以提升领域自适应医学图像分割的精度，加强医学图像分割模型的领域不变表示的学习能力和泛化性能，从而缓解充分利用特定模态中的已有标注数据缓解标注压力。
本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1是本发明实施例的一种医学图像分割模型的生成方法的流程图；
图2是本发明实施例的一种一种医学图像的分割方法的流程图；
图3是本发明实施例的一种医学图像分割模型的生成装置的结构框图；
图4是本实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本实施例的实施例。虽然附图中显示了本实施例的某些实施例，然而应当理解的是，本实施例可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本实施例。应当理解的是，本实施例的附图及实施例仅用于示例性作用，并非用于限制本实施例的保护范围。
相关技术中自适应医学图像分割模型的领域不变表示的学习能力和泛化性能较差，图像分割精度低。一致性正则化方案在自然图像分割的半监督学习和领域适应中展现出了从无监督数据中提取结构先验知识的强大能力。具体来说，该方案强制模型对同一图像的不同增强版本产生一致性的预测结果，这一过程基于一致性先验充分利用了大量的无监督数据。尽管医学图像显著区别于自然图像，但是医学成像场景中的图像数据具有颜色抖动范围相对有限和解剖结构位置相对固定的特点，这使得一致性先验更加适用于领域自适应的医学图像分割任务。
本发明实施例所提供的上述医学图像分割模型的生成方法，由于以半监督学习中基于一致性先验的一致性正则化技术为基础充分利用未标注数据，根据医学影像的成像特点，使用来自不同模态的未配对图像进行双向交叉跨模态增强，弥合模态间的分布差异从而提升自训练框架域不变表示的效率，可以提升领域自适应医学图像分割的精度，加强医学图像分割模型的领域不变表示的学习能力和泛化性能。
图1是根据本发明实施例的一种医学图像分割模型的生成方法的流程图，如图1所示，该方法包括以下步骤：
步骤S102，确定训练数据，其中，训练数据为采用未配对的源域图像和目标域图像进行双向交叉模态增强后得到的数据，源域图像为标记模态的图像，目标域图像为未标记模态的图像。
作为本发明的一个可选的实施例，双向交叉模态增强利用未配对的源域图像和目标域图像相互增强作为医学图像分割模型的训练数据，在颜色和实例级别构建自训练框架中解剖结构跨域的一致性先验信息。
作为本发明的一个可选的实施例，源域图像为Ns张具有标注的源域图片目标域图像为Nt张无标注的目标域图片/>其中xs∈RW×H×3和ys∈{0,1}W×H×C分别表示从源域/>中采样的图片和对应的标签，xt∈RW×H×3表示从目标域/>中采样的图片。
步骤S104，采用训练数据对神经网络模型进行训练，构建自训练框架，其中，自训练框架在不使用对抗训练的前提下提取跨模态的域不变表示。
根据本发明的一个可选的实施例，神经网络模型为基于全卷积神经网络的图像分割网络F(·)，图像分割网络F(·)的输入图像数据的维度为RW×H×3，输出像素级别分类概率的维度为RW×H×C，其中，W，H，C分别表示输入图片的长度，宽度和类别。
步骤S106，将自训练框架确定为医学图像分割模型。
本发明实施例提供的医学图像分割模型的生成方法，以半监督学习中基于一致性先验的一致性正则化技术为基础充分利用未标注数据，根据医学影像的成像特点，使用来自不同模态的未配对图像进行双向交叉跨模态增强，弥合模态间的分布差异从而提升自训练框架域不变表示的效率。以提升领域自适应医学图像分割的精度，加强医学图像分割模型的领域不变表示的学习能力和泛化性能，从而缓解充分利用特定模态中的已有标注数据缓解标注压力。
在本申请的一些可选的实施例中，自训练框架包括两个结构相同的学生网络F(·)和教师网络Ft(·)，其中，教师网络Ft(·)在源域数据集上以完全监督的方式预训练，用于生成伪标签以监督目标域数据集中的图像，源域数据集由Ns张具有标注的源域图片Ds构成，目标域数据集由Nt张无标注的目标域图片Dt构成。
在本步骤中，伪标签生成流程G(·)如下：
其中，表示教师模型输出的概率图，i和c分别表示像素位置索引和类别通道索引。在训练过程中，教师模型的权重通过指数滑动平均在线更新：
其中，表示第k次更新的教师模型权重，θ表示适应过程中的学生模型权重，γ1表示模型权重更新速度，在本实施例中被设为0.999。
在本发明的另一些可选地实施例中，执行步骤S102确定训练数据，包括以下步骤：利用未配对的源域图像和目标域图像进行双向交叉模态增强处理，在颜色和实例级别构建自训练框架中解剖结构跨域的一致性先验信息，其中，一致性先验信息，为基于一致性先验的一致性正则化使图像分割网络F(.)对不同扰动下的同一图像的不同视图产生一致性的语义预测；将一致性先验信息确定为训练数据。
一致性先验信息，具体为为了充分利用未标注的图像数据，基于一致性先验的一致性正则化迫使分割网络F(·)对不同扰动下的同一图像的不同视图产生一致性的语义预测。标准数据增强技术被认为是应用于原始图像的扰动，可以分为强增强As和弱增强Aw两类。颜色抖动，高斯模糊和灰度化等数据增强被定义为强增强As，随机裁剪，随机水平翻转和仿射变换等数据增强被定义为弱增强Aw。那么如下的一致性先验构成了本发明的关键前提：
F(As(x))＝F(x)，F(Aw(x))＝Aw(F(x))
以上的先验假设图像分割网络F(·)的预测结果对于强增强As是不变的，而对于弱增强Aw是等变的。
根据本发明的一个可选的实施例，利用未配对的源域图像和目标域图像进行双向交叉模态增强处理，包括：源-目标增强As2t和目标-源增强At2s，
所述双向交叉模态增强，具体包括源-目标增强As2t和目标-源增强At2s两部分，利用未配对的源域图像xs和目标域图像xt进行互相增强。
源-目标增强As2t利用无标签的目标域图像在颜色级别将源域图像的风格迁移至目标风格，源-目标增强As2t通过以下方法实现：将源域图像和目标域图像从RGB迁移至LAB颜色空间，然后在源域图像到目标域图像方向上执行均值和方差调整：
其中，ls、lt和ls2t分别表示LAB颜色空间中的源域图像、目标域图像和颜色迁移后的源域图像。
在完成LAB颜色空间中的颜色迁移之后，本发明将迁移图片从LAB颜色空间转换回RGB颜色空间从而获得增强的源域图片xs2t。根据一致性先验，源-目标增强As2t属于标签不变性增强，因此增强后的图片xs2t对应的标签为ys2t＝ys。
目标-源增强At2s利用有标签的源域图像在解剖结构实例级别增强目标域图像，目标-源增强At2s通过以下方法实现：利用源域图像的像素级别标注生成实例遮罩Mt2s∈{0，1}W×H：
xt2s＝Mt2s⊙xs+(1-Mt2s)⊙xt
其中，xt2s表示增强后的目标域图像，⊙表示哈达玛积，Mt2s指示了源域图像中粘贴到目标域图像的区域，该区域是源域图像中随机解剖结构类别cs的实例区域，同时粘贴的实例与其在源域图像中的原始位置一致，Mt2s由源域图像的标签确定：
根据本申请的另一个可选的实施例，根据一致性先验，目标-源增强At2s属于标签等变性增强。由于目标域图像没有标签，因此增强后的目标域图片xt2s配对了两种类型的伪标签。
增强后的目标域图像包括两种类型的伪标签，其中，在无法获得目标域图像的伪标签时，增强后的目标域图像利用二进制遮罩Mt2s监督源域实例部分，损失函数如下所示：
其中，和/>分别表示结合二进制遮罩Mt2s的交叉熵损失和Dice损失；在获得跨模态的初步泛化能力后，增强后的目标域图像对应的伪标签为/>
即仅计算源实例区域的损失并反向传播，同时忽略未标记的目标图像区域。当模型在上述第一阶段获得跨模态的初步泛化能力后，本发明生成目标域图像的伪标签可以有效地在第二阶段中提取域不变表示，在该阶段中增强后的目标域图片xt2s对应的标签为
作为本发明的一些可选的实施例，利用跨域的类别特征中心计算类别特征原型表示，在跨模态增强的过程中使用类别特征原型细化目标域图像的伪标签以实现稳定的数据增强，本发明采用如下的类别特征统计作为初始原型：
其中，fs和ft分别表示预训练教师网络Ft(·)输出的源特征和目标特征，v(c)表示类别c的原型，ys[：，：，c]中的：表示选择该维度的所有数据，即该式表示选择第c维度尺寸与相同的切片数据，自训练模型的动量教师编码器对目标域数据生成的特征类别中心v′(c)被用于在线更新类别的特征原型表示：
v(c)＝v(c)*γ2+v′(c)*(1-γ2)
其中，γ2表示用于控制原型更新速率的超参数，在本实施例中被设为0.999。
可选地，利用跨域的类别特征中心计算类别特征原型表示，在跨模态增强的过程中使用类别特征原型细化目标域图像的伪标签以实现稳定的数据增强，包括：根据类别特征原型确定权重wt，并根据权重wt细化教师网络Ft(·)输出的概率，
所述跨域原型去噪，具体为根据类别特征原型确定的权重wt被用于细化动量教师编码器输出的概率：
其中，特征原型确定的权重wt的计算公式如下：
其中，其中表示动量教师编码器输出的目标图像的特征，wt在特征级别衡量伪标签中每个像素表示与每个类别原型的距离。因此，通过细化的概率/>可以生成更加准确的目标域伪标签/>
在本申请的一些可选的实施例中，采用训练数据对神经网络模型进行训练，构建自训练框架，包括：预训练阶段和微调阶段两个阶段，不同阶段对应不同的目标域伪标签，其中，在预训练阶段，使用源域数据集生成的伪标签的目标损失函数；在微调阶段，使用教师网路生成的伪标签的目标损失函数。
根据双向交叉模态增强构建两阶段自训练框架，在不使用对抗训练的前提下提取跨模态的域不变表示。所述两阶段自训练框架，具体为两阶段自训练框架包括预训练和微调阶段，对应着不同目标域伪标签。
在第一阶段的预训练过程中，仅使用源域标签目标函数如下所示：
在第二阶段的微调过程中，使用教师模型生成的伪标签的目标损失函数如下：
本申请实施例提供的上述医学图像分割模型的生成方法基于一致性先验充分利用无标注目标域数据，在不采用对抗训练的前提下提升模型对于域不变表示特征的学习。
图2是根据本发明实施例的一种医学图像的分割方法的流程图，如图2所示，该方法包括以下步骤：
步骤S202，获取待分割的医学图像。
步骤S204，采用领域自适应的医学图像分割模型对所述医学图像进行分割处理，其中，所述医学图像分割模型采用以上任一实施例中的医学图像分割模型的生成方法训练得到。
可以理解的是，步骤S204中的医学图像分割模型为图1所示实施例中的医学图像分割模型，关于对该模型的相关描述可以参见图1所示实施例的相关描述，此处不再赘述。
本发明实施例提供的医学图像分割方法可以有效提升医学图像分割模型的泛化性能，充分利用已有模态的标注数据缓解未标注模态中的标注压力，有利于深度学习模型在临床辅助诊断中的实际应用。
基于本发明实施例提供的上述医学图像分割模型的生成方法，本发明实施例还提供一种医学图像分割模型的生成装置，如图3所示，该医学图像分割模型的生成装置包括：
第一确定模块30，用于确定训练数据，其中，训练数据为采用未配对的源域图像和目标域图像进行双向交叉模态增强后得到的数据，源域图像为标记模态的图像，目标域图像为未标记模态的图像。
训练模块32，用于采用训练数据对神经网络模型进行训练，构建自训练框架，其中，自训练框架在不使用对抗训练的前提下提取跨模态的域不变表示。
第二确定模块34，用于将自训练框架确定为医学图像分割模型。
本发明实施例所提供的上述医学图像分割模型的生成装置，由于以半监督学习中基于一致性先验的一致性正则化技术为基础充分利用未标注数据，根据医学影像的成像特点，使用来自不同模态的未配对图像进行双向交叉跨模态增强，弥合模态间的分布差异从而提升自训练框架域不变表示的效率，可以提升领域自适应医学图像分割的精度，加强医学图像分割模型的领域不变表示的学习能力和泛化性能。
需要说明的是，图3所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。
本发明实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。上述存储器存储有能够被上述至少一个处理器执行的计算机程序，上述计算机程序在被上述至少一个处理器执行时用于使电子设备执行本发明实施例的方法。
本发明实施例还提供一种存储有计算机程序的非瞬时机器可读介质，其中，上述计算机程序在被计算机的处理器执行时用于使上述计算机执行本发明实施例的方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，其中，计算机程序在被计算机的处理器执行时用于使计算机执行本发明实施例的方法。
参考图4，现将描述可以作为本发明实施例的服务器或客户端的电子设备的结构框图，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储电子设备操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
电子设备中的多个部件连接至I/O接口405，包括：输入单元406、输出单元407、存储单元408以及通信单元409。输入单元406可以是能向电子设备输入信息的任何类型的设备，输入单元406可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元407可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元408可以包括但不限于磁盘、光盘。通信单元409允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于CPU、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理。例如，在一些实施例中，本发明的方法实施例可被实现为计算机程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到电子设备上。在一些实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述的方法。
用于实施本发明实施例的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得计算机程序当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明实施例的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读信号介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要说明的是，本发明实施例使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。本发明实施例中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本发明实施例所提供的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的保护范围在此方面不受限制。
“实施例”一词在本说明书中指的是结合实施例描述的具体特征、结构或特性可以包括在本发明的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见。尤其，对于装置、设备、***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像分割模型的生成方法，其特征在于，包括：
确定训练数据，其中，所述训练数据为采用未配对的源域图像和目标域图像进行双向交叉模态增强后得到的数据，所述源域图像为标记模态的图像，所述目标域图像为未标记模态的图像；
采用所述训练数据对神经网络模型进行训练，构建自训练框架，其中，所述自训练框架在不使用对抗训练的前提下提取跨模态的域不变表示；
将所述自训练框架确定为所述医学图像分割模型。
2.根据权利要求1所述的方法，其特征在于，
所述神经网络模型为基于全卷积神经网络的图像分割网络F(·)，所述图像分割网络F(.)的输入图像数据的维度为RW×H×3，输出像素级别分类概率的维度为RW×H×C，其中，W，H，C分别表示输入图片的长度，宽度和类别；
所述源域图像为Ns张具有标注的源域图片所述目标域图像为Nt张无标注的目标域图片/>其中xs∈RW×H×3和ys∈{0，1}W×H×C分别表示从源域/>中采样的图片和对应的标签，xt∈RW×H×3表示从目标域/>中采样的图片。
3.根据权利要求2所述的方法，其特征在于，
所述自训练框架包括两个结构相同的学生网络F(·)和教师网络Ft(·)，其中，所述教师网络Ft(·)在源域数据集上以完全监督的方式预训练，用于生成伪标签以监督目标域数据集中的图像，所述源域数据集由Ns张具有标注的源域图片Ds构成，所述目标域数据集由Nt张无标注的目标域图片Dt构成。
4.根据权利要求1所述的方法，其特征在于，确定所述训练数据，包括：
利用未配对的所述源域图像和所述目标域图像进行双向交叉模态增强处理，在颜色和实例级别构建所述自训练框架中解剖结构跨域的一致性先验信息，其中，所述一致性先验信息，为基于一致性先验的一致性正则化使所述图像分割网络F(.)对不同扰动下的同一图像的不同视图产生一致性的语义预测；
将所述一致性先验信息确定为所述训练数据。
5.根据权利要求4所述的方法，其特征在于，利用未配对的所述源域图像和所述目标域图像进行双向交叉模态增强处理，包括：源-目标增强As2t和目标-源增强At2s，其中，
所述源-目标增强As2t利用无标签的所述目标域图像在颜色级别将所述源域图像的风格迁移至目标风格，所述源-目标增强As2t通过以下方法实现：
将所述源域图像和所述目标域图像从RGB迁移至LAB颜色空间，然后在所述源域图像到所述目标域图像方向上执行均值和方差调整：
其中，ls、lt和ls2t分别表示LAB空间中的源域图像、目标域图像和颜色迁移后的源域图像；
所述目标-源增强At2s利用有标签的所述源域图像在解剖结构实例级别增强所述目标域图像，所述目标-源增强At2s通过以下方法实现：
利用所述源域图像的像素级别标注生成实例遮罩Mt2s∈{0，1}W×H：
xt2s＝Mt2s⊙xs+(1-Mt2s)⊙xt
其中，xt2s表示增强后的所述目标域图像，⊙表示哈达玛积，Mt2s指示了所述源域图像中粘贴到所述目标域图像的区域，该区域是所述源域图像中随机解剖结构类别cs的实例区域，同时粘贴的实例与其在所述源域图像中的原始位置一致，Mt2s由所述源域图像的标签确定：
6.根据权利要求5所述的方法，其特征在于，增强后的所述目标域图像包括两种类型的伪标签，其中，
在无法获得所述目标域图像的伪标签时，增强后的所述目标域图像利用二进制遮罩Mt2s监督源域实例部分，损失函数如下所示：
其中，和/>分别表示结合二进制遮罩Mt2s的交叉熵损失和Dice损失；
在获得跨模态的初步泛化能力后，增强后的所述目标域图像对应的伪标签为
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
利用跨域的类别特征中心计算类别特征原型表示，在跨模态增强的过程中使用所述类别特征原型细化所述目标域图像的伪标签以实现稳定的数据增强，其中，所述类别特征原型表示如下：
其中，fs和ft分别表示预训练教师网络Ft(·)输出的源特征和目标特征，v(c)表示类别c的原型，自训练模型的动量教师编码器对目标域数据生成的特征类别中心v′(c)被用于在线更新类别的特征原型表示，ys[：，：，c]中的：表示选择该维度的所有数据，即该式表示选择第c维度尺寸与相同的切片数据。
8.根据权利要求7所述的方法，其特征在于，利用跨域的类别特征中心计算类别特征原型表示，在跨模态增强的过程中使用所述类别特征原型细化所述目标域图像的伪标签以实现稳定的数据增强，包括：
根据所述类别特征原型确定权重wt，并根据所述权重wt细化所述教师网络Ft(·)输出的概率，其中，所述权重wt的计算公式如下：
其中，其中表示动量教师编码器输出的目标图像的特征，wt在特征级别衡量伪标签中每个像素表示与每个类别原型的距离。
9.根据权利要求1所述的方法，其特征在于，采用所述训练数据对神经网络模型进行训练，构建自训练框架，包括：预训练阶段和微调阶段两个阶段，不同阶段对应不同的目标域伪标签，其中，
在所述预训练阶段，使用所述源域数据集生成的伪标签的目标损失函数；
在所述微调阶段，使用所述教师网路生成的伪标签的目标损失函数。
10.一种医学图像的分割方法，其特征在于，包括：
获取待分割的医学图像；
采用领域自适应的医学图像分割模型对所述医学图像进行分割处理，其中，所述医学图像分割模型采用权利要求1至9中任一项所述的医学图像分割模型的生成方法训练得到。
CN202311492401.9A 2023-11-09 2023-11-09 一种医学图像分割模型的生成方法及医学图像的分割方法 Pending CN117689884A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311492401.9A CN117689884A (zh) 2023-11-09 2023-11-09 一种医学图像分割模型的生成方法及医学图像的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311492401.9A CN117689884A (zh) 2023-11-09 2023-11-09 一种医学图像分割模型的生成方法及医学图像的分割方法

Publications (1)

Publication Number Publication Date
CN117689884A true CN117689884A (zh) 2024-03-12

Family

ID=90132816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311492401.9A Pending CN117689884A (zh) 2023-11-09 2023-11-09 一种医学图像分割模型的生成方法及医学图像的分割方法

Country Status (1)

Country Link
CN (1) CN117689884A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015287A (zh) * 2024-04-09 2024-05-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于域纠正适应器的跨域小样本分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015287A (zh) * 2024-04-09 2024-05-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于域纠正适应器的跨域小样本分割方法

Similar Documents

Publication Publication Date Title
Liu et al. Pd-gan: Probabilistic diverse gan for image inpainting
US10936919B2 (en) Method and apparatus for detecting human face
US10354362B2 (en) Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和***
CN111814620B (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN111026914B (zh) 视频摘要模型的训练方法、视频摘要生成方法及装置
WO2022179401A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN106874826A (zh) 人脸关键点跟踪方法和装置
CN110427899B (zh) 基于人脸分割的视频预测方法及装置、介质、电子设备
WO2022052530A1 (zh) 人脸矫正模型的训练方法、装置、电子设备及存储介质
CN110334753B (zh) 视频分类方法、装置、电子设备及存储介质
CN112584062B (zh) 背景音频构建方法及装置
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
Natarajan et al. Dynamic GAN for high-quality sign language video generation from skeletal poses using generative adversarial networks
CN117689884A (zh) 一种医学图像分割模型的生成方法及医学图像的分割方法
Wang et al. PalGAN: Image colorization with palette generative adversarial networks
Hsiao et al. Background initialization and foreground segmentation for bootstrapping video sequences
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN116258861A (zh) 基于多标签学习的半监督语义分割方法以及分割装置
Han et al. Normalization of face illumination with photorealistic texture via deep image prior synthesis
Jiang et al. Single image detail enhancement via metropolis theorem
Sumalakshmi et al. Fused deep learning based Facial Expression Recognition of students in online learning mode
CN116030466B (zh) 图像文本信息识别与处理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination