CN111179254A - 一种基于特征函数和对抗学习的域适应医学图像分割方法 - Google Patents
一种基于特征函数和对抗学习的域适应医学图像分割方法 Download PDFInfo
- Publication number
- CN111179254A CN111179254A CN201911402027.2A CN201911402027A CN111179254A CN 111179254 A CN111179254 A CN 111179254A CN 201911402027 A CN201911402027 A CN 201911402027A CN 111179254 A CN111179254 A CN 111179254A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- image segmentation
- data
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于特征函数和对抗学习的域适应医学图像分割方法,该方法包括如下步骤:S1,获取目标数据和源数据;S2,构建用于提取中间特征的特征提取网络;S3,计算目标数据和源数据中间特征之间的差异;S4,构建用于区别中间特征域来源的特征判别器;S5,针对源数据构建图像分割网络,图像分割网络输入源数据的中间特征,输出分割标签;S6,针对目标数据构建图像重建网络,该网络输入目标数据的中间特征,输出重建的目标数据;S7,循环迭代训练,获取所有网络的最优参数;S8,应用时,将目标图像依次输入至特征提取网络和图像分割网络,输出分割结果。与现有技术相比,本发明该方法泛化能力强,分割结果准确可靠。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于特征函数和对抗学习的域适应医学图像分割方法。
背景技术
在医学影像领域,医学图像的精确对于许多临床应用有着十分重要的辅助作用,在临床上,多模态医学影像已被广泛使用。然而,手动分割所有模态的医学图像十分耗时耗力,而且不同医师的分割结果之间也存在着差异。为了减轻工作量,建立统一分割标准,计算机自动化分割就显得尤为重要。
目前,域适应无监督分割方法中,均采用对抗神经网络迫使不同域隐变量模态无关。该策略通过引入一个判别器网络,交替更新生成器和判别器网络,最终使得该判别器无法识别不同模态隐变量的类别。然而这种方法一般在优化过程中很难找到纳什均衡点,且训练过程复杂。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于特征函数和对抗学习的域适应医学图像分割方法。
本发明的目的可以通过以下技术方案来实现:
一种基于特征函数和对抗学习的域适应医学图像分割方法,该方法包括如下步骤:
S1:获取与目标数据结构相同的不同模态的具有标签的影像学数据作为源数据;
S2:构建特征提取网络,用于提取源数据的中间特征ZS和目标数据的中间特征ZT;
S3:计算中间特征ZS和ZT之间的差异;
S4:构建用于区别中间特征ZS和ZT的域来源的特征判别器,所述的特征判别器输入为特征提取网络输出的中间特征,输出为数据的域来源;
S5:针对源数据构建图像分割网络,所述的图像分割网络输入中间特征ZS,输出分割标签;
S6:针对目标数据构建图像重建网络,所述的图像重建网络输入中间特征ZT,输出重建的目标数据;
S7:循环迭代训练,获取特征判别器、特征提取网络、图像分割网络和图像重建网络的最优参数;
S8:应用时,将目标图像输入至特征提取网络提取目标中间特征,然后将目标中间特征输入至图像分割网络,输出分割结果。
步骤S3采用蒙特卡罗采样计算中间特征ZS和ZT之间的差异。
中间特征ZS和ZT之间的差异通过中间特征的分布距离来度量,中间特征距离通过下式获取:
其中,d(ZS,ZT)为中间特征距离,Ns为源数据的蒙特卡罗采样数目,NT为目标数据的蒙特卡罗采样数目,为源数据的第i个采样数对应的中间特征,为源数据的第j个采样数对应的中间特征,为目标数据的第i个采样数对应的中间特征,为目标数据的第j个采样数对应的中间特征,表示和的核函数求值,表示和的核函数求值,表示和的核函数求值。
则:
则:
则:
在一个循环迭代训练过程中首先进行特征判别器的有监督训练,然后固定特征判别器,将采样的源数据和目标数据作为对应的特征提取网络的输入,以中间特征差异最小为目标获取特征提取网络、图像分割网络和图像重建网络的优化参数,直至循环迭代结束获取最优训练结果。
所述的特征判别器、特征提取网络、图像分割网络和图像重建网络均为卷积神经网络。
与现有技术相比,本发明具有如下优点:
(1)本发明构建特征提取网络,将有标签源数据和无标签目标数据映射到同一个中间特征空间,核心在于训练网络使得该特征与数据的模态无关,进而使得基于源数据所获得的特征以及分割标签所训练得到的图像分割网络能适应于目标图像,完成目标图像的有效分割;
(2)本发明设置重建网络,在训练过程中,重建网络用于约束特征提取网络,可以约束提取的特征包含更多的结构信息,有利于得到更好的分割结果;
(3)本发明设置特征判别器,特征判别器用于使得特征提取网络提取到的特征与模态无关的,也就是最小化两类数据之间的分布差异,从而使得训练得到的网络能更好的进行图像分割,提高分割准确性;
(4)本发明提出一种有效的显式度量分布差异的方法,并用于域适应分割问题,该方法训练简单快速,泛化能力强,同时具有全自动、计算时间短、实现方便等优势。
附图说明
图1为本发明基于特征函数和对抗学习的域适应医学图像分割方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
如图1所示,一种基于特征函数和对抗学习的域适应医学图像分割方法,该方法包括如下步骤:
S1:获取与目标数据结构相同的不同模态的具有标签的影像学数据作为源数据;
S2:构建特征提取网络,用于提取源数据的中间特征ZS和目标数据的中间特征ZT;
S3:计算中间特征ZS和ZT之间的差异;
S4:构建用于区别中间特征ZS和ZT的域来源的特征判别器,所述的特征判别器输入为特征提取网络输出的中间特征,输出为数据的域来源;
S5:针对源数据构建图像分割网络,所述的图像分割网络输入中间特征ZS,输出分割标签;
S6:针对目标数据构建图像重建网络,所述的图像重建网络输入中间特征ZT,输出重建的目标数据;
S7:循环迭代训练,获取特征判别器、特征提取网络、图像分割网络和图像重建网络的最优参数,所述的特征判别器、特征提取网络、图像分割网络和图像重建网络均为卷积神经网络,在一个循环迭代训练过程中首先进行特征判别器的有监督训练,然后固定特征判别器的网络结构和网络参数,将采样的源数据和目标数据作为对应的特征提取网络的输入,以中间特征差异最小为目标获取特征提取网络、图像分割网络和图像重建网络的优化参数,直至循环迭代结束获取最优训练结果;
S8:应用时,将目标图像输入至特征提取网络提取目标中间特征,然后将目标中间特征输入至图像分割网络,输出分割结果。
步骤S3采用蒙特卡罗采样计算中间特征ZS和ZT之间的差异。
中间特征ZS和ZT之间的差异通过中间特征的分布距离来度量,中间特征距离通过下式获取:
其中,d(ZS,ZT)为中间特征距离,Ns为源数据的蒙特卡罗采样数目,NT为目标数据的蒙特卡罗采样数目,为源数据的第i个采样数对应的中间特征,为源数据的第j个采样数对应的中间特征,为目标数据的第i个采样数对应的中间特征,为目标数据的第j个采样数对应的中间特征,表示和的核函数求值,表示和的核函数求值,表示和的核函数求值。
则:
则:
则:
本发明有如下几个重要特点:
(1)构建特征提取网络,将有标签源数据和无标签目标数据映射到同一个中间特征空间,核心在于训练网络使得该特征与数据的模态无关,进而使得基于源数据所获得的特征以及分割标签所训练得到的图像分割网络能适应于目标图像,完成目标图像的有效分割。
(2)设置重建网络,在训练过程中,重建网络用于约束特征提取网络,可以约束提取的特征包含更多的结构信息,有利于得到更好的分割结果。
(3)设置特征判别器,特征判别器用于使得特征提取网络提取到的特征与模态无关的,也就是最小化两类数据之间的分布差异,从而使得训练得到的网络能更好的进行图像分割,提高分割准确性。
总而言之,本发明提出一种有效的显式度量分布差异的方法,并用于域适应分割问题,该方法训练简单快速,泛化能力强,同时具有全自动、计算时间短、实现方便等优势。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (8)
1.一种基于特征函数和对抗学习的域适应医学图像分割方法,其特征在于,该方法包括如下步骤:
S1:获取与目标数据结构相同的不同模态的具有标签的影像学数据作为源数据;
S2:构建特征提取网络,用于提取源数据的中间特征ZS和目标数据的中间特征ZT;
S3:计算中间特征ZS和ZT之间的差异;
S4:构建用于区别中间特征ZS和ZT的域来源的特征判别器,所述的特征判别器输入为特征提取网络输出的中间特征,输出为数据的域来源;
S5:针对源数据构建图像分割网络,所述的图像分割网络输入中间特征ZS,输出分割标签;
S6:针对目标数据构建图像重建网络,所述的图像重建网络输入中间特征ZT,输出重建的目标数据;
S7:循环迭代训练,获取特征判别器、特征提取网络、图像分割网络和图像重建网络的最优参数;
S8:应用时,将目标图像输入至特征提取网络提取目标中间特征,然后将目标中间特征输入至图像分割网络,输出分割结果。
2.根据权利要求1所述的一种基于特征函数和对抗学习的域适应医学图像分割方法,其特征在于,步骤S3采用蒙特卡罗采样计算中间特征ZS和ZT之间的差异。
7.根据权利要求1所述的一种基于特征函数和对抗学习的域适应医学图像分割方法,其特征在于,在一个循环迭代训练过程中首先进行特征判别器的有监督训练,然后固定特征判别器,将采样的源数据和目标数据作为对应的特征提取网络的输入,以中间特征差异最小为目标获取特征提取网络、图像分割网络和图像重建网络的优化参数,直至循环迭代结束获取最优训练结果。
8.根据权利要求1所述的一种基于特征函数和对抗学习的域适应医学图像分割方法,其特征在于,所述的特征判别器、特征提取网络、图像分割网络和图像重建网络均为卷积神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911402027.2A CN111179254B (zh) | 2019-12-31 | 2019-12-31 | 一种基于特征函数和对抗学习的域适应医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911402027.2A CN111179254B (zh) | 2019-12-31 | 2019-12-31 | 一种基于特征函数和对抗学习的域适应医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111179254A true CN111179254A (zh) | 2020-05-19 |
CN111179254B CN111179254B (zh) | 2023-05-30 |
Family
ID=70646507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911402027.2A Active CN111179254B (zh) | 2019-12-31 | 2019-12-31 | 一种基于特征函数和对抗学习的域适应医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111179254B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822836A (zh) * | 2020-06-05 | 2021-12-21 | 英业达科技有限公司 | 标记图像的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024968A1 (en) * | 2016-07-22 | 2018-01-25 | Xerox Corporation | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
CN110135579A (zh) * | 2019-04-08 | 2019-08-16 | 上海交通大学 | 基于对抗学习的无监督领域适应方法、***及介质 |
-
2019
- 2019-12-31 CN CN201911402027.2A patent/CN111179254B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024968A1 (en) * | 2016-07-22 | 2018-01-25 | Xerox Corporation | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization |
WO2019148898A1 (zh) * | 2018-02-01 | 2019-08-08 | 北京大学深圳研究生院 | 基于受限文本空间的对抗性跨媒体检索方法 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
CN110135579A (zh) * | 2019-04-08 | 2019-08-16 | 上海交通大学 | 基于对抗学习的无监督领域适应方法、***及介质 |
Non-Patent Citations (1)
Title |
---|
王坤峰;苟超;段艳杰;林懿伦;郑心湖;王飞跃;: "生成式对抗网络GAN的研究进展与展望", 自动化学报 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822836A (zh) * | 2020-06-05 | 2021-12-21 | 英业达科技有限公司 | 标记图像的方法 |
CN113822836B (zh) * | 2020-06-05 | 2024-06-18 | 英业达科技有限公司 | 标记图像的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111179254B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109345575B (zh) | 一种基于深度学习的图像配准方法及装置 | |
CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其*** | |
CN115410050B (zh) | 基于机器视觉的肿瘤细胞检测设备及其方法 | |
KR102246319B1 (ko) | 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 | |
Guo et al. | Accelerating diffusion models via pre-segmentation diffusion sampling for medical image segmentation | |
Chen et al. | Berdiff: Conditional bernoulli diffusion model for medical image segmentation | |
Liu et al. | Moddrop++: A dynamic filter network with intra-subject co-training for multiple sclerosis lesion segmentation with missing modalities | |
Zhang et al. | Multi-task dictionary learning based convolutional neural network for computer aided diagnosis with longitudinal images | |
Wang et al. | Medical matting: a new perspective on medical segmentation with uncertainty | |
Zhang et al. | Deep multiphase level set for scene parsing | |
Shahroudnejad et al. | TUN-Det: a novel network for thyroid ultrasound nodule detection | |
Lukyanenko et al. | Developmental stage classification of embryos using two-stream neural network with linear-chain conditional random field | |
CN109961435B (zh) | 脑图像获取方法、装置、设备及存储介质 | |
Liu et al. | Advmil: Adversarial multiple instance learning for the survival analysis on whole-slide images | |
Meng et al. | Representation disentanglement for multi-task learning with application to fetal ultrasound | |
CN117036894B (zh) | 基于深度学习的多模态数据分类方法、装置及计算机设备 | |
CN111179254A (zh) | 一种基于特征函数和对抗学习的域适应医学图像分割方法 | |
CN117765530A (zh) | 一种多模态脑网络分类方法、***、电子设备及介质 | |
Galdran et al. | Test time transform prediction for open set histopathological image recognition | |
Wang et al. | Bayesian atlas building with hierarchical priors for subject-specific regularization | |
CN112801940A (zh) | 模型评测方法、装置、设备及介质 | |
CN111582449A (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
Wang et al. | Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck | |
CN106709921B (zh) | 一种基于空间Dirichlet混合模型的彩色图像分割方法 | |
Kamraoui et al. | Popcorn: Progressive pseudo-labeling with consistency regularization and neighboring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |