CN113112454B - 一种基于任务动态学习部分标记的医学图像分割方法 - Google Patents
一种基于任务动态学习部分标记的医学图像分割方法 Download PDFInfo
- Publication number
- CN113112454B CN113112454B CN202110304416.2A CN202110304416A CN113112454B CN 113112454 B CN113112454 B CN 113112454B CN 202110304416 A CN202110304416 A CN 202110304416A CN 113112454 B CN113112454 B CN 113112454B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- task
- representing
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 17
- 210000000056 organ Anatomy 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 2
- 210000004185 liver Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于任务动态学习部分标记的医学图像分割方法,实现多器官和肿瘤的分割。该方法首先采用卷积神经网络搭建一个编码解码模块,以医学图像作为输入,提取图像的高级语义特征。接着通过一个任务编码模块,将不同任务对应的数据集进行编码,生成的one‑hot编码作为其任务先验。然后设计了一个控制器,以one‑hot编码和图像本身的特征为条件,为每一个图像生成特定任务的卷积核。最后,生成的卷积核在解码模块得到的特征图上进行卷积操作,得到对应任务的分割结果。本发明的分割模型可以在一个简单的分割网络下,高效地实现多个器官、多个肿瘤的同时分割并且能够巧妙地整合多个数据集的资源,能够实现更通用、泛化能力更强的多器官和肿瘤分割。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种医学图像分割方法。
背景技术
医学图像分割是计算机视觉和医学影像分析领域共同关注的难题,其主要挑战在于标注代价高昂而导致的标注数据量不足、标注单一的问题。当前公开的医学图像数据集往往只提供一种类别器官或肿瘤的标注,即部分标注,而没有一个公开的大型全标注多器官数据集。比如LiTS肝脏及肿瘤分割数据集中,只提供了肝脏及其肿瘤的分割标注,其他的器官和肿瘤被简单当做背景处理。当前的主流医学图像分割模型均采用“一对一”的设计范式,即一个模型只能解决某一个数据集上提供标注的器官或肿瘤分割任务,粗暴地将其他的器官或肿瘤当做背景处理。当前亟需一种分割方法,不仅能够整合多个数据集,而且能够有效地解决其部分标记问题。
发明内容
为了克服现有技术的不足,本发明提供了一种基于任务动态学习部分标记的医学图像分割方法,实现多器官和肿瘤的分割。该方法首先采用卷积神经网络搭建一个编码解码模块,以医学图像作为输入,提取图像的高级语义特征。接着通过一个任务编码模块,将不同任务对应的数据集进行编码,生成的one-hot编码作为其任务先验。然后设计了一个控制器,以one-hot编码和图像本身的特征为条件,为每一个图像生成特定任务的卷积核。最后,生成的卷积核在解码模块得到的特征图上进行卷积操作,得到对应任务的分割结果。本发明的分割模型可以在一个简单的分割网络下,高效地实现多个器官、多个肿瘤的同时分割并且能够巧妙地整合多个数据集的资源,能够实现更通用、泛化能力更强的多器官和肿瘤分割。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1:采用编码解码器提取图像的特征;
采用卷积神经网络构建编码-解码器;
给定图像Xij,i表示图像数据集的索引,j表示数据集i里图像的索引;将图像Xij输入编码器生成图像Xij的高级语义特征Fij=fE(Xij;θE),fE(.)表示编码器,θE表示编码器参数;再输入解码器通过上采样操作将图像Xij恢复到原始分辨率,得到预分割特征Mij=fD(Xij;θD),fD(.)表示解码器,θD表示解码器参数;
步骤2:对图像的部分标注信息进行任务编码;
将图像Xij的部分标注信息编码到一个m维度的one-hot向量Tij∈{0,1}m作为任务编码,1表示带有标注,0表示没有标注;
步骤3:以任务编码作为条件,设计控制器为每一幅图像生成相应任务的卷积核参数;
所述控制器为单层卷积层或多个卷积层堆叠而成;
对图像高级语义特征Fij进行全局平均池化操作,再和任务编码Tij进行级联操作后输入控制器,得到图像Xij的动态卷积核,具体表示如下:
其中,表示控制器,GAP(.)表示全局平均池化,/>表示控制器的参数;生成的卷积核ωij被划分为三组,ωij→{ωij1,ωij2,ωij3},ωij1,ωij2,ωij3分别对应三个卷积层;
步骤4:利用步骤3得到的动态卷积核对预分割特征Mij进行卷积操作,得到相应任务的分割图,具体表示如下:
Pij=((Mij*ωij1)*ωij2)*ωij3
其中,*表示卷积操作,Pij表示图像Xij在第i个任务上的分割结果;
步骤5:每一个器官和相应肿瘤的分割均被视为二值分割问题,使用部分标记数据集中提供的任务标注作为监督信号,采用Dice loss和二值交叉熵损失函数作为损失函数,在整个部分标记数据集上优化步骤1到步骤4构建的图像分割模型,对应的优化公式为:
其中,θ表示整个分割模型的参数,Yij图像Xij的部分标注,表示损失函数,f(.)表示模型的前向计算,ni表示第i个部分标记数据集中图像的个数;
得到最终的基于任务动态学习部分标记的医学图像分割模型。
本发明的有益效果如下:
由于采用了基于任务动态学习的策略,本发明的分割模型可以在一个简单的分割网络下,高效地实现多个器官、多个肿瘤的同时分割,而不再需要基于“一对一”模式下训练多个任务特定的分割网络。另外,本发明能够巧妙地整合多个数据集的资源,能够实现更通用、泛化能力更强的多器官和肿瘤分割。
附图说明
图1为本发明方法中的医学图像分割模型结构示意图.
具体实施方式
下面对本发明进一步说明。
一种基于任务动态学习部分标记的医学图像分割方法,包括以下步骤:
步骤1:采用编码解码器提取图像的特征;
采用卷积神经网络构建编码-解码器;
给定图像Xij,i表示图像数据集的索引,j表示数据集i里图像的索引;将图像Xij输入编码器生成图像Xij的高级语义特征Fij=fE(Xij;θE),fE(.)表示编码器,θE表示编码器参数;再输入解码器通过上采样操作将图像Xij恢复到原始分辨率,得到预分割特征Mij=fD(Xij;θD),fD(.)表示解码器,θD表示解码器参数;
步骤2:对图像的部分标注信息进行任务编码;
将图像Xij的部分标注信息编码到一个m维度的one-hot向量Tij∈{0,1}m作为任务编码,其中1表示带有标注,0表示没有标注;
步骤3:以任务编码作为条件,设计控制器为每一幅图像生成相应任务的卷积核参数;
所述控制器为单层卷积层或多个卷积层堆叠而成;
由于编码器顶部的图像特征分辨率不为1,通过对图像高级语义特征Fij进行全局平均池化操作进行降维表示,再和任务编码Tij进行级联操作后输入控制器,得到图像Xij的动态卷积核,具体表示如下:
其中,表示控制器,GAP(.)表示全局平均池化,/>表示控制器的参数;生成的卷积核ωij被划分为三组,ωij→{ωij1,ωij2,ωij3},ωij1,ωij2,ωij3分别对应三个卷积层;
步骤4:利用步骤3得到的动态卷积核对预分割特征Mij进行卷积操作,得到相应任务的分割图,具体表示如下:
Pij=((Mij*ωij1)*ωij2)*ωij3
其中,*表示卷积操作,Pij表示图像Xij在第i个任务上的分割结果;
步骤5:每一个器官和相应肿瘤的分割均被视为二值分割问题,使用部分标记数据集中提供的任务标注作为监督信号,采用Dice loss和二值交叉熵损失函数作为损失函数,在整个部分标记数据集上优化步骤1到步骤4构建的图像分割模型,对应的优化公式为:
其中,θ表示整个分割模型的参数,Yij图像Xij的部分标注,表示损失函数,f(.)表示模型的前向计算,ni表示第i个部分标记数据集中图像的个数;
得到最终的基于任务动态学习部分标记的医学图像分割模型。
Claims (1)
1.一种基于任务动态学习部分标记的医学图像分割方法,其特征在于,包括以下步骤:
步骤1:采用编码解码器提取图像的特征;
采用卷积神经网络构建编码-解码器;
给定图像Xij,i表示图像数据集的索引,j表示数据集i里图像的索引;将图像Xij输入编码器生成图像Xij的高级语义特征Fij=fE(Xij;θE),fE(.)表示编码器,θE表示编码器参数;再输入解码器通过上采样操作将图像Xij恢复到原始分辨率,得到预分割特征Mij=fD(Xij;θD),fD(.)表示解码器,θD表示解码器参数;
步骤2:对图像的部分标注信息进行任务编码;
将图像Xij的部分标注信息编码到一个m维度的one-hot向量Tij∈{0,1}m作为任务编码,1表示带有标注,0表示没有标注;
步骤3:以任务编码作为条件,设计控制器为每一幅图像生成相应任务的卷积核参数;
所述控制器为单层卷积层或多个卷积层堆叠而成;
对图像高级语义特征Fij进行全局平均池化操作,再和任务编码Tij进行级联操作后输入控制器,得到图像Xij的动态卷积核,具体表示如下:
其中,表示控制器,GAP(.)表示全局平均池化,/>表示控制器的参数;生成的卷积核ωij被划分为三组,ωij→{ωij1,ωij2,ωij3},ωij1,ωij2,ωij3分别对应三个卷积层;
步骤4:利用步骤3得到的动态卷积核对预分割特征Mij进行卷积操作,得到相应任务的分割图,具体表示如下:
Pij=((Mij*ωij1)*ωij2)*ωij3
其中,*表示卷积操作,Pij表示图像Xij在第i个任务上的分割结果;
步骤5:每一个器官和相应肿瘤的分割均被视为二值分割问题,使用部分标记数据集中提供的任务标注作为监督信号,采用Diceloss和二值交叉熵损失函数作为损失函数,在整个部分标记数据集上优化步骤1到步骤4构建的图像分割模型,对应的优化公式为:
其中,θ表示整个分割模型的参数,Yij图像Xij的部分标注,表示损失函数,f(.)表示模型的前向计算,ni表示第i个部分标记数据集中图像的个数;
得到最终的基于任务动态学习部分标记的医学图像分割模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110304416.2A CN113112454B (zh) | 2021-03-22 | 2021-03-22 | 一种基于任务动态学习部分标记的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110304416.2A CN113112454B (zh) | 2021-03-22 | 2021-03-22 | 一种基于任务动态学习部分标记的医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113112454A CN113112454A (zh) | 2021-07-13 |
CN113112454B true CN113112454B (zh) | 2024-03-19 |
Family
ID=76711470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110304416.2A Active CN113112454B (zh) | 2021-03-22 | 2021-03-22 | 一种基于任务动态学习部分标记的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113112454B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717907A (zh) * | 2019-10-06 | 2020-01-21 | 浙江大学 | 一种基于深度学习的手部肿瘤智能检测方法 |
CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
WO2020142077A1 (en) * | 2018-12-31 | 2020-07-09 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
CN111402257A (zh) * | 2020-03-11 | 2020-07-10 | 华侨大学 | 一种基于多任务协同跨域迁移的医学图像自动分割方法 |
WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学(深圳) | 图像语义分割方法和*** |
CN112216371A (zh) * | 2020-11-20 | 2021-01-12 | 中国科学院大学 | 多路多尺度并联编解码网络图像分割方法、***及介质 |
CN112241966A (zh) * | 2020-09-21 | 2021-01-19 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及*** |
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
-
2021
- 2021-03-22 CN CN202110304416.2A patent/CN113112454B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020142077A1 (en) * | 2018-12-31 | 2020-07-09 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学(深圳) | 图像语义分割方法和*** |
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、***及电子设备 |
CN110717907A (zh) * | 2019-10-06 | 2020-01-21 | 浙江大学 | 一种基于深度学习的手部肿瘤智能检测方法 |
CN111047594A (zh) * | 2019-11-06 | 2020-04-21 | 安徽医科大学 | 肿瘤mri弱监督学习分析建模方法及其模型 |
CN111402257A (zh) * | 2020-03-11 | 2020-07-10 | 华侨大学 | 一种基于多任务协同跨域迁移的医学图像自动分割方法 |
CN112241966A (zh) * | 2020-09-21 | 2021-01-19 | 西北大学 | 多任务多分类的胸部器官分割模型建立、分割方法及*** |
CN112216371A (zh) * | 2020-11-20 | 2021-01-12 | 中国科学院大学 | 多路多尺度并联编解码网络图像分割方法、***及介质 |
Non-Patent Citations (1)
Title |
---|
一种改进FCN的肝脏肿瘤CT图像分割方法;段杰;崔志明;沈艺;冯威;吴宏杰;冯雨晴;;图学学报(01);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113112454A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113705588B (zh) | 基于卷积自注意力模块的孪生网络目标跟踪方法与*** | |
Gupta et al. | Salient object detection techniques in computer vision—A survey | |
Zhou et al. | Contextual ensemble network for semantic segmentation | |
CN110837836B (zh) | 基于最大化置信度的半监督语义分割方法 | |
WO2022001623A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
Luo et al. | Deep learning-based building extraction from remote sensing images: A comprehensive review | |
CN109903292A (zh) | 一种基于全卷积神经网络的三维图像分割方法及*** | |
Zhang et al. | Efficient inductive vision transformer for oriented object detection in remote sensing imagery | |
Zhou et al. | Octr: Octree-based transformer for 3d object detection | |
CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
Ma et al. | Local feature search network for building and water segmentation of remote sensing image | |
CN116912257B (zh) | 基于深度学习的混凝土路面裂缝识别方法及存储介质 | |
CN114612902A (zh) | 图像语义分割方法、装置、设备、存储介质及程序产品 | |
CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
Zhou et al. | Frequency-aware feature aggregation network with dual-task consistency for RGB-T salient object detection | |
CN112733861B (zh) | 基于u型残差网络的文本擦除和抠字方法 | |
Guan et al. | Self-supervised character-to-character distillation for text recognition | |
CN117237623B (zh) | 一种无人机遥感图像语义分割方法及*** | |
CN113112454B (zh) | 一种基于任务动态学习部分标记的医学图像分割方法 | |
CN116740078A (zh) | 图像分割处理方法、装置、设备以及介质 | |
CN111260659A (zh) | 一种基于初始标注点指导的图像交互分割方法 | |
CN116259062A (zh) | 基于多通道及注意力机制的cnn笔迹鉴别方法 | |
Hashim et al. | An Optimized Image Annotation Method Utilizing Integrating Neural Networks Model and Slantlet Transformation | |
CN117036368A (zh) | 图像数据处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |