CN111275712B - 一种面向大尺度图像数据的残差语义网络训练方法 - Google Patents
一种面向大尺度图像数据的残差语义网络训练方法 Download PDFInfo
- Publication number
- CN111275712B CN111275712B CN202010040595.9A CN202010040595A CN111275712B CN 111275712 B CN111275712 B CN 111275712B CN 202010040595 A CN202010040595 A CN 202010040595A CN 111275712 B CN111275712 B CN 111275712B
- Authority
- CN
- China
- Prior art keywords
- model
- global
- training
- scale
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000002372 labelling Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 3
- 229910052739 hydrogen Inorganic materials 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
一种面向大尺度图像数据的残差语义网络训练方法,包括以下步骤:步骤1、基于全局训练策略的语义分割模型,过程为:步骤1.1下采样数据和标注;步骤1.2Unet模型训练;步骤1.3基于全局的语义分割模型;步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型,过程为:步骤2.1从原始尺寸的图像中裁切训练数据块;步骤2.2从训练好的全局模型中裁切全局特征块;步骤2.3基于局部语义分割模型的测试/运用。本发明在保证较高准确率的同时,极大地提高工作效率。
Description
技术领域
本发明属于医学图像处理领域,涉及一种面向大尺度图像数据的残差语义网络训练方法。
背景技术
目前在人工智能技术领域中,对于大尺度(大分辨率)的医学图像的语义分割,分为以下几类:
1)逐块分割patch-wise:该类方法只用一个图像的块特征来预测一个像素或体素的类别。具体描述为:先把大尺度的医学图像在每个像素/体素的位置裁切固定的大小的块,这样一张图对应的有效块样本数量就会大量增加,用这些带有目标的图像块作为训练集,来训练一个具有多层神经网络的编码器,通过最深层的特征映射该像素/体素所代表的块为目标的概率,因此每一像素都能对应一个目标概率,最后构造成原图尺寸大小的概率图,通过阈值判定进行目标分割。
2)基于局部训练策略的语义分割(patch-level):该方法仍然是基于裁剪局部的块作为训练集,采用了语义分割的技术,以端到端的方式,直接返回网络输入大小的概率图或分类图。具体描述为,构建一组对称的编码器和解码器的网络,首先图像通过多层神经卷积获得深度特征,再通过多层网络的转置卷积,将深度特征恢复成原图大小的概率图,此外在他们中间(编码器每个尺寸的最后的输出对应解码器相应尺寸的第一个输入)加上跳跃连接以保证解码特征的平滑性能。但是基于局部块的语义分割仍然是对应局部尺寸,因此通常采用重叠的滑动窗口判别方式,重叠地采样并获得相应的概率,在对每个像素/体素取平均来获得最终的概率图。
3)基于全局训练策略的语义分割(global-level):该方法和第二种方法的模型结构类似,只是在处理训练集时,对整体图像先进行重采样操作(一般是下采样2倍),使得整体的训练参数和计算量降低。但是为了重新恢复原图尺寸的概率图,在模型输出之后会进行上采样操作(无需训练参数的双线性/三线性插值方法)。
为了更清楚地观测病人的病灶状况,利用卓越的成像技术生成分辨率较高的三维图像,这将极大地提升的整个深度学习的代价,特别是基于三维空间下的语义分割网络训练,模型的参数和训练过程中的计算量相较于该技术运用纯熟的二维空间以指数形式增长,常规的硬件设备不能或者难以对原始大尺度数据进行训练,为了训练的进行各种训练策略由此产生,如上述现有技术介绍的,他们具有各自的特点和适用范围:
1)逐块分割patch-wise:
该方法是对原始大尺度图像进行切块的操作,通过块区域判定该块中心点对应的图像体素的类别,因此建立的神经网络模型比较简单,适用于分割整个图像尺度非常庞大而目标相对较小的目标,例如在病理图像的癌细胞组织分割,脑部MRI的病变组织和肿瘤分割,这类方法由于图像非常庞大,特别是进行三维分割操作时,构成的块数据集更加复杂,模型的拟合程度变得很差,使得整个图的分割效率更加低下。
2)基于局部训练策略的语义分割(patch-level):
该方法是对原始大尺度图像进行切片和切块的操作,但是属于块对块的映射,判定块整个区域每个体素的类别。因此该方法适用在较大分辨率图像中分割较小的器官、病变组织等,对于第一类的方法,在分割效率上有明显提高。但该方法仍然是局部对象的观测及判定,对于目标整体没有一个较好的描述,在目标稍大的情况下容易造成欠分割,在有存在多种易混淆目标的情况下则容易造成过渡分割。
3)基于全局训练策略的语义分割(global-level)
该方法主要是对原始大尺度图像进行降采样操作,以降低图像尺寸,判断的结果也是降采样后的大小,需要后续在恢复成原始尺寸。因此该方法适用于尺寸较大,分割目标不算小的图像,由于直接获得原始大小的概率图,分割效率进一步提升,但是由于存在缩放操作,是的在最终的分割结果比较粗糙,对分割目标的小结构容易造成欠分割。
综上,不同的模型训练策略按照其各自的特点可适用于于不同尺度大小的分割对象,但是各自都有所欠缺,因此我们制定一种融合各种策略的优势的方法来进行精细化分割模型的生成。
发明内容
为了克服已有医学图像分割方法中,对不同分割对象适用性较差的不足,本发明提供了一种面向大尺度图像数据的残差语义网络训练方法,在保证较高准确率高鲁棒性的同时,极大地提高工作效率。
本发明解决其技术问题所采用的技术方案是:
一种面向大尺度图像数据的残差语义网络训练方法,包括以下步骤:
步骤1、基于全局训练策略的语义分割模型(全局模型训练):通过模型构成可以训练基于全局的语义分割模型,过程为:
步骤1.1下采样数据和标注:考虑到设备硬件(图形卡)的存储和运算能力,将原始数据I进行2倍下采样处理以缩小原始数据的尺度,下采样D方式为三维线性插值;同样对于手工标注我们也用该方法缩小尺度,为了减少降采样导致边缘标注类别的误差,我们分别对每个类的标注数据进行下采样,然后再叠加在一起,对插值重叠处类别的选择优先级为:内腔,外壁,背景;
步骤1.2Unet模型训练:该模型最后得到的是一个小尺度上的概率图,再用三维上采样的方式将其恢复到原始尺度大小,考虑到该语义分割网络对应的结果是多分类,以及目标类别不平衡性,采用多类别dice loss函数Lmcd:
此外,由于全局模型输出包含2个尺度的估计,对以上loss函数再增加了多尺度监督的内容:
Ls mcd为小尺度(下采样后)上的残差,Lo mcd为原始尺度上的残差计算;
步骤1.3基于全局的语义分割模型:训练完模型之后,由于全局模型fg的输出,进行上采样操作U后可以得到原始大小的整个目标分割Sg,根据每个体素位置的概率直接对其进行分类判断:
步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型(融合全局模型特征的局部模型训练),过程为:
步骤2.1从原始尺寸的图像中裁切训练数据块:裁切将在手工标注的有效区域中,对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入,而对应位置在手工标注中裁切的图像块为学习的目标Pc(N,C,D,H,W),此外还记录在采集块的中心位置POS0(x,y,z)(相对于原始的图像尺寸),为加速网络训练我们采取批训练的方式,将多个数据块构成一个小批次(每批N组)进行网络的训练。
步骤2.2从训练好的全局模型中裁切全局特征块:首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集(全局Unet模型特征图),为了融合之前全局模型训练的特征,对裁切位置进行位置尺度映射:
其中i表示的对应的尺度等级,i=0时表示在原始尺寸上。显然我们训练好的基于全局的模型(全局模型G对应特征等级:fg1、fg2、fg3、fg4、fg5)和要准备进行融合训练的基于局部的语义分割模型(局部模型P对应特征等级:fp1、fp2、fp3、fp4、fp5),在相同的特征级上,图像的尺度等级不同,因此做特征融合处理时要对其它们的尺度等级,即:
然后对于对应好的特征等级进行特征叠加;
步骤2.3基于局部语义分割模型的测试/运用:
训练完成融合全局特征的局部语义分割模型之后,运用这个模型进行整体目标分割Sp时,需要采用融合局部估计的方法,以固定的步长,重叠地用三维滑动窗口方式在原始数据中裁切块Ipi进行模型进行局部估计fp,然后平均每个位置的估计概率(除以每个位置被估计的次数Cnt),最后取对应位置的最大概率作为该位置的分类:
进一步,所述2.2中,对于对应好的特征等级按照以下流程进行特征叠加:
步骤2.2.1叠加解码器端的全局特征:将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法,裁切相应的尺度的特征图块,叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中,增加待卷积的特征图数量(2倍);
步骤2.2.2叠加编码器端的全局特征:将将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法,裁切相应的尺度的特征图块,叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中,并且加上来自自身解码器端的特征图叠加,使得待卷积的特征图数量增加(4倍);
相应灰色区域对应同类模型的某一特征等级的一组解码编码器,每个泳道矩形框省略来自前一级的输入和后一级的输出,其中左边的是已经完成训练的全局模型,右边则是我们步骤需要进行的融合特征的局部模型训练。
对于模型优化的loss函数:当输入通过模型进行映射后得到估计的结果Pc’,使用多类别dice残差函数:
N为目标类别数,即每个体素有N类,C为对应的某一类,当该类相应的体素位置被标注时,Pc为对应该位置的值为1,否则为0。而Pc’代表模型对该位置给予该类的一个估计概率。
本发明的技术构思为:利用计算机图像处理技术对医学图像进行处理,能够更加直观地反映病人的具体生理情况,帮助医生分析与诊断病情,术前方案规划及术后评估。随着医学成像技术和图形硬件的发展,以及庞大的医学图像数据集的推广,目前对于医学图像的分析更多采用更有效更便捷的深度学习方法。
深度网络模型对于大数据集有更好的拟合效果,基于深度学习的语义分割技术,有更好的分割效果。此外由于该类方法具有端到端,图像到结果的特点,相较于传统方法而言,不需要手工设定复杂的数学模型参数,使用者(通常是医学工作者)不需要具备相应的计算机图像处理知识即可直接使用预训练好的神经网络模型,直接生成分割结果。在对大尺度的三维数据进行模型训练时,考虑不同训练策略造成模型性能的优缺点,提出一种新的模型训练方法来融合以上模型的的特点,提高整体的正确性。
本发明的有益效果主要表现在:在保证较高准确率的同时,极大地提高工作效率。
附图说明
图1是训练策略图。
图2是Unet模型结构定义图。
图3是模型中的特征叠加细节图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图3,一种面向大尺度图像数据的残差语义网络训练方法,包括以下步骤:
步骤1、基于全局训练策略的语义分割模型(全局模型训练):通过以上模型构成可以训练基于全局的语义分割模型,过程为:
步骤1.1下采样数据和标注:考虑到设备硬件(图形卡)的存储和运算能力,将原始数据I进行2倍下采样处理以缩小原始数据的尺度,下采样D方式为三维线性插值;同样对于手工标注我们也用该方法缩小尺度,为了减少降采样导致边缘标注类别的误差,我们分别对每个类的标注数据进行下采样,然后再叠加在一起,对插值重叠处类别的选择优先级为:内腔,外壁,背景;
步骤1.2Unet模型训练:该模型最后得到的是一个小尺度上的概率图,再用三维上采样的方式将其恢复到原始尺度大小,考虑到该语义分割网络对应的结果是多分类以及目标类别不平衡性,我们采用多类别dice loss函数Lmcd:
此外,由于全局模型输出包含2个尺度的估计,我们对以上loss函数再增加了多尺度监督的内容:
Ls mcd为小尺度(下采样后)上的残差,Lo mcd为原始尺度上的残差计算;
步骤1.3基于全局的语义分割模型:训练完模型之后,由于全局模型fg的输出,进行上采样操作U后可以得到原始大小的整个目标分割Sg,根据每个体素位置的概率直接对其进行分类判断:
步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型(融合全局模型特征的局部模型训练),过程为:
步骤2.1从原始尺寸的图像中裁切训练数据块:裁切将在手工标注的有效区域中,对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入,而对应位置在手工标注中裁切的图像块为学习的目标Pc(N,C,D,H,W),此外还记录在采集块的中心位置POS0(x,y,z)(相对于原始的图像尺寸),为加速网络训练我们采取批训练的方式,将多个数据块构成一个小批次(每批N组)进行网络的训练。
步骤2.2从训练好的全局模型中裁切全局特征块:首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集(全局Unet模型特征图),为了融合之前全局模型训练的特征,对裁切位置进行位置尺度映射:
其中i表示的对应的尺度等级,i=0时表示在原始尺寸上。显然我们训练好的基于全局的模型(全局模型G对应特征等级:fg1、fg2、fg3、fg4、fg5)和要准备进行融合训练的基于局部的语义分割模型(局部模型P对应特征等级:fp1、fp2、fp3、fp4、fp5),在相同的特征级上,图像的尺度等级不同,因此我们做特征融合处理时要对其它们的尺度等级,即:
然后对于对应好的特征等级按照以下流程进行特征叠加;
步骤2.3基于局部语义分割模型的测试/运用:
训练完成融合全局特征的局部语义分割模型之后,运用这个模型进行整体目标分割Sp时,需要采用融合局部估计的方法,以固定的步长,重叠地用三维滑动窗口方式在原始数据中裁切块Ipi进行模型进行局部估计fp,然后平均每个位置的估计概率(除以每个位置被估计的次数Cnt),最后取对应位置的最大概率作为该位置的分类:
进一步,所述2.2中,对于对应好的特征等级按照以下流程进行特征叠加的过程如下:
步骤2.2.1叠加解码器端的全局特征:将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法,裁切相应的尺度的特征图块,叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中,增加待卷积的特征图数量(2倍),如图3的特征叠加2;
步骤2.2.2叠加编码器端的全局特征:将将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法,裁切相应的尺度的特征图块,叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中,并且加上来自自身解码器端的特征图叠加,使得待卷积的特征图数量增加(4倍),如图3中的特征叠加1+2;
参照图3,相应灰色区域对应同类模型的某一特征等级的一组解码编码器,每个泳道矩形框省略来自前一级的输入和后一级的输出,其中左边的是已经完成训练的全局模型,右边则是我们步骤需要进行的融合特征的局部模型训练。
对于模型优化的loss函数:当输入通过模型进行映射后得到估计的结果Pc’,使用多类别dice残差函数:
N为目标类别数,即每个体素有N类,C为对应的某一类,当该类相应的体素位置被标注时,Pc为对应该位置的值为1,否则为0。而Pc’代表模型对该位置给予该类的一个估计概率。
本实施例中,前期数据准备:运用本方法之前已经完成数据预处理工作,我们可以获得已经配准好的医学图像数据。
本发明的拟合方法主首先需要训练基于全局的语义分割模型,然后在训练基于局部的语义分割模型,并且在训练过程中进行位置映射以叠加全局模型的特征进行共同训练,参照图1。
应用不同策略处理大尺度数据进行语义分割模型(Unet模型)训练,其基本的结构如图2所示。
此语义分割模型由对称结构的多组编码器和解码器构成,不同的分割可能对具体模型结构有特别的处理。为了方便本方案融合方法的描述,我们主要引入尺度级这个概念,其中每个灰色的区域为统一尺寸特征图,我们把它从左至右定义为第一级特征、第二级特征级、第三级特征、第四级特征、第五级特征。图像的尺寸随着每次下采样、上采样进行缩小、放大。在后续不同类型模型中,对于初始输入图像的不同,每个特征级的特征图大小有区别。
以原图尺寸S0(160*256*256)为例,在我们接下来的各个模型训练中,它存在以下5个尺度等级,图像在每一次下采样尺寸都会缩小2倍(对应的上采样则相反):
S0(160*256*256)→S1(80*128*128)→S2(40*64*64)→S3(20*32*32)→S4(10*16*16)→S5(5*8*8)
因此,局部模型的输入图像是从原始图像(160*256*256,我们定义为S0)中裁剪出固定尺寸为80*80*32的图像,,因此特征图尺寸从第一级到第五级:80*80*32(裁切于S0:160*256*256),40*40*16(裁切于S1:80*128*128),20*20*8(裁切于S2:40*64*64),10*10*4(裁切于S3:20*32*32),5*5*2(裁切于S4:10*16*16)
而全局模型的输入图像由于进行了下采样操作,尺寸变为80*128*128(S1),它的特征图尺寸从第一级到第五级:80*128*128(S1),40*64*64(S2),20*32*32(S3),10*16*16(S4),5*8*8(S5)。
此外,在同一个模型中,编码器的除最后一级之外(第五级),每一级特征都会叠加入解码器中转置卷积层后的特征图中(具体如图3的特征叠加1)。
Claims (2)
1.一种面向大尺度图像数据的残差语义网络训练方法,其特征在于,所述方法包括以下步骤:
步骤1、基于全局训练策略的语义分割模型,过程为:
步骤1.1下采样数据和标注:将原始数据I进行2倍下采样处理以缩小原始数据的尺度,下采样D方式为三维线性插值;同样对于手工标注也用该方法缩小尺度,分别对每个类的标注数据进行下采样,然后再叠加在一起,对插值重叠处类别的选择优先级为:内腔,外壁,背景;
步骤1.2Unet模型训练:模型最后得到的是一个小尺度上的概率图,再用三维上采样的方式将其恢复到原始尺度大小,考虑到该语义分割网络对应的结果是多分类以及目标类别不平衡性,采用多类别dice loss函数Lmcd:
此外,由于全局模型输出包含2个尺度的估计,对以上loss函数再增加了多尺度监督的内容:
Ls mcd为小尺度上的残差,Lo mcd为原始尺度上的残差计算;
步骤1.3基于全局的语义分割模型:训练完模型之后,由于全局模型fg的输出,进行上采样操作U后可以得到原始大小的整个目标分割Sg,根据每个体素位置的概率直接对其进行分类判断:
步骤2、融合全局模型特征并训练基于局部训练策略的语义分割模型,过程为:
步骤2.1从原始尺寸的图像中裁切训练数据块:裁切将在手工标注的有效区域中,对相应位置在预处理图像中裁切固定大小的三维数据块作为网络的输入,而对应位置在手工标注中裁切的图像块为学习的目标Pc(N,C,D,H,W),此外还记录在采集块的中心位置POS0(x,y,z),为加速网络训练我们采取批训练的方式,将多个数据块构成一个小批次进行网络的训练,所述小批次中每批N组;
步骤2.2从训练好的全局模型中裁切全局特征块:首先图像数据通过全局Unet模型得到所有不同深度等级的特征图集,为了融合之前全局模型训练的特征,对裁切位置进行位置尺度映射:
其中i表示的对应的尺度等级,i=0时表示在原始尺寸上,训练好的基于全局的模型,全局模型G对应特征等级:fg1、fg2、fg3、fg4、fg5;要准备进行融合训练的基于局部的语义分割模型,局部模型P对应特征等级:fp1、fp2、fp3、fp4、fp5,在相同的特征级上,图像的尺度等级不同,因此特征融合处理时要对齐它们的尺度等级,即:
然后对于对应好的特征等级进行特征叠加;
步骤2.3基于局部语义分割模型的测试/运用:
训练完成融合全局特征的局部语义分割模型之后,运用这个模型进行整体目标分割Sp时,需要采用融合局部估计的方法,以固定的步长,重叠地用三维滑动窗口方式在原始数据中裁切块Ipi进行模型进行局部估计fp,然后平均每个位置的估计概率,即除以每个位置被估计的次数Cnt,最后取对应位置的最大概率作为该位置的分类:
2.如权利要求1所述的一种面向大尺度图像数据的残差语义网络训练方法,其特征在于,所述2.2中,对于对应好的特征等级按照以下流程进行特征叠加:
步骤2.2.1叠加解码器端的全局特征:将全局Unet模型解码器端的每一等级的特征图按位置尺度映射方法,裁切相应的尺度的特征图块,叠加到待训练的基于局部的Unet模型的解码端中的卷积层之前的特征图中,增加待卷积的特征图数量2倍;
步骤2.2.2叠加编码器端的全局特征:将全局Unet模型编码器端的每一等级的特征图按位置尺度映射方法,裁切相应的尺度的特征图块,叠加到待训练的基于局部的Unet模型的编码端中的卷积层之前的特征图中,并且加上来自自身解码器端的特征图叠加,使得待卷积的特征图数量增加4倍;
相应灰色区域对应同类模型的某一特征等级的一组解码编码器,每个泳道矩形框省略来自前一级的输入和后一级的输出,其中左边的是已经完成训练的全局模型,右边则是需要进行的融合特征的局部模型训练;
对于模型优化的loss函数:当输入通过模型进行映射后得到估计的结果Pc’,使用多类别dice残差函数:
N为目标类别数,即每个体素有N类,C为对应的某一类,当该类相应的体素位置被标注时,Pc为对应该位置的值为1,否则为0,而Pc’代表模型对该位置给予该类的一个估计概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010040595.9A CN111275712B (zh) | 2020-01-15 | 2020-01-15 | 一种面向大尺度图像数据的残差语义网络训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010040595.9A CN111275712B (zh) | 2020-01-15 | 2020-01-15 | 一种面向大尺度图像数据的残差语义网络训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111275712A CN111275712A (zh) | 2020-06-12 |
CN111275712B true CN111275712B (zh) | 2022-03-01 |
Family
ID=70998941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010040595.9A Active CN111275712B (zh) | 2020-01-15 | 2020-01-15 | 一种面向大尺度图像数据的残差语义网络训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275712B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132777B (zh) * | 2020-08-11 | 2024-06-18 | 浙江工业大学 | 一种基于多分辨率感知学习的中心静脉导管分割和尖端定位方法 |
CN112164074B (zh) * | 2020-09-22 | 2021-08-10 | 江南大学 | 一种基于深度学习的3d ct床快速分割方法 |
CN112330788A (zh) * | 2020-11-26 | 2021-02-05 | 北京字跳网络技术有限公司 | 图像处理方法、装置、可读介质及电子设备 |
CN112634279B (zh) * | 2020-12-02 | 2023-04-07 | 四川大学华西医院 | 一种基于注意力Unet模型的医学图像语义分割方法 |
CN113902765B (zh) * | 2021-12-10 | 2022-04-12 | 聚时科技(江苏)有限公司 | 基于全景分割的半导体自动分区方法 |
CN115829980B (zh) * | 2022-12-13 | 2023-07-25 | 深圳核韬科技有限公司 | 一种眼底照片的图像识别方法、装置、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268870B (zh) * | 2018-01-29 | 2020-10-09 | 重庆师范大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
CN109190752B (zh) * | 2018-07-27 | 2021-07-23 | 国家新闻出版广电总局广播科学研究院 | 基于深度学习的全局特征和局部特征的图像语义分割方法 |
CN109101975B (zh) * | 2018-08-20 | 2022-01-25 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
CN109191476B (zh) * | 2018-09-10 | 2022-03-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN110008861A (zh) * | 2019-03-21 | 2019-07-12 | 华南理工大学 | 一种基于全局和局部特征学习的行人再识别方法 |
CN110211140B (zh) * | 2019-06-14 | 2023-04-07 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
-
2020
- 2020-01-15 CN CN202010040595.9A patent/CN111275712B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111275712A (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275712B (zh) | 一种面向大尺度图像数据的残差语义网络训练方法 | |
CN110934606B (zh) | 脑卒中早期平扫ct图像评估***及评估方法、可读存储介质 | |
CN109493317B (zh) | 基于级联卷积神经网络的3d多椎骨分割方法 | |
CN113674281B (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
CN108205806B (zh) | 一种锥束ct图像三维颅面结构的自动解析方法 | |
CN112991365B (zh) | 一种冠状动脉分割方法、***及存储介质 | |
CN111429473B (zh) | 基于多尺度特征融合的胸片肺野分割模型建立及分割方法 | |
CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
CN112258530A (zh) | 基于神经网络的计算机辅助肺结节自动分割方法 | |
CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN111127482A (zh) | 基于深度学习的ct影像肺气管的分割方法及*** | |
CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
CN112381164B (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
CN114092439A (zh) | 一种多器官实例分割方法及*** | |
CN112529909A (zh) | 一种基于图像补全的肿瘤图像脑区分割方法及*** | |
WO2023005634A1 (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
CN111815766A (zh) | 基于2d-dsa图像重建血管三维模型处理方法及*** | |
Pan et al. | Prostate segmentation from 3d mri using a two-stage model and variable-input based uncertainty measure | |
CN113223004A (zh) | 一种基于深度学习的肝脏图像分割方法 | |
CN114283165A (zh) | 肺结节的智能影像处理*** | |
CN115937158A (zh) | 一种基于分层注意力机制的胃癌病灶区域分割方法 | |
CN114972382A (zh) | 一种基于轻量级UNet++网络的脑肿瘤分割算法 | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
CN113052849A (zh) | 腹部组织图像自动分割方法及*** | |
CN117152173A (zh) | 一种基于DUNetR模型的冠状动脉分割方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |