CN114240954B - 网络模型的训练方法及装置、图像分割方法及装置 - Google Patents
网络模型的训练方法及装置、图像分割方法及装置 Download PDFInfo
- Publication number
- CN114240954B CN114240954B CN202111547222.1A CN202111547222A CN114240954B CN 114240954 B CN114240954 B CN 114240954B CN 202111547222 A CN202111547222 A CN 202111547222A CN 114240954 B CN114240954 B CN 114240954B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- model
- training
- detected
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003709 image segmentation Methods 0.000 title claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 238
- 230000006870 function Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种网络模型的训练方法及装置、图像分割方法及装置,该训练方法包括:获取具有待检测目标的医学图像样本;基于医学图像样本对初始分割模型进行训练,获取分割模型,其中初始分割模型包括形状分割模块和纹理分割模块,形状分割模块是通过基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据生成模型的编码本和第一解码器,对形状分割模块的第一编码器进行训练获得的,纹理分割模块是基于医学图像样本训练获得的。本申请的技术方案通过生成模型对分割模型进行优化,提高了待检测目标的分割精度。
Description
技术领域
本申请涉及深度学习技术领域,具体涉及一种网络模型的训练方法及装置、图像分割方法及装置。
背景技术
目前,对网络模型(例如分割模型)的训练,通常采用深度学习的方式。但由于深度学习的方式对于图像或影像(例如医学影像)中包括的待检测目标(例如定位贴片)的形状等全局特征不敏感,而对于纹理特征敏感,致使模型难以区分待检测目标的边界,进而导致了分割结果的准确度较低。
鉴于此,如何在模型分割的过程中,降低待检测目标的纹理特征对分割结果准确度的影响成为亟待解决的技术问题。
发明内容
有鉴于此,本申请实施例提供了一种网络模型的训练方法及装置、图像分割方法及装置,能够提高分割结果的准确度,降低纹理特征对分割结果准确度的影响。
第一方面,本申请的实施例提供了一种网络模型的训练方法,包括:获取具有待检测目标的医学图像样本;基于医学图像样本对初始分割模型进行训练,获取分割模型,其中初始分割模型包括形状分割模块和纹理分割模块,形状分割模块是通过基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据生成模型的编码本和第一解码器,对形状分割模块的第一编码器进行训练获得的,纹理分割模块是基于医学图像样本训练获得的。
在本申请某些实施例中,该方法还包括:将待检测目标的局部形状信息和/或全局形状信息输入第二编码器,获取第一特征图像;将医学图像样本输入第三编码器,以获取第二特征图像;当第一特征图像与第二特征图像满足预设条件时,将第三编码器作为第一编码器;基于第一编码器、编码本和第一解码器,确定形状分割模块。
在本申请某些实施例中,当第一特征图像与第二特征图像满足预设条件时,将第三编码器作为第一编码器,包括:在利用损失函数检测到第一特征图像收敛,且第二特征图像也收敛时,将第三编码器作为形状分割模块的第一编码器。
在本申请某些实施例中,生成模型为VQ-VAE模型。
在本申请某些实施例中,待检测目标包括定位贴片,局部形状信息为形状残缺的定位贴片,全局形状信息为形状完整的定位贴片。
第二方面,本申请实施例提供了一种图像分割方法,包括:将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果,其中分割模型是基于上述第一方面的网络模型的训练方法获得的,所述分割模型包括所述形状分割模块和所述纹理分割模块;将第一预测结果和第二预测结果进行结合,获取待检测目标的分割图像。
第三方面,本申请实施例提供了一种网络模型的训练装置,包括:第一获取模块,用于获取具有待检测目标的医学图像样本;第二获取模块,用于基于医学图像样本对初始分割模型进行训练,获取分割模型,其中初始分割模型包括形状分割模块和纹理分割模块,形状分割模块是通过基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据生成模型的编码本和第一解码器,对形状分割模块的第一编码器进行训练获得的,纹理分割模块是基于医学图像样本训练获得的。
第四方面,本申请实施例提供了一种图像分割装置,包括:第三获取模块,用于将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果,其中分割模型是基于上述第一方面的网络模型的训练方法获得的,分割模型包括形状分割模块和纹理分割模块;第四获取模块,用于将第一预测结果和第二预测结果进行结合,获取待检测目标的分割图像。
第五方面,本申请的实施例提供了一种计算可读存储介质,存储介质存储有计算机程序,计算机程序用于执行上述第一方面所述的网络模型的训练方法,和/或上述第二方面所述的图像分割方法。
第六方面,本申请的实施例提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器,其中,处理器用于执行上述第一方面所述的网络模型的训练方法,和/或上述第二方面所述的图像分割方法。
本申请实施例提供了一种网络模型的训练方法及装置、图像分割方法及装置,通过训练的生成模型对分割模型进行改进,使得分割模型结合了形状分割和纹理分割两种分割方式,从而提高了待检测目标的分割精度,降低了纹理特征对分割准确度的影响。
附图说明
图1是本申请一示例性实施例提供的网络模型的训练方法的流程示意图。
图2是本申请一示例性实施例提供的局部形状信息和/或全局形状信息的示意图。
图3是本申请一示例性实施例提供的生成模型的示意图。
图4是本申请一示例性实施例提供的分割模型的示意图。
图5是本申请另一示例性实施例提供的网络模型的训练方法的流程示意图。
图6是本申请一示例性实施例提供的形状分割模块的训练示意图。
图7是本申请一示例性实施例提供的图像分割方法的流程示意图。
图8是本申请一示例性实施例提供的网络模型的训练装置的结构示意图。
图9是本申请一示例性实施例提供的图像分割装置的结构示意图。
图10是本申请一示例性实施例提供的用于网络模型的训练或图像分割的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在神经网络模型的训练过程中,由于神经网络模型容易向低阶的区分度高的特征收敛,难以向高阶的深层信息收敛,因此在分割场景下,导致神经网络模型在训练时,对物体(即待检测目标)的形状信息不敏感,而对物体的低阶特征,即纹理特征(即待检测目标的纹理特征)敏感。
为降低物体的纹理特征对分割的影响,可以采用对物体的纹理特征进行数据增强等方式。但由于物体的纹理特征是医学影像(也称为“医疗数据”)鉴别的重要信息,导致上述方法无法适用在医学图像的领域。
为了解决上述问题,本申请实施例提供了如下的网络模型的训练方法。
图1是本申请一示例性实施例提供的网络模型的训练方法的流程示意图。图1的方法由计算设备,例如,服务器,来执行。如图1所示,该网络模型的训练方法包括如下内容。
110:获取具有待检测目标的医学图像样本。
具体地,待检测目标可以是形态固定的物体,例如定位贴片(也称定位片),本申请实施例对待检测目标不作具体限定。
在一实施例中,待检测目标可以是定位贴片。
医学图像样本可以是具有标注信息的医学影像,其中标注信息可以是对待检测目标进行标注后获得的信息,例如标注有定位贴片的医学影像。医学影像可以是通过计算机断层扫描摄影(Computed Tomography,CT)、计算机X线摄影(Computed 20Radiography,CR)、数字化X线摄影(Digital Radiography,DR)、核磁共振或超声等技术直接获得的影像,本申请实施例对医学图像样本不作具体限定。
获取医学图像样本的方式可以是人工输入至服务器中,而后服务器将该医学图像样本输入至初始分割模型。或者,获取医学图像样本的方式也可以是服务器在网络上自动查找的样本图像,本申请实施例对获取医学图像样本的方式不作具体限定。
120:基于医学图像样本对初始分割模型进行训练,获取分割模型。
在一实施例中,初始分割模型包括形状分割模块和纹理分割模块,形状分割模块是通过基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据生成模型的编码本和第一解码器,对形状分割模块的第一编码器进行训练获得的,纹理分割模块是基于医学图像样本训练获得的。
具体地,初始分割模型可以包括预先训练的形状分割模块和预先训练的纹理分割模块,本申请实施例对初始分割模型的结构不作限定。初始分割模型通过将预先训练的形状分割模块和纹理分割模块作为整体进行训练,以获得分割模型。
并且,分割模型可以采用交叉熵loss函数进行反向传播,不断的对分割模型训练,直至达到预期的分割效果,其中进行反向传播所应用的函数可以根据实际需要灵活设置,本申请实施例对此不作具体限定。
分割模型可以包括形状分割模块和纹理分割模块,也就是说,本申请实施例的分割模型为双信息流的方案,其中双信息流具体指的是一个为对待检测目标的形状特征进行分割(也称全局信息流),另一个为对待检测目标的纹理特征进行分割(也称局部信息流)。
在一实施例中,形状分割模块的训练可以是首先,基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,该生成模型用于学习待检测目标的形状。而后根据生成模型的编码本和第一解码器,重新对形状分割模块的第一编码器进行训练,以获得该形状分割模块。
待检测目标的局部形状信息可以是经过任意方向裁剪后获得的形状残缺的待检测目标,例如图2,形状残缺的定位贴片220。待检测目标的全局形状信息可以是形状完整的待检测目标,例如图2,形状完整的定位贴片210。
待检测目标的局部形状信息和/或全局形状信息可以作为样本数据输入生成模型,以便于该生成模型对待检测目标的形状进行学习。其中待检测目标的局部形状信息和/或全局形状信息可以是待检测目标的局部形状信息和待检测目标的全局形状信息,也可以仅是待检测目标的局部形状信息,本申请实施例对此不作具体限定。
参见图3,生成模型300可以包括第二编码器310、编码本320和第一解码器330。需要说明的是,本申请实施例的生成模型通过将残缺的待检测目标映射到完整的待检测目标,使得生成模型的离散空间可以更好的学习到待检测目标的形状信息。
在一实施例中,生成模型可以为矢量量化变分自动编码(Vector Quantised-Variational Auto Encoder,VQ-VAE),本申请实施例对生成模型的类型不作具体限定。
需要说明的是,生成模型的功能可以认为是根据隐空间的编码生成出想要的数据,而隐空间可以被认为是一种高阶的特征。因此,在本申请实施例中选择用这种隐空间来表现所需的全局特征(即待检测目标的形状信息)。
形状分割模块可以是截取生成模型的后半部分训练获得的,其中该后半部分包括编码本和第一解码器。
在一实施例中,基于生成模型的编码本和第一解码器,训练获得形状分割模块的第一编码器;进而将训练获得的第一编码器,与生成模型的编码本和第一解码器进行组合,以获取形状分割模块。
需要说明的是,由于训练生成模型和训练形状分割模块的输入数据不同,因此在对形状分割模块进行训练时,需固定编码本和第一解码器的参数,让模型学习到一个新的编码器(即第一编码器)。
在一实施例中,纹理分割模块是基于医学图像样本训练获得的。
纹理分割模块可以包括Unity Networking(UNet)神经网络,该纹理分割模块可以是基于具有待检测目标的标注信息的医学图像样本训练获得的,例如医学图像样本可以是标注有待检测目标的医学影像,本申请实施例对纹理分割模块的结构和训练的样本数据不作具体限定。
例如,纹理分割模块(即UNet神经网络)的训练可以是将具有待检测目标的标注信息的医学图形样本输入至UNet神经网络,以获得对医学图像样本的预测结果;将该医学图像样本的预测结果与输入的医学图像样本进行对比,当医学图像样本的预测结果与医学图像样本大致相同时,完成对UNet神经网络的训练,获得训练完成的纹理分割模块。
参见图4,分割模型400可以包括形状分割模块401和纹理分割模块402。形状分割模块401可以包括第一编码器420、编码本430和第一解码器450。纹理分割模块402可以包括Unet神经网络460。也就是说,本申请实施例的分割模型为结合形状分割模块和纹理分割模块的双信息流分割模型。
由此可知,本申请实施例通过训练的生成模型对分割模型进行改进,使得分割模型结合了形状分割和纹理分割两种分割方式,从而提高了待检测目标的分割精度,降低了纹理特征对分割准确度的影响。
图5是本申请另一示例性实施例提供的网络模型的训练方法的流程示意图。图5实施例是图1实施例的例子,相同之处不再赘述,此处着重描述不同之处。如图5所示,该网络模型的训练方法包括:
510:将待检测目标的局部形状信息和/或全局形状信息输入第二编码器,获取第一特征图像。
具体地,待检测目标的局部形状信息可以是经过任意方向裁剪后获得的形状残缺的待检测目标。待检测目标的全局形状信息可以是形状完整的待检测目标。待检测目标的局部形状信息和/或全局形状信息可以是将待检测目标的局部形状信息和待检测目标的全局形状信息同时输入第二编码器,也可以是将待检测目标的局部形状信息输入第二编码器,也可以是将待检测目标的全局形状信息输入第二编码器,本申请实施例对此不作具体限定。
第二编码器可以是生成模型的编码器,即第二编码器的输入为待检测目标的局部形状信息和/或全局形状信息。
服务器将待检测目标的局部形状信息和/或全局形状信息输入第二编码器,获得第一特征图像,其中该第一特征图像可以是三维图像。
520:将医学图像样本输入第三编码器,以获取第二特征图像。
具体地,服务器将医学图像样本输入第三编码器,进而获得第二特征图像,即该第三编码器的输入为具有待检测目标的医学图像样本。
530:当第一特征图像与第二特征图像满足预设条件时,将第三编码器作为第一编码器。
具体地,预设条件可以是利用损失函数计算获得第一特征图像和第二特征图像均收敛,即利用损失函数确定第一特征图像和第二特征图的向量分布一致。需要说明的是,本申请实施例可以使用损失函数(例如MSELoss损失函数)计算第一特征图像和第二特征图像的欧式距离,使得最后的第一特征图像和第二特征图像的输出向量分布一致。
在一实施例中,当利用损失函数检测到第一特征图像收敛,且第二特征图像也收敛时,将第三编码器作为形状分割模块的第一编码器。
参见图6,将第一输入610输入的待检测目标的局部形状信息和/或全局形状信息输入至第二编码器630,获得第一特征图像;将第二输入620输入的医学图像样本输入至第三编码器640,获得第二特征图像;而后使用损失函数650计算第一特征图和第二特征图的欧式距离,使得第一特征图和第二特征图的输出向量分布一致。需要说明的是,编码本660(以及根据编码本获得的量化特征670)和第一解码器680可以理解为是生成模型的后半部分,是通过训练生成模型获得的。
540:基于第一编码器、编码本和第一解码器,确定形状分割模块。
具体地,在获取形状分割模块时可以截取生成模型的后半部分,即截取生成模型的编码本和第一解码器。也就是说,在对形状分割模块进行训练的过程中,我们固定编码本和第一解码器的参数,让模型学习到一个全新的编码器(即第一编码器)。
需要说明的是,在分割模型中,形状分割模块的编码器需要重新被训练,是由于分割模型的输入与生成模型的输入不同,即生成模型的输入为待检测目标的局部形状信息和/或全局形状信息(例如被任意裁剪的定位贴片),而分割模型的输入为包括待检测目标的医学影像。
由此可知,本申请实施例通过损失函数重新训练获得形状分割模块的编码器(即第一编码器),为后续应用分割模型获得高精确度的分割结果提供了保障。
在本申请一实施例中,当第一特征图像与第二特征图像满足预设条件时,将第三编码器作为第一编码器,包括:在利用损失函数检测到所述第一特征图像收敛,且所述第二特征图像也收敛时,将所述第三编码器作为所述形状分割模块的所述第一编码器。
具体地,在利用损失函数检测到第一特征图像和第二特征图像均收敛时,将第三编码器作为形状分割模块的第一编码器。需要说明的是,本申请实施例通过损失函数使得第一特征图像和第二特征图像的输出向量分布一致的过程,可以理解为本申请实施例需要将第二编码器的隐空间和第三编码器的隐空间保持一致。
损失函数可以是MSELoss损失函数或交叉熵损失函数,本申请实施例对损失函数的具体类型不作限定。
优选地,本申请实施例采用MSELoss损失函数。
在一实施例中,MSELoss损失函数计算第一特征图像和第二特征图像的欧式距离,使得最后的第一特征图像和第二特征图像的输出向量分布一致。
由此可知,本申请实施例通过损失函数重新训练获得形状分割模块的编码器(即第一编码器),为构建双信息流的分割模型提供了保障。
在本申请一实施例中,生成模型为VQ-VAE模型。
具体地,生成模型主要分为两大族,一个是生成式对抗网络(GenerativeAdversarial Networks,GAN),另一个是变分自编码器(Variational Auto-Encoder,VAE),并且在VAE的基础上,进一步获得VQ-VAE。
生成模型用于根据隐空间的编码生成出想要的数据,其中隐空间可以被认为是一种高阶的特征。需要说明的是,在本申请实施例中选择用这种隐空间来表现我们想要的待检测目标的形状特征(即全局特征)。
优选地,本申请实施例将生成模型选择为VQ-VAE,一方面是因为VAE在原理上更适用于分割医学图像的场景,另一方面VQ-VAE的离散编码方案,在对待检测目标的分割上有着优异的表达能力。
由此可知,本申请实施例将生成模型设置为VQ-VAE模型,在更贴合医学影像分割的应用场景下,同时优化了分割模型,为提高分割精度提供了保障。
在本申请一实施例中,待检测目标包括定位贴片,局部形状信息为形状残缺的定位贴片,全局形状信息为形状完整的定位贴片。
具体地,待检测目标可以是形态固定的物体,例如待检测目标可以是定位贴片。
待检测目标的全局形状信息可以为形状完整的定位贴片,例如参见图2,待检测目标的全局形状信息210包括定位片区域211和连接线212。
待检测目标的局部形状信息可以是任意切割定位贴片后获得的残缺的定位贴片,例如参见图2,待检测目标的局部形状信息220包括任意裁剪后残缺的定位片区域221和连接线222。
图7是本申请一示例性实施例提供的图像分割方法的流程示意图。图7实施例的方法为上述实施例的例子,相同之处不在赘述,此处着重描述不同之处。如图7所示,该图像分割方法包括下述内容。
710:将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果。
具体地,医学影像可以是指包含待检测目标的三维医学影像,其可以是通过计算机断层扫描摄影(Computed Tomography,CT)、计算机X线摄影(Computed 20Radiography,CR)、数字化X线摄影(Digital Radiography,DR)、核磁共振或超声等技术直接获得的影像。
医学影像也可以是经过预处理后的图像,该预处理后的图像可以是指对原医学影像(例如具有待检测目标的CT图像)进行预处理后获得的影像,其中预处理可以是灰度归一化、去噪处理或图像增强处理等,本申请实施例对预处理的方式不作具体限定。
医学影像的格式可以是DICOM影像,本申请实施例对此不作具体限定。
在一实施例中,用户将医学影像输入基于上述图1至图6实施例所述的网络模型的训练方法获得的分割模型,获取形状分割模块生成的第一预测结果,以及纹理分割模块生成的第二预测结果;而后在分割模型中,分割模型可以将第一预测结果和第二预测结果进行结合,以获取待检测目标的分割图像。
需要说明的是,医学影像可以理解为是没有对待检测目标进行标注的医学图像。
用户(例如使用该分割模型的医生)将医学影像输入分割模型后,医学影像会经过形状分割模块生成第一预测结果,同时医学影像也会经过纹理分割模块获得第二预测结果,其中第一预测结果可以显示出待检测目标的大概形状,但在细节上还有些纰漏,这些纰漏可以依靠第二预测结果进行优化。
例如,第一预测结果中待检测目标有部分像素区域没有显示完全,第二预测结果可以对没有显示完全的区域进行充填,以提高待检测目标的分割精度。
在一实施例中,参见图4,医学影像输入至形状分割模块401的第一编码器420,以获得第一形状特征图,其中医学影像和第一形状特征图为三维图像,并且第一形状特征图的尺寸的表达形式为H(高度)×W(宽度)×D(深度);而后将第一形状特征图中H×W个D维向量分别在编码本430中找寻到其对应的欧氏距离最近的向量,并进行替换,以获得量化特征440;将量化特征440输入至第一解码器450,以获得第一预测结果。
在一实施例中,参见图4,医学影像输入至纹理分割模块402中的UNet神经网络460进行分割,以获得第二预测结果。
720:将第一预测结果和第二预测结果进行结合,获取待检测目标的分割图像。
具体地,参见图4,分割模型400可以包括结合模块470,该结合模块可以用于将第一预测结果和第二预测结果进行结合,形成最后的总体特征;并且将该总体特征进行分类判断,以形成待检测目标的分割图像;最后将该待检测目标的分割图像作为分割模型400最终的输出结果,即输出480的输出为待检测目标的分割图像。
需要说明的是,第一预测结果和第二预测结果可以是特征图像,第一预测结果和第二预测结果的结合可以理解为是两个特征图像进行融合的过程,以形成融合特征(即最后的总体特征)。
还需要说明的是,分类判断可以理解为是对待检测目标的分割图像中的每个像素点进行二值化处理,将待检测目标区域的像素点用一种数值表示,将背景区域的像素点用另一种数值表示。
待检测目标的分割图像包括医学影像的背景和待检测目标的分割结果,即对医学影像进行待检测目标的分割,可以获得背景与待检测目标的分割结果,再利用预设阈值对背景与待检测目标的分割结果进行二值化处理,可以得到待检测目标的分割图像,例如该待检测目标的分割图像上每个像素点可以用0或1进行表示,其中1表示待检测目标区域的像素点,0表示背景区域的像素点。
由此可知,本申请实施例通过将形状分割的预测结果和纹理分割的预测结果相结合,使得纹理分割的预测结果弥补了形状分割的预测结果的纰漏,进一步提高了待检测模型的分割精度。
图8是本申请一示例性实施例提供的网络模型的训练装置800的结构示意图。如图8所示,该网络模型的训练装置800包括:第一获取模块810和第二获取模块820。
第一获取模块810用于获取具有待检测目标的医学图像样本;第二获取模块820用于基于医学图像样本对初始分割模型进行训练,获取分割模型,其中初始分割模型包括形状分割模块和纹理分割模块,形状分割模块是通过基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据生成模型的编码本和第一解码器,对形状分割模块的第一编码器进行训练获得的,纹理分割模块是基于医学图像样本训练获得的。
本申请实施例提供了一种网络模型的训练装置,通过训练的生成模型对分割模型进行改进,使得分割模型结合了形状分割和纹理分割两种分割方式,从而提高了待检测目标的分割精度,降低了纹理特征对分割准确度的影响。
根据本申请一实施例,第二获取模块820用于将待检测目标的局部形状信息和/或全局形状信息输入第二编码器,获取第一特征图像;将医学图像样本输入第三编码器,以获取第二特征图像;当第一特征图像与第二特征图像满足预设条件时,将第三编码器作为第一编码器;基于第一编码器、编码本和第一解码器,确定形状分割模块。
根据本申请一实施例,第二获取模块820用于在利用损失函数检测到第一特征图像收敛,且第二特征图像也收敛时,将第三编码器作为形状分割模块的第一编码器。
根据本申请一实施例,生成模型为VQ-VAE模型。
根据本申请一实施例,待检测目标包括定位贴片,局部形状信息为形状残缺的定位贴片,全局形状信息为形状完整的定位贴片。
应当理解,上述实施例中的第一获取模块810和第二获取模块820的具体工作过程和功能可以参考上述图1至图6实施例提供的网络模型的训练方法中的描述,为了避免重复,在此不再赘述。
图9是本申请一示例性实施例提供的图像分割装置900的结构示意图。如图9所示,该图像分割装置900包括第三获取模块910和第四获取模块920。
第三获取模块910用于将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果,其中分割模型是基于上述第一方面的网络模型的训练方法获得的,分割模型包括形状分割模块和纹理分割模块;第四获取模块920用于将第一预测结果和第二预测结果进行结合,获取待检测目标的分割图像。
本申请实施例提供了一种网络模型的训练装置,通过构建具有形状分割模块和纹理分割模块的分割模型,降低了待检测特征对于分割干扰较大的问题,进一步提高了待检测模型的分割精度。
应当理解,上述实施例中的第三获取模块910和第四获取模块920的具体工作过程和功能可以参考上述图7实施例提供的图像分割方法中的描述,为了避免重复,在此不再赘述。
图10是本申请一示例性实施例提供的用于网络模型的训练或图像分割的电子设备1000的框图。
参照图10,电子设备1000包括处理组件1010,其进一步包括一个或多个处理器,以及由存储器1020所代表的存储器资源,用于存储可由处理组件1010的执行的指令,例如应用程序。存储器1020中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1010被配置为执行指令,以执行上述网络模型的训练方法或图像分割方法。
电子设备1000还可以包括一个电源组件被配置为执行电子设备1000的电源管理,一个有线或无线网络接口被配置为将电子设备1000连接到网络,和一个输入输出(I/O)接口。可以基于存储在存储器1020的操作***操作电子设备1000,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
一种非临时性计算机可读存储介质,当存储介质中的指令由上述电子设备1000的处理器执行时,使得上述电子设备1000能够执行一种网络模型的训练方法,包括:获取具有待检测目标的医学图像样本;基于医学图像样本对初始分割模型进行训练,获取分割模型,其中分割模型包括形状分割模块和纹理分割模块,形状分割模块是通过基于待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据生成模型的编码本和第一解码器,对形状分割模块的第一编码器进行训练获得的,纹理分割模块是基于医学图像样本训练获得的;
或者,一种图像分割方法,包括:将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果,其中分割模型是基于上述第一方面的网络模型的训练方法获得的,所述分割模型包括所述形状分割模块和所述纹理分割模块;将第一预测结果和第二预测结果进行结合,获取待检测目标的分割图像。
上述所有可选技术方案,可采用任意结合形成本申请的可选实施例,在此不再一一赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种网络模型的训练方法,其特征在于,包括:
获取具有待检测目标的医学图像样本;
基于所述医学图像样本对初始分割模型进行训练,获取分割模型,其中所述初始分割模型包括形状分割模块和纹理分割模块,所述形状分割模块是通过基于所述待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据所述生成模型的编码本和第一解码器,对所述形状分割模块的第一编码器进行训练获得的,所述纹理分割模块是基于所述医学图像样本训练获得的。
2.根据权利要求1所述的网络模型的训练方法,其特征在于,所述方法还包括:
将所述待检测目标的所述局部形状信息和/或全局形状信息输入第二编码器,获取第一特征图像;
将所述医学图像样本输入第三编码器,以获取第二特征图像;
当所述第一特征图像与所述第二特征图像满足预设条件时,将所述第三编码器作为所述第一编码器;
基于所述第一编码器、所述编码本和所述第一解码器,确定所述形状分割模块。
3.根据权利要求2所述的网络模型的训练方法,其特征在于,所述当所述第一特征图像与所述第二特征图像满足预设条件时,将所述第三编码器作为所述第一编码器,包括:
在利用损失函数检测到所述第一特征图像收敛,且所述第二特征图像也收敛时,将所述第三编码器作为所述形状分割模块的所述第一编码器。
4.根据权利要求1至3任一项所述的网络模型的训练方法,其特征在于,所述生成模型为VQ-VAE模型。
5.根据权利要求1至3中任一项所述网络模型的训练方法,其特征在于,所述待检测目标包括定位贴片,所述局部形状信息为形状残缺的所述定位贴片,所述全局形状信息为形状完整的所述定位贴片。
6.一种图像分割方法,其特征在于,包括:
将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果,其中所述分割模型是基于上述权利要求1至5任一项所述的网络模型的训练方法获得的,所述分割模型包括所述形状分割模块和所述纹理分割模块;
将所述第一预测结果和所述第二预测结果进行结合,获取所述待检测目标的分割图像。
7.一种网络模型的训练装置,其特征在于,包括:
第一获取模块,用于获取具有待检测目标的医学图像样本;
第二获取模块,用于基于所述医学图像样本对初始分割模型进行训练,获取分割模型,其中所述初始分割模型包括形状分割模块和纹理分割模块,所述形状分割模块是通过基于所述待检测目标的局部形状信息和/或全局形状信息进行训练得到生成模型,并根据所述生成模型的编码本和第一解码器,对所述形状分割模块的第一编码器进行训练获得的,所述纹理分割模块是基于所述医学图像样本训练获得的。
8.一种图像分割装置,其特征在于,包括:
第三获取模块,用于将具有待检测目标的医学影像输入分割模型,获取形状分割模块输出的第一预测结果,以及纹理分割模块输出的第二预测结果,其中所述分割模型是基于上述权利要求1至5任一项所述的网络模型的训练方法获得的,所述分割模型包括所述形状分割模块和所述纹理分割模块;
第四获取模块,用于将所述第一预测结果和所述第二预测结果进行结合,获取所述待检测目标的分割图像。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至5任一项所述的网络模型的训练方法,和/或用于执行上述权利要求6所述的图像分割方法。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器,
其中,所述处理器用于执行上述权利要求1至5任一项所述的网络模型的训练方法,和/或用于执行上述权利要求6所述的图像分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111547222.1A CN114240954B (zh) | 2021-12-16 | 2021-12-16 | 网络模型的训练方法及装置、图像分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111547222.1A CN114240954B (zh) | 2021-12-16 | 2021-12-16 | 网络模型的训练方法及装置、图像分割方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114240954A CN114240954A (zh) | 2022-03-25 |
CN114240954B true CN114240954B (zh) | 2022-07-08 |
Family
ID=80757499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111547222.1A Active CN114240954B (zh) | 2021-12-16 | 2021-12-16 | 网络模型的训练方法及装置、图像分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240954B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115147508B (zh) * | 2022-06-30 | 2023-09-22 | 北京百度网讯科技有限公司 | 服饰生成模型的训练、生成服饰图像的方法和装置 |
CN115147526B (zh) * | 2022-06-30 | 2023-09-26 | 北京百度网讯科技有限公司 | 服饰生成模型的训练、生成服饰图像的方法和装置 |
CN116071375B (zh) * | 2023-03-10 | 2023-09-26 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 图像分割方法和装置、存储介质及电子设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205260B1 (en) * | 1996-12-30 | 2001-03-20 | Sharp Laboratories Of America, Inc. | Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes |
JP2002064825A (ja) * | 2000-08-23 | 2002-02-28 | Kddi Research & Development Laboratories Inc | 画像の領域分割装置 |
CN109829894A (zh) * | 2019-01-09 | 2019-05-31 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
CN110321920A (zh) * | 2019-05-08 | 2019-10-11 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机可读存储介质和计算机设备 |
CN110599492A (zh) * | 2019-09-19 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、电子设备及存储介质 |
CN110880001A (zh) * | 2018-09-06 | 2020-03-13 | 银河水滴科技(北京)有限公司 | 一种语义分割神经网络的训练方法、设备和存储介质 |
CN111325758A (zh) * | 2020-02-20 | 2020-06-23 | 北京推想科技有限公司 | 肺部图像分割方法及装置、图像分割模型的训练方法 |
CN111369576A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
CN111598867A (zh) * | 2020-05-14 | 2020-08-28 | 国家卫生健康委科学技术研究所 | 用于检测特定面部综合征的方法、装置及计算机可读存储介质 |
CN111932546A (zh) * | 2020-08-20 | 2020-11-13 | 展讯通信(上海)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
CN112132847A (zh) * | 2020-09-27 | 2020-12-25 | 北京字跳网络技术有限公司 | 模型训练方法、图像分割方法、装置、电子设备和介质 |
CN112489063A (zh) * | 2020-12-10 | 2021-03-12 | 北京金山云网络技术有限公司 | 图像分割方法、图像分割模型的训练方法和装置 |
CN113205521A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 一种医学影像数据的图像分割方法 |
CN113284088A (zh) * | 2021-04-02 | 2021-08-20 | 中国科学院深圳先进技术研究院 | 一种csm图像分割方法、装置、终端设备及存储介质 |
CN113313234A (zh) * | 2020-06-18 | 2021-08-27 | 上海联影智能医疗科技有限公司 | 用于图像分割的神经网络***和方法 |
-
2021
- 2021-12-16 CN CN202111547222.1A patent/CN114240954B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205260B1 (en) * | 1996-12-30 | 2001-03-20 | Sharp Laboratories Of America, Inc. | Sprite-based video coding system with automatic segmentation integrated into coding and sprite building processes |
JP2002064825A (ja) * | 2000-08-23 | 2002-02-28 | Kddi Research & Development Laboratories Inc | 画像の領域分割装置 |
CN110880001A (zh) * | 2018-09-06 | 2020-03-13 | 银河水滴科技(北京)有限公司 | 一种语义分割神经网络的训练方法、设备和存储介质 |
CN109829894A (zh) * | 2019-01-09 | 2019-05-31 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
CN110321920A (zh) * | 2019-05-08 | 2019-10-11 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置、计算机可读存储介质和计算机设备 |
CN110599492A (zh) * | 2019-09-19 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、电子设备及存储介质 |
CN111325758A (zh) * | 2020-02-20 | 2020-06-23 | 北京推想科技有限公司 | 肺部图像分割方法及装置、图像分割模型的训练方法 |
CN111598867A (zh) * | 2020-05-14 | 2020-08-28 | 国家卫生健康委科学技术研究所 | 用于检测特定面部综合征的方法、装置及计算机可读存储介质 |
CN111369576A (zh) * | 2020-05-28 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、图像分割方法、装置及设备 |
CN113313234A (zh) * | 2020-06-18 | 2021-08-27 | 上海联影智能医疗科技有限公司 | 用于图像分割的神经网络***和方法 |
CN111932546A (zh) * | 2020-08-20 | 2020-11-13 | 展讯通信(上海)有限公司 | 图像分割模型训练方法、图像分割方法、装置、设备及介质 |
CN112132847A (zh) * | 2020-09-27 | 2020-12-25 | 北京字跳网络技术有限公司 | 模型训练方法、图像分割方法、装置、电子设备和介质 |
CN112489063A (zh) * | 2020-12-10 | 2021-03-12 | 北京金山云网络技术有限公司 | 图像分割方法、图像分割模型的训练方法和装置 |
CN113284088A (zh) * | 2021-04-02 | 2021-08-20 | 中国科学院深圳先进技术研究院 | 一种csm图像分割方法、装置、终端设备及存储介质 |
CN113205521A (zh) * | 2021-04-23 | 2021-08-03 | 复旦大学 | 一种医学影像数据的图像分割方法 |
Non-Patent Citations (2)
Title |
---|
Texture-And-Shape Based Active Contour Model for Insulator Segmentation;Yajie Yu;《IEEE》;20191231;第I138-830页 * |
基于纹理与形状的图像对象分割;李新元;《中国优秀硕士学位论文全文数据库》;20100315;第78706-78714页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114240954A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114240954B (zh) | 网络模型的训练方法及装置、图像分割方法及装置 | |
EP3449421B1 (en) | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods | |
US10636141B2 (en) | Adversarial and dual inverse deep learning networks for medical image analysis | |
CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及*** | |
KR101599219B1 (ko) | 3차원 의료 영상에서 랜드마크들의 자동 등록을 위한 장치 및 방법 | |
CN112102237A (zh) | 基于半监督学习的脑部肿瘤识别模型的训练方法及装置 | |
CN108124489B (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
CN112435341B (zh) | 三维重建网络的训练方法及装置、三维重建方法及装置 | |
CN113095333B (zh) | 无监督特征点检测方法及装置 | |
CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
CN112614144A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
CN109726644A (zh) | 一种基于生成对抗网络的细胞核分割方法 | |
Limper et al. | Mesh Saliency Analysis via Local Curvature Entropy. | |
CN116797607A (zh) | 图像分割方法和装置 | |
Ferreira et al. | GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy | |
CN113240699B (zh) | 图像处理方法及装置,模型的训练方法及装置,电子设备 | |
CN117830611A (zh) | 目标检测方法、装置及电子设备 | |
CN112530554B (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
EP4057292A1 (en) | On-site training of a machine-learning algorithm for generating synthetic imaging data | |
CN114419375A (zh) | 图像分类方法、训练方法、装置、电子设备以及存储介质 | |
CN114586065A (zh) | 用于分割图像的方法和*** | |
CN116547696A (zh) | 一种图像增强方法和装置 | |
CN112861940A (zh) | 双目视差估计方法、模型训练方法以及相关设备 | |
CN114708471B (zh) | 跨模态图像生成方法、装置、电子设备与存储介质 | |
CN118230098B (zh) | 用于医学图像的模型训练方法、分割方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240226 Address after: No. 288 Xingcheng Avenue, Hannan District, Wuhan City, Hubei Province (019) Patentee after: Wuhan Longdianjing Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085 Patentee before: Tuxiang Medical Technology Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |