CN111951281A - 图像分割方法、装置、设备及存储介质 - Google Patents

图像分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111951281A
CN111951281A CN202010795843.0A CN202010795843A CN111951281A CN 111951281 A CN111951281 A CN 111951281A CN 202010795843 A CN202010795843 A CN 202010795843A CN 111951281 A CN111951281 A CN 111951281A
Authority
CN
China
Prior art keywords
image segmentation
feature
image
local network
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010795843.0A
Other languages
English (en)
Other versions
CN111951281B (zh
Inventor
吴剑煌
倪佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010795843.0A priority Critical patent/CN111951281B/zh
Priority to PCT/CN2020/117827 priority patent/WO2022032824A1/zh
Publication of CN111951281A publication Critical patent/CN111951281A/zh
Application granted granted Critical
Publication of CN111951281B publication Critical patent/CN111951281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像分割方法、装置、设备及存储介质，该方法包括：获取待分割图像；通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。解决了现有深度学习方法的模型结构简单，图像分割结果不够精确的问题。

Description

图像分割方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学图像处理领域，尤其涉及一种图像分割方法、装置、设备及存储介质。
背景技术
随着医疗科学技术的发展，很多医院都配置有各种各样的医学影像设备，这些医学影像设备每天都会产生大量的医学图像数据。这些医学图像数据对于病人的病情诊断具有重要的作用，但限于医生的时间、精力以及临床经验，仅仅依靠医生的视觉很难准确、有效地通过影像数据完成疾病的诊断。通常，在临床上利用计算机的高效性与精确性来对医学图像进行分析，医学图像分析中最重要的一部分是医学图像的分割，因为只有把病变区域分割出来以后，才可以作为辅助医生进行病情的诊断。
现有技术的图像分割方法主要是深度学习的方法，这相比传统的机器学习可以提供更好的分割准确度，同时也简化了整个分割的流程。深度学习的方法往往是设计一种神经网络结构来进行医学图像的分割。但是，现有的一些神经网络结构相对简单，不能充分利用待分割图像的特征，导致图像分割精度不够，还有待于提升。
发明内容
本发明实施例提供了一种图像分割方法、装置、设备及存储介质，解决了现有神经网络图像分割精度不高的问题。
第一方面，本发明实施例提供了一种图像分割方法，该方法包括：
获取待分割图像；
通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。
可选的，所述变形的非局部网络的实现方法包括：
对非局部网络进行简化得到简化的非局部网络；
将所述简化的非局部网络与压缩解压网络进行组合得到所述变形的非局部网络。
可选的，所述通道注意力机制的实现方法包括：
对所述变形的非局部网络输出的高层特征进行全局平均池化，以得到全局平均池化结果；
将所述全局平均池化结果进行正则化得到规范的全局化特征；
对所述全局化特征与对所述高层特征对应的浅层特征进行通道注意力操作，以得到通道注意力结果。
可选的，所述解码单元还执行如下步骤：
将所述通道注意力结果与所述高层特征进行组合，以更新所述高层特征。
可选的，所述图像分割模型还包括特征提取单元和特征融合单元；
所述特征提取单元用于对所述待分割图像进行特征提取以得到特征提取结果；
所述特征融合单元用于通过多条并联通道分别从所述特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行初步特征融合，并将初步特征融合的结果与所述特征提取结果进行融合，以得到特征融合结果。
可选的，所述特征融合单元的所有通道均通过残差压缩解压金字塔池化块完成相应尺度的特征图的压缩与解压缩操作。
可选的，所述图像分割模型的损失函数包括主函数和辅助函数；
其中，所述辅助函数为权重交叉熵函数。
第二方面，本发明实施例还提供了图像分割装置，该装置包括：
获取模块，用于获取待分割图像；
输出模块，用于通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。
可选的，所述解码单元用于：
对非局部网络进行简化得到简化的非局部网络；
将所述简化的非局部网络与压缩解压网络进行组合得到所述变形的非局部网络。
可选的，所述解码单元还用于：：
对所述变形的非局部网络输出的高层特征进行全局平均池化，以得到全局平均池化结果；
将所述全局平均池化结果进行正则化得到规范的全局化特征；
对所述全局化特征与对所述高层特征对应的浅层特征进行通道注意力操作，以得到通道注意力结果。
可选的，所述解码单元还执行如下步骤：
将所述通道注意力结果与所述高层特征进行组合，以更新所述高层特征。
可选的，所述图像分割模型还包括特征提取单元和特征融合单元；
所述特征提取单元用于对所述待分割图像进行特征提取以得到特征提取结果；
所述特征融合单元用于通过多条并联通道分别从所述特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行初步特征融合，并将初步特征融合的结果与所述特征提取结果进行融合，以得到特征融合结果。
可选的，所述特征融合单元的所有通道均通过残差压缩解压金字塔池化块完成相应尺度的特征图的压缩与解压缩操作。
可选的，所述图像分割模型的损失函数包括主函数和辅助函数；
其中，所述辅助函数为权重交叉熵函数。
第三方面，本发明实施例还提供了一种图像分割设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任意实施例所述的图像分割方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行任意实施例所述的图像分割方法。
本发明实施例提供的图像分割方法、装置、设备及存储介质的技术方案，通过已训练的图像分割模块对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元通过变形的非局部网络与通道注意力相结合的方式完成解码操作，以充分利用提取出的特征的特性，使图像分割的结果精度更高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的图像分割方法的流程图；
图2是本发明实施例一提供的眼底血管的分割示意图；
图3是本发明实施例一提供的图像分割模型的结构示意图；
图4是本发明实施例一提供的非局部网络和简化的局部网络示意图；
图5是本发明实施例一提供的压缩解压网络和变形的非局部网络示意图；
图6是本发明实施例一提供的特征融合单元的结构示意图；
图7是本发明实施例一提供的特征融合单元中压缩解压子单元的结构示意图；
图8是本发明实施例二提供的图像分割装置的结构框图；
图9是本发明实施例三提供的图像分割设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的图像分割方法的流程图。本实施例的技术方案适用于通过已训练的图像分割模型自动完成图像分割的情况。该方法可以由本发明实施例提供的图像分割装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具体包括如下步骤：
S101、获取待分割图像。
其中，待分割图像可以是CT(Computed Tomography，计算机断层摄影)图像、MR(Magnetic Resonance，磁共振)图像、PET(Positron Emission Tomography，正电子发射计算机断层扫描)图像等临床医学图像，其包括目标分割区域和非目标分割区域。其中，目标分割区域可以是血管、出血区域等医生感兴趣区域。参见图2所示的眼底图像，该眼底图像的目标分割区域为眼底血管图像。
S102、通过已训练的图像分割模型对待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型的解码单元通过变形的非局部网络与通道注意力相结合的方式完成解码操作。
图像分割具体来说就是要确定待分割图像的每一个像素的类别信息，即每一个像素是属于目标分割区域还是属于非目标分割区域。因此在进行图像分割时，需要确定每个像素的位置信息和类别信息。已训练的图像分割模型按照其被训练的学习机制进行图像分割，当用户将待分割图像输入至已训练的图像分割模型中，即可得到目标分割区域。从而，实现了一种端到端的分割方法，例如，用户只需要输入一张CT图像就可以对这张CT进行图像分割得到完整的分割图，如输入图2中，上面的眼底图像，得到图2下图中的眼底血管图像。
具体的，图像分割模型结构包括特征提取单元、特征融合单元和解码单元，参见图3所示图像分割模型的结构。其中，待分割图像被输入后，特征提取单元便会通过多层卷积和批标准化的方法完成待分割图像的特征提取。而且该特征提取单元在进行特征提取时，可以添加预训练模型权重，也可以不添加预训练模型权重，实际使用时可以根据具体情况确定，本实施例在此不做具体限定。
示例性的，参见表1，特征提取单元通过四层卷积和批标准化的方法完成待分割图像的特征提取，逐步缩小特征图像，以得到25×25大小的特征图或32×32大小的特征图。逐层进行特征提取的过程，即是特诊编码的过程。
表1特征提取过程信息表
层 输入 输出 卷积核大小
卷积+批标准化1 400×400/512×512 200×200/256×256 3×3
卷积+批标准化2 200×200/256×256 100×100/128×128 3×3
卷积+批标准化3 100×100/128×128 50×50/64×64 3×3
卷积+批标准化4 50×50/64×64 25×25/32×32 3×3
解码单元即为图3中的DNL(Deformed non-local block，变形的非区域模块)用于通过解码操作，将特征提取单元缩小的特征图一步一步的恢复到待分割图像的大小，从而保证整个图像分割过程是一种端到端的方式。本实施例的解码单元DNL通过变形的非局部网络(Simplified Non-local Block，SNB)和通道注意力机制(Channel AttentionMechanism modules，CAM)相结合的方式完成解码操作。
其中，变形的非局部网络是通过对非局部网络进行简化得到简化的非局部网络；将所述简化的非局部网络与压缩解压网络进行组合实现的。变形的非局部网络实现过程可参见图4和图5所示的网络结构。具体的，图4中左图(a)为非局部网络(Non-local Block，NLBlock)，右图(b)则为被简化的非局部网络(Simplified Non-local block，SNB)，图5中左图(a)为压缩解压网络(SE)，右图(b)为在变形的非局部网络中添加了压缩解压网络的变形的非局部网络。
在传统的非局部网络图4a中一个大小为C×H×W的特征图(C:通道数，H:高，W:宽)，在非局部网络中经过了三个步骤操作，第一步骤操作是对特征进行图进行三次卷积操作，得到三个同样大小的特征图，然后对后两个特征图进行转置操作，再进行矩阵乘积操作重新得到一个大小为HW×HW的特征图(HW：表示高和宽的乘积)。第二步骤操作是对得到大小为HW×HW的特征图进行Softmax操作得到一个新的特征图，然后把这个大小为HW×HW的特征图和第一步得到其中一个特征进行矩阵的乘积操作重新得到一个C×H×W的特征图。第三步骤操作是把这个新得到的C×H×W的图和原来的输入特征进行组合操作得到一个新的特征。
变形的非局部网络主要的主要是原非局部网络第一步操作进行了简化，这是因为原来的第一次操作中特征图转置乘积操作以后得到了一个大小HW×HW的特征图，我们进行了简化操作转置乘积以后得到了一个大小C×C的特征图，然后再对这个特征图进行softmax操作，这样相比于原来的非局部网络大大减小了运算量和内存占用量可以大大提高模型的运行时间。最后把这个大小为C×C的特征图和第一步得到的特征图中的一个进行矩阵乘积操作得到一个大小为C×H×W的特征图。上述的操作即为为简化的非局部网络(SNB)
在经过简化的非局部网络操作以后，在简化的非局部网络以后加入了压缩解压网络(Squeeze-and-Excitation，SE)操作，得到一个大小为C×1×1的特征图，然后把这个特征和简化网络第一步中的其中一个特征进行矩阵乘积操作，从而到一个大小为C×H×W的新特征。
这么操作是因为在深度学习中，捕捉长距离依赖关系是深度神经网络的核心问题。非局部网络对于捕捉长距离依赖关系有十分重要的作用，在简化了非局部网络以后为了更好的提取特征，在简化的非局部网络之后添加了压缩解压网络，可以提高网络的鲁棒性。
进一步的，通道注意力机制具体操作为：首先，经过变形的非局部网络获得高层特征；然后，对变形的非局部网络输出的高层特征进行全局平均池化，以得到全局平均池化结果，将所述全局平均池化结果进行正则化(如L2正则化)得到规范的全局化特征；最后，对全局化特征与高层特征对应的浅层特征进行矩阵的像素对应的乘积操作，然后将两个乘积得到的新特征和经过上采样得到的浅层特征进行组合，从而得到一个新的特征。
可以理解的是，尺度越小的特征图的层级越高，尺度越大的特征图的层级越小。
解码模块在得到通道注意力结果之后，将该通道注意力结果与该高层特征进行组合以更新该高层特征，至此完成该高层特征的解码操作。
在一些实施例中，解码模块重复执行四次上述解码操作，即经过4次上采样机制之后得到目标特征图像。该目标特征图像与待分割图像的大小相同。可以理解的是，解码操作的次数与特征提取单元执行的特征提取的次数相同。
解码模块得到该目标特征图像之后，使用softmax对目标特征图像中的像素执行分类操作，以得到目标分割区域，参见图2。
其中，特征融合单元为图3中的新的RSEP(Residual Squeeze-and-ExcitationPyramidalization，残差压缩与解压金字塔池化)模块，包括多条并联通道，且优选地，不同通道的扩张率大小不同。每个通道均包括压缩与解压缩网络(Squeeze-and-Excitation，SE)，该压缩与解压缩网络用于对特征提取单元输出的特征提取结果进行压缩与解压缩操作。
在一些实施例中，如图6所示，特征融合单元包括四条扩张率大小不同的通道。其中，第一通道通过1×1卷积核(相当于扩张率为1)对特征提取单元输出的特征提取结果进行特征提取以得到第一提取特征，然后通过压缩与解压缩网络对该第一提取特征进行压缩与解压缩操作以得到对应的压缩与解压缩结果；第二通道、第三通道和第四通道分别对特征提取结果进行扩张操作，示例性的，扩张率分别为6、12和12，然后各个通道分别使用压缩与解压缩网络对扩张操作结果进行压缩与解压缩操作以得到相应的压缩与解压缩结果；四个通道在得到压缩与解压缩结果之后，均使用1×1卷积核对压缩与解压缩结果进行特征提取以得到相应的特征图；以及在得到各个通道特征图之后，对各个通道的特征图进行初步特征融合，并将初步特征融合的结果与所述特征提取结果进行融合，以得到特征融合结果。
图7为SE块进行压缩与解压缩的示意图。其中，Ftr表示转换操作，比如标准的卷积操作。在标准的卷积操作之后分出一个旁路分支，在该旁路分支中首先进行压缩(Squeeze)操作，即图中的Fsq(·)操作，用于采用全局平均池化操作对其每个特征图进行压缩，使其C个特征图最后变成1×1×C的实数数列。全局平均池化操作使U(多个feature map)具有全局的感受野，使得网络低层也能利用全局信息。然后在该旁路分支中进行解压缩(Excitation)操作，即图中的Fex(·)操作，以通过参数w为每个特征通道生成权重，从而全面捕获通道之间的依赖性(或通道相互之间的重要性)。Fscale用于将U中的每个值乘以一个预设标量。在得到每个通道的权重以及U中的每个值与预设标量的乘积之后，即可得到U中的每个值所对应的通道信息。由于压缩与解压缩方式可以充分利用特征图的全局信息，以及各个通道间的依赖性，因而能够增强图像分割模型的鲁棒性。
其中，图像分割模型中的优化函数优选使用Adam算法。损失函数包括主函数和辅助函数，表示为：Lall＝Ldice+λLr。其中，Ldice为主函数，具体形式为：
Figure BDA0002625546120000111
这里N代表中整个图片像素的数量，p(k,i)∈[0,1]，q(k,i)∈[0,1]分别代表着分类得到的概率和金标准。Lr为辅助函数，是权重交叉熵函数，具体如下：
Figure BDA0002625546120000112
y表示实际值，TP表示真正，即预测为正，实际也为正；TN表示真负，即预测为负，实际也为负，NP表示目标分割区域，Nn表示非分割区域。
在一种优选的实施方式中，λ优选为0.5，图像分割效果最好。
需要说明的是，采用现有模型训练方法对上述图像分割模型进行训练，以得到已训练的图像分割模型即可。
在一种实施例中，可以基于公开的Keras平台和tensorflow的后端，使用python语言实现本发明实施例所述的图像分割方法的算法。运行该算法的计算机的配置信息包括：操作***为Ubuntu 16.04，GPU为英伟达Titan XP显卡，内存为12GB。
本发明实施例提供的图像分割方法、装置、设备及存储介质的技术方案，通过已训练的图像分割模块对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元通过变形的非局部网络与通道注意力相结合的方式完成解码操作，以充分利用提取出的特征的特性，使图像分割的结果精度更高。
实施例二
图8是本发明实施例二提供的图像分割装置的结构框图。该装置用于执行上述任意实施例所提供的图像分割方法，该装置可选为软件或硬件实现。该装置包括：
获取模块11，用于获取待分割图像；
输出模块12，用于通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。
本发明实施例提供的图像分割装置的技术方案，通过已训练的图像分割模块对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元通过变形的非局部网络与通道注意力相结合的方式完成解码操作，以充分利用提取出的特征的特性，使图像分割的结果精度更高。
可选的，所述解码单元还用于：：
对所述变形的非局部网络输出的高层特征进行全局平均池化，以得到全局平均池化结果；
将所述全局平均池化结果进行正则化得到规范的全局化特征；
对所述全局化特征与对所述高层特征对应的浅层特征进行通道注意力操作，以得到通道注意力结果。
可选的，所述解码单元还执行如下步骤：
将所述通道注意力结果与所述高层特征进行组合，以更新所述高层特征。
可选的，所述图像分割模型还包括特征提取单元和特征融合单元；
所述特征提取单元用于对所述待分割图像进行特征提取以得到特征提取结果；
所述特征融合单元用于通过多条并联通道分别从所述特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行初步特征融合，并将初步特征融合的结果与所述特征提取结果进行融合，以得到特征融合结果。
可选的，所述特征融合单元的所有通道均通过残差压缩解压金字塔池化块完成相应尺度的特征图的压缩与解压缩操作。
可选的，所述图像分割模型的损失函数包括主函数和辅助函数；
其中，所述辅助函数为权重交叉熵函数。
本发明实施例提供的图像分割装置的技术方案，通过已训练的图像分割模块对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元通过变形的非局部网络与通道注意力相结合的方式完成解码操作，以充分利用提取出的特征的特性，使图像分割的结果精度更高。
本发明实施例所提供的图像分割方法装置可执行本发明任意实施例所提供的图像分割方法，具备执行方法相应的功能模块和有益效果。
实施例三
图9为本发明实施例三提供的医学图像分割设备的结构示意图，如图9所示，该设备包括处理器201、存储器202、输入装置203以及输出装置204；设备中处理器201的数量可以是一个或多个，图9中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203以及输出装置204可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像分割方法对应的程序指令/模块(例如，获取模块11和输出模块12)。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像分割方法。
存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器202可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置204可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例四
本发明实施例四还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分割方法，该方法包括：
获取待分割图像；
通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像分割方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像分割方法。
值得注意的是，上述图像分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
获取待分割图像；
通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。
2.根据权利要求1所述的方法，其特征在于，所述变形的非局部网络的实现方法包括：
对非局部网络进行简化得到简化的非局部网络；
将所述简化的非局部网络与压缩解压网络进行组合得到所述变形的非局部网络。
3.根据权利要求1所述的方法，其特征在于，所述通道注意力机制的实现方法包括：
对所述变形的非局部网络输出的高层特征进行全局平均池化，以得到全局平均池化结果；
将所述全局平均池化结果进行正则化得到规范的全局化特征；
对所述全局化特征与所述高层特征对应的浅层特征进行通道注意力操作，以得到通道注意力结果。
4.根据权利要求3所述的方法，其特征在于，所述解码单元还执行如下步骤：
将所述通道注意力结果与所述高层特征进行组合，以更新所述高层特征。
5.根据权利要求1-4任一所述的方法，其特征在于，所述图像分割模型还包括特征提取单元和特征融合单元；
所述特征提取单元用于对所述待分割图像进行特征提取以得到特征提取结果；
所述特征融合单元用于通过多条并联通道分别从所述特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行初步特征融合，并将初步特征融合的结果与所述特征提取结果进行融合，以得到特征融合结果。
6.根据权利要求5所述的方法，其特征在于，所述特征融合单元的所有通道均通过残差压缩解压金字塔池化块完成相应尺度的特征图的压缩与解压缩操作。
7.根据权利要求1所述的方法，其特征在于，所述图像分割模型的损失函数包括主函数和辅助函数；
其中，所述辅助函数为权重交叉熵函数。
8.一种图像分割装置，其特征在于，包括：
获取模块，用于获取待分割图像；
输出模块，用于通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元通过变形的非局部网络与通道注意力机制相结合的方式完成解码操作。
9.一种图像分割设备，其特征在于，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像分割方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像分割方法。
CN202010795843.0A 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质 Active CN111951281B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010795843.0A CN111951281B (zh) 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质
PCT/CN2020/117827 WO2022032824A1 (zh) 2020-08-10 2020-09-25 图像分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010795843.0A CN111951281B (zh) 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111951281A true CN111951281A (zh) 2020-11-17
CN111951281B CN111951281B (zh) 2023-11-28

Family

ID=73333122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010795843.0A Active CN111951281B (zh) 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111951281B (zh)
WO (1) WO2022032824A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159056A (zh) * 2021-05-21 2021-07-23 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113177528A (zh) * 2021-05-27 2021-07-27 南京昊烽信息科技有限公司 基于多任务学习策略训练网络模型的车牌识别方法及***
CN113326851A (zh) * 2021-05-21 2021-08-31 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN114119627A (zh) * 2021-10-19 2022-03-01 北京科技大学 基于深度学习的高温合金微观组织图像分割方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789153B (zh) * 2024-02-26 2024-05-03 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156210A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Machine-Learning Models Based on Non-local Neural Networks
CN111260653A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 一种图像分割方法、装置、存储介质和电子设备
WO2020151536A1 (zh) * 2019-01-25 2020-07-30 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置、网络设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341684B2 (en) * 2014-03-07 2019-07-02 Eagle Eye Networks, Inc. High definition surveillance image storage optimization apparatus and methods of retention triggering
CN111179270A (zh) * 2019-11-21 2020-05-19 北京航空航天大学 基于注意力机制的图像共分割方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156210A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Machine-Learning Models Based on Non-local Neural Networks
WO2020151536A1 (zh) * 2019-01-25 2020-07-30 腾讯科技（深圳）有限公司 一种脑部图像分割方法、装置、网络设备和存储介质
CN111260653A (zh) * 2020-04-27 2020-06-09 腾讯科技（深圳）有限公司 一种图像分割方法、装置、存储介质和电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159056A (zh) * 2021-05-21 2021-07-23 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113326851A (zh) * 2021-05-21 2021-08-31 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
WO2022242131A1 (zh) * 2021-05-21 2022-11-24 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113326851B (zh) * 2021-05-21 2023-10-27 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113159056B (zh) * 2021-05-21 2023-11-21 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113177528A (zh) * 2021-05-27 2021-07-27 南京昊烽信息科技有限公司 基于多任务学习策略训练网络模型的车牌识别方法及***
CN113177528B (zh) * 2021-05-27 2024-05-03 南京昊烽信息科技有限公司 基于多任务学习策略训练网络模型的车牌识别方法及***
CN114119627A (zh) * 2021-10-19 2022-03-01 北京科技大学 基于深度学习的高温合金微观组织图像分割方法及装置

Also Published As

Publication number Publication date
WO2022032824A1 (zh) 2022-02-17
CN111951281B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN111951280B (zh) 图像分割方法、装置、设备及存储介质
CN111951281B (zh) 图像分割方法、装置、设备及存储介质
CN109166130B (zh) 一种图像处理方法及图像处理装置
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
CN114298234B (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
WO2021184799A1 (zh) 医学图像处理方法、装置、设备及存储介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
Sun et al. ISSMF: Integrated semantic and spatial information of multi-level features for automatic segmentation in prenatal ultrasound images
CN115797929A (zh) 基于双注意力机制的小型农田图像分割方法、装置
CN114708212A (zh) 一种基于SEA-Unet的心脏图像分割方法
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及***
WO2024087858A1 (zh) 图像处理模型的训练方法、装置、电子设备、计算机程序产品及计算机存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN116912268A (zh) 一种皮肤病变图像分割方法、装置、设备及存储介质
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
CN115661170A (zh) 一种腹部三维ct图像自动分割方法、设备及介质
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN115578360B (zh) 一种针对超声心动图像的多目标语义分割方法
CN112037237B (zh) 一种图像处理方法、装置、计算机设备及介质
Hwang et al. RBCA-Net: Reverse boundary channel attention network for kidney tumor segmentation in CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant