CN111626296B - 基于深度神经网络的医学图像分割***及方法、终端 - Google Patents
基于深度神经网络的医学图像分割***及方法、终端 Download PDFInfo
- Publication number
- CN111626296B CN111626296B CN202010284305.5A CN202010284305A CN111626296B CN 111626296 B CN111626296 B CN 111626296B CN 202010284305 A CN202010284305 A CN 202010284305A CN 111626296 B CN111626296 B CN 111626296B
- Authority
- CN
- China
- Prior art keywords
- medical image
- module
- image segmentation
- neural network
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度神经网络的医学图像分割***及方法、终端,包括:特征提取模块对输入的医学图像,使用神经网络完成特征的抽取,得到输入的抽象表示;前景信息特征上采样模块对提取到的特征进行上采样,最终生成前景分割结果;反馈机制模块将前景信息特征上采样模块中的特征传递至特征提取模块中,丰富该模块中的特征;门控机制模块利用多种门控机制,对反馈连接中传递的特征进行选择和筛选,对冗余特征进行过滤;语义信息特征上采样模块对经过反馈连接丰富的特征进行上采样,生成最终的医学图像分割结果。本发明利用门控机制实现对反馈连接中传递的特征进行筛选,并将反馈信号作用于特征提取过程中,实现特征的丰富,提高了图像分割的精度。
Description
技术领域
本发明涉及一种采用深度学习算法的医学图像分割技术,具体地,涉及一种基于双向深度学习框架、门控机制以及反馈机制的深度神经网络的医疗图像分割***及方法、终端。
背景技术
医学图像的分割问题是医学图像分析中最重要、最基础的问题,能否准确快速的完成医学图像的分割直接影响了后续定量分析、可视化研究以及医生诊断等各环节的结果。然而,由于医学图像本身具有的复杂性和专业性并且临床中对分割结果准确性有着极高的要求,目前大规模的自动化分析技术仍不成熟,对医学图像的分割主要还是依靠具有专业经验的医生去完成。在人工分析医疗影像的过程中,每分析一张影像都需要耗费极大的时间和工作量。同时不同的医生受各自主观经验以及所处环境、工作时间的影响,即便是对于同一张影像仍然会有可能得到不同的结果。基于以上原因,如何实现对医学图像高效、准确且鲁棒的的自动化处理和分析成为了计算机科学领域中一个非常热点的研究课题。
在深度学习兴起之前,研究人员主要通过传统的图像处理方法或者机器学习算法完成对医学图像的分割。这些方法无法满足对医学图像分割的要求。近些年来,凭借着卷积神经网络出色的特征提取能力,深度学习在图像识别、目标检测和图像分割等任务中取得了极为优秀的成果。
双向神经网络是深度学习中一个重要的模型框架,所谓双向,主要是指模型包含了编码和解码这两个方向相反的过程,其中编码指从输入空间到概念空间的特征提取过程而解码指概念空间到输出空间的重建过程。其实在图像分割问题中,很多模型的设计也都包含了双向学习的思想。1991年提出的Lmser网络,也是同样基于双向学习的神经网络结构。结构上,Lmser网络具有严格的对偶性,包括双向结构的对偶性,神经元对偶性以及参数对偶性,其中神经元的对偶性指网络编码器和解码器之间通过跳跃连接和反馈连接实现双向的信息传递。
计算机视觉领域中,门控机制也是非常经典的技术。门控机制也可以称为注意力机制,即模仿人类大脑在处理视觉信号时会优先注意较为关键的部分。对于应用到卷积神经网络中的注意力机制,按照其作用于特征图的维度主要可以分为两种,即通道注意力机制和空间注意力机制。通道注意力机制主要利用特征图中不同通道之间的相关关系生成通道之间的注意力权重,即同一通道不同位置的注意力权重大小相同,而不同通道之间有所差异。而空间注意力则是主要关注为特征图的不同区域赋予不同大小的注意力权重,与通道无关。此外,在以上两种注意力机制的基础上,还可以将二者按照串联或并联的方式结合起来共同提升网络的性能。
反馈机制在计算机视觉领域中同样发挥着重要的作用。在双向神经网络中,利用反馈连接将解码器中的特征传递至编码器中,可丰富编码器中的特征,并实现对编码器提取特征进行指导的目的。
相比较自然图像,医学图像的分割面临更大的挑战,主要在于医学图像本身所具有的特殊性:(1)数据量小;(2)分割精度要求高;(3)较难利用预训练的模型。现有技术中主要采用类似于U-Net网络对医学图像进行分割,该网络中利用跳跃连接可以有效保留网络浅层特征,实现了较为准确的分割结果,但是仍然存在如下问题:(1)对于跳跃连接上的特征没有进行选择,易受到冗余信息的干扰;(2)无法有效对小目标实现准确分割;(3)多个分割目标差异过大时,分割结果不够准确。
如果直接将现有的双向深度学习框架、门控机制以及反馈机制进行简单的结合,通常存在如下技术难题:
(1)现有的深度学习框架主要遵从前馈计算的过程,若简单将反馈机制添加到网络中,会造成网络训练的不稳定;
(2)反馈过程中传递的信息显著影响着网络结果的产生,信息的选择对于能否得到准确的结果极为重要。
(3)合理的选择门控机制实现对特征的筛选对于结果的产生也极为重要。
目前没有发现同本发明类似技术的说明或报道,也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足,提供了一种基于深度神经网络的医学图像分割***及方法、终端。
根据本发明的一个方面,提供了一种基于深度学习网络的医学图像分割***,包括:
特征提取模块:所述特征提取模块采用第一卷积神经网络,对输入的医学图像进行特征的逐层抽取,得到对于输入医学图像的抽象特征;
前景信息特征上采样模块:所述前景信息特征上采样模块利用第二卷积神经网络,对特征提取模块中提取得到的特征完成特征的上采样,生成包含关于前景和背景的图像分割结果的特征;
反馈机制模块:所述反馈机制模块将前景信息特征上采样模块在完成上采样的过程中逐层生成的特征传递至特征提取模块中,以丰富所述特征提取模块中的特征;
门控机制模块:所述门控机制模块利用多种门控机制,对反馈机制模块传递过程中的特征进行选择和筛选,实现冗余特征的过滤;
语义信息特征上采样模块:所述语义信息特征上采样模块利用第三卷积神经网络,对经过反馈机制模块丰富的特征提取模块中的特征进行上采样,生成最终的医学图像分割结果。
优选地,所述特征提取模块中采用的第一卷积神经网络,包括:2层卷积层和4个残差模块,其中:每一个所述卷积层均包含数据压缩操作层以及批归一化层;卷积核大小为3×3;输出为代表输入医学图像的抽象特征。
优选地,所述前景信息特征上采样模块中利用的第二卷积神经网络,包括:4个残差模块以及2个卷积层,其中:每一个所述卷积层均包含数据压缩操作层和批归一化层;每一个所述残差模块中均设置有转置卷积层用以实现特征的上采样;卷积核大小为3×3;转置卷积核大小为2×2;输出的包含关于前景和背景的图像分割结果的特征为包括医学图像前景分割结果的特征。
优选地,所述语义信息特征上采样模块中利用的第三卷积神经网络,包括:4个残差模块以及2个卷积层,其中:每一个所述卷积层均包含数据压缩操作层和批归一化层;每一个所述残差模块中均设置有转置卷积层用以实现特征的上采样;卷积核大小为3×3;转置卷积核大小为2×2;输出为医学图像的语义分割结果。
优选地,所述门控机制模块,通过通道注意力和空间注意力两种门控机制的组合,实现对特征通道维度和空间维度的筛选,包括:
-通道注意力模块:对于通道数为C,宽和高分别为H和W的特征,所述通道注意力模块为特征的每一个通道提供一个权重,即长度为C的向量,用来表示对每个通道的关注程度,权重越高,则表明通道注意力模块对该通道的关注程度越高;所述权值的计算方法包括:
对于通道数为C,宽和高分别为H和W的特征,首先通过全局池化操作对特征进行处理,得到长度为C的向量;
通过两个1×1的卷积层,将长度为C的向量的维度首先压缩至C/K,其中K表示维度压缩比例,进而再将维度扩张为C;
通过Sigmoid激活函数,将长度为C的向量中各元素值映射到0和1之间,得到每个通道的注意力权重;
-空间注意力模块:对于通道数为C,宽和高分别为H和W的特征,在空间维度上为各个像素点生成一个权重,即宽为H、高为W的掩码,用来表示空间注意力模块对每个像素点的重视程度;所述权值的计算方法包括:
对于通道数为C,宽和高分别为H和W的特征,首先对特征沿着通道维度进行平均池化操作,得到高和宽分别为H和W的特征;
进而对此特征通过一层卷积运算以及Sigmoid非线性激活函数,将特征上的每一个值映射到0和1之间,得到高和宽分别为H和W的掩码,该值越大,表明关注程度越高。
优选地,所述反馈机制模块在前景信息特征上采样模块和特征提取模块之间添加反馈连接,在生成关于前景和背景的图像分割结果的同时,将包含前景信息的特征传递至特征提取模块中以丰富能够利用的特征;所述门控机制模块设置于反馈连接中。
优选地,通过定义更新机制,对医学图像分割***进行训练,其中,所述更新机制的表达形式为:
其中,p和g分别代表医学图像分割***得到的分割结果以及真实分割标注;M和N分别代表分割类别数以及图像的像素个数;j和i分别表示第j类分割目标和第i个像素;
更新机制所用方法的表达形式如下:
优选地,所述医学图像分割***接收的训练样本格式为(x,y,z)的三元组,其中,x为输入的医学图像,y为人工标注的前景分割结果,z为人工标注的语义分割结果。
根据本发明的另一个方面,提供了一种基于深度神经网络的医学图像分割方法,包括:
采用第一卷积神经网络,对输入的医学图像进行特征的逐层抽取,得到对于输入医学图像的抽象特征;
利用第二卷积神经网络,对提取得到的抽象特征完成特征的上采样,生成包含关于前景和背景的图像分割结果的特征;
将生成的包含关于前景和背景的图像分割结果的特征传递至抽象特征处,以丰富抽象特征;
利用多种门控机制,对传递过程中的特征进行选择和筛选,实现冗余特征的过滤;
利用第三卷积神经网络,对传递丰富后的特征进行上采样,生成最终的医学图像分割结果。
根据本发明的第三个方面,提供一种基于深度神经网络的医学图像分割终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时可用于执行上述基于深度神经网络的医学图像分割方法。
本发明在双向神经网络的基础上添加了反馈连接,通过特征的反向传递实现特征的丰富和补充,并采用多种门控机制,对反馈连接进行改进,实现对信息的选择和过滤,使得网络可以避免收到冗余特征的干扰,通过将双向神经网络和反馈连接以及门控机制相结合,实现更精确的分割结果。
与现有技术相比,本发明具有如下的有益效果:
本发明提供的基于深度神经网络的医学图像分割***及方法,将双向深度学习框架及多种门控机制以及反馈机制进行结合,利用门控机制实现对反馈连接中传递的特征进行筛选,并将反馈信号作用于特征提取过程中,实现特征的丰富,进一步提高图像分割的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例中所提供的基于深度神经网络的医学图像分割***总体架构图;
图2为本发明实施例中所提供的门控机制模块中通道注意力模块和空间注意力模块级联结构示意图。
具体实施方式
下面对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。以下实施例中没有详细说明的技术均可以采用现有技术实现。
如图1所示,为本发明实施例提供的一种基于深度神经网络的医学图像分割***,该***包括:
特征提取模块:特征提取模块采用卷积神经网络,对输入的医学图像进行特征的逐层抽取,得到对于输入医学图像的抽象特征;
前景信息特征上采样模块:前景信息特征上采样模块利用卷积神经网络,对特征提取模块中提取得到的特征完成特征的上采样,生成包含关于前景和背景的图像分割结果的特征;
反馈机制模块:反馈机制模块将前景信息特征上采样模块在完成上采样的过程中逐层生成的特征传递至特征提取模块中,以丰富特征提取模块中的特征;
门控机制模块:门控机制模块利用多种门控机制,对反馈机制模块传递过程中的特征进行选择和筛选,实现冗余特征的过滤;
语义信息特征上采样模块:语义信息特征上采样模块利用卷积神经网络,对经过反馈机制模块丰富的特征提取模块中的特征进行上采样,生成最终的医学图像分割结果。
本发明上述实施例中,特征提取模块可以将前景分割和语义分割的两个过程的特征提取过程耦合,使用单个特征提取模块对输入的医学图像完成特征的抽取。前景信息特征上采样模块对特征提取模块提取到的特征进行上采样,最终生成关于前景和背景的图像分割结果;反馈机制模块将前景信息特征上采样模块中的特征传递至特征提取模块中,丰富该模块中的特征;门控机制模块对跳跃连接(传递过程)中传递的特征进行选择和筛选,对冗余特征进行过滤;语义信息特征上采样模块对经过反馈连接丰富的特征进行上采样,生成最终的医学图像分割结果。
作为一优选实施例,特征提取模中:利用2层卷积层和4个残差模块,每个卷积层均包含数据压缩操作以及批归一化,其中卷积核大小为3×3,最终输出代表输入图像的抽象特征。
作为一优选实施例,前景信息特征上采样模块中:利用4个残差模块以及2个卷积层,每个卷积层均包含数据压缩操作和批归一化,残差模块中添加转置卷积层实现特征的上采样,卷积核大小为3×3,转置卷积核大小为2×2,最终输出图像的前景和背景分割结果。
作为一优选实施例,语义信息特征上采样模块中:利用4个残差模块以及2个卷积层,每个卷积层均包含数据压缩操作和批归一化,残差模块中添加转置卷积层实现特征的上采样,卷积核大小为3×3,转置卷积核大小为2×2,最终输出图像的分割结果。
作为一优选实施例,门控机制模块对于对反馈机制模块传递过程中的特征,采用通道注意力和空间注意力两种门控机制的组合实现对特征的选择。
作为一优选实施例,反馈机制模块在前景信息特征上采样模块和特征提取模块中添加反馈连接,用于将前景信息特征上采样模块中得到的关于前景和背景的信息传递至特征提取模块中,并在反馈连接上添加门控机制模块,用于反馈信号的筛选。
作为一优选实施例,门控机制模块为一种对特征进行筛选的门控***,通过通道注意力和空间注意力两种门控机制的组合,实现对特征通道维度和空间维度的筛选;如图2所示,包括级联的通道注意力模块和空间注意力模块;其中:通道注意力模块:对于网络中的特征,计算特征在通道维度的注意力权重(WCG),其中权重越大,表示网络对该通道特征的关注程度越高,以此实现网络对特征在通道维度上的筛选;空间注意力模块:对于网络中的特征,计算特征在空间维度的注意力权重(WPG),其中权重越大,表示网络对该空间区域特征的关注程度越高,以此实现网络对特征在空间维度上的筛选。
作为一优选实施例,通过定义更新机制,对医学图像分割***进行训练,其中,更新机制的表达形式为:
其中,p和g分别代表医学图像分割***得到的分割结果以及真实分割标注;M和N分别代表分割类别数以及图像的像素个数;j和i分别表示第j类分割目标和第i个像素;
更新机制所用方法的表达形式如下:
作为一优选实施例,医学图像分割***接收的训练样本格式为(x,y,z)的三元组,其中,x为输入的医学图像,y为人工标注的前景分割结果,z为人工标注的语义分割结果。
在本发明另一实施例中,还提供一种基于深度神经网络的医学图像分割方法,方法包括:
特征提取步骤:对于输入的医学图像,使用特征提取模块,对输入进行逐层的特征抽取,最终得到抽象的特征用来表示输入。
前景信息特征上采样步骤:对于得到的抽象特征,利用前景信息特征上采样模块,完成对特征的逐步上采样,最终生成和输入图像等大的前景背景分割结果,其中前景指包含待分割器官或组织的区域。
反馈连接步骤:将前景信息特征上采样模块得到的特征通过反馈连接传递至特征提取模块中,丰富该模块中可利用的特征信息,实现更精确的语义分割。
语义信息特征上采样步骤:对于丰富后得到的抽象特征,利用语义信息特征上采样模块,完成对特征的逐步上采样,最终生成和输入图像等大的语义分割结果。
基于深度神经网络的医学图像分割方法可以采用上述任一项基于深度神经网络的医学图像分割***实施。
在另一实施例中,还提供一种基于深度神经网络的医学图像分割终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时可用于执行上述基于深度神经网络的医学图像分割方法。
本发明上述实施例所提供的基于深度神经网络的医学图像分割***及方法、终端,基于双向深度学习框架、门控机制以及反馈机制,实现一种医学图像分割技术,该***及方法中将医学图像分割任务分解为前景分割以及最终的语义分割两个过程,这两个过程均使用同一个特征提取模块完成特征的提取,并通过各自的特征上采样模块生成分割结果。在前景分割解码器和编码器中添加反馈连接,用于将包含前景信息的特征反向传递至特征提取模块中实现特征的丰富,并使用门控机制作用于反馈连接中实现进一步的特征筛选。
本发明上述实施例所提供的基于深度神经网络的医学图像分割***及方法、终端,,基于双向神经网络、门控机制以及反馈机制,提供采用深度学习算法的医学图像分割的技术,可用于对医学图像例如CT图像等完成分割,本发明上述实施例所提供的***及方法,解决了现今分割精度不高的问题,在双向神经网络基础上,利用反馈机制丰富特征提取,并通过引入门控机制实现自动的对特征进行筛选和过滤。上述医学图像分割技术,可有效提高对于医学图像的分割性能,有利于普通企业或团队进行研制。
需要说明的是,本发明提供的方法中的步骤,可以利用***中对应的模块、装置、单元等予以实现,本领域技术人员可以参照***的技术方案实现方法的步骤流程,即,***中的实施例可理解为实现方法的优选例,在此不予赘述。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的***及其各项装置可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于深度学习网络的医学图像分割***,其特征在于,包括:
特征提取模块:所述特征提取模块采用第一卷积神经网络,对输入的医学图像进行特征的逐层抽取,得到对于输入医学图像的抽象特征;
前景信息特征上采样模块:所述前景信息特征上采样模块利用第二卷积神经网络,对特征提取模块中提取得到的特征完成特征的上采样,生成包含关于前景和背景的图像分割结果的特征;
反馈机制模块:所述反馈机制模块将前景信息特征上采样模块在完成上采样的过程中逐层生成的特征传递至特征提取模块中,以丰富所述特征提取模块中的特征;
门控机制模块:所述门控机制模块利用多种门控机制,对反馈机制模块传递过程中的特征进行选择和筛选,实现冗余特征的过滤;
语义信息特征上采样模块:所述语义信息特征上采样模块利用第三卷积神经网络,对经过反馈机制模块丰富的特征提取模块中的特征进行上采样,生成最终的医学图像分割结果。
2.根据权利要求1所述的一种基于深度神经网络的医学图像分割***,其特征在于,所述特征提取模块中采用的第一卷积神经网络,包括:2层卷积层和4个残差模块,其中:每一个所述卷积层均包含数据压缩操作层以及批归一化层;卷积核大小为3×3;输出为代表输入医学图像的抽象特征。
3.根据权利要求1所述的一种基于深度神经网络的医学图像分割***,其特征在于,所述前景信息特征上采样模块中利用的第二卷积神经网络,包括:4个残差模块以及2个卷积层,其中:每一个所述卷积层均包含数据压缩操作层和批归一化层;每一个所述残差模块中均设置有转置卷积层用以实现特征的上采样;卷积核大小为3×3;转置卷积核大小为2×2;输出的包含关于前景和背景的图像分割结果的特征为包括医学图像前景分割结果的特征。
4.根据权利要求1所述的一种基于深度神经网络的医学图像分割***,其特征在于,所述语义信息特征上采样模块中利用的第三卷积神经网络,包括:4个残差模块以及2个卷积层,其中:每一个所述卷积层均包含数据压缩操作层和批归一化层;每一个所述残差模块中均设置有转置卷积层用以实现特征的上采样;卷积核大小为3×3;转置卷积核大小为2×2;输出为医学图像的语义分割结果。
5.根据权利要求1所述的一种基于深度神经网络的医学图像分割***,其特征在于,所述门控机制模块,通过通道注意力和空间注意力两种门控机制的组合,实现对特征通道维度和空间维度的筛选,包括:
-通道注意力模块:对于通道数为C,宽和高分别为H和W的特征,所述通道注意力模块为特征的每一个通道提供一个权重,即长度为C的向量,用来表示对每个通道的关注程度,权重越高,则表明通道注意力模块对该通道的关注程度越高;所述权值的计算方法包括:
对于通道数为C,宽和高分别为H和W的特征,首先通过全局池化操作对特征进行处理,得到长度为C的向量;
通过两个1×1的卷积层,将长度为C的向量的维度首先压缩至C/K,其中K表示维度压缩比例,进而再将维度扩张为C;
通过Sigmoid激活函数,将长度为C的向量中各元素值映射到0和1之间,得到每个通道的注意力权重;
-空间注意力模块:对于通道数为C,宽和高分别为H和W的特征,在空间维度上为各个像素点生成一个权重,即宽为H、高为W的掩码,用来表示空间注意力模块对每个像素点的重视程度;所述权重的计算方法包括:
对于通道数为C,宽和高分别为H和W的特征,首先对特征沿着通道维度进行平均池化操作,得到高和宽分别为H和W的特征;
进而对此特征通过一层卷积运算以及Sigmoid非线性激活函数,将特征上的每一个值映射到0和1之间,得到高和宽分别为H和W的掩码,该值越大,表明关注程度越高。
6.根据权利要求1所述的一种基于深度神经网络的医学图像分割***,其特征在于,所述反馈机制模块在前景信息特征上采样模块和特征提取模块之间添加反馈连接,在生成关于前景和背景的图像分割结果的同时,将包含前景信息的特征传递至特征提取模块中以丰富能够利用的特征;所述门控机制模块设置于反馈连接中。
7.根据权利要求1-6中任一项所述的一种基于深度神经网络的医学图像分割***,其特征在于,通过定义更新机制,对医学图像分割***进行训练,其中,所述更新机制的表达形式为:
其中,p和g分别代表医学图像分割***得到的分割结果以及真实分割标注;M和N分别代表分割类别数以及图像的像素个数;j和i分别表示第j类分割目标和第i个像素;
更新机制所用方法的表达形式如下:
其中,θ表示医学图像分割***中所有模块的参数;η是更新率,用于控制医学图像分割***更新的幅度;是更新机制计算后对医学图像分割***反馈的信息。
8.根据权利要求7所述的一种基于深度神经网络的医学图像分割***,其特征在于,所述医学图像分割***接收的训练样本格式为(x,y,z)的三元组,其中,x为输入的医学图像,y为人工标注的前景分割结果,z为人工标注的语义分割结果。
9.一种基于深度神经网络的医学图像分割方法,其特征在于,包括:
采用第一卷积神经网络,对输入的医学图像进行特征的逐层抽取,得到对于输入医学图像的抽象特征;
利用第二卷积神经网络,对提取得到的抽象特征完成特征的上采样,生成包含关于前景和背景的图像分割结果的特征;
将生成的包含关于前景和背景的图像分割结果的特征传递至抽象特征处,以丰富抽象特征;
利用多种门控机制,对传递过程中的特征进行选择和筛选,实现冗余特征的过滤;
利用第三卷积神经网络,对传递丰富后的特征进行上采样,生成最终的医学图像分割结果。
10.一种基于深度神经网络的医学图像分割终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求9所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010284305.5A CN111626296B (zh) | 2020-04-13 | 2020-04-13 | 基于深度神经网络的医学图像分割***及方法、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010284305.5A CN111626296B (zh) | 2020-04-13 | 2020-04-13 | 基于深度神经网络的医学图像分割***及方法、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111626296A CN111626296A (zh) | 2020-09-04 |
CN111626296B true CN111626296B (zh) | 2023-04-21 |
Family
ID=72258836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010284305.5A Active CN111626296B (zh) | 2020-04-13 | 2020-04-13 | 基于深度神经网络的医学图像分割***及方法、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626296B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112561819A (zh) * | 2020-12-17 | 2021-03-26 | 温州大学 | 一种基于自支持模型的自滤波图像去雾算法 |
CN112949838B (zh) * | 2021-04-15 | 2023-05-23 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
CN113538476B (zh) * | 2021-07-20 | 2024-05-28 | 大连民族大学 | 一种基于边缘特征提取的深度学习图像分割方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
CN110569851A (zh) * | 2019-08-28 | 2019-12-13 | 广西师范大学 | 门控多层融合的实时语义分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190295260A1 (en) * | 2016-10-31 | 2019-09-26 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
US10595727B2 (en) * | 2018-01-25 | 2020-03-24 | Siemens Healthcare Gmbh | Machine learning-based segmentation for cardiac medical imaging |
-
2020
- 2020-04-13 CN CN202010284305.5A patent/CN111626296B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
CN110569851A (zh) * | 2019-08-28 | 2019-12-13 | 广西师范大学 | 门控多层融合的实时语义分割方法 |
Non-Patent Citations (2)
Title |
---|
Yuze Guo,et al.Regularize Network Skip Connections by Gating Mechanisms for Electron Microscopy Image Segmentation.2019 IEEE International Conference on Multimedia and Expo.2019,868-873. * |
杨金鑫 ; 杨辉华 ; 李灵巧 ; 潘细朋 ; 刘振丙 ; 周洁茜 ; .结合卷积神经网络和超像素聚类的细胞图像分割方法.计算机应用研究.2017,(第05期),295-298. * |
Also Published As
Publication number | Publication date |
---|---|
CN111626296A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626296B (zh) | 基于深度神经网络的医学图像分割***及方法、终端 | |
CN107767408B (zh) | 图像处理方法、处理装置和处理设备 | |
CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
WO2020107847A1 (zh) | 基于骨骼点的跌倒检测方法及其跌倒检测装置 | |
Lu et al. | Index networks | |
CN111709321B (zh) | 一种基于图卷积神经网络的人体行为识别方法 | |
CN109961005A (zh) | 一种基于二维卷积网络的动态手势识别方法及*** | |
CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
CN110008961A (zh) | 文字实时识别方法、装置、计算机设备及存储介质 | |
CN117078941B (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
CN109754357B (zh) | 图像处理方法、处理装置以及处理设备 | |
CN116364227A (zh) | 基于记忆能力学习的医学影像报告自动生成方法 | |
CN112651360A (zh) | 一种小样本下骨架动作识别方法 | |
CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
CN113657272B (zh) | 一种基于缺失数据补全的微视频分类方法及*** | |
Zhou et al. | A superior image inpainting scheme using Transformer-based self-supervised attention GAN model | |
CN112668543B (zh) | 一种手模型感知的孤立词手语识别方法 | |
CN110033034A (zh) | 一种非均匀纹理的图片处理方法、装置和计算机设备 | |
Kang et al. | 3D human pose lifting with grid convolution | |
CN105931181A (zh) | 基于非耦合映射关系的影像超分辨率重建方法及*** | |
CN113436198A (zh) | 一种协同图像超分辨率重建的遥感图像语义分割方法 | |
CN116385265B (zh) | 一种图像超分辨率网络的训练方法及装置 | |
CN116665300A (zh) | 基于时空自适应特征融合图卷积网络的骨架动作识别方法 | |
CN116978057A (zh) | 图像中人体姿态迁移方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |