CN114742848B - 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 - Google Patents
基于残差双重注意力的息肉图像分割方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114742848B CN114742848B CN202210555996.7A CN202210555996A CN114742848B CN 114742848 B CN114742848 B CN 114742848B CN 202210555996 A CN202210555996 A CN 202210555996A CN 114742848 B CN114742848 B CN 114742848B
- Authority
- CN
- China
- Prior art keywords
- feature
- level
- features
- attention
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质。本发明涉及图像处理技术领域,其包括:获取内窥镜图像,并对内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;将多个高层特征及第三低层特征进行特征增强融合得到全局特征;根据全局特征、多个高层特征以及第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征;将卷积及上采样后的目标残差双重注意力特征输入激活函数以得到息肉分割图。本申请实施例可提高息肉图像的分割准确率。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质。
背景技术
结直肠癌包括结肠癌和直肠癌,是一种高发的恶性肿瘤,而大多数结直肠癌是由结肠或直肠上的息肉演变而来,因此,息肉的早期筛查对结直肠癌的预防至关重要。现有技术中,内窥镜检查因利于医生直观地观察病灶的形态特征,被认为是诊断结息肉的金标准,但内窥镜检查高度依赖经验丰富的临床医生,临床医师诊断一个病人的内窥镜图像需要花费较长时间,极大地降低了息肉的筛查效率,而且息肉通常呈现出颜色纹理变化差异大、大小不一、形状边缘不规则等特性,使得边界不清晰且难定位,极大地降低了息肉图像分割的准确率。
发明内容
本发明实施例提供了一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质,旨在解决现有息肉图像分割准确率不高的问题。
第一方面,本发明实施例提供了一种基于残差双重注意力的息肉图像分割方法,应用于构建的息肉分割模型,其包括:
获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;
将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;
根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征;
将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
第二方面,本发明实施例还提供了一种基于残差双重注意力的息肉图像分割装置,应用于构建的息肉分割模型,其包括:
特征提取单元,用于获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;
增强融合单元,用于将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;
残差双重注意力单元,用于根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征;
输出单元,用于将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
第三方面,本发明实施例还提供了一种息肉图像分割设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。
本发明实施例提供了一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质。其中,所述方法包括:获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征;将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。本发明实施例的技术方案,先将多个高层特征及第三低层特征进行特征增强融合得到全局特征,可确保从多尺度观察内窥镜图像;再根据全局特征、多个高层特征以及第三低层特征通过残差双重注意力方法得到目标残差双重注意力特征,进而得到息肉分割图,可对息肉信息进行残差双重注意力学习,进而提高息肉图像的分割准确率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的模型整体示意图;
图2为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的流程示意图;
图3为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的增强融合单元的示意图;
图4为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的子流程示意图;
图5为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的子流程示意图;
图6为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的残差双重注意力单元的示意图;
图7为本发明实施例提供的一种基于残差双重注意力的息肉图像分割装置的示意性框图;以及
图8为本发明实施例提供的一种息肉图像分割设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1,图1是本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的模型整体结构示意图。本发明实施例的基于残差双重注意力的息肉图像分割方法可应用于构建的息肉分割模型中,例如可通过配置于与所述息肉分割模型相对应的软件程序来实现所述基于残差双重注意力的息肉图像分割方法,从而提高息肉图像的分割准确率。如图1所述,所述息肉分割模型包括特征提取模块、多特征增强融合(MEF,Multi-featureEnhancement and Fusion)模块以及残差双重注意力RDA(RDA,Residual DualAttention)模块,可理解地,所述特征提取模块、所述多特征增强融合模块以及所述残差双重注意力模块分别对应于基于残差双重注意力的息肉图像分割装置中的特征提取单元、增强融合单元以及残差双重注意力单元,在本发明实施例中,先将内窥镜图像及Ground Truth图像输入特征提取模块进行特征提取,得到F1、F2、F3、F4、F5五个特征,再通过多特征增强融合模块将F3、F4、F5进行特征增强融合得到全局特征然后通过残差双重注意力模块以级联的方式对F3、F4、F5进行特征融合得到目标残差双重注意力特征最后将卷积上采样后,再将其输入激活函数以输出息肉分割图。
请参阅图2,图2是本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的流程示意图。如图2所示,该方法包括以下步骤S100-S130。
S100、获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征。
在本发明实施例中,获取内窥镜图像,并通过所述特征提取模块对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;所述多个高层特征包括第一高层特征及第二高层特征,可理解地,所述第一低层特征卷积得到所述第二低层特征,所述第二低层特征卷积得到所述第三低层特征,所述第三低层特征卷积得到第一高层特征,依次类推,得到所述第二高层特征。需要说明的是,在本发明实施例中,所述特征提取模块为Res2Net模型,所述Res2Net模型输出网络层如表1所示,第一层至第五层输出图像信息分别对应所述第一低层特征、第二低层特征、第三低层特征、第一高层特征以及第二高层特征。还需要说明的是,低层特征分辨率高,保留着丰富的边界信息,但是由于经过的卷积少,其语义性更低,噪声更多;高层特征由于编码过程多次卷积,损失了较多的细节信息,但是保留了一致的语义特征和清晰的背景。
进一步地,在本发明实施例中,在使用所述息肉分割模型对所述内窥镜图像进行分割之前,还需要先对所述息肉分割模型进行训练、验证以及测试,而进行训练、验证以及测试的数据集来源于五个公开的息肉数据集,所述息肉数据集分别为ETIS数据集、CVC-ClinicDB数据集、CVC-ColonDB数据集、CVC-300数据集以及Kvasir数据集。其中,Kvasir数据集包含1000张息肉图像;CVC-ColonDB数据集包含380张息肉图像;ETIS数据集包含196张用于结直肠癌的早期诊断的息肉图像;CVC-ClinicDB数据集包含612张结肠镜检查图像;CVC-300数据集包含300张结肠镜检查图像。可理解地,上述五个息肉数据集的息肉图像均有与其相对应的Ground Truth图像,其中,所述Ground Truth图像为由专业内窥镜医生进行手动标注得到,用白色代表息肉区域,用黑色代表背景区域。在实际应用中,将CVC-612数据集和Kvasir数据集按预设比例划分为训练数据集、验证数据集以及第一测试数据集,其中,所述预设比例为8:1:1。分别随机抽取CVC-300数据集、CVC-ColonDB数据集以及ETIS数据集中的10%的数据作为第二测试数据集,并将所述第一测试数据集及所述第二测试数据集作为测试数据集。需要说明的是,在本发明实施例中,所述训练数据集及所述验证数据集用于所述息肉分割模型的训练阶段,所述测试数据集用于对优化后的所述息肉分割模型进行测试。
更进一步地,在本发明实施例中,所有输入所述息肉分割模型的图像均需要先将其调整为预设尺寸大小,其中,所述预设尺寸大小为352×352;并采用多尺度训练策略替代数据增强,例如将预设尺寸大小缩放为{0.75,1,1.25},可在一定程度上提高所述息肉分割模型的鲁棒性。进一步地,所述息肉分割模型是在PyTorch深度学习框架下搭建,并使用Adam优化器,初始学习率设定为0.0001,训练批大小batchsize设置为16,训练周期epoch设置为20,迭代次数iteration设置为20。
表1
网络层名称 | 输出图像信息(输入图片尺寸352×352×3) |
第一层 | (batchsize,64,88,88) |
第二层 | (batchsize,256,88,88) |
第三层 | (batchsize,512,44,44) |
第四层 | (batchsize,1024,22,22) |
第五层 | (batchsize,2048,11,11) |
S110、将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征。
在本发明实施例中,如图3所示,所述多特征增强融合模块包括感受野(RFB,Receptive Fields Block)模块、通道注意力(CA,ChannelAttention)模块以及部分编码(PD,Partial Decoder)模块,将所述第三低层特征、所述第一高层特征以及所述第二高层特征作为所述多特征增强融合模块的输入,并通过所述感受野模块扩大感受野及通过所述通道注意模块进行多通道学习之后,再通过所述部分编码模块进行特征融合,不仅避免了直接特征融合会稀释深层特征信息,还可加强信息流动和特征表达。需要说明的是,在本发明实施例中,在所述息肉分割模型的训练、验证以及测试阶段,将所述全局特性经过1×1卷积及上采样操作之后可得到全局映射图Sg。
请参阅图4,在一实施例中,例如在本发明实施例中,所述步骤S110包括如下步骤S111-S113。
S111、将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野;
S112、将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征,并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征;
S113、根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征。
在本发明实施例中,将所述第一高层特征F4、所述第二高层特征F5以及所述第三低层特征F3均输入感受野模块扩大感受野,其中,所述感受野模块为Receptive Field Block网络中的模块;将扩大感受野后的所述第三低层特征F3输入通道注意力模块进行通道学习得到目标低层特征,并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征其中,所述通道注意力模块为Sca-cnn网络中的模块;根据F4、F5以及通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征其中,所述部分编码模块为Cascaded Partial Decoder网络中的模块。具体地,将下采样后与扩大感受野后的F4进行拼接,拼接后再进行1×1卷积及上采样得到第一目标高层特征;将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征,并将所述第一目标通道高层特征及所述第一目标高层特征相乘,以进行特征融合处理得到第一增强高层特征将及进行下采样后与扩大感受野后的F5进行拼接,拼接后再进行1×1卷积及上采样得到第二目标高层特征;将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征,并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征将以及输入部分编码模块并行连接,以将增强后的特征进行融合得到全局特征
S120、根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征。
在本发明实施例中,将以及输入部分编码模块并行连接,以将增强后的特征进行融合得到全局特征之后,会根据所述全局特征F4、F5以及F3通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征,其中,所述残差双重注意力方法是先根据和F5进行残差双重注意力学习得到第一残差双重注意力特征然后根据和F4进行残差双重注意力学习得到第二残差双重注意力特征最后根据和F3进行残差双重注意力学习得到第三残差双重注意力特征将作为目标残差双重注意力特征。需要说明的是,在本发明实施例中,残差双重注意力学习是学习背景及前景的注意力特征。
进一步地,在本发明实施例中,在所述息肉分割模型的训练阶段,分别将所述第一残差双重注意力特征第二残差双重注意力特征以及第三残差双重注意力特征经过1×1卷积及上采样操作之后可得到上层预测图S5、S4以及S3。Sg、S5、S4以及S3与所述Ground Truth图像采用监督策略,通过预设损失函数计算总体损失,进而去迭代更新网络以对所述息肉分割模型进行训练,其中,所述预设损失函数如公式(1)所示,在公式(1)中,G为所述Ground Truth图像,表示所述全局映射图的上采样,分别表示上层预测图S5、S4以及S3的上采样,L的计算公式为其中,表示基于全局约束和局部约束的加权IoU损失,表示二进制交叉熵(BCE)损失。在实际应用中,使用mean IoU和mean Dice作为定量评估,其中,mean IoU用于衡量检测物体准确度;mean Dice用于衡量样本之间的相似度。通过迭代训练可提高所述息肉分割模型的学习能力、泛化能力。
请参阅图5,在一实施例中,例如在本发明实施例中,所述步骤S120包括如下步骤S121-S126。
S121、将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征,并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征;
S122、对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图;
S123、根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征;
S124、根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征;
S125、将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征,并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第二残差双重注意力特征;
S126、将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征,并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第三残差双重注意力特征,将所述第三残差双重注意力特征作为目标残差双重注意力特征。
在本发明实施例中,如图6所示,将下采样后的所述全局特征与所述第二高层特征F5进行拼接得到输入特征具体地,如公式(2)所示,在公式(2)中,oncat(·)表示跨通道拼接,up(·)表示双线性插值的上采样操作,down(·)表示双线性插值的下采样操作,对进行双分支卷积得到第一注意力图及第二注意力图其中,双分支卷积包括第一分支卷积及第二分支卷积,所述第一分支卷积为k×1和1×k的卷积,所述第二分支均价为1×k和k×1的卷积,可理解地,在本发明实施例中,k设置为9,通过双分支卷积可增大感受野及减少训练次数;将及相加后输入所述激活函数Sigmoid得到前景注意力图将进行像素反转得到背景注意力图具体操作如公式(3)所示,在公式(3)中,σ”表示sigmoid激活函数,“-”表示像素反转操作;将F5与逐像素相乘之后,与F5相加得到前景特征如公式(4)所示;将F5与逐像素相乘之后,进行像素反转处理后再与F5相加得到背景特征如公式(5)所示,其中,在公式(5)中,-表示像素反转;为了将背景特征中的细节补充到前景特征中,还需将及进行跨通道拼接之后,进行卷积得到前后景融合特征如公式(6)所示;为了对的权重进行重新分配,以探究空间信息,还通过空间注意力模块对进行空间注意力学习得到前后景空间注意力特征将与逐像素相乘得到残差特征将及上采样后的逐像素相加得到第一残差双重注意力特征得到之后,如公式(2)所示,将上采样后的与F4进行拼接得到所述输入特征重复上述步骤,得到第二残差双重注意力特征最后如公式(2)所示,将上采样后的与F3进行拼接得到所述输入特征重复上述步骤,得到第三残差双重注意力特征将作为目标残差双重注意力特征。需要说明的是,在本发明实施例中,上采样均为双线性插值的上采样。
进一步地,如图6所示,Element-wise multiplication表示特征矩阵做乘法,Sigmoid function表示Sigmoid激活函数,Element-wise addition表示特征矩阵做加法,Concentration表示特征之间的拼接,SpatialAttention表示空间注意力空间注意力模块。
S130、将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
需要说明的是,在本发明实施例中,通过多特征增强融合模块可对第三低层特征、第一高层特征以及第二高层特征进行扩大感受野、空间注意力学习以及特征融合,可获得更为准确的全局特征;根据全局特征、第一高层特征、第二高层特征以及第三低层特征通过级联的方式进行残差双重注意力学习,即可对背景特征及前景特征进行学习,可提高息肉图像的分割准确率。
图7是本发明实施例提供的一种基于残差双重注意力的息肉图像分割装置200的示意性框图。如图7所示,对应于以上基于残差双重注意力的息肉图像分割方法,本发明还提供一种基于残差双重注意力的息肉图像分割装置200。该基于残差双重注意力的息肉图像分割装置200包括用于执行上述基于残差双重注意力的息肉图像分割方法的单元,该装置可以被配置于息肉图像分割设备中。具体地,请参阅图7,该基于残差双重注意力的息肉图像分割装置200包括特征提取单元201、增强融合单元202、残差双重注意力单元203以及输出单元204。
其中,所述特征提取单元201用于获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;所述增强融合单元202用于将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;所述残差双重注意力单元203用于根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征;所述输出单元204用于将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
在某些实施例,例如本实施例中,所述增强融合单元202包括扩大感受野单元、第一特征融合单元以及第二特征融合单元。
其中,所述扩大感受野单元用于将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野;所述第一特征融合单元用于将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征,并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征;所述第二特征融合单元用于根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征,具体地,将所述增强低层特征下采样后与扩大感受野后的所述第一高层特征进行拼接,拼接后再进行卷积及上采样得到第一目标高层特征;将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征,并将所述第一目标通道高层特征及所述第一目标高层特征进行特征融合处理得到第一增强高层特征;将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二高层特征进行拼接,拼接后再进行卷积及上采样得到第二目标高层特征;将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征,并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征;将所述增强低层特征、所述第一增强高层特征以及所述第二增强高层特征输入部分编码模块进行特征融合处理得到全局特征。
在某些实施例,例如本实施例中,所述残差双重注意力单元203包括拼接单元、处理单元、残差双重注意力学习单元、空间注意力学习单元、第一返回执行单元以及第二返回执行单元。
其中,所述拼接单元用于将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征,并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征;所述处理单元用于对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图,具体地,对所述当前上级输入特征进行双分支卷积得到第一注意力图及第二注意力图;将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力图;将所述前景注意力图进行像素反转得到背景注意力图;所述残差双重注意力学习单元用于根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征,具体地,将所述当前输入特征与所述前景注意力图逐像素相乘之后,与所述当前输入特征相加得到前景特征;将所述当前输入特征与所述背景注意力图逐像素相乘之后,进行像素反转处理后再与所述当前输入特征相加得到背景特征;所述空间注意力学习单元用于根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征,具体地,将所述前景特征及所述背景特征进行拼接之后,进行卷积得到前后景融合特征;通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注意力特征;将所述前后景融合特征与所述前后景空间注意力特征逐像素相乘得到残差特征;将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征;所述第一返回执行单元用于将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征,并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第二残差双重注意力特征;所述第二返回执行单元用于将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征,并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第三残差双重注意力特征,将所述第三残差双重注意力特征作为目标残差双重注意力特征。
本发明实施例的基于残差双重注意力的息肉图像分割装置200的具体实现方式与上述基于残差双重注意力的息肉图像分割方法相对应,在此不再赘述。
上述基于残差双重注意力的息肉图像分割装置可以实现为一种计算机程序的形式,该计算机程序可以在如图8所示的息肉图像分割设备上运行。
请参阅图8,图8是本申请实施例提供的一种息肉图像分割设备的示意性框图。该息肉图像分割设备300为服务器,具体地,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图8,该息肉图像分割设备300包括通过***总线301连接的处理器302、存储器和网络接口305,其中,存储器可以包括存储介质303和内存储器304。
该存储介质303可存储操作***3031和计算机程序3032。该计算机程序3032被执行时,可使得处理器302执行一种基于残差双重注意力的息肉图像分割方法。
该处理器302用于提供计算和控制能力,以支撑整个息肉图像分割设备300的运行。
该内存储器304为存储介质303中的计算机程序3032的运行提供环境,该计算机程序3032被处理器302执行时,可使得处理器302执行一种基于残差双重注意力的息肉图像分割方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的息肉图像分割设备300的限定,具体的息肉图像分割设备300可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器302用于运行存储在存储器中的计算机程序3032,以实现如下步骤:获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征;将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征;将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
在某些实施例,例如本实施例中,处理器302在实现所述将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征的步骤时,具体实现如下步骤:将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野;将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征,并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征;根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征。
在某些实施例,例如本实施例中,处理器302在实现所述根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征步骤时,具体实现如下步骤:将所述增强低层特征下采样后与扩大感受野后的所述第一高层特征进行拼接,拼接后再进行卷积及上采样得到第一目标高层特征;将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征,并将所述第一目标通道高层特征及所述第一目标高层特征进行特征融合处理得到第一增强高层特征;将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二高层特征进行拼接,拼接后再进行卷积及上采样得到第二目标高层特征;将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征,并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征;将所述增强低层特征、所述第一增强高层特征以及所述第二增强高层特征输入部分编码模块进行特征融合处理得到全局特征。
在某些实施例,例如本实施例中,处理器302在实现所述根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征步骤时,具体实现如下步骤:将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征,并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征;对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图;根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征;根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征;将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征,并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第二残差双重注意力特征;将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征,并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第三残差双重注意力特征,将所述第三残差双重注意力特征作为目标残差双重注意力特征。
在某些实施例,例如本实施例中,处理器302在实现所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图步骤时,具体实现如下步骤:对所述当前上级输入特征进行双分支卷积得到第一注意力图及第二注意力图;将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力图;将所述前景注意力图进行像素反转得到背景注意力图。
在某些实施例,例如本实施例中,处理器302在实现所述根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征步骤时,具体实现如下步骤:将所述当前输入特征与所述前景注意力图逐像素相乘之后,与所述当前输入特征相加得到前景特征;将所述当前输入特征与所述背景注意力图逐像素相乘之后,进行像素反转处理后再与所述当前输入特征相加得到背景特征。
在某些实施例,例如本实施例中,处理器302在实现所述根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征步骤时,具体实现如下步骤:将所述前景特征及所述背景特征进行拼接之后,进行卷积得到前后景融合特征;通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注意力特征;将所述前后景融合特征与所述前后景空间注意力特征逐像素相乘得到残差特征;将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征。
应当理解,在本申请实施例中,处理器302可以是中央处理单元(CentralProcessing Unit,CPU),该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该计算机程序被该计算机***中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于残差双重注意力的息肉图像分割方法的任意实施例。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台息肉图像分割设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于残差双重注意力的息肉图像分割方法,应用于构建的息肉分割模型,其特征在于,包括:
获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征,所述多个高层特征包括第一高层特征及第二高层特征;
将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;
将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征,并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征;
对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图;
根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征;
根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征;
将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征,并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第二残差双重注意力特征;
将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征,并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第三残差双重注意力特征,将所述第三残差双重注意力特征作为目标残差双重注意力特征;
将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
2.根据权利要求1所述的方法,其特征在于,所述多个高层特征包括第一高层特征及第二高层特征,所述将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征的步骤,包括:
将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野;
将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征,并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征;
根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征。
3.根据权利要求2所述的方法,其特征在于,所述根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征,包括:
将所述增强低层特征下采样后与扩大感受野后的所述第一高层特征进行拼接,拼接后再进行卷积及上采样得到第一目标高层特征;
将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征,并将所述第一目标通道高层特征及所述第一目标高层特征进行特征融合处理得到第一增强高层特征;
将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二高层特征进行拼接,拼接后再进行卷积及上采样得到第二目标高层特征;
将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征,并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征;
将所述增强低层特征、所述第一增强高层特征以及所述第二增强高层特征输入部分编码模块进行特征融合处理得到全局特征。
4.根据权利要求1所述的方法,其特征在于,所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图,包括:
对所述当前上级输入特征进行双分支卷积得到第一注意力图及第二注意力图;
将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力图;
将所述前景注意力图进行像素反转得到背景注意力图。
5.根据权利要求1所述的方法,其特征在于,所述根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征,包括:
将所述当前输入特征与所述前景注意力图逐像素相乘之后,与所述当前输入特征相加得到前景特征;
将所述当前输入特征与所述背景注意力图逐像素相乘之后,进行像素反转处理后再与所述当前输入特征相加得到背景特征。
6.根据权利要求1所述的方法,其特征在于,所述根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征,包括:
将所述前景特征及所述背景特征进行拼接之后,进行卷积得到前后景融合特征;
通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注意力特征;
将所述前后景融合特征与所述前后景空间注意力特征逐像素相乘得到残差特征;
将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征。
7.一种基于残差双重注意力的息肉图像分割装置,应用于构建的息肉分割模型,其特征在于,包括:
特征提取单元,用于获取内窥镜图像,并对所述内窥镜图像进行特征提取,得到多个低层特征及多个高层特征,其中,所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征,所述多个高层特征包括第一高层特征及第二高层特征;
增强融合单元,用于将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征;
拼接单元,用于将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征,并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征;
处理单元,用于对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图;
残差双重注意力学习单元,用于根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征;
空间注意力学习单元,用于根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征,将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征;
第一返回执行单元,用于将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征,并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第二残差双重注意力特征;
第二返回执行单元,用于将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征,并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征,返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤,直至得到第三残差双重注意力特征,将所述第三残差双重注意力特征作为目标残差双重注意力特征;
输出单元,用于将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
8.一种息肉图像分割设备,其特征在于,所述息肉图像分割设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210555996.7A CN114742848B (zh) | 2022-05-20 | 2022-05-20 | 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210555996.7A CN114742848B (zh) | 2022-05-20 | 2022-05-20 | 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114742848A CN114742848A (zh) | 2022-07-12 |
CN114742848B true CN114742848B (zh) | 2022-11-29 |
Family
ID=82287072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210555996.7A Active CN114742848B (zh) | 2022-05-20 | 2022-05-20 | 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114742848B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116957968B (zh) * | 2023-07-20 | 2024-04-05 | 深圳大学 | 一种消化道内窥镜图像增强方法、***、设备及介质 |
CN116935051B (zh) * | 2023-07-20 | 2024-06-14 | 深圳大学 | 一种息肉分割网络方法、***、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188765A (zh) * | 2019-06-05 | 2019-08-30 | 京东方科技集团股份有限公司 | 图像语义分割模型生成方法、装置、设备及存储介质 |
CN113538313A (zh) * | 2021-07-22 | 2021-10-22 | 深圳大学 | 一种息肉分割方法、装置、计算机设备及存储介质 |
CN113838047A (zh) * | 2021-10-11 | 2021-12-24 | 深圳大学 | 基于内窥镜图像的大肠息肉分割方法、***及相关组件 |
CN113989301A (zh) * | 2021-10-29 | 2022-01-28 | 浙江工业大学 | 一种融合多种注意力机制神经网络的结直肠息肉分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872328B (zh) * | 2019-01-25 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 一种脑部图像分割方法、装置和存储介质 |
CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
CN114170167B (zh) * | 2021-11-29 | 2022-11-18 | 深圳职业技术学院 | 基于注意力引导上下文校正的息肉分割方法和计算机设备 |
-
2022
- 2022-05-20 CN CN202210555996.7A patent/CN114742848B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188765A (zh) * | 2019-06-05 | 2019-08-30 | 京东方科技集团股份有限公司 | 图像语义分割模型生成方法、装置、设备及存储介质 |
CN113538313A (zh) * | 2021-07-22 | 2021-10-22 | 深圳大学 | 一种息肉分割方法、装置、计算机设备及存储介质 |
CN113838047A (zh) * | 2021-10-11 | 2021-12-24 | 深圳大学 | 基于内窥镜图像的大肠息肉分割方法、***及相关组件 |
CN113989301A (zh) * | 2021-10-29 | 2022-01-28 | 浙江工业大学 | 一种融合多种注意力机制神经网络的结直肠息肉分割方法 |
Non-Patent Citations (2)
Title |
---|
A DUAL-ATTENTION DILATED RESIDUAL NETWORK FOR LIVER LESION CLASSIFICATION AND LOCALIZATION ON CT IMAGES;Xiao Chen et al.;《IEEE》;20191231;第235-239页 * |
基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割;徐宏伟 等;《计算机应用研究》;20200731;第37卷(第7期);第2237-2240页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114742848A (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112489061B (zh) | 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法 | |
US11328430B2 (en) | Methods, systems, and media for segmenting images | |
CN114742848B (zh) | 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 | |
CN109410216B (zh) | 一种缺血性脑卒中图像区域分割方法及装置 | |
CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
Ashraf et al. | Melanoma segmentation using deep learning with test-time augmentations and conditional random fields | |
CN114419020B (zh) | 医学图像分割方法、装置、计算机设备及存储介质 | |
CN114758137B (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
Huang et al. | Deep neural network trained on gigapixel images improves lymph node metastasis detection in clinical settings | |
CN114170167B (zh) | 基于注意力引导上下文校正的息肉分割方法和计算机设备 | |
CN112767417A (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
CN113838047B (zh) | 基于内窥镜图像的大肠息肉分割方法、***及相关组件 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN115239655A (zh) | 一种甲状腺超声影像肿瘤分割分类方法及装置 | |
CN114926423B (zh) | 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质 | |
CN113764101A (zh) | 基于cnn的乳腺癌新辅助化疗多模态超声诊断*** | |
CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及*** | |
CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
CN117576383A (zh) | 一种基于注意力解码的可信息肉分割方法及*** | |
CN112884702A (zh) | 一种基于内窥镜图像的息肉识别***和方法 | |
CN114445426B (zh) | 内窥镜图像中息肉区域的分割方法、装置及相关组件 | |
CN113920099B (zh) | 一种基于非局部信息提取的息肉分割方法及相关组件 | |
Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
CN114693703A (zh) | 皮肤镜图像分割模型训练、皮肤镜图像识别方法及装置 | |
CN114549992A (zh) | 一种跨分辨率的建筑物影像提取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |