CN114066904A - 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质 - Google Patents
一种基于深度学习的皮肤病变图像分割方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114066904A CN114066904A CN202111398856.5A CN202111398856A CN114066904A CN 114066904 A CN114066904 A CN 114066904A CN 202111398856 A CN202111398856 A CN 202111398856A CN 114066904 A CN114066904 A CN 114066904A
- Authority
- CN
- China
- Prior art keywords
- scale
- feature
- features
- global
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010040882 skin lesion Diseases 0.000 title claims abstract description 45
- 231100000444 skin lesion Toxicity 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000003709 image segmentation Methods 0.000 title claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 6
- 230000003993 interaction Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000008447 perception Effects 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000037361 pathway Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 208000017520 skin disease Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的皮肤病变图像分割方法、设备及存储介质,方法包括以下步骤:对原始皮肤病变图像做预处理,得到作为模型的输入皮肤病变图像;对输入皮肤病变图像提取多尺度高级特征X1,X2,X3;捕获所述多尺度高级特征X3的全局信息并动态结合,输出自适应特征;多尺度高级特征X1,X2,X3进行交互,对所述自适应特征恢复特征分辨率,并与经过交互的特征结合,输出多尺度特征F1,F2,F3,F4;对多尺度特征F1,F2,F3,F4利用空间注意机制对相邻尺度之间的特征进行交互,再进行卷积和sigmoid函数处理得到预测的分割掩码,即得到皮肤病变图像中的特征图像;多尺度桥接模块该模块结合多尺度特征,能够有效地融合编码器和解码器特征的多尺度上下文信息,进一步提出全局‑局部通道空间注意模块,旨在捕获全局上下文信息。
Description
技术领域
本发明属于医学图像处理领域,具体涉及一种基于深度学习的皮肤病变图像分割方法、设备及存储介质。
背景技术
皮肤疾病占全球疾病负担的很大一部分。皮肤病的种类繁多,临床上可进一步细分为数千种疾病。大多数皮肤病变的诊断依赖于专业的皮肤镜设备。皮肤镜成像是一种非侵入性(与组织活检相比)成像技术,它可以获得局部皮肤区域的放大和光线充足的图像,同时消除皮肤表面反射并增强皮肤病变的成像清晰度。与传统的视觉诊断相比,正确诊断率可提高20%~30%。皮肤镜诊断程序的普及导致皮肤镜图像数据激增。然而,不仅皮肤科医生短缺,而且手动筛选皮肤镜图像是一项耗时、艰巨的工作,其本质上受到主观性的影响。精心设计的计算机辅助诊断***为皮肤镜图像评估提供了一种替代方法,减少皮肤科医生的工作量,提高筛查和诊断的效率和客观性,让皮肤科医生专注于最棘手的病例,最终促进提高诊断效率。
由于皮肤病变的外观和大小存在很大差异,自动皮肤病变分割是一项具有挑战性的任务。较低的图像质量(例如由于不均匀的病变边缘导致的边界模糊、低对比度等)进一步增加了挑战。此外,各种伪影,包括固有的皮肤特征(如头发和血管)以及图像捕捉过程中的伪影(如气泡、标尺痕迹、光照不均匀、病变不完整等)使计算机辅助诊断皮肤病变分割特别困难。
尽管已经提出了各种分割方法来应对这些挑战,但皮肤病变分割的性能仍然存在各种差距。最近的深度学习分割网络的主流是基于全卷积网络(FCN)结构,这种方法通常存在以下局限性:(1)空间信息的损失:通常随着网络的加深,逐渐减少分辨率会导致空间信息的损失;(2)上下文信息不足:不充分的长距离依赖关系,有限的像素级感受野;(3)边界错误:由于边界区域中像素的特征表示通常具有较弱的判别性,因此边界区域内分布着大量的语义分割错误。
发明内容
为了解决现有技术中存在的问题,本发明提供一种基于深度学习的皮肤病变分割方法及***,提出一种新的用于皮肤病变分割的深度学习框架,集成多尺度桥接模块,全局-局部通道空间注意力模块和尺度感知深监督模块,能够有效地捕获和集成多尺度上下文信息,增强多尺度输出,以准确从分割皮肤病变图像中的特征图像。
为了实现上述目的,本发明采用的技术方案是:一种基于深度学习的皮肤病变图像分割方法,包括以下步骤:
对原始皮肤病变图像做预处理,得到作为模型的输入皮肤病变图像;
基于深度学习模型,对输入皮肤病变图像提取多尺度高级特征X1,X2,X3;
捕获所述多尺度高级特征X3的全局信息并动态结合,输出自适应特征;
多尺度高级特征X1,X2,X3进行交互,对所述自适应特征恢复特征分辨率,并与经过交互的特征结合,输出多尺度特征F1,F2,F3,F4;
对多尺度特征F1,F2,F3,F4利用空间注意机制对相邻尺度之间的特征进行交互,再进行卷积和sigmoid函数处理得到预测的分割掩码,即得到皮肤病变图像中的特征图像;
所述深度学习模型基于U-Net结构网络,集成多尺度桥接模块、全局-局部通道空间注意力模块和尺度感知深监督模块;所述U-Net结构网络包括编码器和解码器,编码器和解码器之间设置多尺度桥接模块,多尺度桥接模块用于指导多尺度上下文信息流和解码器特征的融合,在编码器顶部***全局-局部通道空间注意力模块,用来捕获全局上下文信息,所述U-Net结构网络,末端设置尺度感知深监督模块,用于适应地集成多尺度信息以增强最终输出。
皮肤镜图像被送入预训练的ResNet34组成的编码器中提取多尺度高级特征X1,X2,X3。
特征X3经过全局-局部通道空间注意力模块捕获全局信息并动态结合,输出自适应特征。
多尺度桥接模块对特征X1,X2,X3进行交互,自适应特征经过解码器逐渐恢复特征分辨率,并与经过交互的特征结合,输出多尺度特征F1,F2,F3,F4。
多尺度桥接模块,用于对不同尺度的特征进行交叉关注,并结合不同分辨率特征的更多尺度信息,每个级别的上采样期间,解码器的相应分辨率特征在信道上融合,具体的,
X′1,X′2,X′3=MSB(X1,X2,X3)
其中X1,X2,X3为输入皮肤病变图像经过编码器得到的多尺度特征,作为多尺度桥接模块的输入,X′1,X′2,X′3为输出;
对Xi,i∈{1,2,3},通过1×1卷积得到Qi,Ki,Vi:
Qi,Ki,Vi=Conv1x1(Xi)
对i,j∈{1,2,3},i≠j,对不同分辨率的Qi,Kj,Vj进行交互得到Xi_j:
最终,对i,j,k∈{1,2,3},i,j,k两两不等,相同分辨率的特征Xi,Xi_j,Xi_k结合在一起,经过1×1卷积得到输出X′i:
X′i=Conv1x1(Cat[Xi,Xi_j,Xi_k])。
基于编码器获得的特征,以全局和局部方式并行应用通道注意力和空间注意力,以获得四个注意力图:Mgc,Mgs,Mlc,Mls,Mgc,Mgs,Mlc,Mls分别是全局通道注意力图,全局空间注意力图,局部通道注意力图,局部空间注意力图,然后将其乘以全局-局部通道空间注意力模块的输入的特征F,即特征X3,并添加跳跃连接以获得输出特征Fgl。
全局-局部通道空间注意力模块为:
F′l=Mlc·F
Fl″=Mls·Fl′
Fgl=wg·F″g+wl·Fl″+w·F
其中,特征F是全局-局部通道空间注意力模块的输入,即所述X3,Mgc,Mgs,Mlc,Mls分别是全局通道注意力图,全局空间注意力图,局部通道注意力图,局部空间注意力图,特征F′g是特征F经过全局通道注意力的特征,特征F″g是特征F′g经过全局空间注意力的特征,特征Fl′是特征F经过局部通道注意力的特征,特征Fl″是特征F′l经过局部空间注意力的特征,特征Fgl是全局-局部通道空间注意力模块的输出;其中,表示矩阵乘法,·表示逐元素乘法,wg,wl,w均为跳跃连接的可训练参数。
在相邻尺度特征之间采用分层迭代,尺度感知深监督模块结合多尺度特征,利用空间注意机制对相邻尺度之间的特征进行交互,将获得的特征与下一级特征交互,以自适应地融合不同尺度的特征;
对i∈{1,2,3},
Fi′=Mi·Fi+Mi+1·Fi+1
其中Fi,i=1,2,3,4是解码器输出的四个分辨率由高到低的特征,Mi是由尺度感知模块自适应学到的注意力图。
一种计算机设备,包括处理器以及存储器,存储器用于存储计算机可执行程序,处理器从存储器中读取所述计算机可执行程序并执行,处理器执行计算可执行程序时能实现本发明所述基于深度学习的皮肤病变图像分割方法。
一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,能实现本发明所述的基于深度学习的皮肤病变图像分割方法。
与现有技术相比,本发明至少具有以下有益效果:
(1)本发明借鉴U-Net的跳转连接结构,设计多尺度桥接模块,集成多尺度特性,多尺度桥接模块减少了空间信息损失,并过滤掉不相关的杂波,以提高信息利用率,还可以更好地传递梯度;
(2)本发明提出全局-局部通道空间注意力模块,以全局和局部的方式并行执行通道注意力和空间注意力,以捕获重要的全局上下文信息;
(3)本发明提出一种分层迭代形式的深监督方法,能结合多尺度信息,应用空间注意力机制对不同尺度的特征进行不同程度的融合和监督,得到准确的分割边界。
附图说明
图1为一种多尺度上下文注意力模型整体结构。
图2为一种多尺度桥接模块。
图3为一种全局-局部通道空间注意力模块。
图4为一种尺度感知深监督模块。
具体实施方式
下面结合附图对本发明进行详细阐述。
本发明出一种用于皮肤病变分割的深度学习模型,集成多尺度桥接模块,全局-局部通道空间注意力模块和尺度感知深监督模块,能够有效地捕获和集成多尺度上下文信息,增强多尺度输出,以准确分割皮肤病变图像中的特征图像;多尺度桥接模块,旨在实现编码器的多尺度特征与解码器特征更好的连接。全局-局部通道空间注意力模块,通过在执行通道和空间注意时结合全局和局部特征来捕获全局上下文信息。尺度感知深监督模块,这是一种分层迭代的深监督方法,它集成了解码器的多尺度特征以增强最终输出。
(1)整体结构:多尺度上下文注意力模型
不失一般性,本发明采用健壮的U-Net结构作为主干。U-Net主干网是一个端到端可训练网络,包括编码器和解码器,在每个分辨率级别都有一个跳跃连接,编码器和解码器之间设置多尺度桥接模块,多尺度桥接模块用于指导多尺度上下文信息流和解码器特征的融合,而全局-局部通道空间注意力模块***在编码器顶部以捕获全局上下文信息,尺度感知深监督模块设置在网络的末端,用于自适应地集成多尺度信息以增强最终输出。
如图1,第一步,皮肤镜图像被送入预训练的ResNet34组成的编码器中提取多尺度高级特征X1,X2,X3。
第二步,第一步得到的特征X3经过全局-局部通道空间注意力模块(GL-CBAM)捕获全局信息并动态结合,输出自适应特征。
第三步,多尺度桥接模块(MSB)对特征X1,X2,X3进行交互,第二步得到的自适应特征经过解码器逐渐恢复特征分辨率,并与经过交互的特征结合,输出多尺度特征F1,F2,F3,F4。
第四步,第三步中解码器生成的多尺度特征F1,F2,F3,F4通过尺度感知深监督模块(SADS)、1×1卷积和sigmoid层得到预测的分割掩码。
(2)多尺度桥接模块
编码器降低了特征分辨率,导致空间信息损失。通过跳跃连接,可以结合较浅的卷积层特征。高分辨率的浅层特征包含丰富的低层信息,在一定程度上减少了空间信息的损失。另一方面,U形网络中的原始跳跃连接会引入不相关的杂波,并且由于感受野的不匹配而产生语义偏差。参考U-Net跳跃连接结构,我们提出了多尺度桥接模块,如图2所示,用于对不同尺度的特征进行交叉关注,并结合不同分辨率特征的更多尺度信息。在每个级别的上采样期间,解码器的相应分辨率特征在信道上融合。通过融合低层和高层特征,网络可以保留更多高分辨率的细节信息,从而提高各层信息的利用率。受参数量和计算复杂性的限制,我们对X1、X2、X3进行交互。
多尺度桥接模块(MSB)可概括为:
X′1,X′2,X′3=MSB(X1,X2,X3)
其中X1,X2,X3是作为模型的输入皮肤病变图像经过编码器得到的多尺度特征,作为多尺度桥接模块的输入,X′1,X′2,X′3是输出。
对Xi,i∈{1,2,3},通过1x1卷积得到Qi,Ki,Vi:
Qi,Ki,Vi=Conv1x1(Xi)
对i,j∈{1,2,3},i≠j,对不同分辨率的Qi,Kj,Vj进行交互得到Xi_j:
最终,对i,j,k∈{1,2,3},i,j,k两两不等,相同分辨率的特征Xi,Xi_j,Xi_k结合在一起,经过1x1卷积得到输出X′i:
X′i=Conv1x1(Cat[Xi,Xi_j,Xi_k])
(3)全局-局部通道空间注意力模块
注意力机制在学习表征中起着至关重要的作用。如图3所示,我们提出了一种新的注意力机制,称为全局-局部通道空间注意模块(GL-CSAM)。它结合了全局通道注意力、全局空间注意力、局部通道注意力和局部空间注意力,有效地整合了全局上下文信息。
基于编码器获得的特征,以全局和局部方式并行应用通道注意力和空间注意力,以获得四个注意力图:Mgc,Mgs,Mlc,Mls,Mgc,Mgs,Mlc,Mls分别是全局通道注意力图,全局空间注意力图,局部通道注意力图,局部空间注意力图,然后将其乘以原始特征F,即作为全局-局部通道空间注意模块的输入的特征X3,并添加跳跃连接以获得输出特征Fgl。
整个全局-局部通道空间注意力模块(GL-CSAM)可概括为:
Fl′=Mlc·F
Fl″=Mls·Fl′
Fgl=wg·F″g+wl·Fl″+w·F
其中,特征F是全局-局部通道空间注意力模块的输入,对应权利要求1所述的X3,Mgc,Mgs,Mlc,Mls分别是全局通道注意力图,全局空间注意力图,局部通道注意力图,局部空间注意力图,特征F′g是特征F经过全局通道注意力的特征,特征F″g是特征F′g经过全局空间注意力的特征,特征Fl′是特征F经过局部通道注意力的特征,特征Fl″是特征Fl′经过局部空间注意力的特征,特征Fgl是全局-局部通道空间注意力模块的输出;其中,表示矩阵乘法,·表示逐元素乘法,wg,wl,w均为跳跃连接的可训练参数。
(4)尺度感知深监督模块
深监督广泛应用于深度学习模型设计中,通过结合多尺度特征来增强最终输出结果。为了有效利用多尺度特征,我们提出了尺度感知深度监控(SADS)模块。
如图4所示。本发明在相邻尺度特征之间采用分层迭代形式。尺度感知深监督模块(SADS)结合多尺度特征,利用空间注意机制对相邻尺度之间的特征进行交互。然后,获得的特征与下一级特征交互,以自适应地融合不同尺度的特征。
对i∈{1,2,3},
Fi′=Mi·Fi+Mi+1·Fi+1
其中Fi,i=1,2,3,4是解码器输出的四个分辨率由高到低的特征,Mi是由尺度感知(scale aware)模块自适应学到的注意力图。
本发明所述模型训练过程:采用二分类交叉熵损失函数和Dice损失函数的和作为训练的目标函数,采用Adam作为优化器,初始学习率设置为10-3,weight decay设置为10-8,采用CosineAnnealingWarmRestarts学习率更新策略,应用随机梯度下降方法更新模型的参数,训练400个epoch。
(1)为了应对空间信息损失的问题,U-Net中引入了跳跃连接。然而,U形网络中最初的跳跃连接会引入不相关的杂波,并由于感受野的不匹配而产生语义偏差。借鉴U-Net的跳转连接结构,本发明设计多尺度桥接模块,集成多尺度特性,多尺度桥接模块减少了空间信息损失,并过滤掉不相关的杂波,以提高信息利用率,还可以更好地传递梯度。
(2)上下文信息不足的问题可以通过使用注意力机制来克服。注意力机制能够指示要关注的领域,同时提高了重要特征的表示。然而,现有技术中通常只涉及一种或两种形式的注意力机制。本发明提出全局-局部通道空间注意力模块,以全局和局部的方式并行执行通道注意力和空间注意力,以捕获重要的全局上下文信息。
(3)深监督用于克服分割中边界误差的限制。深度监督在深度学习模型的设计中得到了广泛的应用,而其中一些没有充分考虑到不同尺度上的特征映射可以保持与对象的不同相关性。我们提出了一种分层迭代形式的深监督方法,称为尺度感知深监督模块,该算法结合多尺度信息,应用空间注意力机制对不同尺度的特征进行不同程度的融合和监督,得到准确的分割边界。
(4)本发明还可以提供一种计算机设备,包括处理器以及存储器,存储器用于存储计算机可执行程序,处理器从存储器中读取部分或全部所述计算机可执行程序并执行,处理器执行部分或全部计算可执行程序时能实现本发明所述基于深度学习的皮肤病变图像分割方法。
本发明提供了一种典型的皮肤损伤分割模型,即多尺度上下文注意力网络,可以充分利用图像中的多尺度上下文信息,本发明设计一个多尺度桥接模块(MSB),该模块结合多尺度特征,能够有效地融合编码器和解码器特征的多尺度上下文信息,进一步提出一个全局-局部通道空间注意模块(GL-CSAM),旨在捕获全局上下文信息;此外,为了充分利用解码器的多尺度特征,本发明用尺度感知深监督模块(SADS)来实现分层迭代深监督,在公共ISIC 2017、ISIC 2018和PH2数据集上进行的大量实验表明,与现有最先进的皮肤病变分割方法相比,本发明提出的方法具有优越的性能。
另一方面,本发明提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,能实现本发明所述的基于深度学习的皮肤病变图像分割方法。
所述计算机设备可以采用笔记本电脑、桌面型计算机或工作站。
处理器可以是中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)或现成可编程门阵列(FPGA)。
对于本发明所述存储器,可以是笔记本电脑、桌面型计算机或工作站的内部存储单元,如内存、硬盘;也可以采用外部存储单元,如移动硬盘、闪存卡。
计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance Random Access Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。
Claims (10)
1.一种基于深度学习的皮肤病变图像分割方法,其特征在于,包括以下步骤:
对原始皮肤病变图像做预处理,得到作为模型的输入皮肤病变图像;
基于深度学习模型,对输入皮肤病变图像提取多尺度高级特征X1,X2,X3;
捕获所述多尺度高级特征X3的全局信息并动态结合,输出自适应特征;
多尺度高级特征X1,X2,X3进行交互,对所述自适应特征恢复特征分辨率,并与经过交互的特征结合,输出多尺度特征F1,F2,F3,F4;
对多尺度特征F1,F2,F3,F4利用空间注意机制对相邻尺度之间的特征进行交互,再进行卷积和sigmoid函数处理得到预测的分割掩码,即得到皮肤病变图像中的特征图像;
所述深度学习模型基于U-Net结构网络,集成多尺度桥接模块、全局-局部通道空间注意力模块和尺度感知深监督模块;所述U-Net结构网络包括编码器和解码器,编码器和解码器之间设置多尺度桥接模块,多尺度桥接模块用于指导多尺度上下文信息流和解码器特征的融合,在编码器顶部***全局-局部通道空间注意力模块,用来捕获全局上下文信息,所述U-Net结构网络,末端设置尺度感知深监督模块,用于适应地集成多尺度信息以增强最终输出。
2.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法,其特征在于,皮肤镜图像被送入预训练的ResNet34组成的编码器中提取多尺度高级特征X1,X2,X3。
3.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法,其特征在于,特征X3经过全局-局部通道空间注意力模块捕获全局信息并动态结合,输出自适应特征。
4.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法,其特征在于,多尺度桥接模块对特征X1,X2,X3进行交互,自适应特征经过解码器逐渐恢复特征分辨率,并与经过交互的特征结合,输出多尺度特征F1,F2,F3,F4。
5.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法,其特征在于,多尺度桥接模块,用于对不同尺度的特征进行交叉关注,并结合不同分辨率特征的更多尺度信息,每个级别的上采样期间,解码器的相应分辨率特征在信道上融合,具体的,
X′1,X′2,X′3=MSB(X1,X2,X3)
其中X1,X2,X3为输入皮肤病变图像经过编码器得到的多尺度特征,作为多尺度桥接模块的输入,X′1,X′1,X′3为输出;
对Xi,i∈{1,2,3},通过1×1卷积得到Qi,Ki,Vi:
Qi,Ki,Vi=Conv1x1(Xi)
对i,j∈{1,2,3},i≠j,对不同分辨率的Qi,Kj,Vj进行交互得到Xi_j:
最终,对i,j,k∈{1,2,3},i,j,k两两不等,相同分辨率的特征Xi,Xi_j,Xi_k结合在一起,经过1×1卷积得到输出X′i:
X′i=Conv1x1(Cat[Xi,Xi_j,Xi_k])。
6.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法,其特征在于,基于编码器获得的特征,以全局和局部方式并行应用通道注意力和空间注意力,以获得四个注意力图:Mgc,Mgs,Mlc,Mls,Mgc,Mgs,Mlc,Mls分别是全局通道注意力图,全局空间注意力图,局部通道注意力图,局部空间注意力图,然后将其乘以全局-局部通道空间注意力模块的输入的特征F,即特征X3,并添加跳跃连接以获得输出特征Fgl。
7.根据权利要求6所述的基于深度学习的皮肤病变图像分割方法,其特征在于,全局-局部通道空间注意力模块为:
Fl′=Mlc·F
Fl″=Mls·Fl′
Fgl=wg·F″g+wl·Fl″+w·F
8.根据权利要求1所述的基于深度学习的皮肤病变图像分割方法,其特征在于,在相邻尺度特征之间采用分层迭代,尺度感知深监督模块结合多尺度特征,利用空间注意机制对相邻尺度之间的特征进行交互,将获得的特征与下一级特征交互,以自适应地融合不同尺度的特征;
对i∈{1,2,3},
Fi′=Mi·Fi+Mi+1·Fi+1
其中Fi,i=1,2,3,4是解码器输出的四个分辨率由高到低的特征,Mi是由尺度感知模块自适应学到的注意力图。
9.一种计算机设备,其特征在于,包括处理器以及存储器,存储器用于存储计算机可执行程序,处理器从存储器中读取所述计算机可执行程序并执行,处理器执行计算可执行程序时能实现权利要求1~8中任一项所述基于深度学习的皮肤病变图像分割方法。
10.一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,能实现如权利要求1~8中任一项所述的基于深度学习的皮肤病变图像分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111398856.5A CN114066904B (zh) | 2021-11-19 | 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111398856.5A CN114066904B (zh) | 2021-11-19 | 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114066904A true CN114066904A (zh) | 2022-02-18 |
CN114066904B CN114066904B (zh) | 2024-08-13 |
Family
ID=
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN114998671A (zh) * | 2022-04-28 | 2022-09-02 | 上海人工智能创新中心 | 基于卷积掩码的视觉特征学习器、获取装置及存储介质 |
CN116172580A (zh) * | 2023-04-20 | 2023-05-30 | 华南理工大学 | 一种适用于多声源场景的听觉注意对象解码方法 |
CN116205967A (zh) * | 2023-04-27 | 2023-06-02 | 中国科学院长春光学精密机械与物理研究所 | 医学影像语义分割方法、装置、设备及介质 |
CN117392428A (zh) * | 2023-09-04 | 2024-01-12 | 深圳市第二人民医院(深圳市转化医学研究院) | 一种基于三分支特征融合网络的皮肤疾病图像分类方法 |
CN117576118A (zh) * | 2023-12-04 | 2024-02-20 | 山东财经大学 | 多尺度多感知的实时图像分割方法、***、终端及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429474A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 |
CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
US20210201499A1 (en) * | 2019-12-30 | 2021-07-01 | Medo Dx Pte. Ltd | Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure |
US20210248761A1 (en) * | 2020-02-10 | 2021-08-12 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method for image segmentation using cnn |
CN113256641A (zh) * | 2021-07-08 | 2021-08-13 | 湖南大学 | 一种基于深度学习的皮肤病灶图像分割方法 |
CN113313714A (zh) * | 2021-05-25 | 2021-08-27 | 西安交通大学第二附属医院 | 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法 |
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割***、方法及电子设备 |
US20210201499A1 (en) * | 2019-12-30 | 2021-07-01 | Medo Dx Pte. Ltd | Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure |
US20210248761A1 (en) * | 2020-02-10 | 2021-08-12 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method for image segmentation using cnn |
CN111429474A (zh) * | 2020-02-27 | 2020-07-17 | 西北大学 | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 |
CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
CN113313714A (zh) * | 2021-05-25 | 2021-08-27 | 西安交通大学第二附属医院 | 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法 |
CN113256641A (zh) * | 2021-07-08 | 2021-08-13 | 湖南大学 | 一种基于深度学习的皮肤病灶图像分割方法 |
Non-Patent Citations (1)
Title |
---|
张泽中;高敬阳;赵地;: "MIFNet:基于多尺度输入与特征融合的胃癌病理图像分割方法", 计算机应用, no. 2, 30 December 2019 (2019-12-30) * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN114998671A (zh) * | 2022-04-28 | 2022-09-02 | 上海人工智能创新中心 | 基于卷积掩码的视觉特征学习器、获取装置及存储介质 |
CN116172580A (zh) * | 2023-04-20 | 2023-05-30 | 华南理工大学 | 一种适用于多声源场景的听觉注意对象解码方法 |
CN116172580B (zh) * | 2023-04-20 | 2023-08-22 | 华南理工大学 | 一种适用于多声源场景的听觉注意对象解码方法 |
CN116205967A (zh) * | 2023-04-27 | 2023-06-02 | 中国科学院长春光学精密机械与物理研究所 | 医学影像语义分割方法、装置、设备及介质 |
CN117392428A (zh) * | 2023-09-04 | 2024-01-12 | 深圳市第二人民医院(深圳市转化医学研究院) | 一种基于三分支特征融合网络的皮肤疾病图像分类方法 |
CN117576118A (zh) * | 2023-12-04 | 2024-02-20 | 山东财经大学 | 多尺度多感知的实时图像分割方法、***、终端及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shin et al. | Deep vessel segmentation by learning graphical connectivity | |
CN110827216B (zh) | 图像去噪的多生成器生成对抗网络学习方法 | |
Zhang et al. | DRCDN: learning deep residual convolutional dehazing networks | |
CN108198184B (zh) | 造影图像中血管分割的方法和*** | |
CN111161273B (zh) | 一种基于深度学习的医学超声图像分割方法 | |
CN112949838B (zh) | 基于四分支注意力机制的卷积神经网络及图像分割方法 | |
CN108615236A (zh) | 一种图像处理方法及电子设备 | |
Xu et al. | Multi-exposure image fusion techniques: A comprehensive review | |
Ngo et al. | Single-image visibility restoration: A machine learning approach and its 4K-capable hardware accelerator | |
Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
Li et al. | Wavelet u-net for medical image segmentation | |
CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及*** | |
An et al. | EIEN: endoscopic image enhancement network based on retinex theory | |
Jang et al. | Deep color transfer for color-plus-mono dual cameras | |
Wang et al. | Integration of global and local features for specular reflection inpainting in colposcopic images | |
Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
Nie et al. | Specular reflections detection and removal for endoscopic images based on brightness classification | |
Tan et al. | An endoscope image enhancement algorithm based on image decomposition | |
Chetouani et al. | Image quality assessment without reference by combining deep learning-based features and viewing distance | |
CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
Chao et al. | Instance-aware image dehazing | |
Ali et al. | One step surgical scene restoration for robot assisted minimally invasive surgery | |
CN117557791A (zh) | 结合选择性边缘聚合和深度神经网络的医学图像分割方法 | |
Yue et al. | Deep pyramid network for low-light endoscopic image enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |