CN114898110A - 一种基于全分辨率表示网络的医学图像分割方法 - Google Patents
一种基于全分辨率表示网络的医学图像分割方法 Download PDFInfo
- Publication number
- CN114898110A CN114898110A CN202210440914.4A CN202210440914A CN114898110A CN 114898110 A CN114898110 A CN 114898110A CN 202210440914 A CN202210440914 A CN 202210440914A CN 114898110 A CN114898110 A CN 114898110A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- full
- image block
- image blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003709 image segmentation Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000007774 longterm Effects 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002207 retinal effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000004907 gland Anatomy 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 230000006698 induction Effects 0.000 abstract description 2
- 210000004072 lung Anatomy 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 208000000453 Skin Neoplasms Diseases 0.000 abstract 1
- 210000003855 cell nucleus Anatomy 0.000 abstract 1
- 201000000849 skin cancer Diseases 0.000 abstract 1
- 101001014572 Homo sapiens MARCKS-related protein Proteins 0.000 description 9
- 102100032514 MARCKS-related protein Human genes 0.000 description 9
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101000986621 Homo sapiens ATP-binding cassette sub-family C member 6 Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于全分辨率表示网络的医学图像分割方法,在整个图像分割过程中保持全分辨率表示。首先,本发明将原始分辨率图像按照不同阶段划分为不同尺寸的图像块,利用现代卷积神经网络中高效灵活的元件(例如:空洞卷积和残差连接)提取从大尺寸到小尺寸图像块的局部特征;然后,设计了一种用于显式建模图像块之间长期依赖关系的多层感知器模块,以弥补卷积运算造成的固有感应偏差;最后,本发明进行了多次多尺度融合,使得每个阶段接收来自并行路径的表示信息,从而产生丰富的全分辨率表示。本发明为基于全分辨率表示的研究提供一种改进思路,能够解决真实场景下皮肤癌、细胞核和肺部医学图像分割的问题。
Description
技术领域
本发明涉及图像处理领域的医学图像分割技术,特别涉及一种基于全分辨率表示网络的医学图像分割方法。
背景技术
医学图像分割在计算机辅助诊断中起着关键作用,其目的是提取图像中感兴趣的区域,如组织,器官,病理学和生物结构等。目前流行的分割任务包括细胞分割、皮肤损伤分割、肺分割和心脏分割等。在通常的实践中,分割由领域专家手动执行,这种人工操作既费时又费力。随着医学成像技术的发展,医学图像的样本量和多样性快速增加,且感兴趣区域的形状和尺寸多变,手动分割已经不能满足实际需求。因此,开发自动、准确和鲁棒的医学图像分割方法具有重要意义。
最近,基于深度学习的方法在图像分类、目标检测和语义分割等领域取得了令人满意的结果。就语义分割任务而言,最先进的方法依赖于完全卷积网络的编码器-解码器体系结构。例如U型网络(U-Net)利用编码器网络学习高级语义表示,解码器从高级表示中恢复丢失的空间信息。同时,跳跃连接用于重复使用高分辨率的特征映射和进行多尺度特征融合。此后,人们提出了各种改进方法来解决各种分割问题。DeepLab系列通过空洞卷积和池化操作来扩大感受野并聚合多尺度信息。一些工作引入内置的深度可变的U-Net集合并重新设计跳跃连接实现更灵活的特征融合。通过增强编码器和解码器的特征表示能力以及利用自注意力机制产生更具分辨性的特征表示,对输入特征的远程依赖性进行建模是提高模型分割性能的方法。尽管这些方法已被证明有利于图像分割,但是下采样会丢失纹理信息,使用不同大小的空洞卷积不利于特征的一致性。此外,基于Transformer的方法通常在大规模数据集的训练下才能很好地工作,而医学数据集中可用于训练的图像数量往往相对较少。
综上所述,减少特征信息的丢失,融合多尺度特征以及在较小数据集上表现出良好的性能是医学图像分割亟待解决的关键问题。
发明内容
针对上述问题,本发明的目的在于实现基于全分辨率表示网络的医学图像分割方法,学习图像的全分辨率表示,建立不同图像块之间的长期依赖关系,实现不同分支的多尺度信息融合。技术方案如下:
一种基于全分辨率表示网络的医学图像分割方法,包括以下步骤:
步骤1)挑选公开的医学图像分割数据集,并对数据集中的训练集进行预处理;
步骤2)构建图像块卷积模块对图像块的局部特征进行挖掘;
步骤3)构建特征重建模块实现对图像块的多尺度融合,完成全分辨率表示网络两个分支的相互转换;
步骤4)构建多层感知器模块建模图像块之间的长期依赖关系;
步骤5)设计由图像块卷积模块、特征重建模块、多层感知器模块三个部分组成图像分割框架,实现医学图像的分割。
进一步的,所述步骤1)中,所述步骤1)中数据集分别为:kaggle 2018 datascience bowl,Retinal lmages vessel Tree Extraction和GLAnd Segmentation;对数据集中的训练集进行预处理为:将所有图像调整为216×216像素大小的图像块。
更进一步的,所述步骤2)构建图像块卷积模块对图像块的局部特征进行挖掘具体过程如下:
步骤2.1)将图像块卷积模块的输入特征映射表示为:
Min∈RN,C,H,W
其中,N为批量大小,C表示通道数量,H和W分别为图像的高度和宽度;
步骤2.2)将Min划分为一系列大小为(H/2i,W/2i)和(H/3i-1,W/3i-1)的图像块,i表示该模块的阶段数,i≥0;所述图像块的数量随阶段数增加而逐渐增多,且分辨率为上一阶段的1/2或1/3;划分成图像块的操作通过以下三步完成:
①将Min∈RN×C×H×W重建为(N,C,2i,H/2i,2i,W/2i)大小;
②重新将轴的顺序排列为(N,2i,2i,C,H/2i,W/2i)大小;
步骤2.3)将每个图像块按照通道的维度排列,并用一组具有残差连接的共享卷积作用于Mp,输出结果Mconv,用以下公式表示:
其中,n表示图像块数量,[……]表示沿通道方向拼接,C为卷积的输出通道数,K为卷积核大小,D是扩张率,随循环次数增大为原来的两倍,P为要填充的像素数;Mp表示对输入特征图的重建结果,表示对第n个图像块输入特征图的重建结果;
更进一步的,所述步骤3)中特征重建模块的处理过程如下:
更进一步的,所述步骤4)中多层感知器模块包括两个多层感知器层和非线性层,第一个多层感知器层作用于经空间维度平均池化后的图像块,用于学***均池化后的图像块,用于学习图像块之间的长程依赖关系;处理过程如下:
步骤4.2)将张量Msap经过Trans 1变换输入到第一个多层感知器层中:
MTrans1=Permute(Up(Msap))
步骤4.3)利用Trans 1的逆向操作将非线性层之后的特征图还原并与输入特征图跳跃连接;
步骤4.6)使用跳跃连接将非线性层的输出与输入结果做哈达玛乘积得到多层感知器模块的输出特征。
更进一步的,所述步骤5)具体包括:
步骤5.1)所述图像分割框架中的全分辨率表示网络包括两个并行子网络,其中包括四个阶段:
第0阶段利用核为7×7的卷积和一个图像块卷积模块提取输入图像的特征;从第1阶段开始到第3阶段,使用图像块卷积模块、特征重建模块和多层感知器模块以进行并行路径的多尺度特征融合以及产生丰富的全分辨率表示;还完成跳跃连接和层归一化;
步骤5.2)定义四个阶段定义:
用Si和S′i表示两个不同分支子网络的第i阶段,Min为输入特征,则第0、1阶段的结果为:
S0=PatchConv(BN(Conv7×7(Min)))
S′1=PatchConv(BN(Conv7×7(S0)))
S1=MLP(PatchConv(S0)+FRB(S′1))
式中,PatchConv表示图像块卷积模块处理;BN表示批量归一化处理;Conv7×7表示核为7×7的卷积操作;MLP表示多层感知器模块处理;FRB表示特征重建模块处理;
从第2阶段开始,连续的网络模块计算如下:
Si=MLP(PatchConv(Si-1)+PatchConv(FRB(S′i-1)))
S′i=MLP(PatchConv(FRB(Si-1))+PatchConv(S′i-1))
上式中i∈[2,…,I],I表示可扩展最大阶段数。
采用上述技术方案带来的有益效果:
1)本发明设计一种基于全分辨率表示网络的医学图像分割方法。该网络在整个过程中始终保持全分辨率表示,从而避免了图像分割过程中下采样丢失图像细节信息的问题。
2)本发明不同于传统的浅层和深层特征融合的方法,通过在相同深度(阶段)执行多尺度融合以提高不同阶段的全分辨率表示,使得在每个阶段都具有相同通道数的情况下仍然保持了较好的分割性能。
3)本发明提出由两个并行子网络构成的框架,不同于有跳跃连接的对称编码器-解码器体系结构,避免因为反复的下采样和上采样操作丢失图像的细节信息。通过在不同尺度的双分支编码器中集成图像块卷积模块和特征重建模块来提取丰富的局部特征,从而捕获重要的全局上下文信息。
4)本发明使用图像块卷积模块、特征重建模块和多层感知器模块以进行并行路径的多尺度特征融合以及产生丰富的全分辨率表示。通过图像块卷积模块中以挖掘图像块的局部特征,用于反复多尺度融合特征重建模块以及多层感知器模块以建模图像块之间的长期依赖关系;在特征重建模块和多层感知器模块处理过程中,始终学习的是图像的全分辨率表示,进一步细化局部特征,符合人类对图像的视觉感知。
附图说明:
图1为本发明的图像块卷积模块。
图2为本发明的特征重建模块。
图3为本发明的多层感知器模块。
图4为本发明的基于全分辨率表示网络的医学图像分割方法的流程图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案做进一步详细说明。
本发明设计了一种基于全分辨率表示网络的医学图像分割方法。首先,将原始分辨率图像按照不同阶段划分为不同尺寸的图像块,利用现代卷积神经网络中高效灵活的元件(例如空洞卷积和残差连接)提取从大尺寸到小尺寸图像块的局部特征;其次,设计了一种用于显式建模图像块之间长期依赖关系的多层感知器模块,以弥补卷积运算造成的固有感应偏差;此外,进行多次多尺度融合,使得每个阶段接收来自并行路径的表示信息,从而产生丰富的全分辨率表示。
本发明在不同的医学图像分割任务上评估了所提出的方法,在多个数据集上与最新的深度学习分割方法(包括基于CNN和基于Transformer的架构)相比取得了具有竞争力的性能。本发明为基于全分辨率表示的研究提供一种改进思路。
步骤1:挑选公开的医学图像分割数据集,并对数据集进行预处理。
对训练集进行预处理的具体实施如下:
本发明在三个公开的生物医学图像分割数据集上进行分割训练任务,对于所有数据集均采用5折交叉验证方法进行训练。其中数据集分别为:kaggle 2018 data sciencebowl(Nuclei),Retinal lmages vessel Tree Extraction(RITE)和GLAnd Segmentation(GLAS)。
Nuclei数据集由博思艾伦基金会(Booz Allen Foundation)提供,包含670张细胞核特征图,并为每张图像提供一个标签。训练过程中将不同分辨率的图像和相应的标签调整为216×216。
RITE数据集可以对视网膜眼底图像上的动脉和静脉的分割或分类进行比较研究,该数据集是基于公共可用的DRIVE数据库建立的,包含40组图像,分辨率统一为565×584,对于每组,有一张眼底照片、一个血管参考标准和一个动脉/静脉(A/V)参考标准。考虑到该数据集的分割目标比较离散,直接将大分辨率图像大小调整为较小分辨率(216×216或224×224)的图像可能会影响原始图像的质量,先将原始图像大小调整为432×432的分辨率,然后按照四个角进行裁剪得到四张分辨率为216×216的图像。一方面尽可能保留了原始图像的质量,另一方面将数据扩充为原来的四倍,即数据总量为160张图像。
GLAS数据集包含苏木精和伊红(Hematoxylin and Eosin)染色玻片的显微图像,以及专家病理学家提供的相应标注。它共包含165幅图像,最小分辨率为433×574,最大分辨率为775×522。与第一个数据集相同,在训练和测试过程中将图像的分辨率统一调整为216×216。
步骤2:采用图像块卷积模块对图像块的局部特征进行挖掘,每个图像块按照通道的维度排列,参考图1为本发明的图像块卷积模块。
1)该模块的输入特征映射表示为:
Min∈RN,C,H,W
其中,N为批量大小,C表示通道数量,H和W分别为高度和宽度。
2)将Min划分为一系列大小为(H/2i,W/2i)和(H/3i-1,W/3i-1)的图像块,i表示该模块阶段数(i≥0)。这些图像块的数量逐渐增多,且分辨率为上一阶段的1/2或1/3。
3)划分成图像块的操作不会在内存中移动数据且不进行训练,可以通过以下三步完成(以下均以第一个分支举例):
①将Min∈RN×C×H×W重建为(N,C,2i,H/2i,2i,W/2i)大小;
②重新将轴的顺序排列为(N,2i,2i,C,H/2i,W/2i)大小;
4)将每个图像块按照通道的维度排列,并用一组具有残差连接的共享卷积作用于Mp,输出结果Mconv,用以下公式表示:
其中,n表示图像块数量,[……]表示沿通道方向拼接,C为卷积的输出通道数,K为卷积核大小,D是扩张率,随循环次数增大为原来的两倍,P为要填充的像素数;Mp表示对输入特征图的重建结果,表示对第n个图像块输入特征图的重建结果。
5)使用层归一化对Mconv进行规范化得到局部特征图像块不使用传统的批量标准化是因为它会破坏图像的整体信息,导致分割精度降低。上述操作可以理解为在空间维度上的分组卷积,本专利将卷积的注意力聚焦于每个图像块,这有助于挖掘图像块的局部信息,同时不会引起计算量的增加。
步骤3:采用特征重建模块实现对图像块的多尺度融合,完成网络两个分支的相互转换。随着网络深度变深,每个图像块的分辨率也逐渐变小,局部特征被进一步细化,这符合人类对图像的视觉感知,因为人们总是先关注较大的区域,然后将注意力转向较小且感兴趣的区域。此外,由于两个分支图像块的尺寸不同,本专利在相同深度融合了不同尺度的信息,与浅层和深层特征融合的方式相比可以获得尺度互补信息,参考图2为本发明的特征重建模块。
步骤4:多层感知器模块主要由两个多层感知器层和非线性层组成,第一个多层感知器层作用于经空间维度平均池化后的图像块,用于学***均池化后的图像块,用于学习图像块之间的长程关系,参考图3为本发明的多层感知器模块。
2)将Msap经过以下变换(“Trans 1”)输入到多层感知器层MLP1中:
MTrans1=Permute(Up(Msap))
其中,Up与传统的插值算法不同,本专利将Msap中的图像块按照原始图像的像素分布进行上采样,即然后重塑张量得到形状为的MTrans1。以上变换是无代价的,且多层感知器层的输入和输出保持一致。与直接在原始图像或原始输入特征上进行线性映射相比,所需要的计算量从HWC2减少到P2C2。
3)利用“Trans 1”的逆向操作将非线性层(ReLU)之后的特征图还原并与输入特征图跳跃连接。
6)使用跳跃连接将ReLU层的结果与输入结果做哈达玛乘积得到多层感知器模块的输出特征。
步骤5:设计由图像块卷积模块、特征重建模块、多层感知器模块三个部分组成图像分割框架,参考图4为本发明的基于全分辨率表示网络的医学图像分割方法的流程图。
1)该框架由三种模块组成:
采用图像块卷积模块挖掘图像块的局部特征,用于反复多尺度融合的特征重建模块以及多层感知器模块以建模图像块之间的长期依赖关系。本专利不同于有跳跃连接的对称编码器-解码器体系结构,因为反复的下采样和上采样操作会丢失图像的细节信息。通过在不同尺度的双分支编码器中集成图像块卷积模块和多层感知器模块,不仅可以提取丰富的局部特征,而且还可以捕获重要的全局上下文信息。此外,本专利在基础网络大型模型2RNet-B的基础上还设计了微型2RNet-T,小型2RNet-S和巨大2RNet-L,这些实例的复杂性越来越高,性能也逐步提升。
2)模型架构及超参数设置:
本发明在NVIDIA Tesla V100 GPU(32g)上通过训练实现了基于PyTorch的方法。使用Adam优化器,学***和垂直移位(15%)以及随机翻转(水平和垂直)来扩充训练数据集。
3)该框架由两个并行子网络构成的四个阶段(阶段0~阶段3)组成:
第0阶段利用核为7×7的卷积和图像块卷积模块提取输入图像的特征。从第1阶段到第3阶段,本专利使用图像块卷积模块、特征重建模块和多层感知器模块以进行并行路径的多尺度特征融合以及产生丰富的全分辨率表示。此外还使用其他标准体系结构组件:跳跃连接和层归一化。
4)四个阶段定义:
用Si和S′i表示两个不同分支的第i阶段,Min为输入特征,那么第0、1阶段的结果为:
S0=PatchConv(BN(Conv7×7(Min)))
S′1=PatchConv(BN(Conv7×7(S0)))
S1=MLP(PatchConv(S0)+FRB(S′1))
式中,PatchConv表示图像块卷积模块处理;BN表示批量归一化处理;Conv7×7表示核为7×7的卷积操作;MLP表示多层感知器模块处理;FRB表示特征重建模块处理;
从第2阶段开始,连续的网络模块计算如下:
Si=MLP(PatchConv(Si-1)+PatchConv(FRB(S′i-1)))
S′i=MLP(PatchConv(FRB(Si-1))+PatchConv(S′i-1))
上式中i∈[2,…,I],I表示可扩展最大阶段数,在本发明中I为3。特征重建模块是为了对齐相同深度不同形状的张量,该模块不产生计算代价。此外,从第0阶段开始允许这些阶段进行多次循环以增加网络的深度,当深度增加时,图像块卷积模块的空洞率是上一次循环的两倍。最后,模型的输出由两个分支共同决定,这两个分支通过哈达玛乘积来汇总特征信息,在预测层前本专利使用一个标准卷积整合两个分支特征。
5)基础模型F2RNet-B及变体:
F2RNet-B使其模型参数设置与基于ResNet的主干网络相似。还设计了F2RNet-T、F2RNet-S和F2RNet-L,这些实例的复杂性越来越高,性能也逐步提升。这些型号变体的架构参数包括:
F2RNet-T:C=32, L=1,1,1,1
F2RNet-S:C=32,L=1,2,2,2
F2RNet-B:C=64,L=1,1,2,2
F2RNet-L:C=96, L=1,1,1,2
其中,C是第0阶段中特征通道数量,在整个网络中C保持不变。L表示不同阶段的循环次数。
6)模型F2RNet具体实施如下:
首先将空间维度上的分组卷积作用于具有金字塔结构的图像块上,以学习图像的局部特征;然后利用基于多层感知架构的多层感知器模块用于增强不同图像块之间的长期依赖关系;最后通过在相同深度进行多尺度特征交互和融合进而产生丰富的全分辨率表示。
Claims (6)
1.一种基于全分辨率表示网络的医学图像分割方法,其特征在于,包括如下步骤:
步骤1)挑选公开的医学图像分割数据集,并对数据集中的训练集进行预处理;
步骤2)构建图像块卷积模块对图像块的局部特征进行挖掘;
步骤3)构建特征重建模块实现对图像块的多尺度融合,完成全分辨率表示网络两个分支的相互转换;
步骤4)构建多层感知器模块建模图像块之间的长期依赖关系;
步骤5)设计由图像块卷积模块、特征重建模块、多层感知器模块三个部分组成图像分割框架,实现医学图像的分割。
2.根据权利要求1所述的基于全分辨率表示网络的医学图像分割方法,其特征在于,所述步骤1)中,数据集分别为:kaggle 2018data science bowl,Retinal lmages vesselTree Extraction和GLAnd Segmentation;对数据集中的训练集进行预处理为:将所有图像调整为216×216像素大小的图像块。
3.根据权利要求1所述的基于全分辨率表示网络的医学图像分割方法,其特征在于,所述步骤2)构建图像块卷积模块对图像块的局部特征进行挖掘具体过程如下:
步骤2.1)将图像块卷积模块的输入特征映射表示为:
Min∈RN,C,H,W
其中,Min表示预处理后的图像块,N为批量大小,C表示通道数量,H和W分别为图像的高度和宽度;
步骤2.2)将Min划分为一系列大小为(H/2i,W/2i)和(H/3i-1,W/3i-1)的图像块,i表示该模块的阶段数,i≥0;所述图像块的数量随阶段数增加而逐渐增多,且分辨率为上一阶段的1/2或1/3;划分成图像块的操作通过以下三步完成:
①将Min∈RN×C×H×W重建为(N,C,2i,H/2i,2i,W/2i)大小;
②重新将轴的顺序排列为(N,2i,2i,C,H/2i,W/2i)大小;
步骤2.3)将每个图像块按照通道的维度排列,并用一组具有残差连接的共享卷积作用于Mp,输出结果Mconv,用以下公式表示:
其中,n表示图像块数量,[……]表示沿通道方向拼接,C为卷积的输出通道数,K为卷积核大小,D是扩张率,随循环次数增大为原来的两倍,P为要填充的像素数,Mp表示对输入特征图的重建结果,表示对第n个图像块输入特征图的重建结果;
5.根据权利要求1所述的基于全分辨率表示网络的医学图像分割方法,其特征在于,所述步骤4)中,多层感知器模块包括两个多层感知器层和非线性层,第一个多层感知器层作用于经空间维度平均池化后的图像块,用于学***均池化后的图像块,用于学习图像块之间的长程关系;处理过程如下:
步骤4.2)将张量Msap经过Trans 1变换输入到第一个多层感知器层中:
MTrans1=Permute(Up(Msap))
步骤4.3)利用Trans 1的逆向操作将非线性层之后的特征图还原并与输入特征图跳跃连接;
步骤4.6)使用跳跃连接将非线性层的输出与输入结果做哈达玛乘积得到多层感知器模块的输出特征。
6.根据权利要求1所述的基于全分辨率表示网络的医学图像分割方法,其特征在于,所述步骤5)具体包括:
步骤5.1)所述图像分割框架中的全分辨率表示网络包括两个并行子网络,其中包括四个阶段:
第0阶段利用核为7×7的卷积和一个图像块卷积模块提取输入图像的特征;从第1阶段开始到第3阶段,使用图像块卷积模块、特征重建模块和多层感知器模块以进行并行路径的多尺度特征融合以及产生丰富的全分辨率表示;还完成跳跃连接和层归一化;
步骤5.2)定义四个阶段:
用Si和S′i表示两个不同分支子网络的第i阶段,Min为输入特征,则第0、1阶段的结果为:
S0=PatchConv(BN(Conv7×7(Min)))
S′1=PatchConv(BN(Conv7×7(S0)))
S1=MLP(PatchConv(S0)+FRB(S′1))
式中,PatchConv表示图像块卷积模块处理;BN表示批量归一化处理;Conv7×7表示核为7×7的卷积操作;MLP表示多层感知器模块处理;FRB表示特征重建模块处理;
从第2阶段开始,连续的网络模块计算如下:
Si=MLP(PatchConv(Si-1)+PatchConv(FRB(S′i-1)))
S′i=MLP(PatchConv(FRB(Si-1))+PatchConv(S′i-1))
上式中i∈[2,…,I],I表示可扩展最大阶段数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210440914.4A CN114898110B (zh) | 2022-04-25 | 2022-04-25 | 一种基于全分辨率表示网络的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210440914.4A CN114898110B (zh) | 2022-04-25 | 2022-04-25 | 一种基于全分辨率表示网络的医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114898110A true CN114898110A (zh) | 2022-08-12 |
CN114898110B CN114898110B (zh) | 2023-05-09 |
Family
ID=82716595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210440914.4A Active CN114898110B (zh) | 2022-04-25 | 2022-04-25 | 一种基于全分辨率表示网络的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114898110B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117291855A (zh) * | 2023-09-15 | 2023-12-26 | 杭州一隅千象科技有限公司 | 高分辨率图像融合方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
CN110163108A (zh) * | 2019-04-23 | 2019-08-23 | 杭州电子科技大学 | 基于双路径特征融合网络的鲁棒声呐目标检测方法 |
US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN112465827A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 |
CN112733693A (zh) * | 2021-01-04 | 2021-04-30 | 武汉大学 | 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 |
CN112950644A (zh) * | 2021-03-17 | 2021-06-11 | 西北大学 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
CN113486956A (zh) * | 2021-07-07 | 2021-10-08 | 山东力聚机器人科技股份有限公司 | 目标分割***及其训练方法、目标分割方法及设备 |
CN113706545A (zh) * | 2021-08-23 | 2021-11-26 | 浙江工业大学 | 一种基于双分支神经判别降维的半监督图像分割方法 |
CN113807355A (zh) * | 2021-07-29 | 2021-12-17 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
CN114066902A (zh) * | 2021-11-22 | 2022-02-18 | 安徽大学 | 一种基于卷积和transformer融合的医学图像分割方法、***、装置 |
CN114119637A (zh) * | 2021-11-29 | 2022-03-01 | 大连大学 | 基于多尺度融合和拆分注意力的脑白质高信号分割方法 |
-
2022
- 2022-04-25 CN CN202210440914.4A patent/CN114898110B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
CN110163108A (zh) * | 2019-04-23 | 2019-08-23 | 杭州电子科技大学 | 基于双路径特征融合网络的鲁棒声呐目标检测方法 |
US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
CN112465827A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 |
CN112733693A (zh) * | 2021-01-04 | 2021-04-30 | 武汉大学 | 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 |
CN112950644A (zh) * | 2021-03-17 | 2021-06-11 | 西北大学 | 基于深度学习的新生儿大脑图像分割方法及模型构建方法 |
CN113486956A (zh) * | 2021-07-07 | 2021-10-08 | 山东力聚机器人科技股份有限公司 | 目标分割***及其训练方法、目标分割方法及设备 |
CN113807355A (zh) * | 2021-07-29 | 2021-12-17 | 北京工商大学 | 一种基于编解码结构的图像语义分割方法 |
CN113706545A (zh) * | 2021-08-23 | 2021-11-26 | 浙江工业大学 | 一种基于双分支神经判别降维的半监督图像分割方法 |
CN114066902A (zh) * | 2021-11-22 | 2022-02-18 | 安徽大学 | 一种基于卷积和transformer融合的医学图像分割方法、***、装置 |
CN114119637A (zh) * | 2021-11-29 | 2022-03-01 | 大连大学 | 基于多尺度融合和拆分注意力的脑白质高信号分割方法 |
Non-Patent Citations (5)
Title |
---|
CHUN-FU (RICHARD) CHEN等: "CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification" * |
JUNLONG CHENG等: "F2RNET: A Full-Resolution Representation Network for Biomedical Image Segmentation" * |
SHENGCONG CHEN等: "Dual-force convolutional neural networks for accurate brain tumor segmentation" * |
王雪等: "基于多尺度感知和语义适配的医学图像分割算法" * |
郭凯旋: "基于细节增强卷积神经网络的生物医学图像分割算法研究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117291855A (zh) * | 2023-09-15 | 2023-12-26 | 杭州一隅千象科技有限公司 | 高分辨率图像融合方法 |
CN117291855B (zh) * | 2023-09-15 | 2024-05-31 | 杭州一隅千象科技有限公司 | 高分辨率图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114898110B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275618B (zh) | 一种基于双支感知的深度图超分辨率重建网络构建方法 | |
CN104778671B (zh) | 一种基于sae和稀疏表示的图像超分辨率方法 | |
CN111402310B (zh) | 一种基于深度估计网络的单目图像深度估计方法及*** | |
CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
CN110675462B (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
CN115482241A (zh) | 一种跨模态双分支互补融合的图像分割方法及装置 | |
CN111627019A (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及*** | |
CN113506222B (zh) | 一种基于卷积神经网络的多模态图像超分辨方法 | |
CN106097253B (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
CN113724206B (zh) | 一种基于自监督学习的眼底图像血管分割方法及*** | |
CN111783658A (zh) | 基于双生成对抗网络的两阶段表情动画生成方法 | |
CN112669248A (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
CN104408697B (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 | |
CN111626296B (zh) | 基于深度神经网络的医学图像分割***及方法、终端 | |
CN111814891A (zh) | 医学图像合成方法、装置及存储介质 | |
CN114170671A (zh) | 一种基于深度学习的按摩手法识别方法 | |
Xu et al. | Infrared and visible image fusion using a deep unsupervised framework with perceptual loss | |
CN116188509A (zh) | 一种高效率三维图像分割方法 | |
CN114898110A (zh) | 一种基于全分辨率表示网络的医学图像分割方法 | |
CN105931181B (zh) | 基于非耦合映射关系的影像超分辨率重建方法及*** | |
CN117036162A (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 | |
CN113689548B (zh) | 一种基于互注意力Transformer的医学影像三维重建方法 | |
CN115908451A (zh) | 一种结合多视图几何及迁移学习的心脏ct影像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |