CN116205927A - 一种基于边界增强的图像分割方法 - Google Patents
一种基于边界增强的图像分割方法 Download PDFInfo
- Publication number
- CN116205927A CN116205927A CN202310165505.2A CN202310165505A CN116205927A CN 116205927 A CN116205927 A CN 116205927A CN 202310165505 A CN202310165505 A CN 202310165505A CN 116205927 A CN116205927 A CN 116205927A
- Authority
- CN
- China
- Prior art keywords
- boundary
- enhancement
- feature map
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000002776 aggregation Effects 0.000 claims abstract description 16
- 238000004220 aggregation Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边界增强的图像分割方法，包括：建立边界增强的图像分割网络模型，并利用训练好的网络模型对输入图像进行分割；其中，图像分割网络模型的编码器包括第一特征提取模块、边界提取模块以及第二特征提取模块，主要用于提取输入图像的边界特征和边界标签，以获得不同尺度的特征图；图像分割网络模型的解码器包括双向互增强模块和一个多尺度注意力聚合模块，主要用于基于尺度维度、空间维度以及通道维度对增强特征图进行注意力聚合处理，得到多维度融合特征图。该方法提取到的边界信息更加准确，使获得的多维度融合特征图突出能够更加有效提高分割结果准确率的空间信息和语义信息，从而提高了图像分割的准确率。
Description
技术领域
本发明属于图像分割技术领域，具体涉及一种基于边界增强的图像分割方法。
背景技术
图像分割的目标是根据语义信息对输入图像进行分割，并从给定的标签集中预测每个像素的语义类别。随着现代生活的逐渐智能化，越来越多的应用需要从图像中推断相关语义信息进行后续处理，如增强现实、自动驾驶、视频监控等，因此对图像的准确分割就变得十分重要。
传统的图像分割通常采用基于聚类和随机森林等传统机器学习算法来获取图像特征。近年来，随着专业计算芯片的快速发展，计算成本快速地降低，使得深度学习算法的大面积使用成为了可能，从而在不提高成本的情况下，让图像分割的精度得到明显的提升。因此，基于深度学习算法的图像分割方法受到了学者们的广泛关注。
例如，Jianlong Hou等人在“BSNet:Dynamic Hybrid Gradient ConvolutionBased Boundary-Sensitive Network for Remote Sensing Image Segmentation”(IEEETransactions on Geoscience and Remote Sensing,vol.60,pp.1-22,2022)一文中提出了一种基于动态混合梯度卷积和协调敏感的边界敏感网络。Chengli Peng等人在“CrossFusion Net:A Fast Semantic Segmentation Network for Small-Scale SemanticInformation Capturing in Aerial Scenes”(IEEE Transactions on Geoscience andRemote Sensing,vol.60,pp.1-13,2022)一文中提出了一种提取多尺度语义信息的交叉融合网络。Aijin Li等人在“Multitask Semantic Boundary Awareness Network forRemote Sensing Image Segmentation”(IEEE Transactions on Geoscience and RemoteSensing,vol.60,pp.1-14,2022)一文中提出了一种语义边界感知网络。Guohui Deng等人在“CCANet:Class-Constraint Coarse-to-Fine Attentional Deep Network forSubdecimeter Aerial Image Semantic Segmentation”(IEEE Transactions onGeoscience and Remote Sensing,vol.60,pp.1-20,2022)一文中提出了一种类约束粗到细注意深度网络。Rui Li等人在“Multiattention Network for Semantic Segmentationof Fine-Resolution Remote Sensing Images”(IEEE Transactions on Geoscience andRemote Sensing,vol.60,pp.1-13,2022)一文中提出了一种多注意网络。
然而，上述基于深度学习算法的图像分割方法还存在如下缺陷：
第一，现有方案在对特征图进行边界信息提取时，因卷积和下采样等操作获得的特征图中边界信息存在误差，导致用于恢复边界细节的空间信息出现错误；
第二，在聚合不同尺度特征的过程中，仅仅是通过简单的级联或加和操作来对不同尺度的特征图在上采样后直接进行融合，未考虑到不同尺度特征对分割结果的影响程度，以及不同尺度特征中低级空间信息以及高级语义信息占比的不同，因此无法充分的融合不同尺度特征图中的空间信息和语义信息，造成图像分割结果不理想。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于边界增强的图像分割方法。本发明要解决的技术问题通过以下技术方案实现：
一种基于边界增强的图像分割方法，包括：
基于编码器-解码器框架建立边界增强的图像分割网络模型；
对所述图像分割网络模型进行训练，并利用训练好的网络模型对输入图像进行分割，得到分割结果图；
其中，所述图像分割网络模型的编码器包括第一特征提取模块、边界提取模块以及第二特征提取模块；
所述第一特征提取模块用于输入图像进行特征提取，得到第一特征图；
所述边界提取模块用于提取所述第一特征图的边界特征，同时提取输入图像对应的图像标签的边界标签，并利用所述边界标签对输出的边界特征进行监督，得到边界特征图；
所述第二特征提取模块用于对所述第一特征图和所述边界特征图进行多尺度特征提取，得到不同尺度的特征图；
所述图像分割网络模型的解码器包括双向互增强模块和一个多尺度注意力聚合模块；所述双向互增强模块用于对所述不同尺度的特征图进行处理，得到不同尺度的增强特征图；
所述多尺度注意力聚合模块用于基于尺度维度、空间维度以及通道维度对所述增强特征图进行注意力聚合处理，得到多维度融合特征图。
本发明的有益效果：
本发明提供的基于边界增强的图像分割方法一方面在对特征图进行边界提取时，同时对标签图像进行了边界提取，获得了边界标签，并通过边界标签对特征图中提取到的边界进行监督，从而使得提取到的边界信息更加准确；另一方面，在特征融合时候，通过尺度、空间、通道三维通道注意力处理，使获得的多维度融合特征图突出能够更加有效提高分割结果准确率的空间信息和语义信息，从而提高了图像分割的准确率。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于边界增强的图像分割方法的流程示意图；
图2是本发明实施例提供的图像分割网络模型的结构示意图；
图3是本发明实施例提供的双向互增强子网络的结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于边界增强的图像分割方法的流程示意图，其包括：
基于编码器-解码器框架建立边界增强的图像分割网络模型；
对图像分割网络模型进行训练，并利用训练好的网络模型对输入图像进行分割，得到分割结果图；
其中，图像分割网络模型的编码器包括第一特征提取模块、边界提取模块以及第二特征提取模块；
第一特征提取模块用于输入图像进行特征提取，得到第一特征图；
边界提取模块用于提取第一特征图的边界特征，同时提取输入图像对应的图像标签的边界标签，并利用边界标签对输出的边界特征进行监督，得到边界特征图；
第二特征提取模块用于对第一特征图和边界特征图进行多尺度特征提取，得到不同尺度的特征图；
图像分割网络模型的解码器包括双向互增强模块和一个多尺度注意力聚合模块；双向互增强模块用于对不同尺度的特征图进行处理，得到不同尺度的增强特征图；
多尺度注意力聚合模块用于基于尺度维度、空间维度以及通道维度对增强特征图进行注意力聚合处理，得到多维度融合特征图。
在本实施例中，第一特征提取模块为一个卷积层，其包括1个3×3卷积操作Conv、1个批标准化BN以及1个线性整流函数ReLU。其中，线性整流函数ReLu的计算公式如下：
其中，x为输入的特征图中的元素。
进一步的，本实施例中的边界提取模块可以采用拉普拉斯算子、Sobel算子、Canny算子或者LoG算子实现对边界标签的提取。
优选的，本实施例采用拉普拉斯算子构建边界提取模块。请参见图2，图2是本发明实施例提供的图像分割网络模型的结构示意图；其中，边界提取模块包括2个拉普拉斯算子和1个卷积层；其中，
第一个拉普拉斯算子用于提取第一特征图的边界特征，第二个拉普拉斯算子用于提取输入图像对应的图像标签的边界标签；
卷积层用于对边界特征进行处理，并在模型训练阶段基于边界标签对第一特征提取模块的输出进行监督，得到边界特征图。
需要说明的是，对于图像标签进行拉普拉斯算子提取边缘以及对卷积层输出的边界特征进行监督，仅在网络训练阶段中进行。在使用训练好的网络进行推理时，边界提取模块仅使用拉普拉斯算子对第一特征提取模块输出的第一特征图进行边界提取，然后通过卷积层对边界特征进行处理。最后，将卷积层输出的边界特征图与第一特征图进行相加，输入到第二特征提取模块中进行处理。
在本实施例中，第二特征提取模块采用卷积神经网络架构，其可以为ResNet-50、ResNet-152、ResNeXt-50、ResNeXt-101或ResNeXt-152中的任意一种。
优选的，本实施例以基于ResNet-101的卷积神经网络架构作为第二特征提取模块，其结构图如图2所示，其包括下采样层、ResNet-101第一阶段、ResNet-101第二阶段、ResNet-101第三阶段、ResNet-101第四阶段；其中，
ResNet-101第一阶段包含3个残差块，ResNet-101第二阶段包含4个残差块，ResNet-101第三阶段包含23个残差块，ResNet-101第四阶段包含3个残差块。
更具体的，残差块包括：1个1×1卷积操作、1个3×3卷积操作以及1个1×1卷积操作。
在本实施例中，下采样层也即最大值池化，其步长为2。ResNet-101第一阶段中下采样是通过最大值池化来实现，ResNet-101第二阶段、ResNet-101第三阶段和ResNet-101第四阶段中的下采样均是通过设置阶段中第1个卷积操作的步长为2来实现的。
将边界提取模块输出的边界特征图与第一特征提取模块输出的第一特征图进行相加后，送入到第二特征提取模块中进行处理，即可得到不同尺寸的高级特征和低级特征。
本实施例在对特征图进行边界提取时，同时对标签图像进行了边界提取，获得了边界标签，并通过边界标签对特征图中提取到的边界进行监督，使得提取到的边界信息更加准确。
进一步的，双向互增强模块包括若干结构相同的双向互增强子网络，每个双向互增强子网络均包括第一增强模块和第二增强模块，分别用于对两个不同尺寸的特征图进行增强处理。
具体的，如图2所示，基于本实施例中第二特征提取模块采用的ResNet-101卷积神经网络架构，本实施例在双向互增强模块中设置了两个双向互增强子网络，其中一个双向互增强子网络的输入为ResNet-101第一阶段和ResNet-101第三阶段的输出特征图；另一个双向互增强子网络的输入为ResNet-101第二阶段和ResNet-101第四阶段的输出特征图。
进一步的，请参见图3，图3是本发明实施例提供的双向互增强子网络的结构示意图，其包括第一增强模块和第二增强模块，其中，
第一增强模块首先采用两个卷积层对具有第一尺寸的输入特征图进行处理，以获得具有第一尺寸的第二特征图；然后依次通过一个卷积层、一个池化层和一个Sigmoid激活层对具有第一尺寸的输入特征图进行处理，以获得具有第二尺寸的第三特征图；
相应的，第二增强模块首先采用两个卷积层对具有第二尺寸的输入特征图进行处理，以获得具有第二尺寸的第四特征图；然后依次通过一个卷积层、一个上采样层和一个Sigmoid激活层对具有第二尺寸的输入特征图进行处理，以获得具有第一尺寸的第五特征图；
第一增强模块还用于将第二特征图和第五特征图相乘，并通过一个卷积层，获得具有第一尺寸的第一增强特征图；
第二增强模块还用于将第三特征图和第四特征图相乘，并通过一个卷积层，获得具有第二尺寸的第二增强特征图。
例如，对于第一增强模块，输入的特征图尺寸(即第一尺寸)为H×W×C：对于输入的特征图，通过两个卷积层对其中的特征进行处理，获得尺寸与输入尺寸相同的H×W×C的处理后特征图，也即第二特征图。另外，通过一个步长为2的卷积层、一个步长为2的池化层以及一个Sigmoid激活层，对输入的特征图进行处理，获得尺寸为H/4×W/4×C的激活后特征图，也即第三特征图。
对于第二增强模块，输入特征图尺寸(即第二尺寸)为H/4×W/4×C：对于输入的特征图，通过两个卷积层对其中的特征进行处理，获得尺寸与输入尺寸相同的H/4×W/4×C的处理后特征图，也即第四特征图。另外，通过一个卷积层、一个上采样倍数为4的上采样操作以及一个Sigmoid激活层，对输入的特征图进行处理，获得尺寸为H×W×C的激活后特征图，也即第五特征图。
其中，Sigmoid激活函数的计算公式如下：
其中，x为输入的特征图。
将尺寸为H×W×C的处理后特征图(也即第二特征图)与H×W×C的激活后特征图(也即第五特征图)相乘，通过一个卷积层，获得尺寸为H×W×C的输出特征图，也即第一增强特征图。将尺寸为H/4×W/4×C的处理后特征图(也即第三特征图)与H/4×W/4×C的激活后特征图(也即第四特征图)相乘，通过一个卷积层，获得尺寸为H/4×W/4×C的输出特征图，也即第二增强特征图。
本实施例通过将ResNet-101第一阶段和ResNet-101第三阶段的特征图输入到一个双向互增强子网络中，将ResNet-101第二阶段和ResNet-101第四阶段输入到另一个双向互增强子网络中，从而获得与ResNet-101第一、二、三、四阶段尺寸一致的四个尺度的增强特征图。
进一步的，请继续参见图2，其中，多尺度注意力聚合模块包括多尺度融合子网络、尺度维度注意力子网络、空间维度注意力子网络、以及通道维度注意力子网络；其中，
多尺度融合子网络用于对不同尺度的增强特征图进行尺寸变换和特征级联；
尺度维度注意力子网络用于对级联后的特征图在尺度维度上进行全局平均池化，以获得尺度维度注意力处理后的特征图；
空间维度注意力子网络用于对尺度维度注意力处理后的特征图在空间维度上分别进行全局平均池化以及最大值池化，以获得空间维度注意力处理后的特征图；
通道维度注意力子网络用于对空间维度注意力处理后的特征图在通道维度上进行全局平均池化，以获得多维度融合特征图。
具体的，如图2所示，多尺度融合子网络将双向互增强模块输出的四个尺度的增强特征图进行尺寸变换，以将四个尺度的特征图尺寸全部变为与ResNet-101第一阶段输出特征图相同的尺寸。然后将变换尺寸后的特征图进行级联，获得维度分别为(尺度S，通道C，空间H×W)的特征图。
对于级联后的特征图，尺度维度注意力子网络在尺度维度上进行全局平均池化，获得一个特征向量，其大小为(S×1×1×1)。然后通过一个卷积层(卷积核为1×1)处理该特征向量，获得尺度维度的注意力向量，并将尺度维度的注意力向量与多尺度融合子网络级联后的特征图相乘，获得尺度维度注意力处理后的特征图。
空间维度注意力子网络首先将尺度维度注意力处理后的特征图通过一个卷积层进行处理，然后对处理后的特征图在空间维度上分别进行全局平均池化以及最大值池化，获得两个大小为(1×1×H×W)的空间注意力图。将获得的两个空间注意力图通过一个卷积层进行处理，输出一个空间维度的注意力图，其大小为(1×1×H×W)，并将空间维度的注意力图与尺度维度注意力处理后的特征图相乘，获得空间维度注意力处理后的特征图。
通道维度注意力子网络首先将空间维度注意力处理后的特征图通过一个卷积层进行处理，然后对处理后的特征图在通道维度上进行全局平均池化，获得一个特征向量，其大小为(1×C×1×1)。然后通过一个全连接层以及一个卷积层(卷积核为1×1))处理该特征向量，获得通道维度的注意力向量，并通道维度的注意力向量与空间维度注意力处理后的特征图相乘，获得多尺度注意力聚合模块的输出特征图。
本实施例通过尺度、空间、通道维度进行三维通道注意力处理，使获得的多维度融合特征图突出能够更加有效提高分割结果准确率的空间信息和语义信息。
可以理解的是，本实施例提供的图像分割网络模型的解码器在多尺度注意力聚合模块之后，还包括一个上采样层和一个卷积层，用于将多尺度注意力聚合模块的输出特征图进行上采样，上采样倍率为4，然后通过一个卷积层，获得分割结果图。
本发明提供的基于边界增强的图像分割方法一方面在对特征图进行边界提取时，同时对标签图像进行了边界提取，获得了边界标签，并通过边界标签对特征图中提取到的边界进行监督，从而使得提取到的边界信息更加准确；另一方面，在特征融合时候，通过尺度、空间、通道三维注意力处理，使获得的多维度融合特征图突出能够更加有效提高分割结果准确率的空间信息和语义信息，从而提高了图像分割的准确率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于边界增强的图像分割方法，其特征在于，包括：
基于编码器-解码器框架建立边界增强的图像分割网络模型；
对所述图像分割网络模型进行训练，并利用训练好的网络模型对输入图像进行分割，得到分割结果图；
其中，所述图像分割网络模型的编码器包括第一特征提取模块、边界提取模块以及第二特征提取模块；
所述第一特征提取模块用于输入图像进行特征提取，得到第一特征图；
所述边界提取模块用于提取所述第一特征图的边界特征，同时提取输入图像对应的图像标签的边界标签，并利用所述边界标签对输出的边界特征进行监督，得到边界特征图；
所述第二特征提取模块用于对所述第一特征图和所述边界特征图进行多尺度特征提取，得到不同尺度的特征图；
所述图像分割网络模型的解码器包括双向互增强模块和一个多尺度注意力聚合模块；所述双向互增强模块用于对所述不同尺度的特征图进行处理，得到不同尺度的增强特征图；
所述多尺度注意力聚合模块用于基于尺度维度、空间维度以及通道维度对所述增强特征图进行注意力聚合处理，得到多维度融合特征图。
2.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述第一特征提取模块为一个卷积层，其包括1个3×3卷积操作Conv、1个批标准化BN以及1个线性整流函数ReLU。
3.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述边界提取模块采用拉普拉斯算子、Sobel算子、Canny算子或者LoG算子实现对边界标签的提取。
4.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述边界提取模块包括2个拉普拉斯算子和1个卷积层；其中，
第一个拉普拉斯算子用于提取所述第一特征图的边界特征，第二个拉普拉斯算子用于提取输入图像对应的图像标签的边界标签；
卷积层用于对所述边界特征进行处理，并在模型训练阶段基于所述边界标签对所述第一特征提取模块的输出进行监督，得到边界特征图。
5.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述第二特征提取模块采用卷积神经网络架构，其可以为ResNet-50、ResNet-152、ResNeXt-50、ResNeXt-101或ResNeXt-152中的任意一种。
6.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述第二特征提取模块采用基于ResNet-101的卷积神经网络架构，其包括下采样层、ResNet-101第一阶段、ResNet-101第二阶段、ResNet-101第三阶段、ResNet-101第四阶段；其中，
所述ResNet-101第一阶段包含3个残差块，所述ResNet-101第二阶段包含4个残差块，所述ResNet-101第三阶段包含23个残差块，所述ResNet-101第四阶段包含3个残差块。
7.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述双向互增强模块包括若干结构相同的双向互增强子网络，每个双向互增强子网络均包括第一增强模块和第二增强模块，分别用于对两个不同尺寸的特征图进行增强处理；其中，
所述第一增强模块首先采用两个卷积层对具有第一尺寸的输入特征图进行处理，以获得具有第一尺寸的第二特征图；然后依次通过一个卷积层、一个池化层和一个Sigmoid激活层对具有第一尺寸的输入特征图进行处理，以获得具有第二尺寸的第三特征图；
相应的，所述第二增强模块首先采用两个卷积层对具有第二尺寸的输入特征图进行处理，以获得具有第二尺寸的第四特征图；然后依次通过一个卷积层、一个上采样层和一个Sigmoid激活层对具有第二尺寸的输入特征图进行处理，以获得具有第一尺寸的第五特征图；
所述第一增强模块还用于将所述第二特征图和所述第五特征图相乘，并通过一个卷积层，获得具有第一尺寸的第一增强特征图；
所述第二增强模块还用于将所述第三特征图和所述第四特征图相乘，并通过一个卷积层，获得具有第二尺寸的第二增强特征图。
8.根据权利要求6所述的基于边界增强的图像分割方法，其特征在于，所述双向互增强模块包括两个双向互增强子网络，其中一个双向互增强子网络的输入为ResNet-101第一阶段和ResNet-101第三阶段的输出特征图；另一个双向互增强子网络的输入为ResNet-101第二阶段和ResNet-101第四阶段的输出特征图。
9.根据权利要求1所述的基于边界增强的图像分割方法，其特征在于，所述多尺度注意力聚合模块包括多尺度融合子网络、尺度维度注意力子网络、空间维度注意力子网络、以及通道维度注意力子网络；其中，
所述多尺度融合子网络用于对所述不同尺度的增强特征图进行尺寸变换和特征级联；
所述尺度维度注意力子网络用于对级联后的特征图在尺度维度上进行全局平均池化，以获得尺度维度注意力处理后的特征图；
所述空间维度注意力子网络用于对尺度维度注意力处理后的特征图在空间维度上分别进行全局平均池化以及最大值池化，以获得空间维度注意力处理后的特征图；
所述通道维度注意力子网络用于对空间维度注意力处理后的特征图在通道维度上进行全局平均池化，以获得多维度融合特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310165505.2A CN116205927A (zh) | 2023-02-24 | 2023-02-24 | 一种基于边界增强的图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310165505.2A CN116205927A (zh) | 2023-02-24 | 2023-02-24 | 一种基于边界增强的图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116205927A true CN116205927A (zh) | 2023-06-02 |
Family
ID=86518850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310165505.2A Pending CN116205927A (zh) | 2023-02-24 | 2023-02-24 | 一种基于边界增强的图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116205927A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721351A (zh) * | 2023-07-06 | 2023-09-08 | 内蒙古电力(集团)有限责任公司内蒙古超高压供电分公司 | 一种架空线路通道内道路环境特征遥感智能提取方法 |
-
2023
- 2023-02-24 CN CN202310165505.2A patent/CN116205927A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721351A (zh) * | 2023-07-06 | 2023-09-08 | 内蒙古电力(集团)有限责任公司内蒙古超高压供电分公司 | 一种架空线路通道内道路环境特征遥感智能提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN111860499B (zh) | 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法 | |
| CN108288088B (zh) | 一种基于端到端全卷积神经网络的场景文本检测方法 | |
| Ju et al. | A simple and efficient network for small target detection | |
| CN108345827B (zh) | 识别文档方向的方法、***和神经网络 | |
| CN107545263B (zh) | 一种物体检测方法及装置 | |
| CN113239954B (zh) | 基于注意力机制的图像语义分割特征融合方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN111860683B (zh) | 一种基于特征融合的目标检测方法 | |
| CN114202743A (zh) | 自动驾驶场景下基于改进faster-RCNN的小目标检测方法 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109657538B (zh) | 基于上下文信息指导的场景分割方法和*** | |
| CN112380978A (zh) | 基于关键点定位的多人脸检测方法、***及存储介质 | |
| CN115631369A (zh) | 一种基于卷积神经网络的细粒度图像分类方法 | |
| CN116205927A (zh) | 一种基于边界增强的图像分割方法 | |
| CN111104924B (zh) | 一种识别低分辨率商品图像的处理算法 | |
| CN113642445A (zh) | 一种基于全卷积神经网络的高光谱影像分类方法 | |
| CN117557784B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN113139544A (zh) | 一种基于多尺度特征动态融合的显著性目标检测方法 | |
| CN113223037A (zh) | 一种面向大规模数据的无监督语义分割方法及*** | |
| CN114494703B (zh) | 一种智能车间场景目标轻量级语义分割方法 | |
| CN112001479B (zh) | 基于深度学习模型的处理方法、***及电子设备 | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 | |
| CN114373078A (zh) | 目标检测方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |