CN116342884B - 图像分割及模型训练的方法、服务器 - Google Patents
图像分割及模型训练的方法、服务器 Download PDFInfo
- Publication number
- CN116342884B CN116342884B CN202310333563.1A CN202310333563A CN116342884B CN 116342884 B CN116342884 B CN 116342884B CN 202310333563 A CN202310333563 A CN 202310333563A CN 116342884 B CN116342884 B CN 116342884B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- feature
- feature map
- reversible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 271
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012549 training Methods 0.000 title claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 173
- 230000002441 reversible effect Effects 0.000 claims abstract description 115
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000009466 transformation Effects 0.000 claims description 76
- 238000010586 diagram Methods 0.000 claims description 62
- 230000006870 function Effects 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像分割及模型训练的方法、服务器。本申请的方法，对于待处理的第一图像，通过轻量级语义分割编码网络提取到包含空间细节特征的第一特征图，并对第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取得到第二特征图，对第二特征图进行可逆降采样的逆处理，恢复到更大分辨率的第三特征图，可减少图像降采样损失的图像信息；将第一特征图和第三特征图融合后输入分割预测网络进行图像分割得到图像分割结果，通过融合两个分支的特征图，得到既包含空间细节特征又包含高级语义特征的融合特征，基于融合特征进行图像分割可提升图像分割的精准度，并且只需一次前向推理，提升了图像分割的速度和效率。
Description
技术领域
本申请涉及计算机技术，尤其涉及一种图像分割及模型训练的方法、服务器。
背景技术
图像分割技术是将数字图像划分成互不相交的区域的过程，其主要目的是从一副图像中提取出感兴趣的部分，它是图像分析的关键步骤。超高分辨率图像分割是一个图像分割技术中的一个重要分支，在医疗影像、自动驾驶、遥感图像、航拍图像上均有广泛的应用。
由于超高分辨率图像的分辨率很高，通常图像宽度和高低达到数千甚至数万像素，因此对超高分辨率图像的分割计算对资源消耗过高。目前超高分辨率图像的分割方法一般采用多阶段处理方法，先将超高分辨率图像切分成多个较低分辨率的图像块，分别对各个图像块进行图像分割，再将图像分割结果拼接起来得到完整的图像分割结果。但是这种分割方法需要对各个图像块分别进行一次图像分割，消耗很多的计算资源，图像分割的效率很低。
发明内容
本申请提供一种图像分割及模型训练的方法、服务器，用以解决超高分辨率图像分割消耗计算资源多、效率低的问题。
第一方面，本申请提供一种图像分割方法，包括：
响应于图像分割请求，获取待处理的第一图像；
通过轻量级语义分割编码网络提取所述第一图像的第一特征图，并对所述第一图像进行可逆降采样得到第二图像，将所述第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图；
将所述第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果，并输出所述图像分割结果。
第二方面，本申请提供一种图像分割的模型训练方法，包括：
待训练的图像分割模型包括：轻量级语义分割编码网络、深度语义分割编码网络和分割预测网络，
通过所述轻量级语义分割编码网络提取样本图像的第一特征图，并对所述样本图像进行可逆降采样得到第二图像，将所述第二图像输入所述深度语义分割编码网络进行特征提取，得到第二特征图，对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图；
将所述第一特征图和第三特征图融合后输入所述分割预测网络进行预测，得到第一图像分割结果；
根据所述第一图像分割结果和所述样本图像的图像分割标注信息，计算第一损失，并根据第一损失更新所述图像分割模型的参数，得到训练好的图像分割模型，所述图像分割模型用于对输入图像进行编码及预测，得到图像分割结果。
第三方面，本申请提供一种图像分割方法，包括：
接收端侧设备发送的图像分割请求，所述图像分割请求包含待处理的第一图像，所述第一图像为遥感图像、航拍图像或医学影像；
将所述第一图像分解为多个不同分辨率的频域分量，将所述多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图；
并将所述第一图像进行可逆降采样得到第二图像，将所述第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图；
将所述第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果；
向所述端侧设备发送所述图像分割结果。
第四方面，本申请提供一种服务器，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现上述任一方面所述的方法。
本申请提供的图像分割及模型训练的方法、服务器，对于待处理的第一图像，通过轻量级语义分割编码网络提取第一图像的第一特征图，并对第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图；将第一特征图和第三特征图融合后输入分割预测网络进行图像分割，得到图像分割结果，并输出图像分割结果；通过向轻量级语义分割编码网络输入完整尺寸的图像，可提取到包含空间细节特征的第一特征图；通过深度语义分割编码网络对降采样后的图像进行特征提取，可以提取到包含高维度的语义特征的第二特征图，并通过降采样的逆处理将第二特征图恢复到更大分辨率的第三特征图，可以有效减少因图像降采样过程损失的图像信息，并且使得第三特征图与第一特征图的分辨率相同或接近，可以直接融合；通过融合两个分支的特征图，可以得到既包含空间细节特征，又包含高维度语义特征的融合特征，基于融合特征进行图像分割，可以提升图像分割结果的精准度，并且通过一次前向推理即可得到图像分割结果，大大提升了图像分割的速度和效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请所适用的一种示例性的图像分割***架构图；
图2为本申请一示例性实施例提供的图像分割方法流程图；
图3为本申请一示例性实施例提供的图像分割模型的架构示意图；
图4为本申请一示例性实施例提供的一种图像分割模型示例的详细架构图；
图5为本申请一示例性实施例提供的图像分割方法的详细流程图；
图6为本申请一示例性实施例提供的图像分割的模型训练方法流程图；
图7为本申请一示例性实施例提供的图像分割的模型训练的架构图；
图8为本申请另一示例性实施例提供的图像分割方法的流程；
图9为本申请一示例性实施例提供的图像分割装置的结构示意图；
图10为本申请一示例性实施例提供的图像分割的模型训练装置的结构示意图；
图11为本申请实施例提供的一种服务器的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请所涉及的名词进行解释：
超高分辨率图像：是指分辨率达到一定分辨率阈值的图像，可以是遥感图像、航拍图像、医学影像等。在不同应用场景中，对于超高分辨率图像的定义可能不同，一般是指分辨率达到5000*5000的图像，在有些应用场景中将分辨率达到3000*2000的图像也称为超高分辨率图像。对于在图像分割时需要进行多阶段处理(分块)的场景，使用本申请提供的方法均可在不分块的情况下实现单阶段的图像分割，在保证图像分割精准度的前提下，显著提升图像分割的速度和效率。
轻量级语义分割编码网络：是指编码层数量小于或等于第一预设层数的用于语义分割的编码器。由于包含的编码层数量较少，通常包含几层或十几层编码层，轻量级语义分割编码网络的推理速度较快。例如，实时语义分割网络(Short-Term Dense Concatenatenetwork，简称STDC)、双边分割网络(BiSeNet)、包含多重分辨率分支的图像级联网络(Image Cascade Network，简称ICNet)等轻量级实时语义分割网络的编码器，都可作为轻量级语义分割编码网络。
深度语义分割编码网络：是指编码层数量大于或等于第二预设层数的用于语义分割的编码器，包含的编码层数量较多，通常包含几十层甚至更多。例如，金字塔场景解析网络(Pyramid Scene Parsing Network，简称PSPNet)、DeepLab系列的语音分割网络等深度语义分割网络的编码器。DeepLab是一系列基于深度学习的语义分割网络，包括DeepLabv1、DeepLab v2、DeepLab v3以及DeepLab v3+等多个深度语义分割网络。
超高分辨率图像分割是一个图像分割技术中的一个重要分支，在医疗影像、自动驾驶、遥感图像、航拍图像上均有广泛的应用。由于超高分辨率图像的分辨率很高，通常图像宽度和高低达到数千甚至数万个像素，因此对超高分辨率图像的分割计算对资源消耗过高。
目前，超高分辨率图像的分割方法一般采用多阶段分析方法，先将超高分辨率图像切分成多个较低分辨率的图像块，分别对各个图像块进行图像分割，再将图像分割结果拼接起来得到完整的图像分割结果。但是这种分割方法需要对各个图像块分别进行一次图像分割，消耗很多的计算资源，图像分割的效率很低。
本申请提供一种图像分割方法，使用的图像分割模型的编码网络包含两个分支：一个分支使用层数较少的轻量级语义分割编码网络，另一个分支使用层数较多的深度语义分割编码网络。在图像分割时，对于待处理的第一图像，通过轻量级语义分割编码网络提取第一图像的第一特征图，并对第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图；将第一特征图和第三特征图融合后输入分割预测网络进行图像分割，得到图像分割结果，并输出图像分割结果；通过向轻量级语义分割编码网络输入完整尺寸的图像，可提取到包含空间细节特征的第一特征图；通过深度语义分割编码网络对降采样后的图像进行特征提取，可以提取到包含高维度的语义特征的第二特征图，并通过降采样的逆处理将第二特征图恢复到更大分辨率的第三特征图，可以有效减少因图像降采样过程损失的图像信息，并且使得第三特征图与第一特征图的分辨率相同或接近，可以直接融合；通过融合两个分支的特征图，可以得到既包含空间细节特征，又包含高维度语义特征的融合特征，基于融合特征进行图像分割，可以提升图像分割结果的精准度，并且通过一次前向推理即可得到图像分割结果，大大提升了图像分割的速度和效率。
图1为本申请所适用的一种示例性的图像分割***架构图，如图1所示，该***架构具体可包括服务器和端侧设备。
其中，服务器具体可为设置在本地的服务器、也可以是设置在云端的服务器集群。服务器与各个端侧设备间具有可通信的通信链路，能够实现服务器与各个端侧设备间的通信连接。服务器存储有图像分割模型，该图像分割模型的编码器部分包括两个分支，一个分支使用层数较少的轻量级语义分割编码网络，另一个分支使用层数较多的深度语义分割编码网络。该图像分割模型还包括分割预测网络(即解码器部分)。服务器可以存储训练好的图像分割模型，图像分割模型可以由当前服务器训练得到，也可以由另一服务器训练得到。
端侧设备是用户所使用的设备，具体可以是具有网络通信功能、运算功能以及信息显示功能的硬件设备，其包括但不限于智能手机、平板电脑、台式电脑、物联网设备、平台或机构的服务器等。
端侧设备向服务器发送图像分割请求，并提供待处理的第一图像。服务器基于图像分割模型对输入的第一图像进行图像分割处理，得到图像分割结果。
服务器请求给定目标任务和资源限制条件的神经网络模型，服务器响应于图像分割请求，获取待处理的第一图像，通过轻量级语义分割编码网络提取第一图像的第一特征图，并对第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图；将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果。服务器向端侧设备输出图像分割结果。
本申请提供的图像分割方法，具体可以应用于对遥感图像、航拍图像、医疗影像等各类图像数据进行图像分割，可以应用于遥感、电子商务、医疗、安全监测等各种不用应用领域，此处不再一一列举。
示例性地，应用于遥感图像地物分割场景时，端侧设备可以是遥感***的服务器、或者提供遥感图像的终端设备。在需要对遥感图像进行地物分割时，端侧设备向服务器发送图像分割请求，该请求可携带待处理的遥感图像。服务器响应于图像分割请求，获取待处理的遥感图像；通过轻量级语义分割编码网络提取遥感图像的第一特征图，并对遥感图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图；将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到遥感图像的地物分割结果，该地物分割结果可以分割出遥感图像中各类地物所在的区域。服务器将遥感图像的地物分割结果输出至端侧设备。端侧设备输出遥感图像的地物分割结果，以供用户查看和使用。例如，遥感图像的地物分割结果为与遥感图像具有相同分辨率的图像掩码，图像掩码中的像素值表示遥感图像中对应像素所属的地物类别。在输出遥感图像的地物分割结果时，可以根据图像掩码在遥感图像上标记出不同的地物类别覆盖的区域。
示例性地，应用于电子商务领域的图像搜索场景时，端侧设备可以是图像搜索***的服务器。在接收到用户的图像搜索指令时，获取用户输入的目标物品图像，该图像可以是包含目标物品的具有超高分辨率的图像。端侧设备将目标物品图像作为待分割图像，向服务器发送包含目标物品图像的图像分割请求。服务器响应于图像分割请求，获取该目标物品图像；通过轻量级语义分割编码网络提取目标物品图像的第一特征图，并对目标物品图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图；将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到目标物品图像的图像分割结果，该图像分割结果可以分割出目标物品图像中目标物品所在的区域。服务器将目标物品图像的图像分割结果输出至端侧设备。端侧设备根据目标物品所在的区域进行目标物品的识别与搜索，得到目标物品的相关信息，并输出目标物品的相关信息。
示例性地，应用于医疗领域的图像分割场景时，端侧设备可以是医疗***的服务器。在接收到用户的医学影像分割指令时，获取用户输入的医学影像，该医学影像可以是具有超高分辨率的图像。端侧设备将医学影像作为待分割图像，向服务器发送包含医学影像的图像分割请求。服务器响应于图像分割请求，获取该医学影像；通过轻量级语义分割编码网络提取医学影像的第一特征图，并对医学影像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图；将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到医学影像的图像分割结果，该图像分割结果可以分割出医学影像中不同组织结构所在的区域。服务器将医学影像的图像分割结果输出至端侧设备。端侧设备根据医学影像中不同组织结构所在的区域，实现医学教学、病灶识别等处理功能。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请一示例性实施例提供的图像分割方法流程图。本实施例的执行主体为上述图像分割***架构中的服务器，本实施例提供的方法用于实现对超高分辨率图像的精准且高效地图像分割。
示例性地，图3为本申请实施例提供的图像分割模型的架构示意图，如图3所示，该图像分割模型的编码部分包含两个分支：第一个分支使用轻量级语义分割编码网络，基于完整尺寸的图像提取包含丰富细节特征的第一特征图；第二个分支使用深度语义分割编码网络，对第一图像进行可逆降采样得到分辨率更小的第二图像，将第二图像输入深度语义分割编码网络，提取包含高维度(高级)的语义特征的第二特征图，再将第二特征图进行可逆降采样的逆处理，恢复得到较大分辨率的第三特征图。该图像分割模型还包括分割预测网络，分割预测网络为解码部分。编码部分的两个分支提取的特征图融合后输入解码部分的分割预测网络进行预测(即解码)，得到第一图像的图像分割结果。
示例性地，轻量级语义分割编码网络可以使用任意一种编码层数量小于或等于第一预设层数的轻量级语义分割网络的编码器实现。例如，可以使用实时语义分割网络(STDC)、双边分割网络(BiSeNet)、包含多重分辨率分支的图像级联网络(ICNet)等轻量级语义分割网络的编码器。
示例性地，深度语义分割编码网络可以使用任意一种指编码层数量大于或等于第二预设层数的层数较多的深度语义分割网络的编码器实现。例如，可以使用如下任意一种深度语义分割网络的编码器：金字塔场景解析网络(PSPNet)、DeepLab系列的任意语音分割网络。DeepLab包含一系列基于深度学习的语义分割网络，具体包括DeepLab v1、DeepLabv2、DeepLab v3以及DeepLab v3+等多个深度语义分割网络。
其中，第二预设层数大于第一预设层数，第一预设层数和第二预设层数可以根据实际应用场景和经验值进行设置和调整，此处不做具体限定。
基于图3所示的图像分割模型架构，如图2所示，图像分割方法具体步骤如下：
步骤S201、响应于图像分割请求，获取待处理的第一图像。
本实施例中，待处理的第一图像可以为超高分辨率图像、或高分辨率图像。在不同应用场景中，可以是各种不同来源的图像。例如，可以是卫星拍摄的遥感图像、航拍图像、医疗影像等。
其中，图像分割请求可以端侧设备发送的请求，该请求中包含待处理的第一图像，或者包含待处理的第一图像的存储地址信息。服务器可以从请求中提取待处理的第一图像，或者从请求中提取待处理的第一图像的存储地址信息，根据第一图像的存储地址信息获取待处理的第一图像。
另外，图像分割请求可以由用户通过端侧设备提供的交互界面触发，或者由端侧设备上运行的应用程序在需要进行图像分割时自动触发，或者通过其他方式触发，此处不做具体限定。
步骤S202、通过轻量级语义分割编码网络提取第一图像的第一特征图。
该步骤中，通过图像分割模型编码部分第一个分支，使用轻量级语义分割编码网络提取超高分辨率或高分辨率的第一图像的空间细节特征，得到第一特征图，可以提升推理速度和效率。
步骤S203、对第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图。
该步骤中，通过图像分割模型编码部分第二个分支，对第一图像进行可逆降采样，得到分辨率较小的第二图像；使用深度语义分割编码网络提取较小分辨率的第二图像的高级语义特征，得到第二特征图。
本实施例中，在图像分割模型编码部分第二个分支中进行可逆降采样，并对深度语义分割编码网络提取的较小分辨率的第二特征图，进行可逆降采样的逆处理，从而将第二特征图恢复为较大分辨率的第三特征图，可以减少图像降采样过程损失的图像信息，可以提升第三特征图的表达能力，从而在提升推理速度的同时，提升图像分割的精准度。
上述步骤S202和步骤S203利用图像分割模型的两个并列的分支网络实现，这两个步骤并行地进行。
步骤S204、将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果，并输出图像分割结果。
该步骤中，将第一特征图和第三特征图融合时，可以将第一特征图与第三特征图通过上采样统一分辨率，然后拼接或求和等简单参数进行融合，即可得到第一特征图和第三特征图的融合后的融合特征图。将融合特征图输入分割预测网络进行预测，即可得到第一图像的图像分割结果。
示例性地，第一图像的图像分割结果可以是与第一图像具有相同分辨率的图像掩码，图像掩码中的像素值表示第一图像中对应像素所属的类别。不同各类别对应第一图像中不同的分割区域。
例如，遥感图像的地物分割结果为与遥感图像具有相同分辨率的图像掩码，图像掩码中的像素值表示遥感图像中对应像素所属的地物类别。在输出遥感图像的地物分割结果时，可以根据图像掩码在遥感图像上标记出不同的地物类别覆盖的区域。
本实施例中，通过图像分割模型编码部分的两个分支，一个分支使用轻量级网络提取较大分辨率图像的空间细节特征，另一个分支使用深度网络提取降采样后较小分辨率图像的高级语义特征，通过融合两个分支提取到的第一特征图和第三特征图得到融合特征图，该融合特征图同时包含空间细节特征和高级语义特征，具有较好的表达能力。进一步地，通过分割预测网络根据该融合特征图进行预测，得到图像分割结果，使用单阶段方式进行一次推理，即可得到图像分割结果，可以显著提升图像分割模型的推理速度和效率，同时提升图像分割的精准度。
在一可选实施例中，由于图像分割模型编码部分的第一分支中使用的轻量级语义分割编码网络包含较少的层，因此无需对输入的超高分辨率图像进行下采样或剪裁操作，以获取完整尺寸图像的空间细节特征，同时保持较高的推理速度。本实施例中，在第一个分支中，将原始输入的第一图像替换为高频残差，输入轻量级语音分割编码网络，以增强输入图像的空间细节特征，使得提取到的第一特征图包含更丰富的空间细节特征。
在上述步骤S202中，通过轻量级语义分割编码网络提取第一图像的第一特征图，具体可以采用如下方式实现：
将第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量(也即高频残差)；将多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图。
具体地，将第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量(也即高频残差)时，首先生成第一图像I的高斯模糊金字塔，得到其中n为不同分辨率的频域分量的数量，n为大于1的正数。然后，计算高斯金字塔中相邻层的高斯模糊图像的高频残差，得到的多个不同尺寸的高频残差，形成拉普拉斯金字塔。示例性地，可以根据如下公式(1)，计算高频残差，得到多个不同分辨率的频域分量/>
Hi＝gi(I)-U(gi+1(I)) 公式(1)
其中，Hi表示第i个频域分量。I表示第一图像。gi(I)表示第一图像I的第i层高斯模糊图像。gi+1(I)表示第一图像I的第i+1层高斯模糊图像，是对gi(I)进行高斯模糊并向下采样得到的。U()表示上采样操作。
示例性地，在获取高斯金字塔时，将原始高分辨率的图像进行高斯模糊并下采样为原尺寸1/2的图像，得到高斯模糊图像，迭代进行多层高斯模糊及下采样的处理，得到的多个不同尺寸的高斯模糊图像，形成高斯金字塔。
可选地，在将第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量(也即高频残差)之后，可以将多个不同分辨率的频域分量拼接或求和，得到融合结果；将融合结果输入轻量级语义分割编码网络进行特征提取，得到多个不同分辨率的第一特征图；多个不同分辨率的第一特征图可以包括：轻量级语义分割编码网络的最后一层输出的特征图，以及至少一个中间层输出的特征图。
进一步地，在步骤S204中将第一特征图与第三特征图融合时，对于多个不同分辨率的第一特征图，通过将较小分辨率的第一特征图上采样，以统一各个第一特征图的分辨率并拼接或求和进行融合，得到第一特征图的融合特征图，再将第一特征图的融合特征图与第三特征图通过上采样统一分辨率，并拼接或求和进行融合，得到第一特征图和第三特征图的融合结果。
可选地，在步骤S204中将第一特征图与第三特征图融合时，可以将多个不同分辨率的第一特征图，与第三特征图通过上采样统一分辨率，并拼接或求和进行融合，得到第一特征图和第三特征图的融合结果。
在步骤S204中通过简单的上采样、拼接或求和，即可实现两个分支提取的特征图的融合，融合过程简单、效率高。
本实施例中，通过在图像分割模型的编码部分的第一个分支中，将原始输入的第一图像替换为高频残差，输入轻量级语音分割编码网络，可以增强输入图像的空间细节特征，使得提取到的第一特征图包含更丰富的空间细节特征，从而可以在提升图像分割效率的同时，提升图像分割的精准度。
在一可选实施例中，上述步骤S203中，对第一图像进行可逆降采样得到第二图像，具体可以采用如下方式实现：
对第一图像进行至少一级可逆波形变换，得到多个子带图像；将多个子带图像融合，得到第二图像。
可选地，对第一图像进行一次可逆波形变换，得到多个一级子带图像；将多个一级子带图像融合，得到第二图像。
可选地，对第一图像进行两级可逆波形变换，得到多个二级子带图像；将多个二级子带图像融合，得到第二图像。
可选地，对第一图像进行三级可逆波形变换，得到多个三级子带图像；将多个三级子带图像融合，得到第二图像。
进一步地，在对第一图像进行多级可逆波形变换过程中，可以在任意相邻两次可逆波形变换之间增加第一卷积操作，通过第一卷积操作对上一级可逆波形变换得到的子带图像进行特征提取，经过第一卷积操作后的子带图像可以理解为包含特征信息的特征图，对经过第一卷积操作后的子带图像进行下一次可逆波形变换。
示例性地，以进行两级可逆波形变换为例，对第一图像进行可逆波形变换，得到多个一级子带图像；分别对一级子带图像进行第一卷积操作后，再次进行可逆波形变换，得到多个二级子带图像；将多个二级子带图像融合，得到第二图像。
示例性地，第一卷积操作可以包含至少一层全连接层。
另外，在将多个子带图像融合获得第二图像时，可以根据深度语义分割编码网络的通道数量，对多个子带图像进行第三卷积操作来将多个子带图像融合，使得融合后得到的第二图像的通道数量与深度语义分割编码网络的通道数量一致。其中，第三卷积操作用于减少多个子带图像的通道数量，可以使用输出通道数量与深度语义分割编码网络输入的通道数量一致的卷积层实现。
进一步地，在上述步骤S203中，对第二特征图进行可逆降采样的逆处理，得到第三特征图，具体可以采用如下方式实现：
对第二特征图进行第二卷积操作，将第二特征图拆分为多个子带特征图；对第二特征图拆分成的多个子带特征图，进行至少一级可逆波形变换的逆变换，得到第三特征图。
其中，第二卷积操作用于增加第二特征图的通道数量，以将第二特征图拆分为多个子带特征图。第二卷积操作可以使用输出通道数量等于拆分成的多个子带特征图的通道数量之和的卷积层实现。
在可逆降采样的逆处理过程中，进行可逆波形变换的逆变换的级数，与可逆降采样过程中进行可逆波形变换的级数相同，根据可逆波形变换的逆变换的级数，确定需将第二特征图拆分为的多个子带特征图的数量及子带特征图的通道数，并使用第二卷积操作将第二特征图的通道数量调整，使得调整后的通道数量等于需拆分成的多个子带特征图的通道数量之和，从而将第二特征图拆分成的多个子带特征图。
在将第二特征图拆分为多个子带特征图之后，对多个第二特征图拆分成的多个子带特征图，进行至少一级可逆波形变换的逆变换，即可得到更大分辨率的第三特征图。
示例性地，在可逆降采样过程中对第一图像进行了两级可逆波形变换的情况下，在进行逆处理时，对第二特征图拆分成的多个子带特征图，进行两级可逆波形变换的逆变换，得到第三特征图。
示例性地，在可逆降采样过程中对第一图像进行了一级可逆波形变换的情况下，在进行逆处理时，对第二特征图拆分成的多个子带特征图，进行一级可逆波形变换的逆变换，得到第三特征图。
示例性地，在可逆降采样过程中对第一图像进行了三级可逆波形变换的情况下，在进行逆处理时，对第二特征图拆分成的多个子带特征图，进行三级可逆波形变换的逆变换，得到第三特征图。
一种可选地实施方式中，可逆波形变换可以是离散小波变换(Discrete WaveletTransform，简称DWT)。通过对第一图像进行至少一级离散小波变换，得到多个子带图像；将多个子带图像融合，得到第二图像。进一步地，在进行可逆波形变换的逆处理时，对第二特征图拆分成的多个子带特征图，进行至少一级离散小波逆变换(Invert Discrete WaveletTransform，简称IWT或IDWT)，得到第三特征图。
另一种可选地实施方式中，可逆波形变换可以是轮廓波变换。通过对第一图像进行至少一级轮廓波变换，得到多个子带图像；将多个子带图像融合，得到第二图像。进一步地，在进行可逆波形变换的逆处理时，对第二特征图拆分成的多个子带特征图，进行至少一级轮廓波逆变换，得到第三特征图。
示例性地，以可逆降采样的过程为进行两级离散小波变换为例，上述步骤S203的具体实现过程如下：对第一图像进行两级离散小波变换，得到8个二级子带图像；对8个二级子带图像进行卷积操作，融合为第二图像；将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图；将第二特征图拆分成8个子带特征图，对8个子带特征图进行两级离散小波逆变换，得到1个第三特征图。第三特征图的分辨率大于第二特征图的分辨率，更加接近原始的第一图像的分辨率。
本实施例中，通过对第一图像进行可逆降采样，减少深度语义分割编码网络输入图像的分辨率，有效提升深度语义分割编码网络的推理速度和效率；并且通过对深度语义分割编码网络提取的第二特征图进行可逆降采样的逆处理，将第二特征图恢复到更大分辨率的第三特征图，可以恢复部分因降采样损失的图像信息，提升第三特征图的质量，从而可以提升图像分割的精准度和效率。
示例性地，图4为本申请实施例提供的一种图像分割模型示例的详细架构图，如图4所示，对于待处理的第一图像，在图像分割模型的编码部分的第一个分支中，先将第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量，图4中以两个不同分辨率的频域分量H0、H1为例进行示例性地说明，其中H0的分辨率与第一图像的分辨率一致，H1的分辨率为第一图像的分辨率的1/4。将分辨率较小的H1上采样后与H0拼接后(拼接后与第一图像一致的分辨率)，输入轻量级语义分割编码网络进行特征提取，分别取轻量级语义分割编码网络的最后一层和中间层输出的特征图，得到两个分辨率分别为第一图像分辨率1/16和1/8的第一特征图。
在图像分割模型的编码部分的第二个分支中，对第一图像进行离散小波变换(DWT)，得到4个一级子带图像，一级子带图像的分辨率为第一图像分辨率的1/2；通过对各个一级子带图像进行第一卷积操作，第一卷积操作用于进行特征提取，以强化子带图像中的特征信息。然后，对第一卷积操作后一级子带图像再次进行离散小波变换(DWT)，得到16个二级子带图像，二级子带图像的分辨率为第一图像分辨率的1/4；通过第三卷积操作将16个二级子带图像融合后，输入深度语义分割编码网络进行特征提取，得到第二特征图，第二特征图的分辨率为第一图像分辨率的1/32。进一步地，通过第二卷积操作将第二特征图拆分为16个子带特征图，其中4个为一组进行离散小波逆变换(IWT)，得到4个子带特征图(分辨率为第一图像分辨率的1/16)，再对这4个子带特征图进行离散小波逆变换(IWT)，得到分辨率为第一图像分辨率的1/8的第三特征图。
进一步地，将第一个分支得到的分辨率为第一图像分辨率1/16的第一特征图上采样为第一图像分辨率1/8，然后与第一个分支中分辨率为第一图像分辨率1/8的第一特征图，以及第二个分支中的分辨率为第一图像分辨率1/8的第三特征图，进行融合后，输入分割预测网络进行预测，即可得到图像分割结果。
示例性地，第一卷积操作可以包含至少一层全连接层的卷积神经网络(CNN)实现。第二卷积操作用于增加第二特征图的通道数量，可以使用输出通道数量等于拆分成的多个子带特征图的通道数量之和的卷积层实现。第三卷积操作用于减少16个二级子带图像的通道数量，可以使用输出通道数量与深度语义分割编码网络输入的通道数量一致的卷积层(CNN)实现。
图5为本申请一示例性实施例提供的图像分割方法的详细流程图，基于图4所示的模型架构，本实施例提供一种图像分割方法的详细流程图，具体步骤如下：
步骤S501、响应于图像分割请求，获取待处理的第一图像。
该步骤与上述步骤S201类似，此处不再赘述。
步骤S502、将第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量。
步骤S503、将多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到多个不同分辨率的第一特征图。
本实施例中，上述步骤S502-S503为图像分割模型编码部分的第一个分支的处理流程，具体实现方式详见前述实施例中的相关内容，此处不再赘述。
步骤S504、对第一图像进行可逆波形变换，得到多个一级子带图像。
步骤S505、分别对一级子带图像进行第一卷积操作后，再次进行可逆波形变换，得到多个二级子带图像。
步骤S506、将多个二级子带图像融合，得到第二图像。
步骤S507、将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图。
步骤S508、对第二特征图进行第二卷积操作，将第二特征图拆分为多个子带特征图。
步骤S509、对第二特征图拆分成的多个子带特征图，进行两级可逆波形变换的逆变换，得到第三特征图。
本实施例中，上述步骤S504-S509为图像分割模型编码部分的第二个分支的处理流程，具体实现方式详见前述实施例中的相关内容，此处不再赘述。
步骤S510、将第一特征图和第三特征图融合，得到融合特征图；将融合特征图输入分割预测网络进行预测，得到图像分割结果。
该步骤与上述步骤S204类似，此处不再赘述。
步骤S511、输出图像分割结果。
本实施例提供一种图像分割方法的详细流程图，具体实现方式及所能实现的技术效果参见前述实施例中的对应内容，本实施例此处不再赘述。
图6为本申请一示例性实施例提供的图像分割的模型训练方法流程图，本实施例提供上述任一图像分割方法实施例中使用的图像分割模型的训练方法。图像分割模型包括：轻量级语义分割编码网络、深度语义分割编码网络和分割预测网络。如图6所示，图像分割模型可以通过如下步骤训练得到：
步骤S601、获取训练集，训练集包含多个样本图像及样本图像的图像分割标注信息。
本实施例中，针对待训练的图像分割模型的具体应用的图像分割任务，获取对应的训练集。该训练集中包含当前图像分割任务对应的多个样本图像，及各个样本图像的图像分割标注信息。样本图像的图像分割标注信息为样本图像的参考图像分割结果，具体可以是掩码图像，图像掩码中的像素值表示样本图像中对应像素所属的真实类别信息。
步骤S602、通过轻量级语义分割编码网络提取样本图像的第一特征图。
该步骤中，通过图像分割模型编码部分第一个分支，使用轻量级语义分割编码网络提取超高分辨率或高分辨率的样本图像的空间细节特征，得到第一特征图，可以提升推理速度和效率。
步骤S603、对样本图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图。
该步骤中，通过图像分割模型编码部分第二个分支，对样本图像进行可逆降采样，得到分辨率较小的第二图像；使用深度语义分割编码网络提取较小分辨率的第二图像的高级语义特征，得到第二特征图。
本实施例中，在图像分割模型编码部分第二个分支中进行可逆降采样，并对深度语义分割编码网络提取的较小分辨率的第二特征图，进行可逆降采样的逆处理，从而将第二特征图恢复为较大分辨率的第三特征图，可以减少图像降采样过程损失的图像信息，可以提升图像分割模型的表达能力，从而在提升推理速度的同时，提升图像分割的精准度。
上述步骤S602和步骤S603利用图像分割模型的两个并列的分支网络实现，这两个步骤并行地进行。
步骤S604、将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到第一图像分割结果。
该步骤中，将第一特征图和第三特征图融合时，可以将第一特征图与第三特征图通过上采样统一分辨率，然后拼接或求和等简单参数进行融合，即可得到第一特征图和第三特征图的融合后的融合特征图。将融合特征图输入分割预测网络进行预测，得到预测结果，也即得到样本图像的第一图像分割结果。
步骤S605、根据第一图像分割结果和样本图像的图像分割标注信息，计算第一损失，根据第一损失更新图像分割模型的参数，得到训练好的图像分割模型，图像分割模型用于对输入图像进行编码及预测，得到图像分割结果。
本实施例中，根根据第一图像分割结果和样本图像的图像分割标注信息，计算交叉熵损失，得到第一损失。第一损失可以理解为图像分割任务的任务损失。根据第一损失更新图像分割模型的参数，经过多轮迭代训练直至满足收敛条件时，获得训练好的图像分割模型。
其中，收敛条件可以为迭代次数超过预设的迭代次数阈值、或者计算的损失小于某个预先设定的较小的损失阈值、或者两次迭代之间模型参数的变化量小于变化量阈值。收敛条件可以根据应用场景和经验信息进行设置和调整，例如，可以设置最大迭代次数为40K、80K或160K，此处对于收敛条件不做具体限定。
在图像分割模型训练过程中，图像分割模型对样本图像的处理过程，与上述图像分割方法实施例中，图像分割模型对第一图像的处理过程一致，具体实现方式和所能实现的技术效果参见前述图像分割方法实施例，此处不再赘述。
在一可选实施例中，在图像分割模型训练过程中，增加超分辨率重建模块，该超分辨率重建模块用于对前述第二个分支提取的第三特征图进行升采样，以在频域中重建原始输入，得到与原始输入的样本图像具有相同分辨率的第三图像。根据第三图像和样本图像，计算小波平滑损失函数，得到第二损失。该第二损失可以约束和优化可逆降采样及其逆处理的过程，以减少降采样损失的图像信息。
具体地，可以对重建得到的第三图像进行与样本图像一样的可逆降采样，得到第三图像对应的至少一级子带图像。根据第三图像的各级子带图像，以及样本图像的各级子带图像，计算小波平滑损失函数，得到第二损失。
示例性地，以可逆降采样使用离散小波变换为例，一次离散小波变换将输入图像变换为4个子带图像，包括一个低频子带和三个高频子带。用L表示图像分割网络编码部分的第二个分支中的可逆降采样过程进行离散小波变换的级数。对样本图像进行L级离散小波变换，可以得到样本图像的1-L级的子带图像。对第三图像进行L级离散小波变换，可以得到第三图像的1-L级的子带图像。L可以取值为1、2或3，具体可以根据应用场景和经验值进行设定，此处不做具体限定。
根据第三图像的1-L级子带图像，以及样本图像的1-L级子带图像，对于任意一级子带图像，计算第三图像和样本图像的该级子带图像中低频子带的L2损失，并计算第三图像和样本图像的该级子带图像中高频子带的L1损失，对低频子带的L2损失和高频子带的L1损失加权求和得到该级子带图像的损失，对L级子带图像的损失求和，得到第二损失。
示例性地，根据第三图像的1-L级子带图像，以及样本图像的1-L级子带图像，可以使用如下公式(2)，计算小波平滑损失函数，得到第二损失：
其中，Lwsl表示第二损失。It，b：1表示样本图像在第l级离散小波变换后得到的l级子带图像中的低频子带，Il，b：k表示样本图像在第l级离散小波变换后得到的l级子带图像中的第k个高频子带。表示第三图像在第l级离散小波变换后得到的l级子带图像中的低频子带，/>表示第三图像在第l级离散小波变换后得到的l级子带图像中的第k个高频子带。k可取值2，3，4。λ1和λ2分别为低频和高频的约束权重，可以根据经验值设置，例如λ1＝1，λ2＝0.8，此处不做具体限定。||||2表示计算2范数，||||1表示计算1范数。
本实施例中，通过对低频子带计算L2损失，对高频子带计算L1损失，使用L1损失约束高频子带，可以使得通过第二个分支提取的特征图的纹理分布与原始样本图像的纹理分布一致或者更加接近，可以避免同时使用L2损失约束高频子带导致的过度拟合。由于低频子带表示图像基本的结构细节，利用L2损失约束低频子带可以使得第二个分支提取的特征图的空间细节尽可能接近原始样本图像，从而驱动第二个分支更好地提取空间细节特征，可以提升第二个分支提取的特征图的表达能力。
进一步地，在更新图像分割模型的参数时，根据第一损失和第二损失，更新图像分割模型的参数。其中，不同损失的权重可以根据实际应用场景和经验值设置和调整，此处不做具体限定。
示例性地，将第一损失和第二损失加权求和得到第一综合损失，根据第一综合损失更新图像分割模型的参数。
在一可选实施例中，在图像分割模型训练过程中，还可以增加一个用于训练的分割预测网络，将第二特征图输入用于训练的分割预测网络进行预测，得到第二图像分割结果。根据第二图像分割结果和样本图像的图像分割标注信息，计算第三损失。
具体地，可以根据第二图像分割结果和样本图像的图像分割标注信息，计算交叉熵损失，得到第三损失。第三损失可以理解为第二个分支的分割损失。
进一步地，在更新图像分割模型的参数时，可以将第一损失、第二损失和第三损失加权求和，得到第二综合损失，根据第二综合损失更新图像分割模型的参数。
示例性地，第一损失和第三损失的权重可以相同，第二损失与第一损失和第三损失使用不同的权重，第二损失的权重相对第一损失的权重跟小。例如，第一损失和第三损失的权重设为1，第二损失的权重设为0.1。本实施例中，不同损失的权重可以根据实际应用场景和经验值设置和调整，此处不做具体限定。
在另一可选实施例中，还可以只计算第一损失和第三损失，对第一损失和第三损失加权求和，得到第三综合损失，根据第三综合损失更新图像分割模型的参数。其中，不同损失的权重可以根据实际应用场景和经验值设置和调整，此处不做具体限定。
示例性地，基于图4所示的图像分割模型的架构，在训练时可以构建如图7所示的架构，如图7所示，在训练时增加了超分辨率重建模块和用于训练的分割预测网络。图7中虚线表示在训练时才需要进行的流程，在训练完成后会剪掉训练时增加的超分辨率重建模块和用于训练的分割预测网络，得到图4所示的图像分割模型架构。
图8为本申请另一示例性实施例提供的图像分割方法的流程。如图8所示，该图像分割方法的具体步骤如下：
步骤S801、接收端侧设备发送的图像分割请求，图像分割请求包含待处理的第一图像，第一图像为遥感图像、航拍图像或医学影像。
本实施例中，端侧设备在需要进行图像分割时，向服务器发送图像分割请求，该图像分割请求包含待处理的第一图像。
其中，待处理的第一图像可以是遥感图像、航拍图像或医学影像等超高分辨率图像，也可以是其他类型的超高分辨率图像或高分辨率图像，此处不做具体限定。
步骤S802、将第一图像分解为多个不同分辨率的频域分量，将多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图。
步骤S803、将第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图。
步骤S804、将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果。
上述步骤S802-S804的具体实现方式与前述步骤S202-S204的实现方式一致，具体实现方式和效果参见前述实施例的相关内容，此处不再赘述。
步骤S805、向端侧设备发送图像分割结果。
本实施例中，服务器将图像分割结果发送至端侧设备。端侧设备接收服务器发送的图像分割结果，并输出图像分割结果。
示例性地，应用于遥感图像地物分割场景时，图像分割结果可以是遥感图像的地物分割结果。该地物分割结果可以分割出遥感图像中各类地物所在的区域。服务器将遥感图像的地物分割结果输出至端侧设备。端侧设备输出遥感图像的地物分割结果，以供用户查看和使用。
例如，遥感图像的地物分割结果为与遥感图像具有相同分辨率的图像掩码，图像掩码中的像素值表示遥感图像中对应像素所属的地物类别。在输出遥感图像的地物分割结果时，可以根据图像掩码在遥感图像上标记出不同的地物类别覆盖的区域。
示例性地，应用于电子商务领域的图像搜索场景时，端侧设备可以是图像搜索***的服务器。图像分割结果可以是目标物品图像的图像分割结果，该图像分割结果可以分割出目标物品图像中目标物品所在的区域。服务器将目标物品图像的图像分割结果输出至端侧设备。端侧设备根据目标物品所在的区域进行目标物品的识别与搜索，得到目标物品的相关信息，并输出目标物品的相关信息。
示例性地，应用于医疗领域的图像分割场景时，端侧设备可以是医疗***的服务器。图像分割结果可以是医学影像的图像分割结果，该图像分割结果可以分割出医学影像中不同组织结构所在的区域。服务器将医学影像的图像分割结果输出至端侧设备。端侧设备根据医学影像中不同组织结构所在的区域，实现医学教学、病灶识别等处理功能。
本实施例中，通过图像分割模型编码部分的两个分支，一个分支使用轻量级网络提取较大分辨率图像的空间细节特征，另一个分支使用深度网络提取降采样后较小分辨率图像的高级语义特征，通过融合两个分支提取到的第一特征图和第三特征图得到融合特征图，该融合特征图同时包含空间细节特征和高级语义特征，具有较好的表达能力。进一步地，通过分割预测网络根据该融合特征图进行预测，得到图像分割结果，使用单阶段方式进行一次推理，即可得到图像分割结果，可以显著提升图像分割模型的推理速度和效率，同时提升图像分割的精准度。
图9为本申请一示例性实施例提供的图像分割装置的结构示意图。本申请实施例提供的图像分割装置可以执行图像分割方法实施例提供的处理流程。如图9所示，图像分割装置90包括：图像获取模块91、第一编码模块92、第二编码模块93和预测模块94。
图像获取模块91用于响应于图像分割请求，获取待处理的第一图像。
第一编码模块92用于通过轻量级语义分割编码网络提取第一图像的第一特征图。
第二编码模块93用于对第一图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图。
预测模块94用于将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果，并输出图像分割结果。
在一可选实施例中，在实现对第一图像进行可逆降采样得到第二图像时，第二编码模块93还用于：对第一图像进行至少一级可逆波形变换，得到多个子带图像；将多个子带图像融合，得到第二图像。
在一可选实施例中，在实现对第一图像进行至少一级可逆波形变换，得到多个子带图像；将多个子带图像融合，得到第二图像时，第二编码模块93还用于：对第一图像进行可逆波形变换，得到多个一级子带图像；分别对一级子带图像进行第一卷积操作后，再次进行可逆波形变换，得到多个二级子带图像；将多个二级子带图像融合，得到第二图像。
在一可选实施例中，在实现对第二特征图进行可逆降采样的逆处理，得到第三特征图时，第二编码模块93还用于：对第二特征图进行第二卷积操作，将第二特征图拆分为多个子带特征图；对第二特征图拆分成的多个子带特征图，进行至少一级可逆波形变换的逆变换，得到第三特征图。
在一可选实施例中，在实现对第二特征图拆分成的多个子带特征图，进行至少一级可逆波形变换的逆变换，得到第三特征图时，第二编码模块93还用于：对第二特征图拆分成的多个子带特征图，进行两级可逆波形变换的逆变换，得到第三特征图。
在一可选实施例中，在实现对第一图像进行至少一级可逆波形变换，得到多个子带图像时，第二编码模块93还用于：对第一图像进行至少一级离散小波变换，得到多个子带图像。
相应地，在实现对第二特征图拆分成的多个子带特征图，进行至少一级可逆波形变换的逆变换，得到第三特征图时，第二编码模块93还用于：对第二特征图拆分成的多个子带特征图，进行至少一级离散小波逆变换，得到第三特征图。
在一可选实施例中，在实现对第一图像进行至少一级可逆波形变换，得到多个子带图像时，第二编码模块93还用于：对第一图像进行至少一级轮廓波变换，得到多个子带图像。
相应地，在实现对第二特征图拆分成的多个子带特征图，进行至少一级可逆波形变换的逆变换，得到第三特征图时，第二编码模块93还用于：对第二特征图拆分成的多个子带特征图，进行至少一级轮廓波逆变换，得到第三特征图。
在一可选实施例中，在实现通过轻量级语义分割编码网络提取第一图像的第一特征图时，第一编码模块92还用于：将第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量；将多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图。
在一可选实施例中，在实现将多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图时，第一编码模块92还用于：将多个不同分辨率的频域分量拼接或求和，得到融合结果；将融合结果输入轻量级语义分割编码网络进行特征提取，得到多个不同分辨率的第一特征图。
本申请实施例提供的装置可以具体用于执行上述任一图像分割方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
图10为本申请一示例性实施例提供的图像分割的模型训练装置的结构示意图。本申请实施例提供的图像分割的模型训练装置可以执行图像分割的模型训练方法实施例提供的处理流程。本实施例中，待训练的图像分割模型包括：轻量级语义分割编码网络、深度语义分割编码网络和分割预测网络。
如图10所示，图像分割的模型训练装置100包括：第一编码单元1001、第二编码单元1002、预测单元1003和训练单元1004。
其中，第一编码单元1001用于通过轻量级语义分割编码网络提取样本图像的第一特征图。
第二编码单元1002用于对样本图像进行可逆降采样得到第二图像，将第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对第二特征图进行可逆降采样的逆处理，得到第三特征图。
预测单元1003用于将第一特征图和第三特征图融合后输入分割预测网络进行预测，得到第一图像分割结果。
训练单元1004用于根据第一图像分割结果和样本图像的图像分割标注信息，计算第一损失，并根据第一损失更新图像分割模型的参数，得到训练好的图像分割模型。图像分割模型用于对输入图像进行编码及预测，得到图像分割结果。
在一可选实施例中，训练单元1004还用于：根据样本图像的分辨率，对第三特征图升采样，得到与样本图像分辨率相同的第三图像；根据第三图像和样本图像，计算小波平滑损失函数，得到第二损失。在实现根据第一损失更新图像分割模型的参数时，训练单元1004还用于：根据第一损失和第二损失，更新图像分割模型的参数。
在一可选实施例中，训练单元1004还用于：将第二特征图输入分割预测网络进行预测，得到第二图像分割结果；根据第二图像分割结果和样本图像的图像分割标注信息，计算第三损失。在实现根据第一损失和第二损失，更新图像分割模型的参数时，训练单元1004还用于：根据第一损失、第二损失和第三损失，更新图像分割模型的参数。
本申请实施例提供的装置可以具体用于执行上述任一图像分割模型训练方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
图11为本申请实施例提供的一种服务器的结构示意图。如图11所示，该服务器包括：存储器1101和处理器1102。存储器1101，用于存储计算机执行指令，并可被配置为存储其它各种数据以支持在服务器上的操作。处理器1102，与存储器1101通信连接，用于执行存储器1101存储的计算机执行指令，以实现上述任一方法实施例提供的技术方案，其具体功能和所能实现的技术效果类似，此处不再赘述。
图11中以服务器为设置在云端的云服务器的形态为例进行示例性地说明，服务器也可以为设置在本地的服务器。
可选的，如图11所示，该服务器还包括：防火墙1103、负载均衡器1104、通信组件1105、电源组件1106等其它组件。图11中仅示意性给出部分组件，并不意味着服务器只包括图11所示组件。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
本申请实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得服务器执行上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。本申请实施例提供一种芯片，包括：处理模块与通信接口，该处理模块能执行前述方法实施例中服务器的技术方案。可选的，该芯片还包括存储模块(如，存储器)，存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述任一方法实施例提供的技术方案。
上述存储器可以是对象存储(Object Storage Service，OSS)。
上述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如移动热点(WiFi)，第二代移动通信***(2G)、第三代移动通信***(3G)、***移动通信***(4G)/长期演进(LTE)、第五代移动通信***(5G)等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、只读光盘存储器(CD-ROM)、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户属性信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。“多个”的含义是两个以上，除非另有明确具体的限定。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (12)
1.一种图像分割的模型训练方法，其特征在于，包括：
待训练的图像分割模型包括：轻量级语义分割编码网络、深度语义分割编码网络和分割预测网络，
通过所述轻量级语义分割编码网络提取样本图像的第一特征图，并对所述样本图像进行可逆降采样得到第二图像，将所述第二图像输入所述深度语义分割编码网络进行特征提取，得到第二特征图，对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图；
将所述第一特征图和第三特征图融合后输入所述分割预测网络进行预测，得到第一图像分割结果；
根据所述第一图像分割结果和所述样本图像的图像分割标注信息，计算第一损失，并根据第一损失更新所述图像分割模型的参数，得到训练好的图像分割模型，所述图像分割模型用于对输入图像进行编码及预测，得到图像分割结果；
还包括：
根据所述样本图像的分辨率，对所述第三特征图升采样，得到与所述样本图像分辨率相同的第三图像；
根据所述第三图像和所述样本图像，计算小波平滑损失函数，得到第二损失；
将所述第二特征图输入所述分割预测网络进行预测，得到第二图像分割结果；
根据所述第二图像分割结果和所述样本图像的图像分割标注信息，计算第三损失；
所述根据第一损失更新所述图像分割模型的参数，包括：
根据所述第一损失、所述第二损失和所述第三损失，更新所述图像分割模型的参数。
2.一种图像分割方法，其特征在于，包括：
响应于图像分割请求，获取待处理的第一图像；
通过轻量级语义分割编码网络提取所述第一图像的第一特征图，并对所述第一图像进行可逆降采样得到第二图像，将所述第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图；其中，所述第二特征图的分辨率小于所述第三特征图的分辨率；
将所述第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果，并输出所述图像分割结果；
其中，所述轻量级语义分割编码网络、所述深度语义分割编码网络和所述分割预测网络属于图像分割模型；所述图像分割模型为通过权利要求1所述的模型训练方法训练得到的。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像进行可逆降采样得到第二图像，包括：
对所述第一图像进行至少一级可逆波形变换，得到多个子带图像；
将所述多个子带图像融合，得到所述第二图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述第一图像进行至少一级可逆波形变换，得到多个子带图像；将所述多个子带图像融合，得到所述第二图像，包括：
对所述第一图像进行可逆波形变换，得到多个一级子带图像；
分别对所述一级子带图像进行第一卷积操作后，再次进行可逆波形变换，得到多个二级子带图像；
将所述多个二级子带图像融合，得到所述第二图像。
5.根据权利要求3所述的方法，其特征在于，所述对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图，包括：
对所述第二特征图进行第二卷积操作，将所述第二特征图拆分为多个子带特征图；
对所述第二特征图拆分成的多个子带特征图，进行至少一级所述可逆波形变换的逆变换，得到所述第三特征图。
6.根据权利要求5所述的方法，其特征在于，所述对所述第二特征图拆分成的多个子带特征图，进行至少一级所述可逆波形变换的逆变换，得到所述第三特征图，包括：
对所述第二特征图拆分成的多个子带特征图，进行两级所述可逆波形变换的逆变换，得到所述第三特征图。
7.根据权利要求5所述的方法，其特征在于，所述对所述第一图像进行至少一级可逆波形变换，得到多个子带图像，包括：
对所述第一图像进行至少一级离散小波变换，得到多个子带图像；
相应地，所述对所述第二特征图拆分成的多个子带特征图，进行至少一级所述可逆波形变换的逆变换，得到所述第三特征图，包括：
对所述第二特征图拆分成的多个子带特征图，进行至少一级离散小波逆变换，得到所述第三特征图。
8.根据权利要求5所述的方法，其特征在于，所述对所述第一图像进行至少一级可逆波形变换，得到多个子带图像，包括：
对所述第一图像进行至少一级轮廓波变换，得到多个子带图像；
相应地，所述对所述第二特征图拆分成的多个子带特征图，进行至少一级所述可逆波形变换的逆变换，得到所述第三特征图，包括：
对所述第二特征图拆分成的多个子带特征图，进行至少一级轮廓波逆变换，得到所述第三特征图。
9.根据权利要求2-8中任一项所述的方法，其特征在于，所述通过轻量级语义分割编码网络提取所述第一图像的第一特征图，包括：
将所述第一图像进行拉普拉斯金字塔分解，得到多个不同分辨率的频域分量；
将所述多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图。
10.根据权利要求9所述的方法，其特征在于，所述将所述多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图，包括：
将所述多个不同分辨率的频域分量拼接或求和，得到融合结果；
将所述融合结果输入所述轻量级语义分割编码网络进行特征提取，得到多个不同分辨率的第一特征图。
11.一种图像分割方法，其特征在于，包括：
接收端侧设备发送的图像分割请求，所述图像分割请求包含待处理的第一图像，所述第一图像为遥感图像、航拍图像或医学影像；
将所述第一图像分解为多个不同分辨率的频域分量，将所述多个不同分辨率的频域分量融合后，输入轻量级语义分割编码网络进行特征提取，得到第一特征图；
并将所述第一图像进行可逆降采样得到第二图像，将所述第二图像输入深度语义分割编码网络进行特征提取，得到第二特征图，对所述第二特征图进行所述可逆降采样的逆处理，得到第三特征图；其中，所述第二特征图的分辨率小于所述第三特征图的分辨率；
将所述第一特征图和第三特征图融合后输入分割预测网络进行预测，得到图像分割结果；
向所述端侧设备发送所述图像分割结果；
其中，所述轻量级语义分割编码网络、所述深度语义分割编码网络和所述分割预测网络属于图像分割模型；所述图像分割模型为通过权利要求1所述的模型训练方法训练得到的。
12.一种服务器，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-11中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310333563.1A CN116342884B (zh) | 2023-03-28 | 2023-03-28 | 图像分割及模型训练的方法、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310333563.1A CN116342884B (zh) | 2023-03-28 | 2023-03-28 | 图像分割及模型训练的方法、服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116342884A CN116342884A (zh) | 2023-06-27 |
| CN116342884B true CN116342884B (zh) | 2024-02-06 |
Family
ID=86892788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310333563.1A Active CN116342884B (zh) | 2023-03-28 | 2023-03-28 | 图像分割及模型训练的方法、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342884B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475155B (zh) * | 2023-12-26 | 2024-04-02 | 厦门瑞为信息技术有限公司 | 基于半监督学习的轻量级遥感图像分割方法 |
| CN117808685B (zh) * | 2024-02-29 | 2024-05-07 | 广东琴智科技研究院有限公司 | 一种红外图像数据增强的方法、装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
| CN113159051A (zh) * | 2021-04-27 | 2021-07-23 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
| CN113470057A (zh) * | 2021-06-29 | 2021-10-01 | 上海商汤智能科技有限公司 | 语义分割方法、装置、电子设备和计算机可读存储介质 |
| CN114120102A (zh) * | 2021-11-03 | 2022-03-01 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| ZA202207731B (en) * | 2021-04-25 | 2022-07-27 | Univ Zhejiang Normal | A semantic segmentation system and method based on dual feature fusion for iot sensing |
| CN114913182A (zh) * | 2022-06-22 | 2022-08-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法、装置、设备和存储介质 |
| CN115311454A (zh) * | 2022-07-05 | 2022-11-08 | 长沙理工大学 | 一种基于残差特征优化和注意力机制的图像分割方法 |
| US11521377B1 (en) * | 2021-10-26 | 2022-12-06 | Nanjing University Of Information Sci. & Tech. | Landslide recognition method based on laplacian pyramid remote sensing image fusion |
| CN115457498A (zh) * | 2022-09-22 | 2022-12-09 | 合肥工业大学 | 一种基于双注意力和密集连接的城市道路语义分割方法 |
| CN115546236A (zh) * | 2022-11-24 | 2022-12-30 | 阿里巴巴（中国）有限公司 | 基于小波变换的图像分割方法及装置 |
| CN115713535A (zh) * | 2022-11-07 | 2023-02-24 | 阿里巴巴（中国）有限公司 | 图像分割模型确定方法以及图像分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052106B (zh) * | 2021-04-01 | 2022-11-04 | 重庆大学 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
-
2023
- 2023-03-28 CN CN202310333563.1A patent/CN116342884B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951288A (zh) * | 2020-07-15 | 2020-11-17 | 南华大学 | 一种基于深度学习的皮肤癌病变分割方法 |
| ZA202207731B (en) * | 2021-04-25 | 2022-07-27 | Univ Zhejiang Normal | A semantic segmentation system and method based on dual feature fusion for iot sensing |
| CN113159051A (zh) * | 2021-04-27 | 2021-07-23 | 长春理工大学 | 一种基于边缘解耦的遥感图像轻量化语义分割方法 |
| CN113470057A (zh) * | 2021-06-29 | 2021-10-01 | 上海商汤智能科技有限公司 | 语义分割方法、装置、电子设备和计算机可读存储介质 |
| US11521377B1 (en) * | 2021-10-26 | 2022-12-06 | Nanjing University Of Information Sci. & Tech. | Landslide recognition method based on laplacian pyramid remote sensing image fusion |
| CN114120102A (zh) * | 2021-11-03 | 2022-03-01 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN114913182A (zh) * | 2022-06-22 | 2022-08-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像分割方法、装置、设备和存储介质 |
| CN115311454A (zh) * | 2022-07-05 | 2022-11-08 | 长沙理工大学 | 一种基于残差特征优化和注意力机制的图像分割方法 |
| CN115457498A (zh) * | 2022-09-22 | 2022-12-09 | 合肥工业大学 | 一种基于双注意力和密集连接的城市道路语义分割方法 |
| CN115713535A (zh) * | 2022-11-07 | 2023-02-24 | 阿里巴巴（中国）有限公司 | 图像分割模型确定方法以及图像分割方法 |
| CN115546236A (zh) * | 2022-11-24 | 2022-12-30 | 阿里巴巴（中国）有限公司 | 基于小波变换的图像分割方法及装置 |
Non-Patent Citations (7)
| Title |
|---|
| Multi-level wavelet-cnn for image restoration;Pengju Liu, Hongzhi Zhang, Kai Zhang等;2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW);摘要，第1-3节 * |
| Shaohua Guo, Liang Liu, Zhenye Gan,等.Isdnet: Integrating shallow and deep networks for efficient ultra-high resolution segmentation.2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).2022,摘要，第1-3节. * |
| Structural and Statistical Texture Knowledge Distillation for Semantic Segmentation;DeyiJi等;2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);第16855-16864页 * |
| 基于多尺度特征融合的轻量级图像超分辨率研究;严伊彤;中国优秀硕士学位论文全文数据库-信息科技辑;第I138-2624页 * |
| 基于深度学习的实时人流统计方法研究;赵朵朵;章坚武;傅剑峰;;传感技术学报(第8期);第87-94页 * |
| 基于高效的多尺度特征提取的轻量级语义分割;刘云, 陆承泽, 李仕杰, 等;计算机学报;第45卷(第7期);第1517-1528页 * |
| 赵涓涓著.《基于PET-CT的肺癌早期计算机辅助诊断技术》.北京：国防工业出版社,2015,第82-84页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116342884A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116342884B (zh) | 图像分割及模型训练的方法、服务器 | |
| CN111832570A (zh) | 一种图像语义分割模型训练方法及*** | |
| CN111819580A (zh) | 用于密集图像预测任务的神经架构搜索 | |
| CN112565777B (zh) | 基于深度学习模型视频数据传输方法、***、介质及设备 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| EP3958168A1 (en) | Method and device for identifying video | |
| CN114926338A (zh) | 模型训练方法及装置、电子设备和存储介质 | |
| CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
| CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及*** | |
| CN114071141A (zh) | 一种图像处理方法及其设备 | |
| CN114067327A (zh) | 文本识别方法、装置、可读介质及电子设备 | |
| CN115118972A (zh) | 视频图像的编解码方法及相关设备 | |
| CN110796003B (zh) | 车道线检测方法、装置及电子设备 | |
| CN115760607A (zh) | 图像修复方法、装置、可读介质以及电子设备 | |
| EP4387233A1 (en) | Video encoding and decoding method, encoder, decoder and storage medium | |
| CN114330239A (zh) | 文本处理方法及装置、存储介质及电子设备 | |
| US11681920B2 (en) | Method and apparatus for compressing deep learning model | |
| EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
| CN110135517B (zh) | 用于获取车辆相似度的方法及装置 | |
| CN112561817A (zh) | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 | |
| CN114095728B (zh) | 一种端到端的视频压缩方法、装置和计算机可读存储介质 | |
| CN116934557B (zh) | 行为预测信息生成方法、装置、电子设备和可读介质 | |
| CN117853739B (zh) | 基于特征变换的遥感图像特征提取模型预训练方法及装置 | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| CN117787380A (zh) | 模型获取方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |