CN113538425B - 可通行水域分割设备、图像分割模型训练和图像分割方法 - Google Patents

可通行水域分割设备、图像分割模型训练和图像分割方法 Download PDF

Info

Publication number
CN113538425B
CN113538425B CN202111083247.0A CN202111083247A CN113538425B CN 113538425 B CN113538425 B CN 113538425B CN 202111083247 A CN202111083247 A CN 202111083247A CN 113538425 B CN113538425 B CN 113538425B
Authority
CN
China
Prior art keywords
image
target sample
feature map
sample image
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083247.0A
Other languages
English (en)
Other versions
CN113538425A (zh
Inventor
汪洋
周润东
高玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Original Assignee
Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology filed Critical Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology
Priority to CN202111083247.0A priority Critical patent/CN113538425B/zh
Publication of CN113538425A publication Critical patent/CN113538425A/zh
Application granted granted Critical
Publication of CN113538425B publication Critical patent/CN113538425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种可通行水域分割设备、图像分割模型训练和图像分割方法，通过获取待分割图像，将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果；图像分割模型包括：编码器和解码器；将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果，包括：通过编码器对待分割图像进行特征提取，得到关联特征图，特征提取包括：N次下采样处理；通过解码器对关联特征图进行分辨率还原和像素类别的预测，得到待分割图像的分割结果，分辨率还原包括M次上采样处理，M小于N；待分割图像的分割结果的尺寸与待分割图像的尺寸相同，待分割图像的分割结果包括与分割结果的像素点位置对应的待分割图像中的像素点的类别。

Description

可通行水域分割设备、图像分割模型训练和图像分割方法
技术领域
本发明涉及图像处理技术领域，具体涉及可通行水域分割设备、图像分割模型训练和图像分割方法。
背景技术
图像分割，也就是将图像中的每个像素点进行语义分类，目前得到了广泛的应用。例如，在水面导航领域，水面艇获取水路图像，对水路图像进行图像分割，将水路图像中的水和非水部分进行区分，从而可以为无人水面艇提供安全的可通行区域，也为其航路规划、目标检测和避障提供重要的参考信息。
现有的图像分割方法，以编码器和解码器的网络结构为框架，对图像中的每个像素点进行分类，从而得到分割结果。
然而，现有的图像分割方法计算量较大，分割效率较低。
发明内容
本发明主要解决的技术问题是图像分割的计算量较大，分割效率较低。为解决上述技术问题，本发明提供一种可通行水域分割设备、图像分割模型训练和图像分割方法。
第一方面，一种实施例中提供一种可通行水域分割设备，包括：
摄像头，用于获取待分割的水路图像；
处理器，用于将所述待分割的水路图像输入到图像分割模型中进行处理，得到所述待分割的水路图像的分割结果；其中，所述图像分割模型包括：编码器和解码器，所述编码器包括卷积神经网络层和上下文先验层；所述将所述待分割的水路图像输入到图像分割模型中进行处理，包括：
通过所述编码器的卷积神经网络层对所述待分割的水路图像进行特征提取，得到深度特征图；所述特征提取包括：N次下采样处理，N为大于1的整数；
通过所述编码器的上下文先验层对所述深度特征图进行上下文聚合处理，得到关联特征图；
通过所述解码器对所述关联特征图进行分辨率还原和像素类别的预测，得到所述待分割的水路图像的分割结果；所述通过所述解码器对所述关联特征图进行分辨率还原包括：对所述关联特征图进行M1次上采样处理，得到第一特征图；将所述第一特征图和中间特征图进行通道融合，得到第二特征图，所述中间特征图是所述编码器在下采样过程中的中间输出的与所述第一特征图的尺寸相同的特征图；对所述第二特征图进行M2次上采样，得到所述待分割的水路图像的分割结果，M1与M2之和等于M，且M为大于等于1的整数，M小于N；
其中，所述待分割的水路图像的分割结果包括：与所述分割结果的像素点位置对应的所述待分割的水路图像中的像素点的类别，所述类别包括水类别和非水类别。
第二方面，一种实施例中提供一种图像分割方法,包括：
获取待分割图像；
将所述待分割图像输入到图像分割模型中进行处理，得到所述待分割图像的分割结果；其中，所述图像分割模型包括：编码器和解码器；所述将所述待分割图像输入到图像分割模型中进行处理，得到所述待分割图像的分割结果，包括：
通过所述编码器对所述待分割图像进行特征提取，得到关联特征图，所述特征提取包括：N次下采样处理，N为大于1的整数；
通过所述解码器对所述关联特征图进行分辨率还原和像素类别的预测，得到所述待分割图像的分割结果，所述分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；所述待分割图像的分割结果的尺寸与所述待分割图像的尺寸相同，所述待分割图像的分割结果包括：与所述分割结果的像素点位置对应的所述待分割图像中的像素点的类别，所述类别包括目标类别和非目标类别。
第三方面，一种实施例中提供一种图像分割模型训练方法,所述图像分割模型包括：编码器和解码器；所述方法包括：
获取目标样本图像；
获取所述目标样本图像对应的标签图像，所述标签图像为目标样本图像上每个像素点标注分类结果的图像；
将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练；所述将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练，包括：
通过编码器对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图，所述特征提取包括N次下采样处理，N为大于1的整数；
通过所述解码器对所述关联特征图进行分辨率还原和像素类别的预测，得到所述目标样本图像的分割结果，所述分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；所述目标样本图像的分割结果的尺寸与所述目标样本图像的尺寸相同，所述目标样本图像的分割结果中的每个像素点用于指示与其位置对应的所述目标样本图像的像素点的类别；
根据所述目标样本图像的分割结果和所述目标样本图像对应的标签图像，确定所述目标样本图像的主分割损失；
根据所述主分割损失调整所述图像分割模型的参数，直到所述图像分割模型收敛，得到训练完成的图像分割模型。
第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面-第三方面中任一项所述的方法。
依据上述实施例的可通行水域分割设备、图像分割模型训练和图像分割方法，通过获取待分割图像，将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果；其中，图像分割模型包括：编码器和解码器；将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果，包括：通过编码器对待分割图像进行特征提取，得到关联特征图，特征提取包括：N次下采样处理，N为大于1的整数；通过解码器对关联特征图进行分辨率还原和像素类别的预测，得到待分割图像的分割结果，分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；待分割图像的分割结果的尺寸与待分割图像的尺寸相同，待分割图像的分割结果包括：与分割结果的像素点位置对应的待分割图像中的像素点的类别，类别包括目标类别和非目标类别。由于图像分割模型引入了解码器结构，解码器结构能起到细节补偿的作用，使得分割结果更准确。另外，解码器进行上采样处理的次数小于编码器进行下采样处理的次数，图像分割的计算量较小，提高了分割效率。
附图说明
图1为本发明实施例提供的一种实施例的图像分割方法的流程示意图；
图2为本发明实施例提供的一种上下文先验层结构示意图；
图3为本发明实施例提供的一种图像分割模型训练方法的流程示意图；
图4为本发明实施例提供的另一种图像分割模型训练方法的流程示意图；
图5为本发明实施例提供的一种理想亲和力图的构造原理示意图；
图6为本发明实施例提供的另一种理想亲和力图的构造原理示意图；
图7为本发明实施例提供的一种图像分割模型的原理示意图；
图8为本发明实施例提供的一种可通行水域分割设备的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
本发明可以应用于多种对图像进行分割的场景中，下面介绍本发明应用的一种场景。
与自动驾驶车辆一样，在水面导航领域，场景理解对于自主航行的无人水面艇来说同样重要。无人水面艇可通行水域的准确预测对于无人水面艇的安全航行十分重要。无人水面艇可以获取水路图像，并对水路图像进行图像分割，将水路图像中的水和非水部分（水面区域内出现的物体如水草、浮标、桥墩等也划分为非水部分）进行区分，实现水路图像中的无碰撞水域检测，帮助无人水面艇掌握环境信息。进而，水路图像的分割结果可以为无人水面艇提供安全的可通行区域，也为其航路规划、目标检测和避障提供重要的参考信息，从而更好的执行避障、导航等任务。
图像分割模型多基于卷积神经网络，对待分割图像进行下采样，然后经过分类层，从而对待分割图像中每个像素点进行分类，得到待分割图像的分割结果。
在本发明实施例中，将待分割图像输入到基于编码器-解码器框架结构的图像分割模型中，从而得到待分割图像的分割结果，其中，解码器结构起到了细节补偿的作用，使得分割结果更准确。另外，解码器进行上采样处理的次数小于编码器进行下采样处理的次数，图像分割的计算量较小，分割效率高。
下面以具体的实施例对本发明提供的技术方案进行详细说明。
实施例一
请参考图1，图1为本发明实施例提供的一种实施例的图像分割方法的流程示意图，本实施例由图像分割设备执行，例如，可以为计算机、平板设备或者上述无人水面艇等。本实施例的方法包括如下步骤：
S101、获取待分割图像。
其中，待分割图像为需要进行分割的图像，本实施例为二分类场景，即需要进行二分类的图像。
S102、将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果。
其中，待分割图像的分割结果的尺寸与待分割图像的尺寸相同，待分割图像的分割结果包括：与分割结果的像素点位置对应的待分割图像中的像素点的类别，类别包括目标类别和非目标类别。例如，目标类别设置为水，则非目标类别则为所有非水的类别。可以理解，图像分割模型可以用于对输入到模型的图像中的每个像素进行二分类。
其中，图像分割模型中包括：编码器和解码器。图像分割模型的处理过程可以通过如下步骤S1021和S1022实现：
S1021、通过编码器对待分割图像进行特征提取，得到关联特征图。
其中，特征提取包括：N次下采样处理，N为大于1的整数。N的大小可以根据实际模型情况进行灵活设置，对此本发明不做限定。
编码器用于对待分割图像进行下采样，得到关联特征图，其中，下采样过程为特征提取的过程，可以对待分割图像进行多次下采样，提取待分割图像的深度特征。
S1022、通过解码器对关联特征图进行分辨率还原和像素类别的预测，得到待分割图像的分割结果。
其中，分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N。
解码器用于对关联特征图进行上采样，得到待分割图像的分割结果，上采样可以恢复图像分辨率，从而得到与待分割图像分辨率相同的图像的分割结果。
下采样和上采样可以理解为相反的处理过程。
M小于N，即解码器进行上采样处理的次数小于编码器进行下采样处理的次数。示例性的，编码器可以包括3次0.5倍的下采样处理，解码器可以包括1次2倍的上采样和1次4倍的上采样处理。
本实施例中，将获取的待分割图像输入到图像分割模型中进行处理，图像分割模型的编码器对待分割图像进行下采样处理，从而提取特征，得到了维度相对待分割图像高的关联特征图。图像分割模型的解码器对待分割图像的关联特征图进行比下采样处理次数少的上采样处理，从而进行分辨率还原和像素类别的预测，得到待分割图像的分割结果。待分割图像的分割结果的尺寸与待分割图像相同，是待分割图像中每个像素点的分类结果。其中，下采样次数大于上采样次数。
以待分割图像为待分割的水路图像为例进行说明。将待分割的水路图像输入到图像分割模型中，得到待分割的水路图像中每个像素点的分类，即确定水路图像中每个像素点是水还是非水。
本实施例，通过获取待分割图像，将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果；其中，图像分割模型包括：编码器和解码器；将待分割图像输入到图像分割模型中进行处理，得到待分割图像的分割结果，包括：通过编码器对待分割图像进行特征提取，得到关联特征图，特征提取包括：N次下采样处理，N为大于1的整数；通过解码器对关联特征图进行分辨率还原和像素类别的预测，得到待分割图像的分割结果，分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；待分割图像的分割结果的尺寸与待分割图像的尺寸相同，待分割图像的分割结果包括：与分割结果的像素点位置对应的待分割图像中的像素点的类别，类别包括目标类别和非目标类别。由于图像分割模型引入了解码器结构，解码器结构能起到细节补偿的作用，使得分割结果更准确。另外，解码器进行上采样处理的次数小于编码器进行下采样处理的次数，图像分割的计算量较小，提高了分割效率。
在一些实施例中，解码器的初始输入可以为编码器的输出，通过解码器进行上采样，得到待分割图像的分割结果。
在另一些实施例中，解码器的初始输入可以为编码器的输出，另外，在解码器进行上采样处理的过程中，可以将编码器下采样处理过程中的中间结果输入到解码器中。下面以具体的实施例进行详细说明。
在图1所示实施例的基础上，进一步地，S1022可以包括如下步骤a-步骤c：
步骤a、对关联特征图进行M1次上采样处理，得到第一特征图。
其中，M1为大于等于1的整数。
步骤b、将第一特征图和中间特征图进行通道融合，得到第二特征图，中间特征图是编码器在下采样过程中的中间输出的与第一特征图的尺寸相同的特征图。
步骤c、对第二特征图进行M2次上采样，得到待分割图像的分割结果。
其中，M2为大于等于1的整数，M1与M2之和等于M。
本实施例提供的解码器用于对关联特征图上采样，得到第一特征图，将第一特征图和编码器在下采样处理过程中的中间输出的中间特征图进行通道融合，得到第二特征图，对第二特征图进行上采样，得到待分割图像的分割结果。
本实施例中，编码器在对待分割图像进行下采样时，需经过多次下采样，该多次下采样中的中间输出的与第一特征图的尺寸相同的特征图，即低级特征，输入到解码器的上采样的中间过程中，编码器输出的关联特征图作为解码器的输入。
解码器首先对关联特征图进行上采样处理，得到第一特征图，然后将第一特征图和上述中间特征图进行通道融合，从而得到第二特征图，再对第二特征图进行上采样，逐渐恢复图像分辨率，计算像素级的分类结果，得到分割结果。
示例性的，编码器对待分割图像进行2次0.5倍的下采样处理，得到中间特征图，再对中间特征图进行1次0.5倍的下采样处理，得到关联特征图。解码器对关联特征图进行1次2倍的上采样处理，得到第一特征图，将第一特征图和中间特征图进行通道融合，得到第二特征图，对第二特征图进行1次4倍的上采样处理，并计算像素级的分类结果，得到待分割图像的分割结果，从而图像分割模型为非对称的编码器-解码器结构。
本实施例，通过将在解码器上采样过程中，引入编码器中间输出的低级特征作为额外的补充信息，弥补由于深度神经网络层中的池化操作造成的信息丢失，细化分割细节，从而使得分割结果更准确。
在一些实施例中，编码器包括卷积神经网络层，卷积神经网络层对待分割图像进行特征提取，完成下采样处理。
在一些场景中，图像中不同分类之间边缘的分割准确率不高，以水面导航领域为例，在使用神经网络进行水路图像分割时，动荡的波纹、水面的倒影及岸边的光滑结构等外观上易混淆的纹理特征非常容易被错误的分类。上述易混淆的纹理的分类不够清晰，无法对复杂的纹理和边缘细节做出准确分类，在边缘细节处的分割准确率不高。本实施例提供的编码器，在卷积神经网络层后接上下文先验层。对卷积神经网络层得到的深度特征图进一步使用上下文先验层将上下文关联性引入到图像分割模型中。下面以具体的实施例进行详细说明。
在上述实施例的基础上，进一步地，本实施例的编码器包括：卷积神经网络层和上下文先验层，步骤S1021可以通过如下步骤1和步骤2实现：
步骤1、通过卷积神经网络层对待分割图像进行N次下采样处理，得到深度特征图。
卷积神经网络层用于对待分割图像进行特征提取，得到深度特征图。
步骤2、通过上下文先验层对深度特征图进行上下文聚合处理，得到关联特征图。
上下文先验层用于对深度特征图进行上下文聚合处理，得到关联特征图。
其中，上下文聚合处理是对深度特征图进行特征相关性计算，特征相关性也可以称为纹理特征相关性。以此为依据指导网络对复杂的易混淆的纹理特征做出判断。
本实施例中，卷积神经网络层也可以称为深度卷积神经网络层。卷积神经网络层经过下采样操作，提取待分割图像的深度特征，得到比待分割图像小的深度特征图。上下文先验层对深度特征图进行上下文聚合处理，得到关联特征图，关联特征图也可以称为上下文关联特征图。该上下文聚合处理遵循上下文先验层的原理，首先经过处理得到上下文先验特征图（prior map），上下文先验特征图也可以称为先验特征图或者先验图。对于先验特征图中的每个像素，有选择性的加强与当前像素属于同一种类的像素，聚合类内上下文，相反的，可以聚合类间上下文，从而得到关联特征图。
例如，卷积神经网络层对待分割图像经过三次0.5倍下采样操作，提取待分割图像的深度特征，得到比待分割图像小8倍的深度特征图。
可选的，卷积神经网络层可以以ResNet50为模型框架。
示例性的，上下文先验层的结构请参见图2，图2为本发明实施例提供的一种上下文先验层结构示意图。上下文先验层以深度卷积神经网络生成的深度特征图作为输入，经过一组完全可分离的卷积和1×1卷积之后生成上下文先验特征图。根据上下文先验特征图与深度特征图经过完全可分离卷积后的特征图，得到类内上下文特征图、类间上下文特征图。通过将类内上下文特征图、类间上下文特征图和深度特征图进行通道上的级联，得到编码器的第二个输出，即上下文关联特征图，上下文关联特征图即为上述关联特征图。
其中，类内上下文特征图P intra 与类间上下文特征图P inter 可以通过如下公式（1）和公式（2）得到：
Figure 688630DEST_PATH_IMAGE001
公式（1）
Figure 991173DEST_PATH_IMAGE002
公式（2）
式中，X为深度特征图经过完全可分离卷积后经过尺寸调整的特征图。P为先验特征图。
本实施例，编码器包括：卷积神经网络层和上下文先验层，卷积神经网络层用于对待分割图像进行特征提取，得到深度特征图；上下文先验层用于对深度特征图进行上下文聚合处理，得到关联特征图。针对水环境的特殊性，在编码器中引入上下文先验层，将纹理间的上下文关联性作为神经网络提取的深度特征的补充信息，使波纹、倒影等易混淆的纹理能够得到更准确的分类，得到的分割结果更准确。
在一些实施例中，使用的图像分割模型为训练完成的，即图像分割模型经过训练收敛。
实施例二
下面介绍一种图像分割模型训练方法，本实施例提供的图像分割模型训练方法可以单独执行，也可以在上述实施例中步骤S102之前执行。
请参见图3，图3为本发明实施例提供的一种图像分割模型训练方法的流程示意图，本实施例由图像分割模型的训练设备执行，例如，可以为计算机、平板设备等。本实施例提供的图像分割模型训练方法包括如下步骤：
S301、获取目标样本图像。
S302、获取目标样本图像对应的标签图像，标签图像为目标样本图像上每个像素点标注分类结果的图像。
其中，标签图像也可以称为真值标签或标签。标签图像为对目标样本图像进行标注真值，也就是对目标样本图像中的每个像素点标注其类别。例如，在水路图像中，将水路图像中的全部像素分为水和非水两种类别，水面区域内出现的物体如水草、浮标、桥墩等被划分为非水类别。
可选的，可以使用手动标注的方式对目标样本图像进行标注。也可以直接获取标注完成的标签图像。
S303、将目标样本图像输入到图像分割模型，以对图像分割模型进行训练。
其中，图像分割模型包括编码器和解码器，S303可以通过如下步骤实现：
S3031、通过编码器对目标样本图像进行特征提取，得到目标样本图像的关联特征图。
其中，特征提取包括N次下采样处理，N为大于1的整数。
其中，本实施例中的S3031与上述实施例一中的S1021类似，此处不再赘述。
S3032、通过解码器对关联特征图进行分辨率还原和像素类别的预测，得到目标样本图像的分割结果。
其中，分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；目标样本图像的分割结果的尺寸与目标样本图像的尺寸相同，目标样本图像的分割结果中的每个像素点用于指示与其位置对应的目标样本图像的像素点的类别。
其中，本实施例中的S3032与上述实施例一中的S1022类似，此处不再赘述。
S3033、根据目标样本图像的分割结果和目标样本图像对应的标签图像，确定目标样本图像的主分割损失。
可选的，主分割损失
Figure DEST_PATH_IMAGE003
可以为由标签监督的二值交叉熵损失。可以通过如下公式（3）得到主分割损失：
Figure 923357DEST_PATH_IMAGE004
公式（3）
其中，l k 是真值标签中的对应像素值，s k 是分割结果中的对应像素值，
Figure 736593DEST_PATH_IMAGE005
，m=w 0 ×h 0 是样本图像的尺寸。
S3034、根据主分割损失调整图像分割模型的参数，直到图像分割模型收敛，得到训练完成的图像分割模型。
可选的，图像分割模型收敛可以通过主分割损失确定，例如，训练过程中为批量训练，主分割损失不再下降时可以认为图像分割模型收敛。
本实施例，通过获取目标样本图像，获取目标样本图像对应的标签图像，标签图像为目标样本图像上每个像素点标注分类结果的图像，将目标样本图像输入到图像分割模型，以对图像分割模型进行训练；将目标样本图像输入到图像分割模型，以对图像分割模型进行训练，包括：通过编码器对目标样本图像进行特征提取，得到目标样本图像的关联特征图，特征提取包括N次下采样处理，N为大于1的整数，通过解码器对关联特征图进行分辨率还原，得到目标样本图像的分割结果，分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；目标样本图像的分割结果的尺寸与目标样本图像的尺寸相同，目标样本图像的分割结果中的每个像素点用于指示与其位置对应的目标样本图像的像素点的类别，根据目标样本图像的分割结果和目标样本图像对应的标签图像，确定目标样本图像的主分割损失，根据主分割损失调整图像分割模型的参数，直到图像分割模型收敛，得到训练完成的图像分割模型。从而实现了图像分割模型的训练，得到收敛的图像分割模型。由于图像分割模型引入了解码器结构，解码器结构能起到细节补偿的作用，使得训练完成的图像分割模型的分割结果更准确。另外，解码器进行上采样处理的次数小于编码器进行下采样处理的次数，使得图像分割模型在分割过程中的计算量较小，训练完成的图像分割模型的分割效率高。
可选的，S3032可以通过如下步骤实现：
对关联特征图进行M1次上采样处理，得到第一特征图，M1为大于等于1的整数；
将第一特征图和中间特征图进行通道融合，得到第二特征图，中间特征图是编码器在下采样过程中的中间输出的与第一特征图的尺寸相同的特征图。
对第二特征图进行M2次上采样，得到目标样本图像的分割结果，M2为大于等于1的整数，M1与M2之和等于M。
其中，本实施例中的步骤与上述实施例一中的步骤a-步骤c类似，此处不再赘述。
在一些实施例中，对图像分割模型进行训练时，由于公开的数据集有限等原因造成的缺乏训练数据，使得图像分割模型的训练效果不好，无法保证其对于陌生环境下的水域分割效果的准确率，得到的图像分割模型的准确率不高。本实施例的图像分割模型训练过程中，目标样本图像由原始样本图像经过数据增强处理得到的。下面以具体的实施例进行详细说明。
在上述实施例的基础上，进一步地，步骤S301可以通过如下步骤实现：
S3011、获取原始样本图像。
例如，在水域分割领域，可以在内陆水路环境下，收集由无人水面艇上配备的视觉相机拍摄的图像数据。
S3012、对原始样本图像进行数据增强处理，得到目标样本图像。
其中，数据增强处理包括以下一种或多种对原始训练集的处理方式：水平翻转、裁剪、缩放、正5度旋转、负5度旋转、亮度滤波器、加雾、加雨、加炫光、加运动模糊。
可以获取原始样本图像。对原始样本图像进行数据增强处理，得到目标样本图像。数据增强处理可以包括但不限于以下一种或多种对原始样本图像的处理方式：正5度旋转、负5度旋转、亮度滤波器、加雾、加雨、加炫光、加运动模糊。
本实施例中，充分考虑了水域导航领域中，在水域分割过程中的场景情况，对原始样本图像进行数据增强处理。
其中，考虑到无人水面艇在晃动的水面上航行的情况，将原始样本图像中的每个样本图像分别进行正5度旋转、负5度旋转或加入运动模糊处理。
考虑到无人水面艇在水面上航行的自然环境变化情况，将原始样本图像中的每个样本图像分别进行加雾或加雨处理，从而模拟了雨/雾天气的自然环境。
考虑到无人水面艇在水面上航行时的日照变化情况，将原始样本图像中的每个样本图像分别进行亮度滤波器或加炫光处理，从而模拟了照明变化。
本实施例，在对图像分割模型进行训练时，对原始样本图像进行了数据加强处理，使得目标样本图像更丰富，在数据加强处理过程中，充分考虑水路环境实际情况，进行适应水路环境的数据加强处理，使图像分割模型学习尽可能全面的学习水路环境特征，从而提高了图像分割模型的泛化能力，使得图像分割模型的准确率较高。
在一些实施例中，编码器包括卷积神经网络层和上下文先验层，下面以具体的实施例进行详细说明。
请参见图4，图4为本发明实施例提供的另一种图像分割模型训练方法的流程示意图，图4是在图3所示实施例的基础上，进一步地，S3031可以通过如下步骤S3031a-S3031c实现：
S3031a、通过卷积神经网络层对目标样本图像进行N次下采样处理，得到目标样本图像的深度特征图。
其中，S3031a与上述实施例一中的步骤1类似，此处不再赘述。
S3031b、通过上下文先验层对目标样本图像的深度特征图进行上下文特征提取，得到目标样本图像的先验特征图。
S3031c、根据目标样本图像的先验特征图，得到目标样本图像的关联特征图。
其中，S3031b和S3031c与上述实施例一中的步骤2类似，此处不再赘述。
进一步地，由于上下文先验层的引入，在S3034中除了以图像分割模型的主分割损失进行训练以外，还可以设计亲和力损失，即图像分割模型是根据亲和力损失和主分割损失训练得到的。下面以具体的实施例进行详细说明。
在图4所示实施例的基础上，进一步地，S3034可以通过如下步骤S3034a-S3034c实现：
S3034a、获取理想亲和力图。
理想亲和力图是对标签图像进行处理得到的。
下面介绍获取理想亲和力图的方式。
一种可能的实现方式中，对标签图像进行下采样，得到两个二值矩阵。根据该两个二值矩阵，得到理想亲和力图。
示例性的，下面结合图5，说明理想亲和力图的一种得到方式。请参考图5，图5为本发明实施例提供的一种理想亲和力图的构造原理示意图。图5中所示的标签图像，黑色表示非目标类别的像素点，白色表示目标类别的像素点，标签图像经过下采样，得到n个二值矩阵，其中，n为多分类任务的分类个数，应用在本发明的二分类场景中，n为2。每个矩阵形成一个二值向量，共得到2个二值向量，该2个二值向量拼接为一个拼接矩阵。该拼接矩阵与其转置相乘，得到理想亲和力图。
另一种可能的实现方式中，在图4所示实施例的基础上，进一步地，对理想亲和力图进行简化计算。下面结合图6说明本实施提供的理想亲和力图的一种得到方式。请参考图6，图6为本发明实施例提供的另一种理想亲和力图的构造原理示意图，图6中所示的标签图像，黑色表示非目标类别的像素点，白色表示目标类别的像素点。步骤S3034a可以通过如下步骤A-步骤C实现：
步骤A、对标签图像进行下采样，得到二值矩阵，其中，二值矩阵的尺寸与先验特征图的尺寸相同。
图6中，标签经下采样得到二值矩阵G，矩阵G的尺寸与上下文先验特征图的尺寸（h ×w）相同。
步骤B、将二值矩阵进行压缩处理，得到一维向量。
图6中，对矩阵G进行尺寸调整，将矩阵G压缩为一维向量V，一维向量V的尺寸为n=h ×w。
步骤C、根据一维向量进行赋值处理，得到理想亲和力图。
图6中，对一维向量V按列赋值，得到理想亲和力图，理想亲和力图的尺寸为n×n。
理想亲和力图可以通过如下公式（4）得到：
Figure DEST_PATH_IMAGE006
公式（4）
其中，A k 是理想亲和力图A中第k列的所有元素，
Figure 437832DEST_PATH_IMAGE007
，
Figure 943900DEST_PATH_IMAGE008
，1-V表示按位取反操作。
由此可知，理想亲和力图中的每个像素
Figure DEST_PATH_IMAGE009
都反映了矩阵G中第i个元素g i 与第j个元素g j 的关系。理想亲和力图中的像素可以通过如下公式（5）得到：
Figure 97801DEST_PATH_IMAGE010
公式（5）
有上述可知，由理想亲和力图监督的上下文先验特征图P也必然包含了大量的关于同类内（水-水、非水-非水）的相似性和不同类（水-非水）的差异性的上下文信息。
本实施例，简化了理想亲和力图的构建过程，使其更适用于易混淆纹理的二值分割任务，并降低了训练过程中的计算量。
S3034b、根据先验特征图和理想亲和力图，确定亲和力损失。
可选的，亲和力损失可以分为两部分：一元项和全局项。
一元项可以为由上下文先验特征图与理想亲和力图的二值交叉熵损失。可以通过如下公式（6）得到一元项
Figure 714727DEST_PATH_IMAGE011
：
Figure 536052DEST_PATH_IMAGE012
公式（6）
其中，
Figure 213021DEST_PATH_IMAGE013
是上下文先验图P中的第
Figure 883912DEST_PATH_IMAGE014
个元素，
Figure 773371DEST_PATH_IMAGE015
是理想亲和力图A中的第
Figure 980361DEST_PATH_IMAGE016
个元素。
全局项L g ：可以为包括类内准确率，类内召回率和类间召回率的一组二值交叉熵损失。可以通过如下公式（7）得到全局项L g ：
Figure 828231DEST_PATH_IMAGE017
公式（7）
其中，
Figure 222303DEST_PATH_IMAGE018
是上下文先验特征图中第i行第j列的值,
Figure 181032DEST_PATH_IMAGE019
是理想亲和力图中第i行，第j列的值。
可以理解，S3034a-S3034b与S3033的执行没有先后顺序。可以先执行S3034a-S3034b，再执行S3033，也可以先执行S3033，在执行S3034a-S3034b，还可以同时执行S3034a-S3034b和S3033，本发明对此不做限制。
S3034c、根据主分割损失和亲和力损失调整图像分割模型的参数。
可选的，总损失函数由亲和力损失和主分割损失两部分构成。
总损失函数可以为主分割损失与亲和力损失的加权和。总损失函数
Figure 976950DEST_PATH_IMAGE020
可以通过如下公式（8）得到：
Figure 730142DEST_PATH_IMAGE021
公式（8）
其中，
Figure 877090DEST_PATH_IMAGE022
是主分割损失的权重，
Figure 639509DEST_PATH_IMAGE023
是亲和力损失的权重。
示例性的，下面结合图7说明本实施例的训练方法。
请参见图7，图7为本发明实施例提供的一种图像分割模型的原理示意图。图像分割模型训练方法如下步骤一至步骤六：
步骤一、水路数据集获取。
在内陆水路环境下，收集由无人水面艇上配备的视觉相机拍摄的图像数据，对图像进行手动标注，并将全部图像数据分为训练集和测试集，其中，该训练集为上述实施例中的原始样本图像。
其中，步骤一对应图3中的S301。
步骤二、对原始样本图像进行数据增强处理。
结合水域环境特点对训练集实施数据增强，得到目标样本图像。数据增强方式包括：水平翻转、正负5度旋转、裁剪、缩放、亮度滤波器、加雾、加雨、加炫光、加运动模糊，最终得到图片数量为原始样本图像的10倍的目标样本图像。
其中，正负5度旋转及加入运动模糊模拟了无人水面艇在晃动的水面上航行的情况，加雾、加雨模拟了雨雾天气的自然环境，亮度滤波器和加炫光模拟了室外的日照变化。
其中，步骤二对应图3中的S302。
步骤三、构建可通行水域分割网络。
如图7所示，可通行水域分割网络即为上述图像分割模型，可通行水域分割网络包括由深度卷积神经网络层与上下文先验层组成的编码器71及解码器72。
图7中所示的标签图像，黑色表示非水部分，白色表示水部分。
编码器71包含两个主要功能模块，分别为深度卷积神经网络层和上下文先验层。深度卷积神经网络层以ResNet50为模型框架，经过三次下采样操作，提取待分割图像的深度特征，得到比待分割图像小8倍的深度特征图。上下文先验层进一步提取深度特征图之间的上下文相关性，得到上下文先验特征图和上下文关联特征图。
解码器72接收编码器71提供的上下文关联特征图，首先进行2倍的双线性插值上采样，得到一组上采样特征图，然后将深度卷积神经网络的中间输出（下采样4倍的特征图）与该上采样特征图进行通道上的级联，接着对级联后的特征图进行第二次双线性插值上采样，本次上采样率为4，同时预测像素类别，最后生成与待分割图像尺寸一致的分割结果。
步骤四、设计总损失函数。
总损失函数分为主分割损失和亲和力损失，其中计算亲和力损失的理想亲和力图是本发明专为二分类图像分割任务设计的。
标签通过下采样和赋值操作，得到理想亲和力图。根据理想亲和力图和上下文先验特征图可以得到亲和力损失。
标签与分割结果可以得到主分割损失。
步骤五、模型训练。
将经过数据增强的目标样本图像输入网络，学习水路环境特征。测试网络对测试集的分割效果。
在训练阶段，将目标样本图像输入到构建好的网络中进行训练，其中，批量大小为8，共训练160k个迭代。应用标准动量优化算法，以动量α=0.9、权重衰减系数λ=5×10-4优化网络参数。采用多项式衰减动态学习率策略，基准学习率γ 0 =0.01，最小衰减至γ 0 =10-4，权值p=0.9。
当图像分割模型收敛，即验证集上的损失函数不再下降时，保存此图像分割模型为最优模型。
其中，步骤三-步骤五对应图3中的S303。
步骤六、模型测试。
训练完成的图像分割模型，可以通过测试阶段将测试集输入该图像分割模型，获得可通行水域的分割结果，从而验证图像分割模型的分割效果。
实施例三
请参见图8，图8为本发明实施例提供的一种可通行水域分割设备的结构示意图，本实施例的设备包括摄像头801和处理器802，下面具体说明。
摄像头801用于获取待分割的水路图像。
处理器802用于将待分割的水路图像输入到图像分割模型中进行处理，得到待分割的水路图像的分割结果；其中，图像分割模型包括：编码器和解码器，编码器包括卷积神经网络层和上下文先验层；将待分割的水路图像输入到图像分割模型中进行处理，包括：
通过编码器的卷积神经网络层对待分割的水路图像进行特征提取，得到深度特征图；特征提取包括：N次下采样处理，N为大于1的整数；
通过编码器的上下文先验层对深度特征图进行上下文聚合处理，得到关联特征图；
通过解码器对关联特征图进行分辨率还原和像素类别的预测，得到待分割的水路图像的分割结果；通过解码器对关联特征图进行分辨率还原包括：对关联特征图进行M1次上采样处理，得到第一特征图；将第一特征图和中间特征图进行通道融合，得到第二特征图，中间特征图是编码器在下采样过程中的中间输出的与第一特征图的尺寸相同的特征图；对第二特征图进行M2次上采样，得到待分割的水路图像的分割结果，M1与M2之和等于M，且M为大于等于1的整数，M小于N；
其中，待分割的水路图像的分割结果包括：与分割结果的像素点位置对应的待分割的水路图像中的像素点的类别，类别包括水类别和非水类别。
本实施例中，可通行水域分割设备可以为无人水面艇，或者为无人水面艇上的可以对可通行水域进行水域分割的设备等。该设备通过摄像头可以实时拍摄当前的水路环境图像，也就是待分割的水路图像，从而通过图像分割模型对该水路图像进行处理，确认熟路图像中每个像素点是水类别还是非水类别，从而实现待分割的水路图像中的水和非水区域的划分，从而确定无人水面艇的可通行水域，为无人水面艇的水面导航提供依据。
本实施例与现有的水天线或水岸线提取技术相比，能提供像素级的分割结果，提供更安全的可通行水域，对于无人水面艇路径规划、目标检测、避障等任务提供更详细的辅助信息。编码器-解码器结构细化分割细节，在解码器上采样恢复图像分辨率的过程中，将编码器中间输出的低级特征作为额外的补充信息，弥补由于深度神经网络层中的池化操作造成的信息丢失，细化分割细节。另外，针对水环境的特殊性，引入上下文先验层，将纹理间的上下文关联性作为神经网络提取的深度特征的补充信息，使波纹、倒影等易混淆的纹理能够得到更准确的分类。简化了上下文先验算法中关于理想亲和力图的构建过程，使其更适用于针对水域分割中易混淆纹理的二值分割任务，并降低了计算量。
实施例四
本发明实施例提供一种计算机可读存储介质，介质上存储有程序，程序能够被处理器执行以实现上述任一实施例的方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (5)

1.一种可通行水域分割设备，其特征在于，应用于水面导航领域，所述设备包括：
摄像头，用于获取待分割的水路图像；
处理器，用于将所述待分割的水路图像输入到图像分割模型中进行处理，得到所述待分割的水路图像的分割结果；其中，所述图像分割模型包括：编码器和解码器，所述编码器包括卷积神经网络层和上下文先验层；所述将所述待分割的水路图像输入到图像分割模型中进行处理，包括：
通过所述编码器的卷积神经网络层对所述待分割的水路图像进行特征提取，得到深度特征图；所述特征提取包括：N次下采样处理，N为大于1的整数；
通过所述编码器的上下文先验层对所述深度特征图进行上下文聚合处理，得到关联特征图；
通过所述解码器对所述关联特征图进行分辨率还原和像素类别的预测，得到所述待分割的水路图像的分割结果；所述通过所述解码器对所述关联特征图进行分辨率还原包括：对所述关联特征图进行M1次上采样处理，得到第一特征图；将所述第一特征图和中间特征图进行通道融合，得到第二特征图，所述中间特征图是所述编码器在下采样过程中的中间输出的与所述第一特征图的尺寸相同的特征图；对所述第二特征图进行M2次上采样，得到所述待分割的水路图像的分割结果，M1与M2之和等于M，且M为大于等于1的整数，M小于N；
其中，所述待分割的水路图像的分割结果包括：与所述分割结果的像素点位置对应的所述待分割的水路图像中的像素点的类别，所述类别包括水类别和非水类别；
其中，所述图像分割模型通过以下方式被建立：
获取目标样本图像；
获取所述目标样本图像对应的标签图像，所述标签图像为目标样本图像上每个像素点标注类别的图像；
将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练；所述将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练，包括：
通过编码器对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图；
通过所述解码器对所述关联特征图进行分辨率还原，得到所述目标样本图像的分割结果；
根据所述目标样本图像的分割结果和所述目标样本图像对应的标签图像，确定所述目标样本图像的主分割损失；
根据所述主分割损失调整所述图像分割模型的参数，直到所述图像分割模型收敛；
其中，所述获取目标样本图像，包括：
获取原始样本图像；
对所述原始样本图像进行数据增强处理，得到目标样本图像，所述数据增强处理包括以下一种或多种对原始样本图像的处理方式：正5度旋转、负5度旋转、亮度滤波器、加雾、加雨、加炫光、加运动模糊；
其中，所述编码器包括卷积神经网络层和上下文先验层，所述对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图，包括：
通过所述卷积神经网络层对待分割图像进行下采样处理，得到目标样本图像的深度特征图；
通过所述上下文先验层对所述目标样本图像的深度特征图进行上下文特征提取，得到目标样本图像的先验特征图；
根据所述目标样本图像的先验特征图，得到目标样本图像的关联特征图；
所述根据所述主分割损失调整所述图像分割模型的参数，包括：
获取理想亲和力图；
根据所述先验特征图和所述理想亲和力图，确定亲和力损失；
根据所述主分割损失和所述亲和力损失调整所述图像分割模型的参数；
其中，所述获取理想亲和力图，包括：
对所述标签图像进行下采样，得到二值矩阵，其中，所述二值矩阵的尺寸与先验特征图的尺寸相同；
将所述二值矩阵进行压缩处理，得到一维向量；
根据所述一维向量进行赋值处理，得到理想亲和力图。
2.一种图像分割方法，其特征在于，应用于水面导航领域，所述方法包括：
获取待分割图像；
将所述待分割图像输入到图像分割模型中进行处理，得到所述待分割图像的分割结果；其中，所述图像分割模型包括：编码器和解码器；所述将所述待分割图像输入到图像分割模型中进行处理，得到所述待分割图像的分割结果，包括：
通过所述编码器对所述待分割图像进行特征提取，得到关联特征图，所述特征提取包括：N次下采样处理，N为大于1的整数；
通过所述解码器对所述关联特征图进行分辨率还原和像素类别的预测，得到所述待分割图像的分割结果，所述分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；所述待分割图像的分割结果的尺寸与所述待分割图像的尺寸相同，所述待分割图像的分割结果包括：与所述分割结果的像素点位置对应的所述待分割图像中的像素点的类别，所述类别包括目标类别和非目标类别；
其中，所述编码器包括卷积神经网络层和上下文先验层，所述对所述待分割图像进行特征提取，得到关联特征图，包括：
通过所述卷积神经网络层对所述待分割图像进行N次下采样处理，得到深度特征图；
通过所述上下文先验层对所述深度特征图进行上下文聚合处理，得到关联特征图；
其中，所述图像分割模型通过以下方式被建立：
获取目标样本图像；
获取所述目标样本图像对应的标签图像，所述标签图像为目标样本图像上每个像素点标注类别的图像；
将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练；所述将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练，包括：
通过编码器对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图；
通过所述解码器对所述关联特征图进行分辨率还原，得到所述目标样本图像的分割结果；
根据所述目标样本图像的分割结果和所述目标样本图像对应的标签图像，确定所述目标样本图像的主分割损失；
根据所述主分割损失调整所述图像分割模型的参数，直到所述图像分割模型收敛；
其中，所述获取目标样本图像，包括：
获取原始样本图像；
对所述原始样本图像进行数据增强处理，得到目标样本图像，所述数据增强处理包括以下一种或多种对原始样本图像的处理方式：正5度旋转、负5度旋转、亮度滤波器、加雾、加雨、加炫光、加运动模糊；
其中，所述编码器包括卷积神经网络层和上下文先验层，所述对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图，包括：
通过所述卷积神经网络层对所述待分割图像进行下采样处理，得到目标样本图像的深度特征图；
通过所述上下文先验层对所述目标样本图像的深度特征图进行上下文特征提取，得到目标样本图像的先验特征图；
根据所述目标样本图像的先验特征图，得到目标样本图像的关联特征图；
所述根据所述主分割损失调整所述图像分割模型的参数，包括：
获取理想亲和力图；
根据所述先验特征图和所述理想亲和力图，确定亲和力损失；
根据所述主分割损失和所述亲和力损失调整所述图像分割模型的参数；
其中，所述获取理想亲和力图，包括：
对所述标签图像进行下采样，得到二值矩阵，其中，所述二值矩阵的尺寸与先验特征图的尺寸相同；
将所述二值矩阵进行压缩处理，得到一维向量；
根据所述一维向量进行赋值处理，得到理想亲和力图。
3.如权利要求2所述的方法，其特征在于，所述对所述关联特征图进行分辨率还原和像素类别的预测，得到所述待分割图像的分割结果，包括：
对所述关联特征图进行M1次上采样处理，得到第一特征图，M1为大于等于1的整数；
将所述第一特征图和中间特征图进行通道融合，得到第二特征图，所述中间特征图是所述编码器在下采样过程中的中间输出的与所述第一特征图的尺寸相同的特征图；
对第二特征图进行M2次上采样，得到所述待分割图像的分割结果，M2为大于等于1的整数，M1与M2之和等于M。
4.一种图像分割模型训练方法，其特征在于，应用于水面导航领域，所述图像分割模型包括：编码器和解码器；所述方法包括：
获取目标样本图像；
获取所述目标样本图像对应的标签图像，所述标签图像为目标样本图像上每个像素点标注分类结果的图像；
将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练；所述将所述目标样本图像输入到图像分割模型，以对所述图像分割模型进行训练，包括：
通过编码器对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图，所述特征提取包括N次下采样处理，N为大于1的整数；
通过所述解码器对所述关联特征图进行分辨率还原和像素类别的预测，得到所述目标样本图像的分割结果，所述分辨率还原包括M次上采样处理，M为大于等于1的整数，M小于N；所述目标样本图像的分割结果的尺寸与所述目标样本图像的尺寸相同，所述目标样本图像的分割结果中的每个像素点用于指示与其位置对应的所述目标样本图像的像素点的类别；
根据所述目标样本图像的分割结果和所述目标样本图像对应的标签图像，确定所述目标样本图像的主分割损失；
根据所述主分割损失调整所述图像分割模型的参数，直到所述图像分割模型收敛，得到训练完成的图像分割模型；
其中，所述获取目标样本图像，包括：
获取原始样本图像；
对所述原始样本图像进行数据增强处理，得到目标样本图像，所述数据增强处理包括以下一种或多种对原始样本图像的处理方式：正5度旋转、负5度旋转、亮度滤波器、加雾、加雨、加炫光、加运动模糊；
其中，所述编码器包括卷积神经网络层和上下文先验层，所述对目标样本图像进行特征提取，得到所述目标样本图像的关联特征图，包括：
通过所述卷积神经网络层对待分割图像进行下采样处理，得到目标样本图像的深度特征图；
通过所述上下文先验层对所述目标样本图像的深度特征图进行上下文特征提取，得到目标样本图像的先验特征图；
根据所述目标样本图像的先验特征图，得到目标样本图像的关联特征图；
所述根据所述主分割损失调整所述图像分割模型的参数，包括：
获取理想亲和力图；
根据所述先验特征图和所述理想亲和力图，确定亲和力损失；
根据所述主分割损失和所述亲和力损失调整所述图像分割模型的参数；
其中，所述获取理想亲和力图，包括：
对所述标签图像进行下采样，得到二值矩阵，其中，所述二值矩阵的尺寸与先验特征图的尺寸相同；
将所述二值矩阵进行压缩处理，得到一维向量；
根据所述一维向量进行赋值处理，得到理想亲和力图。
5.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求2-4中任一项所述的方法。
CN202111083247.0A 2021-09-16 2021-09-16 可通行水域分割设备、图像分割模型训练和图像分割方法 Active CN113538425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083247.0A CN113538425B (zh) 2021-09-16 2021-09-16 可通行水域分割设备、图像分割模型训练和图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083247.0A CN113538425B (zh) 2021-09-16 2021-09-16 可通行水域分割设备、图像分割模型训练和图像分割方法

Publications (2)

Publication Number Publication Date
CN113538425A CN113538425A (zh) 2021-10-22
CN113538425B true CN113538425B (zh) 2021-12-24

Family

ID=78123166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083247.0A Active CN113538425B (zh) 2021-09-16 2021-09-16 可通行水域分割设备、图像分割模型训练和图像分割方法

Country Status (1)

Country Link
CN (1) CN113538425B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298271A (zh) * 2019-06-17 2019-10-01 上海大学 基于关键点检测网络和空间约束混合模型的海水区域检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100008576A1 (en) * 2008-07-11 2010-01-14 Robinson Piramuthu System and method for segmentation of an image into tuned multi-scaled regions
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和***
CN111461129B (zh) * 2020-04-02 2022-08-02 华中科技大学 一种基于上下文先验的场景分割方法和***
CN111767801B (zh) * 2020-06-03 2023-06-16 中国地质大学（武汉） 一种基于深度学习的遥感影像水域自动提取方法及***
CN111696123A (zh) * 2020-06-15 2020-09-22 荆门汇易佳信息科技有限公司 超像素分类识别的遥感图像水域分割提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298271A (zh) * 2019-06-17 2019-10-01 上海大学 基于关键点检测网络和空间约束混合模型的海水区域检测方法

Also Published As

Publication number Publication date
CN113538425A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US11176381B2 (en) Video object segmentation by reference-guided mask propagation
CN111311629B (zh) 图像处理方法、图像处理装置及设备
CN112233038A (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
KR102296509B1 (ko) 자율 주행 자동차의 레벨 4를 충족시키기 위해 영역의 클래스에 따라 모드를 전환하여 그리드 셀 별로 가중 컨벌루션 필터를 이용한 감시용 이미지 세그멘테이션 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111696110B (zh) 场景分割方法及***
CN111368846B (zh) 一种基于边界语义分割的道路积水识别方法
GB2585645A (en) Computer vision method and system
CN108491763B (zh) 三维场景识别网络的无监督训练方法、装置及存储介质
CN112634296A (zh) 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN113657388A (zh) 一种融合图像超分辨率重建的图像语义分割方法
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN112084859B (zh) 一种基于稠密边界块和注意力机制的建筑物分割方法
KR102628115B1 (ko) 영상 처리 방법, 장치, 기록 매체 및 전자 장치
CN111507906A (zh) 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置
CN115294282A (zh) 三维场景重建中增强特征融合的单目深度估计***及其方法
CN110147733B (zh) 一种跨域的大范围场景生成方法
CN113538425B (zh) 可通行水域分割设备、图像分割模型训练和图像分割方法
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels
CN112950481B (zh) 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
Tran et al. Encoder–decoder network with guided transmission map: Robustness and applicability
CN112634289A (zh) 一种基于非对称空洞卷积的快速可行域分割方法
CN116821699B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN117422855B (zh) 面向机器视觉的图像预处理方法、装置、设备及存储介质
CN116563538B (zh) 图像分割方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant