CN107564013B - 融合局部信息的场景分割修正方法与*** - Google Patents

Abstract

本发明涉及一种场景分割修正方法，通过局部边界修正网络，以完全残差卷积网络作为前端模型，将该前端模型的置信度图和原始图像按通道拼接起来，作为该局部边界修正网络的输入，从而输出该置信度图所有位置的局部聚合系数，将该局部聚合系数与该置信度图的对应位置相乘，聚合到中心点，得到场景分割的局部边界修正结果；使用已知的场景分割数据集对该局部边界修正网络进行训练。同时本发明还提出了将全局残差修正网络和该局部边界修正网络串联起来，形成级联的框架，该级联的框架可以对前端模型的分割结果进行全局修正和局部修正，从而得到更加精确的场景分割修正结果。

Description

融合局部信息的场景分割修正方法与***

技术领域

本方法属于机器学习和计算机视觉领域，特别涉及面向计算机视觉中场景分割的机器学习问题。

背景技术

目前流行的场景分割方法主要基于卷积神经网络(Convolutional NeuralNetworks，CNNs)。其中大部分方法利用了全卷积网络(Fully Convolutional Networks，FCNs)的框架。许多方法在FCNs的基础上进行进一步的改进，利用膨胀卷积、添加多层反卷积层和捕捉网络中间层特征等方法。然而，这些方法主要基于改进网络结构的思路提高分割精度。

不同于上述方法，其他一些方法则以提高当前的分割结果为目的。其中较为著名的包括“全连接条件随机场”方法和“多尺度膨胀卷积”方法。全连接条件随机场方法可以有效的精细化分割边界，该方法基于优化一个能量函数，从而自动对分割类别的得分图进行一体化修正。然而，该方法仅仅利用了低层的信息进行能量函数的优化。多尺度膨胀卷积方法则使用了膨胀卷积操作子，逐步捕捉多尺度的图像信息，从而进行分割结果的修正。这种方法主要基于图像的全局信息。

目前也有很多基于捕捉图像中邻域信息和空间关系进行场景分割的方法。一些方法利用了多维循环神经网络捕捉邻域信息和空间关系。这些方法针对图像的特点，将循环神经网络设计为不同的拓扑结构，包括对角结构、八邻域结构和图结构等等。为了减小循环神经网络的序列长度从而降低运算复杂度，这些方法大部分将循环神经网络作用在低分辨率的预测结果中，这将导致许多细节信息的丢失。此外，基于图模型的方法也被大量运用在捕捉图像块之间的空间信息中。一些场景分割的方法中将图模型建模为某种特殊的层，然后将其***到神经网络中进行端对端的优化。这些方法主要捕捉神经网络学习到的语义特征，因此获取的图像块的空间信息主要集中在语义层面。

目前流行的场景分割方法主要基于全卷积网络及其变形。这些方法均采纳了迁移学习的思路，利用在大规模图像分类数据集上预训练好的卷积神经网络，将其调整为全卷积网络结构并在场景分割数据集上进行重训练。这类方法主要存在以下问题：(1)分割结果中常常出现不一致、不连续的问题，(2)目标的分割边界常常是不精准、不连贯的。

发明内容

为了解决上述问题，本发明从充分挖掘图像局部内容信息的角度提出了局部边界修正网络。局部边界修正网络可单独使用，也可以级联在前端网络之后组成一个联合框架，从而提高修正结果的精度。

局部边界修正网络将前端网络的置信度图和原始图像在通道的维度拼接起来作为网络的输入，由于原始图像的RGB值在预处理时归一化到了[0,1]范围，置信度图中的值也需要归一化到相同的范围，根据以下公式进行归一化：

其中

是前端模型在位置i对于类别k的置信度值，K是数据集中包含的类别总数。局部边界修正网络的输出是对所有位置生成m×m大小的局部聚合系数图，这些聚合系数经过如下的正规化：

其中

是局部边界修正网络对应位置i的邻域p的直接输出值，经公式(2)所示的归一化后成为对应位置i的邻域p的局部聚合系数

m×m是邻域的大小。位置i的聚合系数向量将首先平铺成一个正方形，然后与前端模型的置信度图的对应位置相乘，最后聚合到中心点，从而得到修正后的结果，表示为：

其中

是前端网络中对应位置i的邻域p的置信度向量。

会被乘进

的所有分量中。值得注意的是，由于局部边界修正网络对于每个位置都会输出相应的聚合系数，因此其学习得到的聚合系数是位置自适应的，可以更好的捕捉不同位置的局部内容信息。

为了学习未知的聚合系数，本发明提出了一种隐式学习的方法，将聚合系数与前端网络的置信度图相乘，通过计算修正后的结果与真值的误差，端对端的训练局部边界修正网络。这一过程避免了对聚合系数的显式监督学习，这是因为聚合系数的最优值是无法直接得到的。在具体的实施过程中，本发明设计了一个较小的包含7个3×3卷积层的网络，这是因为局部边界修正网络仅需捕捉局部内容信息，并不需要过大的感受野。局部边界修正网络的具体结构如表1所示。其中并没有使用pooling或过大的步长，以保证该网络的输入输出的分辨率是相同的。随着层数的增加，感受野逐渐扩大，捕捉到的内容信息增多，因此局部边界修正网络的通道数增多，以存储更多的信息。

本发明针对局部边界修正网络的特性提出了一种合理的初始化方法。由于局部边界修正网络仅进行局部的细微修正，其输入和输出是很近似的。据此，本发明采用的初始化方法如下：

其中L是局部边界修正网络的层数，k_l是第l层的初始化卷积核参数，b_l是第l层的初始化偏置，c是该层的通道数，a是该层中卷积核的任意位置，ε～N(0,σ²)且σ＜＜1。在这种初始化方法中，卷积核被初始化为较小的值，除最后一层外的偏置均被置为0。对于最后一层，除对应中心的(m×m+1)/2位置被设为1外，其他位置的偏置均被设为0。通过这种初始化方法，中心位置的置信度会对修正结果产生较大的影响，修正过程近似于恒等映射。在网络优化的过程中，局部边界修正网络会以恒等映射为起点，逐渐捕捉到局部内容信息，对分割结果进行修正。

本发明涉及一种场景分割修正方法，其特征在于包括：

局部边界修正网络，使用完全残差卷积网络作为前端模型，将该前端模型的置信度图和原始图像按通道拼接起来，从而输出所有位置的局部聚合系数，将该局部聚合系数与该置信度图的对应位置相乘，聚合到中心点，得到该场景分割的局部边界修正结果；使用已知的场景分割数据集对该局部边界修正网络进行训练。

步骤1，将该局部边界修正网络设计为一个包含7个3×3卷积层的网络，当该局部边界修正网络层数增加，感受野扩大，该局部边界修正网络的通道数增多，以存储更多的信息。

步骤2，通过公式

对该局部边界修正网络进行初始化，使该局部边界修正网络的输入和输出保持近似，此时卷积核除最后一层对应中心的其它位置的偏置均被设为0，该最后一层对应中心的位置的偏置被设为1，其中L是局部边界修正网络的层数，k_l是第l层的初始化卷积核参数，b_l是第l层的初始化偏置，c是该层的通道数，a是该层中卷积核的任意位置，ε～N(0,σ²)且σ＜＜1。

步骤3，根据公式

将该置信度图中的值归一化到该原始图像的RGB值相同的量级，其中

是该前端模型在位置i对于类别k的置信度值，

是归一化后该置信度值，K是数据集中包含的类别总数。

步骤4，该局部边界修正网络的输出是对所有位置生成m×m大小的局部聚合系数图，该聚合系数通过公式

p∈1,2,...,m×m进行正规化，其中

是局部边界修正网络对应位置i的邻域p的直接输出值，

是经归一化后成为对应位置i的邻域p的局部聚合系数，m×m是邻域的大小。

步骤5，该位置i的聚合系数向量平铺成一个正方形，与该置信度图的对应位置相乘，聚合到中心点，通过公式

得到修正后的结果，其中

为前端网络中对应位置i的邻域p的置信度向量。

步骤6，将场景分割数据集中的训练图像，通过该局部边界修正网络得到训练局部聚合系数。

步骤7，通过将该训练局部聚合系数与该训练图像的置信度图相乘得到修正后的结果，计算该结果与该场景分割数据集真值的误差，对该局部边界修正网络进行端对端的训练。

可以将全局残差修正网络和该局部边界修正网络串联实施，形成级联的框架，对该场景分割进行全局修正和局部修正。

本发明还涉及一种场景分割修正***，包括：

局部边界修正***，用于将前端模型的置信度图和原始图像按通道拼接起来，作为该局部边界修正***的输入，从而输出该置信度图所有位置的该局部聚合系数，正规化该局部聚合系数并将其平铺成一个正方形，与该置信度图的对应位置相乘，聚合到中心点，得到该修正结果。

本发明所述的场景分割修正系，包括：

初始化模块，用于通过设置该局部边界修正网络的卷积核，对该局部边界修正网络进行初始化；

归一化模块，用于将该置信度图中的值进行归一化，以达到该原始图像的RGB值相同的量级；

输入模块，用于将该置信度图和该原始图像按通道拼接起来作为该局部边界修正网络的输入；

输出模块，用于输出该置信度图所有位置的该局部聚合系数，正规化该局部聚合系数并将其平铺成一个正方形，与该置信度图的对应位置相乘，聚合到中心点，得到该修正结果；

训练模块，用于通过使用场景分割数据集，对该局部边界修正***进行训练。

可以将全局残差修正***与该局部边界修正***串联实施，形成级联的框架，用于对场景分割进行全局修正和局部修正，以得到更加精确的场景分割结果。

附图说明

图1局部边界修正网络的结构

图2级联框架的结构

图3局部边界修正网络在ADE20K数据集的结果对比

图4局部边界修正网络在Cityscapes数据集的结果对比

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的局部边界修正网络进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

为了验证本发明提出的局部边界修正网络，本发明使用目前流行的完全残差卷积网络作为前端模型，利用局部边界修正网络对前端模型的分割结果进行修正。

其中，前端模型使用了目前流行的完全卷积残差网络。该网络利用在大规模图像分类数据集上预训练的残差网络的参数，从而得到低分辨率的分割结果，之后连接反卷积层，从而将分割结果上采样到与原始图像相同大小。原始残差网络中的7×7全局池化层被替换为膨胀参数为3的3×3卷积层，从而在保持原始模型感受野大小不变的情况下保留更多的细节信息，同时尽可能减少参数数量。此外，原始残差网络中包含5个步长为2的下采样过程，会将反卷积前的分割结果的分辨率降到1/32。为了增大分割结果的分辨率，前端模型中使用了hole算法。将残差网络中最后两个步长为2的下采样过程去掉，并将hole算法应用于残差网络的第四和第五部分中的所有层。通过这种修改，反卷积层前面的分割结果的分辨率可以提高到1/8。

为了更好使用本发明提出的局部边界修正网络，本发明采用了一种级联的框架对前端网络的分割结果进行修正。该框架包括三个部分：(1)使用目前流行的完全残差卷积网络作为前端模型；(2)使用全局残差修正网络，利用全局内容信息进行修正；(3)使用局部边界修正网络，对分割边界进行局部修正。由于全局残差修正网络和局部边界修正网络具有一定的互补性和协同性，使用级联结构可以极大的提高修正后的分割精度。

在级联结构中，前端模型使用了目前流行的完全卷积残差网络。该网络利用在大规模图像分类数据集上预训练的残差网络的参数，从而得到低分辨率的分割结果，之后连接反卷积层，从而将分割结果上采样到与原始图像相同大小。原始残差网络中的7×7全局pooling层被替换为膨胀参数为3的3×3卷积层，从而在保持原始模型感受野大小不变的情况下保留更多的细节信息，同时尽可能减少参数数量。此外，原始残差网络中包含5个步长为2的下采样过程，会将反卷积前的分割结果的分辨率降到1/32。为了增大分割结果的分辨率，前端模型中使用了hole算法。将残差网络中最后两个步长为2的下采样过程去掉，并将hole算法应用于残差网络的第四和第五部分中的所有层。通过这种修改，反卷积层前面的分割结果的分辨率可以提高到1/8。

本发明涉及一种场景分割修正方法，其特征在于包括：

局部边界修正网络主要利用了局部内容信息，自适应的对分割结果进行局部修正。

局部边界修正网络，使用完全残差卷积网络作为前端模型，将该前端模型的置信度图和原始图像按通道拼接起来，从而输出所有位置的局部聚合系数，将该局部聚合系数与该置信度图的对应位置相乘，聚合到中心点，得到该场景分割的局部边界修正结果；使用已知的场景分割数据集对该局部边界修正网络进行训练。

局部边界修正网络将前端网络的置信度图和原始图像在通道的维度拼接起来作为网络的输入，由于原始图像的RGB值在预处理时归一化到了[0,1]范围，置信度图中的值也需要归一化到相同的范围，根据以下公式进行归一化：

局部边界修正网络的输出是对所有位置生成m×m大小的局部聚合系数图，这些聚合系数经过如下的正规化：

其中

是局部边界修正网络对应位置i的邻域p的直接输出值，经公式(2)所示的归一化后成为对应位置i的邻域p的局部聚合系数

m×m是邻域的大小。位置i的聚合系数向量将首先平铺成一个正方形，然后与前端模型的置信度图的对应位置相乘，最后聚合到中心点，从而得到修正后的结果，表示为：

其中

是前端网络中对应位置i的邻域p的置信度向量。

会被乘进

的所有分量中。值得注意的是，由于局部边界修正网络对于每个位置都会输出相应的聚合系数，因此其学习得到的聚合系数是位置自适应的，可以更好的捕捉不同位置的局部内容信息。

为了学习未知的聚合系数，本发明提出了一种隐式学习的方法，将聚合系数与前端网络的置信度图相乘，通过计算修正后的结果与真值的误差，端对端的训练局部边界修正网络。这一过程避免了对聚合系数的显式监督学习，这是因为聚合系数的最优值是无法直接得到的。在具体的实施过程中，本发明设计了一个较小的包含7个3×3卷积层的网络，这是因为局部边界修正网络仅需捕捉局部内容信息，并不需要过大的感受野。局部边界修正网络的具体结构如表1所示。其中并没有使用pooling或过大的步长，以保证该网络的输入输出的分辨率是相同的。随着层数的增加，感受野逐渐扩大，捕捉到的内容信息增多，因此局部边界修正网络的通道数增多，以存储更多的信息。

表1：局部边界修正网络的结构

本发明针对局部边界修正网络的特性提出了一种合理的初始化方法。由于局部边界修正网络仅进行局部的细微修正，其输入和输出是很近似的。据此，本发明采用的初始化方法如下：

其中L是局部边界修正网络的层数，k_l是第l层的初始化卷积核参数，b_l是第l层的初始化偏置，c是该层的通道数，a是该层中卷积核的任意位置，ε～N(0,σ²)且σ＜＜1。在这种初始化方法中，卷积核被初始化为较小的值，除最后一层外的偏置均被置为0。对于最后一层，除对应中心的(m×m+1)/2位置被设为1外，其他位置的偏置均被设为0。通过这种初始化方法，中心位置的置信度会对修正结果产生较大的影响，修正过程近似于恒等映射。在网络优化的过程中，局部边界修正网络会以恒等映射为起点，逐渐捕捉到局部内容信息，对分割结果进行修正。

本发明涉及一种场景分割修正方法，其特征在于包括：

将该局部边界修正网络设计为一个包含7个3×3卷积层的网络，当该局部边界修正网络层数增加，感受野扩大，该局部边界修正网络的通道数增多，以存储更多的信息；

根据公式

将该置信度图中的值归一化到该原始图像的RGB值相同的量级，其中

是该前端模型在位置i对于类别k的置信度值，

是归一化后该置信度值，K是数据集中包含的类别总数。

该局部边界修正网络的输出是对所有位置生成m×m大小的局部聚合系数图，该聚合系数通过公式

进行正规化，其中

是局部边界修正网络对应位置i的邻域p的直接输出值，

是经归一化后成为对应位置i的邻域p的局部聚合系数，m×m是邻域的大小。

该位置i的聚合系数向量平铺成一个正方形，与该置信度图的对应位置相乘，聚合到中心点，通过公式

得到修正后的结果，其中

为前端网络中对应位置i的邻域p的置信度向量。

通过公式

对该局部边界修正网络进行初始化，使该局部边界修正网络的输入和输出保持近似，此时卷积核除最后一层对应中心的其它位置的偏置均被设为0，该最后一层对应中心的位置的偏置被设为1，其中L是局部边界修正网络的层数，k_l是第l层的初始化卷积核参数，b_l是第l层的初始化偏置，c是该层的通道数，a是该层中卷积核的任意位置，ε～N(0,σ²)且σ＜＜1。

将场景分割数据集中的训练图像，通过该局部边界修正网络得到训练局部聚合系数；通过将该训练局部聚合系数与该训练图像的置信度图相乘得到修正后的结果，计算该结果与该场景分割数据集真值的误差，对该局部边界修正网络进行端对端的训练。

将全局残差修正网络和该局部边界修正网络串联实施，形成级联的框架，对该场景分割进行全局修正和局部修正。

本发明还涉及一种场景分割修正***，其特征在于包括：

局部边界修正***，用于将前端模型的置信度图和原始图像按通道拼接起来，作为该局部边界修正***的输入，从而输出该置信度图所有位置的该局部聚合系数，正规化该局部聚合系数并将其平铺成一个正方形，与该置信度图的对应位置相乘，聚合到中心点，得到修正结果。

该***包括：

初始化模块，用于通过设置该局部边界修正网络的卷积核，对该局部边界修正网络进行初始化。

归一化模块，用于将该置信度图中的值进行归一化，以达到该原始图像的RGB值相同的量级；

输入模块，用于将该置信度图和该原始图像按通道拼接起来作为该局部边界修正网络的输入；

输出模块，用于输出该置信度图所有位置的该局部聚合系数，正规化该局部聚合系数并将其平铺成一个正方形，与该置信度图的对应位置相乘，聚合到中心点，得到该修正结果。

训练模块，用于通过场景分割数据集，对该局部边界修正***进行训练。

该***还可以将全局残差修正***与该局部边界修正***串联实施，形成级联的框架，用于对场景分割进行全局修正和局部修正，以得到更加精确的场景分割结果。

下面的实验结果表明：本发明提出的局部边界修正网络可以从局部的角度修正前端模型的分割结果，从而取得更准确的分割边界和更高的分割精度。

为了验证本发明方法的有效性，我们在现在流行的ADE20K和Cityscapes数据集上分别进行实验验证。

ADE20K是一个规模较大的场景分割数据集，在2016年的ImageNet大规模视觉识别挑战赛中使用。该数据集包含150个语义类别，20210张训练图像，2000张验证图像和3351张测试图像。数据集中的每幅图像都提供了像素级别的精细标注。该数据集使用平均交并比(Mean IoU)作为性能检测指标。Cityscapes数据集包含5000张采集于城市街景的图像，且提供了19个类别的像素级别的精细标注。数据集中2975张图像用于训练模型，500张图像用于验证模型，1525张图像用于测试模型。该数据集中的图像分辨率较高，为2048×1024。该数据集使用平均交并比(Mean IoU)作为性能检测指标。

(1)本发明方法在ADE20K数据集的有效性

我们首先在ADE20K数据集上验证本发明提出的局部边界修正网络的有效性。我们利用ADE20K的训练集训练模型，并观察模型在ADE20K的验证集上的性能，结果表2所示。以Mean IoU作为评测指标，基于101层残差网络的前端模型精度为38.45％。使用局部边界修正网络可以获得1.34％的性能提升。我们也测试了目前流行的其他两种场景分割修正方法，包括“全连接条件随机场”方法和“多尺度膨胀卷积”方法。其中全连接条件随机场方法仅能带来0.33％的性能提升，而多尺度膨胀卷积方法可以带来0.98％的性能提升。这两种方法的提升幅度均小于本发明提出的局部边界修正网络。最后，我们还在测试阶段使用了多尺度融合的方法，将精度进一步提升到了41.27％。我们将本发明取得的性能与目前最优的方法进行比较，结果见表3。相比之下，本发明使用单模型基于101层残差网络作为前端模型，可以取得41.27％的精度。再利用152层和200层残差网络作为前端模型，使用多模型融合可以将精度提升至43.21％，大幅度超过目前最优的模型精度。经过局部边界修正网络的效果示例图见图2。从中可以观察到，经过局部边界修正网络后，抖动的分割边界可以被精细化从而更加准确。

表2：本发明方法在ADE20K验证集的结果

表3：本发明方法与目前流行方法在ADE20K验证集的结果对比

(2)本发明方法在Cityscapes数据集的有效性

其次我们在Cityscapes数据集上验证了本发明提出的局部边界修正网络的有效性。我们首先在Cityscapes验证集上进行测试，以Mean IoU作为评测指标，结果如表4所示。基于101层残差网络的前端模型性能为72.93％。使用局部边界修正网络分布可以提升1.43％的分割精度。在此基础上，在测试阶段使用多尺度融合可以进一步将性能提升至75.89％。与目前流行的其他两种场景分割修正方法相比，全连接条件随机场方法能带来0.54％的性能提升，而多尺度膨胀卷积方法可以带来1.03％的性能提升，依然比本发明方法提出的两种修正网络的性能提升幅度低。我们将本发明方法的模型在测试集上进行测试，并将测试结果提交到Cityscapes数据集的测评网站，与目前流行的其他场景分割方法比较，结果见表5所示。在测试集上，我们使用单模型(基于101层残差网络)作为前端网络，利用局部边界修正网络修正后达到74.88％的结果，而使用多模型融合后可以进一步将分割精度提升至76.02％。经过局部边界修正网络的效果示例图见图3。从中可以发现，局部边界修正网络可以使得抖动的分割边界变得连续，并且可以精细化分割边界，从而使其更加准确。

表4：本发明方法在Cityscapes验证集的结果

表5：本发明方法与目前流行方法在Cityscapes测试集的结果对比

Claims (8)

1.一种场景分割修正方法，其特征在于，包括：

使用场景分割数据集对局部边界修正网络进行训练；以完全残差卷积网络作为该局部边界修正网络的前端模型，将该前端模型的置信度图和原始图像按通道拼接起来，作为该局部边界修正网络的输入，从而输出该置信度图所有位置的局部聚合系数，对该局部聚合系数进行正规化以获得对应每个位置的正规化后的局部聚合系数，将该正规化后的局部聚合系数与对应位置的邻域的置信度向量相乘并进行聚合，得到该对应位置的修正结果。

2.如权利要求1所述的场景分割修正方法，其特征在于，包括：

该局部边界修正网络为一个包含L个m×m卷积层的网络，通过设置该局部边界修正网络的卷积核，对该局部边界修正网络进行初始化；设置该卷积核第L层对应中心的偏置为1，设置该卷积核除该中心外的其它位置的偏置均为0，其中L、m为正整数。

3.如权利要求1所述的场景分割修正方法，其特征在于，包括：

步骤11，将该置信度图中的值进行归一化，达到该原始图像的RGB值相同的量级；

步骤12，将该置信度图和该原始图像按通道拼接起来作为该局部边界修正网络的输入；

步骤13，输出该置信度图所有位置的该局部聚合系数，对该局部聚合系数进行正规化；

步骤14，将该正规化后的局部聚合系数与位置i的m×m大小的邻域p的置信度向量f_i ^p相乘，并将相乘的结果聚合到邻域p的中心点，得到位置i的修正结果g_i。

4.如权利要求1所述的场景分割修正方法，其特征在于，该局部边界修正网络还包括：

将全局残差修正网络和该局部边界修正网络串联实施，形成级联的框架，对该场景分割进行全局修正和局部修正。

5.一种场景分割修正***，其特征在于，包括：

训练模块，用于通过使用场景分割数据集，对局部边界修正网络进行训练；

修正结果获取模块，用于以完全残差卷积网络作为该局部边界修正网络的前端模型，将前端模型的置信度图和原始图像按通道拼接起来，作为该局部边界修正网络的输入，从而输出该置信度图所有位置的局部聚合系数，正规化该局部聚合系数以获得对应每个位置的正规化后的局部聚合系数，将该正规化后的局部聚合系数与对应位置的邻域的置信度向量相乘并进行聚合，得到该对应位置的修正结果。

6.如权利要求5所述的场景分割修正***，其特征在于，包括：

初始化模块，用于通过设置该局部边界修正网络的卷积核，完成该局部边界修正网络的初始化。

7.如权利要求5所述的场景分割修正***，其特征在于，包括：

归一化模块，用于将该置信度图中的值进行归一化，以达到该原始图像的RGB值相同的量级；

输入模块，用于将该置信度图和该原始图像按通道拼接起来作为该局部边界修正网络的输入；

输出模块，用于输出该置信度图所有位置的该局部聚合系数，正规化该局部聚合系数，将该正规化后的局部聚合系数与位置i的m×m大小的邻域p的置信度向量f_i ^p相乘，并将相乘的结果聚合到邻域p的中心点，得到位置i的修正结果g_i。

8.如权利要求5所述的场景分割修正***，其特征在于，可以将全局残差修正网络与该局部边界修正网络串联实施，形成级联的框架，用于对场景分割进行全局修正和局部修正，以得到场景分割修正结果。

Images