CN110443248B - 大幅遥感影像语义分割分块效应消除方法及*** - Google Patents

Abstract

本发明涉及一种大幅遥感影像语义分割分块效应消除方法及***，该方法利用滑动窗口尺寸、全局融合因子综合计算窗口加权函数，同时顾及卷积神经网络(CNN)在GPU环境下批处理预测的优势，以总批处理大小所处理的影像块为处理单元，对不同步长下的批处理影像进行全局加权融合。利用滑动窗口尺寸及融合因子，消除扩充边界，从而获取最终融合结果，消除大幅遥感影像语义分割分块效应。

Description

大幅遥感影像语义分割分块效应消除方法及***

技术领域

本发明涉及计算机视觉与遥感领域，尤其涉及一种遥感影像语义分割分块效应消除方法及***。

背景技术

近年来，随着深度学习、大数据和图形处理器(GPU)等大规模应用的推动，遥感影像智能解译面临诸多机遇和挑战。其中，高分辨率遥感影像语义分割技术，即为每一个像素赋予类别属性的技术，能广泛应用于国土变化检测、地理国情普查、防震减灾等应急处理任务中，有着巨大的经济和社会价值。

影像的语义分割方法，常见于室内/室外影像处理。伴随着ImageNet、MS-COCO等大规模数据集的出现，语义分割方法得以快速发展，以深度卷积神经网络(DCNN)为代表的方法已被广泛研究。基于DCNN的语义分割方法与传统方法相比，如TextonBoost等，具有较好的鲁棒性，在具备足够多标注数据的条件下，能通过线性和非线性映射的组合，寻找到影像语义分割的最佳逼近函数，是目前室内/室外影像语义分割任务中效果最好的方法。在遥感影像处理领域，语义分割技术又称为遥感影像分类技术，与室内/室外影像不同的是，遥感影像语义分割面临的问题更为复杂，不仅存在语义分割尺度、方向、空间上下文信息表达等问题，还会出现训练样本局部信息缺失、“同谱异物、同物异谱”等问题。大像幅遥感影像(通常尺寸大于15000×15000像素)分块预测结果的一致性，更成为室内/室外影像语义分割方法应用于遥感影像处理的瓶颈。

基于DCNN的语义分割方法，依照处理层次与融合单元，可以分为三大类：第一类特点是以影像分类网络为基础，如VGGNet，GoogleNet、ResNet等，融合多种策略，通过对影像分类网络结构的调整，完成“端对端”(输入对输出)的语义信息提取。例如，扩张卷积(DilatedConv)网络中使用了“空洞”卷积核来保持全卷积网络(FCN)的感受视野；RefineNet通过多路径、多分辨率来表征语义分割信息；ExFuse模型融合了底层与高层特征等。第二类是使用目标检测的方法辅助语义分割任务。这类方法整合了目标检测与语义分割任务，使用外包矩形与目标掩膜分支，对影像中的实例进行分割。例如，Mask-RCNN框架利用这种策略在MS-COCO数据集上取得了冠军。但对遥感影像中某些特定类别，并不是以矩形框包围的单个实例，标注数据也存在较大主观差异。第三类场景约束的语义分割，其目的是在语义分割任务中融和场景信息，以抑制无关场景的干扰。语义分割的场景信息通常来源于两个方面：其一是影像块的场景类别信息；另一方面是DCNN不同层次特征的组合。对于前者，场景信息约束来源于语义分割标注数据中对各个类别信息的统计，将占主导地位的类别信息作为场景约束信息；对于后者，主要通过网络结构中不同层次特征的整合，其可能导致结构设计愈加复杂，GPU计算资源消耗过大。

上述的基于DCNN的语义分割方法，虽然能以局部影像块(patch)为处理单元进行分割，但受GPU资源限制和模型设计影响，处理对象仅限于小幅影像，并未顾忌到预测的局部影像块之间的信息融合。遥感影像像幅较大，通常为自然影像的3-4倍大小，使用滑动窗口或加权重叠滑动窗口方法，分块预测后各个局部影像块的预测结果之间仍很难达到最优缝合，分块效应无法得以消除(如图1(a)-(c)所示)。因此需要在大幅遥感影像语义分割预测时，引入分块效应消除的方法，使大幅影像预测结果过渡更加平滑，语义分割结果保持较好的全局一致性。

发明内容

本发明针对现有技术的不足，本发明提供一种全局加权融合(GWFuse)的方法(如图1(d))，用于消除大幅遥感影像语义分割分块效应，使遥感影像语义分割结果过渡更平滑，各局部影像块分割结果之间达到最优缝合。

为了达到上述目的，本发明提供的技术方案是：大幅遥感影像语义分割分块效应消除方法，包括如下步骤：

步骤1，待语义分割影像加权融合预处理参数计算，包括如下子步骤；

步骤1.1，待解译遥感影像边界扩充；

步骤1.2，窗口加权函数；

步骤1.3，批处理总步长计算；

步骤2，基于卷积神经网络(CNN)的语义分割方法，在预测阶段引入批处理方式，使用窗口加权函数融合批处理影像预测结果，获得最终的解译结果，包括如下子步骤；

步骤2.1，初始化当前步长s＝0；

步骤2.2，判断当前步长是否小于总步长，如果小于总步长，则初始化当前批次参数λ＝0，并转至步骤2.3；否则表明影像已处理完毕，输出解译结果影像；

骤2.3，判断当前批次参数λ是否小于总批次bs，若大于总批次，则利用窗口加权函数计算当前批次加权解译结果，并转至步骤2.4；

步骤2.4，更新当前步长参数s＝s+bs，直至大于总步长，此时表明整幅影像已经处理完毕，转至步骤2.5；

步骤2.5，依据融合因子β，计算扩充边界影像I_p×q的解译结果M^b；

步骤2.6，依据窗口尺寸k，融合因子β，获取消除扩充边界后的解译结果M^T。

进一步的，步骤1.1的具体实现方式如下，

假设输入的待解译遥感影像为I_m×n，其中m与n分别为待解译影像的宽与高；影像解译时的窗口大小为k，融合因子为β；扩充后影像为I_p×q，其中p与q分别为扩充后影像的宽与高，由解译窗口尺寸及融合因子，计算得到扩充的宽度w与高度h为：

其中符号

表示向上取整，因此扩充后影像的宽高为：

最后采用镜像边界扩充的方式对待解译影像按照扩充宽度与高度进行扩充。

进一步的，步骤1.2的具体实现方式如下，

利用如下的窗口加权函数，用于计算重叠窗口间的全局权重值，

其中，窗口大小为k，在处理窗口内的影像块时，保持各个分割块之间的重叠度大小为

将公式(5)扩展至二维，得到二维情况下的二阶平滑函数W_k×k＝[f(x) f(y)]^T。

进一步的，步骤1.3的具体实现方式如下，

依据窗口大小k，扩充边界后影像宽高p与q，以及融合因子β计算得到批处理的在x方向与y方向上的总步长分别为：

其中，sm表示缩放因子，计算方式如下：

因此最终批处理的总步长为

进一步的，步骤2.3中算当前批次加权解译结果的具体实现方式如下，

其中符号*表示二维卷积运算符；函数F(·)表示CNN语义分割预测网络；I^λ表示当前批次待处理分块影像，由扩充边界后的影像I_p×q获取：

I^λ＝I_p×q[x_λ:x_λ+k,y_λ:y_λ+k,:] (10)

y_λ＝(index％l_y)×sm (12)

公式(10)中x_λ:x_λ+k代表对扩充影像矩阵I_p×q沿x轴截取的范围是[x_λ,x_λ+k]；y_λ:y_λ+k代表对扩充影像矩阵I_p×q沿y轴截取的范围是[y_λ,y_λ+k]；公式(11)和(12)中index∈[s,s+bs)表示正整数游标，s是当前步长参数，若当前批次参数λ小于总批次bs，则继续获取当前批次影像I^λ，并更新当前批次参数λ＝λ+1。

进一步的，步骤2.5中解译结果M^b的计算方式如下，

公式(13)中，

代表第i个批次加权解译结果，所有的批次结果共同构成大小为p×q的影像I_p×q的解译结果M^b。

进一步的，步骤2.6中解译结果M^T的计算方式如下，

M^T＝M^b[w:p-w,h:q-h,:] (14)

公式(14)中，w:p-w表示对解译结果影像矩阵M^b沿x轴截取的范围是[w,p-w]；h:q-h表示对解译结果影像矩阵M^b沿y轴截取的范围是[h,q-h]。

本发明还提供一种大幅遥感影像语义分割分块效应消除***，包括如下模块：

参数计算模块，用于待语义分割影像加权融合预处理参数计算，包括如下子模块；

边界扩充子模块，用于待解译遥感影像边界扩充；

窗口加权函数计算子模块，用于窗口加权函数计算；

批处理总步长计算子模块，用于批处理总步长计算；

解译结果输出模块，用于基于卷积神经网络(CNN)的语义分割方法，在预测阶段引入批处理方式，使用窗口加权函数融合批处理影像预测结果，获得最终的解译结果，包括如下子模块；

第一子模块，用于初始化当前步长β＝0；

第二子模块，用于判断当前步长是否小于总步长，如果小于总步长，则初始化当前批次参数λ＝0，并转至第三子模块；否则表明影像已处理完毕，输出解译结果影像；

第三子模块，用于判断当前批次参数λ是否小于总批次bs，若大于总批次，则利用窗口加权函数计算当前批次加权解译结果，并转至第四子模块；

第四子模块，用于更新当前步长参数s＝s+bs，直至大于总步长，此时表明整幅影像已经处理完毕，转至第五子模块；

第五子模块，用于依据融合因子β，计算扩充边界影像I_p×q的解译结果M^b；

第六子模块，用于依据窗口尺寸k，融合因子β，获取消除扩充边界后的解译结果M^T。

与现有滑动窗口或加权重叠滑动窗口融合技术相比，本发明提出全局加权融合的GWFuse方法，采用二阶全局加权平滑函数，同时兼顾GPU高效计算优势，在遥感影像语义分割预测阶段引入GPU批处理方式，使不同步长下的批处理影像得以全局加权融合。利用滑动窗口尺寸及融合因子，消除扩充边界，从而消除大幅遥感影像语义分割分块效应，获取最优融合结果。

附图说明

图1为大幅遥感影像局部影像块语义分割分块效应及其处理结果缩略图。其中，图(a)为原始影像；图(b)为滑动窗口处理结果；图(c)为加权重叠滑动窗口处理结果；图(d)为本发明专利处理结果。

图2为本发明采用的全局加权融合(GWFuse)分块效应消除方法流程图。

图3为待解译遥感影像边界扩示意图。

图4为全局窗口加权平滑函数示意图。其中，图(a)为将将二阶平滑函数扩展至二维情况的示意图；图(b)为二维加权平滑函数可视化效果。

图5为更多语义分割分块效应及其处理结果缩略图。其中，(a)列为原始影像；(b)列为滑动窗口处理结果；(c)列为加权重叠滑动窗口处理结果；(d)列为本发明专利处理结果。原始像幅大小浮动范围为7000×7000像素到80000×80000像素。

具体实施方式

本发明采用一种全局加权融合方法解决大幅遥感影像语义分割结果分块效应消除的问题，该方法利用滑动窗口尺寸、全局融合因子综合计算窗口加权函数，同时顾及卷积神经网络(CNN)批处理预测的优势，以总批处理大小所处理的影像块为处理单元，对不同步长下的批处理影像进行全局加权融合。利用滑动窗口尺寸及融合因子，消除扩充边界，从而获取最终融合结果，消除大幅遥感影像语义分割分块效应。

为了更好的理解本发明的技术方案，下面将结合附图对本发明做进一步说明。本发明所提出的全局加权融合(GWFuse)语义分割分块效应消除方法见图2，其核心在于窗口加权函数计算、批处理影像加权融合。具体实施步骤如下：

步骤1，待语义分割影像加权融合预处理参数计算。

预处理参数的计算是语义分割分块效应消除的前提条件，其包括影像边界扩充、窗口加权函数计算、批处理总步长计算三个方面。具体步骤如下：

1.1，待解译遥感影像边界扩充

假设输入的待解译遥感影像为I_m×n，其中m与n分别为待解译影像的宽与高；影像解译时的窗口大小为k，融合因子为β；扩充后影像为I_p×q，其中p与q分别为扩充后影像的宽与高。如图3所示，由解译窗口尺寸及融合因子，可以计算得到扩充的宽度w与高度h为：

其中符号

表示向上取整。因此扩充后影像的宽高为：

本发明中采用镜像边界扩充的方式对待解译影像按照扩充宽度与高度进行扩充。其中融合因子选取为β＝2，窗口尺寸选取为k＝512。

1.2，窗口加权函数计算

图1(c)中使用重叠窗口投票的方式对语义分割结果进行加权处理，并未从根本上考虑到窗口重叠的边界平滑性。为了使预测的语义分割块之间过渡更自然，本专利设计如下的二阶窗口加权平滑函数，用于计算重叠窗口间的全局权重值。

假设窗口大小为k，导致语义分割结果产生分块效应的原因在于投票的函数为一阶线性函数，距离窗口中心比较近的地方权重较高，而在窗口边界产生了阶跃：

为了克服阶跃函数在边界处的缺点，本专利设计的二阶窗口加权平滑函数如下：

公式(5)中x表示在x方向上的坐标位置。在处理窗口内的影像块时，保持各个分割块之间的重叠度大小为

将公式(5)扩展至二维，即可得二维情况下的二阶平滑函数W_k×k＝[f(x) f(y)]^T，其中f(x)、f(y)分别表示在x方向和y方向上窗口加权函数。图4为将二阶平滑函数扩展至二维情况的示意图。

1.3，批处理总步长计算

依据窗口大小k，扩充边界后影像宽高p与q，以及融合因子β可计算得到批处理的在x方向与y方向上的总步长分别为：

其中，sm表示缩放因子，计算方式如下：

因此最终批处理的总步长为

步骤2，批处理语义分割分块效应消除。

基于卷积神经网络(CNN)的语义分割方法，在预测阶段通常是以单个影像块为处理单元。本发明专利借助CNN训练阶段GPU批处理的优势，在语义分割方法预测阶段也引入批处理方式，以便于使用加权窗口函数融合批处理影像预测结果。具体包括如下步骤：

步骤2.1，初始化当前步长s＝0。

步骤2.2，判断当前步长是否小于总步长l＝l_x×l_y。如果小于总步长，则初始化当前批次参数λ＝0，并转至步骤2.3；否则表明影像已处理完毕，输出解译结果影像M^T。

步骤2.3，判断当前批次参数λ是否小于总批次bs。若大于总批次，则利用窗口加权函数W_k×k＝[f(x) f(y)]^T，计算当前批次加权解译结果，并转至步骤2.4：

其中符号*表示二维卷积运算符；函数F(·)表示CNN语义分割预测网络，本专利采用密集连接结构的全卷积网络(FCN)作为预测网络函数；I^λ表示当前批次待处理分块影像，由扩充边界后的影像I_p×q获取：

I^λ＝I_p×q[x_λ:x_λ+k,y_λ:y_λ+k,:] (10)

y_λ＝(index％l_y)×sm (12)

公式(10)中x_λ:x_λ+k代表对扩充影像矩阵I_p×q沿x轴截取的范围是[x_λ,x_λ+k]；y_λ:y_λ+k代表对扩充影像矩阵I_p×q沿y轴截取的范围是[y_λ,y_λ+k]。公式(11)和(12)中index∈[s,s+bs)表示正整数游标，s是当前步长参数。若当前批次参数λ小于总批次bs，则继续获取当前批次影像I^λ，并更新当前批次参数λ＝λ+1。

步骤2.4，更新当前步长参数s＝s+bs，直至大于总步长l＝l_x×l_y。此时表明整幅影像已经由密集连接结构的语义分割网络处理完毕，转至步骤2.5；

步骤2.5，依据融合因子β，计算扩充边界影像I_p×q的解译结果M^b，计算方式如下：

公式(13)中，

代表第i个批次加权解译结果，所有的批次预测结果共同构成大小为p×q的影像I_p×q的解译结果M^b。

步骤2.6，依据窗口尺寸k，据融合因子β，获取消除扩充边界后的解译结果M^T。消除扩充边界的过程与步骤1.1中扩充边界的过程相反，裁剪的宽度与高度，由公式(1)计算得到，最终经过融合和消除扩充边界后解译结果为：

M^T＝M^b[w:p-w,h:q-h,:] (14)

公式(14)中，w:p-w表示对解译结果影像矩阵M^b沿x轴截取的范围是[w,p-w]；h:q-h表示对解译结果影像矩阵M^b沿y轴截取的范围是[h,q-h]。图5为采用本专利提出方法应用于大幅遥感影像语义分割分块效应消除的缩略图示例，原始影像包括GeoEye、ZY-3等类型，像幅大小浮动范围为7000×7000像素到80000×80000像素。

本发明实施例还提供一种大幅遥感影像语义分割分块效应消除***，包括如下模块：

参数计算模块，用于待语义分割影像加权融合预处理参数计算，包括如下子模块；

边界扩充子模块，用于待解译遥感影像边界扩充；

窗口加权函数计算子模块，用于窗口加权函数计算；

批处理总步长计算子模块，用于批处理总步长计算；

解译结果输出模块，用于基于卷积神经网络(CNN)的语义分割方法，在预测阶段引入批处理方式，使用窗口加权函数融合批处理影像预测结果，获得最终的解译结果，包括如下子模块；

第一子模块，用于初始化当前步长β＝0；

第二子模块，用于判断当前步长是否小于总步长，如果小于总步长，则初始化当前批次参数λ＝0，并转至第三子模块；否则表明影像已处理完毕，输出解译结果影像；

第三子模块，用于判断当前批次参数λ是否小于总批次bs，若大于总批次，则利用窗口加权函数计算当前批次加权解译结果，并转至第四子模块；

第四子模块，用于更新当前步长参数s＝s+bs，直至大于总步长，此时表明整幅影像已经处理完毕，转至第五子模块；

第五子模块，用于依据融合因子β，计算扩充边界影像I_p×q的解译结果M^b；

第六子模块，用于依据窗口尺寸k，融合因子β，获取消除扩充边界后的解译结果M^T。

各模块的具体实现方式与各步骤相应，本发明不予撰述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.大幅遥感影像语义分割分块效应消除方法，其特征在于，包括如下步骤：

步骤1，待解译遥感影像加权融合预处理参数计算，包括如下子步骤；

步骤1.1，待解译遥感影像边界扩充；

步骤1.2，确定窗口加权函数；

步骤1.3，批处理总步长计算；

步骤2，基于卷积神经网络CNN的语义分割方法，在预测阶段引入批处理方式，使用窗口加权函数融合批处理影像预测结果，获得最终的解译结果，包括如下子步骤；

步骤2.1，初始化当前步长s＝0；

步骤2.2，判断当前步长是否小于总步长，如果小于总步长，则初始化当前批次参数λ＝0，并转至步骤2.3；否则表明影像已处理完毕，输出解译结果影像；

步骤2.3，判断当前批次参数λ是否小于总批次bs，若大于总批次，则利用窗口加权函数计算当前批次加权解译结果，并转至步骤2.4；

步骤2.3中计算当前批次加权解译结果的具体实现方式如下，

其中符号*表示二维卷积运算符；函数F(·)表示CNN语义分割预测网络；I^λ表示当前批次待处理分块影像，由扩充边界后的影像I_p×q获取：

I^λ＝I_p×q[x_λ:x_λ+k,y_λ:y_λ+k,:] (10)

y_λ＝(index％l_y)×sm (12)

公式(10)中x_λ:x_λ+k代表对扩充影像矩阵I_p×q沿x轴截取的范围是[x_λ,x_λ+k]；y_λ:y_λ+k代表对扩充影像矩阵I_p×q沿y轴截取的范围是[y_λ,y_λ+k]；公式(11)和(12)中index∈[s,s+bs)表示正整数游标，s是当前步长参数，若当前批次参数λ小于总批次bs，则继续获取当前批次影像I^λ，并更新当前批次参数λ＝λ+1；

步骤2.4，更新当前步长参数s＝s+bs，直至大于总步长，此时表明整幅影像已经处理完毕，转至步骤2.5；

步骤2.5，依据融合因子β，计算扩充边界影像I_p×q的解译结果M^b；

步骤2.5中解译结果M^b的计算方式如下，

公式(13)中，

代表第i个批次加权解译结果，所有的批次结果共同构成大小为p×q的影像I_p×q的解译结果M^b；

步骤2.6，依据窗口尺寸k，融合因子β，获取消除扩充边界后的解译结果M^T；

步骤2.6中解译结果M^T的计算方式如下，

M^T＝M^b[w:p-w,h:q-h,:] (14)

公式(14)中，w:p-w表示对解译结果影像矩阵M^b沿x轴截取的范围是[w,p-w]；h:q-h表示对解译结果影像矩阵M^b沿y轴截取的范围是[h,q-h]。

2.根据权利要求1所述的大幅遥感影像语义分割分块效应消除方法，其特征在于：步骤1.1的具体实现方式如下，

假设输入的待解译遥感影像为I_m×n，其中m与n分别为待解译影像的宽与高；影像解译时的窗口大小为k，融合因子为β；扩充后影像为I_p×q，其中p与q分别为扩充后影像的宽与高，由解译窗口尺寸及融合因子，计算得到扩充的宽度w与高度h为：

其中符号

表示向上取整，因此扩充后影像的宽高为：

最后采用镜像边界扩充的方式对待解译影像按照扩充宽度与高度进行扩充。

3.根据权利要求2所述的大幅遥感影像语义分割分块效应消除方法，其特征在于：步骤1.2的具体实现方式如下，

利用如下的窗口加权函数，用于计算重叠窗口间的全局权重值，

其中，窗口大小为k，在处理窗口内的影像块时，保持各个分割块之间的重叠度大小为

将公式(5)扩展至二维，得到二维情况下的二阶平滑函数W_k×k＝[f(x) f(y)]^T。

4.根据权利要求3所述的大幅遥感影像语义分割分块效应消除方法，其特征在于：步骤1.3的具体实现方式如下，

依据窗口大小k，扩充边界后影像宽高p与q，以及融合因子β计算得到批处理的在x方向与y方向上的总步长分别为：

其中，sm表示缩放因子，计算方式如下：

因此最终批处理的总步长为

5.一种实现权利要求1-4任一权利要求所述方法的大幅遥感影像语义分割分块效应消除***，其特征在于，包括如下模块：

参数计算模块，用于待解译遥感 影像加权融合预处理参数计算，包括如下子模块；

边界扩充子模块，用于待解译遥感影像边界扩充；

窗口加权函数计算子模块，用于窗口加权函数计算；

批处理总步长计算子模块，用于批处理总步长计算；

解译结果输出模块，用于基于卷积神经网络CNN的语义分割方法，在预测阶段引入批处理方式，使用窗口加权函数融合批处理影像预测结果，获得最终的解译结果，包括如下子模块；

第一子模块，用于初始化当前步长β＝0；

第二子模块，用于判断当前步长是否小于总步长，如果小于总步长，则初始化当前批次参数λ＝0，并转至第三子模块；否则表明影像已处理完毕，输出解译结果影像；

第三子模块，用于判断当前批次参数λ是否小于总批次bs，若大于总批次，则利用窗口加权函数计算当前批次加权解译结果，并转至第四子模块；

第四子模块，用于更新当前步长参数s＝s+bs，直至大于总步长，此时表明整幅影像已经处理完毕，转至第五子模块；

第五子模块，用于依据融合因子β，计算扩充边界影像I_p×q的解译结果M^b；

第六子模块，用于依据窗口尺寸k，融合因子β，获取消除扩充边界后的解译结果M^T。

Images