CN112686803B

CN112686803B - 基于考虑点扩散函数效应的时空超分辨率映射

Info

Publication number: CN112686803B
Application number: CN202011572383.1A
Authority: CN
Inventors: 王鹏; 沈珣
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2024-06-04
Anticipated expiration: 2040-12-18
Also published as: CN112686803A

Abstract

本发明通过考虑点扩散函数(point spread function，PSF)效应，提出了一种基于考虑点扩散函数效应的时空超分辨率映射的一般模型。包括如下步骤：(1)分别通过光谱解混从原始粗光谱图像(original coarse spectral image，OCSI)和先验细光谱图像(prior fine spectral image，PFSI)得到粗分数图像和细分数图像。(2)在考虑PSF效应的情况下，从OCSI的粗分数图像中获得改进粗分数图像，从PFSI的细分数图像中获得模拟粗分数图像。(3)通过描述OCSI的改进粗分数图像中像素之间的空间引力模型来导出空间依赖关系。(4)时间依赖关系包括描述OCSI的细分数图像与PFSI的细分数图像之间关系的细尺度，以及OCSI的改进粗分数图像与PFSI的模拟粗分数图像之间关系的粗尺度。(5)根据两种依赖关系，通过类分配方法获得映射结果。

Description

基于考虑点扩散函数效应的时空超分辨率映射

技术领域

本发明涉及遥感图像处理技术领域，是一种对光谱遥感图像解混后的分数图像进行处理的技术。

背景技术

由于土地覆盖类型的多样性和硬件遥感平台设备的局限性，光谱遥感图像会产生大量的混合像元。这些混合像元是限制光谱图像空间分辨率的主要因素之一。光谱分解是处理混合像元的一项重要技术。虽然可以获得比例属于土地覆盖类别的分形图像，但是每个土地覆盖类别的具体空间分布仍然不确定。超分辨率映射(Super-resolution mapping，SM)是光谱分解的后续处理步骤，它处理分数图像，获得每个土地覆盖类的亚像素级空间分布。

1997年，阿特金森第一次提出了SM的概念，这是基于空间依赖理论。根据空间相关性的不同描述方法，SM在过去几十年中发展了多种实用方法，如空间吸引模型、像素交换算法(pixel swapping algorithm，PSA)、克立格法、hopfield神经网络、径向基核函数插值(radial basis function interpolation，RBF)、反向传播神经网络、指标协克立格法等。由于SM是一个不适定的反问题，传统的SM方法通常基于单时相图像，缺乏对实际地理分布的精确先验知识，导致结果的不确定性。为了解决这一问题，时空超分辨率映射(spatiotemporal super-resolution mapping，SSM)采用适当的先验精细光谱图像(priorfine spectral image，PFSI)作为先验知识约束，近年来显示出巨大的潜力。首先提出SSM的概念。然后进一步发展并应用于传统的空间吸引模型、像素交换算法和hopfield神经网络。然后，将时间相关引入到SSM中，形成空间-时间相关模型，改进了最终的映射结果。

然而，现有的SSM方法通常描述时间依赖性，即时间依赖性是原始粗谱图像(original coarse spectral image，OCSI)的粗分数图像和PFSI的精细分数图像之间的关系，由于时间依赖性信息不准确且丰富。不同比例的两个分数图像。另外，王鹏等人最近证明，当减小点扩散函数(point spread function，PSF)效果时，基于单时相图像的传统SM方法的性能得到了改善，但在现有的SSM模型中仍未考虑PSF效果。在本文中，提出了一种基于考虑点扩散函数效应的的时空超分辨率映射(fine and coarse scales temporaldependence，FCSTD)。首先，分别通过光谱分解将OCSI的粗糙分数图像和PFSI的精细分数图像导出。其次，在考虑PSF效应的情况下，依次使用面积对点克里金法(area-to-pointkriging，ATPK)和理想的方波滤波器，从OCSI的粗糙分数图像依次获得OCSI的精细分数图像和OCSI的改进的粗糙分数图像。同时通过PSF滤波器从PFSI的精细分数图像中获得PFSI的模拟粗糙分数图像。第三，通过描述在OCSI的改进的粗糙分数图像中的中心子像素与相邻像素或子像素之间的关系来导出空间依赖性。第四，时间依赖性包括由OCSI的精细分数图像与PFSI的精细分数图像之间的关系描述的精细尺度，以及由OCSI的改进的粗糙分数图像与模拟的粗糙分数图像之间的关系描述的粗糙尺度PFSI。最后，根据时空相关性结合空间和时间相关性，通过类分配方法将类标签分配给子像素，产生最终的映射结果。

发明内容

借助适当的先验精细光谱图像(PFSI)在同一区域提供的辅助信息，时空超分辨率映射(SSM)比传统的仅基于单调图像的超分辨率映射(SM)方法具有更大的潜力和更好的性能。然而，现有SSM方法的时间依赖性通常描述原始粗谱图像(OCSI)的粗分数图像与PFSI的细分数图像之间的关系，由于两幅分数图像的尺度不同，时间依赖性信息的尺度不准确和丰富。此外，现有的SSM模型通常不考虑点扩散函数(PSF)效应，影响映射结果的准确性。为了解决上述问题，本文通过考虑PSF效应，提出了一种基于考虑点扩散函数效应的时空超分辨率映射的一般SSM模型(FCSTD)。包括如下步骤：

(1)分别通过光谱解混导出了OCSI的粗分数图像和PFSI的细分数图像。

(2)在考虑PSF效应的情况下，利用ATPK和理想方波滤波器，依次从OCSI的粗分数图像中获得OCSI的细分数图像和改进的OCSI粗分数图像，同时利用PS F滤波器从PFSI的细分数图像中获得PFSI的模拟粗分数图像。

(3)通过描述OCSI改进的粗分数图像中的中心子像素与邻居像素或子像素之间的关系来导出空间依赖关系。

(4)时间依赖性包括OCSI的精细分数图像与PFSI的精细分数图像之间的关系所描述的精细尺度，以及OCSI的改进粗分数图像与PFSI的模拟粗分数图像之间的关系所描述的粗尺度。

(5)根据时空依赖结合空间依赖和时间依赖，通过类分配方法将类标签分配给子像素，产生最终的映射结果。

步骤(1)中，光谱解混导出图像的具体步骤为：假设S是OCSI和PFSI之间的尺度因子，即OCSI中的每个混合像素被认为被划分为PFSI中的S²子像素。(J＝1，2，....，N，N是混合像素数)是OCSI中的混合像素，/>(j＝1，2，...，N×S²，N×S²是子像素的数目)是PFSI中的子像素。从OCSI的光谱分解得到的粗分数图像包含混合像素/>的mth(m＝1，2，...，M，M是土地覆盖类的数目)类/>的粗比例，从PFSI的光谱分解得到的细分数图像包含子像素的mth类的/>的细比例。本文所提出的FCSTD包含空间依赖和时间依赖，两者都考虑PSF效应。

步骤(2)中，在FCSTD的空间依赖性中考虑了PSF效应。首先用ATPK方法对OCSI的粗分数图像进行改进，ATPK方法可以用PS F滤波器描述不同比例的半方差图，用mth类的细比例对亚像素/>产生细分数图像。然后用理想的方波滤波器对细分数图像进行卷积，得到具有增强粗比例/>的改进粗分数图像。

步骤(3)中，改进的OCSI粗分数图像产生空间依赖性。空间依赖可以用两种主要类型来描述。一种是基于中心子像素和邻居子像素之间的关系，另一种是基于中心子像素和邻居像素之间的关系。根据空间依赖最大化，可以对两种类型的数学模型进行量化

其中O^spatial是空间依赖的目标函数，是混合像素/>中的中心子像素，x_j，m是类指示器，空间/>是描述的/>与m类邻域像素或子像素之间的关系。在描述/>与邻居像素的关系时，将/>定义为：

在描述与邻居子像素之间的关系时，描述了/>

其中是从/>到第n个相邻像素/>的空间距离，/>是从/>到第n个相邻亚像素/>的空间距离。N*是相邻像素或子像素的数目，这里设置为8。γ是一个非线性参数。/>是二进制类指示器，定义为：

步骤(4)中，为了使时间依赖信息更加准确和丰富，提出的FCSTD通过考虑PSF效应包含细尺度和粗尺度的时间依赖。精细尺度时间依赖时间描述了OCSI的精细分数图像与精细比例/>和PFSI的精细分数图像与精细比例/>之间的关系，定义为：

其中是亚像素/>和亚像素/>之间的时间间隔，这是由OCSI和PFSI之间的收集时间间隔计算的。μ是一个非线性参数。通过比较/>与/>定义为：

为了通过考虑PSF效应来描述粗尺度时间依赖性，首先将具有精细比例的PFSI的精细分数图像与PSF滤波器进行卷积，得到具有模拟粗糙比例的模拟粗分数图像粗糙尺度时间依赖性时间/>描述了OCSI改进的粗分数图像与具有增强的粗糙比例模拟粗分数图像/>之间的关系，/>模拟粗糙分数图像描述如下：

其中是像素/>和/>之间的时间间隔，也是通过OCSI和PFSI之间的收集时间间隔来测量的。μ是一个非线性参数。通过比较/>与/>描述为：

因此，根据时间依赖最大化，时间依赖的目标函数O^temporal是通过精细尺度时间依赖时间和粗尺度时间依赖时间/>的线性组合得到的，定义为：

其中λ是权重参数。

步骤(5)中，在获得空间依赖O^spatial和时间依赖O^temporal的目标函数后，可以通过将O^spatial和O^temporal结合来导出时空依赖O。

MaxO＝β×O^spatial+(1-φ)O^temporal (11)

其中β是权重参数。

最后，根据时空依赖最大化，利用基于类单元的类分配方法将类标签分配给子像素，得到最终的映射结果。此外，还满足(12)中的两个约束条件。

其中round(·)是指最接近的整数。其中(12)中的第一个方程表示每个子像素只属于一个类，第二个方程表示每个类的子像素需要满足/>增强粗比例约束。由于两幅分数图像在精细尺度或粗尺度时间依赖中的尺度相等，因此时间依赖信息更加准确和丰富。此外，在所提出的FCSTD中考虑了PSF效应，并对最终的映射结果进行了改进。

本发明的有益效果为：本发明的方法改善了现有的处理分数图像的方法，不管是精细比例还是粗糙比例的两个分数图像的比例相同，使得时间相关性更加丰富，利用新的方法(FCSTD)提高了映射结果的准确性，优于现有的最新方法。

附图说明

图1为基于考虑点扩散函数效应的的时空超分辨率映射原理流程图

图2(a)为2001年NLCD拍摄的地图

图2(b)为2006年NLCD拍摄的地图

图3(a)为考虑PSF效应的对SM模型使用PSA方法的映射结果图

图3(b)为考虑PSF效应的对SM模型使用RBF方法的映射结果图

图3(c)为考虑PSF效应的对SSM模型使用PSA方法的映射结果图

图3(d)为考虑PSF效应的对SSM模型使用RBF方法的映射结果图

图3(e)为考虑PSF效应的对FCSTD模型使用PSA方法的映射结果图

图3(f)为考虑PSF效应的对FCSTD模型使用RBF方法的映射结果图

具体实施方式

考虑点扩散函数效应的基于精细和粗细时间尺度相关的时空超分辨率映射，包括如下步骤：

(1)输入原始NLCD图像(即2001年与2006年拍摄的)，利用光谱解混先得到了OCSI的粗分数图像和PFSI的细分数图像，具体为：

假设S是OCSI和PFSI之间的尺度因子，即OCSI中的每个混合像素被认为被划分为PFSI中的S²子像素。设(J＝1，2，....，N，N是混合像素数)是OCSI中的混合像素，同时此处(j＝1，2，...，N×S²，N×S²是子像素的数目)是PFSI中的子像素。从OCSI的光谱分解得到的粗分数图像包含了混合像素/>的mth(m＝1，2，...，M，M是土地覆盖类的数目)类/>的粗比例，从PFSI的光谱分解得到的细分数图像包含子像素/>的mth类的/>的细比例。

(2)考虑PSF效应的情况下，利用ATPK和理想方波滤波器从OCSI的粗分数图像中获得OCSI的细分数图像和改进的OCSI粗分数图像，同时利用PS F滤波器从PFSI的细分数图像中获得PFSI的模拟粗分数图像。

(3)通过描述OCSI改进的粗分数图像中的中心子像素与邻居像素或子像素之间的关系来导出空间依赖关系，时间依赖性。具体为：

空间依赖可以用两种主要类型来描述。一种是基于中心子像素和邻居子像素之间的关系，另一种是基于中心子像素和邻居像素之间的关系。根据空间依赖最大化，可以对两种类型的数学模型进行量化

空间是描述的/>与m类邻域像素或子像素之间的关系。在描述/>与邻居像素的关系时，将/>定义为：

在描述与邻居子像素之间的关系时，描述了/>

是二进制类指示器，定义为：

时间依赖也分为精细尺度与粗糙尺度两种依赖。精细尺度时间依赖描述了OCSI的精细分数图像与精细比例/>和PFSI的精细分数图像与精细比例/>之间的关系，定义为：

其中是亚像素/>和亚像素/>之间的时间间隔，这是由OCSI和PFSI之间的收集时间间隔计算的，μ是一个非线性参数。通过比较/>与/>定义为：

通过考虑PSF效应来描述粗糙尺度时间依赖性，首先将具有精细比例的PFSI的精细分数图像与PSF滤波器进行卷积，得到具有模拟粗糙比例的模拟粗分数图像粗糙尺度时间依赖性/>描述了OCSI改进的粗分数图像与具有增强的粗糙比例模拟粗分数图像/>之间的关系，/>模拟粗糙分数图像描述如下：

(4)因为时空依赖结合空间依赖和时间依赖，通过类分配方法将类标签分配给子像素，可以产生最终的映射结果。

本发明提出的基于考虑点扩散函数效应的时空超分辨率映射的原理流程图如图1所示。

图2的(a)，(b)是该方法使用的数据集，为NLCD在2001和2006年捕获的图片，该数据集是通过基于栅格方法的分类获得的，空间分辨率为30m。

图3选择NLCD 2001图像作为PFSI。使用均值滤波器对NLCD 2006图像进行下采样，以分别生成具有240m空间分辨率的模拟OCSI。选择NLCD 2006图像作为参考图像(映射结果如图3所示)。前文提到有两种类型描述空间依赖性。PSA方法属于中心子像素与相邻子像素之间的空间依赖性，而RBF方法属于中心子像素与相邻像素之间的空间依赖性。因此，比较了三种结合PSA和RBF的通用模型：1)第一个模型是考虑了PSF效应的基于单时态图像的SM，即PSA-PSF和RBF-PSF；2)第二种模型是王鹏等人提出的SSM；即PSA-SSM和RBF-SSM；3)第三个模型是本文提出的FCSTD，即PSA-FCSTD和RBF-FCSTD。

利用总精准度OA(％)和Kappa系数评估了SM方法的性能。根据表I中列出的OA(％)和Kappa数值可以看出，PSA-FCSTD和RBF-FCSTD可以获得比其他四种方法更高的OA(％)和Kappa。例如，与RBF-SSM相比，RBF-FCSTD的OA(％)和Kappa分别增加了约2.1％和0.024。根据OA(％)的定义，由于测试图像中有像素，因此增加了2.2％，意味着RBF-FCSTD产生了22000个更正确的映射像素。所以由评估数据可知FCSTD可以获得最高的OA(％)和Kappa。

表1.不同方式的性能评估(S＝10)

Claims

1.一种考虑PSF效应的基于细尺度和粗尺度时间依赖性的一般时空超分辨率映射的方法，其中“PSF”为“point spread function”的英文缩写，其中文含义为点扩散函数，包括如下步骤：

(1)分别通过光谱解混导出了原始粗谱图像OCSI的粗分数图像和先验精细光谱图像PFSI的细分数图像，其中“OCSI”为“original coarse spectral image”的英文缩写，“PFSI”为“prior fine spectral image”的英文缩写；

(2)在考虑PSF效应的情况下，利用面积对点克里金法和理想方波滤波器，依次从OCSI的粗分数图像中获得OCSI的细分数图像和改进的OCSI粗分数图像，同时利用PSF滤波器从PFSI的细分数图像中获得PFSI的模拟粗分数图像；

(3)通过描述OCSI改进的粗分数图像中的中心子像素与邻居像素或子像素之间的关系来导出空间依赖关系；

(4)时间依赖性包括OCSI的精细分数图像与PFSI的精细分数图像之间的关系所描述的精细尺度，以及OCSI的改进粗分数图像与PFSI的模拟粗分数图像之间的关系所描述的粗尺度；

2.如权利要求1所述的方法，其特征在于，步骤(1)中，为了获取到OCSI的粗分数图像和PFSI的细分数图像假设S是OCSI和PFSI之间的尺度因子，即OCSI中的每个混合像素都被认为被划分为PFSI中的S²子像素；设是OCSI中的混合像素，其中J＝1，2，....，N，N是混合像素数；同时设此处/>是PFSI中的子像素，其中j＝1，2，...，N×S²，N×S²是子像素的数目；从OCSI的光谱分解所得到的粗分数图像所包含混合像素/>的第m类/>的粗比例，其中m＝1，2，...，M，M是土地覆盖类的数目。

3.如权利要求1所述的方法，其特征在于，步骤(2)中，改进的OCSI粗分数图像产生空间依赖性；空间依赖可以用两种主要类型来描述，一种是基于中心子像素和邻居子像素之间的关系，另一种是基于中心子像素和邻居像素之间的关系；根据空间依赖最大化，可以对两种类型的数学模型进行量化：

其中m＝1，2，...，M，M是土地覆盖类的数目，j＝1，2，...，S²，S²是子像素的数目，O^spatial是空间依赖的目标函数，是混合像素/>中的中心子像素，x_j，m是类指示器，空间是描述的/>与m类邻域像素或子像素之间的关系，在描述/>与邻居像素的关系时，将/>定义为：

其中是用理想的方波滤波器对细分数图像进行卷积，得到的改进粗分数图像的第m类增强粗比例；在描述/>与邻居子像素之间的关系时，描述了/>

其中是从/>到第n个相邻像素/>的空间距离，/>是从/>到第n个相邻亚像素/>的空间距离，N*是相邻像素或子像素的数目，这里设置为8，γ是一个非线性参数，/>是二进制类指示器，定义为：

。

4.如权利要求1所述的方法，其特征在于步骤(3)中，为了使时间依赖信息更加准确和丰富，提出的一种基于细尺度和粗尺度时间依赖性的一般时空超分辨率映射的方法通过考虑PSF效应包含细尺度和粗尺度的时间依赖，精细尺度时间依赖时间描述了OCSI的精细分数图像与精细比例/>和PFSI的精细分数图像与精细比例/>之间的关系，定义为：

其中是亚像素/>和亚像素/>之间的时间间隔，μ是一个非线性参数，定义为：

。

5.如权利要求1所述的方法，其特征在于，步骤(4)中，在获得空间依赖O^spatial和时间依赖O^temporal的目标函数后，可以通过将O^spatial和O^temporal结合来导出时空依赖O：

MaxO＝β×O^spatial+(1-φ)O^temporal (11)

其中β和φ是权重参数；再根据时空依赖最大化，利用基于类单元的类分配方法将类标签分配给子像素，得到最终的映射结果；此外，还满足(12)中的两个约束条件：

其中m＝1，2，...，M，M是土地覆盖类的数目，j＝1，2，...，S²，S²是子像素的数目，x_j，m是类指示器，是用理想的方波滤波器对细分数图像进行卷积，得到的改进粗分数图像的第m类增强粗比例，round(·)是指最接近/>的整数。