CN108288256B - 一种多光谱马赛克图像复原方法 - Google Patents

Abstract

本发明涉及一种多光谱马赛克图像复原方法，能够使采用镀膜式视频光谱仪拍摄的多光谱马赛克视频图像被复原为高空间分辨率和高光谱分辨率的完整多光谱图像，解决多光谱图像实时传输所带来的应用限制，该方法的步骤是：1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；2)提取单谱段图像S1；3)对单谱段图像S1进行下采样，得到图像S2；4)对图像S2进行2倍上采样，得到图像S3：5)对图像S3进行插值运算；6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原。

Description

一种多光谱马赛克图像复原方法

技术领域

本发明涉及一种多光谱图像处理技术，特别是涉及多光谱马赛克图像复原方法。

背景技术

多光谱图像处理中的超分辨重建和光谱重建研究和探索一直是多光谱图像技术应用发展的一项重要内容。多光谱图像是一种集图像图形学和光谱学于一体的高分辨遥感图像，其图像的空间分辨率和光谱分辨率都比普通遥感图像高。与普通数字图像相比，多光谱图像具有地物的空间信息和光谱信息，能够同时获得目标的几何形状信息和光谱特性曲线。但是多光谱图像因其谱段数量多，空间分辨率较高，存在数据量大，信息冗余度高，数据传输速率慢等缺点，使多光谱图像在实时监测和移动目标跟等踪领域还存在应用限制。因此如何保证在多光谱图像的空间分辨率和光谱分辨率不变的条件下，减少信息冗余程度以达到多光谱图像数据实时传输和多光谱视频成像的技术是一个新的研究热点，众多科研工作者也投身于这一项研究中。

就多光谱图像数据本身来说，其常见的数据特点主要有：

1、空间分辨率高，光谱分辨率低，适用于地物种类较少，空间分辨率要求高的手持多光谱成像，例如：多光谱相机成像技术。

2、空间分辨率低，光谱分辨率高，适用于地物种类较多，目标几何形状大且规整的机载多光谱成像，例如：农田作物检测，森林监测等。

3、空间分辨率高，光谱分辨率高，也就是高光谱成像技术，适用于航空航天科研领域，例如：星载高光谱成像仪拍摄的高光谱图像，主要应用于大气监测等。

对于上述的三种多/高光谱图像都不可避免的存在数据信息冗余高，数据传输速率慢等缺点。目前这几类多光谱图图像主要应用于静态成像场景中，不适用于视频成像和移动目标拍摄。因此马赛克形式的多光谱图像采集方式被科研学者应用于多/高光谱图像中，通过在阵列探测器前加入滤光膜，使图像由若干像素矩阵块组成，如图1所示。

类似彩色数字图像成像方式，像素矩阵块中的不同像素点对不同谱段进行响应，图像中的每一个像素点只响应某一个谱段信息，输出的多光谱图像类似于数字马赛克图像。这种成像方式能够保证输出图像的空间分辨率和光谱分辨率不变，并且极大地减少信息冗余度，实时传输图像数据，还能进行多光谱图像视频拍摄。

但是采用镀膜式多光谱视频成像仪拍摄的图像数据不能直接应用于分析处理，因为此类成像技术将多维的多光谱图像数据压缩为二维的数据格式，输出的图像有马赛克效应，图像中的轮廓比较模糊，物体的细节损失比较严重。单谱段图像空间分辨率会随谱段数量的增加而减少，每一个像素点缺失的光谱信息也会随之增加，尤其在谱段数量多的情况下，这种缺点会更加明显。因此需要对二维的多光谱图像数据进行复原处理，使多光谱图像的单谱段图像空间分辨率显著增强，重建每个像元的所有光谱信息，从而复原出完整的多光谱图像。

发明内容

为了解决背景技术中的问题，本发明提供了一种多光谱马赛克图像重建复原方法，能够使采用镀膜式视频光谱仪拍摄的多光谱马赛克视频图像被复原为高空间分辨率和高光谱分辨率的完整多光谱图像，解决多光谱图像实时传输所带来的应用限制。

本发明的原理性内容的介绍：

一种多光谱马赛克图像复原方法，利用马赛克模板信息从多光谱马赛克图像中提取单谱段图像，应用泰勒级数估值法计算单谱段图像中缺失像元的像素值，重建单谱段图像的空间和光谱信息，使单谱段图像的空间分辨率尽可能接近探测器的分辨率。因为计算缺失像元的值是单幅图像独立进行，避免相邻谱段信息干扰，重建后的完整多光谱图像光谱误差相比于其他方法更小。

上述应用泰勒级数估值法是利用缺失像素点周围已知像素点值的一阶、二阶导数，并利用泰勒级数公式近似估计缺失像素点值，应用该计算方式可以极大保留图像的边缘信息。通过在计算过程中扩大已知像素点计算范围，可以有效减少图像严重稀疏所造成的图像细节信息损失。

上述重建完整多光谱图像是建立在单谱段图像的空间和光谱信息基础上，缩放提取的原始单谱段图像，完成缩放后图像的缺失像素值估计运算，并重复缩放和估值运算过程，直到重建的单谱段图像空间分辨率达到原始二维图像的分辨率。将重建后的所有单谱段图像复原为完整的多光谱图像，即从二维图像数据恢复为多维数据。

本方法通过缩放过程和泰勒级数估值法对二维多光谱图像数据进行多维重建从而复原完整的多光谱图像，使多光谱图像数据在实时传输条件下仍能够保持高的空间分辨率和光谱分辨率，实现完整的多光谱图像视频采集传输，将光谱技术应用于移动目标跟踪与检测。

本发明的具体技术方案是：

一种多光谱马赛克图像复原方法，包括以下步骤：

1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；设谱段数量为N，则马赛克模板大小为M×M，N，M为正整数，且M*M＝N，N≥4；

2)提取单谱段图像S1；

3)对单谱段图像S1进行下采样，即将图像S1中的所有空像元删除，得到图像S2；

4)对图像S2进行2倍上采样，得到图像S3：

5)对图像S3进行插值运算；

5.1)第一次插值；

对图像S3新***的每一行每一列空像元的交点处进行插值运算；

5.2)第二次插值；

再对图像S3剩余空像元进行插值运算，得到图像S4：所述剩余空像元位于同列两个相邻已知像元点的连线和同行两个相邻已知像元点的连线的交点位置；

6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原，其具体做法是：

设每个单谱段图像复原过程中执行步骤4)至步骤5)的次数为P，P≥0；

当N为偶数时，且当

则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；

当N为偶数时，且当

则继续重复步骤4)至步骤5)，直到

再对剩余单谱段图像执行步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；

当N为奇数时，且当

且

则重复执行步骤4)至步骤5)，直至满足条件

得到的图像S4，再在图像S4中每隔2*P行2*P列***一行一列空像元，使图像的大小等于单谱段图像S1，再对以上处理之后的图像中未知像元采用相邻像元的均值进行估值运算，则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原。

上述步骤2)具体做法是：

按照马赛克模板中谱段的排列顺序从原始多光谱马赛克图像S中提取单谱段图像S1；

具体是：采用滑动窗口遍历原始多光谱马赛克图像S，滑动窗口的大小等于马赛克模板大小且滑动窗口中只有一个像素点置为1，其余像素点置为0，像素点置为1的位置与马赛克模板中有同一谱段信息像元所在的位置一样；

所述单谱段图像S1中每一小格代表一个像元，每个像元响应一个谱段信息且每一个像素矩阵块中的所有像元响应的谱段信息均不同。

上述步骤3)具体做法是：

将单谱段图像S1中像素点置为0的像元删除，单谱段图像S1的空间分辨率会降为原始多光谱马赛克图像S的1/N，从而得到图像S2。

上述步骤4)具体做法是：

在图像S2中每隔一行一列***一行一列空像元，从而得到图像S3，其中图像S3的空间分辨率为图像S2的4倍。

上述步骤5.1)和5.2)中插值运算的具体过程是：

A1、设P点为未知像元点，P点周围的四个已知像元邻域N₁，N₂，N₃，N₄，每个邻域内有4个已知像元，利用一阶梯度算子和二阶梯度算子计算每个邻域内的已知像元的一阶和二阶导数；

A2、计算每个邻域内四个已知像元的一阶和二阶导数平均值；

窗口内四个邻域的一阶导数均值为

二阶导数均值为

A3、计算窗口内P点在四个邻域方向上泰勒级数近似值：

A4、计算每个邻域的权重系数ω_i：

(i＝1,2,3,4)，(k＝1,2,3,4)；ρ是常量，使四个邻域的权重系数ω_i之和为1；

A5、计算P点像元的估计值I(P)：

本发明的有益效果是：

1、本发明基于镀膜式视频光谱仪拍摄的马赛克多光谱图像，利用镀膜的马赛克模板和泰勒级数近似估计法，提出一种多光谱马赛克图像复原，重建完整多光谱图像的方法，该方法采用镀膜式的视频光谱仪能够极大减少图像数据的光谱信息冗余，实时传输数据，但也会造成单谱段图像空间分辨率过低，单像元的光谱信息严重缺失。而通过本发明的图像复原方法，可以在数据预处理阶段进行单谱段图像的空间超分辨重建和像元缺失光谱重建，实现多光谱图像视频的完整重建。

2、本发明的方法解决了多光谱马赛克图像因谱段数量的增加而造成单谱段图像空间分辨降低问题；解决多光谱马赛克图像中存在的光谱信息不足，图像数据不完整问题；解决多光谱马赛克图像中单谱段图像空间分辨率低，光谱信息缺失严重而引起的光谱分类误差大问题；使重建后的完整多光谱图像空间分辨率尽可能接近探测器分辨率。

3、由于随着光谱仪镀膜的谱段数量增加，提取的单谱段图像空间分辨率会随之降低，并且单像元缺失的谱段信息亦会增加，这都会造成单谱段图像信号严重稀疏，使重建后的图像边缘模糊，光谱分类误差增加。因此本发明采用在单谱段图像中扩大待估计像素点周围已知像素域的范围，利用待估计像素点邻域内所有已知像素点的一阶和二阶导数计算泰勒级数近似值，并通过加权公式计算待插像素点在该谱段的像素值。通过扩大已知像素的邻域范围和计算一阶、二阶导数可以极大地保留原始图像中的边缘信息，使重建后的图像空间分辨率增强，光谱误差率降低。

附图说明

图1为本发明实施例中采用镀膜式视频光谱仪拍摄的原始多光谱马赛克图像；

图2为本发明实施例中采用的镀膜马赛克模板

图3为本发明实施例中提取的单谱段图像；

图4为本发明实施例中对单谱段图像进行重建的步骤；

图5(a)为本发明实施例中第一次插值过程中一个插值点分布示意图；

图5(b)为本发明实施例中第一次插值过程中所有插值点分布示意图；

图5(c)为本发明实施例中第二次插值过程中一个插值点分布示意图；

图5(d)为本发明实施例中第二次插值过程中所有插值点分布示意图；

图6为本发明实施例中与已知像元非同行非同列像元的泰勒级数估值方法；

图7为本发明实施例中与已知像元同列不同行或者同行不同列像元泰勒级数估值方法；

图8(a)为拍摄的原始二维多光谱马赛克图像；

图8(b)为8(a)的局部放大图；

图8(c)为8(b)的局部放大图；

图9(a)为经过本发明方法复原后的单谱段图像；

图9(b)为9(a)的局部放大图；

图9(c)为9(b)的局部放大图。

具体实施方式

如图1所示，用镀膜式视频光谱仪采集原始多光谱马赛克图像S，根据镜头的镀膜类型，可以选择9谱段、16谱段和25谱段的成像镜头，在本实施例中选用的是25谱段镀膜镜头。图2所示为25谱段的马赛克模板(也可称为像素矩阵)，采用视频光谱仪拍摄的图像可以视为由若干个马赛克像素矩阵组成，像素矩阵中每一个像素点仅响应某一特定谱段的信息，并且每个像素点响应不同谱段的信息。

如图2所示，按照马赛克模板中谱段的排列顺序从原始多光谱马赛克图像S中提取单谱段图像S1，采用滑动窗口遍历原始多光谱马赛克图像S，滑动窗口的大小等于马赛克模板，滑动窗口中只有一个点置为1，其余点置为0，置为1的点位置与马赛克模板中有同一谱段信息像元所在的位置一样。例如，图2中25谱段马赛克模板的第3个谱段像元所处位置为(1,3)，则提取第3个谱段图像采用的滑动窗口大小为5*5，并且窗口中只有位置(1,3)处置为1，其余点置为0。

从图3中可以看出提取的单谱段图像S1空间分辨率下降严重，只有原图像空间分辨率的1/25。为了提高单谱段图像的空间分辨率，使所有单谱段图像的空间分辨率尽可能接近探测器的分辨率，并且使重建后图像的光谱信息尽可能接近真实物体的光谱特性，因此在本实例中采用如图4的步骤进行重建。

第一步：提取单谱段图像S1后对其进行下采样，得到图像S2；将图像中没有值的像元删除，图像的空间分辨率会降维原始图像的1/25；

然后对下采样后的图像S2进行2倍上采样，在图像中每隔一行一列***空像元，得到图像S3；如图3过程中的第二步，使图像中的已知像素点的分布类似于棋盘。

第二步：第一次插值

对下采样后的图像S3进行泰勒级数插值，第一次插值的像元位置如图5(a)，(b)所示(即就是对图像S3新***的每一行每一列空像元的交点处位置)，白色圆点代表已知像元，灰色圆点代表这一步中需要被***的像元，待***像元和已知像元不同行同列。对灰色圆点处的像元计算过程如图6所示，采用7*7大小滑动窗口遍历整幅图像，对窗口内的中心像元，如图6中的P点，进行泰勒级数近似估值计算。计算过程为：

A1、选择P点周围四个已知像元邻域N₁，N₂，N₃，N₄，利用一阶梯度算子和二阶梯度算子计算每个邻域内的已知像元的一阶和二阶导数，如：N₂邻域内，四个已知像元q₂₁，q₂₂，q₂₃，q₂₄的一阶导数为I₂′(q₂₁)，I₂′(q₂₂)，I₂′(q₂₃)，I₂′(q₂₄)，二阶导数为I₂″(q₂₁)，I₂″(q₂₂)，I₂″(q₂₃)，I₂″(q₂₄)；

A2、计算每个邻域内四个已知像元的一阶和二阶导数平均值，如：N₂邻域内，一阶导数均值

二阶导数均值

窗口内四个邻域的一阶导数均值为

二阶导数均值为

A3、计算窗口内P点在四个邻域方向上泰勒级数近似值：，

A4、计算每个邻域的权重系数ω_i：

(i＝1,2,3,4)，(k＝1,2,3,4)；ρ是常量，使四个邻域的权重系数ω_i之和为1；

A5、计算P点像元的估计值I(P)：

第三步：第二次插值

对完成第二步之后图像(如图5(b)所示)中剩余的未知像元进行估值运算，剩下的未知像元与已知像元同行不同列或者同列不同行(如图5(c)中黑色的圆点代表本步骤中被估计的像元，即就是位于同列两个相邻已知像元点的连线和同行两个相邻已知像元点的连线的交点位置)。所以在本步中采用的邻域划分如图7所示，利用图7中四个邻域N₁，N₂，N₃，N₄内的已知像元信息重复第二步中的计算过程，将图像中剩余的未知像元在该谱段的值计算出来，结果如图5(d)所示，黑色圆点代表第三步中***的像元。

第四步：对完成第三步之后的图像进行2倍上采样，然后对图像重复以上第二步和第三步的计算过程，直到图像大小等于或者接近原始二维图像；

若原始二维马赛克图像中的谱段数量为偶数，则只需要按照以上四个步骤进行复原计算就能使复原后的图像分辨率尽可能接近探测器的分辨率。若原始二维马赛克图像中的谱段数量为奇数，则需要在完成上述第四步以后进行以下过程：

A、在上述第四步处理后的图像中每隔一定偶数行和偶数列***一行一列空像元，例如本发明中采用的25谱段马赛克多光谱图像进行复原处理，则在上述第四步处理之后图像中每隔四行四列***一行一列空像元，使图像的大小等于原始二维马赛克图像。

B、对以上处理之后的图像中未知像元采用相邻像元的均值进行估值运算。

以上步骤是针对单谱段图像的复原方法，为了复原出完整的多光谱图像，需要对提取的每一幅单谱段图像进行上述的所有计算过程。利用镀膜式视频光谱仪拍摄25谱段多光谱马赛克图像，如图8(a)、8(b)、8(c)所示。经过本发明的复原方法处理后的图像如图9(a)、9(b)、9(c)所示。从图中效果对比可以看出，处理之后的单谱段图像空间分辨率得到显著提高，图像的轮廓以及细节信息均得到了增强。

对于复原方法，采用下采样和上采样相结合的方式能够保证已知像素点值和位置不受插值影响，使计算的结果更准确，图形发生畸变的可能性降低。而利用扩大邻域的泰勒级数插值方法，计算一阶导数和二阶导数可以极大保留图像边缘信息，减少光谱分类误差。

Claims (5)

1.一种多光谱马赛克图像复原方法，其特征在于，包括以下步骤：

1)根据原始多光谱马赛克图像S的像素矩阵块中所含有的谱段数量确定马赛克模板；设谱段数量为N，则马赛克模板大小为M×M，N，M为正整数，且M*M＝N，N≥4；

2)提取单谱段图像S1；

3)对单谱段图像S1进行下采样，即将图像S1中的所有空像元删除，得到图像S2；

4)对图像S2进行2倍上采样，得到图像S3：

5)对图像S3进行插值运算；

5.1)第一次插值；

对图像S3新***的每一行每一列空像元的交点处进行插值运算；

5.2)第二次插值；

再对图像S3剩余空像元进行插值运算，得到图像S4：所述剩余空像元位于同列两个相邻已知像元点的连线和同行两个相邻已知像元点的连线的交点位置；

6)判断单谱段图像S1的复原条件，并完成所有单谱段图像复原，其具体做法是：

设每个单谱段图像复原过程中执行步骤4)至步骤5)的次数为P，P≥0；

当N为偶数时，且当

则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；

当N为偶数时，且当

则继续重复步骤4)至步骤5)，直到

再对剩余单谱段图像执行步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原；

当N为奇数时，且当

且

则重复执行步骤4)至步骤5)，直至满足条件

得到的图像S4，再在图像S4中每隔2*P行2*P列***一行一列空像元，使图像的大小等于单谱段图像S1，再对以上处理之后的图像中未知像元采用相邻像元的均值进行估值运算，则认为提取的单谱段图像S1已完成复原，再重复步骤2-5)直至原始多光谱马赛克图像的所有单谱段图像全部复原。

2.根据权利要求1所述的多光谱马赛克图像复原方法，其特征在于：所述步骤2)具体做法是：

按照马赛克模板中谱段的排列顺序从原始多光谱马赛克图像S中提取单谱段图像S1；

具体是：采用滑动窗口遍历原始多光谱马赛克图像S，滑动窗口的大小等于马赛克模板大小且滑动窗口中只有一个像素点置为1，其余像素点置为0，像素点置为1的位置与马赛克模板中有同一谱段信息像元所在的位置一样；

所述单谱段图像S1中每一小格代表一个像元，每个像元响应一个谱段信息且每一个像素矩阵块中的所有像元响应的谱段信息均不同。

3.根据权利要求1所述的多光谱马赛克图像复原方法，其特征在于：所述步骤3)具体做法是：

将单谱段图像S1中像素点置为0的像元删除，单谱段图像S1的空间分辨率会降为原始多光谱马赛克图像S的1/N，从而得到图像S2。

4.根据权利要求1所述的多光谱马赛克图像复原方法，其特征在于：所述步骤4)具体做法是：

在图像S2中每隔一行一列***一行一列空像元，从而得到图像S3，其中图像S3的空间分辨率为图像S2的4倍。

5.根据权利要求1所述的多光谱马赛克图像复原方法，其特征在于：所述步骤5.1)和5.2)中插值运算的具体过程是：

A1、设P点为未知像元点，P点周围的四个已知像元邻域N₁，N₂，N₃，N₄，每个邻域内有4个已知像元，利用一阶梯度算子和二阶梯度算子计算每个邻域内的已知像元的一阶和二阶导数；

A2、计算每个邻域内四个已知像元的一阶和二阶导数平均值；

窗口内四个邻域的一阶导数均值为

二阶导数均值为

A3、计算窗口内P点在四个邻域方向上泰勒级数近似值：

A4、计算每个邻域的权重系数ω_i：

(i＝1，2，3，4)，(k＝1，2，3，4)；ρ是常量，使四个邻域的权重系数ω_i之和为1；

A5、计算P点像元的估计值I(P)：

Images