CN104820967A - 在轨计算成像方法 - Google Patents

Abstract

本发明提供一种在轨计算成像方法，包括：在有地物类型标注的高光谱训练图像集上对高光谱特征字典模型进行学习，获得高光谱分类字典；在轨查找待检测高光谱图像在所述高光谱分类字典中的地物类型，对待检测高光谱图像和红外图像进行异常目标检测和对多光谱图像进行视觉显著性检测，获得目标区域数据；在轨生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储得到压缩成像数据。本发明所述方法能够提高数据利用的时效性且减轻遥感图像传输存储压力。

Description

在轨计算成像方法

技术领域

本发明属于遥感成像领域，涉及在轨图像处理、目标检测、目标识别、数据压缩等技术领域，特别涉及在轨计算成像方法。

背景技术

每种类型的传感器往往只能获取一种或几种特征。但是，每种类型目标都拥有多种类型的特征，如外观、结构、温度、材质、类别，必须综合利用多种特征才能准确、全面的识别目标。为此，同一卫星往往搭载不同类型的传感器，例如可见光、红外和高光谱，同时利用多传感器获取的多源图像进行检测和识别目标。

传统的可见光、红外、高光谱等传感器成像过程是物理成像，物理成像通过元器件将目标及背景的某种特征原本地映射下来，是一种“数据级”的成像。多源图像为目标检测和识别提供了便利，但同时导致数据量剧增。传统的遥感图像处理是先将数据传到地面，然后在地面***进行处理。在传统的处理模式下，海量数据给网络传输、数据存储、人工解译造成了很大的压力，很多数据得不到及时处理。传统的物理成像无法满足实际应用的需要，严重地制约了遥感图像的实际应用。

计算成像是利用硬件或软件在物理成像基础上，对目标进行特征图像或对物理成像过程进行快速处理，获取“特征级”或“目标级”的图像。与传统图像相比，这些图像容量很小，可以快速传输到地面；计算成像过程包含了目标信息，传送到地面的特征图像可以直接为后续应用所利用，大大缩短了数据获取到决策生成的周期。

计算成像具有很多优点，但计算成像涉及目标检测、数据融合、数据压缩等诸多步骤；计算成像需要在星上在轨完成，计算资源受限，计算时效性要求较高，计算成像的关键技术亟需深入研究。

本发明是一种基于多源图像(包含全色图像、多光谱图像、红外图像、高光谱图像)的在轨计算成像方法，在物理成像基础上利用目标检测、数据压缩等技术进行特征成像。以目标识别为目的，通过计算成像在星上完成多源图像的目标检测和数据融合任务，只将目标区域及兴趣区域的特征数据传至地面，大大减少海量数据网络传输压力,提高了数据利用的时效性。

发明内容

本发明提供一种在轨计算成像方法，以提高数据利用时效性同时减轻遥感图像传输存储压力。

本发明提供一种在轨计算成像方法，包括：

在有地物类型标注的高光谱训练图像集上对高光谱特征字典模型进行学习，获得高光谱分类字典；

在轨查找待检测高光谱图像在所述高光谱分类字典中的地物类型，对待检测高光谱图像和红外图像进行异常目标检测和对多光谱图像进行视觉显著性检测，获得目标区域数据；

在轨生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储得到压缩成像数据。

本发明的有益效果为：

本发明在轨计算成像方法基于多源图像通过训练、检测、压缩进行在轨计算成像，该方法所需计算资源少且能达到较理想的成像效果，因此能够利用卫星上有限的计算资源对原始多源物理图像进行实时的线上处理，提高了数据利用时效性，能够在线满足计算成像需求且减轻了大数据对数据传输存储等造成的压力。

附图说明

图1为本发明在轨计算成像方法实施例一的流程图；

图2为本发明在轨计算成像方法实施例一中在轨目标检测的流程示意图；

图3为本发明在轨成像计算方法实施例一中生成压缩数据的流程示意图。

具体实施方式

图1为本发明在轨计算成像方法实施例一的流程图，图2为本发明在轨计算成像方法实施例一中在轨目标检测的流程示意图，图3为本发明在轨成像计算方法实施例一中生成压缩数据的流程示意图，如图1、图2和图3所示，本发明在轨计算成像方法包括：

S1、在有地物类型标注的高光谱训练图像集上对高光谱特征字典模型进行离线学习，获得高光谱分类字典；需要说明的是，这里在有类型标注的历史高光谱训练图像集组成的特征集上学习并生成的光谱特征字典模型具有低维度、可分性好的特点；考虑模型学习，所述学习可以是在全地物类型标注的图像集上有监督学习，也可以是在部分地物类型标注的图像集上半监督学习；考虑学习地点，所述学习可以是在轨学习，也可以是原始图像数据传回地面上进行离轨学习后再将高光谱分类字典传回卫星；

优选的，所述在有地物类型标注的高光谱训练图像集上对高光谱特征字典进行学习，获得高光谱分类模型包括：

S11、创建高光谱特征字典模型<D,Z>：

$<D,Z>=\arg \underset{D,Z}{\min }{\left|\right|X-\mathrm{DZ}\left|\right|}_F^2+{\mathrm{\&lambda;}}_1{\left|\right|Z\left|\right|}_p^p+{\mathrm{\&lambda;}}_2\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|z_i-z_j\left|\right|}_2^2{w}_{\mathrm{ij}}---\left(1\right);$

S12、对所述高光谱特征字典模型进行初始化，也即设定所述正则化参数λ₁和λ₂，优选的，可以设定λ₁＝λ₂＝0.01，设置不同地物类型的高光谱训练图像的特征向量的并集为初始高光谱特征字典D⁽⁰⁾，对高光谱训练图像的表示系数设定初始值Z⁽⁰⁾＝([D⁽⁰⁾]^TD⁽⁰⁾)^-1[D⁽⁰⁾]^TX；

S13、对D与Z采用公式(2)和公式(3)交替迭代进行更新直至达到分类需求，得到最后一次迭代所得的高光谱特征字典即高光谱分类字典：

${D_{ik}}^{(t+1)}={D_{ik}}^{{}^{\left(t\right)}}\frac{{\left(X{\&lsqb;Z^{{}^{\left(t\right)}}\&rsqb;}^T\right)}_{ik}}{{\left(D^{{}^{\left(t\right)}}{Z}^{{}^{\left(t\right)}}{\&lsqb;Z^{{}^{\left(t\right)}}\&rsqb;}^T\right)}_{ik}}---\left(2\right);$

${Z_{jk}}^{{}^{(t+1)}}={Z_{jk}}^{{}^{\left(t\right)}}\frac{{({\&lsqb;D^{(t+1)}\&rsqb;}^{T}X+{\mathrm{\&lambda;}}_1{Z}^{\left(t\right)}W)}_{jk}}{{(Z^{{}^{\left(t\right)}}{\&lsqb;D^{{}^{(t+1)}}\&rsqb;}^T{Z}^{{}^{\left(t\right)}}+{\mathrm{\&lambda;}}_1{Z}^{{}^{\left(t\right)}}S+{\mathrm{\&lambda;}}_2)}_{jk}}---\left(3\right);$

其中，X_j＝{x_k＝{j,f_k}|1≤k≤T_j}，X_j表示第j类地物类型的高光谱训练图像的特征向量集合，x_k＝{j,f_k}，x_k表示第k个训练图像，j为地物类型编号，f_k为第k个训练样本对应的高光谱特征向量，T_j表示第j类训练样本集合中元素个数；X表示所有的训练图像的特征向量集合，X的维数是M行N列，M表示高光谱训练图像的特征向量的维数，N为高光谱训练图像的个数，D表示高光谱特征字典，D的维数为M行K列，D的每一列表示一个字典原子；Z＝[z₁,z₂,...,z_N]，表示X在D下的表示系数，z_k表示第k个高光谱训练图像x_k在D下的表示系数，||·||_F表示Frobenius范数，λ₁和λ₂分别表示稀疏正则化系数和可分性正则化系数(分别控制表示系数的稀疏度和可分性)，W表示相似性权重矩阵，w_ij表示不同类型训练样本的相似权重，优选的，若z_i和z_j为同一地物类型的高光谱训练图像的表示系数，则w_ij＝1，否则w_ij＝0；t表示迭代次数，S表示对角阵，所述对角线上的元素w_ik表示W的第i行第k列的值，Z_ik ^(t)表示Z^(t)在第i行第k列的值，[Z^(t)]^T表示矩阵Z^(t)的转置；

优选的，所述达到分类需求具体为：

迭代次数t达到迭代阈值；优选的，t<100；

或者，相邻两次迭代的均方误差小于均方差阈值(也即，mse(D^(t+1)Z^(t+1),D^(t)Z^(t))<ε)，其中，mse(D^(t+1)Z^(t+1),D^(t)Z^(t))表示相邻两次迭代的均方误差，ε为均方差阈值，优选的，可以取ε＝0.1。

S2、在轨查找待检测高光谱图像在所述高光谱分类字典中的地物类型，对待检测高光谱图像和红外图像进行异常目标检测和对多光谱图像进行视觉显著性检测，获得目标区域数据；

优选的，所述在轨查找待检测高光谱图像在所述高光谱分类字典中的地物类型，对待检测高光谱图像进行异常目标检测和对多光谱图像进行视觉显著性检测，获得目标区域数据包括：

S21、计算待检测高光谱图像的每个像素在所述高光谱分类字典D中的表示系数，确定待检测高光谱图像的每个像素的地物类型；优选的，设x_ij为当前待检测高光谱图像上第i行第j列的特征向量，则x_ij对应的D中的表示系数为z_ij＝Px_ij，z_ij表示K维的向量，其中，P＝(D^TD+λI)^-1D^T,λ表示修正系数，这里可以取λ＝0.1，I表示单位矩阵。设第n种地物类型的显著特征个数为K_n，则得到的高光谱分类字典中对应的K_n个字典原子代表的是第n种类型地物的表示系数；因此，如果z_ij的第K_n段分量的能量最大而其它段的分量很稀疏，则表示待检测高光谱图像上第i行第j列像素为第n种类型；

S22、确定待检测红外图像中满足公式(4)的像素为异常目标像素：

||T_p-μ_i||≥3σ_i                  (4)；

S23、获得异常目标像素组成的目标区域；此过程也即类别-温度异常目标检测的过程；

S24、计算待检测多光谱图像的平均波段图像A，根据公式(5)在所述平均波段图像A上计算显著特征图像

$\stackrel{\&OverBar;}{X}=IDCT\left(sign\right(DCT\left(A\right)\left)\right)---\left(5\right);$

S25、根据公式(6)计算显著特征映射图像

S26、对所述显著特征映射图像进行直方图统计，直方图的灰度级数可以为3，提取频数较少的像素组成的视觉显著目标区域，直方图的频数较多的部分为背景；

S27、将目标区域也即类别-温度异常目标检测的图像的掩码以多光谱图像为基准进行上采样，获得上采样后的目标区域的掩码和视觉显著目标区域的掩码的并组成的目标区域数据，也即得到上采样和合并后的目标区域掩码；

其中，i表示地物类型的索引，μ_i和σ_i分别表示第i种地物类型的温度的中位数和方差(在计算μ_i和σ_i时，地物类型信息来自高光谱图像，温度信息来自红外图像)，p表示像素，T_p表示红外图像上像素p的温度；DCT(·)和IDCT(·)分别表示离散余弦变换和离散余弦逆变换；ο表示Hadamard点乘运算符，g表示高斯核函数，*表示卷积运算；

S3、在轨生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储得到压缩成像数据；

优选的，所述在轨生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储得到压缩成像数据包括：

S31、对多光谱图像以全色图像为基准进行上采样生成采样后的多光谱图像；

S32、对所述采样后的多光谱图像执行PCA融合得到伪彩色图像；也即对所述上采样后的多光谱图像进行PCA分解，保留前三个主成分图像。将第一主成分图像用全色图像代替，将替换后的三个主成分图像分别作为红、绿、蓝三个波段形成伪彩色图像；

S33、对伪彩色图像执行HSV变换得到变换后的伪彩色图像；

S34、对所述变换后的伪彩色图像进行V分量替换得到替换后的伪彩色图像；也即V波段用红外图像代替，这里V分量用红外图像代替的作用在于以亮度区分目标的温度；

S35、对所述替换后的伪彩色图像执行HSV反变换得到目标区域数据对应的特征图像；也即对H、S及替换后的V分量进行HSV反变换得到的图像为包含目标区域结构细节、颜色、和温度的特征图像；

S36、将目标区域数据全部保留，对目标区域进行索引存储，得到压缩成像数据；所述索引存储的格式可以为[h_j,l_j,r_j,g_j,b_j]，j表示目标区域内像素的索引号，h_j和l_j分别表示该像素所在的行号和列号，r_j、g_j和b_j分别表示所述融合图像在该像素处的红、绿、蓝三个波段的灰度值，这一步是为了将目标区域和感兴趣类型的特征图像进行层次压缩，以减少网络传输容量。

优选的，在所述生成全色图像和多光谱图像的融合图像，保留并对所述目标区域特征数据进行与所述融合图像的索引存储之后，还包括：

S4、向地面传输所述压缩成像数据，以使地面对所述压缩成像数据进行恢复；优选的，所述向地面传输所述压缩成像数据，以使地面对所述压缩特征数据进行恢复包括：

S41、向地面传输所述压缩成像数据；

S42、地面对压缩成像数据特征进行图像还原和上采样得到目标区域图像；这里对目标区域进行还原，得到包含目标区域和感兴趣类型的区域，目标区域的细节、温度等特征得以保持，兴趣区域的主要特征可以被恢复，非感兴趣区域被舍掉，得到节约了存储量和人工解译工作量。

本发明在轨计算成像方法基于多源图像通过训练、检测、压缩进行在轨计算成像，该方法所需计算资源少且能达到较理想的成像效果，因此能够利用卫星上有限的计算资源对原始多源物理图像进行实时的线上处理，提高了数据利用时效性，能够在线满足计算成像需求且减轻了大数据对数据传输存储等造成的压力。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种在轨计算成像方法，其特征在于，包括：

在有地物类型标注的高光谱训练图像集上对高光谱特征字典模型进行学习，获得高光谱分类字典；

在轨查找待检测高光谱图像在所述高光谱分类字典中的地物类型，对待检测高光谱图像和红外图像进行异常目标检测和对多光谱图像进行视觉显著性检测，获得目标区域数据；

在轨生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储得到压缩成像数据。

2.根据权利要求1所述的在轨计算成像方法，其特征在于，所述在有地物类型标注的高光谱训练图像集上对高光谱特征字典进行学习，获得高光谱分类模型包括：

创建高光谱特征字典模型<D,Z>：

$<D,Z>=\arg \underset{D,Z}{\min }{\left|\right|X-\mathrm{DZ}\left|\right|}_F^2+{\mathrm{\&lambda;}}_1{\left|\right|Z\left|\right|}_p^p+{\mathrm{\&lambda;}}_2\underset{i,j}{\mathrm{\&Sigma;}}{\left|\right|z_i-z_j\left|\right|}_2^2{w}_{\mathrm{ij}}---\left(1\right);$

对所述高光谱特征字典模型进行初始化，也即设定所述正则化参数λ₁和λ₂，设置不同地物类型的高光谱训练图像的特征向量的并集为初始高光谱特征字典D⁽⁰⁾，对高光谱训练图像的表示系数设定初始值Z⁽⁰⁾＝([D⁽⁰⁾]^TD⁽⁰⁾)^-1[D⁽⁰⁾]^TX；

对D与Z采用公式(2)和公式(3)交替迭代进行更新直至达到分类需求，得到最后一次迭代所得的高光谱特征字典即高光谱分类字典：

${D_{\mathrm{ik}}}^{(t+1)}={D_{\mathrm{ik}}}^{\left(t\right)}\frac{{\left(X{\left[Z^{\left(t\right)}\right]}^T\right)}_{\mathrm{ik}}}{{\left(D^{\left(t\right)}{Z}^{\left(t\right)}{\left[Z^{\left(t\right)}\right]}^T\right)}_{\mathrm{ik}}}---\left(2\right);$

${Z_{\mathrm{jk}}}^{(t+1)}={Z_{\mathrm{jk}}}^{\left(t\right)}\frac{{({\left[D^{(t+1)}\right]}^{T}X+{\mathrm{\&lambda;}}_1{Z}^{\left(t\right)}W)}_{\mathrm{jk}}}{{(Z^{\left(t\right)}{\left[D^{(t+1)}\right]}^T{Z}^{\left(t\right)}+{\mathrm{\&lambda;}}_1{Z}^{\left(t\right)}S+{\mathrm{\&lambda;}}_2)}_{\mathrm{jk}}}---\left(3\right);$

其中，X表示所有的训练图像的特征向量集合，X的维数是M行N列，M表示高光谱训练图像的特征向量的维数，N为高光谱训练图像的个数，D表示高光谱特征字典；Z＝[z₁,z₂,…,z_N]，表示X在D下的表示系数，z_k表示第k个高光谱训练图像x_k在D下的表示系数，||·||_F表示Frobenius范数，λ₁和λ₂分别表示稀疏正则化系数和可分性正则化系数，W表示相似性权重矩阵，w_ij表示不同类型训练样本的相似权重；t表示迭代次数，S表示对角阵，所述对角线上的元素w_ik表示W的第i行第k列的值，Z_ik ^(t)表示Z^(t)在第i行第k列的值，[Z^(t)]^T表示矩阵Z^(t)的转置。

3.根据权利要求2所述的在轨计算成像方法，其特征在于，所述达到分类需求具体为：

迭代次数t达到迭代阈值；

或者，相邻两次迭代的均方误差小于均方差阈值。

4.根据权利要求1所述的在轨计算成像方法，其特征在于，所述在轨查找待检测高光谱图像在所述高光谱分类字典中的地物类型，对待检测高光谱图像和红外图像进行异常目标检测和对多光谱图像进行视觉显著性检测，获得目标区域数据包括：

计算待检测高光谱图像的每个像素在所述高光谱分类字典D中的表示系数，确定待检测高光谱图像的每个像素的地物类型；

确定待检测高光谱图像中满足公式(4)的像素为异常目标像素：

||T_p-μ_i||≥3σ_i              (4)；

获得异常目标像素组成的目标区域；

计算待检测多光谱图像的平均波段图像A，根据公式(5)在所述平均波段图像A上计算显著特征图像

$\stackrel{\&OverBar;}{X}=\mathrm{IDCT}\left(\mathrm{sign}\left(\mathrm{DCT}\left(A\right)\right)\right)---\left(5\right);$

根据公式(6)计算显著特征映射图像

对所述显著特征映射图像进行直方图统计，提取频数较少的像素组成的视觉显著目标区域；

将目标区域的掩码以多光谱图像为基准进行上采样，获得上采样后的目标区域的掩码和视觉显著目标区域的掩码的并组成的目标区域数据；

其中，i表示地物类型的索引，μ_i和σ_i分别表示第i种地物类型的温度的中位数和方差，p表示像素，T_p表示红外图像上像素p的温度；DCT(·)和IDCT(·)分别表示离散余弦变换和离散余弦逆变换；о表示Hadamard点乘运算符，g表示高斯核函数，*表示卷积运算。

5.根据权利要求1所述的在轨计算成像方法，其特征在于，所述在轨生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储得到压缩成像数据包括：

对多光谱图像以全色图像为基准进行上采样生成采样后的多光谱图像；

对所述采样后的多光谱图像执行PCA融合得到伪彩色图像；

对伪彩色图像执行HSV变换得到变换后的伪彩色图像；

对所述变换后的伪彩色图像进行V分量替换得到替换后的伪彩色图像；

对所述替换后的伪彩色图像执行HSV反变换得到目标区域数据对应的特征图像；

将目标区域数据全部保留，对目标区域进行索引存储，得到压缩成像数据。

6.根据权利要求1所述的在轨计算成像方法，其特征在于，在所述生成全色图像和多光谱图像的融合图像，对所述目标区域数据对应的所述融合图像进行索引存储之后，还包括：

向地面传输所述压缩成像数据，以使地面对所述压缩成像数据进行恢复。

7.根据权利要求6所述的在轨成像方法，其特征在于，所述向地面传输所述压缩成像数据，以使地面对所述压缩特征数据进行恢复包括：

向地面传输所述压缩成像数据；

地面对压缩成像数据特征进行图像还原和上采样得到目标区域图像。