CN112233197A - 一种航天器在轨图像的压缩编码方法 - Google Patents

Abstract

航天器在轨工作过程中，会拍摄大量图像来进行可视化遥测、导航规划和科学观测等，而器地通信带宽有限，需要器上具有很高的编码效率，同时，受资源限制，航天器上的编码端难以进行多路并行、大规模、高复杂度的运算，而地面重建后的图像用于人工观测和计算分析，以快速支持航天器的状态评估和任务规划，对重建精度和速度也具有很高的要求。本发明提出了一种航天器在轨图像的压缩编码方法，将深度学习和传统压缩编码方法相结合，克服了现有图像压缩编码方法的缺点，解决了航天器在轨图像高压缩比、低复杂度、高重建精度和高实时性的压缩编码问题，可用于航天器在轨图像的压缩编码。

Description

一种航天器在轨图像的压缩编码方法

技术领域

本发明属于航天器图像压缩编码技术领域，涉及一种航天器在轨图像的压缩编码方法。

背景技术

图像信息作为航天器在轨工作过程中所得信息的最直观表现，可以为可视化遥测、导航规划和科学观测等提供重要支撑，因此，其可靠获取至关重要。受通信带宽的限制，航天器拍摄的图像通常需要经过压缩编码后下传，且需要器上具有很高的编码效率，同时，受资源约束，航天器上的计算机难以进行多路并行、大规模、高复杂度的运算，需要编码算法简单、快速，此外，地面重建后的图像用于人工观测和计算分析，以快速支持航天器的状态评估和任务规划，因此对重建精度和实时性也具有很高的要求。综上，航天器在轨图像压缩编码方法需要具有高压缩比、低复杂度、高重建精度和高实时性的特点。

目前常用的航天器图像编码方法有JPEG、JPEG2000、MLOCO、ICER、CCSDS-IDC等。JPEG是一种常见的有损压缩标准，我国的嫦娥系列多个探测器的小相机图像使用JPEG进行压缩，该方法的复杂度低，能够实时重建图像，通常可以达到8:1的压缩比，继续提高压缩比将会产生比较明显的块状效应，严重降低图像质量。JPEG2000基于离散小波变换，可以实现无损和有损压缩，具有渐进传输和感兴趣区域压缩的特点，重建图像质量高于JPEG。MLOCO和ICER均在美国的勇气号火星车任务中成功应用，MLOCO用于图像的无损压缩，压缩比约为2～3:1，ICER用于图像的有损压缩，通过简化编码器来降低算法复杂度，具有渐进式编码和传输的能力，重建图像质量接近JPEG2000，在保证图像具有较好的重建质量的前提下，ICER可以达到12:1的压缩比。CCSDS-IDC是用于星载图像***的压缩编码方法，基于离散小波变换，压缩质量接近JPEG2000，但硬件实现的复杂度远低于JPEG2000。

目前常用的航天器在轨图像编码方法主要存在以下缺陷：

无法实现高压缩比的图像编码。在保证重建质量的前提下，现有的压缩编码方法通常可以实现8:1和12:1的压缩，继续提高压缩比将会造成图像质量的严重降低。对于我国嫦娥三号、嫦娥四号拍摄的月面图像，现有算法中，JPEG的压缩极限约64:1，其它压缩方法的压缩极限约150:1，无法实现更高的压缩比。而随着航天器的飞行距离越来越远，通信带宽会越来越窄，且航天任务越来越复杂也使得其配置的相机越来越多，现有可实现的压缩比难以满足应用需求。

难以满足实时重建的要求。在美国勇气号火星车的探测任务中，为了在极窄的地火通信带宽的条件下，更有效的进行图像传输，ICER算法采用了渐进式编码的策略，先传输图像的缩略图作为预览，有必要时再回传整幅图像，但这本质上是通过延长传输时间的方法来适应带宽的限制，难以满足实时性的需求。

发明内容

本发明的目的是克服已有方法的不足，为解决航天器在轨图像高压缩比、低复杂度、高重建精度和高实时性的压缩编码问题，提供了一种图像压缩编码的方法。

本发明方法是通过下述技术方案实现的：一种航天器在轨图像的压缩编码方法，步骤如下：

1)对相机产生的原始图像进行bicubic下采样，根据重建后图像的使用场景，选择下采样倍率；

选择下采样倍率的具体过程为：如果图像应用于精确计算，则使用2倍下采样；如果图像应用于导航规划，则使用3倍下采样；如果图像应用于人工精细判读，则使用4倍下采样；如果图像应用于人工粗略判读，则使用8倍下采样。

2)对下采样后的图像进行JPEG2000压缩，根据重建后图像的使用场景，选择压缩比；经JPEG2000压缩后的图像下传至地面；

选择压缩比的具体过程为：如果图像应用于精确计算，采用2:1～4:1压缩；如果图像应用于导航规划，采用4:1～8:1压缩；如果图像应用于人工判读，在采用8:1及以上压缩比进行压缩。

3)地面对接收到的图像进行JPEG2000解压缩；

4)对JPEG解压缩后的图像进行超分辨率重建，重建采用训练后的融合导流网络模型。

所述步骤4)的具体步骤如下：4.1)使用初始特征提取块提取低分辨率图像的初级特征；

所述初始特征提取块由2个卷积层和1个局部融合层组成；使用密集连接，先将低分辨率图像和第一个卷积层的结果连接在一起，送入第二个卷积层，然后将低分辨率图像、第一个卷积层结果和第二个卷积层结果进行局部融合得到输出；上述过程用公式表述如下：

IF＝α(C_LF([I,α(C(I)),α(C(I,α(C(I))]))])),

其中，IF代表初始特征提取块的输出，α代表激活函数，C代表卷积运算，C_LF为局部融合，I代表输入的低分辨率图像；

4.2)使用导流融合块进一步提取特征并将所获取的特征进行局部融合；

每个导流融合块包含1个导流层、3个卷积层和1个局部融合层；初级特征进入第一个导流融合块后，先由导流层切分成D_1,1、D_1,2……D_1,n+1共n+1个特征簇，其中D_1,1和D_1,2在本块中使用，其余n-1个特征簇分别送入后续的n-1个导流融合块中；D_1,1进入卷积层进行特征提取，经过3个卷积层后得到的输出，与D_1,2连接在一起经过局部融合后作为导流融合块的输出；每一个导流融合块重复上述流程，则表述如下：

其中，DF_i代表第i个导流融合块的输出，i＝1,2,……n，D_1,i+1为第1个导流融合块切分的第i+1个特征簇，D_2,i为第2个导流融合块切分的第i个特征簇，D_3,i-1为第2个导流融合块切分的第i个特征簇，D_i,2为第i个导流融合块切分的第2个特征簇，

为第i个导流融合块的3个卷积层，分别具体表述如下：

4.3)使用全局融合及重建块将特征进行全局融合并重建最终的高分辨率图像；

全局融合及重建块由1个全局融合层、1个卷积层和1个反卷积层组成；初始特征提取块提取的初级特征和各个融合导流块提取的特征进入全局融合层进行整合，然后通过卷积层重建特征，并由反卷积层获得残差图；具体表述如下：

GFR＝α(De(α(C(α(C_GF([IF,DF₁,DF₂,…,DF_N])))))),

其中，GFR代表全局融合及重建块的输出，De代表反卷积运算，C_GF代表全局融合；

4.4)将低分辨率图像进行bicubic插值；

具体表述如下：

B_i＝B(I)

其中，B_i代表bicubic插值后的低分辨率图像，B代表bicubic插值运算；

4.5)将残差图与bicubic插值后的低分辨率图像相加，得到高分辨率的图像；

即：HR＝GFR+B_i，其中，HR为高分辨率图像。

本方法的有益效果如下：

(1)现有方法使用直接编码的方式进行压缩，难以实现高压缩比。本方法使用bicubic下采样结合JPEG2000进行压缩，可以实现1024:1及更高的压缩比，比现有算法提升6倍以上，解决了航天器在轨图像高压缩比编码问题；

(2)现有方法使用直接编码的方式进行压缩，在压缩比变大时，易产生方块效应和压缩伪影，影响压缩后图像质量。本方法使用bicubic下采样结合JPEG2000进行压缩，在相同压缩比下，不会产生方块效应和压缩伪影，压缩后图像质量高于现有算法；；

(3)现有方法采用渐进传输的策略来改善压缩比不足的缺点，影响了航天器在轨任务执行的效率。本方法采用融合导流网络进行重建，不需要渐进传输，一次重建即可得到高分辨率图像，且重建速度快，满足航天器在轨图像压缩编码及重建的实时性要求。

附图说明

图1：航天器在轨图像压缩编码方法的流程图。

图2：融合导流网络的网络结构图。

图3：导流融合块示意图。

具体实施方式

下面结合图1-3，对本发明进行详细描述。

一种航天器在轨图像的压缩编码方法，步骤如下：

1)对相机产生的原始图像进行bicubic下采样，根据重建后图像的使用场景，选择下采样倍率；

选择下采样倍率的具体过程为：如果图像应用于精确计算，则使用2倍下采样；如果图像应用于导航规划，则使用3倍下采样；如果图像应用于人工精细判读，则使用4倍下采样；如果图像应用于人工粗略判读，则使用8倍下采样。

2)对下采样后的图像进行JPEG2000压缩，根据重建后图像的使用场景，选择压缩比；经JPEG2000压缩后的图像下传至地面；

选择压缩比的具体过程为：如果图像应用于精确计算，采用2:1～4:1压缩；如果图像应用于导航规划，采用4:1～8:1压缩；如果图像应用于人工判读，在采用8:1及以上压缩比进行压缩。

3)地面对接收到的图像进行JPEG2000解压缩；

4)对JPEG解压缩后的图像进行超分辨率重建，重建采用训练后的融合导流网络模型。

所述步骤4)的具体步骤如下：4.1)使用初始特征提取块提取低分辨率图像的初级特征；

所述初始特征提取块由2个卷积层和1个局部融合层组成；使用密集连接，先将低分辨率图像和第一个卷积层的结果连接在一起，送入第二个卷积层，然后将低分辨率图像、第一个卷积层结果和第二个卷积层结果进行局部融合得到输出；上述过程用公式表述如下：

IF＝α(C_LF([I,α(C(I)),α(C([I,α(C(I))]))])),

其中，IF代表初始特征提取块的输出，α代表激活函数，C代表卷积运算，C_LF为局部融合，I代表输入的低分辨率图像；

4.2)使用导流融合块进一步提取特征并将所获取的特征进行局部融合；

每个导流融合块包含1个导流层、3个卷积层和1个局部融合层；初级特征进入第一个导流融合块后，先由导流层切分成D_1,1、D_1,2……D_1,n+1共n+1个特征簇，其中D_1,1和D_1,2在本块中使用，其余n-1个特征簇分别送入后续的n-1个导流融合块中；D_1,1进入卷积层进行特征提取，经过3个卷积层后得到的输出，与D_1,2连接在一起经过局部融合后作为导流融合块的输出；每一个导流融合块重复上述流程，则表述如下：

其中，DF_i代表第i个导流融合块的输出，i＝1,2,……n，D_1,i+1为第1个导流融合块切分的第i+1个特征簇，D_2,i为第2个导流融合块切分的第i个特征簇，D_3,i-1为第2个导流融合块切分的第i个特征簇，D_i,2为第i个导流融合块切分的第2个特征簇，

为第i个导流融合块的3个卷积层，分别具体表述如下：

4.3)使用全局融合及重建块将特征进行全局融合并重建最终的高分辨率图像；

全局融合及重建块由1个全局融合层、1个卷积层和1个反卷积层组成；初始特征提取块提取的初级特征和各个融合导流块提取的特征进入全局融合层进行整合，然后通过卷积层重建特征，并由反卷积层获得残差图；具体表述如下：

GFR＝α(De(α(C(α(C_GF([IF,DF₁,DF₂,…,DF_N])))))),

其中，GFR代表全局融合及重建块的输出，De代表反卷积运算，C_GF代表全局融合；

4.4)将低分辨率图像进行bicubic插值；

具体表述如下：

B_i＝B(I)

其中，B_i代表bicubic插值后的低分辨率图像，B代表bicubic插值运算；

4.5)将残差图与bicubic插值后的低分辨率图像相加，得到高分辨率的图像；

即：HR＝GFR+B_i，其中，HR为高分辨率图像。

实施例

以嫦娥五号采样过程监视相机拍摄的月球表面图像的压缩编码为例，对本发明进一步说明：

第一步，对原始图像进行bicubic下采样，采样倍率为3，原始图像的像元分辨率为2352×1728，下采样后像元分辨率为783×576。

第二步，对下采样后的图像进行JPEG2000压缩，压缩比为4:1，图像的像元分辨率为783×576。探测器端的压缩编码完成，压缩比为36:1，将压缩后的图像下传地面。

第三步，地面对压缩编码后的图像进行JPEG2000解压缩，图像的像元分辨率为783×576。

第四步，使用融合导流网络对解压缩后的图像进行超分辨率重建，重建后图像的像元分辨率为2352×1728。融合导流网络的具体介绍如下：

a)网络结构

融合导流网络由三部分组成：1个初始特征提取块(IFBlock)，5个导流融合块(DFBlock)和1个全局融合及重建块(GFRBlock)，网络结构如图2所示，导流融合块的具体结构如图3所示。

b)网络设置

融合导流网络的具体设置如下：18个卷积层使用3×3的滤波器，6个局部融合层和1个全局融合层使用1×1的滤波器。每个DFBlock中包括的3个卷积层的通道数分别为48、48和64。缩放尺度×2、×3、×4和×8所对应的反卷积层的滤波器大小分别为2×2、3×3、4×4和8×8。激活函数使用LeakyReLU，negative slope设置为0.025。权重初始化方式为Xavier。各个块的融合层通道数和DFBlock的特征簇划分见下表。

表1网络的融合层通道和特征簇设置

c)训练设置

对融合导流网络进行训练，得到超分重建的网络模型。训练分为初始训练和精调两个阶段，对于不同的缩放尺度，输入图像的情况见表2。

使用Adam来进行网络优化，联合使用L1和L2作为loss函数，在初始训练时使用L1loss，精调时使用L2 loss。在初始训练阶段学习率为10^-4，精调阶段为10^-5。Batchsize和weight decay分别为64和10^-4。

表2训练的图像块设置情况

缩放尺度	初始训练	精调
			×2	30×30	60×60
×3	30×30	50×50
			×4	30×30	40×40
×8	15×15	30×30

d)超分重建

将JPEG2000解压缩后的图像作为输入图像送入训练得到的网络模型，网络输出图像即为最终的解码图像。

Claims (10)

1.一种航天器在轨图像的压缩编码方法，其特征在于步骤如下：

1)对相机产生的原始图像进行bicubic下采样，根据重建后图像的使用场景，选择下采样倍率；

2)对下采样后的图像进行JPEG2000压缩，根据重建后图像的使用场景，选择压缩比，经JPEG2000压缩后的图像下传至地面；

3)地面对接收到的图像进行JPEG2000解压缩；

4)对JPEG解压缩后的图像进行超分辨率重建，重建采用训练后的融合导流网络模型。

2.根据权利要求1所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤1)中选择下采样倍率的具体过程为：如果图像应用于精确计算，则使用2倍下采样；如果图像应用于导航规划，则使用3倍下采样；如果图像应用于人工精细判读，则使用4倍下采样；如果图像应用于人工粗略判读，则使用8倍下采样。

3.根据权利要求1所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤2)中选择压缩比的具体过程为：如果图像应用于精确计算，采用2:1～4:1压缩；如果图像应用于导航规划，采用4:1～8:1压缩；如果图像应用于人工判读，在采用8:1及以上压缩比进行压缩。

4.根据权利要求1所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤4)的具体过程为：

4.1)使用初始特征提取块提取低分辨率图像的初级特征；

4.2)使用导流融合块进一步提取特征并将所获取的特征进行局部融合；

4.3)使用全局融合及重建块将特征进行全局融合并重建最终的高分辨率图像；

4.4)将低分辨率图像进行bicubic插值；

4.5)将残差图与bicubic插值后的低分辨率图像相加，得到高分辨率的图像。

5.根据权利要求4所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤4.1)的具体过程为：所述初始特征提取块由2个卷积层和1个局部融合层组成；使用密集连接，先将低分辨率图像和第一个卷积层的结果连接在一起，送入第二个卷积层，然后将低分辨率图像、第一个卷积层结果和第二个卷积层结果进行局部融合得到输出；上述过程用公式表述如下：

IF＝α(C_LF([I,α(C(I)),α(C([I,α(C(I))]))])),

其中，IF代表初始特征提取块的输出，α代表激活函数，C代表卷积运算，C_LF为局部融合，I代表输入的低分辨率图像。

6.根据权利要求5所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤4.2)的具体过程为：每个导流融合块包含1个导流层、3个卷积层和1个局部融合层；初级特征进入第一个导流融合块后，先由导流层切分成D_1,1、D_1,2……D_1,n+1共n+1个特征簇，其中D_1,1和D_1,2在本块中使用，其余n-1个特征簇分别送入后续的n-1个导流融合块中；D_1,1进入卷积层进行特征提取，经过3个卷积层后得到的输出，与D_1,2连接在一起经过局部融合后作为导流融合块的输出；每一个导流融合块重复上述流程，则表述如下：

其中，DF_i代表第i个导流融合块的输出，i＝1,2,……n，D_1,i+1为第1个导流融合块切分的第i+1个特征簇，D_2,i为第2个导流融合块切分的第i个特征簇，D_3,i-1为第2个导流融合块切分的第i个特征簇，D_i,2为第i个导流融合块切分的第2个特征簇，

为第i个导流融合块的3个卷积层。

7.根据权利要求6所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述

分别具体表述如下：

8.根据权利要求7所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤4.3)的具体过程为：全局融合及重建块由1个全局融合层、1个卷积层和1个反卷积层组成；初始特征提取块提取的初级特征和各个融合导流块提取的特征进入全局融合层进行整合，然后通过卷积层重建特征，并由反卷积层获得残差图；具体表述如下：

GFR＝α(De(α(C(α(C_GF([IF,DF₁,DF₂,…,DF_N])))))),

其中，GFR代表全局融合及重建块的输出，De代表反卷积运算，C_GF代表全局融合。

9.根据权利要求8所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤4.4)的具体表述如下：

B_i＝B(I)

其中，B_i代表bicubic插值后的低分辨率图像，B代表bicubic插值运算。

10.根据权利要求9所述的一种航天器在轨图像的压缩编码方法，其特征在于：所述步骤4.5)的具体过程为：将残差图与bicubic插值后的低分辨率图像相加，得到高分辨率的图像，即HR＝GFR+B_i，其中，HR为高分辨率图像。

Images