CN113315923B - 一种多增益高动态星载微光相机通道融合方法 - Google Patents

Abstract

本发明提供了一种多增益高动态星载微光相机通道融合方法，包括如下步骤：对不同增益对应通道的图像数据分别实施图像逐元地理定位；对不同增益对应通道分别实施图像数字量值至绝对辐射量的转换；对不同增益对应通道的有效动态范围内的绝对辐射量实施校正；按照步骤1结果对步骤3获取的校正后的绝对辐射量进行空间重采样，实现不同增益对应通道的绝对辐射量的几何配准；对几何配准后的绝对辐射量数据逐元进行大动态范围融合，获取微光相机高动态范围的可见光辐射量。本发明方法合理、计算简单、实施简易，可有效获取微光相机高动态范围的准确辐射量。

Description

一种多增益高动态星载微光相机通道融合方法

技术领域

本发明涉及遥感应用领域，具体地，涉及一种多增益高动态星载微光相机通道融合方法。

背景技术

微光成像是一种低照度条件下获取目标可见光谱段图像的一种技术。一般可见光谱段星载遥感载荷只能在白天成像，而微光相机在夜晚和白天均能成像，这就要求微光相机具有极高的动态范围，以美国JPSS卫星的相机VIIRS为例，其微光通道(也称白天/黑夜通道)动态范围覆盖3.0E-9Wcm^-2sr^-1～2.0E-2Wcm^-2sr^-1。受探测器及驱动电路的噪声、增益等因素影响，一个固定增益状态下的成像通道难以实现跨越极大的动态范围要求，通常需要采用双增益、三增益等多增益设置，将整个动态范围区间划分为几个易实现的小区间。

多增益高动态微光相机的不同增益状态的通道数据同时下传到地面应用***，需要对其进行融合处理，获取实际的高动态辐射信息。

文献1(张淑芳，采用主成分分析与梯度金字塔的高动态范围图像生成方法，西安交通大学学报，第52卷，第4期，2018)公开了一种采用主成分分析与梯度金字塔的高动态范围图像生成方法，此方法针对由多曝光低动态范围(LDR)图像融合生成高动态范围(HDR)图像对采集设备要求高且不适用于动态场景的问题,提出一种采用主成分分析(PCA)与梯度金字塔的HDR图像生成(HDR-PGG)方法。首先用改进的S曲线全局映射和Retinex局部色调映射对PCA变换后的亮度图像进行处理,以避免光晕和泛灰,并结合PCA逆变换获取多曝光LDR图像；其次利用多曝光LDR图像的对比度、饱和度、曝光度和亮度信息构造标量权重图,确保生成的HDR图像亮暗区域分明且细节清晰；最后,利用梯度金字塔生成HDR图像。实验结果表明,当视觉差异大于75％时,由HDR-PGG方法生成的HDR图像的平均像素分布概率比拉普拉斯金字塔和梯度金字塔算法降低了10.84％和30.75％,其平均相对嫡与噪声程度比值分别提高了0.5421和0.5089。此方法是针对多次曝光获取高动态范围的图像融合方法。

文献2(都琳，针对动态目标的高动态范围图像融合算法研究，光学学报，第37卷，第4期，2017)公开了一篇针对动态目标的高动态范围图像融合算法研究，高动态范围成像技术能够全面有效地反映拍摄场景信息,有利于在复杂环境下获得更高的成像质量。目前基于多曝光图像序列的高动态范围图像融合算法需要高精度配准的输入图像序列,无法克服动态问题带来的影响,无法针对存在动态目标的多曝光图像序列进行高动态范围图像融合。基于此,提出了一种高动态范围图像融合算法。该算法利用基于色彩梯度的微分光流法获得由相机抖动以及场景目标运动导致的多曝光图像之间的动态目标偏移量；结合标定的逆相机响应函数构建高动态范围图像融合权重函数,对存在动态问题影响的多曝光图像进行高动态范围图像融合。实验结果表明,提出的算法无需提前对输入图像序列进行精确配准,能够有效克服动态问题影响,实现动态目标的高动态范围图像融合。此方法是针对多次曝光获取高动态范围的图像融合方法。

文献3(李杰，机载激光测深雷达中大动态范围信号的多通道处理技术，光子学报，第47卷，第3期，2018)公开了一种机载激光测深雷达中大动态范围信号的多通道处理技术，为实现大动态范围信号的有效接收,设计了一种三路并行的信号处理架构,分别设置为低、中、高三种不同增益,以实现不同水深下不同幅度的回波信号处理。同时利用数据拼接方法以及一种基于五角函数和高斯函数组合的拟合算法综合处理三路数据并进行水深评估。基于Wa-LID回波仿真模型得到回波数据,验证多路并行处理架构的实用性。仿真结果表明,本文提出的多通道处理技术可测信号的动态范围达86.9dB,对应的最大测深为26m,测量偏差为1.6cm至4.7cm,标准差小于1.1cm.可有效应用于机载激光雷达测深***。此技术针对激光雷达低、中、高增益回波数据进行处理评估水深的方法，但不适用于多增益高动态微光相机的通道融合。

文献4(李立金，晨昏轨道微光相机成像策略研究及仿真验证，航天返回与遥感，第38卷，第5期，2017)公开了一篇关于晨昏轨道微光相机成像策略研究及仿真验证的文章，为满足晨昏轨道微光相机大动态范围成像要求,针对EMCCD器件,提出一种微光相机成像策略。该策略通过对积分时间及电子倍增数的设计及选取,制定若干成像档位,相机成像过程中,利用文章中提出的图像灰度最大值法实时计算结果决定档位动作,实现微光相机成像参数实时调整。通过地面仿真及在轨验证,该策略能够保证微光相机在大动态范围内获取高信噪比、高品质图像,具有良好的实时性、鲁棒性和有效性。此策略给出了对微光相机进行动态增益调整的方法，未涉及不同增益的数据融合方法。

因此，有必要设计一种能够对多增益高动态微光相机的不同增益状态数据进行融合的方法，实现多增益通道数据的合并输出，方便后续的应用处理。

发明内容

本发明的目的是提供一种多增益高动态星载微光相机通道融合方法。

根据本发明提供的一种多增益高动态星载微光相机通道融合方法，包括如下步骤：

步骤1：依据微光相机成像几何关系，对不同增益对应通道的图像数据分别实施图像逐元地理定位；

步骤2：依据绝对辐射定标方程，对不同增益对应通道分别实施图像数字量值至绝对辐射量的转换；

步骤3：对不同增益对应通道的有效动态范围内的绝对辐射量实施校正；

步骤4：按照步骤1中对不同增益对应通道的图像数据分别实施图像逐元地理定位的结果对校正后的绝对辐射量进行空间重采样，实现不同增益对应通道的绝对辐射量的几何配准；

步骤5：按照不同增益对应通道的有效动态范围，对几何配准后的绝对辐射量数据逐元进行大动态范围融合，获取微光相机高动态范围的可见光辐射量。

优选的，所述步骤1中，一个增益状态对应一个增益对应通道，对每个增益对应通道的图像数据中的每一像素，进行如下计算：

步骤1.1：依据像素对应的地心旋转坐标系下的视轴v、视轴起点p，计算视轴v与地球椭球模型的交点x_ellipsoid；

步骤1.2：依据交点x_ellipsoid、视轴v以及数字高程模型数据，迭代计算视轴v与实际地表的交点x_surface；

步骤1.3：利用Bowring公式，计算交点x_surface对应的大地测量坐标系下的纬度lat，经度lon。

优选的，所述步骤2中，一个增益状态对应一个增益对应通道，对每个增益对应通道的图像数据中的每一像素，进行如下计算：

若该像素的图像数字量值由微光相机的该通道第i探元采集得到，第i探元对应的绝对辐射定标方程为l＝f_i(s)，其中s为图像数字量值，l为入射辐亮度；

第i探元成像有效动态范围为L_i～M_i，其中L_i为最小可分辨的入射辐亮度，M_i最大可探测的入射辐亮度，计算得到第i探元对应像素的绝对辐射量l_i。

优选的，所述第i探元对应像素的绝对辐射量l_i计算方法为：

其中，L为微光相机的该通道所有N个探测器最小可探测的入射辐亮度为L_i的最大值，其中i＝1,2,3,…,N；M为微光相机的该通道所有N个探测器最大可探测的入射辐亮度为M_i的最小值，其中i＝1,2,3,…,N。

优选的，所述步骤3中，一个增益状态对应一个增益对应通道，对每个增益对应通道的有效动态范围内的绝对辐射量数据，进行如下校正：

l_i'＝l_i-d_i

其中l_i为校正前的辐射量，l_i'为校正后的辐射量，d_i为校正因子。

优选的，所述校正因子d_i计算方法为：

对微光相机的该通道所有N个探测器，分别统计其观测大量地物目标获取的有效动态范围内的绝对辐射量的平均值μ_i，校正因子d_i为：

优选的，所述步骤4中，将对应地表同一经度和同一纬度的绝对辐射量数据进行融合。

优选的，所述步骤4中，将对应地表同一经度和同一纬度的绝对辐射量数据采用如下方法进行融合：

若原始成像中存在位于设定阈值的几何畸变，采用新的采样网格消除畸变，将所有增益对应通道的图像数据的重采样统一到新的采样网格下；

若原始成像中不存在位于设定阈值的几何畸变，使用某一增益对应通道的地理定位结果，将其他增益对应通道的图像数据的重采样统一到该通道的采样网格中。

优选的，所述步骤5中，若微光相机具有高档、中档、低档三档增益对应通道：

对应步骤2中分别得到的高增益通道L的值为L_high、高增益通道M的值为M_high、中增益通道L的值为L_mid、中增益通道M值为M_mid、低增益通道L的值为L_low、低增益通道M值为M_low；

步骤4中得到的配准后的某一像素各通道辐射量分别为高增益通道l_high、中增益通道l_mid、低增益通道l_low，计算得到融合后的微光相机该像素对应的辐射量l_HDR。

优选的，所述融合后的微光相机该像素对应的辐射量l_HDR的计算方法为：

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供了一种多增益高动态星载微光相机通道融合方法，适用于采用多个固定增益对应通道获取高动态范围的微光相机；

2、本发明方法合理、计算简单、实施简易，可有效获取微光相机高动态范围的准确辐射量；

3、本发明能够对不同增益对应通道的数据进行融合。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的方法流程图；

图2为星载微光相机在高增益状态下的地面场景图像；

图3为星载微光相机在中增益状态下的地面场景图像；

图4为星载微光相机在低增益状态下的地面场景图像；

图5为星载微光相机不同增益状态的通道融合后的辐亮度图；

图6为对应图5中4行数据的辐亮度曲线图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供的一种多增益高动态星载微光相机通道融合方法，参照图1中的流程图，包括如下步骤：

步骤1：依据微光相机成像几何关系，对不同增益对应通道的图像数据分别实施图像逐元地理定位；

步骤2：依据绝对辐射定标方程，对不同增益对应通道分别实施图像数字量值至绝对辐射量的转换，数字量值即DN值；

步骤3：对不同增益对应通道的有效动态范围内的绝对辐射量实施校正；

步骤4：按照步骤1结果对步骤3获取的校正后的绝对辐射量进行空间重采样，实现不同增益对应通道的绝对辐射量的几何配准；

步骤5：按照不同增益对应通道的有效动态范围，对几何配准后的绝对辐射量数据逐元进行大动态范围融合，获取微光相机高动态范围的可见光辐射量。

采用多个固定增益对应通道获取高动态范围的微光相机，由于相机成像过程中卫星相对地球目标存在相对运动，不同增益设置的通道并非同时同空间成像，故而进行融合前首先需要对通道进行几何配准。考虑到星载微光相机受扫描方式、地球曲率等因素影响，可能存在一定几何畸变，几何配准采用基于地理定位的方法。依据微光相机成像几何关系，对不同增益对应通道的图像数据分别实施图像逐元地理定位。

一个增益状态对应一个增益对应通道，对每个增益对应通道的图像数据中的每一像素，进行如下计算：

步骤1.1：依据像素对应的地心旋转坐标系下的视轴v、视轴起点p，计算该视轴v与地球椭球模型的交点x_ellipsoid；

步骤1.2：依据交点x_ellipsoid、视轴v以及数字高程模型(DEM)数据，迭代计算视轴v与实际地表的交点x_surface；

步骤1.3：利用Bowring公式，计算交点x_surface对应的大地测量坐标系下的纬度lat，经度lon。

获取不同增益对应通道的图像数据对应的地理纬度与经度后，需要将不同增益对应通道的图像数据统一到同一空间网格下才能实现几何配准。这一过程涉及到对原始图像的重采样，而由于星载微光相机的探测仪各探元响应非一致性，导致原始图像中不同探元采样得到的数字量值(DN值)与绝对辐射量之间的转换有一定程度的区别，故而不能够对原始图像的数字量值直接进行重采样，需要首先将图像中的数字量值也统一到相同的尺度下。转化为绝对辐射量即可实现这一目的。

依据绝对辐射定标方程，对不同增益对应通道分别实施图像数字量值至绝对辐射量的转换。由于不同增益对应通道的数据均可能存在数据饱和或低于通道灵敏度，需要对每个通道的图像数据中每一像素，进行如下计算：

若该像素的图像数字量值(DN值)由微光相机的该通道第i探元采集得到，第i探元对应的绝对辐射定标方程为l＝f_i(s)(s为图像数字量值，l为入射辐亮度)，第i探元成像有效动态范围为L_i～M_i，(即最小可分辨的入射辐亮度为L_i，最大可探测的入射辐亮度为M_i)，则第i探元对应像素的绝对辐射量l_i计算方法为：

其中，L为微光相机的该通道所有N个探测器最小可探测的入射辐亮度为L_i(i＝1,2,3,…,N)的最大值；M为微光相机的该通道所有N个探测器最大可探测的入射辐亮度为M_i(i＝1,2,3,…,N)的最小值。

考虑到绝对辐射定标方程中所用系数在轨可能随时间发生一定程度的变化，故而还需要对不同增益对应通道的有效动态范围内数据实施校正。

对每个通道的有效动态范围内的绝对辐射量数据，其观测大量地物目标获取的有效动态范围内的绝对辐射量应符合相同的统计规律，故而进行如下校正。

l_i'＝l_i-d_i(公式2)

l_i为校正前的辐射量，l_i'为校正后的辐射量，校正因子d_i计算方法为：对微光相机的该通道所有N个探测器，分别统计其观测大量地物目标获取的有效动态范围内的绝对辐射量的平均值μ_i，校正因子d_i为：

对校正后的绝对辐射量进行空间重采样，可以实现多通道的几何配准。重采样的目的为实现多通道的几何配准，使得对应地表同一经度、纬度的数据可以进行融合。

若原始成像中存在位于设定阈值的几何畸变，明显的，可采用新的采样网格消除畸变，将所有通道的图像数据重采样统一到新的采样网格下；

若原始成像中不存在位于设定阈值的几何畸变，可使用某一通道的地理定位结果，将其他通道的图像数据重采样统一到该通道的采样网格中；

上述的设定阈值为可以明显看出几何畸变的阈值。

按照不同通道的有效动态范围，对几何配准后的辐射量数据逐元进行大动态范围融合，获取微光相机高动态范围的可见光辐射量。

实际的星载微光相机各增益下对应的动态区间均存在一定程度的动态范围重叠区域，确保动态范围完整。为充分利用多增益通道的有效数据，若微光相机具有高、中、低三档增益通道：

在绝对辐射量转换过程中分别得到的高增益通道L的值为L_high、高增益通道M的值为M_high、中增益通道L的值为L_mid、中增益通道M值为M_mid、低增益通道L的值为L_low、低增益通道M值为M_low；

步骤4中得到的配准后的某一像素各通道辐射量分别为高增益通道l_high、中增益通道l_mid、低增益通道l_low，融合后的微光相机该像素对应的辐射量l_HDR为：

不失一般性地，对于具有三档以外的多增益设置的微光相机，其大动态拼接方法也可参考实行。

下面结合某一星载微光相机数据说明本发明的实现过程，图2所示为该星载微光相机三档增益(高增益、中增益、低增益)下同时获取的地面场景图像(伪彩色显示)，由图中可以高增益通道在图像右侧大部分像元饱和，中增益通道在图像右侧小部分像元饱和。

执行步骤1～步骤5，得到的融合后的入射辐亮度图如图3所示，其中步骤4中对三个通道均重采样统一到新的采样网格下。受图像显示与人眼灵敏度限制，图3中动态范围低端的信息不能很好分辨，故随机选取图3中4行数据(第1行，第101行，第201行，第301行)，绘制曲线如图4所示。由图4可以看出，融合后的图像辐亮度分布跨越1E-7Wcm^-2sr^-1～1E-2Wcm^-2sr^-1。本发明方法有效获取了微光相机高动态范围的准确辐射量。

本发明方法合理、计算简单、实施简易，可有效获取微光相机高动态范围的准确辐射量。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种多增益高动态星载微光相机通道融合方法，其特征在于，包括如下步骤：

步骤1：依据微光相机成像几何关系，对不同增益对应通道的图像数据分别实施图像逐元地理定位；

步骤2：依据绝对辐射定标方程，对不同增益对应通道分别实施图像数字量值至绝对辐射量的转换；

步骤3：对不同增益对应通道的有效动态范围内的绝对辐射量实施校正；

步骤4：按照步骤1中对不同增益对应通道的图像数据分别实施图像逐元地理定位的结果对校正后的绝对辐射量进行空间重采样，实现不同增益对应通道的绝对辐射量的几何配准；

步骤5：按照不同增益对应通道的有效动态范围，对几何配准后的绝对辐射量数据逐元进行大动态范围融合，获取微光相机高动态范围的可见光辐射量；

所述步骤4中，将对应地表同一经度和同一纬度的绝对辐射量数据进行融合；

所述步骤4中，将对应地表同一经度和同一纬度的绝对辐射量数据采用如下方法进行融合：

若原始成像中存在位于设定阈值的几何畸变，采用新的采样网格消除畸变，将所有增益对应通道的图像数据的重采样统一到新的采样网格下；

若原始成像中不存在位于设定阈值的几何畸变，使用某一增益对应通道的地理定位结果，将其他增益对应通道的图像数据的重采样统一到该通道的采样网格中；

所述步骤5中，若微光相机具有高档、中档、低档三档增益对应通道：

对应步骤2中分别得到的高增益通道L的值为L_high、高增益通道M的值为M_high、中增益通道L的值为L_mid、中增益通道M值为M_mid、低增益通道L的值为L_low、低增益通道M值为M_low；

步骤4中得到的配准后的某一像素各通道辐射量分别为高增益通道l_high、中增益通道l_mid、低增益通道l_low，计算得到融合后的微光相机该像素对应的辐射量l_HDR。

2.根据权利要求1所述的多增益高动态星载微光相机通道融合方法，其特征在于，所述步骤1中，一个增益状态对应一个增益对应通道，对每个增益对应通道的图像数据中的每一像素，进行如下计算：

步骤1.1：依据像素对应的地心旋转坐标系下的视轴v、视轴起点p，计算视轴v与地球椭球模型的交点

步骤1.2：依据交点x_ellipsoid、视轴v以及数字高程模型数据，迭代计算视轴v与实际地表的交点x_surface；

步骤1.3：利用Bowring公式，计算交点x_surface对应的大地测量坐标系下的纬度lat，经度lon。

3.根据权利要求1所述的多增益高动态星载微光相机通道融合方法，其特征在于，所述步骤2中，一个增益状态对应一个增益对应通道，对每个增益对应通道的图像数据中的每一像素，进行如下计算：

若该像素的图像数字量值由微光相机的该通道第i探元采集得到，第i探元对应的绝对辐射定标方程为l＝f_i(s)，其中s为图像数字量值，l为入射辐亮度；

第i探元成像有效动态范围为L_i～M_i，其中L_i为最小可分辨的入射辐亮度，M_i最大可探测的入射辐亮度，计算得到第i探元对应像素的绝对辐射量l_i。

4.根据权利要求3所述的多增益高动态星载微光相机通道融合方法，其特征在于，所述第i探元对应像素的绝对辐射量l_i计算方法为：

其中，L为微光相机的该通道所有N个探测器最小可探测的入射辐亮度为L_i的最大值，其中i＝1,2,3,…,N；M为微光相机的该通道所有N个探测器最大可探测的入射辐亮度为M_i的最小值，其中i＝1,2,3,…,N。

5.根据权利要求1所述的多增益高动态星载微光相机通道融合方法，其特征在于,所述步骤3中，一个增益状态对应一个增益对应通道，对每个增益对应通道的有效动态范围内的绝对辐射量数据，进行如下校正：

l′_i＝l_i-d_i

其中l_i为校正前的辐射量，l′_i为校正后的辐射量，d_i为校正因子。

6.根据权利要求5所述的多增益高动态星载微光相机通道融合方法，其特征在于,所述校正因子d_i计算方法为：

对微光相机的该通道所有N个探测器，分别统计其观测大量地物目标获取的有效动态范围内的绝对辐射量的平均值μ_i，校正因子d_i为：

7.根据权利要求1所述的多增益高动态星载微光相机通道融合方法，其特征在于，所述融合后的微光相机该像素对应的辐射量l_HDR的计算方法为：

Images