CN104574332A - 一种机载光电吊舱用图像融合方法 - Google Patents

Abstract

一种机载光电吊舱用图像融合方法，包括：(1)将可见光成像***的光轴与红外成像***的光轴调整为平行状态；(2)以可见光成像***的焦距为基准进行联动变焦计算，得到红外成像***的相应焦距值，(3)通过可见光成像***的焦距值与红外成像***的焦距值计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补偿；(4)将图像配准之后的可见光成像***的图像与红外成像***的图像进行图像融合。本发明将吊舱内可见光成像***与红外成像***关联起来，将目标的红外图像特征与可见光图像特征融合于一路图像视频中输出。最大程度满足了光电吊舱对全天候昼夜侦察的需求。

Description

一种机载光电吊舱用图像融合方法

技术领域

本发明涉及一种机载光电吊舱用图像融合方法，可以实现连续变焦红外、可见光图像的实时图像融合输出，从而在一路视频中同时获取目标的红外、可见光两种特征信息。

背景技术

光电吊舱在工作过程中通过一路视频测控链路将视频信息传送给地面操作人员，操作人员根据视频信息进行不同操作，实现目标搜索、跟踪、定位等操作。多载荷光电吊舱通常装备了红外、可见光成像***，但是测控链路在同一时间只能传输单路视频给操作人员，如果需要观测另外一路视频，则需要执行视频切换指令，这给具体应用带来很大不便。首先，单路视频信息有限，导致目标识别准确率下降，同时，切换过程中容易造成目标丢失，需要重新人工搜索目标，影响工作效率。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种机载光电吊舱用图像融合方法，将吊舱内可见光成像***与红外成像***关联起来，将目标的红外图像特征与可见光图像特征融合于一路图像视频中输出。最大程度满足了光电吊舱对全天候昼夜侦察的需求。

本发明的技术解决方案为：

一种机载光电吊舱用图像融合方法，所述机载光电吊舱中安装有可见光成像***与红外成像***，所述图像融合方法步骤如下：

(1)光轴标校：将可见光成像***的光轴与红外成像***的光轴调整为平行状态；

(2)以可见光成像***的焦距为基准进行联动变焦计算，得到红外成像***的相应焦距值，令可见光成像***与红外成像***联动，得到可见光成像***与红外成像***各自的图像；

(3)图像配准：通过可见光成像***的焦距值与红外成像***的焦距值计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补偿；

(4)将图像配准之后的可见光成像***的图像与红外成像***的图像进行图像融合。

所述步骤(1)将可见光成像***的光轴与红外成像***的光轴调整为平行状态，具体通过如下步骤进行：

(2.1)寻取500m～3000m范围内的矩形边界的目标作为标定目标，所述标定目标的边界均匀；

(2.2)将可见光成像***中的可见光十字靶标对准所述标定目标的直角边界，作为标定基准；

(2.3)切换至红外成像***，读取红外成像***中的红外十字靶标的偏移量，所述红外十字靶标的坐标偏移量是指：红外十字靶标靶心与目标纵向边界之间的偏移像素值X和红外十字靶标靶心与目标横向边界之间偏移像素值Y；

(2.4)根据步骤(2.3)得到的偏移像素值计算红外成像***与可见光成像***之间的偏移角度值C；

(2.5)通过公式V＝tanC·H计算调整所述偏移角度值C所需添加的调整垫片的厚度V，其中，H是相机结构在安装板上的两个安装孔之间的距离；

(2.6)根据步骤(2.5)中计算得到的调整垫片的厚度V为红外成像***添加调整垫片，调整红外成像***的光轴角度，使得可见光成像***的光轴与红外成像***的光轴平行。

所述步骤(2)以可见光成像***的焦距为基准进行联动变焦计算，得到红外成像***的相应焦距值，通过如下方式实现：

$\mathrm{VF}=\frac{({\mathrm{VF}}_{\max }-{\mathrm{VF}}_{\min })(\mathrm{IF}-{\mathrm{IF}}_{\min })}{{\mathrm{IF}}_{\max }-{\mathrm{IF}}_{\min }}+{\mathrm{VF}}_{\min };$

其中VF为红外成像***的相应焦距值，IF为可见光成像***的焦距值，VF_max为红外成像***的最大焦距值，VF_min为红外成像***的最小焦距值，IF_max为可见光成像***的最大焦距值，VF_min为可见光成像***的最小焦距值。

所述步骤(3)进行图像配准具体通过如下步骤进行：

(4.1)读取可见光成像***焦距值f′_可；

(4.2)读取红外成像***焦距值f′_红；

(4.3)根据(4.1)中得到的可见光成像***焦距值f′_可与(4.2)中得到的红外成像***焦距值f′_红，并通过公式和分别计算可见光成像***在可见光图像传感器上的投影像高y′_可与红外成像***在红外图像传感器上的投影像高y′_红；

则红外成像***与可见光成像***成像尺寸比例G为：

r_可为可知可见光图像传感器像元尺寸，r_红为红外图像传感器像元尺寸；

(4.4)以可见光图像为基准对红外图像进行G倍的图像缩放；

(4.5)通过可见光成像***的焦距所处焦距段位置计算偏移像素个数；

(4.6)根据(4.5)计算得到的图像所需偏移像素个数对红外成像***的图像进行平移补偿。

所述步骤(4.5)通过可见光成像***的焦距所处焦距段位置计算偏移像素个数具体为：

(5.1)将可见光成像***的焦距范围均分为10个焦距段；

(5.2)在10个焦距段分隔点处采集可见光成像***与红外成像***间相对光轴偏移量，将采集的偏移量数值及其对应的焦距值，绘制在纵坐标为焦距值，横坐标为偏移量的坐标系内，在两个相隔采集点间用线性方式做近似拟合，得到焦距-偏移量二维坐标系；

(5.3)根据(5.2)焦距-偏移量二维坐标系计算偏移像素个数。

本发明与现有技术相比的优点在于：

相比于目前现有各种类多装载光电吊舱只能输出单一某一路选定视频图像信息，存在目标特征显示不完全，目标伪装识别能力差的不足。本发明图像融合方法在光电吊舱内的应用，可以将可见光红外双路成像***联动，将双路视频图像特征实时融合为一路视频输出。大大增强了对目标特征识别及目标伪装识别的能力。为实现光电吊舱全天候昼夜侦查提供了必不可少的坚实基础。

附图说明

图1为本发明的方法流程图；

图2为本发明光轴标校流程图；

图3为本发明图像配准流程图；

图4为光轴标校选取目标示意图；

图5为光轴标校偏移量读取示意图。

具体实施方式

本发明提供了一种机载光电吊舱用图像融合方法，机载光电吊舱中安装有可见光成像***与红外成像***。本发明的原理是：对可见光成像***、红外成像***分别在变焦过程中的光轴一致性进行标校，使其满足变焦光轴一致性要求。利用光轴平行度标校***对可见光成像***和红外成像***进行光轴高精度光轴平行度标校，使其满足平行度要求。通过计算，将红外成像***与可见光成像***相关联，由计算机控制芯片控制两个成像***的变焦***同步联动。两光学***焦距范围不同产生不同变倍区间，采用数字图像变倍方式补偿。光轴平行度误差、变焦过程光轴一致性误差，采用图像平移方式进行补偿。从而实现可见光与红外两路光学成像***的融合。

如图1所示，本发明图相融合方法的步骤如下：

(1)光轴标校：将可见光成像***的光轴与红外成像***的光轴调整为平行状态；

如图2所示，具体通过如下步骤进行：

(1.1)如图4所示，寻取500m～3000m范围内的矩形边界的目标作为标定目标，所述标定目标的边界均匀；

(1.2)如图5所示，将可见光成像***中的可见光十字靶标对准所述标定目标的直角边界，作为标定基准；

(1.3)切换至红外成像***，读取红外成像***中的红外十字靶标的偏移量，所述红外十字靶标的偏移量是指：红外十字靶标靶心与目标横纵两个边界之间的偏移像素值，其中横向偏移量为X，纵向偏移量为Y；

(1.4)根据步骤(1.3)得到的偏移像素值计算红外成像***与可见光成像***之间的偏移角度值C；

(1.5)通过公式V＝tanC·H分别计算横纵两个方向调整所述偏移角度值C所需添加的调整垫片的厚度V，其中，H是相机结构在安装板上的两个安装孔之间的距离；本发明中相机结构需要固定在吊舱中的安装板上，且安装孔有两个，均在安装板上。

(1.6)根据步骤(1.5)中计算得到的调整垫片的厚度V为红外成像***添加调整垫片的厚度，分别调整红外成像***横纵两个方向的光轴角度，使得可见光成像***的光轴与红外成像***的光轴平行。

(2)以可见光成像***的焦距为基准进行联动变焦计算，得到红外成像***的相应焦距值，令可见光成像***与红外成像***联动，得到可见光成像***与红外成像***各自的图像；

通过如下方式实现：

$\mathrm{VF}=\frac{({\mathrm{VF}}_{\max }-{\mathrm{VF}}_{\min })(\mathrm{IF}-{\mathrm{IF}}_{\min })}{{\mathrm{IF}}_{\max }-{\mathrm{IF}}_{\min }}+{\mathrm{VF}}_{\min }$

其中VF为红外成像***的相应焦距值，IF为可见光成像***的焦距值，VF_max为红外成像***的最大焦距值，VF_min为红外成像***的最小焦距值，IF_max为可见光成像***的最大焦距值，VF_min为可见光成像***的最小焦距值。

(3)图像配准：通过可见光成像***的焦距值与红外成像***的焦距值计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补偿；

如图3所示，具体通过如下步骤进行：

(3.1)读取可见光成像***焦距值f′_可；

(3.2)读取红外成像***焦距值f′_红；

(3.3)根据(3.1)中得到的可见光成像***焦距值f′_可与(3.2)中得到的红外成像***焦距值f′_红，并通过公式和分别计算可见光成像***在可见光图像传感器上的投影像高y′_可与红外成像***在红外图像传感器上的投影像高y′_红；

则红外成像***与可见光成像***成像尺寸比例G为：

可见光图像传感器像元尺寸为r_可，红外图像传感器像元尺寸为r_红；

(3.4)以可见光图像为基准对红外图像进行G倍的图像缩放；

(3.5)通过可见光成像***的焦距所处焦距段位置计算偏移像素个数；

具体为：

(a)将可见光成像***的焦距范围均分为10个焦距段；

(b)在10个焦距段分隔点处采集可见光成像***与红外成像***间相对光轴偏移量，将采集的偏移量数值及其对应的焦距值，绘制在纵坐标为焦距值，横坐标为偏移量的坐标系内，在两个相隔采集点间用线性方式做近似拟合，得到焦距-偏移量二维坐标系；

(c)根据(b)焦距-偏移量二维坐标系计算偏移像素个数；

(3.6)根据(3.5)计算得到的图像所需偏移像素个数对红外成像***的图像进行平移补偿。

(4)将图像配准之后的可见光成像***的图像与红外成像***的图像进行图像融合。

Claims (5)

1.一种机载光电吊舱用图像融合方法，其特征在于：所述机载光电吊舱中安装有可见光成像***与红外成像***，所述图像融合方法步骤如下：

(1)光轴标校：将可见光成像***的光轴与红外成像***的光轴调整为平行状态；

(2)以可见光成像***的焦距为基准进行联动变焦计算，得到红外成像***的相应焦距值，令可见光成像***与红外成像***联动，得到可见光成像***与红外成像***各自的图像；

(3)图像配准：通过可见光成像***的焦距值与红外成像***的焦距值计算各自的光学放大倍数并进行图像缩放，通过焦距所处焦距段位置计算偏移角度值并进行图像平移补偿；

(4)将图像配准之后的可见光成像***的图像与红外成像***的图像进行图像融合。

2.根据权利要求1所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤(1)将可见光成像***的光轴与红外成像***的光轴调整为平行状态，具体通过如下步骤进行：

(2.1)寻取500m～3000m范围内的矩形边界的目标作为标定目标，所述标定目标的边界均匀；

(2.2)将可见光成像***中的可见光十字靶标对准所述标定目标的直角边界，作为标定基准；

(2.3)切换至红外成像***，读取红外成像***中的红外十字靶标的偏移量，所述红外十字靶标的坐标偏移量是指：红外十字靶标靶心与目标纵向边界之间的偏移像素值X和红外十字靶标靶心与目标横向边界之间偏移像素值Y；

(2.4)根据步骤(2.3)得到的偏移像素值计算红外成像***与可见光成像***之间的偏移角度值C；

(2.5)通过公式V＝tanC·H计算调整所述偏移角度值C所需添加的调整垫片的厚度V，其中，H是相机结构在安装板上的两个安装孔之间的距离；

(2.6)根据步骤(2.5)中计算得到的调整垫片的厚度V为红外成像***添加调整垫片，调整红外成像***的光轴角度，使得可见光成像***的光轴与红外成像***的光轴平行。

3.根据权利要求1所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤(2)以可见光成像***的焦距为基准进行联动变焦计算，得到红外成像***的相应焦距值，通过如下方式实现：

$\mathrm{VF}=\frac{({\mathrm{VF}}_{\max }-{\mathrm{VF}}_{\min })(\mathrm{IF}-{\mathrm{IF}}_{\min })}{{\mathrm{IF}}_{\max }-{\mathrm{IF}}_{\min }}+{\mathrm{VF}}_{\min };$

其中VF为红外成像***的相应焦距值，IF为可见光成像***的焦距值，VF_max为红外成像***的最大焦距值，VF_min为红外成像***的最小焦距值，IF_max为可见光成像***的最大焦距值，VF_min为可见光成像***的最小焦距值。

4.根据权利要求1所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤(3)进行图像配准具体通过如下步骤进行：

(4.1)读取可见光成像***焦距值f'_可；

(4.2)读取红外成像***焦距值f'_红；

(4.3)根据(4.1)中得到的可见光成像***焦距值f'_可与(4.2)中得到的红外成像***焦距值f'_红，并通过公式和分别计算可见光成像***在可见光图像传感器上的投影像高y'_可与红外成像***在红外图像传感器上的投影像高y'_红；

则红外成像***与可见光成像***成像尺寸比例G为：

r_可为可知可见光图像传感器像元尺寸，r_红为红外图像传感器像元尺寸；

(4.4)以可见光图像为基准对红外图像进行G倍的图像缩放；

(4.5)通过可见光成像***的焦距所处焦距段位置计算偏移像素个数；

(4.6)根据(4.5)计算得到的图像所需偏移像素个数对红外成像***的图像进行平移补偿。

5.根据权利要求4所述的一种光电吊舱用图相融合方法，其特征在于：所述步骤(4.5)通过可见光成像***的焦距所处焦距段位置计算偏移像素个数具体为：

(5.1)将可见光成像***的焦距范围均分为10个焦距段；

(5.2)在10个焦距段分隔点处采集可见光成像***与红外成像***间相对光轴偏移量，将采集的偏移量数值及其对应的焦距值，绘制在纵坐标为焦距值，横坐标为偏移量的坐标系内，在两个相隔采集点间用线性方式做近似拟合，得到焦距-偏移量二维坐标系；

(5.3)根据(5.2)焦距-偏移量二维坐标系计算偏移像素个数。