CN110620885A - 一种红外微光图像融合***、方法及电子设备 - Google Patents

Abstract

本申请涉及一种红外微光图像融合***、方法及电子设备。包括：红外图像采集模块：用于采集红外图像；微光图像采集模块：用于采集微光图像；视频数据转换模块：用于通过多通道视频解码芯片将红外图像和微光图像由模拟信号解码转换为数字信号后，输出至FPGA处理模块；FPGA处理模块：用于通过FPGA芯片对红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；A/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。本申请通过红外微光图像采集器件和FPGA数据处理控制器件设计了红外和微光图像的采集和融合***，图像的融合速度会大大提高，且图像层次感更强，有利于对图像的观察和判断。

Description

一种红外微光图像融合***、方法及电子设备

技术领域

本申请属于数字图像处理技术领域，特别涉及一种红外微光图像融合***、方法及电子设备。

背景技术

红外图像是物体自身的辐射所产生的图像，可以“主动”地获取场景中的目标信息，并且能够很好地显示隐藏的热目标，受照明条件与恶劣天气的影响较小，但是同时由于成像原理的限制，红外图像对比度较低，空间相关性强，目标细节的反映能力也比较差，成像效果不符合人眼视觉习惯。由于可见光传感器所捕获的图像是物体的反射图像，所形成的图像含有丰富的细节信息，成像效果符合人眼观察习惯。微光图像属于可见光范畴，尤其是在低照度下其内容信息相对红外图像而言更加丰富，可以更好的描述环境的细节信息，但是受到环境与距离的限制，天气不好的时候成像噪声非常大，尤其是对于目标与背景色度差异较小的情况下，容易丢失目标。

将红外图像和微光图像进行融合可以极大的方便探测者对两种图像的信息获取，而且还能保持各自的优势。红外图像和微光图像融合能够有效利用它们各自的特征部分信息，加强对场景的理解能力，突显目标，有助于探测隐蔽伪装的目标，并可以提升夜间监测和夜间作战的能力。然而，由于红外图像和微光图像在成像机理上的差异，各自获取图像的环境、时间上都不一样，所成的图像在空间和时间上必然会存在一定的差异，导致图像在融合的时会存在较大的差异，目前的图像配准方法主要集中在软件实现上，其所耗费的时间较长，实时性较差。

申请号201710300515.7中公开了一种红外和夜视仪的光学图像融合***及方法。其***包括夜视仪，分束器包括位置相对的第一侧面和第二侧面，倾斜地设置在夜视仪光路的上游；目标物发出的长波红外光被第一侧面反射，反射光穿过第一光会聚器件；目标物的近红外光依次穿过第一侧面和第二侧面后进入夜视仪；所述反射光穿过第一光会聚器件后成像在光电探测器上；光电探测器输出的电信号送处理单元；处理单元将电信号转换为图像信号；显示器根据图像信号显示出对应目标物热成像的可见光图像；可见光图像经过第二光会聚器件的会聚后被所述第二侧面反射，反射光进入所述夜视仪。该方法是纯粹的光学***，并没有涉及到图像融合，入射光进行多次的反射会存在较大的损耗，对图像采集是会有较大的干扰。

申请号201710423679.9中公开了一种红外图像和低照度图像实时融合***，所述***包裹低照度光学镜组，红外光学镜组、同步调焦装置、低照度图像传感器、红外图像传感器、低照度图像传感器驱动模块、红外图像传感器驱动模块、图像传感器模拟前端、低照度图像处理器、图像同步采集模块、数字图像处理模块、图像显示控制模块、微显示器、显示器放大镜组、电源模块、处理器***电路、显示切换按键。该***采用的是同步调焦，和现有的软件算法进行图像配准和融合，配准和融合的效率不高，获得的融合图像实时性较差，输出延时较高。

发明内容

本申请提供了一种红外微光图像融合***、方法及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种红外微光图像融合***，包括：

红外图像采集模块：用于采集红外图像；

微光图像采集模块：用于采集微光图像；

视频数据转换模块：用于通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

FPGA处理模块：用于通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

A/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

本申请实施例采取的技术方案还包括：所述FPGA处理模块具体包括：

图像预处理单元：用于对所述红外图像和微光图像进行滤波处理；

图像配准单元：用于对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；

图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的红外图像和微光图像进行融合处理，并输出融合后的彩色图像。

本申请实施例采取的技术方案还包括：所述图像配准单元对红外图像和微光图像进行光学配准、图像剪切和图像缩放操作具体包括：

采用双通道的平行光轴***进行图像配准；假设红外镜头和微光镜头在水平方向和垂直方向上所能够接收的光线的仰角一致，据此计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域：

上述公式中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角；

剪切所述红外图像和微光图像中的非共有部分，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断；

当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，所述图像缩放包括数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元；所述数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。

本申请实施例采取的技术方案还包括：所述图像融合单元采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理具体为：通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法；通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取的图像分别进入对应的卷积器中进行卷积，卷积结果输入到除法器中，最后由归一化进程进行归一化处理，使得结果的区间在0到256之间，使得图像得到增强；之后再输入红外图像和微光图像进行图像融合，最后将融合结果分别映射到RGB三个通道中，得到融合后的彩色图像。

本申请实施例采取的技术方案还包括：

外部存储模块：包括图像处理过程中用于对实时图像进行缓存处理，并与FPGA芯片进行实时数据交互的存储芯片SDRAM芯片，以及用于存储FPGA配置信息的存储芯片FLASH芯片；

外部控制模块：用于通过按钮调节FPGA芯片的内部模式，控制输出不同模式信号。

本申请实施例采取的另一技术方案为：一种红外微光图像融合方法，包括以下步骤：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

本申请实施例采取的技术方案还包括：在所述步骤c中，所述通过FPGA芯片对红外图像和微光图像进行预处理、图像配准以及图像融合操作具体包括：

步骤c1：对所述红外图像和微光图像进行滤波处理；

步骤c2：对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；

步骤c3：图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的红外图像和微光图像进行融合处理，并输出融合后的彩色图像。

本申请实施例采取的技术方案还包括：在所述步骤c2中，所述对红外图像和微光图像进行光学配准、图像剪切和图像缩放操作具体包括：采用双通道的平行光轴***进行图像配准；假设红外镜头和微光镜头在水平方向和垂直方向上所能够接收的光线的仰角一致，据此计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域：

上述公式中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角；

剪切所述红外图像和微光图像中的非共有部分，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断；

当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，所述图像缩放包括数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元；所述数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。

本申请实施例采取的技术方案还包括：在所述步骤c3中，所述采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理具体为：通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法；通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取的图像分别进入对应的卷积器中进行卷积，卷积结果输入到除法器中，最后由归一化进程进行归一化处理，使得结果的区间在0到256之间，使得图像得到增强；之后再输入红外图像和微光图像进行图像融合，最后将融合结果分别映射到RGB三个通道中，得到融合后的彩色图像。

本申请实施例采取的又一技术方案为：一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的红外微光图像融合方法的以下操作：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的红外微光图像融合***、方法及电子设备通过红外微光图像采集器件和FPGA数据处理控制器件设计了红外和微光图像的采集和融合***，相对于现有技术，本申请至少具有以下优点：

1、在图像配准部分采用以平行光轴图像配准为主，以数字图像配准为辅的图像配准方式，进行数字图像配准的时只需要对图像进行剪切和缩放，可以极大程度的提高图像处理的速度，图像处理的实时性会有很大的提高；

2、图像融合部分采用FPGA来实现MIT的伪彩色图像融合算法，由于FPGA的运算并行性的特点，图像的融合速度会大大提高，图像输出延时很低，实时性很强，其次MIT算法融合后为彩色图像，图像层次感更强，更加有利于对图像的观察和判断；

3、整个图像融合***以FPGA为核心芯片进行信号的控制和运算，电路***搭建简单无需其他的处理器辅助，便于实现。

附图说明

图1是本申请实施例的红外微光图像融合***的硬件结构图；

图2是本申请实施例的红外微光图像融合***的结构示意图；

图3为平行光轴***的光路图；

图4为图像剪切流程图；

图5为图像缩放过程示意图；

图6为图像融合算法框架示意图；

图7是本申请实施例的红外微光图像融合方法的流程图；

图8是本申请实施例提供的红外微光图像融合方法的硬件设备结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

请参阅图1，是本申请实施例的红外微光图像融合***的硬件结构图。本申请实施例的红外微光图像融合***使用Xilinx公司的SPARTAN6系列的XC6SLX45-2FG484C芯片，开发软件平台为ISE Design Suite 14.7软件。整个硬件***由电源电路、帧缓存电路、视频数据格式转换电路、FPGA主处理器电路、D/A数模转换电路等组成，包括SDRAM模块、SPIFLASH模块、JTAG模块以及晶振模块，并以FPGA为核心处理器，由电源模块驱动，接收输入的视频数据，经过FPGA处理器处理后再转换为模拟信号输出。

***图像处理机制主要由FPGA+DDR3构成，FPGA为XILINX公司SPARTAN6系列的XC6SLX45-2FG484的高速FPGA芯片，承担视频图像处理的核心算法，充分利用FPGA并行处理的能力，加上FPGA和DDR3之间的高速数据读写，整个***的带宽高达10Gb/s(666M*16bit)，DDR3容量高达2Gbit，满足视频处理过程中对高缓冲区的需求。FPGA内部集成DDR控制器的硬Core和DDR3之间通信的时钟频率达到333Mhz，DDR3内部666Mhz。红外图像和微光图像的两路视频输入采集采用了Techwell公司的TW2867,可输入最多4路复合视频信号，PAL/NTSC/SECAM自动识别，输出BT656，可多路复用总线，由FPGA端解复用，节省IO。视频输出采用了ADI公司的三通道、10位DAC转换芯片ADV7123，支持RGB数字输入和VGA接口的输出。支持最大240MSPS的转换速率，最高支持1080p 60Hz视频图像输出。

请参阅图2，是本申请实施例的红外微光图像融合***的结构示意图。本申请实施例的红外微光图像融合***包括红外图像采集模块、微光图像采集模块、视频数据转换模块、FPGA处理模块、A/D转换模块、显示模块、外部存储模块和外部控制模块。

红外图像采集模块：用于采集红外图像；其中，本申请的红外图像采集模块采用UWA384CX-H42型号的红外感应机芯并配置红外镜头，透镜表面有滤光薄膜，薄膜对可见光有反射作用但允许红外波长的光线通过，从而减少可见光的通过，增加红外光线的透过率，透镜有聚光作用，可以将外界辐射或反射的红外光线通过透镜汇聚后投影在后面的IRFPA阵列(红外焦平面阵列)，IRFPA阵列感应红外光线并进行成像。

微光图像采集模块：用于采集微光图像；其中，本申请的微光图像采集模块采用1XC18/18WHS-CL型号的像增强器机芯，并采用可调光圈光学镜头，其输出为PAL视频模式，外界光信息通过光学镜头后汇聚在感光阵列中，像增强器通过对汇聚与焦平面上的像进行增强，增加***的光敏感度，使弱光成像得到增强。

视频数据转换模块：用于通过多通道视频解码芯片将采集的红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；本申请实施例中，由于红外光学镜头、可见光光学镜头、红外图像探测器以及微光图像探测器等图像采集装置输出的视频信号均为PAL(Phase Alteration Line，帕尔制)模式，后续的FPGA芯片无法直接进行处理，因此需使用视频解码芯片将红外图像和微光图像由视频模拟信号转化为数字信号，然后再输送至FPGA进行处理。

FPGA处理模块：用于对红外图像和微光图像进行相关预处理、图像配准以及图像融合操作，得到融合后的彩色图像；具体的，FPGA处理模块包括：

图像预处理单元：用于对红外图像和微光图像进行滤波处理；

图像配准单元：用于对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；其中，本申请采用双通道的平行光轴***进行前端光学***的配准，相互之间不会造成干扰，有利于图像的进一步融合。下表1为本申请所采用的红外镜头与微光镜头相关参数：

表1红外镜头与微光镜头参数

如图3所示，为平行光轴***的光路图。如表1所示，由于红外镜头和微光镜头的水平视场角和垂直视场角相差不大，因此可以近似的认为其在水平方向和垂直方向上所能够接收的光线的仰角一致，在此前提下可以计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域。而红外微光所像的靶面均为2/3靶面大小，靶面的像素为640*480。

由下式可得出红外图像和微光图像的重叠部分占整个图像像素的大小为：

公式(1)中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角。

由于采用平行光轴的方式，图像接收源在空间位置上存在差异，红外图像和微光图像中存在非共有部分，因此，需要对非共有部分进行剪切，保持剪切后的红外图像和微光图像的像素宽高基本一致。图像剪切流程如图4所示，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断。

当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，使得两幅图像的长宽比例一致，可以最大限度的使两幅图像像素坐标保持一致。图像缩放过程如图5所示，由数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元组成。数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。当对图像进行放大处理时，根据放大的倍数可以推算出新的图像的像素数据坐标(Xnew,Ynew)在原始图像中的坐标(X0，Y0)，(X0，Y0)很可能为小数，根据取原始图像中与坐标(X0,Y0)最近邻的四个数据做为差值对象，根据坐标间的距离则可以推断出新数据的数值F。

综上所述，本申请通过采用以平行光轴图像配准为主、数字图像配准为辅的图像配准方式，进行数字图像配准时只需要对图像进行剪切和缩放，可以极大程度的提高图像处理的速度，提高图像处理的实时性。

图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理，并输出融合后的彩色图像；本申请实施例中，图像融合算法框架如图6所示，通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法。由于FPGA处理加减法相对简单，因此本申请没有将加法器和减法器归入图中。由于本申请是进行像素级的图像融合，因此要求红外像素和微光像素一一对应，需要对红外图像和微光图像进行同时处理，通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取后的图像分别进入对应的卷积器中，通过对应的模板进行卷积，卷积结果再输入到除法器中，最后由归一化处理程序进行归一化处理，使得结果的区间在0到256之间，并恰好为8位二进制数，在这个过程中图像则会得到增强。其后再进行图像融合，图像融合的输入数据为两幅图像，融合过程与上述图像增强过程基本一致。最后再将输出结果分别映射到RGB三个通道中，即可得到融合后的彩色图像。

综上所述，本申请通过采用FPGA实现MIT的伪彩色图像融合算法，由于FPGA的运算并行性的特点，图像的融合速度会大大提高，图像输出延时很低，实时性很强，其次MIT算法融合后为彩色图像，图像层次感更强，更加有利于对图像的观察和判断。

A/D转换模块：用于使用A/D转换芯片将FPGA芯片输出的图像数据转换为VGA模拟信号，并通过显示模块进行显示；本申请实施例中，显示模块为液晶显示器，显示图像的分辨率优选为1920*1080。

外部存储模块：主要分为两部分，一是图像处理过程中可作为缓存区间使用的存储芯片SDRAM芯片，作为帧缓存器件，对实时图像进行缓存处理，并与FPGA进行实时的数据交互；二是存储一些需掉电不丢失的信息的存储芯片FLASH芯片，存储FPGA配置信息。

外部控制模块：通过按钮调节***的内部模式，控制输出不同模式信号，以应对不同场合下的使用。

请参阅图7，是本申请实施例的红外微光图像融合方法的流程图。本申请实施例的红外微光图像融合方法包括以下步骤：

步骤100：分别采集红外图像和微光图像；

步骤100中，红外图像采用UWA384CX-H42型号的红外感应机芯并配置红外镜头进行采集。透镜表面有滤光薄膜，薄膜对可见光有反射作用但允许红外波长的光线通过，从而减少可见光的通过，增加红外光线的透过率，透镜有聚光作用，可以将外界辐射或反射的红外光线通过透镜汇聚后投影在后面的IRFPA阵列(红外焦平面阵列)，IRFPA阵列感应红外光线并进行成像。微光图像采用1XC18/18WHS-CL型号的像增强器机芯以及可调光圈光学镜头进行采集，其输出为PAL视频模式，外界光信息通过光学镜头后汇聚在感光阵列中，像增强器通过对汇聚与焦平面上的像进行增强，增加***的光敏感度，使弱光成像得到增强。

步骤200：通过多通道视频解码芯片将采集的红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤200中，由于红外光学镜头、可见光光学镜头、红外图像探测器以及微光图像探测器等图像采集装置输出的图像信号均为PAL(Phase Alteration Line，帕尔制)制式输出，后续的FPGA芯片无法直接进行处理，因此需使用视频解码芯片将红外图像和微光图像由视频模拟信号转化为数字信号，然后再输送至FPGA进行处理。

步骤300：通过FPGA处理模块对红外图像和微光图像进行滤波、图像配准以及图像融合操作，得到融合后的彩色图像；

步骤300中，图像配准具体为：对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；本申请采用双通道的平行光轴***进行前端光学***的配准，相互之间不会造成干扰，有利于图像的进一步融合。如图3所示，为平行光轴***的光路图。由于红外镜头和微光镜头的水平视场角和垂直视场角相差不大，因此可以近似的认为其在水平方向和垂直方向上所能够接收的光线的仰角一致，在此前提下可以计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域。而红外微光所像的靶面均为2/3靶面大小，靶面的像素为640*480。

由下式可得出红外图像和微光图像的重叠部分占整个图像像素的大小为：

公式(1)中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角。

由于采用平行光轴的方式，图像接收源在空间位置上存在差异，红外图像和微光图像中存在非共有部分，因此，需要对非共有部分进行剪切，保持剪切后的红外图像和微光图像的像素宽高基本一致。图像剪切流程如图4所示，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断。

当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，使得两幅图像的长宽比例一致，可以最大限度的使两幅图像像素坐标保持一致。图像缩放过程如图5所示，由数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元组成。数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。当对图像进行放大处理时，根据放大的倍数可以推算出新的图像的像素数据坐标(Xnew,Ynew)在原始图像中的坐标(X0，Y0)，(X0，Y0)很可能为小数，根据取原始图像中与坐标(X0,Y0)最近邻的四个数据做为差值对象，根据坐标间的距离则可以推断出新数据的数值F。

本申请实施例中，图像融合具体为：采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理；图像融合算法框架如图6所示，通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法。由于FPGA处理加减法相对简单，因此本申请没有将加法器和减法器归入图中。由于本申请是进行像素级的图像融合，因此要求红外像素和微光像素一一对应，需要对红外图像和微光图像进行同时处理，通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取后的图像分别进入对应的卷积器中，通过对应的模板进行卷积，卷积结果再输入到除法器中，最后由归一化处理程序进行归一化处理，使得结果的区间在0到256之间，并恰好为8位二进制数，在这个过程中图像则会得到增强。其后再进行图像融合，图像融合的输入数据为两幅图像，融合过程与上述图像增强过程基本一致。最后再将输出结果分别映射到RGB三个通道中，即可得到融合后的彩色图像。

步骤400：使用A/D转换芯片将FPGA芯片输出的融合视频数据转换为VGA模拟信号，并通过显示器进行显示。

步骤400中，显示器为液晶显示器，显示图像的分辨率优选为1920*1080。

图8是本申请实施例提供的红外微光图像融合方法的硬件设备结构示意图。如图8所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入***和输出***。

处理器、存储器、输入***和输出***可以通过总线或者其他方式连接，图8中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理***。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入***可接收输入的数字或字符信息，以及产生信号输入。输出***可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。

本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

本申请实施例的红外微光图像融合***、方法及电子设备通过红外微光图像采集器件和FPGA数据处理控制器件设计了红外和微光图像的采集和融合***，相对于现有技术，本申请至少具有以下优点：

1、在图像配准部分采用以平行光轴图像配准为主，以数字图像配准为辅的图像配准方式，进行数字图像配准的时只需要对图像进行剪切和缩放，可以极大程度的提高图像处理的速度，图像处理的实时性会有很大的提高；

2、图像融合部分采用FPGA来实现MIT的伪彩色图像融合算法，由于FPGA的运算并行性的特点，图像的融合速度会大大提高，图像输出延时很低，实时性很强，其次MIT算法融合后为彩色图像，图像层次感更强，更加有利于对图像的观察和判断；

3、整个图像融合***以FPGA为核心芯片进行信号的控制和运算，电路***搭建简单无需其他的处理器辅助，便于实现。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种红外微光图像融合***，其特征在于，包括：

红外图像采集模块：用于采集红外图像；

微光图像采集模块：用于采集微光图像；

视频数据转换模块：用于通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

FPGA处理模块：用于通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

A/D转换模块：用于使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

2.根据权利要求1所述的红外微光图像融合***，其特征在于，所述FPGA处理模块具体包括：

图像预处理单元：用于对所述红外图像和微光图像进行滤波处理；

图像配准单元：用于对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；

图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的红外图像和微光图像进行融合处理，并输出融合后的彩色图像。

3.根据权利要求2所述的红外微光图像融合***，其特征在于，所述图像配准单元对红外图像和微光图像进行光学配准、图像剪切和图像缩放操作具体包括：

采用双通道的平行光轴***进行图像配准；假设红外镜头和微光镜头在水平方向和垂直方向上所能够接收的光线的仰角一致，据此计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域：

上述公式中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角；

剪切所述红外图像和微光图像中的非共有部分，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断；

当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，所述图像缩放包括数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元；所述数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。

4.根据权利要求3所述的红外微光图像融合***，其特征在于，所述图像融合单元采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理具体为：通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法；通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取的图像分别进入对应的卷积器中进行卷积，卷积结果输入到除法器中，最后由归一化进程进行归一化处理，使得结果的区间在0到256之间，使得图像得到增强；之后再输入红外图像和微光图像进行图像融合，最后将融合结果分别映射到RGB三个通道中，得到融合后的彩色图像。

5.根据权利要求1至4任一项所述的红外微光图像融合***，其特征在于，还包括：

外部存储模块：包括图像处理过程中用于对实时图像进行缓存处理，并与FPGA芯片进行实时数据交互的存储芯片SDRAM芯片，以及用于存储FPGA配置信息的存储芯片FLASH芯片；

外部控制模块：用于通过按钮调节FPGA芯片的内部模式，控制输出不同模式信号。

6.一种红外微光图像融合方法，其特征在于，包括以下步骤：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。

7.根据权利要求6所述的红外微光图像融合方法，其特征在于，在所述步骤c中，所述通过FPGA芯片对红外图像和微光图像进行预处理、图像配准以及图像融合操作具体包括：

步骤c1：对所述红外图像和微光图像进行滤波处理；

步骤c2：对滤波处理后的红外图像和微光图像进行光学配准、图像剪切和图像缩放操作；

步骤c3：图像融合单元：用于采用MIT伪彩色图像融合算法对配准后的红外图像和微光图像进行融合处理，并输出融合后的彩色图像。

8.根据权利要求7所述的红外微光图像融合方法，其特征在于，在所述步骤c2中，所述对红外图像和微光图像进行光学配准、图像剪切和图像缩放操作具体包括：采用双通道的平行光轴***进行图像配准；假设红外镜头和微光镜头在水平方向和垂直方向上所能够接收的光线的仰角一致，据此计算出所采集的红外图像和微光图像的重叠部分所占的大小以及区域：

上述公式中，u为目标与物镜的距离，b为平行光轴中两物镜的距离，θ为水平镜头的水平视场角；

剪切所述红外图像和微光图像中的非共有部分，首先提取数据，对输入的数据进行计数，包括行数和列数，确定输入图像的剪切范围，判断每个输入数据是否在剪切范围内，当在剪切范围内时则将该数据输入帧缓存中，当该数据不在剪切范围内时则不对该数据进行处理，开始下一个数据的判断；

当两幅图像中剩下的均为共有部分时，对两幅图像进行缩放处理，所述图像缩放包括数据缓存单元、双线性插值运算单元和系数生成与逻辑控制单元；所述数据缓存单元采用两个FIFO进行数据的行缓存，采用乒乓操作进行数据的行缓存写入；在进行数据的插值运算时，由逻辑控制单元控制数据缓存单元的数据读入和写出，同时生成插值的参数，输入到双线性插值运算单元中，双线性插值运算单元对输入的两个行缓存数据线进行Y方向上的插值，当Y方向上进行两次插值后即可得到Y方向上插值的两个结果，再进行X方向上的插值，X方向上的插值进行一次即可获得插值的数据。

9.根据权利要求8所述的红外微光图像融合方法，其特征在于，在所述步骤c3中，所述采用MIT伪彩色图像融合算法对配准后的两幅图像进行融合处理具体为：通过6个卷积器、4个除法器、4个归一化进程以及一个延时输出单元实现MIT融合算法；通过同步提取的方式分别从红外图像帧缓存和微光图像帧缓存中进行图像的提取，提取的图像分别进入对应的卷积器中进行卷积，卷积结果输入到除法器中，最后由归一化进程进行归一化处理，使得结果的区间在0到256之间，使得图像得到增强；之后再输入红外图像和微光图像进行图像融合，最后将融合结果分别映射到RGB三个通道中，得到融合后的彩色图像。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述6至9任一项所述的红外微光图像融合方法的以下操作：

步骤a：分别采集红外图像及微光图像；

步骤b：通过多通道视频解码芯片将所述红外图像和微光图像由模拟信号解码转换为数字信号，并将两路数字信号进行帧同步及帧缓存处理后，输出至FPGA处理模块；

步骤c：通过FPGA芯片对所述红外图像和微光图像进行预处理、图像配准以及图像融合操作后，输出融合后的彩色图像；

步骤d：使用A/D转换芯片将所述彩色图像转换为VGA模拟信号，并通过显示模块进行显示。