CN103281491A

CN103281491A - 基于dsp的图像融合装置

Info

Publication number: CN103281491A
Application number: CN2013102071295A
Authority: CN
Inventors: 吴川; 杨冬; 贺柏根; 孙海江
Original assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Current assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date: 2013-05-30
Filing date: 2013-05-30
Publication date: 2013-09-04

Abstract

本发明涉及一种基于DSP的图像融合装置，它属于电子学领域及图像处理领域，其包括两个视频解码模块，大规模可编程逻辑电路，数字信号处理器，以太网收发器，变压器。本发明的基于DSP的图像融合装置，能够在低照度或过度曝光条件下得到成像清晰的彩色图像；把CamerLink信号转成网络信号进行传输，增加了传输距离，减少了连线的复杂度；因为信号为标准的网络信号，所以任何带有网口的计算机都可以接收融合后的图像数据，这降低了对接收装置的要求。

Description

基于DSP的图像融合装置

技术领域

本发明涉及电子学领域及图像处理领域，特别涉及一种基于DSP的图像融合装置。

背景技术

彩色相机虽然能够得到符合人们认知习惯的彩色图像，但受传感器敏感程度、成像原理、曝光时间、感光波段等限制，当光线比较暗的时候，彩色相机得到的图像常常信噪比较低，一些图像细节不能很好的分辨出来，而在使用闪光灯的条件下采集图像常常因为部分区域曝光过度，而导致得到的图像失真。需要利用图像融合技术，通过把同一场景的彩色图像和由高灵敏度的相机得到的灰度图像通过一定算法融合起来，得到成像更为清晰的彩色图像。

目前图像融合装置无成型产品，基于图像融合的装置多采用计算机内置图像采集卡，由图像采集卡把图像采集到计算机中，通过计算机实现图像融合。该方案由于使用了计算机，应用局限性较大。

发明内容

本发明的目的是提供一种可以使成像细节不够清晰彩色图像或由于过度曝光颜色失真的彩色图像通过和成像清晰的灰度图像融合的，基于DSP的图像融合装置。

本发明提出一种嵌入式的图像融合装置，解决了基于计算机的图像融合装置应用具有局限性的问题。。

本发明的技术方案具体如下：

一种基于DSP的图像融合装置，包括第一数字视频解码芯片，第二数字视频解码芯片，可编程逻辑器件，数字信号处理器，以太网收发器，变压器；

可编程逻辑器件的端口R[7:0]、G[7:0]、B[7:0]、F1、L1、CLK1和第一数字视频解码芯片的R[7:0]、G[7:0]、B[7:0]、F1、L1、CLK1相连；可编程逻辑器件的端口Data[7:0]、F2、L2、CLK2和第二数字视频解码芯片的Data[7:0]、F2、L2、CLK2相连；可编程逻辑器件的端口R[7:0]、G[7:0]、B[7:0]、F3、L3、CLK3和数字信号处理器的R[7:0]、G[7:0]、B[7:0]、F1、L1、CLK1相连；可编程逻辑器件的端口Data1[7:0]、F4、L4、CLK4和数字信号处理器的Data[7:0]、F2、L2、CLK2相连；

数字信号处理器中的MDIO和EMAC分别与以太网收发器的MDIO和EMAC相连；

以太网收发器的TD+、TD-、RD+、RD-分别与变压器的TD+、TD-、RD+、RD-相连。

上述技术方案中，所述第一数字视频解码芯片，第二数字视频解码芯片均为DS90CR286AMTD。

上述技术方案中，所述可编程逻辑器件为cycloneⅡ系列的EP2C8F256I8。

上述技术方案中，所述数字信号处理器为TMS320DM642。

上述技术方案中，所述以太网收发器为BCM5221。

上述技术方案中，所述变压器为H1102。

上述技术方案中，该图像融合装置可以：

把两路CamerLink制式视频信号在可编程逻辑器件的控制下发送给第一数字视频解码芯片和第二数字视频解码芯片；

视频信号经过解码后分解为数字视频信号、帧同步、行同步、像素时钟信号传递给可编程逻辑器件；

可编程逻辑器件中彩色RGB信号被转换成HIS信号，HIS信号连同灰度图像信号、同步信号、像素时钟信号一起传递给数字信号处理器；

在数字信号处理器中彩色图像和灰度图像被融合，融合后的彩色图像整合成网络数据传输格式被传递给以太网收发器；

以太网收发器把数据包数据以差分形式传递给变压器，形成在数据格式上符合通用网络数据格式、在电平幅值上符合网络信号幅值的通用网络数据信号。

本发明具有以下的有益效果：

本发明的基于DSP的图像融合装置，可实现在低照度下通过融合的方法得到符合人们认知习惯的成像清晰的彩色图像。

本发明的基于DSP的图像融合装置为嵌入式***，携带方便，便于安装且脱离计算机操作***，启动更快、工作更为安全可靠。

本发明的基于DSP的图像融合装置，融合后的图像数据以通用的网络数据包制式进行传输，使只要具有网口配置的计算机就可接收图像数据。

本发明的基于DSP的图像融合装置，把CamerLink制式的视频信号转换成网络信号传递，使信号传输距离更远（CamerLink制式50M以内视频只能传输几米，在网络上传输50M以内视频信号至少能传输50米）、数据线更少（CamerLink需要26根线进行传输，网线仅需要8根）。

本发明中的图像融合装置中采用彩色相机和黑白相机共用光路。其中，彩色相机包括3个分别用来采集红、绿、蓝颜色光的感光器件。在采集图像时，需要将一半的原始信号光分成三束，分别由上述3个感光器件采集红、绿、蓝颜色分量。黑白相机则根据另外一半的原始信号光，得到灰度信息。然后，图像融合装置将颜色信息与灰度信息相结合，合成出彩色图像。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为本发明的基于DSP的图像融合装置与相机及计算机连接的结构示意图。

图2为本发明的基于DSP的图像融合装置的结构示意图。

图3为本发明的基于DSP的图像融合装置的电路原理框图。

具体实施方式

本发明的发明思想为：设计一种基于DSP的图像融合装置，实现了两路数字图像的采集、融合、输出。具体的说就是把经过光学配准的同一场景的异源图像融合在一起，生成一幅彩色的成像质量优于原彩色图像的图像，并把生成的图像整合成适于网络传输的数据包传输出去。

下面结合附图对本发明做以详细说明。

本发明的基于DSP的图像融合装置与计算机的连接方式如附图1至3所示，该图像融合装置包括：可编程逻辑器件3（FPGA模块）、数字信号处理器4（DSP模块TMS320DM642）、数字视频解码芯片1和数字视频解码芯片2（DS90CR286）、以太网收发器5（BCM5221）、变压器6（H1102）。其中，可编辑逻辑器件3分别与两个数字视频解码芯片以及数字信号处理器4相连；数字信号处理器4除了与可编辑逻辑器件3（FPGA模块）相连外，还与以太网收发器5（BCM5221）相连；以太网收发器5与变压器6（H1102）相连。

参照附图2，经过光学配准后的彩色相机和高灵敏度黑白相机在FPGA（可编程逻辑器件）模块的触发下把同一视场的CamerLink制式图像分别传递给两个数字视频解码芯片（DS90CR286），这两个数字视频解码芯片把CamerLink信号解码成数字图像数据、行同步信号、帧同步信号同时发送给可编程逻辑器件3FPGA，为了后续图像融合的需要，在FPGA中彩色RGB图像被转换成HIS制式图像。在FPGA中实现转换的好处在于当一个像素进入FPGA，FPGA立刻把它转换成HIS制式，当一幅图像传递完毕，转换也完成，图像传输几乎无延迟。当两幅图像的整行图像进入FPGA后，FPGA把两路数字视频信号分别传入数字信号处理器4（DSP）VP2口中的B口和A口。DSP对两路视频采用文献Multispectralbilateral video fusion[J].IEEE Trans.on image proc,2007,16(5):1185-1194提到的方法进行融合处理，得到融合后的彩色图像整合成通用的网络传输的数据包，通过DSP的网络接口传给以太网收发器5，以太网收发器5把数据包的数据发送给变压器6得到数据制式、输出信号幅值均符合标准网络传递的数据发送出去。

本发明的基于DSP的图像融合装置中，经过配准的图像在可编辑逻辑器件3的同步信号1和同步信号2的控制下进入数字视频解码芯片1、数字视频解码芯片2中，数字视频解码芯片1把彩色CamerLink制式的视频分解为数字视频信号R[7:0]、G[7:0]、B[7:0]，帧同步信号F1，行同步信号L1，像素时钟CLK1；数字视频解码芯片2把CamerLink制式的灰度图像分解为数字视频信号Data[7:0]，帧同步信号F2，行同步信号L2，像素时钟CLK2。这些信号进入大规模可编程逻辑电路FPGA3中。在可编辑逻辑器件3中彩色图像的每个像素由RGB制式转换成HIS制式，F1、L1、CLK1被赋给F3、L3、CKL3；Data[7:0]、F2、L2、CLK2被赋给Data1[7:0]、F4、L4、CLK4。H[7:0]、I[7:0]、S[7:0]同Data1[7:0]一起发送到数字信号处理器（DSP模块）4中。其中H[7:0]、I[7:0]、S[7:0]在信号F3（彩色图像的帧同步信号）、L3（彩色图像的行同步信号）、CLK3（彩色图像的像素时钟信号）的控制下进入数字信号处理器4中的VP2中的B口中；Data1[7:0]在F4（灰度图像的帧同步信号）、L4（灰度图像的行同步信号）、CLK4（灰度图像的像素时钟信号）的控制下进入数字信号处理器4中的VP2中的A口中。数字信号处理器4把两路图像数据依据文献Multispectral bilateral video fusion[J].IEEE Trans.onimage proc,2007,16(5):1185-1194的方法分别对彩色图像的I分量进行双边滤波得到的图像称为边缘图像、对灰度图像进行双边滤波得到的图像称为细节图像，把原始彩色图像的I分量、边缘图像、细节图像以一定的权值进行组合得到融合后的I分量，把融合后的I分量和H、S分量进行变换得到RGB图像，融合后的图像数据被整合成网络数据包，通过DSP模块内部的网络接口MDIO和EMAC的综合作用下，被传递给以太网收发器5（BCM5221的MDIO和EMAC），在以太网收发器5中已形成网络数据包的图像数据通过TD+和TD-发送给变压器6（H1102），在变压器6中网络数据包中的数据进行电平转换，转换为TX+和TX-成为计算机网口接收数据。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种基于DSP的图像融合装置，其特征在于，包括第一数字视频解码芯片（1），第二数字视频解码芯片（2），可编程逻辑器件（3），数字信号处理器（4），以太网收发器（5），变压器（6）；

可编程逻辑器件（3）的端口R[7:0]、G[7:0]、B[7:0]、F1、L1、CLK1和第一数字视频解码芯片（1）的R[7:0]、G[7:0]、B[7:0]、F1、L1、CLK1相连；可编程逻辑器件（3）的端口Data[7:0]、F2、L2、CLK2和第二数字视频解码芯片（2）的Data[7:0]、F2、L2、CLK2相连；可编程逻辑器件（3）的端口R[7:0]、G[7:0]、B[7:0]、F3、L3、CLK3和数字信号处理器（4）的R[7:0]、G[7:0]、B[7:0]、F1、L1、CLK1相连；可编程逻辑器件（3）的端口Data1[7:0]、F4、L4、CLK4和数字信号处理器（4）的Data[7:0]、F2、L2、CLK2相连；

数字信号处理器（4）中的MDIO和EMAC分别与以太网收发器（5）的MDIO和EMAC相连；

以太网收发器（5）的TD+、TD-、RD+、RD-分别与变压器（6）的TD+、TD-、RD+、RD-相连。

2.根据权利要求1所述的基于DSP的图像融合装置，其特征在于，所述第一数字视频解码芯片（1），第二数字视频解码芯片（2）均为DS90CR286AMTD。

3.根据权利要求1所述的基于DSP的图像融合装置，其特征在于，所述可编程逻辑器件（3）为cycloneⅡ系列的EP2C8F256I8。

4.根据权利要求1所述的基于DSP的图像融合装置，其特征在于，所述数字信号处理器（4）为TMS320DM642。

5.根据权利要求1所述的基于DSP的图像融合装置，其特征在于，所述以太网收发器（5）为BCM5221。

6.根据权利要求1所述的基于DSP的图像融合装置，其特征在于，所述变压器（6）为H1102。

7.根据权利要求1-6中任意一项所述的基于DSP的图像融合装置，其特征在于，该图像融合装置可以：

把两路CamerLink制式视频信号在可编程逻辑器件（3）的控制下发送给第一数字视频解码芯片（1）和第二数字视频解码芯片（2）；

视频信号经过解码后分解为数字视频信号、帧同步、行同步、像素时钟信号传递给可编程逻辑器件（3）；

可编程逻辑器件（3）中彩色RGB信号被转换成HIS信号，HIS信号连同灰度图像信号、同步信号、像素时钟信号一起传递给数字信号处理器（4）；

在数字信号处理器（4）中彩色图像和灰度图像被融合，融合后的彩色图像整合成网络数据传输格式被传递给以太网收发器（5）；

以太网收发器（5）把数据包数据以差分形式传递给变压器（6），形成在数据格式上符合通用网络数据格式、在电平幅值上符合网络信号幅值的通用网络数据信号。