CN1546993A

CN1546993A - 红外目标检测跟踪与识别***

Info

Publication number: CN1546993A
Application number: CNA2003101090702A
Authority: CN
Inventors: 敬忠良; 李建勋; 胡士强; 张世俊; 刘刚; 刘广智; 陈非; 刘磊
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2003-12-04
Filing date: 2003-12-04
Publication date: 2004-11-17
Anticipated expiration: 2023-12-04
Also published as: CN1235037C

Abstract

一种红外目标检测跟踪与识别***，包括红外成像、红外图像接收、红外图像处理以及图像与结果显示四部分，红外图像首先通过红外成像仪得到，通过数字输出差分端口以及差分转单端电路，将数字图像数据以及输出控制信号送到红外图像接收部分，图像的接收部分采用现场可编程门阵列FPGA接收14位差分信号，再通过令牌总线将数据送到红外图像处理部分双数字信号处理器DSP板卡***，对红外图像进行目标检测跟踪和识别，处理结果以及原始图像数据通过主机的总线送到显示器上显示。本发明具有探测范围广、定位精度高、识别能力强、作用距离远等优点，对于应用***的后续处理工作具有重要意义和实用价值。

Description

红外目标检测跟踪与识别***

技术领域：

本发明涉及一种红外目标检测跟踪与识别***，是为了获得高性能红外目标图像，并且对红外图像目标检测跟踪和识别而设计的硬件平台，是基于先进凝视焦平面阵列的被动红外探测***。可广泛应用于先进武器***、安全监视、智能交通和工业自动化检测等领域。

背景技术：

随着红外探测器技术的发展，热像仪从过去采用单元或多元分立式探测器加一维或二维光机扫描器发展成了不用光机扫描的凝视型成像装置。基于凝视焦平面阵列的红外热成像探测***，无论从温度灵敏度和空间分辨率上，还是从帧频和光谱响应上，都有了极大的提高。由于焦平面凝视热像仪所独有的优良性能，已经成为世界各国大力研发的一项高新技术。作为智能化信息处理的关键环节之一，红外目标检测成像跟踪与识别技术一直是困扰和制约红外成像探测实用性能的瓶颈问题和技术难点而亟待解决，目前已引起国内外专家的高度重视，并围绕这一课题开展了深入、广泛的研究。

在红外目标检测跟踪与识别过程中，需要尽快地检测并锁定待识别目标，但是在对空起伏背景下低信噪比红外目标检测与识别面临着众多的技术难题。这些技术难题主要有：

1.目标没有尺寸、形状和纹理等信息，传统的图像处理方法无法应用；

2.起伏背景，致使目标信号往往淹没在噪声之中；

3.数据量大，难以实时处理。

国内外研究人员针对低信噪比红外图像中的目标检测跟踪识别提出了一些方法，如三维匹配滤波，截断序贯似然比检测方法、动态规划法、高阶相关法，小波分析及神经网络方法等，但是计算量很大，难以实时处理视频图像序列。另外，显著制约上述算法实际运用的缺陷主要在于各种算法建立在噪声分布，甚至目标分布作为先验知识的基础上。尽管以上假设在检测算法设计、算法性能分析及结果分析带来很大便利，但由于在实际情况中，大多数情况是不满足假设分布的，这样不可避免的引入了误差，甚至得到错误的结论。

发明内容：

本发明的目的在于针对现有红外成像探测***中存在的一些问题，提供一种红外目标检测跟踪与识别***，能够改善红外图像成像质量，提高红外目标检测跟踪、识别精度，达到理想的实用效果。

为实现这样的目的，本发明的创新点在于采用红外成像仪与高速的图像接收装置以及实时数据处理板卡，建立了一整套红外目标检测跟踪与识别***。

本发明的红外目标检测跟踪与识别***由四个部分组成：包括红外成像、红外图像接收、红外图像处理以及图像与结果显示四部分，红外成像部分由红外成像仪构成，其串行控制端口连接主机，一个输出端口连接视频显示器，另一个数字输出端口为差分信号RS422数字输出，经差分转单端电路连接红外图像接收部分，红外图像接收部分采用一套现场可编程门阵列FPGA板卡，其数字输入输出端口设置为输入模式，FPGA板卡读取图像数据，根据信号的时序，利用帧控制信号、行控制信号以及像素时钟信号设置读取图像的时刻，将数据锁存到先进先出堆栈FIFO当中，FIFO每遇到一个读取使能信号发送一次，红外图像处理部分采用双数字信号处理DSP板卡，通过设置在图像接收部分的寄存器读取DSP处理数据的状态，来协调图像数据的接收与处理，当一帧的图像处理完后将寄存器的标志位置位，以表示可以读取下一帧数据，双DSP板卡包括红外目标检测、红外目标跟踪以及红外目标识别三个模块，红外目标检测模块的输出连接红外目标跟踪以及红外目标识别模块，红外目标检测、红外目标跟踪以及红外目标识别三个模块的输出通过板卡间令牌总线上的FIFO进行传送；最后结果以及原始图像数据通过主机的总线送到图像与结果显示部分，图像与结果显示部分将灰度分布0～2¹⁴的源图像映射为灰度分布为0～2⁸的图像并进行显示。

***工作时，红外图像首先通过红外成像仪得到，通过数字输出差分RS422端口以及差分转单端电路，将数字图像数据以及输出控制信号送到FPGA板卡的数字输入输出端口，数字输入输出端口设置为输入模式。FPGA板卡读取图像数据，通过集成在板卡上的令牌总线将数据送到双DSP板卡***上进行处理，处理的内容包括目标检测跟踪、识别。目标检测跟踪、识别的结果以及原始图像数据通过计算机的PCI总线送到显示器上显示。

本发明的红外目标检测跟踪与识别***具有如下有益效果：

本发明的红外目标检测跟踪与识别***，是基于先进凝视焦平面阵列的被动红外探测***，具有探测范围广、定位精度高、识别能力强、作用距离远等优点，对于应用***的后续处理工作具有重要意义和实用价值。

附图说明：

图1为本发明的红外目标检测跟踪与识别***结构原理图。

图2为本发明所用到红外成像仪输出信号的时序。

图3为本发明实施例中的图像。

图3中，(a)、(b)是实拍图像，(c)、(d)是对空拍摄的图像和采用数学形态学滤波技术和基于局部能量最大的特点检测出的结果，(e)、(f)是对空实拍图像和面采用阈值联合种子点生长方法分割的结果。

具体实施方式：

以下结合附图和实施例对本发明的技术方案作进一步描述。

本发明的实施例中，利用高性能红外成像仪分别拍摄到图3(a)(b)的对地目标以及人手、图3(c)、(e)拍摄的是对空目标。采用本发明的***进行红外目标检测跟踪与识别，各部分具体实施细节如下：

红外目标检测跟踪与识别***由四个部分组成：包括红外成像、红外图像接收、红外图像处理以及图像与结果显示四部分。高性能红外成像仪所采用的红外头部是法国所福拉德公司生产的。红外成像仪一共有两个输出端口和一个串行控制端口。两个输出端口的其中一个是用于视频输出的，利用一台视频监视器就可以观察红外成像仪输出的视频模拟图像；另外一个输出端口是差分信号RS422数字输出。串行控制端口与主机相连，主要作用是调节红外成像仪的性能，如：调节数字图像的输出速率(25帧/秒、50帧/秒和100帧/秒可选)，调节图像的积分时间以及校正图像已达到最佳的成像效果。

红外摄像头的数字输出格式是采用RS422差分信号，这种信号可以抑止传输过程中信号之间产生的共模干扰，进行长距离传输。端口输出14位数据和3位控制信号。3位控制信号分别为像素时钟信号、行控制信号和帧同步控制信号。为了保证数据能够在较低的传输误码率的情况下进行传输，必须充分利用这些控制信号，以及对这些控制信号进行详尽地分析。它们之间的时序关系见图2所示。

数据的传输过程采用了三组控制信号。当一帧的图像数据到达之前的某个时刻，帧控制信号出现一个向下脉冲，用上升沿表示图像传输准备好，等待行控制信号。当第一个行控制信号到达时，以该信号上升沿作为数据到达的标志。时钟信号的上升沿作为对像素数据的锁存标志，一个像素对应一个时钟脉冲。两个帧控制信号之间只发送一幅图像(76800个像素)；两个行控制信号之间只发送一行信号(320个像素)；一个时钟周期发送一个像素。从而避免了图像数据帧与帧之间、行与行之间以及像素之间的误码，进而保证了得到高质量的红外数字图像。

前面提到，RS422是一种差分信号，一个信号用两条信号线表示，一条信号传输实际信号，另一条传输实际数据的反相值。在实际信号一侧测得的控制信号以及数据信号都具有比较好的时序特征，但是信号的共模干扰在进入FPGA板卡的***中产生了很大的影响，以至于像素时钟信号产生很多毛刺，使得显示的图像发生抖动。因此本***必须将差分信号转成单端信号。转换电路采用了芯片摩托罗拉的差分转单端芯片MC3486。

红外图像的接收和处理的硬件采用的是亨特公司生产的母卡HEPC9、现场可编程门阵列板卡HERON-FPGA3S以及数字信号处理DSP板卡HERON4。HEPC9是一块母卡，作为各种亨特公司处理板卡的载体。HERON-FPGA3S是一块FPGA板卡，负责接收红外图像数据；HERON4是DSP板卡，负责对图像中的目标进行检测跟踪和识别。从红外成像仪传来的差分数据通过转换电路变换成单端信号后，直接进入现场可编程门阵列FPGA芯片。FPGA编程实现控制信号的转换，一共要考虑两组控制信号，一组信号来自于红外成像仪，如像素时钟、行控制信号以及帧同步控制信号；另一组信号来自于数字信号处理器DSP，DSP根据自己的运算情况设置该信号的状态，当DSP处理完一帧信号处于等待状态时，对该信号置位，以表示可以接收数据。FPGA根据这些信号向自身开辟的一块先进先出堆栈FIFO上写图像数据。图像数据写在FIFO中以后，等待DSP板卡回应读取信号，以对FIFO中的数据进行读取操作，从而完成数据的接收。两块DSP板卡接收到一帧的图像数据以后，要首先分配给其中的一块DSP进行目标检测跟踪，这时，另一块DSP可能正识别上一帧图像的目标或是处于等待状态。第一块DSP用于红外目标检测和识别，首先采用了基于椭圆抛物面体积的图像预处理方法提高红外目标图像的信噪比，然后通过设置门限，经过假设检验最终得到检测结果。检测结果送到另一部分程序执行目标跟踪，红外目标跟踪算法考虑了图像的帧间相关信息以及目标运动的连续性，根据杂波和噪声分布的随机性进行数据关联，采用当前统计模型以及卡尔曼滤波算法跟踪真实目标。当完成目标检测和跟踪以后，第一块DSP停止运算，等待下一帧的红外图像数据。目标检测后的结果还要送到另一块DSP上进行目标识别，红外目标识别算法首先采用种子点区域生长的方法进行图像分割，目标经分割处理后进行特征提取和分类，采用基于旋转不变形态学神经网络对目标进行分类；样本模式库采用了标准模式库。在完成了上述操作以后，第二块DSP等待第一块DSP的数据。

红外图像以及处理后图像的显示部分。红外图像的显示采用的是奔腾III 866工控机，内存128M，经DSP处理后的结果以及未处理的图像可以通过PCI总线送到显示器上显示。显示部分采用C语言编程。由于红外摄像头的数据是14位的数据，在WINDOWS平台上无法使用14级灰度的图像，只有将其映射到8位的图像空间，才可以将图像显示出来供用户使用。分析14位源图像的直方图发现图像的像素分布往往集中在一个局部，如果简单的进行图像的线性映射，由于8位像素的信息量减少，变换后的图像往往丢失许多信息。为了克服这种图像信息不均匀分布带来影响，本***采用了对源图像灰度分布0～2¹⁴映射到灰度分布为0～2⁸的图像，能够反映出原图的信息。

如图3所示，(a)、(b)是实拍图像，(c)、(d)是对空拍摄的图像和采用数学形态学滤波技术和基于局部能量最大的特点检测出的结果，(e)、(f)是对空实拍图像和面采用阈值联合种子点生长方法分割的结果。目标检测概率能够达到99％，虚警概率为0.1％；目标的跟踪基本概率可以达到94％；采用基于旋转不变形态学神经网络的红外序列图像目标识别方法，目标由点目标向面目标过渡时，当训练样本与检测样本强相关时的识别正确率为94.9％，训练样本与检测样本弱相关时的识别正确率为91.9％。整个算法在双DSP板卡***上的运行速度可以达到每秒钟25帧的实时效果。从而可以看出，本发明的***具有探测范围广、定位精度高、识别能力强、作用距离远等优点。

Claims

1、一种红外目标检测跟踪与识别***，包括红外成像、红外图像接收、红外图像处理以及图像与结果显示四部分，其特征在于红外成像部分由红外成像仪构成，其串行控制端口连接主机，一个输出端口连接视频显示器，另一个数字输出端口为差分信号RS422数字输出，经差分转单端电路连接红外图像接收部分，红外图像接收部分采用一套现场可编程门阵列FPGA板卡，其数字输入输出端口设置为输入模式，FPGA板卡读取图像数据，根据信号的时序，利用帧控制信号、行控制信号以及像素时钟信号设置读取图像的时刻，将数据锁存到先进先出堆栈FIFO当中，FIFO每遇到一个读取使能信号发送一次，红外图像处理部分采用双数字信号处理DSP板卡，通过设置在图像接收部分的寄存器读取DSP处理数据的状态，来协调图像数据的接收与处理，当一帧的图像处理完后将寄存器的标志位置位，以表示可以读取下一帧数据，双DSP板卡包括红外目标检测、红外目标跟踪以及红外目标识别三个模块，红外目标检测模块的输出连接红外目标跟踪以及红外目标识别模块，红外目标检测、红外目标跟踪以及红外目标识别三个模块的输出通过板卡间令牌总线上的FIFO进行传送；最后结果以及原始图像数据通过主机的总线送到图像与结果显示部分，图像与结果显示部分将灰度分布0～2¹⁴的源图像映射为灰度分布为0～2⁸的图像并进行显示。

2、如权利要求1的红外目标检测跟踪与识别***，其特征在于所述的红外目标检测模块采用基于椭圆抛物面体积的图像预处理方法提高红外目标图像的信噪比，然后通过设置门限，经过假设检验得到检测结果，红外目标跟踪采用当前统计模型以及卡尔曼滤波算法跟踪真实目标，红外目标识别模块采用种子点区域生长的方法进行目标图像分割处理后进行特征提取和分类。