CN100498821C - 运动背景的红外图像实时目标识别与***及方法 - Google Patents

Abstract

本发明提供的是一种运动背景的红外图像实时目标识别与***及方法。包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分。采用红外热像仪采集数字化的红外图像，采用伺服控制部件控制搜索和跟踪视场内目标，采用红外图像信号处理部件实时地检测、识别与跟踪目标，采用1553B总线与上位机通信构成红外图像跟踪结果显示。能检测15公里以上的景深范围，能进行±18°度的大角度搜索和2°～6°度的小角度精确跟踪。具有检测距离远、探测范围广、定位精度高、识别能力强、实时目标跟踪、全天候工作等特点。

Description

运动背景的红外图像实时目标识别与***及方法

技术领域：

本发明涉及一种运动背景的红外图像实时目标识别与***。本发明还涉及一种识别与跟踪方法。

背景技术：

随着红外探测器技术的发展，热像仪从过去采用有限探测元探测器加光机扫描***发展成为不用光机扫描的凝视型成像装置，并向凝视焦平面高密集探测元、大阵列尺寸、多光谱、高探测率方向发展。基于凝视焦平面阵列的红外热成像探测***，无论从温度灵敏度和空间分辨率上，还是从帧频和光谱响应上，都有了极大的提高。由于焦平面凝视热像仪所独有的优良特性，已成为世界各国大力研发的一项高新技术。作为智能化信息处理的关键环节之一，红外成像目标检测、识别与跟踪技术一直是困扰和制约红外成像探测使用性能的瓶颈问题和技术难点而亟待解决。目前已引起国内外专家的高度重视，并围绕这一课题开展了深入和广泛的研究。

在运动背景的红外图像实时目标检测、识别与跟踪过程中，需要尽早、尽快地检测并锁定待识别目标，但是对于运动背景下的红外目标检测、识别与跟踪还存在着许多技术难题，这些技术难题主要有：

1.背景运动，即探测器的移动致使图像晃动，同时目标有可能偏移出探测器视场；

2.数据量大，传统的图像处理方法难以实时处理；

3.无法对大景深、远距离目标进行实时检测、识别与跟踪。

现有的红外热成像技术、实时图像处理技术和自动控制技术是完全成熟的，然而只有将这些技术有机的结合为一体并进行集中控制，才能使其成为一个具有精度高、探测范围广、抗干扰能力强、快速检测和实时目标自动识别跟踪的运动背景的红外图像实时目标识别与***。

发明内容：

本发明的目的在于提供一种能够改善红外图像成像质量、提高红外目标检测识别与跟踪精度，达到实时处理与显示的运动背景的红外图像实时目标识别与***。本发明的另一目的在于提供一种基于本发明的运动背景的红外图像实时目标识别与***的识别与跟踪方法。

本发明的目的是这样实现的：包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分；红外成像探测部件由红外光学***、凝视焦平面阵列探测器组件、A/D采样电路组成；探测器串行输出信号经过A/D转换后，进入红外图像信号处理部件；所述红外图像信号处理部件的硬件包括由FPGA和双DSP构成的图像预处理模块和图像识别跟踪模块，图像预处理模块首先对红外探测器到来的信号进行去噪处理，在FPGA中进行中值滤波与形态学滤波，再将红外图像信号进行压缩处理，从DSP进行读写时序的控制、数据空间译码、图像分割阈值选择以及与探测器前端的通信功能，采用模糊最大指数熵法确定阈值后，在FPGA中进行实时图像分割，最后将结果送给双口RAM，两块双口RAM采用乒乓式存储结构，跟踪模块DSP对二值化图像进行识别与跟踪处理，采用基于递归的二值图像标记方法识别目标，通过标记孤立目标并进行几何特征分析，最终提取出目标，识别成功后转跟踪模式，图像跟踪采用基于目标外形特性的二值图像变分辨率分层搜索快速匹配方法，通过改进搜索空间和搜索策略，采用四像元金字塔分层图像，进行先粗后细的匹配，跟踪模块最终给出跟踪角误差，转换成RS-422电平，串行发送给伺服控制部件；伺服控制部件由速率陀螺及平台伺服控制***构成，红外成像器安装在陀螺稳定平台上，平台提供一个在空间稳定不变的方向基准，伺服控制部件接收红外图像信号处理部件输出的两路目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪，最后结果以及原始图像数据通过通信模块1553B总线上传给上位机，图像与结果显示部分将灰度分布在0～2¹⁴-1的图像映射为0～2⁸-1的图像进行显示。

所述的图像预处理模块采用基于FPGA的中值滤波和形态学滤波硬件实现图像预处理方法，然后通过采用模糊最大指数熵法确定阈值，进行图像分割处理，得到检测结果，图像识别跟踪模块采用基于递归的二值图像标记方法进行特征提取和分类，再利用目标外形特征进行变分辨率匹配目标跟踪。

本发明的创新点在于采用红外成像仪与高速的图像处理板以及伺服控制平台和通信模块，建立了一整套运动背景的红外目标实时检测识别与***。

本发明的红外目标检测识别与***，包括红外成像探测、红外图像信号处理、伺服控制平台和通信模块四个部分。其特征在于红外成像探测部件由红外光学***、凝视焦平面阵列探测器组件、A/D采样电路等组成。探测器串行输出信号经过A/D转换后，进入红外图像信号处理器。红外图像信号处理部件以现场可编程门阵列(FPGA)和高速数字信号处理器(双DSP)为硬件平台，完成红外图像预处理器与目标检测、识别与跟踪功能，并计算出目标的俯仰与方位误差角，送给伺服控制及通信模块进行跟踪控制及上位机结果显示。伺服控制部件由速率陀螺及平台伺服控制***构成，将红外成像器安装在陀螺稳定平台上，利用平台提供一个在空间稳定不变的方向基准，克服了红外探测器的运动使光轴产生的晃动，伺服控制部件接收红外图像信号处理部件输出的两路目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪，提高搜索范围与跟踪精度。最后结果以及原始图像数据通过通信模块1553B总线上传给上位机，图像与结果显示部分将灰度分布在0～2¹⁴-1的图像映射为0～2⁸-1的图像进行显示。

本发明的运动背景的红外图像实时目标识别与跟踪方法是：首先通过红外热像仪得到红外图像，通过数字输出差分RS422端口以及差分转换电路，将数字图像数据以及输出控制信号送到由FPGA和双DSP构成的图像预处理模块和图像识别跟踪模块组成的红外图像信号处理部件的FPGA数据输入端口，FPGA实时进行中值滤波和形态学滤波去噪、从DSP通过采用模糊最大指数熵法确定阈值，在FPGA内进行图像分割和数据压缩等预处理，再将检测结果二值图像数据送入双口RAM，为图像跟踪DSP提供图像处理数据，在主DSP中的红外目标识别模块采用基于递归的二值图像标记方法识别目标，通过标记孤立目标并进行几何特征分析，最终提取出目标，目标跟踪模块再利用目标外形特征进行变分辨率匹配目标跟踪，最终给出跟踪角度数据通过通信模块1553B总线上传给上位机显示。红外探测器在指定范围内(2°～6°)进行目标搜索，当在指定的视场内红外探测器无法搜索到目标时，则主DSP启动红外探测器进入搜索状态，搜索视场为±18°。当***检测出目标后，则锁定目标，进入跟踪状态，连续输出方位与俯仰角度给控制***。

本发明的红外目标检测识别与***具有如下有益效果：

本发明的红外目标检测识别与***是基于先进凝视焦平面阵列的被动红外探测器，具有作用距离远、探测范围广、定位精度高、识别能力强、实时目标跟踪、全天候工作等优点，对于应用***的后续处理工作具有重要意义和使用价值。

附图说明：

图1为本发明的红外目标检测识别与***结构原理图。

图2为本发明的红外成像仪的输出信号的时序。

图3、4、5是本发明的第一组效果比较图像；其中：图3是飞机实拍地面图像；图4是经过预处理和图像分割后的二值化图像；图5是经过标记与几何特征分析检测到的目标图像。

图6、7、8是本发明的第二组效果比较图像；其中：图6是狮型建筑灰度图像；图7是狮型建筑二值图像；图8-1、图8-2、图8-3是快速匹配跟踪用的多分辨率模板。

图9、10、11、12是本发明的第三组效果比较图像，是不同距离下识别的目标建筑跟踪结果；其中：图9是距离目标7000米；图10是距离目标3500米；图11是距离目标1000米；图12是距离目标500米。

具体实施方式：

以下结合附图举例本发明的技术方案作进一步描述。

本发明的实施例中，利用高性能红外成像仪分别拍摄到图3和图6的对地目标。采用本发明进行的红外目标检测、识别与跟踪，各部分具体实施细节如下：

结合图1，红外目标检测跟踪与识别器由四个部分组成：包括红外成像探测、红外图像信号处理、伺服控制平台和通信模块四个部分。高性能红外成像仪所采用的红外成像前端是法国Sofradir公司生产的320×256中波制冷焦平面探测器。该红外成像仪有两个输出端口和一个串行通信端口。两个输出端口其中的一个是用于视频输出，利用一台视频监视器可以观察红外成像仪输出的视频模拟图像；另一个输出端口是差分信号RS422数字输出。串行通信端口与主机相连，主要作用是调节红外成像仪的性能，如：调节数字图像的输出速率(50帧/秒、100帧/秒)，调节图像的积分时间以及校正图像以使成像效果达到最佳。

红外摄像头的数字输出格式是采用RS422差分信号，这种信号可以抑制传输过程中信号之间产生的共模干扰，进行长距离传输。端口输出14位数据和4位控制信号。4位控制信号分别为像素时钟信号、场复位信号、行使能信号和场使能信号。为保证数据在较低的传输误码率情况下进行传输，必须根据这些控制信号进行时序分析和硬件电路设计。红外探测器图像信号时序关系如图2所示。

红外图像信号处理部件的硬件包括由FPGA和双DSP构成的图像预处理模块和图像识别跟踪模块。预处理模块首先对红外探测器到来的信号进行去噪处理，在FPGA中进行中值滤波与形态学滤波实现去噪，再将红外图像信号进行压缩处理，将14位有符号图像数据处理成8位无符号图像数据。从DSP进行读写时序的控制、数据空间译码、图像分割阈值选择以及与探测器前端的通信功能。采用模糊最大指数熵法确定阈值后，在FPGA中进行实时图像分割，最后将结果送给双口RAM，为后续跟踪模块处理提供二值化图像。两块双口RAM采用乒乓式存储结构，保证图像处理实时性。跟踪模块DSP对二值化图像进行识别与跟踪处理，采用基于递归的二值图像标记方法识别目标，通过标记孤立目标并进行几何特征分析，最终提取出目标。识别成功后转跟踪模式，图像跟踪采用基于目标外形特性的二值图像变分辨率分层搜索快速匹配方法，通过改进搜索空间和搜索策略，采用四像元金字塔分层图像，进行先粗后细的匹配，再不损失跟踪精度的前提下，运算速度得到提高。跟踪模块最终给出跟踪角误差，转换成RS-422电平，串行发送给伺服控制部件。

伺服控制部件由速率陀螺及平台伺服控制***构成，将红外成像器安装在陀螺稳定平台上，利用平台提供一个在空间稳定不变的方向基准，克服了红外探测器的运动使光轴产生的晃动，伺服控制部件接收红外图像信号处理器输出的两路目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪。采用伺服控制装置控制搜索和跟踪视场，真正实现红外图像探测器对目标的实时的检测、识别与跟踪。

通信模块采用1553B总线上传红外图像以及图像信号处理后跟踪结果显示。显示部分采用C语言编程。

如图3、4、5所示，图3是飞机实拍地面图像，图4是经过预处理和图像分割后的二值化图像，图5是经过标记与几何特征分析检测到的目标图像。如图6、7、8所示，图6是狮型建筑灰度图像，图7是狮型建筑二值图像，图8-1、图8-2、图8-3是快速匹配跟踪用的多分辨率模板。如图9、10、11所示，不同距离下识别的目标建筑跟踪结果，图9距离目标7000米，图10距离目标3500米，图11距离目标1000米，图12距离目标500米。目标检测概率能够达到99％，虚警概率为0.1％；目标的识别正确率为95％，目标的跟踪概率可以达到96％。整个算法在红外图像信号处理部件上的运行时间可以达到每秒钟50帧的实时效果。可以看出，本发明具有搜索范围广、探测距离远、定位精度高、识别能力强、实时目标跟踪、全天候工作等优点。

Claims (3)

1、一种运动背景的红外图像实时目标识别与***，其特征是：包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分；红外成像探测部件由红外光学***、凝视焦平面阵列探测器组件、A/D采样电路组成；探测器串行输出信号经过A/D转换后，进入红外图像信号处理部件；所述红外图像信号处理部件的硬件包括由现场可编程门阵列和双DSP构成的图像预处理模块和图像识别跟踪模块，图像预处理模块首先对红外探测器到来的信号进行去噪处理，在现场可编程门阵列中进行中值滤波与形态学滤波，再将红外图像信号进行压缩处理，从DSP进行读写时序的控制、数据空间译码、图像分割阈值选择以及与探测器前端的通信功能，采用模糊最大指数熵法确定阈值后，在现场可编程门阵列中进行实时图像分割，最后将结果送给双口RAM，两块双口RAM采用乒乓式存储结构，跟踪模块DSP对二值化图像进行识别与跟踪处理，采用基于递归的二值图像标记方法识别目标，通过标记孤立目标并进行几何特征分析，最终提取出目标，识别成功后转跟踪模式，图像跟踪采用基于目标外形特性的二值图像变分辨率分层搜索快速匹配方法，通过改进搜索空间和搜索策略，采用四像元金字塔分层图像，进行先粗后细的匹配，跟踪模块最终给出跟踪角误差，转换成RS-422电平，串行发送给伺服控制部件；伺服控制部件由速率陀螺及平台伺服控制***构成，红外成像器安装在陀螺稳定平台上，平台提供一个在空间稳定不变的方向基准，伺服控制部件接收红外图像信号处理部件输出的两路目标角误差信息，经功率放大器形成控制电流给力矩电机，力矩电机输出与目标角误差成比例的力矩作用给平台台体，最终形成对目标的两自由度跟踪，最后结果以及原始图像数据通过通信模块1553B总线上传给上位机，图像与结果显示部分将灰度分布在0～2¹⁴-1的图像映射为0～2⁸-1的图像进行显示。

2、一种基于运动背景的红外图像实时目标识别与***的识别与跟踪方法，其特征是：首先通过红外热像仪得到红外图像，通过数字输出差分RS422端口以及差分转换电路，将数字图像数据以及输出控制信号送到由现场可编程门阵列和双DSP构成的图像预处理模块和图像识别跟踪模块组成的红外图像信号处理部件的现场可编程门阵列数据输入端口，现场可编程门阵列实时进行中值滤波和形态学滤波去噪、从DSP通过采用模糊最大指数熵法确定阈值，在现场可编程门阵列内进行图像分割和数据压缩预处理，再将检测结果二值图像数据送入双口RAM，为图像跟踪DSP提供图像处理数据，在主DSP中的红外目标识别模块采用基于递归的二值图像标记方法识别目标，通过标记孤立目标并进行几何特征分析，最终提取出目标，目标跟踪模块再利用目标外形特征进行变分辨率匹配目标跟踪，最终给出跟踪角度数据，并通过通信模块1553B总线上传给上位机显示；红外探测器在指定的2°～6°范围内进行目标搜索，当在指定的视场内红外探测器无法搜索到目标时，则主DSP启动红外探测器进入搜索状态，搜索视场为±18°；当***检测出目标后，则锁定目标，进入跟踪状态，连续输出方位与俯仰角度给控制***。

3、如权利要求2的所述的基于运动背景的红外图像实时目标识别与***的识别与跟踪方法，其特征是：图像预处理模块采用基于FPGA的中值滤波和形态学滤波硬件实现图像预处理方法，然后通过采用模糊最大指数熵法确定阈值，进行图像分割处理，得到检测结果；图像识别跟踪模块采用基于递归的二值图像标记方法进行特征提取和分类，再利用目标外形特征进行变分辨率匹配目标跟踪。

Images