CN103679134A - 一种对海目标红外成像识别装置 - Google Patents

Abstract

本发明公开了一种对海目标红外成像识别装置，包括：主处理板和显示板，所述主处理板包括图像收发模块（101）、总线控制模块、数字信号处理器模块、图像数据存储模块、通信接口模块、非均匀性校正片上***（SoC）、多级滤波专用集成电路（ASIC）、标记专用集成电路（ASIC），完成图像的预处理和目标的识别与跟踪，所述显示板包括图像收发模块（102）、图像实时显示控制模块、显示数据存储模块。本发明有效地保证了动平台上对海目标自动目标识别的实时性、稳定性和可靠性，同时由于SoC/ASIC的运用，有效地降低了装置的功耗。

Description

一种对海目标红外成像识别装置

技术领域

本发明涉及一种图像识别装置，具体涉及一种对海目标红外成像识别装置，用于动平台对海目标红外成像识别与跟踪。

背景技术

目标识别的流程一般为：先采集目标场景数据，然后对采集到的数据做预处理，以降低背景杂波，最后对预处理后的图像进行目标检测识别跟踪。对于多元线阵或焦平面红外成像，在预处理阶段还必须进行非均匀性校正以消除各敏感元响应曲线不一致对成像的影响。

在复杂海天背景中，有动态起伏的波浪，太阳亮带，云层等干扰。而在远距离红外目标成像中，红外传感器接收到的目标强度较弱，目标主要表现为点目标或斑状目标，没有明显的轮廓和结构特征，可利用的信息主要为目标的灰度和运动信息。因此，海天背景下的红外成像目标识别需要在背景杂波复杂且动态变化，图像信噪比低的情况下，实现目标准确检测和稳定跟踪。

目标识别的准确性主要集中在图像预处理、背景抑制和目标检测，目的是减少背景对目标的干扰。目前已有很多经典的算法被广泛使用，如用于图像预处理的平滑、非均匀性校正、旋转等，用于背景抑制的均值滤波、中值滤波、高斯滤波、形态学滤波、拉普拉斯算子等，用于目标检测的最佳全局和自适应门限算法、分水岭算法、自适应阈值方法、二值图像中找轮廓线的方法、标记、中心矩、矩阵的最小特征值、Harris、边缘周长、边缘面积、角点检测、方框滤波、Harr小波、霍夫变换、模板匹配、边缘比较等。

目标跟踪的稳定性主要体现为在单目标场景中能够稳定跟踪，在多目标场景中能够不受其他目标的干扰。用于目标跟踪的算法包括Canny算子、卡尔曼滤波、meanshift算法、仿射变换、透视变换等。

动平台海天背景下实现红外成像自动目标识别必须具有高计算能力和高灵活性并行结构的处理机。处理机应具有如下特点：（1）实时性。要求***在高帧频图像输入时，能够在最小时延内输出结果。动平台都具有一定的速度，做到实时的目标识别才能保证平台在运动中对目标更精准的定位。保证实时性的途径，一是要求算法能够在尽可能短的时间内处理完数据，二是减少数据在传输链路上的延时。（2）低功耗。要求***在实现同样的或更为复杂的算法时，降低***的能耗。动平台由于其运动特性，所能携带的电能量有限，需要尽可能降低能量消耗为更长的工作时间提供保障。降低功耗的一般方法为选择低功耗的芯片，在满足实时性的要求下降低***处理频率。（3）小型化。要求***实现同样或更多功能时，***物理尺寸更小。动平台通常都有体积限制，小型化意味着体积和重量更小，能够为平台节省更多空间。减小***物理尺寸可根据要求选择合适的芯片封装，同时对芯片进行合理布局。（4）可扩展性。要求***在功能和结构上具备可扩展性，便于***功能的升级。这就要求***的设计具有较高的前瞻性，能够在不改变当前***结构的情况下通过嵌入扩展处理单元实现性能的提升。

现有技术还难以达到上述要求。传统的图像处理***架构主要是以FPGA和DSP为主的同构设计。同构设计便于使用且适合实现通用功能，但这些优点以性能和效率为代价，在设计和使用过程中需要耗费更多的资源。DSP将承担更多的算法处理任务，从而导致整体效率不高，功耗和实时性上达不到理想效果。

发明内容

针对现有技术的不足，本发明的目的在于提出一种对海目标红外成像识别装置，基于多DSP+多ASIC/SoC架构的异构设计，用于动平台红外成像对海目标自动识别装置。

为了解决以上技术问题，本发明采用的技术方案如下：

一种对海目标红外成像识别装置，包括主处理板和显示板，并且，所述主处理板包括第一图像收发模块（101）、总线控制模块、数字信号处理器模块、图像数据存储模块、通信接口模块、非均匀性校正片上***、多级滤波专用集成电路、标记专用集成电路；所述显示板包括第二图像收发模块（102）、图像实时显示控制模块、显示数据存储模块，其中，

所述第一图像收发模块（101）完成数据传输格式的转换，将输入低压差分信号（LVDS）转换为并行信号，将输出并行信号转换为低压差分信号，再将低压差分信号转换为光信号，并将所述光信号发送到所述第二图像收发模块（102）；

所述总线控制模块完成数据处理流程的控制，用于所述数字信号处理器模块与所述非均匀性校正片上***、多级滤波专用集成电路和标记专用集成电路之间的数据传输；

所述数字信号处理模块包括主数字信号处理器和从数字信号处理器，所述主数字信号处理器和从数字信号处理器工作在并行模式或串行模式，协同完成图像的分割和目标的识别与跟踪处理算法，并直接输出目标的轮廓、坐标等信息；

所述图像数据存储模块用于缓存所述多级滤波专用集成电路的输出结果，同时为所述数字信号处理器模块提供数据和程序存储空间；

所述通信接口模块为目标信息的输出提供标准的RS422串行传输协议；

所述非均匀性校正片上***完成对输入图像的场景自适应非均匀性校正；

所述多级滤波专用集成电路实现背景抑制和目标增强处理；

所述标记专用集成电路完成连通区域的标记处理；

所述第二图像收发模块（102）实现将输入光信号转换为低压差分信号，再将低压差分信号转换为并行信号，将输出并行信号转换为模拟视频信号；

所述图像实时显示控制模块完成同时对4幅不同图像的实时显示控制；

所述显示数据存储模块完成待显示数据的缓存。

本发明的有益技术效果为：采用模块化设计思想，结构灵活，满足模块化、小型化、低功耗设计要求，具有高可靠性和实时性强的特性，可以有效地应用于复杂红外成像海天背景下的对海目标自动识别与跟踪。

附图说明

图1为本发明对海目标红外成像识别装置结构框图；

图2为本发明对海目标红外成像识别装置的一个实例硬件连接框图；

图3为本发明对海目标红外成像识别装置的一个实例主处理板原理图；

图4为本发明对海目标红外成像识别装置的数据总线结构；

图5为本发明对海目标红外成像识别装置的非均匀性校正算法结构；

图6为本发明对海目标红外成像识别装置的多级滤波算法结构；

图7为本发明对海目标红外成像识别装置的标记算法流程；

图8为本发明对海目标红外成像识别装置的整体算法流程；

图9为图8中模块1展开流程；

图10为图8中模块2展开流程；

图11为本发明对海目标红外成像识别装置的一个实例显示板原理图；

图12为本发明对海目标红外成像识别装置的一个实例板间连接原理图；

图13为本发明对海目标红外成像识别装置的一个实例扩展处理板原理图；

图14为本发明对海目标红外成像识别装置的一个实例扩展处理板扩展连接原理图。

具体实施方式

下面通过附图以及对附图的详细说明，对本发明所述对海目标红外成像识别装置的技术方案做进一步的描述。

图1为本发明对海目标红外成像识别装置结构框图。如图1所示，所述装置包括：一块主处理板和一块显示板，所述主处理板包括图像收发模块101、总线控制模块、数字信号处理器模块、图像数据存储模块、通信接口模块、非均匀性校正片上***SoC、多级滤波专用集成电路ASIC、标记专用集成电路ASIC，主要完成图像的预处理和目标的识别与跟踪，所述图像收发模块101完成数据传输格式的转换，将输入低压差分信号转换为并行信号，将输出并行信号转换为低压差分信号，再将低压差分信号转换为光信号，并将所述光信号发送到图像收发模块（102），所述总线控制模块完成数据处理流程的控制，用于所述数字信号处理器模块与所述非均匀性校正片上***、多级滤波专用集成电路和标记专用集成电路之间的数据传输，所述数字信号处理模块实现图像的分割和目标的识别与跟踪处理算法，并直接输出目标的轮廓、坐标等信息，所述图像数据存储模块用于缓存所述多级滤波ASIC的输出结果，同时为所述数字信号处理器模块提供数据和程序存储空间，所述通信接口模块为目标信息的输出提供标准的RS422串行传输协议，所述非均匀性校正SoC完成对输入图像的场景自适应非均匀性校正，所述多级滤波ASIC实现背景抑制和目标增强处理，所述标记ASIC完成连通区域的标记处理，所述显示板包括图像收发模块102、图像实时显示控制模块、显示数据存储模块，所述图像收发模块102实现将输入光信号转换为低压差分信号，再将低压差分信号转换为并行信号，将输出并行信号转换为模拟视频信号，所述图像实时显示控制模块完成同时对4幅不同图像的实时显示控制，所述显示数据存储模块完成待显示数据的缓存。

图2为本发明对海目标红外成像识别装置的一个实例硬件连接框图。如图2所示，所述实例装置包括：图像输入接口接插件201，现场可编程门阵列FPGA202，配置只读存储器PROM203，场景自适应非均匀性校正SoC204，多级滤波小目标检测ASIC205，标记ASIC206，双端口随机存储器DPRAM207，数字信号处理器DSP208，数字信号处理器DSP209，闪存Flash210，同步动态随机存储器SDRAM211，闪存Flash212，同步动态随机存储器SDRAM213，RS422电平转换芯片214，并行转串行数据转换芯片215，光纤传输模块216，光纤传输模块217，串行转并行数据转换芯片218，现场可编程门阵列FPGA219，双端口随机存储器DPRAM220，视频显示芯片221；

所述图像输入接口接插件201提供外部数据输入到处理板的物理连接端口，将红外图像输入现场可编程门阵列FPGA202；

所述现场可编程门阵列FPGA202用于对接收到的原始图像进行处理流程控制。先将原始图像输出到场景自适应非均匀性校正SoC204，并接收非均匀性校正结果，同时原始图像还被发送到所述显示板进行显示；然后再将非均匀性校正结果图像输出到多级滤波小目标检测ASIC205，并接收滤波结果；滤波结果图像将存储到双端口随机存储器DPRAM207中待发送到数字信号处理器DSP208进一步图像分割处理，同时也将被发送到所述显示板进行显示。发送到所述显示板进行显示的图像都将经过现场可编程门阵列FPGA202做8B/10B编码后发送至并行转串行数据转换芯片215做串行化处理，再发送到所述显示板；

所述配置只读储存器PROM203是一种非易失性存储器，用于存储现场可编程门阵列FPGA202的配置文件数据；

所述场景自适应非均匀性校正SoC204是一种专用集成电路，用来对成像器输出的图像进行非均匀性校正，以去除坏元、滤除电噪声等非均匀性问题；

所述多级滤波小目标ASIC205是一种专用集成电路，用来对经过非均匀性校正后的图像进行多级滤波处理，达到抑制背景，增强前景疑似目标的目的；

所述标记ASIC206是一种专用集成电路，用来对经过所述数字信号处理器DSP208，209分割后的图像进行二值连通域标记，达到标记出疑似目标的目的；

所述双端口随机存储器DPRAM207有两个数据端口，每个端口都可以独立地进行读写操作，用来缓存多级滤波后的图像，供所述数字信号处理器DSP208进行直接存储访问操作；

所述数字信号处理器DSP208为主DSP，实现目标的检测识别与跟踪功能，输出处理的最终结果，同时还负责处理流程的调度。所述数字信号处理器DSP209为从DSP，实现目标检测识别与跟踪功能，配合数字信号处理器DSP208完成部分处理任务。当数字信号处理器DSP208的运算能力难以实现处理功能或无法满足实时性要求时，数字信号处理器DSP208将部分处理任务分配给数字信号处理器DSP209进行协同处理。数字信号处理器DSP208与数字信号处理器DSP209通过EMIF接口实现图像数据传输，传输通道由现场可编程门阵列FPGA202实现。数字信号处理器DSP208与数字信号处理器DSP209的控制信息分别通过自身的McBSP0和McBSP1接口传输。数字信号处理器DSP208还通过自身的McBSP1接口将最终处理结果发送至RS422电平转换芯片214；

所述闪存210和闪存212均为非易失性存储器，分别为数字信号处理器DSP（208）和数字信号处理器DSP209提供程序存储空间和参数存储空间；

所述同步动态随机存储器SDRAM211和同步动态随机存储器SDRAM213为易失性存储器，需要定时刷新，其访问速度快，分别为数字信号处理器DSP208和数字信号处理器DP209）提供数据存储空间，用于存储中间处理结果；

所述RS422电平转换芯片214将数字信号处理器DSP208输出的串行信号转换成RS422标准的电平信号发送至伺服***或上位机；

所述并行转串行数据转换芯片215将需要显示的图像并行数据转换成低压差分信号LVDS送至光纤传输模块216；

所述光纤传输模块216接收并行转串行数据转换芯片215生成的低压差分信号，然后将电信号转换成光信号通过光纤发送至显示板。显示板的光纤传输模块217接收处理板发送的光信号，并经过光信号到电信号的转换，输出低压差分信号到串行转并行数据转换芯片218。串行转并行数据转换芯片218将低压差分信号还原成并行图像数据，输出给现场可编程门阵列FPGA（219）进行显示控制；

所述现场可编程门阵列FPGA219将输入图像数据先进行8B/10B解码，后存入双端口随机存储器DPRAM220，并按照PAL-D制式进行输出格式控制；

所述视频显示芯片221将待显示的并行图像数据数字信号转换成模拟信号发送至显示器进行显示。

图3为本发明对海目标红外成像识别装置的一个实例主处理板原理图。

所述主处理板主要功能：接收图像，按照总线控制模块的设计处理流程分别对图像进行场景自适应非均匀性校正、多级滤波小目标检测处理、图像分割处理、二值连通域标记、目标检测与跟踪，并将目标信息发送至上位机或外部其他设备，中间图像及结果图发送至显示板进行显示等。

处理板数据流程：处理板通过FPGA315内部的收图模块301从上位机接收红外序列图像数据；FPGA315内部的非均匀性校正控制模块302将接收到的图像发送到片外处理非均匀性校正SoC303进行校正处理，首次校正所使用的参数预先存储在主DSP316的外部Flash317中。由于Flash317还需存储主DSP316的程序，故通过地址译码控制，将Flash分为2个存储空间，分别映射在主DSP（316）的EMIFB的CE1和CE2空间，其中CE1空间用于存储主DSP（316）的程序，CE2空间用于存储校正参数；

***启动后将校正参数全部读入到SDRAM318中，然后根据***运行的不同阶段将更新和加载不同的校正参数，将其写入FPGA315内部的非均匀性校正控制模块302，使其进行校正处理控制；校正处理完成后，将校正处理后的数据一路送多级滤波小目标检测ASIC305处理。经多级滤波小目标检测ASIC305滤波后的图像通过DPRAM306的A端口写入。在输入图像帧与帧的间隙期间，主DSP316采用DMA方式从DPRAM306的B端口读出所需要的滤波图像数据，并对图像进行分割等处理；

在不需要多级滤波小目标检测ASIC305进行多级滤波时，校正后的图像直接从DPRAM306的B端口写入，写入完毕后由主DSP316采用DMA方式从DPRAM306的B端口读出所需要的图像数据。由于DPRAM306的B端口既要能写入校正图像，又要分别被主DSP316和从DSP319读出图像数据，因此，在FPGA315内部还需要设置1个总线开关，根据读/写命令和状态标志进行总线方向切换。校正控制模块302的写入命令优先，总线开关模块检测到该写入命令，即将内部的ARDY_A和ARDY_B置低，该信号分别接至主DSP316和从DSP319的GPIO或EXT_INT上，这样，如果，DSP可以通过检测该标志位状态，确定何时可以读数据；如果主DSP316正在读取数据，则ARDY_B被置低，从DSP319只有检测到该状态为高后才能读取数据，FPGA315内部的总线开关即可根据读写命令和各标志位进行总线切换。DPRAM306的B端口均映射为主DSP316和从DSP319的EMIFA_CE2空间；

所述主处理板上的两个DSP有两种工作方式：

（1）并行模式：两个DSP运行相同的处理算法，每个DSP处理图像的一半，最终处理结果统一由主DSP316返回给上位机并传送图像到显示板显示；

（2）串行模式：即两个DSP顺序工作，主DSP316完成图像处理的一部分工作，再通过FIFO313将图像传给从DSP319，从DSP319处理完成后将结果通过FIFO312送回主DSP316，主DSP316算出最终结果，并把结果传给上位机并同时把图像传给显示板显示；

如果处理板的主DSP316能完成全部的算法任务，那么它可以在任务完成后将处理结果经McBSP1送往上位机，将结果图送往显示板；

如果主DSP316只做部分算法任务，则通过McBSP0通知从DSP319协同处理，从DSP319接到通知后，可在图像接收间隙，从DPRAM306的B端口或者FPGA315内部的FIFO313获取图像数据，然后进行算法处理，并将最终结果图通过FPGA315内部的FIFO312传回主DSP316，主DSP316作最后处理，将处理结果送往上位机和显示板。主DSP316和从DSP319之间的FIFO通道均映射为主DSP316和从DSP319的EMIFA_CE3空间。

图4为本发明对海目标红外成像识别装置的数据总线结构。如图4所示，本发明所述装置内部主要存在两条数据总线：一条为连接图像输入、非均匀性校正SoC和多级滤波ASIC的单向数据总线；一条为连接主DSP、从DSP、标记ASIC和图像输出的双向数据总线；

图1中所述总线控制模块即为图4中1-6数据控制点所需的控制逻辑，对应图3所示实例主处理板上的非均匀性校正控制模块302、多级滤波控制模块303、FIFO212、FIFO313、标记控制模块308和数据交换控制模块307构成的总线控制逻辑；

所述总线控制模块分别通过对1-6数据控制点进行开启或关闭来实现数据处理流程的控制，按照常规处理流程，其对应控制流程如下：

（1）图像输入后，开启1、6控制点，关闭其它控制点，其功能为对输入图像做非均匀性校正处理，同时输出原始图像进行显示；

（2）非均匀性校正SoC开始输出时，开启2控制点，开始进行多级滤波处理；

（3）当图像输入结束，关闭6控制点，当非均匀性校正处理结束，关闭1控制点；

（4）当多级滤波处理结束，开启3控制点，主DSP通过DMA方式读取滤波图像，同时打开6控制点，输出滤波图像进行显示；

（5）当滤波图像输出完毕，关闭2、6控制点；

（6）主DSP可选择是否进行双DSP协同处理，若需要协同处理，则同时打开3、4控制点，主DSP向从DSP发送待处理数据，从DSP处理完毕后将处理结果发送回主DSP；

（7）当DSP处理完数据需要进行标记时，打开3、5、6控制点，关闭其它控制点，主DSP向标记ASIC发送待标记图像，同时将分割后的图像进行显示；

（8）主DSP向标记ASIC发送完分割图像后，关闭6控制点，待标记结束后，主DSP接收标记ASIC发回的标记结果，接收完毕后关闭5控制点；

（9）主DSP可选择是否进行双DSP协同处理，若需要协同处理，则同时打开3、4控制点，主DSP向从DSP发送待处理数据，从DSP处理完毕后将处理结果发送回主DSP；

（10）当处理结束，关闭4控制点，打开6控制点，输出目标跟踪图像进行显示，输出完毕后，关闭所有控制点，等待下一帧图像输入，从步骤（1）开始重复执行控制流程。

上述为常规处理流程，在实际处理过程中可对处理流程进行适当的剪裁，如在近距离自动目标识别时，由于目标相对较大，非均匀性和背景噪声对目标的影响较小，可直接关闭1、2控制点，提高处理实时性，或当输入图像分辨率、帧频较小时，仅需主DSP即可完成处理任务，可将4控制点关闭以降低功耗；

图5为本发明对海目标红外成像识别装置的非均匀性校正算法结构，包括预处理、校正、迭代步长调整和增益校正系数更新四个环节：

（1）校正预处理环节

该环节只在一个新的序列图开始校正之前执行一次，为实时校正准备均匀辐照的背景帧和坏元模板。

首先，在实时校正前，盖上探测器的镜头盖子或者将探测器对着无目标的均匀场景成像若干帧。假设采集到均匀辐照的图像M帧，对这M帧图像进行时域平均，得到最终背景帧图像B(φ₀)，其空间平均值为

。接着，利用改进后的基于场景的动态无效像元检测算法结合背景帧B(φ₀)进行无效像元检测，将检测结果存放于BC_Self中，完成校正预处理工作。此处所使用的改进后的无效像元检测算法对x、y方向分别统计一维线性外推算子，然后利用两个方向的信息综合判别无效像元，这样可以适应两相邻像素均为无效像元的情况。

（2）校正环节

在坏元模板BC_Self的指导下，需要分别对有效像元和无效像元进行处理。对于无效像元，一般都采用相邻有效像元输出的空间插值来代替，即：

$Y_{i,j}^n\left(\mathrm{\φ}\right)=\frac{Y_{i-1,j}^n\left(\mathrm{\φ}\right)+Y_{i,j-1}^n\left(\mathrm{\φ}\right)}{2}$

其中，

为当前无效像元的上邻域像素值，为其左邻域像素值。由于预先对无效像元进行了替换处理，后面各种结果的计算不包括无效像元。

现假设输入第n帧原始图像Vⁿ(φ)，其(i,j)位置像素灰度值为

增益校正系数的初始值为

将

减去最终背景帧对应位置的灰度值B_i,j(φ₀)，即：

$X_{i,j}^n\left(\mathrm{\φ}\right)=V_{i,j}^n\left(\mathrm{\φ}\right)-B_{i,j}\left({\mathrm{\φ}}_0\right)$

只与探测元的增益系数有关，而与偏移系数无关，也意味着输出信号仅受到由于增益非均匀性所导致的非均匀性噪声。

输入第n帧中间结果

利用第n-1帧计算得到的增益校正系数

对进行增益校正并输出

$Y_{i,j}^n\left(\mathrm{\φ}\right)=G_{i,j}^n\·X_{i,j}^n\left(\mathrm{\φ}\right)+\stackrel{\‾}{B\left({\mathrm{\φ}}_0\right)}$

（3）迭代步长调整

自适应方法中普遍存在的伪像问题，主要是由于场景信息长期静止后，又突然运动起来，而在原来的位置保留下由于自适应迭代过程中所携带的原来长期静止的场景信息。也即是不同区域的信号能量利用相同方法更新校正系数，而空间平均、时间迭代又使得不同区域边缘能量不断发生扩散，原来目标静止位置的校正系数随着目标静止时间的增加而不断降低，当目标迅速移开，在原目标静止位置的校正系数异常，使得校正后的信号在此位置出现比背景暗的伪像。因此要解决伪像问题，一定要在系数迭代更新的过程中加入运动信息，利用运动信息来指导系数的迭代过程。

所述非均匀性校正SoC研究的新算法把场景的运动方差作为迭代步长的正比信息，在场景运动充分时，增大迭代步长，在场景运动缓慢时，减小迭代步长，从而自适应地控制了校正系数更新速度。迭代步长具体更新过程为：

${\mathrm{\μ}}_{\mathrm{ij}}^{\′}={\mathrm{\σ}}_{\mathrm{ij}}^2{\mathrm{\μ}}_{\min }$

${\mathrm{\&mu;}}_{\mathrm{ij}}^n=\left\{\begin{array}{c}{\mathrm{\&mu;}}_{\mathrm{ij}}^{\&prime;};{\mathrm{\&mu;}}_{\mathrm{ij}}^{\&prime;}<{\mathrm{\&mu;}}_{\max }\\ {\mathrm{\&mu;}}_{\max };{\mathrm{\&mu;}}_{\mathrm{ij}}^{\&prime;}\&GreaterEqual;{\mathrm{\&mu;}}_{\max }\end{array}\right.$

其中，为(i,j)像素的运动方差。为了保证算法能够收敛，分别设置了最大迭代步长μ_max和最小迭代步长μ_min。μ_max是在传统神经网络法中能够保证校正系数迅速收敛且校正结果没有超出有效范围的迭代速度，而μ_min是保证校正系数缓慢收敛的迭代速度。

（4）增益校正系数更新环节

增益校正系数的更新是结合运动信息和最陡下降法进行的，具体更新公式如下：

$G_{\mathrm{ij}}^{n+1}=\left\{\begin{array}{c}{G}_{\mathrm{ij}}^n-2{\mathrm{\&mu;}}_{\mathrm{ij}}^n{X}_{\mathrm{ij}}^n(Y_{\mathrm{ij}}^n-f_{\mathrm{ij}}^n);{\mathrm{\&sigma;}}_{\mathrm{ij}}^n\&le;\mathrm{th}\\ 1,{\mathrm{\&sigma;}}_{\mathrm{ij}}^n>\mathrm{th}\end{array}\right.$

其中

th为运动方差阈值，取值范围为

图6为本发明对海目标红外成像识别装置的多级滤波算法结构。所述多级滤波ASIC实现了三路滤波通道，第一路只是通过简单的1×3均值滤波与原始图像相减消除背景，然后再通过1×3均值滤波消除噪声，因此适应处理1×3的小目标。第二路和第三路分别增加了一级1×3的均值滤波，这样等效模板分别变为1×5，1×7，然后再与原始图像相减消除背景，最后都是通过1×3的均值滤波消除噪声。第二路和第三路中分别增加了插值和抽取运算，具体采用了图像高斯金字塔的系数。图中dl1，dl2和dl3延迟单元，r是***的寄存器，便于实现流水线处理；为了便于同时写入三个输出FIFO，三路末尾增加延迟寄存器dl1_out1/dl1_out2/dl1_out3，这样就可以同时写入三个FIFO，减少控制复杂度。fir5就是用于插值和抽取的滤波器；低通滤波电路用1×3均值滤波电路fir3实现。

图7为本发明对海目标红外成像识别装置的标记算法流程。

所述标记ASIC采用了易于硬件实现的多值图像连通域标记算法。该算法按照8连通准则判断相邻像素之间的连通性。如图所示，该算法主要分为三个步骤：

（1）图像初步标记：为每个像素赋予临时标记，并且将临时标记的等价关系记录在等价表中。

（2）整理等价表：

等价表整理操作，将具有等价关系的临时标记全部等价为其中的最小值；

等价表压缩操作，对连通区域以自然数顺序重新编号，该编号作为最终标记，在等价表中保存临时标记与最终标记之间的等价关系。

（3）对图像进行逐个像素的代换，把临时标记代换成最终标记。

经过以上3个环节的处理后，算法输出标记后的图像，图像中连通域按照由上到下，由左至右出现的顺序被按标以连续的自然数。

图8为本发明对海目标红外成像识别装置的整体算法流程。

***上电或复位时，***参数初始化。初始化完成后，等待并接收输入图像。待接收到一帧图像后，需要判断当前是处于检测状态还是跟踪状态。若是处于检测状态，则进入到检测函数，进行目标捕获处理；若是处于跟踪状态，则进入到跟踪函数，进行目标跟踪处理。

在目标检测状态，需要根据目标的大小进行不同的处理。若是大目标，则需对图像进行均值滤波，再进行阈值分割，最后得到二值标记图。均值滤波使用经典算法，采用如下3×3滤波模板：

1	1	1
			1	1	1
1	1	1

阈值分割同样采用经典分割方法，阈值＝（均值+标准差×系数）。若是小目标，则对图像进行多级滤波处理，再进行统计分割，最后进行二值图标记。

在目标检测状态经过二值图标记后需模块1计算检测目标链并与上帧图像捕获目标链进行关联匹配，最后刷新并检测捕获目标链。模块1详细流程见图9。

在目标跟踪状态，也需要根据目标大小进行不同处理。与目标检测状态不同的是，跟踪处理只需在波门内进行，而不用处理全图，其获得二值图标记结果的流程与检测状态一致。二值图标记结果需模块2计算波门内检测目标链，并与跟踪目标进行关联匹配，刷新目标链和跟踪波门。模块2详细流程见图10。

图9为图8中模块1展开流程。

图10为图8中模块2展开流程。

图9，图10流程图中已描述得很详细，此处不再赘述。

图11为本发明对海目标红外成像识别装置的一个实例显示板原理图。其功能比较简单，负责结果图像的显示，设计重点在于显示逻辑的生成。外部图像信号输入后，先由光-电模块1101将光信号还原成串行信号，再经过串转并模块1102将串行数据转换成并行数字信号送至FPGA1103内部图像接收模块1104，图像接收模块1104将图像解析出来后写入DPRAM1105。图像接收模块1104用于生成数据的写控制信号，其按照地址将DPRAM1105分成4个存储块，每个存储块可存储一幅图像，然后在写入图像时隙将待显示的4幅图像按照输入先后顺序写入DPRAM1105对应的存储块，写入完毕后通知显示逻辑1106进行读出显示控制。显示逻辑1106在读出图像时隙只需按照地址连续递增方式读取数据直至待显示图像数据读出完毕即可，这样便实现了4幅不同图像的同时显示。读书的显示数据被发送至显示芯片1107进行数模信号转换，将并行数据转换为标准的模拟视频信号送至监视器显示。

图12为本发明对海目标红外成像识别装置的一个实例板间连接原理图。显示板与主处理板之间可通过串行差分图像数据通道（测试通道）或光纤通道收发图像。主处理板和显示板之间的图像数据传输采用LVDS串行芯片实现。主处理板采用串行器芯片（1203）将并行图像数据变为串行的1对差分数据DO±，串行器的并行输入数据率设定为10bit×50M，则其对应的串行输出有效数据率为500Mbps（实际传输的数据率为12bit×50M=600Mbps，因为串行器对每个10bit数据自动增加1个起始位和1个停止位），因此，选用的光电模块（1204）的速率应该在600Mbps以上。串行器（1203）输入的10bit数据可以全为图像灰度值，亦可用8bit作图像灰度值，同时使用8B/10B编码得到10bit数据。对于16bit的图像，可按照高8位+低8位方式依次传送。

在使用光纤通道时，考虑到交流耦合和远距离传输情况，必须对传输的图像数据进行直流平衡编码，减少直流分量，增加交流成分，使0、1信号均匀分布，串行数据均匀跳变，从而有助于时钟的锁定。目前最流行的编码方式是8B/10B编码方式，即通过增加冗余位的方式，在1024个码字中选取合适的256个用于通信，达到将10位数据中实现0、1均匀分布的目的。

8B/10B编码目前通常采取查找表映射和计算相结合的方式实现。目前许多实现方法并不是直接对8B到10B进行编码，而是将其分解为3B/4B编码和5B/6B编码，在FPGA中实现时同样如此。

其中3B/4B编码可以由查找表实现，而对于5B/6B编码则采用计算的方式，根据选取的3B/4B编码，计算其RD（游码值，即统计的0（-1）、1个数绝对值），再由计算的到RD值，选择计算5B/6B编码。最后得到8B/10B编码。

本发明所述装置中的8B/10B编码对其进行了简化。由于设定数据有效位宽为10位，而光纤传输通道又必须采用8B/10B编码，故采取了将显示数据位宽降为8位（2位冗余编码位，2位内嵌时钟位）的措施，再将8位有效载荷分解位两个4位数据，然后对其分别进行4B/5B编码。由于4B/5B编码只有16种码字，可以很容易使用查表法实现；同时对于高4位和低4位，采用了正、反码方式，可以取得更好的效果。

具体码表如下所列：

4′b0000:DATA_OUT[4:0]<=5′b10100;//DATA0

4′b0001:DATA_OUT[4:0]<=5′b10010;//DATA1

4′b0010:DATA_OUT[4:0]<=5′b01010;//DATA2

4′b0011:DATA_OUT[4:0]<=5′b01001;//DATA3

4′b0100:DATA_OUT[4:0]<=5′b00101;//DATA4

4′b0101:DATA_OUT[4:0]<=5′b01011;//DATA5

4′b0110:DATA_OUT[4:0]<=5′b01101;//DATA6

4′b0111:DATA_OUT[4:0]<=5′b10101;//DATA7

4′b1000:DATA_OUT[4:0]<=5′b10110;//DATA8

4′b1001:DATA_OUT[4:0]<=5′b11010;//DATA9

4′b1010:DATA_OUT[4:0]<=5′b01110;//DATA10

4′b1011:DATA_OUT[4:0]<=5′b10001;//DATA11

4′b1100:DATA_OUT[4:0]<=5′b01100;//DATA12

4′b1101:DATA_OUT[4:0]<=5′b00110;//DATA13

4′b1110:DATA_OUT[4:0]<=5′b10011;//DATA14

4′b1111:DATA_OUT[4:0]<=5′b11001;//DATA15

左侧形如“4′bxxxx”的4位数据为待转换图像数据，右侧形如“5′bxxxxx”的5位数据为待传输的编码结果。

图13为本发明对海目标红外成像识别装置的一个实例扩展处理板原理图；所述扩展处理板与主处理板的不同之处在于：去掉了非均匀性校正SoC，去掉了多级滤波ASIC，去掉了标记ASIC，增加了收图模块中光-电转换模块和串行数据转并行数据模块，增加了RS422输入接口。

所述扩展处理板针对主处理板无法满足处理性能需求或无法实现更为复杂的算法时可用来弥补所述主处理板的能力缺陷；

所述扩展处理板完成所述主处理板完成非均匀性校正、多级滤波预处理及分割标记处理后剩余的处理任务，因此所述处理板可设计为一种较为通用的结构，基于此，所述主处理板输出结果均为中间目标信息和中间图像数据；

如图13所示，所述扩展处理板实例包括一片FPGA、两片DSP、一个图像数据缓存模块、一个数据通信模块、一个图像收发模块，其中：

所述两片DSP分别与所述FPGA相连，所述FPGA实现总线控制和各DSP之间的数据交换；

所述FPGA还实现图像收发模块部分逻辑功能，对发送数据进行编码；

所述两片DSP协同对通过所述主处理板处理后的中间信息和中间图像进行后续处理，对标记后的疑似目标进行帧间关联，最终实现真实目标的捕获和跟踪，同时通过多通道缓存串口输出真实目标的坐标信息；

所述数据通信模块与所述两片DSP中的主DSP相连，主要为RS422电平转换芯片，实现按照RS422串行通信标准将真实目标信息输出给伺服***或者上位机；

所述图像收发模块分别包括光信号转LVDS的光-电模块、LVDS转并行信号的转换芯片、并行信号转LVDS的转换芯片、LVDS换光信号的电-光模块，同时还包括所述FPGA内部对输入数据的时钟域隔离模块、对输出数据的8B/10B编码模块；

所述图像数据缓存模块包括分别为每一片DSP提供的一片SDRAM和一片Flash，以及FPGA内部进行总线控制时用于缓存数据的FIFO，所述SDRAM为与其连接的DSP提供内存空间，所述Flash为与其连接的DSP提供程序存储空间，所述FIFO为总线数据传输提供缓存空间，可用于时钟域隔离、数据缓存、数据位宽转换。

图14为本发明对海目标红外成像识别装置的一个实例扩展处理板扩展连接原理图。如图14所示，扩展处理板通过图13中增加的光-电转换模块、串行数据转并行数据模块、RS422输入接口，以及与主处理板同构的电-光转换模块、并行数据转串行数据模块、RS422输出接口，实现了与主处理板和显示板之间的数据传输通路，是一种动态可扩展设计。

当要实现更为复杂的算法处理时，主处理板的处理能力会遇到瓶颈。此时的一般解决办法为重新设计处理板，增加运算处理单元。但这种方式需要整个***的重新设计，在时间和材料上都造成了巨大浪费。

本发明所述的扩展式设计能够缩短设计周期，同时充分利用当前处理板，构成一个可扩展的***平台。主处理板与扩展处理板之间、扩展处理板与显示板之间都采用了图14所示的图像数据传输方式。在该平台中，主处理板分担部分处理任务，并将中间处理结果通过串行器（1403）和光电模块（1404）传输到扩展处理板，其中中间目标信息通过RS422电平转换（1402）传输到扩展处理板。扩展处理板通过光电模块（1405）和解串器（1406）接收图像数据，并采用与主处理板同样地方式输出最终的处理结果。

本发明充分地进行了模块化设计，有效地利用了ASIC/SoC的优势，克服了传统同构图像处理装置功耗较高的缺点，提升了处理性能和效率，能够更加适用于有限体积功耗的动平台上的自动目标识别技术。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对海目标红外成像识别装置，包括主处理板和显示板，并且，所述主处理板包括第一图像收发模块（101）、总线控制模块、数字信号处理器模块、图像数据存储模块、通信接口模块、非均匀性校正片上***、多级滤波专用集成电路、标记专用集成电路；所述显示板包括第二图像收发模块（102）、图像实时显示控制模块、显示数据存储模块，其中， 

所述第一图像收发模块（101）完成数据传输格式的转换，将输入低压差分信号（LVDS）转换为并行信号，将输出并行信号转换为低压差分信号，再将低压差分信号转换为光信号，并将所述光信号发送到所述第二图像收发模块（102）； 

所述总线控制模块完成数据处理流程的控制，用于所述数字信号处理器模块与所述非均匀性校正片上***、多级滤波专用集成电路和标记专用集成电路之间的数据传输； 

所述数字信号处理模块包括主数字信号处理器和从数字信号处理器，所述主数字信号处理器和从数字信号处理器工作在并行模式或串行模式，协同完成图像的分割和目标的识别与跟踪处理算法，并直接输出目标的轮廓、坐标等信息； 

所述图像数据存储模块用于缓存所述多级滤波专用集成电路的输出结果，同时为所述数字信号处理器模块提供数据和程序存储空间； 

所述通信接口模块为目标信息的输出提供标准的RS422串行传输协议； 

所述非均匀性校正片上***完成对输入图像的场景自适应非均匀性校正； 

所述多级滤波专用集成电路实现背景抑制和目标增强处理； 

所述标记专用集成电路完成连通区域的标记处理； 

所述第二图像收发模块（102）实现将输入光信号转换为低压差分信号，再将低压差分信号转换为并行信号，将输出并行信号转换为模拟视频信号； 

所述图像实时显示控制模块完成同时对4幅不同图像的实时显示控制； 

所述显示数据存储模块完成待显示数据的缓存。 

2.根据权利要求1所述的对海目标红外成像识别，其中，所述非均匀性校正片上***按照：预处理、校正、迭代步长调整和增益校正系数更新四个步骤对 直接从红外传感器得到的原始图像进行非均匀性校正处理。 

3.根据权利要求1所述的对海目标红外成像识别装置，其中，所述多级滤波ASIC根据所述总线控制模块的处理流程对原始图像或经过非均匀性校正后的图像进行多级滤波处理，抑制图像背景，增强目标。 

4.根据权利要求1所述的对海目标红外成像识别装置，其中，所述第一图像收发模块包括LVDS转并行信号和并行信号转LVDS的转换芯片、LVDS转光信号的电-光模块。 

5.根据权利要求1所述的对海目标红外成像识别装置，其中，所述图像数据缓存模块包括为所述主数字信号处理器提供的SDRAM和Flash，为所述从数字信号处理器提供的SDRAM和Flash，为多级滤波专用集成电路提供的一片DPRAM（Dual-Port Random Access Memory），以及所述总线控制模块内部用于缓存数据的FIFO， 

所述SDRAM为与其连接的相应数字信号处理器提供内存空间，所述Flash为与其连接的相应数字信号处理器提供程序存储空间，所述DPRAM为多级滤波专用集成电路提供滤波输出图像缓存空间，所述FIFO为总线数据传输提供缓存空间，用于时钟域隔离、数据缓存、数据位宽转换。 

6.根据权利要求1所述的对海目标红外成像识别装置，其中，所述装置还包括连接所述主处理板和所述显示板的板间数据传输总线。 

7.根据权利要求5所述的对海目标红外成像识别装置，其中，所述板间数据传输总线包括：用于传输目标信息的RS422串行传输总线、用于传输图像数据的光传输总线。 

8.根据权利要求6所述的对海目标红外成像识别装置，其中，所述RS422串行传输总线为低速总线，设计波特率为115200bps，数据传输速率为112.5Kbps，所述光传输总线为高速总线，设计数据传输速率为600Mbps。 

9.根据权利要求1所述的对海目标红外成像识别装置，还包括扩展处理板，当所述主处理板无法满足处理性能时，所述扩展处理板用于完成所述主处理板进 行非均匀性校正、多级滤波预处理及分割标记处理后剩余的处理任务。 

10.根据权利要求8所述的对海目标红外成像识别装置，其中，所述扩展处理板包括一片FPGA、两片DSP、一个图像数据缓存模块、一个数据通信模块、一个图像收发模块，所述两片DSP分别与所述FPGA相连， 

所述FPGA实现总线控制和两片DSP之间的数据交换； 

所述两片DSP协同对通过所述主处理板处理后的中间信息和中间图像进行后续处理，对标记后的疑似目标进行帧间关联，最终实现真实目标的捕获和跟踪，同时通过多通道缓存串口输出真实目标的坐标信息； 

所述数据通信模块与所述两片DSP中的主DSP相连，实现按照RS422串行通信标准将真实目标信息输出给伺服***或者上位机； 

所述图像收发模块包括光信号转LVDS的光-电模块、LVDS转并行信号的转换芯片、并行信号转LVDS的转换芯片、LVDS换光信号的电-光模块，还包括所述FPGA内部对输入数据的时钟域隔离模块、对输出数据的8B/10B编码模块； 

所述图像数据缓存模块包括分别为每片DSP提供的一片SDRAM和一片Flash，以及所述FPGA内部用于缓存数据的FIFO，所述SDRAM为与其连接的相应DSP提供内存空间，所述Flash为与其连接的相应DSP提供程序存储空间，所述FIFO为总线数据传输提供缓存空间，用于时钟域隔离、数据缓存、数据位宽转换。 

Images