CN105959514A - 一种弱目标成像检测装置及方法 - Google Patents

Abstract

本发明公开了一种弱目标成像检测装置及方法。利用目标和背景的反射及散射光在特定波段以及在0°和90°偏振方向上的光强差异，采用双通道正交差分的成像方式实现光谱‑偏振同步成像。硬件模块可分为仪器壳体、光学***和FPGA主控板三部分。其中仪器壳体用于连接光学镜头、电路板和三脚架；光学***采用双通道结构，用于获取两幅不同偏振角和波段的图像；FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处理。软件模块依次执行双通道图像采集、图像畸变校正、双通道图像配准、图像差分融合和图像目标检测任务。相比现有方法，具有较低的硬件成本和软件复杂度，为地面复杂背景下运动隐身目标的检测提供了一种有效的手段。

Description

一种弱目标成像检测装置及方法

技术领域

本发明涉及一种光学成像检测装置及方法，尤其涉及一种弱目标成像检测装置及方法，属于光学成像领域。

背景技术

目标探测与识别技术是指对固定或移动目标进行非接触测量，并可准确得到目标的属性信息，辨识出目标真伪的高技术手段。其中光学检测由于是被动式工作，安全隐蔽，所以近些年得到了快速的发展和极大的重视。然而传统伪装涂料的使用使得目标与背景之间能够近似实现“同色同谱”，利用传统的光强探测手段难以有效检测复杂背景中的“隐身”弱目标。

偏振是光的基本特性之一，任何目标在反射和发射电磁辐射的过程中都会表现出由其自身特性和光学基本定律所决定的偏振特性。一般自然环境中地物背景的偏振度较低，而人工目标的偏振度较高。如植物的偏振度一般小于0.5％；岩石、沙石、裸土等的偏振度介于0.5％～1.5％之间；水面、水泥路面、屋顶等的偏振度一般大于1.5％(尤其水面的偏振度达到了8％～10％)；某些非金属材料和部分金属材料表面的偏振度达到了2％以上(有的甚至达10％以上)。通过成像获得场景在不同偏振状态下的信息，可对具有偏振-光强差异的目标及背景进行有效区分，进而实现复杂背景下弱目标的检测与识别。因此，近些年偏振成像探测在气象环境科学研究、海洋的开发利用、空间探测、生物医学以及军事应用等方面受到了越来越多的重视。

在偏振探测中，目标光辐射的偏振态可用四个斯托克斯(Stokes)参量完整描述，包括光波的总强度I、水平方向上线的偏振光强度Q、45°/135°方向上线的偏振光强度U，以及圆偏振光的强度V。实际应用中，V可以忽略不计，进而将偏振度描述为偏振角描述为θ＝0.5arctan(U/Q)。因此为了得到上述偏振态信息，至少要获取三幅不同偏振方向的光强图像以计算参量I、Q、U。

据此原理，目前得到应用的偏振成像探测装置主要有四种：(1)分时成像的方式。该方式采用一个成像器件，通过顺序旋转安装在镜头前的偏振片来获得0°、60°、90°三个不同偏振方向的图像；具有结构简单、易实现的优点；但是仅适用于目标与背景均为静止的情况。(2)光路分光的方式。该方式采用光束分离器和延迟器，将通过单镜头的光束均匀地分成相同的三份，并经过0°、60°、90°方向的偏振片投射到三个独立的成像器件上；可以同时获得三方向的偏振图像；但这种方式会使入射到单个成像器件上的能量大幅减少，导致成像信噪比明显降低。(3)分焦平面的方式。该方式采用特殊工艺制作的成像器件，其上的每一个像素分别对应0°、60°、90°中的一个偏振方向，并按照类似彩色图像传感器中RGB分布的Bayer格式进行排布；不仅可以实现同时偏振成像，而且无需额外的分光器件，易于实现仪器的小型化；但分焦平面器件的制作工艺复杂且未实现产品化。(4)空间配准的方式。该方式采用三台相机组成三通道同步成像***，分别采集0°、60°、90°方向的偏振图像，再通过图像空间配准算法将三幅图像重叠区域的像素对齐；具有较低的硬件复杂度；但由于三通道的畸变参数及拍摄视角不一致，如不能合理地校正，将导致图像配准精度不高，影响弱小目标的检测。实际上对于弱目标检测的应用而言，偏振成像的目的不是获取偏振度或偏振角信息，而是如何实时、高效地增强目标和背景的对比度。从这个角度来看，利用Stokes方程对多通道图像进行融合并不是一种高效的方法。

本发明利用目标和背景的反射及散射光在特定波段以及在0°和90°偏振方向上的光强差异，采用双通道正交差分的成像方式实现光谱-偏振同步成像，相比现有同步偏振成像方式，具有较低的硬件成本和软件复杂度，为地面复杂背景下运动隐身目标的检测提供了一种有效的手段。

发明内容

本发明针对现有地面复杂背景下运动隐身目标检测***存在的不足，提供了一种弱目标成像检测装置及方法。

本发明通过以下技术方案实现：

一种弱目标成像检测装置，由仪器壳体、光学***和FPGA主控板三部分组成，其特征在于：仪器壳体用于连接光学镜头、电路板和三脚架，包括壳体前面板、壳体后框及三脚架固定座；光学***采用双通道结构，用于获取两幅不同偏振角和波段的图像，通道1包括0°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、470nm窄带滤光片和CMOS图像传感器；通道2包括90°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、630nm窄带滤光片和CMOS图像传感器；FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处理，并通过USB接口传输至PC机。

所述的壳体前面板的尺寸为100mm×50mm×5mm，其上安装有用于固定光学镜头的两个C口镜头接圈，两个接圈的中心间距为50mm，螺纹外径为25.1mm；壳体后框的尺寸为100mm×50mm×30mm，通过前面板四周的12颗规格为Φ3*6的螺丝与之相连，其左侧有一个B型USB接口，用来连接FPGA主控板和PC机；三脚架固定座位于壳体后框的下侧，通过中心规格为1/4-20的螺孔连接三脚架的云台。

所述的通道1和通道2的光学镜头的焦距均为8mm定焦，光圈调节范围为F1.4-F16，对焦范围为0.1m-∞，和前面板上的两个C口镜头接圈相连；两片旋转式线偏振滤镜通过尺寸为M30.5×0.5mm的接圈分别安装在两个光学镜头前；采用线偏振标定板将二者对应的线偏振滤镜的偏振方向分别调节至0°和90°；两片窄带滤光片分别通过滤光片座安装于CMOS图像传感器的表面；滤光片均采用镜面玻璃材质，尺寸为12mm×12mm×0.7mm，中心波长分别为470nm和630nm，半带宽为20nm，峰值透射率>90％，截止深度<1％；CMOS图像传感器采用130万像素的1/2″单色面阵传感器，光谱响应范围为400-1050nm。

所述的FPGA主控板以一片非易失性FPGA芯片为核心，并采用可编程片上***技术将32位的软核Nios II处理器及其部分外设集成在单芯片内，片外仅采用一片USB2.0接口芯片和B型USB接口与PC机通信；Nios II处理器通过Avalon总线控制用户RAM、用户FLASH、USB控制器、双通道对应的2组双口RAM控制器及图像采集模块等片内外设；用户RAM用作Nios II处理器的运行内存；用户FLASH用于存储Nios II处理器执行的程序代码；USB控制器用于USB2.0接口芯片的配置和总线协议转换；双口RAM是一个异步FIFO，用于图像行有效数据的筛选和处理，并使数据在传输过程中保持同步；图像采集模块包括配置控制器和时序控制器两部分，配置控制器通过I²C双向数据串行总线SCLK、SDATA对CMOS图像传感器内部寄存器进行配置，时序控制器通过时序信号STROBE、PIXCLK、L_VALID、F_VALID和控制信号STANDBY、TRIGGER、CLKIN控制CMOS图像传感器同步输出数据DOUT[9:0]。

所述的FPGA主控板的工作流程为：主控板上电后首先进行***初始化，然后令Nios II处理器处于等待状态；PC通过USB接口向主控板发送起始信号后，Nios II处理器通过配置控制器依次对双通道的CMOS图像传感器进行写寄存器操作，将其设置为抓拍模式，并配置图像分辨率、曝光时间及电子增益等参数。设置完成后，配置控制器的I²C总线进入空闲状态，并令2组时序控制器同步发送TRIGGER脉冲；CMOS图像传感器收到TRIGGER脉冲后，内部进行行复位，完成后输出STROBE脉冲，脉冲宽度标识像素积分时间的长度；STROBE信号由1跳变为0后，正常输出数据DOUT[7:0]，同时输出同步信号F_VALID和L_VALID；时序控制器接收到返回的数据和同步信号后，首先将F_VALID和L_VALID进行“与”操作；当结果为高时代表此时数据有效，进而以像素时钟为工作时钟按照地址0～1280将其存储在双口RAM中；当结果由高变低时，代表一行有效数据传输完毕，此时将2组双口RAM中的数据每512个字节打包为一个数据包依次输出到USB2.0接口芯片的FIFO中，再经USB线传输至PC；当一帧数据传输完毕后，Nios II处理器通过配置控制器设置CMOS图像传感器为STANDBY模式，停止数据输出并等待下一个起始信号。

如前所述一种弱目标成像检测装置的检测方法，包括以下五个主要步骤：

(1)双通道图像采集，任务开始后首先扫描USB端口并连接指定的成像装置；确认连接后向成像装置发送控制字以设置成像参数，包括图像分辨率、曝光时间和电子增益等；完成设置后发送一次采集指令并等待接收图像数据，当双通道的图像数据均传输完成后以无损压缩的位图格式保存图像。

(2)图像畸变校正，设计采用张正友法标定成像***的光学畸变参数，非线性畸变模型仅考虑图像的径向畸变：

$\left\{\begin{array}{c}{\mathrm{\&delta;}}_X=x(k_1{r}^2+k_2{r}^4+k_3{r}^6+)\\ {\mathrm{\&delta;}}_Y=y(k_1{r}^2+k_2{r}^4+k_3{r}^6+)\end{array}\right.$

其中，δ_X和δ_Y是畸变值，它与投影点在图像中的像素位置有关。x、y是图像点在成像平面坐标系下根据线性投影模型得到的归一化投影值，k₁、k₂、k₃等为径向畸变系数，这里只考虑二次畸变，畸变后的坐标为：

$\left\{\begin{array}{c}{x}_d=x+{\mathrm{\&delta;}}_X=x+x(k_1{r}^2+k_2{r}^4)\\ y_d=y+{\mathrm{\&delta;}}_Y=y+y(k_1{r}^2+k_2{r}^4)\end{array}\right.$

令(u_d,v_d)、(u,v)分别为图像坐标系下空间点对应的实际坐标和理想坐标，则两者关系为：

$\left[\begin{array}{cc}(u-u_0)r^2& (u-u_0)r^4\\ (v-v_0)r^2& (v-v_0)r^4\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=\left[\begin{array}{c}{u}_d-u\\ v_d-v\end{array}\right]$

将线性标定结果作为参数初值，带入以下目标函数求最小值，实现非线性参数的估计：

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\left|\right|m_{ij}-\hat{m}(A,k_1,k_2,R_i,t_i,M_j)|{|}^2$

其中，是标定模板的第j点在第i幅图像上，利用估计参数得到的投影点，M_j为标定模板第j点在世界坐标系下的坐标值，m为每幅图像特征点个数，n为图像数目；利用LM迭代法优化所得的相机标定参数，最终得到较为精确的径向畸变系数，进而反求无畸变的图像坐标。

(3)双通道图像配准，用于实现不同成像视场、波段、偏振角和光学畸变条件下双通道图像的像素对齐，采用一种基于SURF特征点的图像配准算法，包括以下五个子步骤：

1)检测SURF特征点，在构建积分图像的基础上，利用方框型滤波近似替代二阶高斯滤波，并对待选特征点和它周围的点分别计算Hessian值，如果该特征点具有最大的Hessian值，则其为特征点；

2)生成特征描述向量，使用特征点邻域的灰度信息，通过计算积分图像的一阶Haar小波响应，得到灰度分布信息来产生128维的特征描述向量；

3)两步法匹配特征点，通过基于最邻近次邻近比值法的粗匹配算法和基于RANSAC的精匹配算法两个步骤，建立参考图像和待配准图像特征点之间正确的一一对应匹配关系，其特征在于：当两幅图像的特征向量生成后，首先采用SURF特征描述向量的欧式距离作为两幅图像中关键点的相似性判定度量，方法是通过K-d树得到一个特征点到最近邻特征点的距离d_ND，其到次近邻特征点的距离d_NND，如果它们的比值小于阈值ε，则保留该特征点与其最近邻构成的匹配点对；然后随机选取4对初始匹配特征点，计算由这4对点所确定的透视变换矩阵H，再用该矩阵衡量其余特征点的匹配程度：

$\left|\right|\left(\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ 1\end{array}\right)-H\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)\left|\right|\&le;t$

其中，t为阈值，小于等于t的特征点对为H的内点，大于t的特征点对则为外点，这样不断更新内点集，由RANSAC的k次随机采样可得到最大的内点集合，此时也得到了优化后的内点集合所对应的透视变换矩阵H；

4)坐标变换及重采样，根据求得的透视变换矩阵H对图像像素的坐标进行线性变换，并采用双线性插值法对图像像素的灰度值进行重采样，双线性插值法假定内插点周围四个点围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素的灰度值，计算出内插点的灰度值；

5)裁剪图像重叠区域，根据下式对图像坐标变换后的四个边界点进行判别，确定图像配准后重叠区域的四个边界点坐标(X_min,Y_min)、(X_min,Y_max)、(X_max,Y_min)、(X_max,Y_max)：

$\left\{\begin{array}{c}{X}_{min}=\max (X_0,X_3),X_{\min }=0|X_{\min }<0\\ X_{\max }=\min (X_1,X_2,W-1)\\ Y_{\min }=\max (Y_0,Y_1),Y_{\min }=0|Y_{\min }<0\\ Y_{min}=\min (Y_2,X_3,H-1)\end{array}\right.$

其中，W、H为图像的宽和高，按照以上边界点构成的矩形区域对双通道图像进行裁剪，得到配准的0°和90°偏振图像I(0°)和I(90°)；

(4)图像差分融合，采用双通道正交差分的方式融合得到的正交差分图像表示为：

Q＝I(0°)-I(90°)

(5)图像目标检测，***基于形态学的方法对正交差分偏振图像进行目标检测，包括以下三个子步骤：

1)二值化处理，采用最大类间方差法自适应选取全局阈值，原理如下：设图像有M个灰度值，取值范围在0M-1，在此范围内选取灰度值t，将图像分成两组G₀和G₁，G₀包含的像素的灰度值在0t，G₁的灰度值在t+1M-1，用N表示图像像素总数，n_i表示灰度值为i的像素的个数，则每个灰度值i出现的概率为p_i＝n_i/N，G₀和G₁类出现的概率为均值为则类间方差为：

σ(t)²＝ω₀ω₁(μ₀-μ₁)²

最佳阈值T就是使类间方差最大的t的取值，即：

T＝argmaxσ(t)²,t∈[0,M-1]

2)开运算操作，开运算操作用于滤除细小的干扰物并获得较为精确的目标轮廓，它定义为先腐蚀后膨胀的过程：腐蚀的作用是消除物体中不相关的细节，特别是边缘点，使物体的边界向内部收缩，其表达式如下：

$E=X\&CircleTimes;B=\{x,y|B_{x,y}\&SubsetEqual;X\}$

其中，E表示腐蚀后的二值图像；B表示结构元素即模板，它是由0或1组成的任何一种形状的图形，在B中有一个中心点，以此点为中心进行腐蚀；X是原图像经过二值化处理后的图像的像素集合；运算过程是在X图像域内滑动结构元素B，当其中心点与X图像上的某一点(x,y)重合时，遍历结构元素内的像素点，如果每个像素点都与以(x,y)为中心的相同位置中对应像素点完全相同，那么像素点(x,y)将被保留在E中，对于不满足条件的像素点则被剔除掉，从而可达到收缩边界的效果；膨胀与腐蚀的作用相反，它对二值化物体轮廓的边界点进行扩充，能够填补分割后物体中残留的空洞，使物体完整，其表达式如下：

$S=X\&CirclePlus;B=\{x,y|S_{x,y}\&cap;X\&NotEqual;\mathrm{\&phi;}\}$

其中，S表示膨胀后的二值图像像素点的集合；B表示结构元素即模板；X表示经过二值化处理后的图像像素集合。运算过程是在X图像域内滑动结构元素B，当B的中心点移到X图像上的某一点(x,y)时，遍历结构元素内的像素点，如果结构元素B内的像素点与X图像的像素点至少有一个相同，那么就保留(x,y)像素点在S中，否则就去掉此像素点；对二值图像进行开运算操作后，图像被划分成多个连通区域；

3)连通域识别，首先采用8邻接判据对图像中的连通域进行分割，8邻接连通域的定义是：该区域中每个像素，其所有8个方向的8个相邻像素中至少有一个像素仍然属于该区域，根据该定义将二值图像中不同的连通域填入不同的数字标记；然后分别提取各连通域的像素周长，并和预先设定的目标阈值进行对比，如果在阈值区间内则判定为候选目标；最后采用能够包围其连通域轮廓的最小矩形框在图像中标识出候选目标，完成目标检测。

本发明具有以下有益效果：

1、硬件***易于实现。无需复杂的光路分光设计或成像器件制作工艺。

2、软件计算复杂度低。复杂的相机标定工作仅需在实验室中进行一次；图像融合无需计算偏振度、仅需进行一次简单的像素灰度差分运算。

3、算法的配准精度高。在配准前对相机的非线性畸变进行了校正。

4、适用于运动目标的检测。

附图说明

图1是本发明涉及的弱目标成像检测***软硬件功能模块框图。

图2是本发明涉及的弱目标成像检测装置硬件结构立体示意图，图中标号名称：1为壳体前面板；2为壳体后框；3为三脚架固定座；4为0°线偏振滤镜；5为90°线偏振滤镜；6、7为光学镜头；8、9为C口镜头接圈；10、11为滤光片座；12为470nm窄带滤光片；13为630nm窄带滤光片；14、15为CMOS图像传感器；16为USB接口。

图3本发明涉及的FPGA主控板硬件电路框图。

图4是本发明涉及的弱目标成像检测方法软件流程框图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的弱目标成像检测***软硬件功能模块框图如图1所示。弱目标成像检测装置的硬件模块可分为仪器壳体、光学***和FPGA主控板三部分。其中仪器壳体用于连接光学镜头、电路板和三脚架，包括壳体前面板、壳体后框及三脚架固定座；光学***采用双通道结构，用于获取两幅不同偏振角和波段的图像，通道1包括0°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、470nm窄带滤光片和CMOS图像传感器；通道2包括90°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、630nm窄带滤光片和CMOS图像传感器；FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处理，并通过USB接口传输至PC机。软件模块运行于PC机上，依次执行双通道图像采集、图像畸变校正、双通道图像配准、图像差分融合和图像目标检测任务。

本发明的弱目标成像检测装置硬件结构立体示意图如图2所示。壳体前面板1的尺寸为100mm×50mm×5mm，其上安装有用于固定光学镜头的C口镜头接圈8、9，两个接圈的中心间距为50mm，螺纹外径为25.1mm。壳体后框2的尺寸为100mm×50mm×30mm，通过前面板四周的12颗规格为Φ3*6的螺丝与之相连；其左侧有一个B型USB接口16，用来连接FPGA主控板和PC机。三脚架固定座3位于壳体后框的下侧，通过中心规格为1/4-20(外径1/4英寸，螺距20牙/英寸)的螺孔连接三脚架的云台。光学镜头6、7的焦距均为8mm定焦，光圈调节范围为F1.4-F16，对焦范围为0.1m-∞，分别和前面板上的C口镜头接圈8、9相连。两片旋转式线偏振滤镜4、5通过尺寸为M30.5×0.5mm(外径30.5mm、螺距0.5mm)的接圈分别安装在光学镜头6、7前；采用线偏振标定板将二者对应的线偏振滤镜的偏振方向分别调节至0°和90°。两片窄带滤光片12、13分别通过的滤光片座10、11安装于CMOS图像传感器14、15的表面；滤光片均采用镜面玻璃材质，尺寸为12mm×12mm×0.7mm，中心波长分别为470nm和630nm，半带宽为20nm，峰值透射率>90％，截止深度<1％。CMOS图像传感器14、15均采用130万像素的MT9M001。MT9M001为1/2″的单色面阵传感器，光谱响应范围为400-1050nm；成像信噪比和动态范围分别为45dB和68.2dB，已能够达到CCD的水平；5.2μm×5.2μm的像素尺寸使其达到2.1V/lux-sec的高弱光灵敏度；而1280×1024@30fps的连续图像捕获能力能够满足大多数运动目标的探测需求。

本发明的FPGA主控板硬件电路框图如图3所示。为实现双通道CMOS图像传感器的同步采集及控制，主控板的硬件设计以一片非易失性FPGA芯片为核心，并采用可编程片上***技术将32位的软核Nios II处理器及其部分外设集成在单芯片内，片外仅采用一片USB2.0接口芯片和B型USB接口与PC机通信，大大提高了***组件功能的集成度，并降低了***级成本。Nios II处理器以IP核的方式构建，通过Avalon总线控制用户RAM、用户FLASH、USB控制器、双通道对应的2组双口RAM控制器及图像采集模块等片内外设。其中，用户RAM用作Nios II处理器的运行内存；用户FLASH用于存储Nios II处理器执行的程序代码；USB控制器用于USB2.0接口芯片的配置和总线协议转换；双口RAM是一个异步FIFO，用于图像行有效数据的筛选和处理，并使数据在传输过程中保持同步；图像采集模块包括配置控制器和时序控制器两部分，配置控制器通过I²C双向数据串行总线SCLK、SDATA对CMOS图像传感器内部寄存器进行配置，时序控制器通过时序信号STROBE、PIXCLK、L_VALID、F_VALID和控制信号STANDBY、TRIGGER、CLKIN控制CMOS图像传感器同步输出数据DOUT[9:0]。

具体实施时，FPGA芯片采用ALTERA公司的MAX 10系列型号为10M08E144ES的芯片。此芯片采用TSMC的55nm嵌入式NOR闪存技术制造，具有8K个逻辑单元、378Kb的嵌入式SRAM资源，以及172KB的用户FLASH资源。由于CMOS图像传感器的最大像素阵列为1280×1024，量化位数为8bit，缓存1行数据需要10Kbit的存储空间，因此从嵌入式SRAM资源中分配出2块10Kb的空间用于构建2个双口RAM，而将剩余的358Kb分配给用户RAM。USB2.0接口芯片采用CYPRESS公司的CY7C68013A，其内部FIFO资源大小为4KB，***设备和USB接口可以同时对此FIFO资源进行操作，在不需要USB固件程序的参与下FIFO与外部电路可以进行数据传输，最大传输速率为96MB/s。

FPGA主控板的工作流程为：主控板上电后首先进行***初始化，然后令Nios II处理器处于等待状态。PC通过USB接口向主控板发送起始信号后，Nios II处理器通过配置控制器依次对双通道的CMOS图像传感器进行写寄存器操作，将其设置为抓拍模式，并配置图像分辨率、曝光时间及电子增益等参数。设置完成后，配置控制器的I²C总线进入空闲状态，并令2组时序控制器同步发送TRIGGER脉冲。CMOS图像传感器收到TRIGGER脉冲后，内部进行行复位，完成后输出STROBE脉冲，脉冲宽度标识像素积分时间的长度。STROBE信号由1跳变为0后，正常输出数据DOUT[7:0]，同时输出同步信号F_VALID和L_VALID。时序控制器接收到返回的数据和同步信号后，首先将F_VALID和L_VALID进行“与”操作。当结果为高时代表此时数据有效，进而以像素时钟为工作时钟按照地址0～1280将其存储在双口RAM中；当结果由高变低时，代表一行有效数据传输完毕，此时将2组双口RAM中的数据每512个字节打包为一个数据包依次输出到USB2.0接口芯片的FIFO中，再经USB线传输至PC。当一帧数据传输完毕后，Nios II处理器通过配置控制器设置CMOS图像传感器为STANDBY模式，停止数据输出并等待下一个起始信号。

本发明的弱目标成像检测方法软件流程框图如图4所示。弱目标成像检测方法包括以下五个主要步骤：

(1)双通道图像采集。任务开始后，首先扫描USB端口并连接指定的成像装置；确认连接后向成像装置发送控制字以设置成像参数，包括图像分辨率、曝光时间和电子增益等；完成设置后发送一次采集指令并等待接收图像数据，当双通道的图像数据均传输完成后以无损压缩的位图格式保存图像。

(2)图像畸变校正。为实现双通道图像的精确配准，需要分别对两幅图像进行畸变校正。考虑到成像***的双通道具有独立性，设计采用经典的张正友平面标定法标定成像***的光学畸变参数。光学畸变是非线性的，主要包括径向畸变、切向畸变、离心畸变及薄棱镜畸变等，需要用非线性模型进行畸变参数的估计。其中径向畸变是图像产生误差的主要因素，其模型可近似描述为：

$\left\{\begin{array}{c}{\mathrm{\&delta;}}_X=x(k_1{r}^2+k_2{r}^4+k_3{r}^6+)\\ {\mathrm{\&delta;}}_Y=y(k_1{r}^2+k_2{r}^4+k_3{r}^6+)\end{array}\right.---\left(1\right)$

其中，δ_X和δ_Y是畸变值，它与投影点在图像中的像素位置有关。x、y是图像点在成像平面坐标系下根据线性投影模型得到的归一化投影值，k₁、k₂、k₃等为径向畸变系数，这里只考虑二次畸变，畸变后的坐标为：

$\left\{\begin{array}{c}{x}_d=x+{\mathrm{\&delta;}}_X=x+x(k_1{r}^2+k_2{r}^4)\\ y_d=y+{\mathrm{\&delta;}}_Y=y+y(k_1{r}^2+k_2{r}^4)\end{array}\right.---\left(2\right)$

令(u_d,v_d)、(u,v)分别为图像坐标系下空间点对应的实际坐标和理想坐标。则两者关系为：

$\left[\begin{array}{cc}(u-u_0)r^2& (u-u_0)r^4\\ (v-v_0)r^2& (v-v_0)r^4\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=\left[\begin{array}{c}{u}_d-u\\ v_d-v\end{array}\right]---\left(3\right)$

将线性标定结果作为参数初值，带入以下目标函数求最小值，实现非线性参数的估计：

$\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\left|\right|m_{ij}-\hat{m}(A,k_1,k_2,R_i,t_i,M_j)|{|}^2---\left(4\right)$

其中，是标定模板的第j点在第i幅图像上，利用估计参数得到的投影点，M_j为标定模板第j点在世界坐标系下的坐标值，m为每幅图像特征点个数，n为图像数目。利用LM迭代法优化所得的相机标定参数，最终得到较为精确的径向畸变系数，进而反求无畸变的图像坐标。

(3)双通道图像配准。由于双通道在成像视场、波段、偏振角和光学畸变上的差异，两幅图像需要进行配准才能使待融合的像素对齐。考虑到SURF特征点对图像旋转、平移、缩放和噪声具有较好的鲁棒性，采用了一种基于SURF特征点的图像配准算法，包括以下五个子步骤：

1)检测SURF特征点，在构建积分图像的基础上，利用方框型滤波近似替代二阶高斯滤波，并对待选特征点和它周围的点分别计算Hessian值，如果该特征点具有最大的Hessian值，则其为特征点。

2)生成特征描述向量，使用的是特征点邻域的灰度信息，通过计算积分图像的一阶Haar小波响应，得到灰度分布信息来产生128维的特征描述向量。

3)两步法匹配特征点，通过基于最邻近次邻近比值法的粗匹配算法和基于RANSAC的精匹配算法两个步骤，建立参考图像和待配准图像特征点之间正确的一一对应匹配关系。其特征在于：当两幅图像的特征向量生成后，首先采用SURF特征描述向量的欧式距离作为两幅图像中关键点的相似性判定度量，方法是通过K-d树得到一个特征点到最近邻特征点的距离d_ND，其到次近邻特征点的距离d_NND，如果它们的比值小于阈值ε，则保留该特征点与其最近邻构成的匹配点对；然后随机选取4对初始匹配特征点，计算由这4对点所确定的透视变换矩阵H，再用该矩阵衡量其余特征点的匹配程度：

$\left|\right|\left(\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ 1\end{array}\right)-H\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)\left|\right|\&le;t---\left(5\right)$

其中，t为阈值，小于等于t的特征点对为H的内点，大于t的特征点对则为外点。这样不断更新内点集，由RANSAC的k次随机采样可得到最大的内点集合，此时也得到了优化后的内点集合所对应的透视变换矩阵H。

4)坐标变换及重采样。根据求得的透视变换矩阵H对图像像素的坐标进行线性变换，并采用双线性插值法对图像像素的灰度值进行重采样。双线性插值法假定内插点周围四个点围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素的灰度值，计算出内插点的灰度值。

5)裁剪图像重叠区域。根据下式对图像坐标变换后的四个边界点进行判别，确定图像配准后重叠区域的四个边界点坐标(X_min,Y_min)、(X_min,Y_max)、(X_max,Y_min)、(X_max,Y_max)：

$\left\{\begin{array}{c}{X}_{min}=\max (X_0,X_3),X_{\min }=0|X_{\min }<0\\ X_{\max }=\min (X_1,X_2,W-1)\\ Y_{\min }=\max (Y_0,Y_1),Y_{\min }=0|Y_{\min }<0\\ Y_{min}=\min (Y_2,X_3,H-1)\end{array}\right.---\left(6\right)$

其中，W、H为图像的宽和高。按照以上边界点构成的矩形区域对双通道图像进行裁剪，得到配准的0°和90°偏振图像I(0°)和I(90°)。

(4)图像差分融合。由于目标和背景的反射及散射光在0°和90°偏振方向上具有显著的光强差异，采用双通道正交差分的图像融合方式不仅能够获得较好的图像信噪比，而且具有极低的软件复杂度。融合得到的正交差分图像表示为：

Q＝I(0°)-I(90°) (7)

(5)图像目标检测。数学形态学是分析几何形状和物体的轮廓结构的数学方法，主要包括膨胀、腐蚀、开运算、闭运算等。在图像处理领域用于“保持物体的基本形状，去除不相关特征”，可以提取到对于表达和描述形状有用的特征。通常形态学处理表现为一种基于模板的邻域运算方式，即定义一种特殊的被称之为“结构元素”或模板的邻域，在要处理的二值图像的每个像素点上将它与二值图像对应的区域进行某种逻辑运算，得到的结果就是输出图像的像素值。结构元素的大小、内容以及运算的性质都将会影响到形态学处理的结果。***基于形态学的方法对正交差分偏振图像进行目标检测，具有物理意义明确、运算效率高的特点，包括图像二值化、开运算操作、连通域识别三个子步骤。

1)二值化处理。图像二值化处理是进行形态学滤波的前提，而选取合适的分割阈值是其重要步骤。这里采用最大类间方差法自适应选取全局阈值，该算法由Otsu于1979年提出，是基于整幅图像的统计特性来实现阈值的自动选取的，是全局二值化最杰出的代表。算法的基本思想是用某一假定的灰度值将图像的灰度分成两组，当两组的类间方差最大时，此灰度值就是图像二值化的最佳阈值。设图像有M个灰度值，取值范围在0 M-1，在此范围内选取灰度值t，将图像分成两组G₀和G₁，G₀包含的像素的灰度值在0 t，G₁的灰度值在t+1 M-1，用N表示图像像素总数，n_i表示灰度值为i的像素的个数，则每个灰度值i出现的概率为p_i＝n_i/N，G₀和G₁类出现的概率为均值为则类间方差为：

σ(t)²＝ω₀ω₁(μ₀-μ₁)² (8)最佳阈值T就是使类间方差最大的t的取值，即：

T＝argmaxσ(t)²,t∈[0,M-1] (9)

2)开运算操作。开运算操作用于滤除细小的干扰物并获得较为精确的目标轮廓。它定义为先腐蚀后膨胀的过程：腐蚀的主要作用是消除物体中不相关的细节，特别是边缘点，使物体的边界向内部收缩。其表达式如下：

$E=X\&CircleTimes;B=\{x,y|B_{x,y}\&SubsetEqual;X\}---\left(10\right)$

其中，E表示腐蚀后的二值图像；B表示结构元素即模板，它是由0或1组成的任何一种形状的图形，在B中有一个中心点，以此点为中心进行腐蚀；X是原图像经过二值化处理后的图像的像素集合。运算过程是在X图像域内滑动结构元素B，当其中心点与X图像上的某一点(x,y)重合时，遍历结构元素内的像素点，如果每个像素点都与以(x,y)为中心的相同位置中对应像素点完全相同，那么像素点(x,y)将被保留在E中，对于不满足条件的像素点则被剔除掉，从而可达到收缩边界的效果。膨胀与腐蚀的作用相反，它对二值化物体轮廓的边界点进行扩充，能够填补分割后物体中残留的空洞，使物体完整。其表达式如下：

$S=X\&CirclePlus;B=\{x,y|S_{x,y}\&cap;X\&NotEqual;\mathrm{\&phi;}\}---\left(11\right)$

其中，S表示膨胀后的二值图像像素点的集合；B表示结构元素即模板；X表示经过二值化处理后的图像像素集合。运算过程是在X图像域内滑动结构元素B，当B的中心点移到X图像上的某一点(x,y)时，遍历结构元素内的像素点，如果结构元素B内的像素点与X图像的像素点至少有一个相同，那么就保留(x,y)像素点在S中，否则就去掉此像素点。

3)连通域识别。对二值图像进行开运算后，图像被划分成多个连通区域。为了从中筛选出候选目标，需要对连通域进行分割、标记，并提取特征用于目标识别。连通域分割的目的是将一幅点阵二值图像中互相邻接的目标“1”值像素集合提取出来，并为图像中不同的连通域填入不同的数字标记。算法通常分为两类：一类是局部邻域算法，基本思想是从局部到整体，逐个检查每个连通成分，确定一个“起始点”，再向周围邻域扩展地填入标记；另一类是从整体到局部，先确定不同的连通成分，再对每一个连通成分用区域填充的方法填入标记。这里采用8邻接判据对图像中的连通域进行搜索、标记。8邻接连通域的定义是该区域中每个像素，其所有8个方向的8个相邻像素中至少有一个像素仍然属于该区域。完成连通域的分割和标记后，分别提取各连通域的像素周长和预先设定的目标阈值进行对比，如果在阈值区间内则判定为候选目标，采用能够包围其连通域轮廓的最小矩形框在图像中标识出目标。

Claims (5)

1.一种弱目标成像检测装置，由仪器壳体、光学***和FPGA主控板三部分组成，其特征在于：仪器壳体用于连接光学镜头、电路板和三脚架，包括壳体前面板、壳体后框及三脚架固定座；光学***采用双通道结构，用于获取两幅不同偏振角和波段的图像，通道1包括0°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、470nm窄带滤光片和CMOS图像传感器；通道2包括90°线偏振滤镜、光学镜头、C口镜头接圈、滤光片座、630nm窄带滤光片和CMOS图像传感器；FPGA主控板用于对双通道CMOS图像传感器进行参数配置、同步采集、图像缓存及预处理，并通过USB接口传输至PC机。

2.根据权利要求1所述的一种弱目标成像检测装置，其特征在于：所述的壳体前面板的尺寸为100mm×50mm×5mm，其上安装有用于固定光学镜头的两个C口镜头接圈，两个接圈的中心间距为50mm，螺纹外径为25.1mm；壳体后框的尺寸为100mm×50mm×30mm，通过前面板四周的12颗规格为Φ3*6的螺丝与之相连，其左侧有一个B型USB接口，用来连接FPGA主控板和PC机；三脚架固定座位于壳体后框的下侧，通过中心规格为1/4-20的螺孔连接三脚架的云台。

3.根据权利要求1所述的一种弱目标成像检测装置，其特征在于：所述的通道1和通道2的光学镜头的焦距均为8mm定焦，光圈调节范围为F1.4-F16，对焦范围为0.1m-∞，和前面板上的两个C口镜头接圈相连；两片旋转式线偏振滤镜通过尺寸为M30.5×0.5mm的接圈分别安装在两个光学镜头前；采用线偏振标定板将二者对应的线偏振滤镜的偏振方向分别调节至0°和90°；两片窄带滤光片分别通过滤光片座安装于CMOS图像传感器的表面；滤光片均采用镜面玻璃材质，尺寸为12mm×12mm×0.7mm，中心波长分别为470nm和630nm，半带宽为20nm，峰值透射率>90％，截止深度<1％；CMOS图像传感器采用130万像素的1/2″单色面阵传感器，光谱响应范围为400-1050nm。

4.根据权利要求1所述的一种弱目标成像检测装置，其特征在于：所述的FPGA主控板以一片非易失性FPGA芯片为核心，并采用可编程片上***技术将32位的软核Nios II处理器及其部分外设集成在单芯片内，片外仅采用一片USB2.0接口芯片和B型USB接口与PC机通信；Nios II处理器通过Avalon总线控制用户RAM、用户FLASH、USB控制器、双通道对应的2组双口RAM控制器及图像采集模块等片内外设；用户RAM用作Nios II处理器的运行内存；用户FLASH用于存储Nios II处理器执行的程序代码；USB控制器用于USB2.0接口芯片的配置和总线协议转换；双口RAM是一个异步FIFO，用于图像行有效数据的筛选和处理，并使数据在传输过程中保持同步；图像采集模块包括配置控制器和时序控制器两部分，配置控制器通过I²C双向数据串行总线SCLK、SDATA对CMOS图像传感器内部寄存器进行配置，时序控制器通过时序信号STROBE、PIXCLK、L_VALID、F_VALID和控制信号STANDBY、TRIGGER、CLKIN控制CMOS图像传感器同步输出数据DOUT[9:0]。

5.基于权利要求1所述的一种弱目标成像检测装置的弱目标成像检测方法，其特征在于：包括以下五个主要步骤：

(1)双通道图像采集，任务开始后首先扫描USB端口并连接指定的成像装置；确认连接后向成像装置发送控制字以设置成像参数，包括图像分辨率、曝光时间和电子增益；完成设置后发送一次采集指令并等待接收图像数据，当双通道的图像数据均传输完成后以无损压缩的位图格式保存图像；

(2)图像畸变校正，设计采用张正友法标定成像***的光学畸变参数，非线性畸变模型仅考虑图像的径向畸变：

$\left\{\begin{array}{c}{\mathrm{\&delta;}}_X=x(k_1{r}^2+k_2{r}^4+k_3{r}^6+)\\ {\mathrm{\&delta;}}_Y=y(k_1{r}^2+k_2{r}^4+k_3{r}^6+)\end{array}\right.$

其中，δ_X和δ_Y是畸变值，它与投影点在图像中的像素位置有关，x、y是图像点在成像平面坐标系下根据线性投影模型得到的归一化投影值，k₁、k₂、k₃等为径向畸变系数，这里只考虑二次畸变，畸变后的坐标为：

$\left\{\begin{array}{c}{x}_d=x+{\mathrm{\&delta;}}_X=x+x(k_1{r}^2+k_2{r}^4)\\ y_d=y+{\mathrm{\&delta;}}_Y=y+y(k_1{r}^2+k_2{r}^4)\end{array}\right.$

令(u_d,v_d)、(u,v)分别为图像坐标系下空间点对应的实际坐标和理想坐标，则两者关系为：

$\left[\begin{array}{cc}(u-u_0)r^2& (u-u_0)r^4\\ (v-v_0)r^2& (v-v_0)r^4\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=\left[\begin{array}{c}{u}_d-u\\ v_d-v\end{array}\right]$

将线性标定结果作为参数初值，带入以下目标函数求最小值，实现非线性参数的估计：

$\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{m}{\&Sigma;}}\left|\right|m_{ij}-\hat{m}(A,k_1,k_2,R_i,t_i,M_j)|{|}^2$

其中，是标定模板的第j点在第i幅图像上，利用估计参数得到的投影点，M_j为标定模板第j点在世界坐标系下的坐标值，m为每幅图像特征点个数，n为图像数目；利用LM迭代法优化所得的相机标定参数，最终得到较为精确的径向畸变系数，进而反求无畸变的图像坐标；

(3)双通道图像配准，用于实现不同成像视场、波段、偏振角和光学畸变条件下双通道图像的像素对齐，采用一种基于SURF特征点的图像配准算法，包括以下五个子步骤：

1)检测SURF特征点，在构建积分图像的基础上，利用方框型滤波近似替代二阶高斯滤波，并对待选特征点和它周围的点分别计算Hessian值，如果该特征点具有最大的Hessian值，则其为特征点；

2)生成特征描述向量，使用特征点邻域的灰度信息，通过计算积分图像的一阶Haar小波响应，得到灰度分布信息来产生128维的特征描述向量；

3)两步法匹配特征点，通过基于最邻近次邻近比值法的粗匹配算法和基于RANSAC的精匹配算法两个步骤，建立参考图像和待配准图像特征点之间正确的一一对应匹配关系，其特征在于：当两幅图像的特征向量生成后，首先采用SURF特征描述向量的欧式距离作为两幅图像中关键点的相似性判定度量，方法是通过K-d树得到一个特征点到最近邻特征点的距离d_ND，其到次近邻特征点的距离d_NND，如果它们的比值小于阈值ε，则保留该特征点与其最近邻构成的匹配点对；然后随机选取4对初始匹配特征点，计算由这4对点所确定的透视变换矩阵H，再用该矩阵衡量其余特征点的匹配程度：

$\left|\right|\left(\begin{array}{c}{x}_i^{\&prime;}\\ y_i^{\&prime;}\\ 1\end{array}\right)-H\left(\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right)\left|\right|\&le;t$

其中，t为阈值，小于等于t的特征点对为H的内点，大于t的特征点对则为外点，这样不断更新内点集，由RANSAC的k次随机采样可得到最大的内点集合，此时也得到了优化后的内点集合所对应的透视变换矩阵H；

4)坐标变换及重采样，根据求得的透视变换矩阵H对图像像素的坐标进行线性变换，并采用双线性插值法对图像像素的灰度值进行重采样，双线性插值法假定内插点周围四个点围城的区域内的灰度变化是线性的，从而可以用线性内插方法，根据四个近邻像素的灰度值，计算出内插点的灰度值；

5)裁剪图像重叠区域，根据下式对图像坐标变换后的四个边界点进行判别，确定图像配准后重叠区域的四个边界点坐标(X_min,Y_min)、(X_min,Y_max)、(X_max,Y_min)、(X_max,Y_max)：

$\left\{\begin{array}{c}{X}_{\min }=\max (X_0,X_3),X_{\min }=0|X_{\min }<0\\ X_{\max }=\min (X_1,X_2,W-1)\\ Y_{\min }=\max (Y_0,Y_1),Y_{\min }=0|Y_{\min }<0\\ Y_{\min }=\min (Y_2,X_3,H-1)\end{array}\right.$

其中，W、H为图像的宽和高，按照以上边界点构成的矩形区域对双通道图像进行裁剪，得到配准的0°和90°偏振图像I(0°)和I(90°)；

(4)图像差分融合，采用双通道正交差分的方式融合得到的正交差分图像表示为：

Q＝I(0°)-I(90°)；

(5)图像目标检测，***基于形态学的方法对正交差分偏振图像进行目标检测，包括以下三个子步骤：

1)二值化处理，采用最大类间方差法自适应选取全局阈值，原理如下：设图像有M个灰度值，取值范围在0M-1，在此范围内选取灰度值t，将图像分成两组G₀和G₁，G₀包含的像素的灰度值在0t，G₁的灰度值在t+1M-1，用N表示图像像素总数，n_i表示灰度值为i的像素的个数，则每个灰度值i出现的概率为p_i＝n_i/N，G₀和G₁类出现的概率为均值为则类间方差为：

σ(t)²＝ω₀ω₁(μ₀-μ₁)²

最佳阈值T就是使类间方差最大的t的取值，即：

T＝arg maxσ(t)²,t∈[0,M-1]

2)开运算操作，开运算操作用于滤除细小的干扰物并获得较为精确的目标轮廓，它定义为先腐蚀后膨胀的过程：腐蚀的作用是消除物体中不相关的细节，特别是边缘点，使物体的边界向内部收缩，其表达式如下：

$E=X\&CircleTimes;B=\{x,y|B_{x,y}\&SubsetEqual;X\}$

其中，E表示腐蚀后的二值图像；B表示结构元素即模板，它是由0或1组成的任何一种形状的图形，在B中有一个中心点，以此点为中心进行腐蚀；X是原图像经过二值化处理后的图像的像素集合；运算过程是在X图像域内滑动结构元素B，当其中心点与X图像上的某一点(x,y)重合时，遍历结构元素内的像素点，如果每个像素点都与以(x,y)为中心的相同位置中对应像素点完全相同，那么像素点(x,y)将被保留在E中，对于不满足条件的像素点则被剔除掉，从而可达到收缩边界的效果；膨胀与腐蚀的作用相反，它对二值化物体轮廓的边界点进行扩充，能够填补分割后物体中残留的空洞，使物体完整，其表达式如下：

$S=X\&CirclePlus;B=\{x,y|S_{x,y}\&cap;X\&NotEqual;\mathrm{\&phi;}\}$

其中，S表示膨胀后的二值图像像素点的集合；B表示结构元素即模板；X表示经过二值化处理后的图像像素集合。运算过程是在X图像域内滑动结构元素B，当B的中心点移到X图像上的某一点(x,y)时，遍历结构元素内的像素点，如果结构元素B内的像素点与X图像的像素点至少有一个相同，那么就保留(x,y)像素点在S中，否则就去掉此像素点；对二值图像进行开运算操作后，图像被划分成多个连通区域；

3)连通域识别，首先采用8邻接判据对图像中的连通域进行分割，8邻接连通域的定义是：该区域中每个像素，其所有8个方向的8个相邻像素中至少有一个像素仍然属于该区域，根据该定义将二值图像中不同的连通域填入不同的数字标记；然后分别提取各连通域的像素周长，并和预先设定的目标阈值进行对比，如果在阈值区间内则判定为候选目标；最后采用能够包围其连通域轮廓的最小矩形框在图像中标识出候选目标，完成目标检测。