CN107194946A

CN107194946A - 一种基于fpga的红外显著物体检测方法

Info

Publication number: CN107194946A
Application number: CN201710331079.XA
Authority: CN
Inventors: 张宝辉; 吉莉; 于世孔; 蒋志芳; 李中文; 王润宇; 杨开峰; 张巍伟; 吴杰
Original assignee: Kunming Institute of Physics
Current assignee: Kunming Institute of Physics
Priority date: 2017-05-11
Filing date: 2017-05-11
Publication date: 2017-09-22
Anticipated expiration: 2037-05-11
Also published as: CN107194946B

Abstract

本发明提供一种基于FPGA的红外显著物体检测方法，包括以下步骤：步骤1，采集图像A1；步骤2，对采集到的图像进行阈值分隔得到图像A2；步骤3，对A2进行边缘检测得到图像A3；步骤4，对A3标记连通域得到图像A4；步骤5，对A4中的连通域，获取以连通域边界为特征的特征矩阵；步骤6，对连通域对应的特征矩阵，通过约束的方式判断是否为显著物体，包括视野约束、灰度约束和占空比约束；步骤7，对通过约束的连通域进行交叉合并得到新的连通域特征矩阵；步骤8，输出经交叉合并后连通域特征值对应边界值内的图像。该方法可以于复杂的场景中检测出显著物体，在确保实时性和稳定性的同时能够提高检测精度。

Description

一种基于FPGA的红外显著物体检测方法

技术领域

本发明涉及一种红外图像处理技术，特别是一种基于FPGA的红外显著物体检测方法。

背景技术

红外成像具有良好的穿透能力、较强的抗干扰能力和可昼夜工作的优点，基于红外成像的显著物体检测技术广泛应用于制导、跟踪及预警等军事***中。显著物体检测方法的实时性、稳定性和精度将直接影响军事***的可靠性。然而，红外图像信息单一，对比度低，且存在信号弱和背景复杂等情况，给检测造成了极大的困难。因此，亟待开发适用于红外图像的显著物体检测***和方法。

吴燕茹等在文献(利用KPCA特征提取的Adaboost红外目标检测[J].红外与激光工程,2011,40(2):338-343.)中提出的红外目标检测算法较传统算法具有更好的鲁棒性和准确性，但该算法复杂度高，在硬件平台上的实现效果有待考证。

Stolkin等在文献(Particle filter tracking of camouflaged targets byadaptive fusion of thermal and visible spectra camera data[J].IEEETransactions on Sensors Journal,2013,99:1-8.)中提出的目标检测和跟踪方法对于伪装目标有较好的检测效果，但是该方法基于可见光和红外融合图像，在硬件平台上实现时，***的复杂度高，稳定性难以保障。

CN201310031758.7采用DSP处理器，虽然可以实现运动目标检测，但由于单个DSP不具备并行处理能力，处理时间相对较长，且基于DSP的***结构复杂，功耗高，不利于应用到军事***中。

CN201410450244.X采用一种基于FPGA的红外目标检测方法，该方法能够提高检测***的实时性，但仅针对小目标检测，对复杂场景中的各显著物体难以检测，不具有普适性。

近年来FPGA芯片工艺发展迅速，片上资源越来越丰富、处理速度越来越快，且在FPGA上能够实现灵活的设计，节约开发周期和成本。采用FPGA实现红外显著物体检测算法，不仅因为它具有并行处理能力，还因为它集成度高，与红外相机构成的实时检测***在体积和重量方面更具优势。

发明内容

本发明的目的在于提供一种基于FPGA的红外显著物体检测方法，该方法可以于复杂的场景中检测出显著物体，在确保实时性和稳定性的同时能够提高检测精度。

一种基于FPGA的红外显著物体检测方法，其特征在于，包括以下步骤：

步骤1，采集图像A1；

步骤2，对采集到的图像进行阈值分隔得到图像A2；

步骤3，对A2进行边缘检测得到图像A3；

步骤4，对A3标记连通域得到图像A4；

步骤5，对A4中的连通域，获取以连通域边界为特征的特征矩阵；

步骤6，对连通域对应的特征矩阵，通过约束的方式判断是否为显著物体，包括视野约束、灰度约束和占空比约束；

步骤7，对通过约束的连通域进行交叉合并得到新的连通域特征矩阵；

步骤8，输出经交叉合并后连通域特征值对应边界值内的图像。

本发明与现有技术相比，具有如下优点：(1)红外显著物体检测方法基于FPGA实现，其采用的***体积小，功耗低，可以在消隐期内完成整体算法，***实时性较好；(2)红外显著物体检测方法与图像采集和预处理模块完全独立，算法可移植性高；(3)采用视野约束、灰度约束和占空比约束判断是否为显著性物体，检测精度较高；(4)采用交叉检测域合并算法减少一个目标被分散成多个检测、标记的情况，使检测目标更加连续。

下面结合说明书附图对本发明做进一步描述。

附图说明

图1是本发明基于FPGA的红外显著物体检测方法的流程图。

图2是本发明中边缘检测模块的具体流程图。

图3是本发明中显著性约束模块的具体流程图。

图4是显著性约束中视野约束模块的区域划分示意图。

图5是显著性约束中灰度约束模块的连通域边界扩展示意图。

图6是本发明方法在城市道路场景下的红外显著物体检测效果图一。

图7是本发明方法在城市道路场景下的红外显著物体检测效果图二。

图8是本发明方法在城市道路场景下的红外显著物体检测效果图三。

图9是本发明方法在城市道路场景下的红外显著物体检测效果图四。

具体实施方式

如图1所示，一种基于FPGA的红外显著物体检测方法，包括以下步骤：

步骤S1，采集图像A1；

步骤S2，对采集到的图像进行阈值分隔得到图像A2；

步骤S3，对A2进行边缘检测得到图像A3；

步骤S4，对A3标记连通域得到图像A4；

步骤S5，对A4中的连通域，获取以连通域边界为特征的特征矩阵；

步骤S6，对连通域对应的特征矩阵，通过约束的方式判断是否为显著物体，包括视野约束、灰度约束和占空比约束；

步骤S7，对通过约束的连通域进行交叉合并得到新的连通域特征矩阵；

步骤S8，输出经交叉合并后连通域特征值对应边界值内的图像；

下面详细说明各模块的实现方法，以下说明仅用来解释本发明，并不限制本发明。

步骤S1，图像采集和预处理，包括：

从热像仪输出的红外视频流中截取每一帧的256×256像素大小的图像，对采集的图像进行预处理，通过预处理以后的图像输入到阈值分割模块，同时存储到FPGA的RAM1当中。

图像预处理的目的是滤除噪声，提高信噪比。中值滤波是一种基于排序理论的非线性滤波技术，能有效抑制噪声。本实施例中选取5×5大小的中值滤波模板进行图像预处理。

步骤S2，阈值分割包括：

对通过预处理以后的图像数据，设图像均值为u，同时设当前景与背景的分割阈值为t时，前景点所占图像的比例为w0，均值为u0，背景点所占图像的比例为w1，均值为u1。建立目标函数：

g(t)＝w0×(u0-u)²+w1×(u1-u)²

按照最大类间方差法，使得g(t)取得全局最大值的t为最佳阈值，将图像中灰度级大于或等于t的像素点灰度级设置为255，灰度级小于t的像素点灰度级设置为0，得到二值化图像数据，将其输入到边缘检测模块。

步骤S3，边缘检测包括：

采用Canny算子对二值化图像进行边缘检测，结合图3，采用5×5窗口进行高斯滤波，采用Sobel算子计算滤波后图像的梯度幅值和方向，通过梯度直方图统计获得高低阈值，对梯度直方图进行非极大值限制，按照之前获得的高低阈值，采用双门限的方法去除虚假边缘点和连接边缘。通过边缘检测后的图像数据输入到连通域标记模块。

步骤S4，连通域标记包括：

一幅图像中可以有多个连通域的存在，任意两个连通域不重叠也不相邻。一般来说，连通域的判断有两种度量准则：四连通和八连通。四连通是指根据目标像素点的上、下、左、右像素点判断连通关系，而八连通是指根据目标像素点的上、下、左、右和四个对角像素确定连通关系。八连通准则的判断误差相对较小，因此本实施例采用八连通准则进行连通域标记。

对通过边缘检测后的图像进行连通域标记，将连通域标记图像存储在RAM2中。设全部标记完成后，当前边缘检测图像中共有n个(n>＝0，且为整数)连通域，即标记为1～n。

步骤S5，特征矩阵生成包括

读取RAM2中的最终连通域标记图像数据，定义任一连通域的特征值为其上、下、左、右的边界坐标值：f_up、f_down、f_left、f_right，得到n个连通域的对应的特征矩阵FR，每一行对应一个连通域的特征值，表达式如下：

将特征矩阵存储到FPGA的RAM3当中。

步骤S6，显著性约束包括：

对于特征矩阵生成模块中获得的n个连通域，需要通过约束的方式进一步判断，是否为显著物体。如图3所示，本发明中采用视野约束限制检测范围，采用灰度约束和占空比约束判断目标显著性，检测精度较高，并且约束参数均实时可调，可适应不同的场景。

显著性约束包含视野约束、灰度约束和占空比约束。

(1)视野约束模块

读取RAM3中对应当前帧的n个连通域的特征矩阵，任一连通域的中心坐标可由下面的式子计算得到：

x_c＝(f_left+f_right)/2

y_c＝(f_up+f_down)/2

该连通域所占面积计算为：

S_c＝(f_down-f_up+1)×(f_right-f_left+1)

如图4所示，将连通域标记图像划分为几个区域，按照截取图像的大小，M＝N＝256，本实施例中区域划分参数X0＝128，Y3＝250，Y2＝230，Y1＝220，Y0＝200，AREA0＝64，AREA1＝64，AREA2＝25，AREA3＝9，参数可根据实际场景调整。

对任一连通域，视野约束的具体实现方式如下：

1)判断连通域中心坐标是否在R0区域：若在R0区域，则判断是否满足S_c＞＝AREA0，满足跳至步骤5)，不满足则跳至步骤6)；若不在R0区域则跳至步骤2)。

2)判断连通域中心坐标是否在R1区域：若在R1区域，则判断是否满足S_c＞＝AREA1，满足跳至步骤5)，不满足则跳至步骤6)；若不在R1区域则跳至步骤3)。

3)判断连通域中心坐标是否在R2区域：若在R2区域，则判断是否满足S_c＞＝AREA2，满足跳至步骤5)，不满足则跳至步骤6)；若不在R2区域则跳至步骤4)。

4)判断连通域中心坐标是否在R3区域：若在R3区域，则判断是否满足S_c＞＝AREA3，满足跳至步骤5)，不满足则跳至步骤6)；若不在R3区域则跳至步骤6)。

5)该连通域满足视野约束，在特征矩阵中保留其对应的特征值。

6)该连通域不满足视野约束，在特征矩阵中去除其对应的特征值，刷新RAM3。

分别对n个连通域进行视野约束判断，判断完成后刷新RAM3中的特征值，然后进入灰度约束模块。

(2)灰度约束模块

读取RAM3中的通过视野约束模块的连通域特征值，对其中任一连通域，将其上、下、左、右边界分别扩展，如图5所示，其中：

e_up＝f_up-EX_UP，

e_down＝f_down-EX_DOWN，

e_left＝f_left-EX_LEFT，

e_right＝f_right-EX_RIGHT，

扩展参数可根据实际场景调整，在本实施例中，此处扩展参数的取值为：

EX_UP＝EX_DOWN＝EX_LEFT＝EX_RIGHT＝3

读取RAM1中缓存的图像数据，根据此图像各像素点灰度级计算该连通域边界内的平均灰度级e_ave，以及扩展区域内的平均灰度级f_ave，灰度约束的具体描述如下式：

|e_ave-f_ave|＞＝G_ratio×max(e_ave,f_ave)

其中，G_ratio为灰度约束系数，一般取G_ratio＝0.3，本实施例中也取此值，但可根据实际场景调整。

同样地，若该连通域满足视野约束则保留，否则去除。对RAM3中每一个连通域进行灰度约束判断，同时刷新RAM3中的特征值，判断完成后进入占空比约束模块。

(3)占空比约束模块

占空比原本的定义是有效电平在一个周期内所占的时间比率，本发明将其映射为图像区域范围内有效像素点占整个区域像素点的比例，并将该比例称为“目标占空比”。有效像素点是指在某连通域边界内灰度级满足一定约束的像素点。“目标占空比”满足一定条件就称为占空比约束，通过该约束可以去除假目标，从而降低误检率。

下面说明占空比约束的具体实施方式：

读取RAM3中的通过灰度约束的连通域特征值，对其中任一连通域，计算在该连通域上、下、左、右边界内的总像素个数：

pix_total＝(f_down-f_up+1)×(f_right-f_left+1)

读取RAM1中缓存的图像数据，设gray(x,y)为该图像在(x,y)坐标位置对应的灰度级大小，根据灰度约束计算的连通域边界内平均灰度f_ave及扩展区域平均灰度e_ave，满足以下两个条件之一的像素点称为有效像素点，统计其个数为pix_duty：

1)若f_ave＞＝e_ave，则统计gray(x,y)＞＝e_ave的像素点个数；

2)若f_ave＜e_ave，则统计gray(x,y)＜e_ave的像素点个数；

那么定义该连通域边界内的“目标占空比”为：

占空比约束可以具体描述为：

Duty_ratio＞＝DR_MIN

其中DR_MIN为最小占空比参数，本实施例中取50％，也可根据实际场景调整。

若该连通域满足占空比约束则保留，否则去除。对RAM3中每一个连通域进行占空比约束判断，同时刷新RAM3中的特征值，判断完成后进入交叉检测域合并模块。

步骤S7，交叉检测域合并包括：

读取RAM3中的通过占空比约束的连通域特征值，设通过显著性约束模块后RAM3中剩余m个(m>＝0，且为整数)连通域的特征值，将这m个连通域记为L1，L2，…，Lm，每个连通域对应一个检测目标，并将它的特征值对应的上下左右边界内的区域称为目标检测域，那么m个连通域就对应着m个目标检测域。

以其中任两个连通域Lj、Lk为例说明两个目标检测域是否应该合并，设Lj的特征值为f_up_j、f_down_j、f_left_j、f_right_j，Lk的特征值为f_up_k、f_down_k、f_left_k、f_right_k。

按照步骤S6中灰度约束的扩展方式将Lj的上、下、左、右边界分别扩展，将扩展边界内的区域称为Lj的扩展目标检测域，且在本实施例中，此处扩展参数的取值为：EX_UP_C＝EX_DOWN_C＝4，EX_LEFT_C＝EX_RIGHT_C＝10，大小可根据实际场景调整。

若Lj的扩展目标检测域与Lk的目标检测域交叉，则合并这两个目标检测域，形成一个合并的目标检测域，它的特征值为该合并目标检测域的上、下、左、右坐标，即：min(f_up_j,f_up_k)、max(f_down_j,f_down_k)、min(f_left_j,f_left_k)，max(f_right_j,f_right_k)。

交叉检测域合并的具体实现方式如下：

1)L1边界扩展，扩展目标检测域分别与L2，…，Lm的目标检测域比较，若与Li的目标检测域与之交叉，则合并L1与Li对应目标检测域，且跳至步骤2)，若判断至Lm都不交叉，也跳至步骤2)；

2)若L2的目标检测域在之前的步骤已经合并过则跳至步骤3)，否则将L2边界扩展，扩展目标检测域分别与L3，…，Lm中在前面步骤中未合并过的目标检测域比较，若Li的目标检测域与之交叉，则合并L2与Li对应目标检测域，并跳至步骤3)，若判断至Lm都不交叉，也跳至步骤3)；

3)若L3的目标检测域在之前的步骤已经合并过则跳至步骤4)，否则将L3边界扩展，扩展目标检测域分别与L4，…，Lm中在前面步骤中未合并过的目标检测域比较，若Li的目标检测域与之交叉，则合并L3与Li对应目标检测域，并跳至步骤4)，若判断至Lm都不交叉，也跳至步骤4)；

m-1)若L(m-1)或Lm的目标检测域在之前的步骤已经合并过则结束合并步骤，否则将若L(m-1)边界扩展，扩展目标检测域与Lm的目标检测域比较，若交叉，则合并L(m-1)与Lm对应目标检测域，最后结束合并步骤。

在交叉检测域合并的步骤中，每合并一次都需要更新RAM3中的特征值，交叉检测域合并步骤全部完成时，RAM3中的特征值即为最终目标检测域的特征值，即它的上、下、左、右边界坐标值。

步骤S8，显著物体标记模块

交叉检测域合并完成后，读取RAM3中目标检测域的特征值，根据其边界值将目标框叠加到输出视频流中，标记出显著物体。

通过图6、7、8、9，可以明显的看出，采用本方法，可以在复杂的场景检测出显著性物体，检测精度较高。

Claims

1.一种基于FPGA的红外显著物体检测方法，其特征在于，包括以下步骤：

步骤1，采集图像A1；

步骤2，对采集到的图像进行阈值分隔得到图像A2；

步骤3，对A2进行边缘检测得到图像A3；

步骤4，对A3标记连通域得到图像A4；

步骤6，对连通域对应的特征矩阵，通过约束的方式判断是否为显著物体；

步骤8，输出经交叉合并后连通域特征值对应边界值内的图像；

步骤6中涉及的约束包括视野约束、灰度约束和占空比约束。

2.根据权利要求1所述的方法，其特征在于，步骤2的具体过程为：

步骤2.1，设图像A1的均值为u；设当前景与背景的分割阈值为t时，前景点所占图像的比例为w0且均值为u0，背景点所占图像的比例为w1且均值为u1

步骤2.2，建立目标函数

g(t)＝w0×(u0-u)²+w1×(u1-u)² (1)

步骤2.3，按照最大类间方差法，使得g(t)取得全局最大值的t为最佳阈值；

步骤2.4，将图像中灰度级大于或等于t的像素点灰度级设置为255，灰度级小于t的像素点灰度级设置为0，得到二值化图像A2。

3.根据权利要求1所述的方法，其特征在于，步骤3中采用Canny算子对A2进行边缘检测，具体过程为：

步骤3.1，采用m×m窗口对图像A2进行高斯滤波；

步骤3.2，采用Sobel算子计算滤波后图像的梯度幅值和方向；

步骤3.3，通过梯度直方图获得高低阈值；

步骤3.4，对梯度直方图进行非极大值限制，按照高低阈值，采用双门限的方法去除虚假边缘点和连接边缘得到图像A3。

4.根据权利要求1所述的方法，其特征在于，步骤4中采用八连通准则进行连通域标记。

5.根据权利要求1所述的方法，其特征在于，步骤5的具体过程为：

设任一连通域的特征值为其上、下、左、右的边界坐标值分别为f_up、f_down、f_left、f_right，得到n个连通域的对应的特征矩阵FR

6.根据权利要求1所述的方法，其特征在于，步骤6中采用视野约束限制检测范围，采用灰度约束和占空比约束判断目标显著性：其中

视野约束包括以下步骤：

步骤6.1.1，读取n个连通域的特征矩阵，任一连通域的中心坐标可由式(2)(3)获得：

x_c＝(f_left+f_right)/2 (2)

y_c＝(f_up+f_down)/2 (3)

步骤6.1.2，通过式(4)计算连通域所占面积

S_c＝(f_down-f_up+1)×(f_right-f_left+1) (4)

步骤6.1.3，将连通域标记图像划分为若干个区域，且计算每一区域的面积；

步骤6.1.4，判断连通域中心坐标是否在某一区域内且该连通域面积大于等于该区域的面积，若是转步骤6.1.5，若一连通域中心坐标不在任意一区域内或面积小于任意一区域面积，则转步骤6.1.6；

步骤6.1.5，该连通域满足视野约束，在特征矩阵中保留其对应的特征值；

步骤6.1.6，该连通域不满足视野约束，在特征矩阵中去除其对应的特征值；

灰度约束包括以下步骤：

步骤6.2.1，读取通过视野约束的连通域特征值，对其中任一连通域，将其上、下、左、右边界通过式(5)(6)(7)(8)分别扩展

e_up＝f_up-EX_UP (5)

e_down＝f_down-EX_DOWN (6)

e_left＝f_left-EX_LEFT (7)

e_right＝f_right-EX_RIGHT (8)

步骤6.2.2，读取图像A1的数据，根据此图像各像素点灰度级计算连通域边界内的平均灰度级e_ave和扩展区域内的平均灰度级f_ave；

步骤6.2.3，若式(9)满足，则转步骤6.2.4；否则转步骤6.2.5

|e_ave-f_ave|＞＝G_ratio×max(e_ave,f_ave) (9)

其中，G_ratio为灰度约束系数；

步骤6.2.4，该连通域满足灰度约束，在特征矩阵中保留其对应的特征值；

步骤6.2.5，该连通域不满足灰度约束，在特征矩阵中去除其对应的特征值；

占空比约束包括以下步骤：

步骤6.3.1，读取通过灰度约束的连通域特征值，对其中任一连通域，根据式(10)计算在该连通域上、下、左、右边界内的总像素个数：

pix_total＝(f_down-f_up+1)×(f_right-f_left+1) (10)

步骤6.3.2，读取图像A1的数据，设gray(x,y)为该图像在(x,y)坐标位置对应的灰度级大小，根据e_ave和f_ave，统计满足以下两个条件之一的像素个数pix_duty，

条件1：若f_ave＞＝e_ave，则统计gray(x,y)＞＝e_ave的像素点个数；

条件2：若f_ave＜e_ave，则统计gray(x,y)＜e_ave的像素点个数；

步骤6.3.3，根据式(11)计算连通域边界内的目标占空比

<mrow> <mi>D</mi> <mi>u</mi> <mi>t</mi> <mi>y</mi> <mo>_</mo> <mi>r</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mo>=</mo> <mfrac> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> <mo>_</mo> <mi>d</mi> <mi>u</mi> <mi>t</mi> <mi>y</mi> </mrow> <mrow> <mi>p</mi> <mi>i</mi> <mi>x</mi> <mo>_</mo> <mi>t</mi> <mi>o</mi> <mi>t</mi> <mi>a</mi> <mi>l</mi> </mrow> </mfrac> <mo>&times;</mo> <mn>100</mn> <mi>%</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

步骤6.3.4，若式(12)满足，则转步骤6.3.5，否则转步骤6.3.6

Duty_ratio＞＝DR_MIN (12)

其中DR_MIN为最小占空比参数；

步骤6.3.5，该连通域满足占空比约束，在特征矩阵中保留其对应的特征值；

步骤6.2.5，该连通域不满足占空比约束，在特征矩阵中去除其对应的特征值。

7.根据权利要求6所述的方法，其特征在于，步骤7的具体过程为：

步骤7.1，读取所有m个通过占空比约束的连通域特征值，将m个连通域自上至下，自左至右排列记为L1，L2，…，Lm，每个连通域对应一个检测目标，每个连通域的特征值对应的上、下、左、右边界内的区域对应目标检测域；

步骤7.2，选取其中任两个连通域Lj、Lk，Lj的特征值为f_up_j、f_down_j、f_left_j、f_right_j，Lk的特征值为f_up_k、f_down_k、f_left_k、f_right_k；

步骤7.3，根据式(5)(6)(7)(8)将Lj的上、下、左、右边界分别扩展，扩展边界内的区域为Lj的扩展目标检测域；

步骤7.4，若Lj的扩展目标检测域与Lk的目标检测域交叉，则合并这两个目标检测域，形成一个合并的目标检测域，合并的特征值为该合并目标检测域的上、下、左、右坐标min(f_up_j,f_up_k)、max(f_down_j,f_down_k)、min(f_left_j,f_left_k)，max(f_right_j,f_right_k)；

所述每一连通域仅能合并一次。