CN105513080A - 一种红外图像目标显著性评估方法 - Google Patents

Abstract

本发明公开了一种红外图像中目标显著性评估方法，属于视频图像处理技术领域，该方法可以有效地对红外图像中目标进行显著性评估。本发明采用一种基于超像素的中心环绕特征用于度量图中各个区域的显著性。使用了多层多尺度超像素分割机制对输入红外图像进行多尺度超像素分割，求得多层多尺度的图像分割结果。对于各层分割结果，本发明只合并相邻两个超像素，并与单个超像素组成潜在目标集合。然后使用上述中心环绕特征对所有潜在目标进行度量，最后对得到的显著性分数进行排序。本发明可以快速有效地定位红外图像中的感兴趣目标，在准确性和计算速度上具有较大优势。

Description

一种红外图像目标显著性评估方法

技术领域

本发明属于图像处理和人工智能技术领域，具体涉及一种红外图像目标显著性评估方法。

背景技术

随着红外热成像技术的快速发展，基于热成像仪的视频监控***已经广泛应用于日常生活中，例如居家安全、智能交通和工业控制。在高级的视频监控***中，无论是普通的摄像头还是红外的热像仪，首要任务就是对感兴趣目标的快速准确定位。目前最常见的目标检测技术是滑动窗口方法，利用一定的分类器，通过逐像素扫描整个图像金字塔。通常这样的方法一张图片会产生数百万个窗口，如果是进行多分类，窗口数目还会翻倍。滑动窗口方法最主要的问题就是计算成本太高，核心分类器的复杂度不断增加造成处理速度过慢。

近年来，利用潜在目标集合进行目标检测的方法越来越受到关注，这种方法量化了窗口包含潜在目标的可能性，可以不分类别地检测目标。利用显著性评价算法作为预处理步骤的目标检测器，已经在Pascal和ImageNet数据集中取得了最好的检测效果。目前现有的目标显著性评估方法都是针对可见光图像，不能直接应用于红外图像。而且，已有方法主要是在可见光图像中寻找显著的区域，没有可用的研究来评估红外热图像中的显著性。热成像图片显示所有目标、背景和场景的红外辐射强度。观察发现红外图片中感兴趣的目标整体区域总是比周围的区域更亮或更暗，这种现象的主要原因是，目标和其周围环境有一个明显的温度差，而目标内部的温度分布相对均匀。这样的特性在活动目标上更为突出，如人和热血动物。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了显著性评价作为预处理进行红外热图像中感兴趣目标的快速准确定位问题，提出了一种红外图像目标显著性评估方法，该方法应用于智能视频监控***中，实现了对红外热图像中目标进行显著性评估。

本发明解决其技术问题所采取的技术方案是：一种红外图像目标显著性评估方法，该方法包括如下步骤：

步骤1：对输入的红外图像进行多层多尺度超像素分割：使用SLIC算法作为基础分割器对红外图像进行多层多尺度超像素分割，得到多尺度的超像素分割结果；

步骤2：建立潜在目标集合：在各层超像素分割结果中，合并相邻两个超像素，并与单个超像素组成潜在目标集合；

步骤3：计算显著性并排序：设计了一种基于超像素的中心环绕特征来度量图中各个区域的显著性，并计算每个候选窗口的显著性分数；然后对候选窗口的显著性分数进行排序，分数越高表示越显著，即越可能包含感兴趣目标。

本发明步骤1中对输入的红外图像进行多层多尺度超像素分割的主要步骤是：初始化超像素的层数n、超像素的尺度集合{S₁,S₂,…,S_n}，并建立一个空的潜在目标集合C＝φ；然后使用SLIC(SimpleLinearIterativeClustering)算法作为基础分割器在每一个尺度S_i下进行超像素分割得到分割结果

本发明步骤2中首先在每一个尺度S_i下寻找中单个超像素相邻的超像素，并以此建立单个超像素的邻居集合然后根据邻居集合中单个超像素的相邻关系，组合相邻的超像素得到两个相邻超像素对的集合最后对中相邻超像素对，计算其对应的邻居超像素集合并将每个尺度S_i下的数据存到潜在目标集合中去 $C=\left\{\right\{{\mathrm{Seg}}_1^1,N_1^1\},\{{\mathrm{Seg}}_1^2,N_1^2\left\}\right\}\∪\left\{\right\{{\mathrm{Seg}}_2^1,N_2^1\},\{{\mathrm{Seg}}_2^2,N_2^2\left\}\right\}\∪...\∪\left\{\right\{{\mathrm{Seg}}_n^1,N_n^1\},\{{\mathrm{Seg}}_n^2,N_n^2\left\}\right\}.$

本发明步骤3中计算显著性分数并排序，具体过程如下：设计一种基于超像素的中心环绕特征来度量图中各个区域的显著性；根据所定义特征计算每个潜在目标窗口的显著性分数γ；然后将显著性分数γ进行排序，这样分数排名靠前的潜在目标窗口就可以作为感兴趣目标的候选。

本发明是采用基于超像素的中心环绕特征用于度量图中各个区域的显著性，使用了多层多尺度超像素分割机制对输入红外图像进行多尺度超像素分割，求得多层多尺度的图像分割结果。

对于各层分割结果，本发明只合并相邻两个超像素，并与单个超像素组成潜在目标集合，然后使用上述中心环绕特征对所有潜在目标进行度量，最后对得到的显著性分数进行排序，分数排名靠前对应的潜在目标窗口就可以作为感兴趣目标候选窗口。

有益效果：

1、本发明可以快速有效地定位红外图像中的感兴趣目标，在准确性和计算速度上具有较大的优势。

2、本发明设计的基于超像素的中心环绕特征可以有效地度量图中各个区域的显著性，而且计算简单。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

如图1所示，本发明提供了一种红外图像目标显著性评估方法，该方法包括如下步骤：

步骤1：对输入的红外图像进行多层多尺度超像素分割。初始化超像素的层数n、超像素的尺度集合{S₁,S₂,…,S_n}，并建立一个空的潜在目标集合C＝φ；对比当下流行的几种超像素分割算法的性能，包括计算目标边界的检测率、目标分割的准确性和超像素紧致性三个参数，发现SLIC算法是最简单、最规则且最快速有效的超像素分割方法，并且算法计算复杂度与超像素个数多少无关，这对多层多尺寸的超像素分割有很大益处；使用SLIC算法为超像素分割的基准算法，在每一个尺度S_i进行超像素分割得到分割结果

步骤2：建立潜在目标集合。通常仅用一个尺度的超像素分割很难即准确的检测到小尺寸目标又准确的检测到大尺寸目标；因此超像素分割算法都是在一定规则下进行相邻超像素组合来进行目标检测，初始化的超像素是从某一尺度下的超像素分割中挑选的；这种处理方式往往很耗时而且很容易导致差错传播；观察发现一个大的目标通常既可以由少量大尺寸的超像素描述，又可以由大量小尺寸的超像素描述，这之间呈线性关系，因此本发明方法采用多层多尺度超像素分割替代多次迭代组合；对于各层分割结果，本发明方法只合并相邻两个超像素，并与单个超像素组成潜在目标集合。在每一个尺度S_i下寻找中单个超像素相邻的超像素，并以此建立单个超像素的邻居集合根据邻居集合中单个超像素的相邻关系，组合相邻的超像素得到两个相邻超像素对的集合对中相邻超像素对，计算其对应的邻居超像素集合其中每个组合对的邻居超像素集合用两个单独超像素的邻居集合相并再剔除这两个组合对自身即可；然后将每个尺度S_i下的数据存到潜在目标集合中去 $C=\left\{\right\{{\mathrm{Seg}}_1^1,N_1^1\},\{{\mathrm{Seg}}_1^2,N_1^2\left\}\right\}\∪\left\{\right\{{\mathrm{Seg}}_2^1,N_2^1\},\{{\mathrm{Seg}}_2^2,N_2^2\left\}\right\}\∪...\∪\left\{\right\{{\mathrm{Seg}}_n^1,N_n^1\},\{{\mathrm{Seg}}_n^2,N_n^2\left\}\right\}.$

步骤3：计算显著性并排序。红外热图像中感兴趣目标和背景有显著的对比度差异，因此我们设计了一种基于超像素的中心环绕特征来度量图中各个区域的显著性，表示如下：

SF(S^c,S^s)＝diff(S^c,S^s)*dist(S^c,S^s)(1)

根据前一步骤中设计的特征，先计算中心超像素S^c和其相邻的超像素S^s平均灰度值差的绝对值：

$diff(S^c,S^s)=abs\left(mean\right({\mathrm{\Σ}}_{{\mathrm{\ω}}_i\∈S^c}{\mathrm{\ω}}_i)-mean({\mathrm{\Σ}}_{v_j\∈S^s}{v}_j\left)\right)---\left(2\right)$

其中表示中心超像素的平均灰度值，表示相邻超像素的平均灰度值；再计算中心超像素S^c和其相邻的超像素S^s归一化的灰度直方图距离：

$dist(S^c,S^s)=\frac{1}{\left|S^s\right|}\underset{m}{\overset{\left|S^s\right|}{\Σ}}\underset{i}{\Σ}\frac{{\left(H^{S^c}\right(i)-H_m^{S^s}(i\left)\right)}^2}{H^{S^c}\left(i\right)+H_m^{S^s}\left(i\right)}---\left(3\right)$

本方法使用了卡方距离，其中H^Sc、H^Ss分别表示中心超像素S^c和其相邻的超像素S^s的灰度直方图，|S^s|表示相邻超像素的个数；然后将diff(S^c,S^s)和dist(S^c,S^s)两个值相乘就可以得到每个潜在目标窗口的显著性分数γ；本发明提出的特征可以有效地区分感兴趣区域和背景，而且计算过程只需要几个线性操作，因此显著性分数的计算效率很高，计算速度快；将显著性分数γ进行排序，这样就得到了排序了的分数和对应的潜在目标窗口，分数排名靠前的潜在目标窗口就可以作为感兴趣目标的候选。

在自建的红外热图像数据集对本发明方法进行测试，该红外热图像数据集共包含500张红外图片。该数据集有三个来源：OTCBVS数据集、LSI远红外行人数据集和ASL热红外数据集。超过1300个感兴趣目标，涵盖行人、马和猫，其中每一个目标的分割都是人工标记的，并且所有图片大小都被调整为320×240。实验选择4层超像素分割，取前1000个潜在目标窗口计算。当交集比并集(IoU)的阈值为0.5时，检测率为0.97；当IoU阈值为0.7时，检测率为0.89；当IoU阈值为0.9时，检测率为0.13，IoU三个阈值时检测率均大幅领先于当前同类其他算法。平均计算每张图片的时间为116ms，计算效率也优于大多数算法。

综上所述，本领域技术人员应当理解，对上述本发明所公开的技术方案，若在不脱离本发明内容的基础上作出的各种改进或变换，其保护范围应当以本发明权利要求书的内容为准。

Claims (4)

1.一种红外图像目标显著性评估方法，其特征在于，所述方法包括如下步骤：

步骤1：对输入的红外图像进行多层多尺度超像素分割：使用SLIC算法作为基础分割器对红外图像进行多层多尺度超像素分割，得到多尺度的超像素分割结果；

步骤2：建立潜在目标集合：在各层超像素分割结果中，合并相邻两个超像素，并与单个超像素组成潜在目标集合；

步骤3：计算显著性并排序：设计了一种基于超像素的中心环绕特征来度量图中各个区域的显著性，并计算每个候选窗口的显著性分数；然后对候选窗口的显著性分数进行排序，分数越高表示越显著，即越可能包含感兴趣目标。

2.根据权利要求1所述的一种红外图像目标显著性评估方法，其特征在于：所述的步骤1中对输入的红外图像进行多层多尺度超像素分割的步骤是：初始化超像素的层数n、超像素的尺度集合{S₁,S₂,…,S_n}，并建立一个空的潜在目标集合C＝φ(其中C为潜在目标集合，φ表示空集)；然后使用SLIC算法作为基础分割器在每一个尺度S_i(其中S_i为第i个超像素尺度)下进行超像素分割得到分割结果(其中表示S_i下单个超像素分割结果)。

3.根据权利要求1所述的一种红外图像目标显著性评估方法，其特征在于：所述的步骤2中首先在每一个尺度S_i下寻找中单个超像素相邻的超像素，并以此建立单个超像素的邻居集合(其中表示S_i下单个超像素的邻居集合)；然后根据邻居集合中单个超像素的相邻关系，组合相邻的超像素得到两个相邻超像素对的集合(其中表示S_i下两个相邻超像素对的集合)；最后对中相邻超像素对，计算其对应的邻居超像素集合(其中表示S_i下两个相邻超像素对的邻居集合)，并将每个尺度S_i下的数据存到潜在目标集合中去 $C=\left\{\right\{{\mathrm{Seg}}_1^1,N_1^1\},\{{\mathrm{Seg}}_1^2,N_1^2\left\}\right\}\∪\left\{\right\{{\mathrm{Seg}}_2^1,N_2^1\},\{{\mathrm{Seg}}_2^2,N_2^2\left\}\right\}\∪...\∪\left\{\right\{{\mathrm{Seg}}_n^1,N_n^1\},\{{\mathrm{Seg}}_n^2,N_n^2\left\}\right\}$ (其中i＝1,2,…,n表示S_i下潜在目标集合)。

4.根据权利要求1所述的一种红外图像目标显著性评估方法，其特征在于：所述的步骤3中计算显著性分数并排序，具体过程如下：设计一种基于超像素的中心环绕特征来度量图中各个区域的显著性；根据所定义特征计算每个潜在目标窗口的显著性分数γ；然后将显著性分数γ进行排序，这样分数排名靠前的潜在目标窗口就可以作为感兴趣目标的候选。