CN107423765A - 基于稀疏编码反馈网络的自底而上显著目标检测方法 - Google Patents

Abstract

本发明涉及一种基于稀疏编码反馈网络的自底而上显著目标检测方法，用于检测图像的显著目标。步骤包括：（1）对二维原始图像在多尺度下形成RG特征、BY特征和原图三个通道的特征图；（2）对形成的每副特征图构造输入信号与字典原子，计算输入信号的稀疏表达，然后计算重构误差，得到每副特征图的显著图；（3）计算每副显著图的信息熵，根据信息熵对不同特征的显著图进行线性合并，形成最终的显著图，得到检测结果。本发明利用图像的信息熵，提出了一种“赢者通吃、输者淘汰”的合并准则，能够有效改进显著图的效果。

Description

基于稀疏编码反馈网络的自底而上显著目标检测方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于稀疏编码反馈网络的自底而上显著目标检测方法。

背景技术

人类的视觉***拥有着处理、感知、理解的能力。利用视觉注意力机制，可以用计算机来模拟生物视觉注意力***的模型。通过计算模型在一幅给定图像中获取引人注意的焦点，相对于计算机而言，就是该图像的显著目标。结合信息的认知机理与人工智能，对图像进行视觉注意力计算，进而实现显著对象的提取是目前学术界关注的重要方向之一。从海量图像数据中精准找到人眼所关注的显著对象或区域，对于提高图像处理的效率以及模式识别的准确率都具有十分重大且深远的意义。

自底而上的视觉注意力计算模型中最受生物学理论支撑的模型是基于局部对比度的视觉注意力计算模型，这种方法一般通过计算当前区域与其周围邻域的对比度来计算显著值。最具有代表性的是Itti等人所提出的计算框架：首先是生成多尺度的颜色、亮度、方向底层视觉特征图；然后使用“中心-周围邻域”的操作，在每张特征图上各自进行显著值的计算；最后一步是将每张计算后的特征图归一化，线性合并为一张代表图像视觉显著性的显著图。之后的不少方法在Itti方法的基础上进行了改进或扩展，如Harel等人在该模型的显著值计算中使用了基于图论的方法，进而将生成的显著图用于对象分割或对象识别等。此外，Ma和Zhang利用局部对比度方法获得显著图，并提出了一种模糊增长方法，用于从显著图中提取显著目标。Liu等通过一种条件随机场（Conditional Random Field，CRF）学习的方法，将多尺度对比度、“中心-周围邻域”直方图和颜色空间分布等特征按一定权重组合起来用于提取显著目标。当计算背景较为复杂的图片场景时，以上这些基于局部对比度的方法往往能取得比较好的效果，尤其能够突显显著对象的边缘，但同时也造成了显著物体无法直接提取的情况。

为了解决以上问题，有学者提出利用全局对比度来计算图像的视觉显著性。此类方法在计算每个像素或者区域的显著值时，需要利用到图像中的所有信息，因此往往采用一些简化的近似方法来降低计算量。例如：Achanta等通过频率调谐分析，直接使用每个像素的颜色与图像颜色均值的差异程度来定义每个像素点的显著值。Cheng等提出了颜色直方图量化的方法，进而以区域为单位，用该区域与图像中其他所有区域的差异程度之和作为其显著值。Sidibé等提出了一种基于密度估计的显著计算方法，首先利用主成分分析对所有子区域构成的数据进行降维，再对每个子区域分别用高斯密度函数进行描述求得区域显著值。一般来说，这些方法都可以生成具有全分辨率、显著区域均匀的显著图，非常适合用于提取显著对象。

发明内容

本发明的目的是模拟人类的视觉注意力机制，减少像素或者区域的显著值计算量，通过“赢者通吃、输者淘汰”的合并准则改进显著图的效果。

为实现上述目的，本发明的技术方案是：一种基于稀疏编码反馈网络的自底而上显著目标检测方法，包括如下步骤：

步骤S1：对二维原始图像在多尺度下形成RG特征图和BY特征图，并与原图I构成三个通道的特征图；

步骤S2：对形成的每副特征图构造输入信号与字典原子，计算输入信号的稀疏表达，然后计算重构误差，得到每副特征图的显著图；

步骤S3：计算每副显著图的信息熵，根据信息熵对不同特征的显著图进行线性合并，形成最终的显著图，得到检测结果。

进一步地，所述步骤S1包括：

步骤S11：对二维原始图像采用二值高斯金字塔构建多尺度图像；

步骤S12：在每一尺度空间下，提取红绿蓝黄四个颜色通道的特征图，rgb表示图像的三原色图，计算R=r-(g+b)/2，G=g-(r+b)/2，B=b-(r+g)/2，Y=(r+g)/2-|r-g|/2-b；

步骤S13：构建RG和BY特征图，其中，RG=R-G，BY=B-Y，RG、BY特征和原图I构成三个通道的特征图。

进一步地，所述步骤S2包括：

步骤S21：采用滑动窗口技术，在步骤S1形成的每幅特征图中选取中心区域，以中心区域为输入信号，在中心区域的周围取与中心区域相同大小的区域块作为字典的一个原子，构造多尺度下的中心区域大小和字典原子个数，形成多种组合；

步骤S22：对每一种组合，采用局部线性约束编码技术计算中心区域的稀疏表达，计算重构误差，将所有组合的重构误差平均值作为中心区域的最终重构误差；

步骤S23：计算每副特征图所有区域的重构误差，得到每副特征图的显著图。

进一步地，所述步骤S22中稀疏表达的计算方法具体如下：

利用局部约束性，将每个输入信号投影到它的局部坐标***，对于输入向量，在局部范围内找到的K个近邻向量，然后利用K个近邻向量重新构建，为每个原子赋权重达到选取K个最近邻的目的，得到目标函数：

（1）

其中，B为字典，，c为所求解信号的稀疏表达，为正则系数，⊙表示按元素相乘，d为字典每个原子的权重构成的向量，表示元素全为1的向量，令

（2）

其中，表示信号与原子的欧氏距离，j=1,2,...,M，为控制权重衰减速度的参数，目标函数通过解析求解得到编码c：

（3）

（4）

（5）

其中，表示数据的协方差矩阵，得到编码并对其进行归一化得到最终的编码c。

进一步地，所述步骤S3包括：

步骤S31：计算每副显著图的信息熵：

（6）

（7）

其中，表示显著值为i的像素个数，表示显著值为i的像素所占的比例即i的概率；

步骤S32：判断每个特征下信息熵的大小，若存在a特征在所有尺度下的显著图信息熵都最低，则最终的显著图由a特征在所有尺度下的显著图合并而成；

步骤S33：若不存在a特征，存在b特征在所有尺度下的显著图信息熵都最高，则最终的显著图由除b特征以外的其他特征在所有尺度下的显著图合并而成；

步骤S34：若不存在所述a特征和b特征，则最终的显著图由所有显著图进行传统线性合并而成；

步骤S35：得到最终的显著图后，显著图最亮部分即为原始图像显著目标。

与现有技术相比，本发明具有有益效果：

1.本发明采用稀疏编码方法计算像素和区域的显著值。通过这种方法模拟视觉机制，能较好地反应局部差异程度，同时结合适当的多尺度表达，在简化计算量的同时实现了较为精准的视觉注意力计算结果。

2.在对不同特征通道的显著图进行合并的过程中，传统的视觉注意力计算模型采用简单的线性叠加方法，而忽略了特征之间的关系。本发明基于实验研究了特征之间关系，利用不同特征的显著图的信息熵，提出了一种 “赢者通吃、输者淘汰”的合并准则，改进了显著图的效果。

附图说明

图1是本发明基于稀疏编码反馈网络的自底而上显著目标检测方法的总体框图；

图2是本发明高斯金字塔构建过程图；

图3是本发明中心区域与字典原子构建说明图；

图4是本发明稀疏编码反馈神经网络图；

图5是本发明局部线性约束编码流程图；

图6是本发明实施例最终检测结果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

如图1所示，本发明的一种基于稀疏编码反馈网络的自底而上显著目标检测方法，包括如下步骤：

步骤S1：对二维原始图像在多尺度下形成RG特征、BY特征和原图I三个通道的特征图；

步骤S2：对形成的每副特征图构造输入信号与字典原子，计算输入信号的稀疏表达，然后计算重构误差，得到每副特征图的显著图；

步骤S3：计算每副显著图的信息熵，根据信息熵对不同特征的显著图进行线性合并，形成最终的显著图，得到检测结果。

实施例1

对二维原始图像图2，采用二值高斯金字塔构建多尺度图像，如图3所示；

在本实施例中，选择尺度因子，在每一尺度空间下，提取红绿蓝黄四个颜色通道的特征图，rgb表示图像的三原色图，计算R=r-(g+b)/2，G=g-(r+b)/2，B=b-(r+g)/2，Y=(r+g)/2-|r-g|/2-b；

构建RG和BY特征图，其中，RG=R-G，BY=B-Y，RG、BY特征和原图I构成三个通道的特征图，三个尺度一共9幅特征图。

采用滑动窗口技术，在每幅特征图中选取中心区域，以中心区域为输入信号，在中心区域的周围取与中心区域相同大小的区域块作为字典的一个原子，构造多尺度下的中心区域大小和字典原子个数，形成多种组合，如图3所示，中心区域的大小d_c=5*5个像素，字典原子个数d_s=3*3-1，不同尺度下中心区域大小与原子个数选取具体为：

如图4所示，为输入信号，表示字典，每一个原子代表网络隐藏层的一个节点，输入层到隐藏层之间采样稀疏编码技术作为输入信号的特征映射，隐藏层输出c即为输入信号的稀疏表达；然后把隐层输出与输入信号同时输入到输出层节点，输出层节点的激活函数为重构误差函数，即；

在每一种组合下，以中心区域作为输入信号，其周围区域作为字典原子，采用局部线性约束编码技术求解输入信号的稀疏表达，如图5所示，利用局部约束性，将每个输入信号投影到它的局部坐标***，对于输入向量，在局部范围内找到的K个近邻向量，然后利用K个近邻向量重新构建，为每个原子赋权重达到选取K个最近邻的目的，得到目标函数：

（1）

其中，B为字典，，c为所求解信号的稀疏表达，为正则系数，⊙表示按元素相乘，d为字典每个原子的权重构成的向量，表示元素全为1的向量，令

（2）

其中，表示信号与原子的欧氏距离，j=1,2,...,M，为控制权重衰减速度的参数，目标函数通过解析求解得到编码c：

（3）

（4）

（5）

其中，表示数据的协方差矩阵，得到编码并对其进行归一化得到最终的编码c。

然后计算中心区域的重构误差，将所有组合的重构误差平均值作为该中心区域的最终重构误差；

采用滑动窗口技术，计算每副特征图所有区域的重构误差，得到每副特征图的显著图。

计算每幅显著图的信息熵，然后判断各个特征下信息熵的大小，若存在某种特征在所有尺度下的显著图信息熵都为最低，则此特征作为“赢者”，最终的显著图使用此特征的所有尺度下的显著图叠加；若不存在所有尺度下的“赢者”特征，但是存在某种特征在所有尺度下的显著图信息熵都为最高，则此特征作为“输者”，则使用除去此特征的其他所有显著图合并为最终显著图；若以上两种情况都不存在，则使用所有显著图进行传统的线性合并，形成图像最终的显著图。

在本实施例中，不同特征的信息熵计算结果如表1所示，

由表1可知，RG特征在所有尺度下的显著图信息熵都最低，则最终的显著图由RG特征在所有尺度下的显著图合并而成。

得到图像的显著图后（即二值灰度图），根据显著图各像素点的亮暗程度，判断原始图像显著目标的位置，如图6所示。

Claims (5)

1.一种基于稀疏编码反馈网络的自底而上显著目标检测方法，其特征在于，包括如下步骤：

步骤S1：对二维原始图像在多尺度下形成RG特征图和BY特征图，并与原图I构成三个通道的特征图；

步骤S2：对形成的每副特征图构造输入信号与字典原子，计算输入信号的稀疏表达，然后计算重构误差，得到每副特征图的显著图；

步骤S3：计算每副显著图的信息熵，根据信息熵对不同特征的显著图进行线性合并，形成最终的显著图，得到检测结果。

2.根据权利要求1所述的基于稀疏编码反馈网络的自底而上显著目标检测方法，其特征在于，所述步骤S1包括：

步骤S11：对二维原始图像采用二值高斯金字塔构建多尺度图像；

步骤S12：在每一尺度空间下，提取红绿蓝黄四个颜色通道的特征图，rgb表示图像的三原色图，计算R=r-(g+b)/2，G=g-(r+b)/2，B=b-(r+g)/2，Y=(r+g)/2-|r-g|/2-b；

步骤S13：构建RG和BY特征图，其中，RG=R-G，BY=B-Y，RG、BY特征和原图I构成三个通道的特征图。

3.根据权利要求1所述的基于稀疏编码反馈网络的自底而上显著目标检测方法，其特征在于，所述步骤S2包括：

步骤S21：采用滑动窗口技术，在步骤S1形成的每幅特征图中选取中心区域，以中心区域为输入信号，在中心区域的周围取与中心区域相同大小的区域块作为字典的一个原子，构造多尺度下的中心区域大小和字典原子个数，形成多种组合；

步骤S22：对每一种组合，采用局部线性约束编码技术计算中心区域的稀疏表达，计算重构误差，将所有组合的重构误差平均值作为中心区域的最终重构误差；

步骤S23：计算每副特征图所有区域的重构误差，得到每副特征图的显著图。

4.根据权利要求3所述的基于稀疏编码反馈网络的自底而上显著目标检测方法，其特征在于，所述步骤S22中稀疏表达的计算方法具体如下：

利用局部约束性，将每个输入信号投影到它的局部坐标***，对于输入向量，在局部范围内找到的K个近邻向量，然后利用K个近邻向量重新构建，为每个原子赋权重达到选取K个最近邻的目的，得到目标函数：

（1）

其中，B为字典，，c为所求解信号的稀疏表达，为正则系数，⊙表示按元素相乘，d为字典每个原子的权重构成的向量，表示元素全为1的向量，令

（2）

其中，，表示信号与原子的欧氏距离，j=1,2,...,M，为控制权重衰减速度的参数，目标函数通过解析求解得到编码c：

（3）

（4）

（5）

其中，C表示数据的协方差矩阵，得到编码并对其进行归一化得到最终的编码c。

5.根据权利要求1所述的基于稀疏编码反馈网络的自底而上显著目标检测方法，其特征在于，所述步骤S3包括：

步骤S31：计算每副显著图的信息熵：

（6）

（7）

其中，表示显著值i的像素个数，表示显著值为i的像素所占的比例即i的概率；

步骤S32：判断每个特征下信息熵的大小，若存在a特征在所有尺度下的显著图信息熵都最低，则最终的显著图由a特征在所有尺度下的显著图合并而成；

步骤S33：若不存在a特征，存在b特征在所有尺度下的显著图信息熵都最高，则最终的显著图由除b特征以外的其他特征在所有尺度下的显著图合并而成；

步骤S34：若不存在所述a特征和b特征，则最终的显著图由所有显著图进行传统线性合并而成；

步骤S35：得到最终的显著图后，显著图最亮部分即为原始图像显著目标。