CN103699436A - 基于局部线性约束和全局结构信息的图像编码方法 - Google Patents

Abstract

本发明公开了一种基于局部线性约束和全局结构信息的图像编码方法，用于解决现有图像编码方法图像分类精度差的技术问题。技术方案是根据字典元素以及局部特征的分布均服从高斯分布的假设，利用高斯算法和传递闭包方法分别构建字典间元素的局部相似性和图像各特征之间的局部相似性；利用最小化重建误差的方法用字典元素来重建图像中特征的拓扑结构，得到局部特征与字典的直接关系矩阵；由字典间元素局部相似性矩阵、局部特征与字典的关系矩阵和局部特征之间的局部相似性矩阵进行相乘得到最终的编码。本发明方法采用高斯算法与传递闭包方法计算局部特征之间的局部相似性，完善了编码中所包含的图像信息，在使用相同分类器情况下提高了图像分类精度。

Description

基于局部线性约束和全局结构信息的图像编码方法

技术领域

本发明涉及一种图像编码方法，特别涉及一种基于局部线性约束和全局结构信息的图像编码方法。

背景技术

图像编码是将图像中的信息用较少的比特数表示出来的方法，在图像分类、目标跟踪、检测识别方面具有非常重要的意义。

文献“From Local Similarity to Global Coding;An Application to ImageClassification，IEEE Conference on Computer Vision and Pattern Recognition，2013，p2794-2801”公开了一种基于局部相似性的全局编码算法，并将其应用在图像分类中。该方法从局部相似性着手，利用高斯计算方法计算字典中元素间的相似性，用条件概率函数计算局部特征与字典的全局信息进行编码。但是，文中所述的图像编码部分仅仅考虑到了局部特征与字典间的全局信息，并没有考虑到局部特征之间的结构信息，表征图像的信息不够全面。

发明内容

为了克服现有图像编码方法图像分类精度差的不足，本发明提供一种基于局部线性约束和全局结构信息的图像编码方法。该方法首先根据字典元素以及局部特征的分布均服从高斯分布的假设，利用高斯算法和传递闭包方法分别构建字典间元素的局部相似性和图像各特征之间的局部相似性；其次，利用最小化重建误差的方法用字典元素来重建图像中特征的拓扑结构，得到局部特征与字典的直接关系矩阵；最后的编码生成是由字典间元素局部相似性矩阵、局部特征与字典的关系矩阵和局部特征之间的局部相似性矩阵进行相乘得到，该编码包含了局部特征之间的拓扑结构关系。本发明方法采用高斯算法与传递闭包方法计算局部特征之间的局部相似性，将特征间的结构信息添加到编码中，完善了编码中所包含的图像信息，在使用相同分类器的情况下可以提高图像分类精度。

本发明解决其技术问题所采用的技术方案是：一种基于局部线性约束和全局结构信息的图像编码方法，其特点是包括以下步骤：

步骤一、假设字典中各元素的分布是服从高斯分布的，利用高斯计算方法计算字典之间元素的局部相似性：

$W(i,j)=\left\{\begin{array}{c}\exp (-\frac{\left|\right|b_i-b_j\left|\right|}{\mathrm{\σ}}),\mathrm{if}(b_j\∈k-\mathrm{NN}\left(b_i\right))\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

式中，b_i(b_i∈R^d)是字典中的一个元素，且维数为d，字典是B_d×c＝(b₁,b₂,...,b_c)，c是字典中所有元素的个数，W(i,j)是字典中第i个元素和第j个元素之间局部相似性的矩阵，其中的k-NN是取k近邻元素。在W计算完成后，定义其归一化矩阵P如下：

P＝D^-1W            (2)

式中，D是一个对角矩阵，而且

P_ij＝p(b_j|b_i)表示字典中第j个元素属于第i个元素最近邻集合的后验概率。

利用条件概率公式得到：

$p^{\left(t\right)}\left(b_k\right|b_i)=\underset{l=1}{\overset{c}{\mathrm{\Σ}}}p\left(b_k\right|b_l)p^{(t-1)}\left(b_l\right|b_i)---\left(3\right)$

式中，P^t表示在条件转移步骤设置为t时，字典中第k个元素与第i个元素不存在直接相邻关系，但通过t步以内利用条件概率公式求出他们的间接相邻关系。

定义衡量字典中各元素之间局部相似性的权值矩阵S：

$S=\frac{1}{t}\underset{m=0}{\overset{t-1}{\mathrm{\Σ}}}{P}^m---\left(4\right)$

步骤二、用字典元素重建图像特征的拓扑结构，即对公式(5)进行优化，在重建误差最小的情况下求出重建系数。

优化过程中满足以下约束：

||b_k||≤1,k＝1,2,...,c

1^Tu_i＝1

式中，⊙表示矩阵元素的点乘，x_i(x_i∈R^d)是图像中的第i个局部特征，u_i(u_i∈R^m)是编码的系数向量，m是图像编码的维数，u_ij是第i个局部特征和第j个字典元素的系数，U是u_i,i＝1,2,...,n的集合，代表所有的局部特征。

$d_{\mathrm{ij}}=\exp \left(\frac{\mathrm{dist}(x_i,b_j)}{\mathrm{\σ}}\right)---\left(6\right)$

式中，σ是控制局部性的关键元素，dist(x_i,b_j)是第i个局部特征和第j个字典元素的欧氏距离，d_ij是d_i的第j个元素。

该步骤得到的u_i就是后续要用的局部特征与字典之间的局部相似性编码。

步骤三、假设局部特征的分布服从高斯分布，定义F表示局部特征之间的局部相似性：

$F(i,j)=\left\{\begin{array}{c}\exp (-\frac{\left|\right|x_i-x_j\left|\right|}{\mathrm{\σ}}),\mathrm{if}(x_j\∈k-\mathrm{NN}\left(x_i\right))\\ 0,\mathrm{otherwise}\end{array}\right.---\left(7\right)$

式中，F(i,j)是第i个局部特征和第j个局部特征之间的相似性。

在F计算完成后，定义其归一化矩阵Q如下：

Q＝E^-1F             (8)

式中，E是一个对角矩阵，而且

Q_ij＝p(x_j|x_i)表示第j个特征属于第i个特征最近邻集合的后验概率。

利用条件概率和传递闭包定义衡量各特征之间的局部相似性的权值矩阵A：

$A=\frac{1}{h}\underset{m=0}{\overset{h-1}{\mathrm{\Σ}}}{Q}^m---\left(9\right)$

式中，h为局部特征间相似性计算的转移步骤。

步骤四、利用条件概率公式表示第k个字典元素属于第i个局部特征最近邻集合的概率：

$p\left(b_k\right|x_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}{p}^{(<t)}\left(b_k\right|b_l)p\left(b_l\right|x_j)\underset{j=1}{\overset{a}{\mathrm{\&Sigma;}}}{p}^{(<h)}\left(x_j\right|x_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}{S}_{\mathrm{lk}}{u}_{\mathrm{jl}}\underset{j=1}{\overset{a}{\mathrm{\&Sigma;}}}{A}_{\mathrm{ij}}---\left(10\right)$

式中，S_lk＝p^(＜t)(b_k|b_l)是第一步得到的字典间元素相似性矩阵，u_jl是重建特征拓扑结构得到的编码，A是特征之间的相似性度量矩阵。

采用公式(11)：

z_i＝S^Tu_iA^T              (11)

求出最终的编码z_i。

本发明的有益效果是：该方法首先根据字典元素以及局部特征的分布均服从高斯分布的假设，利用高斯算法和传递闭包方法分别构建字典间元素的局部相似性和图像各特征之间的局部相似性；其次，利用最小化重建误差的方法用字典元素来重建图像中特征的拓扑结构，得到局部特征与字典的直接关系矩阵；最后的编码生成是由字典间元素局部相似性矩阵、局部特征与字典的关系矩阵和局部特征之间的局部相似性矩阵进行相乘得到，该编码包含了局部特征之间的拓扑结构关系。本发明方法采用高斯算法与传递闭包方法计算局部特征之间的局部相似性，将特征间的结构信息添加到编码中，完善了编码中所包含的图像信息，在使用相同分类器的情况下提高了图像分类精度。

以下结合具体实施方式详细说明本发明。

具体实施方式

1、计算字典中元素间的相似性。

首先假设字典中各元素的分布是服从高斯分布的，利用高斯计算方法计算字典之间元素的局部相似性：

$W(i,j)=\left\{\begin{array}{c}\exp (-\frac{\left|\right|b_i-b_j\left|\right|}{\mathrm{\&sigma;}}),\mathrm{if}(b_j\&Element;k-\mathrm{NN}\left(b_i\right))\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

b_i(b_i∈R^d)是字典中的一个元素，且维数为d，字典是B_d×c＝(b₁,b₂,...,b_c)，c是字典中所有元素的个数，W(i,j)是字典中第i个元素和第j个元素之间局部相似性的矩阵，其中的k-NN是取k近邻元素。在W计算完成后，定义其归一化矩阵P如下：

P＝D^-1W              (2)

其中，D是一个对角矩阵，而且

这个步骤是为了保证

来进行归一化。而P_ij＝p(b_j|b_i)表示了字典中第j个元素属于第i个元素最近邻集合的后验概率。

利用条件概率公式得到：

$p^{\left(t\right)}\left(b_k\right|b_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}p\left(b_k\right|b_l)p^{(t-1)}\left(b_l\right|b_i)---\left(3\right)$

P^t表示在条件转移步骤设置为t时，字典中第k个元素与第i个元素不存在直接相邻关系，但通过t步以内利用条件概率公式求出他们的间接相邻关系。

定义衡量字典中各元素之间的局部相似性的度量值S：

$S=\frac{1}{t}\underset{m=0}{\overset{t-1}{\mathrm{\&Sigma;}}}{P}^m---\left(4\right)$

S即所求的字典中各元素之间局部相似性的权值矩阵。

2、用字典元素重建图像特征的拓扑结构。

用字典元素重建图像特征的拓扑结构，即对公式(5)进行优化，在重建误差最小的情况下求出重建系数。

优化过程中满足以下约束：

||b_k||≤1,k＝1,2,...,c

1^Tu_i＝1

⊙表示矩阵元素的点乘，x_i(x_i∈R^d)是图像中的第i个局部特征，u_i(u_i∈R^m)是编码的系数向量，m是图像编码的维数，u_ij是第i个局部特征和第j个字典元素的系数，U是u_i,i＝1,2,...,n的集合，代表所有的局部特征。

$d_{\mathrm{ij}}=\exp \left(\frac{\mathrm{dist}(x_i,b_j)}{\mathrm{\&sigma;}}\right)---\left(6\right)$

σ是控制局部性的关键元素，dist(x_i,b_j)是第i个局部特征和第j个字典元素的欧氏距离，d_ij是d_i的第j个元素。

该步骤得到的u_i就是后续要用的局部特征与字典之间的局部相似性编码。

3、计算特征之间的局部相似性。

假设局部特征的分布服从高斯分布，定义F表示局部特征之间的局部相似性：

$F(i,j)=\left\{\begin{array}{c}\exp (-\frac{\left|\right|x_i-x_j\left|\right|}{\mathrm{\&sigma;}}),\mathrm{if}(x_j\&Element;k-\mathrm{NN}\left(x_i\right))\\ 0,\mathrm{otherwise}\end{array}\right.---\left(7\right)$

F(i,j)是第i个局部特征和第j个局部特征之间的相似性。

在F计算完成后，定义其归一化矩阵Q如下：

Q＝E^-1F             (8)

其中，E是一个对角矩阵，而且

这个步骤是为了保证

来进行归一化。而Q_ij＝p(x_j|x_i)表示了第j个特征属于第i个特征最近邻集合的后验概率。

利用条件概率和传递闭包定义衡量各特征之间的局部相似性的度量值A：

$A=\frac{1}{h}\underset{m=0}{\overset{h-1}{\mathrm{\&Sigma;}}}{Q}^m---\left(9\right)$

A即所求的各特征之间局部相似性的权值矩阵，h为局部特征间相似性计算的转移步骤。

4、最终图像编码的生成。

当前三步完成之后，利用条件概率公式表示第k个字典元素属于第i个局部特征最近邻集合的概率：

$p\left(b_k\right|x_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}{p}^{(<t)}\left(b_k\right|b_l)p\left(b_l\right|x_j)\underset{j=1}{\overset{a}{\mathrm{\&Sigma;}}}{p}^{(<h)}\left(x_j\right|x_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}{S}_{\mathrm{lk}}{u}_{\mathrm{jl}}\underset{j=1}{\overset{a}{\mathrm{\&Sigma;}}}{A}_{\mathrm{ij}}---\left(10\right)$

S_lk＝p^(＜t)(b_k|b_l)是第一步得到的字典间元素相似性矩阵，u_jl是重建特征拓扑结构得到的编码，A是特征之间的相似性度量矩阵。

最终的编码z_i用公式(11)求出：

z_i＝S^Tu_iA^T                             (11)。

Claims (1)

1.一种基于局部线性约束和全局结构信息的图像编码方法，其特征在于包括以下步骤：

步骤一、假设字典中各元素的分布是服从高斯分布的，利用高斯计算方法计算字典之间元素的局部相似性：

$W(i,j)=\left\{\begin{array}{c}\exp (-\frac{\left|\right|b_i-b_j\left|\right|}{\mathrm{\&sigma;}}),\mathrm{if}(b_j\&Element;k-\mathrm{NN}\left(b_i\right))\\ 0,\mathrm{otherwise}\end{array}\right.---\left(1\right)$

式中，b_i(b_i∈R^d)是字典中的一个元素，且维数为d，字典是B_d×c＝(b₁,b₂,...,b_c)，c是字典中所有元素的个数，W(i,j)是字典中第i个元素和第j个元素之间局部相似性的矩阵，其中的k-NN是取k近邻元素；在W计算完成后，定义其归一化矩阵P如下：

P＝D^-1W          (2)

式中，D是一个对角矩阵，而且

P_ij＝p(b_j|b_i)表示字典中第j个元素属于第i个元素最近邻集合的后验概率；

利用条件概率公式得到：

$p^{\left(t\right)}\left(b_k\right|b_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}p\left(b_k\right|b_l)p^{(t-1)}\left(b_l\right|b_i)---\left(3\right)$

式中，P^t表示在条件转移步骤设置为t时，字典中第k个元素与第i个元素不存在直接相邻关系，但通过t步以内利用条件概率公式求出他们的间接相邻关系；

定义衡量字典中各元素之间局部相似性的权值矩阵S：

$S=\frac{1}{t}\underset{m=0}{\overset{t-1}{\mathrm{\&Sigma;}}}{P}^m---\left(4\right)$

步骤二、用字典元素重建图像特征的拓扑结构，即对公式(5)进行优化，在重建误差最小的情况下求出重建系数；

优化过程中满足以下约束：

||b_k||≤1,k＝1,2,...,c

1^Tu_i＝1

式中，⊙表示矩阵元素的点乘，x_i(x_i∈R_d)是图像中的第i个局部特征，u_i(u_i∈R^m)是编码的系数向量，m是图像编码的维数，u_ij是第i个局部特征和第j个字典元素的系数，U是u_i,i＝1,2,...,n的集合，代表所有的局部特征；

$d_{\mathrm{ij}}=\exp \left(\frac{\mathrm{dist}(x_i,b_j)}{\mathrm{\&sigma;}}\right)---\left(6\right)$

式中，σ是控制局部性的关键元素，dist(x_i,b_j)是第i个局部特征和第j个字典元素的欧氏距离，d_ij是d_i的第j个元素；

该步骤得到的u_i就是后续要用的局部特征与字典之间的局部相似性编码；

步骤三、假设局部特征的分布服从高斯分布，定义F表示局部特征之间的局部相似性：

$F(i,j)=\left\{\begin{array}{c}\exp (-\frac{\left|\right|x_i-x_j\left|\right|}{\mathrm{\&sigma;}}),\mathrm{if}(x_j\&Element;k-\mathrm{NN}\left(x_i\right))\\ 0,\mathrm{otherwise}\end{array}\right.---\left(7\right)$

式中，F(i,j)是第i个局部特征和第j个局部特征之间的相似性；

在F计算完成后，定义其归一化矩阵Q如下：

Q＝E^-1F              (8)

式中，E是一个对角矩阵，而且

Q_ij＝p(x_j|x_i)表示第j个特征属于第i个特征最近邻集合的后验概率；

利用条件概率和传递闭包定义衡量各特征之间的局部相似性的权值矩阵A：

$A=\frac{1}{h}\underset{m=0}{\overset{h-1}{\mathrm{\&Sigma;}}}{Q}^m---\left(9\right)$

式中，h为局部特征间相似性计算的转移步骤；

步骤四、利用条件概率公式表示第k个字典元素属于第i个局部特征最近邻集合的概率：

$p\left(b_k\right|x_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}{p}^{(<t)}\left(b_k\right|b_l)p\left(b_l\right|x_j)\underset{j=1}{\overset{a}{\mathrm{\&Sigma;}}}{p}^{(<h)}\left(x_j\right|x_i)=\underset{l=1}{\overset{c}{\mathrm{\&Sigma;}}}{S}_{\mathrm{lk}}{u}_{\mathrm{jl}}\underset{j=1}{\overset{a}{\mathrm{\&Sigma;}}}{A}_{\mathrm{ij}}---\left(10\right)$

式中，S_lk＝p^(＜t)(b_k|b_l)是第一步得到的字典间元素相似性矩阵，u_jl是重建特征拓扑结构得到的编码，A是特征之间的相似性度量矩阵；

采用公式(11)：

z_i＝S^Tu_iA^T              (11)

求出最终的编码z_i。