CN103699436A - 基于局部线性约束和全局结构信息的图像编码方法 - Google Patents
基于局部线性约束和全局结构信息的图像编码方法 Download PDFInfo
- Publication number
- CN103699436A CN103699436A CN201310744755.8A CN201310744755A CN103699436A CN 103699436 A CN103699436 A CN 103699436A CN 201310744755 A CN201310744755 A CN 201310744755A CN 103699436 A CN103699436 A CN 103699436A
- Authority
- CN
- China
- Prior art keywords
- local
- dictionary
- formula
- similarity
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种基于局部线性约束和全局结构信息的图像编码方法,用于解决现有图像编码方法图像分类精度差的技术问题。技术方案是根据字典元素以及局部特征的分布均服从高斯分布的假设,利用高斯算法和传递闭包方法分别构建字典间元素的局部相似性和图像各特征之间的局部相似性;利用最小化重建误差的方法用字典元素来重建图像中特征的拓扑结构,得到局部特征与字典的直接关系矩阵;由字典间元素局部相似性矩阵、局部特征与字典的关系矩阵和局部特征之间的局部相似性矩阵进行相乘得到最终的编码。本发明方法采用高斯算法与传递闭包方法计算局部特征之间的局部相似性,完善了编码中所包含的图像信息,在使用相同分类器情况下提高了图像分类精度。
Description
技术领域
本发明涉及一种图像编码方法,特别涉及一种基于局部线性约束和全局结构信息的图像编码方法。
背景技术
图像编码是将图像中的信息用较少的比特数表示出来的方法,在图像分类、目标跟踪、检测识别方面具有非常重要的意义。
文献“From Local Similarity to Global Coding;An Application to ImageClassification,IEEE Conference on Computer Vision and Pattern Recognition,2013,p2794-2801”公开了一种基于局部相似性的全局编码算法,并将其应用在图像分类中。该方法从局部相似性着手,利用高斯计算方法计算字典中元素间的相似性,用条件概率函数计算局部特征与字典的全局信息进行编码。但是,文中所述的图像编码部分仅仅考虑到了局部特征与字典间的全局信息,并没有考虑到局部特征之间的结构信息,表征图像的信息不够全面。
发明内容
为了克服现有图像编码方法图像分类精度差的不足,本发明提供一种基于局部线性约束和全局结构信息的图像编码方法。该方法首先根据字典元素以及局部特征的分布均服从高斯分布的假设,利用高斯算法和传递闭包方法分别构建字典间元素的局部相似性和图像各特征之间的局部相似性;其次,利用最小化重建误差的方法用字典元素来重建图像中特征的拓扑结构,得到局部特征与字典的直接关系矩阵;最后的编码生成是由字典间元素局部相似性矩阵、局部特征与字典的关系矩阵和局部特征之间的局部相似性矩阵进行相乘得到,该编码包含了局部特征之间的拓扑结构关系。本发明方法采用高斯算法与传递闭包方法计算局部特征之间的局部相似性,将特征间的结构信息添加到编码中,完善了编码中所包含的图像信息,在使用相同分类器的情况下可以提高图像分类精度。
本发明解决其技术问题所采用的技术方案是:一种基于局部线性约束和全局结构信息的图像编码方法,其特点是包括以下步骤:
步骤一、假设字典中各元素的分布是服从高斯分布的,利用高斯计算方法计算字典之间元素的局部相似性:
式中,bi(bi∈Rd)是字典中的一个元素,且维数为d,字典是Bd×c=(b1,b2,...,bc),c是字典中所有元素的个数,W(i,j)是字典中第i个元素和第j个元素之间局部相似性的矩阵,其中的k-NN是取k近邻元素。在W计算完成后,定义其归一化矩阵P如下:
P=D-1W (2)
利用条件概率公式得到:
式中,Pt表示在条件转移步骤设置为t时,字典中第k个元素与第i个元素不存在直接相邻关系,但通过t步以内利用条件概率公式求出他们的间接相邻关系。
定义衡量字典中各元素之间局部相似性的权值矩阵S:
步骤二、用字典元素重建图像特征的拓扑结构,即对公式(5)进行优化,在重建误差最小的情况下求出重建系数。
优化过程中满足以下约束:
||bk||≤1,k=1,2,...,c
1Tui=1
式中,⊙表示矩阵元素的点乘,xi(xi∈Rd)是图像中的第i个局部特征,ui(ui∈Rm)是编码的系数向量,m是图像编码的维数,uij是第i个局部特征和第j个字典元素的系数,U是ui,i=1,2,...,n的集合,代表所有的局部特征。
式中,σ是控制局部性的关键元素,dist(xi,bj)是第i个局部特征和第j个字典元素的欧氏距离,dij是di的第j个元素。
该步骤得到的ui就是后续要用的局部特征与字典之间的局部相似性编码。
步骤三、假设局部特征的分布服从高斯分布,定义F表示局部特征之间的局部相似性:
式中,F(i,j)是第i个局部特征和第j个局部特征之间的相似性。
在F计算完成后,定义其归一化矩阵Q如下:
Q=E-1F (8)
利用条件概率和传递闭包定义衡量各特征之间的局部相似性的权值矩阵A:
式中,h为局部特征间相似性计算的转移步骤。
步骤四、利用条件概率公式表示第k个字典元素属于第i个局部特征最近邻集合的概率:
式中,Slk=p(<t)(bk|bl)是第一步得到的字典间元素相似性矩阵,ujl是重建特征拓扑结构得到的编码,A是特征之间的相似性度量矩阵。
采用公式(11):
zi=STuiAT (11)
求出最终的编码zi。
本发明的有益效果是:该方法首先根据字典元素以及局部特征的分布均服从高斯分布的假设,利用高斯算法和传递闭包方法分别构建字典间元素的局部相似性和图像各特征之间的局部相似性;其次,利用最小化重建误差的方法用字典元素来重建图像中特征的拓扑结构,得到局部特征与字典的直接关系矩阵;最后的编码生成是由字典间元素局部相似性矩阵、局部特征与字典的关系矩阵和局部特征之间的局部相似性矩阵进行相乘得到,该编码包含了局部特征之间的拓扑结构关系。本发明方法采用高斯算法与传递闭包方法计算局部特征之间的局部相似性,将特征间的结构信息添加到编码中,完善了编码中所包含的图像信息,在使用相同分类器的情况下提高了图像分类精度。
以下结合具体实施方式详细说明本发明。
具体实施方式
1、计算字典中元素间的相似性。
首先假设字典中各元素的分布是服从高斯分布的,利用高斯计算方法计算字典之间元素的局部相似性:
bi(bi∈Rd)是字典中的一个元素,且维数为d,字典是Bd×c=(b1,b2,...,bc),c是字典中所有元素的个数,W(i,j)是字典中第i个元素和第j个元素之间局部相似性的矩阵,其中的k-NN是取k近邻元素。在W计算完成后,定义其归一化矩阵P如下:
P=D-1W (2)
利用条件概率公式得到:
Pt表示在条件转移步骤设置为t时,字典中第k个元素与第i个元素不存在直接相邻关系,但通过t步以内利用条件概率公式求出他们的间接相邻关系。
定义衡量字典中各元素之间的局部相似性的度量值S:
S即所求的字典中各元素之间局部相似性的权值矩阵。
2、用字典元素重建图像特征的拓扑结构。
用字典元素重建图像特征的拓扑结构,即对公式(5)进行优化,在重建误差最小的情况下求出重建系数。
优化过程中满足以下约束:
||bk||≤1,k=1,2,...,c
1Tui=1
⊙表示矩阵元素的点乘,xi(xi∈Rd)是图像中的第i个局部特征,ui(ui∈Rm)是编码的系数向量,m是图像编码的维数,uij是第i个局部特征和第j个字典元素的系数,U是ui,i=1,2,...,n的集合,代表所有的局部特征。
σ是控制局部性的关键元素,dist(xi,bj)是第i个局部特征和第j个字典元素的欧氏距离,dij是di的第j个元素。
该步骤得到的ui就是后续要用的局部特征与字典之间的局部相似性编码。
3、计算特征之间的局部相似性。
假设局部特征的分布服从高斯分布,定义F表示局部特征之间的局部相似性:
F(i,j)是第i个局部特征和第j个局部特征之间的相似性。
在F计算完成后,定义其归一化矩阵Q如下:
Q=E-1F (8)
利用条件概率和传递闭包定义衡量各特征之间的局部相似性的度量值A:
A即所求的各特征之间局部相似性的权值矩阵,h为局部特征间相似性计算的转移步骤。
4、最终图像编码的生成。
当前三步完成之后,利用条件概率公式表示第k个字典元素属于第i个局部特征最近邻集合的概率:
Slk=p(<t)(bk|bl)是第一步得到的字典间元素相似性矩阵,ujl是重建特征拓扑结构得到的编码,A是特征之间的相似性度量矩阵。
最终的编码zi用公式(11)求出:
zi=STuiAT (11)。
Claims (1)
1.一种基于局部线性约束和全局结构信息的图像编码方法,其特征在于包括以下步骤:
步骤一、假设字典中各元素的分布是服从高斯分布的,利用高斯计算方法计算字典之间元素的局部相似性:
式中,bi(bi∈Rd)是字典中的一个元素,且维数为d,字典是Bd×c=(b1,b2,...,bc),c是字典中所有元素的个数,W(i,j)是字典中第i个元素和第j个元素之间局部相似性的矩阵,其中的k-NN是取k近邻元素;在W计算完成后,定义其归一化矩阵P如下:
P=D-1W (2)
利用条件概率公式得到:
式中,Pt表示在条件转移步骤设置为t时,字典中第k个元素与第i个元素不存在直接相邻关系,但通过t步以内利用条件概率公式求出他们的间接相邻关系;
定义衡量字典中各元素之间局部相似性的权值矩阵S:
步骤二、用字典元素重建图像特征的拓扑结构,即对公式(5)进行优化,在重建误差最小的情况下求出重建系数;
优化过程中满足以下约束:
||bk||≤1,k=1,2,...,c
1Tui=1
式中,⊙表示矩阵元素的点乘,xi(xi∈Rd)是图像中的第i个局部特征,ui(ui∈Rm)是编码的系数向量,m是图像编码的维数,uij是第i个局部特征和第j个字典元素的系数,U是ui,i=1,2,...,n的集合,代表所有的局部特征;
式中,σ是控制局部性的关键元素,dist(xi,bj)是第i个局部特征和第j个字典元素的欧氏距离,dij是di的第j个元素;
该步骤得到的ui就是后续要用的局部特征与字典之间的局部相似性编码;
步骤三、假设局部特征的分布服从高斯分布,定义F表示局部特征之间的局部相似性:
式中,F(i,j)是第i个局部特征和第j个局部特征之间的相似性;
在F计算完成后,定义其归一化矩阵Q如下:
Q=E-1F (8)
利用条件概率和传递闭包定义衡量各特征之间的局部相似性的权值矩阵A:
式中,h为局部特征间相似性计算的转移步骤;
步骤四、利用条件概率公式表示第k个字典元素属于第i个局部特征最近邻集合的概率:
式中,Slk=p(<t)(bk|bl)是第一步得到的字典间元素相似性矩阵,ujl是重建特征拓扑结构得到的编码,A是特征之间的相似性度量矩阵;
采用公式(11):
zi=STuiAT (11)
求出最终的编码zi。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310744755.8A CN103699436B (zh) | 2013-12-30 | 2013-12-30 | 基于局部线性约束和全局结构信息的图像编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310744755.8A CN103699436B (zh) | 2013-12-30 | 2013-12-30 | 基于局部线性约束和全局结构信息的图像编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103699436A true CN103699436A (zh) | 2014-04-02 |
CN103699436B CN103699436B (zh) | 2017-02-22 |
Family
ID=50360975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310744755.8A Active CN103699436B (zh) | 2013-12-30 | 2013-12-30 | 基于局部线性约束和全局结构信息的图像编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103699436B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331717A (zh) * | 2014-11-26 | 2015-02-04 | 南京大学 | 一种整合特征字典结构与视觉特征编码的图像分类方法 |
CN111918070A (zh) * | 2019-05-10 | 2020-11-10 | 华为技术有限公司 | 图像重建方法及图像解码设备 |
CN112015890A (zh) * | 2020-09-07 | 2020-12-01 | 广东工业大学 | 电影剧本摘要的生成方法和装置 |
CN112287989A (zh) * | 2020-10-20 | 2021-01-29 | 武汉大学 | 一种基于自注意力机制的航空影像地物分类方法 |
US11818808B2 (en) | 2021-01-29 | 2023-11-14 | Dali Systems Co. Ltd. | Redundant distributed antenna system (DAS) with failover capability |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771829B1 (en) * | 1999-10-23 | 2004-08-03 | Fastvdo Llc | Method for local zerotree image coding |
CN103336835A (zh) * | 2013-07-12 | 2013-10-02 | 西安电子科技大学 | 基于权值color-sift特征字典的图像检索方法 |
CN103390063A (zh) * | 2013-07-31 | 2013-11-13 | 南京大学 | 一种基于蚁群算法和概率超图的相关反馈图像检索方法 |
-
2013
- 2013-12-30 CN CN201310744755.8A patent/CN103699436B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771829B1 (en) * | 1999-10-23 | 2004-08-03 | Fastvdo Llc | Method for local zerotree image coding |
CN103336835A (zh) * | 2013-07-12 | 2013-10-02 | 西安电子科技大学 | 基于权值color-sift特征字典的图像检索方法 |
CN103390063A (zh) * | 2013-07-31 | 2013-11-13 | 南京大学 | 一种基于蚁群算法和概率超图的相关反馈图像检索方法 |
Non-Patent Citations (2)
Title |
---|
AMIRREZA SHABAN, ET AL: "From local similarity to global coding:an application to image classification", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
张德丰,马莉等: "基于小波图像压缩技术的算法研究", 《中山大学学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331717A (zh) * | 2014-11-26 | 2015-02-04 | 南京大学 | 一种整合特征字典结构与视觉特征编码的图像分类方法 |
CN104331717B (zh) * | 2014-11-26 | 2017-10-17 | 南京大学 | 一种整合特征字典结构与视觉特征编码的图像分类方法 |
CN111918070A (zh) * | 2019-05-10 | 2020-11-10 | 华为技术有限公司 | 图像重建方法及图像解码设备 |
CN111918070B (zh) * | 2019-05-10 | 2022-09-02 | 华为技术有限公司 | 图像重建方法及图像解码设备 |
CN112015890A (zh) * | 2020-09-07 | 2020-12-01 | 广东工业大学 | 电影剧本摘要的生成方法和装置 |
CN112015890B (zh) * | 2020-09-07 | 2024-01-23 | 广东工业大学 | 电影剧本摘要的生成方法和装置 |
CN112287989A (zh) * | 2020-10-20 | 2021-01-29 | 武汉大学 | 一种基于自注意力机制的航空影像地物分类方法 |
CN112287989B (zh) * | 2020-10-20 | 2022-06-07 | 武汉大学 | 一种基于自注意力机制的航空影像地物分类方法 |
US11818808B2 (en) | 2021-01-29 | 2023-11-14 | Dali Systems Co. Ltd. | Redundant distributed antenna system (DAS) with failover capability |
Also Published As
Publication number | Publication date |
---|---|
CN103699436B (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107239793B (zh) | 多量化深度二值特征学习方法及装置 | |
Li et al. | Towards faster training of global covariance pooling networks by iterative matrix square root normalization | |
CN111461157B (zh) | 一种基于自学习的跨模态哈希检索方法 | |
CN103699436A (zh) | 基于局部线性约束和全局结构信息的图像编码方法 | |
CN101751697B (zh) | 一种基于统计模型的三维场景重建方法 | |
US11783198B2 (en) | Estimating the implicit likelihoods of generative adversarial networks | |
Lin et al. | Variation-tolerant architectures for convolutional neural networks in the near threshold voltage regime | |
Zhu et al. | Health care fraud detection using nonnegative matrix factorization | |
Yun et al. | In defense of knowledge distillation for task incremental learning and its application in 3D object detection | |
Sun et al. | Vicinity vision transformer | |
CN111860790A (zh) | 一种提高深度残差脉冲神经网络精度以优化图像分类的方法及其*** | |
Golzari Oskouei et al. | EDCWRN: efficient deep clustering with the weight of representations and the help of neighbors | |
Guo et al. | Robust low-rank subspace segmentation with finite mixture noise | |
CN114925767A (zh) | 一种基于变分自编码器的场景生成方法和装置 | |
Zhang et al. | Multi-fidelity surrogate modeling for temperature field prediction using deep convolution neural network | |
Liu et al. | Prediction of Temperature Time Series Based on Wavelet Transform and Support Vector Machine. | |
Liu et al. | LatLRR for subspace clustering via reweighted Frobenius norm minimization | |
Tian et al. | A Novel Wind Speed Interval Prediction System Based on Neural Network and Multi‐objective Grasshopper Optimization | |
Liu et al. | Mixture of manifolds clustering via low rank embedding | |
Li et al. | An Effective Self‐Attention‐Based Hybrid Model for Short‐Term Traffic Flow Prediction | |
He et al. | Binarizing by classification: Is soft function really necessary? | |
CN110555209A (zh) | 训练词向量模型的方法及装置 | |
WEI et al. | Short-term Passenger Flow Prediction of railway epidemic Based on SARIMA-LSTM combined model | |
Huai et al. | A generalized inexact Uzawa method for stable principal component pursuit problem with nonnegative constraints | |
Li et al. | Time series prediction based on decomposition and synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |