CN109858546A - 一种基于稀疏表示的图像识别方法 - Google Patents
一种基于稀疏表示的图像识别方法 Download PDFInfo
- Publication number
- CN109858546A CN109858546A CN201910081619.2A CN201910081619A CN109858546A CN 109858546 A CN109858546 A CN 109858546A CN 201910081619 A CN201910081619 A CN 201910081619A CN 109858546 A CN109858546 A CN 109858546A
- Authority
- CN
- China
- Prior art keywords
- classifier
- sample
- dictionary
- rarefaction representation
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
公开一种基于稀疏表示的图像识别方法,其能够通过自适应地选择训练样本进行多轮训练,学习多个字典,每个字典有针对性地学习其他字典表示精度欠佳的样本,每个字典对应一个有针对性的弱分类器,对多个弱分类器的分类结果进行加权组合,提升传统稀疏表示应用于分类问题的识别精度。该方法包括以下步骤:(1)基于自适应增强字典学习过程学习多个字典及相应的弱分类器,并计算分类器权值系数;(2)基于步骤(1)学习的多个字典计算待分类数据的稀疏表示向量,再利用相应的弱分类器进行分类,加权组合各弱分类器识别结果而得到最终识别结果。
Description
技术领域
本发明涉及图像处理的技术领域,尤其涉及一种基于稀疏表示的图像识别方法。
背景技术
近年来,稀疏表示算法作为图像分类的工具被广泛应用,通过训练学习字典或将训练样本直接作为字典,基于字典对测试数据进行稀疏编码,通过比较样本在类别字典上的重构误差实现分类。为提升字典方法在分类问题上的表现能力,已有方法在传统稀疏表示方法KSVD的基础上进行改进,在目标函数中加入类别信息,从而达到约束字典的目的。例如,DKSVD(Discriminative KSVD)中,在KSVD的基础上,引入由样本标签矩阵、分类矩阵和稀疏表示矩阵组成的分类误差项,字典的重构误差项和分类器分类误差项同时优化,达到同时提升线性分类器的能力和字典的表达能力的目的。LC-KSVD(Label Consistent KSVD)在KSVD的基础上引入标签一致项,定义字典与标签相关矩阵为判别稀疏矩阵,通过稀疏表示矩阵在转换矩阵上的投影与判别稀疏表示矩阵的差值构成标签一致项,使得通过训练得到的字典原子带有类别标签,从而保证了识别精度。同时LC-KSVD在DKSVD的启发下引入分类误差项,使得字典面向分类问题进行优化,进而得到较好的识别效果。
以上方法存在的问题如下:
基于稀疏表示的图像识别方法通常经过训练学习字典,目前的大部分方法在学习字典的过程中均等地对待每个训练样本。但不同样本复杂程度不同,因此令所有样本对字典训练的贡献相同,一方面可能会带来信息冗余,另一方面导致复杂样本的信息的缺失。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种基于稀疏表示的图像识别方法,其能够通过自适应地选择训练样本进行多轮训练,学习多个字典,每个字典有针对性地学习其他字典表示精度欠佳的样本,每个字典对应一个有针对性的弱分类器,对多个弱分类器的分类结果进行加权组合,提升传统稀疏表示应用于分类问题的识别精度。
本发明的技术方案是:这种基于稀疏表示的图像识别方法,该方法包括以下步骤:
(1)基于自适应增强字典学习过程学习多个字典及相应的弱分类器,并计算分类器权值系数;
(2)基于步骤(1)学习的多个字典计算待分类数据的稀疏表示向量,再利用相应的弱分类器进行分类,加权组合各弱分类器识别结果而得到最终识别结果。
本发明基于Adboost原理对传统稀疏表示模型学习字典的过程进行改进,在训练过程中自适应地为训练样本分配权重,从而提升字典的表达能力。与此同时在目标函数中增加分类误差项,联合优化字典和分类器,提升识别精度。
附图说明
图1示出了根据本发明的基于稀疏表示的图像识别方法的步骤(1)的流程图。
图2示出了根据本发明的基于稀疏表示的图像识别方法的步骤(2)的流程图。
图3示出了Amazon10数据库目标函数值和迭代次数的关系曲线。
图4示出了根据本发明的基于稀疏表示的图像识别方法的整体流程图。
具体实施方式
如图4所示,这种基于稀疏表示的图像识别方法,该方法包括以下步骤:
(1)基于自适应增强字典学习过程学习多个字典及相应的弱分类器,
并计算分类器权值系数;
(2)基于步骤(1)学习的多个字典计算待分类数据的稀疏表示向量,
再利用相应的弱分类器进行分类,加权组合各弱分类器识别结果而得到最终识别结果。
本发明基于Adboost原理对传统稀疏表示模型学习字典的过程进行改进,在训练过程中自适应地为训练样本分配权重,从而提升字典的表达能力。与此同时在目标函数中增加分类误差项,联合优化字典和分类器,提升识别精度。
优选地,所述步骤(1)包括以下分步骤:
(1.1)初始化训练样本的权重,初始化第i个样本的权重为
1≤i≤N,N为样本数量,训练样本的初始权重记
为W1=(w1,1,…,,w1,i,…,w1,N);
(1.2)字典学习和分类器训练,迭代M轮,得到M个字典、M个分类器及相应的分类器权值系数。
优选地,如图1所示,所述步骤(1.2)包括以下步骤:
a)联合训练字典和分类器
第m个字典Dm、第m个分类器Qm和第m个稀疏表示矩阵Am通过公式(1)求出:
其中xi∈RS为第i个训练样本,S为样本维度;m为迭代索引, 1≤m≤M;Dm∈RS×K表示第m个字典,K为字典原子数量;Qm∈RC×K表示第m个分类器,C为类别数;hi∈RC为第i个样本的标签向量;wm,i为第m轮迭代第i个样本的权重;αm,i∈RK为第m轮迭代第i个样本的稀疏表示向量,训练集的稀疏表示矩阵记为 Am=(αm,1,…,,αm,i,…,αm,N)∈RK×N;θ为稀疏约束参数;
公式(1)简化变形得到公式(3)
公式(3)使用KSVD算法进行求解,得到字典Dm和分类器Qm,用 OMP算法求解稀疏表示矩阵Am;
b)利用分类器计算训练样本的分类结果
根据步骤a)得到的分类器Qm和第i个样本的稀疏表示向量αm,i求得样本类别估计向量根据公式(4)得到第i个样本的预测结果Pm,i
c)计算分类器的分类误差
通过公式(5)计算第m个分类器的分类误差
d)计算第m个分类器的权值系数
使用公式(6)计算第m个分类器的权值系数βm
e)更新样本权重
第m+1次迭代样本的权重为Wm+1=(wm+1,1,…,,wm+1,i,…,wm+1,N),其中各分量使用公式(7)计算:
重复步骤a)~e),直到最大迭代次数M。
优选地,如图2所示,所述步骤(2)包括以下分步骤:
f)利用步骤(1)求得的字典计算待分类数据的稀疏表示
y为待分类数据,用OMP算法求解公式(8)得到待分类数据的稀疏表示am,相应于M个字典得到对应的M个稀疏表示;
g)利用第m个弱分类器进行分类,得到预测结果Pm,通过公式(9) 利用步骤(1)求得的分类器权值系数对弱分类器的预测结果进行组合:
通过公式(10)获得最终分类结果P
以下更详细地说明本发明。
1、自适应增强字典学习
1)初始化训练样本的权重。
初始化第i个样本的权重为1≤i≤N,N为样本数量,训练样本的初始权重记为W1=(w1,1,…,,w1,i,…,w1,N)。
2)字典学习和分类器训练
迭代M轮,得到M个字典、M个分类器及相应的分类器权值系数:
b)联合训练字典和分类器
第m个字典Dm、第m个分类器Qm和第m个稀疏表示矩阵Am可以通过式 (1)求出:
其中xi∈RS为第i个训练样本,S为样本维度;m为迭代索引,1≤m≤M; Dm∈RS×K表示第m个字典,K为字典原子数量;Qm∈RC×K表示第m个分类器, C为类别数;hi∈RC为第i个样本的标签向量;wm,i为第m轮迭代第i个样本的权重;αm,i∈RK为第m轮迭代第i个样本的稀疏表示向量,训练集的稀疏表示矩阵记为Am=(αm,1,…,αm,i,…,αm,N)∈RK×N;θ为稀疏约束参数。(1)式可以简化写成(2)式:
对(2)式利用矩阵运算法则可以变形得到(3)式
式(3)可以使用KSVD算法进行求解,得到字典Dm和分类器Qm,用 OMP算法求解稀疏表示矩阵Am。
b)利用分类器计算训练样本的分类结果
根据步骤a)得到的分类器Qm和第i个样本的稀疏表示向量αm,i求得样本类别估计向量根据式(4)可以得到第i个样本的预测结果Pm,i。
c)计算分类器的分类误差
通过(5)式计算第m个分类器的分类误差。
d)计算第m个分类器的权值系数
使用式(6)计算第m个分类器的权值系数βm。
e)更新样本权重
第m+1次迭代样本的权重为Wm+1=(wm+1,1,…,wm+1,i,…,wm+1,N),其中各分量使用式(7)计算:
重复步骤a)~e),直到最大迭代次数M。
2、基于多个弱分类器进行分类
f)利用步骤1求得的字典计算待分类数据的稀疏表示。
y为待分类数据,用OMP算法可以求解式(8)得到待分类数据的稀疏表示am,相应于M个字典得到对应的M个稀疏表示。
g)利用第m个弱分类器进行分类,得到预测结果Pm。如式(9)利用步骤1求得的分类器权值系数对弱分类器的预测结果进行组合:
最终分类结果P如式(10)。
基于图像分类任务验证自适应增强稀疏表示方法的有效性
本发明在三个基于分类任务的图像数据集上进行实验,并且将分类精度与目前主流稀疏表示模型进行对比,包括KSVD、DKSVD、LC-KSVD1和LC-KSVD2。其中KSVD是经典的字典学习方法,DKSVD在KSVD基础上加入分类误差项, LC-KSVD1在KSVD基础上加入标签一致项,LC-KSVD2在KSVD基础上加入分类误差项和标签一致项。
图3表示Amazon10数据库目标函数取值和迭代次数的关系,可以看到随着迭代次数的增加,目标函数值逐渐减小,最终趋于稳定,证明本发明中的目标函数收敛。
本发明使用两个数据库(Caltech10图像分类数据库和Amazon10图像分类数据库)测试所提方法的有效性。
Caltech10图像数据库的图像尺寸为300*200,包括10个语义类别,每类约100张图像,共1123张图像。每个类别选取该类别数目的60%组成训练集,其余40%组成测试集合,得到训练集合包含673张图像,测试集合450 张图像。本发明利用SURF方法提取图像特征,特征维度为800维。字典原子数量设为300,参数γ=20,稀疏约束参数θ=30。本发明提出的方法及对比方法的识别精度如表1所示,可以看出在此数据库下,本发明提出的方法得到最高准确率。
表1
Amazon10图像数据库包括10个语义类别,每类约100张图像,共958 张图。同样以6/4的形式分割数据集,得到训练集包含574张图像,测试集包含384张图像。本发明利用SURF方法提取图像特征,特征维度为800维。字典原子数量设为300,参数γ=4,稀疏约束参数θ=30。本发明提出的方法及对比方法的识别精度如表2所示,可以看出在此数据库下,本发明提出的方法得到最高准确率。
表2
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (4)
1.一种基于稀疏表示的图像识别方法,其特征在于:该方法包括以下步骤:
(1)基于自适应增强字典学习过程学习多个字典及相应的弱分类器,并计算分类器权值系数;
(2)基于步骤(1)学习的多个字典计算待分类数据的稀疏表示向量,再利用相应的弱分类器进行分类,加权组合各弱分类器识别结果而得到最终识别结果。
2.根据权利要求1所述的基于稀疏表示的图像识别方法,其特征在于:所述步骤(1)包括以下分步骤:
(1.1)初始化训练样本的权重,初始化第i个样本的权重为N为样本数量,训练样本的初始权重记为W1=(w1,1,...,w1,i,...,w1,N);
(1.2)字典学习和分类器训练,迭代M轮,得到M个字典、M个分类器及相应的分类器权值系数。
3.根据权利要求2所述的基于稀疏表示的图像识别方法,其特征在于:所述步骤(1.2)包括以下步骤:
a)联合训练字典和分类器
第m个字典Dm、第m个分类器Qm和第m个稀疏表示矩阵Am通过公式(1)求出:
其中xi∈RS为第i个训练样本,S为样本维度;m为迭代索引,1≤m≤M;Dm∈RS×K表示第m个字典,K为字典原子数量;Qm∈RC×K表示第m个分类器,C为类别数;hi∈RC为第i个样本的标签向量;wm,i为第m轮迭代第i个样本的权重;αm,i∈RK为第m轮迭代第i个样本的稀疏表示向量,训练集的稀疏表示矩阵记为Am=(αm,1,...,αm,i,...,αm,N)∈RK×N;θ为稀疏约束参数;
公式(1)简化变形得到公式(3)
公式(3)使用KSVD算法进行求解,得到字典Dm和分类器Qm,用OMP算法求解稀疏表示矩阵Am;
b)利用分类器计算训练样本的分类结果
根据步骤a)得到的分类器Qm和第i个样本的稀疏表示向量αm,i求得样本类别估计向量根据公式(4)得到第i个样本的预测结果Pm,i
c)计算分类器的分类误差
通过公式(5)计算第m个分类器的分类误差
d)计算第m个分类器的权值系数
使用公式(6)计算第m个分类器的权值系数βm
e)更新样本权重
第m+1次迭代样本的权重为Wm+1=(wm+1,1,…,,wm+1,i,...,wm+1,N),其中各分量使用公式(7)计算:
重复步骤a)~e),直到最大迭代次数M。
4.根据权利要求3所述的基于稀疏表示的图像识别方法,其特征在于:所述步骤(2)包括以下分步骤:
f)利用步骤(1)求得的字典计算待分类数据的稀疏表示
y为待分类数据,用OMP算法求解公式(8)得到待分类数据的稀疏表示am,相应于M个字典得到对应的M个稀疏表示;
g)利用第m个弱分类器进行分类,得到预测结果Pm,通过公式(9)利用步骤(1)求得的分类器权值系数对弱分类器的预测结果进行组合:
通过公式(10)获得最终分类结果P
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910081619.2A CN109858546B (zh) | 2019-01-28 | 2019-01-28 | 一种基于稀疏表示的图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910081619.2A CN109858546B (zh) | 2019-01-28 | 2019-01-28 | 一种基于稀疏表示的图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109858546A true CN109858546A (zh) | 2019-06-07 |
CN109858546B CN109858546B (zh) | 2021-03-30 |
Family
ID=66896498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910081619.2A Active CN109858546B (zh) | 2019-01-28 | 2019-01-28 | 一种基于稀疏表示的图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109858546B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543836A (zh) * | 2019-08-16 | 2019-12-06 | 北京工业大学 | 一种面向彩色图像的车辆检测方法 |
CN111709442A (zh) * | 2020-05-07 | 2020-09-25 | 北京工业大学 | 一种面向图像分类任务的多层字典学习方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916371A (zh) * | 2010-09-01 | 2010-12-15 | 北京工业大学 | 对图像进行光照归一化处理的方法及采用其的图像识别方法 |
CN102346908A (zh) * | 2011-11-04 | 2012-02-08 | 西安电子科技大学 | 基于稀疏表示的sar图像相干斑抑制方法 |
CN103258210A (zh) * | 2013-05-27 | 2013-08-21 | 中山大学 | 一种基于字典学习的高清图像分类方法 |
CN103345923A (zh) * | 2013-07-26 | 2013-10-09 | 电子科技大学 | 一种基于稀疏表示的短语音说话人识别方法 |
CN103793695A (zh) * | 2014-02-10 | 2014-05-14 | 天津大学 | 一种用于人脸识别的多特征空间的子字典联合训练的方法 |
US20140310221A1 (en) * | 2013-04-12 | 2014-10-16 | Nec Laboratories America, Inc. | Interpretable sparse high-order boltzmann machines |
CN105590328A (zh) * | 2015-12-07 | 2016-05-18 | 天津大学 | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 |
US20180075344A1 (en) * | 2016-09-09 | 2018-03-15 | SK Hynix Inc. | Neural network hardware accelerator architectures and operating method thereof |
CN107844739A (zh) * | 2017-07-27 | 2018-03-27 | 电子科技大学 | 基于自适应同时稀疏表示的鲁棒性目标追踪方法 |
CN108830130A (zh) * | 2018-03-30 | 2018-11-16 | 徐国明 | 一种偏振高光谱低空侦察图像典型目标检测方法 |
-
2019
- 2019-01-28 CN CN201910081619.2A patent/CN109858546B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101916371A (zh) * | 2010-09-01 | 2010-12-15 | 北京工业大学 | 对图像进行光照归一化处理的方法及采用其的图像识别方法 |
CN102346908A (zh) * | 2011-11-04 | 2012-02-08 | 西安电子科技大学 | 基于稀疏表示的sar图像相干斑抑制方法 |
US20140310221A1 (en) * | 2013-04-12 | 2014-10-16 | Nec Laboratories America, Inc. | Interpretable sparse high-order boltzmann machines |
CN103258210A (zh) * | 2013-05-27 | 2013-08-21 | 中山大学 | 一种基于字典学习的高清图像分类方法 |
CN103345923A (zh) * | 2013-07-26 | 2013-10-09 | 电子科技大学 | 一种基于稀疏表示的短语音说话人识别方法 |
CN103793695A (zh) * | 2014-02-10 | 2014-05-14 | 天津大学 | 一种用于人脸识别的多特征空间的子字典联合训练的方法 |
CN105590328A (zh) * | 2015-12-07 | 2016-05-18 | 天津大学 | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 |
US20180075344A1 (en) * | 2016-09-09 | 2018-03-15 | SK Hynix Inc. | Neural network hardware accelerator architectures and operating method thereof |
CN107844739A (zh) * | 2017-07-27 | 2018-03-27 | 电子科技大学 | 基于自适应同时稀疏表示的鲁棒性目标追踪方法 |
CN108830130A (zh) * | 2018-03-30 | 2018-11-16 | 徐国明 | 一种偏振高光谱低空侦察图像典型目标检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543836A (zh) * | 2019-08-16 | 2019-12-06 | 北京工业大学 | 一种面向彩色图像的车辆检测方法 |
CN111709442A (zh) * | 2020-05-07 | 2020-09-25 | 北京工业大学 | 一种面向图像分类任务的多层字典学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109858546B (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209823B (zh) | 一种多标签文本分类方法及*** | |
CN110008338B (zh) | 一种融合gan和迁移学习的电商评价情感分析方法 | |
CN108564121B (zh) | 一种基于自编码器的未知类别图像标签预测方法 | |
KR101640077B1 (ko) | 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법 | |
CN111695052A (zh) | 标签分类方法、数据处理设备、可读存储介质 | |
CN108536754A (zh) | 基于blstm和注意力机制的电子病历实体关系抽取方法 | |
CN110222178A (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
CN104966105A (zh) | 一种鲁棒机器错误检索方法与*** | |
CN112699222B (zh) | 基于量子启发式神经网络的文本分类方法及邮件分类方法 | |
CN111046670A (zh) | 基于毒品案件法律文书的实体及关系联合抽取方法 | |
CN110543566B (zh) | 一种基于自注意力近邻关系编码的意图分类方法 | |
CN112905736B (zh) | 一种基于量子理论的无监督文本情感分析方法 | |
JP2020038343A (ja) | 言語識別モデルの訓練方法及び装置、並びにそのためのコンピュータプログラム | |
CN109858546A (zh) | 一种基于稀疏表示的图像识别方法 | |
SG171858A1 (en) | A method for updating a 2 dimensional linear discriminant analysis (2dlda) classifier engine | |
CN111695053A (zh) | 序列标注方法、数据处理设备、可读存储介质 | |
CN115658954B (zh) | 一种基于提示学习的跨模态检索对抗防御方法 | |
CN114625879A (zh) | 基于自适应变分编码器的短文本聚类方法 | |
CN113051399A (zh) | 一种基于关系型图卷积网络的小样本细粒度实体分类方法 | |
CN111126037B (zh) | 一种基于孪生循环神经网络的泰文句子切分方法 | |
CN115062104A (zh) | 融合知识提示的法律文本小样本命名实体识别方法 | |
CN111460142A (zh) | 一种基于自注意力卷积神经网络的短文本分类方法及*** | |
Zhou et al. | Jointly learning visual poses and pose lexicon for semantic action recognition | |
CN114861601B (zh) | 基于旋转式编码的事件联合抽取方法及存储介质 | |
Guo et al. | Dual-view ranking with hardness assessment for zero-shot learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |