CN102156871A - 基于类别相关的码本和分类器投票策略的图像分类方法 - Google Patents
基于类别相关的码本和分类器投票策略的图像分类方法 Download PDFInfo
- Publication number
- CN102156871A CN102156871A CN 201010112518 CN201010112518A CN102156871A CN 102156871 A CN102156871 A CN 102156871A CN 201010112518 CN201010112518 CN 201010112518 CN 201010112518 A CN201010112518 A CN 201010112518A CN 102156871 A CN102156871 A CN 102156871A
- Authority
- CN
- China
- Prior art keywords
- image
- classification
- vector
- code book
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000002596 correlated effect Effects 0.000 title claims abstract description 11
- 239000013598 vector Substances 0.000 claims abstract description 156
- 238000012549 training Methods 0.000 claims abstract description 105
- 230000000875 corresponding effect Effects 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 75
- 239000004744 fabric Substances 0.000 claims description 42
- 230000002123 temporal effect Effects 0.000 claims description 28
- 239000012141 concentrate Substances 0.000 claims description 4
- 239000013604 expression vector Substances 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明为基于类别相关的码本和分类器投票策略的图像分类方法,首先图像数据集预处理模块将图像表示为局部显著区域图像块的集合;类别相关的码本生成模块生成类别相关的码本;图像向量化模块根据类别相关的码本,将图像表示为图像向量,类别相关分类器训练模块选择其中的训练图像向量和训练图像对应的类别标签训练任意两个类别之间的分类器;最后,基于分类器投票策略的测试图像分类模块根据各个分类器的投票结果,确定测试图像的类别标签。类别相关码本生成模块有效地解决了码本过大导致维数灾难与码本过小判别性不足的矛盾;同时类别相关的分类器训练模块也摆脱了多类别分类中样本不均衡产生的问题,提高了分类性能。
Description
技术领域
本发明属与模式识别与信息处理技术领域,涉及基于类别相关的码本和分类器投票策略的图像分类方法,具体的是一种图像分类方法。
背景技术
由于数码相机等数码产品的低廉价格,图像、视频数据可以很方便的拍摄并保存成方便计算机处理的电子形式。同时,互联网资源的迅猛发展,使得广大用户开始面临一个庞大的数据资源。单纯的利用人力来维护和组织这些数据已经变得不现实。因此,开发一种技术来有效的组织这些个人或者企业图像、视频数据成为了一个热点问题。然而,计算机不能“看”的很清楚:它们不能像人一样把图像中的颜色像素转换为更高级语义表示形式,进而完成分类整理。
一个人可以分类识别10,000多种视觉对象。对我们人类来说,分类过程很快,毫不费力而且对视角、光亮、遮挡和背景混淆有很好的鲁棒性。而且,这个过程仅需要很少的监督和少量实例。经过了几十年的努力,研究者在特定目标(如,人脸,指纹识别)分类识别方面取得了很大进展,但是,到目前为止还没有开发出一种通用的目标识别技术,满足人们日常生活的需要。如何训练计算机来模拟人的形象思维,达到人类的识别能力,仍然面临着极大的挑战。是挑战,也是机会,因为这意味着这个领域还有着很大的发展空间。
图像分类的研究,大致可以追溯到60年代。在这个过程当中,图像分类研究者在这个领域做出了大量工作,其中包含很多具有里程碑意义的方法。总的来说,目前图像分类主要可以分为两个流派:其中之一是模仿人类的视觉器官,建立对应的分类子单元,以提高模仿程度来提高分类性能;另外一种就是模仿人类视觉的功能,而不刻意关注人实现过程中物理器官的反应。1964年,Neisser在中指出,人类的视觉***的分类过程大致可以分为两个阶段:意识前阶段和意识阶段。在意识前阶段,目标上的突出的显著局部区域会首先捕获人的注意力;在意识阶段,人们的视觉***开始建立这些显著部分的关系,进而识别出目标。这思路极大的影响了计算机视觉界(主要是通过马尔的工作),一系列有效的研究纷至沓来。与Neisser提出的意识前阶段和意识阶段的功能相对应,目标识别的过程大致可以分为两个阶段:局部显著区域检测及描述和分类模型。在局部显著区域检测中,SIFT(尺度不变特征变换)以其稳定的性能,成为了局部显著区域检测和描述的首选。同时,为了组织这些局部显著区域以形成图像的向量化描述,产生了一系列的分类模型,有部分-结构模型,基于轮廓的模型,语境语义相关模型,仿生学模型,特征包模型。在这些模型当中,特征包模型以其优越的性能,简洁的计算方式,成为图像分类的主流模型。
然而,特征包模型需要产生一个可供所有图像局部区域映射的码本。为了满足这个需要,理想中的码本应该涵盖所有可能的局部显著区域图像块。但是,图像的变化时多样且连续的,我们不可能生成一个码本,能够涵盖所有的图像块。为了能够近似的逼近图像块的各种变化,研究者选择了聚类的方式,把多种类似的局部显著区域图像块的连续变化映射到中间某个典型的图像快上面。随着图像类别的增加,这种典型的局部区域图像块也会呈亚线性增长,由此带来的便是图像表示向量维数的增加,进而导致维数灾难。如何产生码本,使它技能满足多样性的要求,又在一定程度上避免维数灾难,成了目前困扰特征包模型研究者的热点问题。同时,对于多类别问题,如果按照普通的分类方法,每个分类器的训练过程,需要以本类别的训练样本为正样本,其他所有类别的样本作为负样本,这样就造成了分类器训练中严重的样本不均衡问题,使得正样本淹没在负样本当中。为了解决这个问题,有的研究者采用减少负样本的方法,但是,由于减少了负样本的多样性,使得分类器的性能反而大大降低;同时有的研究者使用负样本多次采样的方式,然而此方式没有认识到样本空间复杂度高才是问题的关键,因此虽然一定程度上提高了性能,但是也没有从根本上解决问题。
发明内容
为了解决现有技术对多类别分类问题存在的困难,本发明的目的是能够集合类别之间的具有判别力的局部显著区域图像块作为码本,又能有效的降低分类中图像表示的维数灾难问题的解决方法,为此,本发明提供一种基于类别相关的码本和分类器投票策略的图像分类方法。
为了达成所述目的,本发明基于类别相关的码本和分类器投票策略的图像分类方法,实现该方法的步骤包括:
步骤S1:图像数据集预处理模块对图像数据集I中的每一幅图像采用局部显著区域检测子检测图像中的局部显著区域图像块并表示为向量;这样,图像数据集中的所有图像都被表示成了局部显著区域图像块向量的集合,图像数据集I包括:训练图像集和测试图像集;
步骤S2:类别相关码本生成模块根据训练图像的局部显著区域图像块向量和训练图像的类别标签,产生类别相关的码本;
步骤S3:图像向量化模块将图像数据集中的图像映射到步骤S2生成的类别相关的码本上,形成图像向量;
步骤S4:类别相关分类器训练模块根据图像向量中训练图像对应的图像向量及类别标签,训练类别相关的分类器;
步骤S5:基于分类器投票策略的测试图像分类模块根据测试图像在每个分类器上的输出标签进行投票,给出测试图像的最终类别标签。
其中,所述图像数据集I={I1,…,IM+N},包含训练图像集和测试图像集M和N分别表示训练图像和测试图像的个数,I1表示图像数据集I中第1幅图像,IM+N表示图像数据集I中第M+N幅图像,Itrain 1是表示第1幅训练图像,Itrain M是表示第M幅训练图像,Itest 1是表示第1幅测试图像,Itest N是表示第N幅测试图像,train和test分别用来标示图像属于训练图像集和测试图像集;其中,训练图像集Itrain用于类别相关的码本生成,基于投票策略的分类器训练;测试图像集Itest用于检验所述基于类别相关的码本和投票策略的图像分类方法的性能。
其中,所述类别相关码本生成模块,将训练图像的局部显著区域图像块向量,按照所属图像的类别标签进行归类,标签类别数为C,产生C组局部显著区域图像块向量集合;对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类,产生C个类别相关码本D={D1,D2,…,DC},每个码本包含K个聚类中心。
其中,所述图像向量化模块中第i幅图像Ii在第m个类别相关码本Dm上向量化的具体步骤如下:首先计算第i幅图像Ii内部第j个局部显著区域图像块向量xi j与第m个类别相关码本Dm中第n个聚类中心Dm n的距离d(xi j,Dm n)表示如下:
其中,xi j(t)表示xi j向量的第t个分量,Dm n(t)表示第m个类别相关码本Dm中第n个聚类中心Dm n向量的第t个分量;然后,计算第j个局部显著区域图像块向量xi j与第n个聚类中心Dm n之间的相似度sij mn:
其中σ是需要根据性能调整的参数;这样,图像中的局部显著区域图像块向量xi j针对类别相关码本Dm产生K个相似度sij mn值,取记为相似度向量,其中K表示每个类别相关码本中聚类中心的数目;将第i幅图像Ii内所有局部显著区域图像块在类别相关码本Dm产生的相似度向量累加,得到第i幅图像Ii在类别相关码本Dm上的图像向量为其中Ji表示第i幅图像Ii当中包含的局部显著区域图像块的个数;
取i=1,…,M+N,得到图像数据集中所有图像Ii在类别相关码本Dm上的图像向量,记为图像向量集合m;以此类推,基于C个类别相关码本,即取m=1,…,C,则得到C个图像向量集合为:图像向量集合1,图像向量集合2,…,图像向量集合C。
其中,所述类别相关分类器训练模块,根据训练图像训练C个类别中任意两个类别之间的分类器;分类第i类图像与第j类图像的分类器ij训练过程如下:从图像向量化模块产生的图像向量集合i中选择第i类的训练图像在类别相关码本Di上产生的向量,从图像向量集合j中选择第i类训练图像在类别相关码本Dj上产生的向量,然后把相同图像产生的向量链接成新的向量,作为第i类训练图像新的向量表示;同样的方式,从第i类图像向量集合和第j类图像向量集合中分别选择第j类训练图像在类别相关码本Di和类别相关码本Dj上产生的向量并链接,作为第j类训练图像新的向量表示;然后利用新得到的第i类和第j类图像的表示向量,训练分类器ij;同样的方式,取i=1,…,C,i<j<=C,训练C个类别中任意两类之间的分类器。
其中,基于分类器投票策略的测试图像分类模块给定一幅测试图像,从图像向量集合i中选择该测试图像在类别相关码本Di上面计算的向量,同时从图像向量集合j中选择该测试图像在类别相关码本Dj上得到的向量,然后链接两个向量为一个新向量,输入分类器ij,得到分类器ij的分类结果;取i=1,…,C,i<j<=C,得到训练阶段产生的任意分类器的分类结果;累加分类器i1,分类器i2,…,分类器iC的分类结果中分类结果为i类的个数,得到测试图像为第i类的投票结果,记为Ri;取i=1,2,…,C,则得到判定测试图像为每个类别的投票结果;取Ri最大时对应的类别标签作为测试图像的最终类别标签。
本发明的有益效果:与现有的码本和分类方法相比,本方法具有如下特点:
1.与现有的码本相比,当图像类别较多时,本发明的类别相关的码本可以只有普通码本大小的十分之一甚至更小,有效的避免了维数灾难问题。
2.与现有的码本相比,随着图像类别的增多,本发明的码本可以保持着稳定的判别性,使得分类结果更加稳定。
3.与现有的分类器训练方法相比,本发明的训练过程总是在两个类别之间进行;即由于每个类别的训练样本个数相同,本发明的训练方法不存在样本不均衡问题。
本发明有效的解决了图像表示向量维数与码本多样性之间的矛盾,使得图像表示向量维数不大的情况下仍然有着较强的判别性。同时,基于本发明特殊的类别相关分类器训练方法,使得多类别中常见的样本不均衡问题不再存在,有效地挺高了图像分类的性能。
附图说明
图1示出本发明基于类别相关的码本和分类器投票策略的图像分类方法的流程;
图2示出本发明步骤S1类别相关的码本生成模块;
图3示出本发明步骤S3图像向量化模块;
图4示出本发明步骤S4类别相关的分类器训练模块中第i类与第j类分类器,分类器ij的训练方法;
图5出本发明步骤S5测试图像分类模块。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
类别相关码本生成方法对每种类别的图像产生一种特定的码本,使得相同类别的图像映射到此类码本上的系数值较大并呈现一定的规律性,而其它类别的图像映射到此类码本上的系数会比较小并呈现无规律性。
分类第i类图像与第j类图像的分类器ij,通过将第i类的训练图像在类别相关码本和类别相关码本上得到的向量链接作为第i类的训练图像向量,将第j类的训练图像在类别相关码本和类别相关码本上得到的向量链接作为第j类的训练图像向量,训练得到。这样得到的分类器ij对属于类别i和类别j的图像具有判别性,而对既不属于i类也不属于j类的图像分类结果呈现无规律性。
基于类别相关码本生成和类别相关分类器训练的特点,测试样本的分类采用投票的策略。对于第i类的测试图像,分类器ij,(j=1,…,C)中绝大部分分类器会给出此图像属于i类的投票;而对于分类器kj,(k不等于i,j=1,…,C)分类器会呈现极大的无规律性。这样,我们最后取得票最多的类别标签作为测试图像的最终类别。
本发明旨在设计基于类别相关的码本和分类器投票策略的图像分类方法,在有效的解决传统代码包模型对于多类别分类存在的图像表示向量维数与码本多样性之间的矛盾的同时,消除了多类别分类问题分类器训练过程中存在的样本不均衡问题对方法性能的影响。有效的提高了方法的分类性能。
基于类别相关的码本和分类器投票策略的图像分类方法,如图1示出,该方法利用图像数据集I,包括训练图像和测试图像,包括以下步骤:图像数据集预处理步骤S1、类别相关的码本生成步骤S2、图像向量化步骤S3、类别相关分类器训练步骤S4和基于分类器投票策略的测试图像分类步骤S5。
图像数据集I={I1,…,IM+N},包含训练图像集和测试图像集M和N分别表示训练图像和测试图像的个数,I1表示图像数据集I中第1幅图像,IM+N表示第M+N幅图像,Itrain 1是表示第1幅训练图像,Itrain M是表示第M幅训练图像,Itest 1是表示第1幅测试图像,Itest N是表示第N幅测试图像,train和test分别用来标示图像属于训练图像集和测试图像集;其中,训练图像集Itrain用于类别相关的码本生成,基于投票策略的分类器训练;测试图像集Itest用于检验所述基于类别相关的码本和投票策略的图像分类方法的性能。
步骤S1:图像数据集预处理模块对图像数据集I(包含训练图像和测试图像)中的每一幅图像采用尺度不变特征变换(SIFT)检测图像中的局部显著区域图像块并将这些局部显著区域图像块表示为128维向量。这样,数据集中的每一幅图像都被表示成了局部显著区域图像块向量的集合。
如图2示出步骤S2:类别相关码本生成模块将图像数据集预处理模块产生的局部显著区域图像块向量中,由训练图像集产生的部分,按照产生这些图像块向量的训练图像的类别标签(标签类别数为C)进行归类,即由第i类训练图像经图像数据集预处理得到的局部显著区域图像块向量集合,归为第i类局部显著区域图像块向量集合,取i=1,…,C,得到C组局部显著区域图像块向量集合(第1类局部图像块向量集合,第2类局部图像块向量集合,…,第C类局部图像块向量集合);对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类,产生C个类别相关的码本D={D1,D2,…,DC}(例如图2中示出的类别相关码本D1、类别相关码本D2及类别相关码本DC),每个类别相关的码本包含K个聚类中心。
步骤S3:图像向量化模块计算图像数据集中的第i幅图像Ii在第m个类别相关码本Dm上得到的图像向量。从图像块向量集合中选择由第i幅图像Ii经图像数据集预处理得到的局部显著区域其中xi j表示第i幅图像Ii内部第j个局部显著区域图像块向量(j=1,…,Ji),Ji表示第i幅图像中包含的局部显著区域图像块的个数。第i幅图像Ii内部第j个局部显著区域图像块向量xi j与Dm中第n个聚类中心Dm n的距离计算公式如下:
其中,xi j(t)表示xi j向量的第t个分量,Dm n(t)表示Dm n向量的第t个分量。然后,计算xi j与Dm n之间的相似度:
其中σ是根据性能调整的参数,试验中,σ=100时,性能最好。这样,图像中的局部显著区域图像块xi j针对码本Dm可以产生K个相似度值,取记为相似度向量。将图像Ii内所有局部显著区域图像块在码本Dm产生的相似度向量累加,得到图像Ii在类别相关码本Dm上的图像向量其中Ji表示第i幅图像中包含的局部显著区域图像块的个数。对类别相关码本Dm(例如类别相关码本D1、类别相关码本D2及类别相关码本DC),可以得到图像数据集中所有图像的图像向量,将所有在类别相关码本Dm上得到的图像向量集合记为图像向量集合m。以此类推,取m=1,…,C,我们可以得到C个图像向量集合(如图3示出:图像向量集合1,图像向量集合2,…,图像向量集合C)。
步骤S4:类别相关分类器训练模块,根据训练图像训练C个类别中任意两个类别之间的支持向量机分类器。分类第i类图像与第j类图像的分类器ij训练过程如图4示出:从图像向量化模块产生的图像向量集合i中选择第i类的训练图像在码本Di上产生的向量,从图像向量集合j中选择第i类训练图像在码本Dj上产生的向量,然后把同一图像产生的向量联接成新的向量,作为第i类训练图像新的图像向量。同样的方式,从第i类图像向量集合和第j类图像向量集合中分别选择第j类训练图像在码本Di和码本Dj上产生的向量并联接,作为第j类训练图像新的图像向量。然后利用得到的第i类和第j类图像的新表示向量,训练分类器ij。同样的方式,训练C个类别中任意两类之间的支持向量机(SVM)分类器。支持向量机可以采用预先计算好的χ2核,计算方法如下:
任意两个图像向量li和lj的χ2距离为:
其中,li(t)和lj(t)分别表示图像向量li和lj的第t个分量,K表示类别相关码本中聚类中心的数目;图像向量li和lj的之间的χ2核值:Q(li,lj)=exp{-χ2(li,lj)}。计算任意两个训练图像向量之间的χ2核值,训练支持向量机分类器,其中支持向量机分类器参数c=8。
如图5示出,步骤S5:基于分类器投票策略的测试图像分类模块,给定一幅测试图像,从图像向量集合i中,选择该图像在类别相关码本Di上面计算的向量,同时从图像向量集合j中选择该测试图像在类别相关码本Dj上得到的向量,然后联接两个向量为一个新向量,计算这个新向量与分类器ij对应的所有训练图像向量之间的χ2核值,输入分类器ij,得到分类器ij的分类结果。同样方式,可以得到训练阶段产生的任意分类器的分类结果。累加分类器i1,分类器i2,…,分类器iC中分类结果为i类的个数,得到测试图像为第i类的投票结果,记为Ri。取i=1,2,…,C,我们可以得到判定测试图像为每个类别的投票结果。取Ri最大对应的类别标签作为测试图像的最终类别标签。如图5中符号表示同名向量联接,符号表示分类标签累加。
本发明效果可以通过以下实验进一步说明:
实验条件:实验数据集在由美国加州理工大学提供的Caltech-101数据集上面进行。每个类别分别选择3,5,10,20,30幅图像作为训练数据,剩余的图像作为测试数据。局部显著区域检测和表示采用流行的尺度不变特征变换(SIFT)方法。码本生成中,选择码本的大小k=200,也就是每次聚类的聚类中心数目为200。向量化描述中,选择σ=100。这里的任意两个类别之间的分类器采用SVM(支持向量机)分类器,分类器采用χ2核,分类器参数c=8。
实验结果:本发明的方法为所有的测试图像给出预测标签。如果标签名称与测试图像的实际标签相同,则为分类正确,否则为分类错误。
对比试验是在这个数据集上面,采用传统特征包模型,单独利用SIFT局部特征所得的最好结果。
训练样本个数 | 3 | 5 | 10 | 20 | 30 |
本发明性能 | 0.17% | 12.65% | 46.28% | 58.44% | 66.89% |
传统方法性能 | - | - | - | - | 59.33% |
上述表中的性能=预测标签正确的测试图像个数/测试图像总数。
从实验数据可知,本发明采用类别相关的码本生成和类别相关的分类器投票策略的方法,有着更高的分类性能。
本发明的基于类别相关的码本和分类器投票策略的图像分类方法大致描述如下:首先利用尺度不变特征变换(SIFT)将训练图像集中所有图像表示为局部显著区域图像块的集合;对得到的局部显著区域图像块按照其所属训练图像的类别标签进行归类,得到C组局部显著区域图像块向量集合;对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类,产生C个类别相关的码本D={D1,D2,…,DC},每个类别相关的码本包含K个聚类中心;根据类别相关的码本,将训练图像集中所有图像表示为图像向量集合;然后利用得到的训练图像向量和训练图像对应的类别标签训练C个类别中任意两个类别之间的分类器。对测试图像,利用与训练图像相同的方式SIFT表示为局部显著区域图像块的集合;然后利用这些向量集合和训练阶段生成的类别相关码本,将测试图像表示为图像向量集合;然后将这些向量输入训练好的分类器;利用各个分类器的分类结果进行投票,确定测试图像的分类结果。
上述基于类别相关的码本和分类器投票策略的图像分类方法具有高度的实用性和应用价值。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.基于类别相关的码本和分类器投票策略的图像分类方法,其特征在于,实现该方法的步骤包括:
步骤S1:图像数据集预处理模块对图像数据集I中的每一幅图像采用局部显著区域检测子检测图像中的局部显著区域图像块并表示为向量;这样,图像数据集中的所有图像都被表示成了局部显著区域图像块向量的集合,图像数据集I包括:训练图像集和测试图像集;
步骤S2:类别相关码本生成模块根据训练图像的局部显著区域图像块向量和训练图像的类别标签,产生类别相关的码本;
步骤S3:图像向量化模块将图像数据集中的图像映射到步骤S2生成的类别相关的码本上,形成图像向量;
步骤S4:类别相关分类器训练模块根据图像向量中训练图像对应的图像向量及类别标签,训练类别相关的分类器;
步骤S5:基于分类器投票策略的测试图像分类模块根据测试图像在每个分类器上的输出标签进行投票,给出测试图像的最终类别标签。
2.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法,其特征在于,所述图像数据集I={I1,...,IM+N},包含训练图像集和测试图像集M和N分别表示训练图像和测试图像的个数,I1表示图像数据集I中第1幅图像,IM+N表示图像数据集I中第M+N幅图像,Itrain 1是表示第1幅训练图像,Itrain M是表示第M幅训练图像,Itest 1是表示第1幅测试图像,Itest N是表示第N幅测试图像,train和test分别用来标示图像属于训练图像集和测试图像集;其中,训练图像集Itrain用于类别相关的码本生成,基于投票策略的分类器训练;测试图像集Itest用于检验所述基于类别相关的码本和投票策略的图像分类方法的性能。
3.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法,其特征在于,所述类别相关码本生成模块,将训练图像的局部显著区域图像块向量,按照所属图像的类别标签进行归类,标签类别数为C,产生C组局部显著区域图像块向量集合;对产生的C组局部显著区域图像块向量集合分别进行K-均值聚类,产生C个类别相关码本D={D1,D2,...,DC},每个码本包含K个聚类中心。
4.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法,其特征在于,所述图像向量化模块中第i幅图像Ii在第m个类别相关码本Dm上向量化的具体步骤如下:首先计算第i幅图像Ii内部第j个局部显著区域图像块向量xi j与第m个类别相关码本Dm中第n个聚类中心Dm n的距离d(xi j,Dm n)表示如下:
其中,xi j(t)表示xi j向量的第t个分量,Dm n(t)表示第m个类别相关码本Dm中第n个聚类中心Dm n向量的第t个分量;然后,计算第j个局部显著区域图像块向量向量xi j与第m个类别相关码本Dm中第n个聚类中心Dm n之间的相似度sij mn:其中σ是需要根据性能调整的参数;这样,图像中的局部显著区域图像块xi j针对类别相关码本Dm产生K个相似度sij mn值,取记为相似度向量,其中K表示每个类别相关码本中聚类中心的数目;将第i幅图像Ii内所有局部显著区域图像块在类别相关码本Dm产生的相似度向量累加,得到第i幅图像Ii在类别相关码本Dm上的图像向量为其中Ji表示第i幅图像Ii当中包含的局部显著区域图像块的个数;
取i=1,…,M+N,得到图像数据集中所有图像Ii在类别相关码本Dm上的图像向量,记为图像向量集合m;以此类推,基于C个类别相关码本,即取m=1,…,C,则得到C个图像向量集合为:图像向量集合1,图像向量集合2,…,图像向量集合C。
5.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法,其特征在于,所述类别相关分类器训练模块,根据训练图像训练C个类别中任意两个类别之间的分类器;分类第i类图像与第j类图像的分类器ij训练过程如下:从图像向量化模块产生的图像向量集合i中选择第i类的训练图像在类别相关码本Di上产生的向量,从图像向量集合j中选择第i类训练图像在类别相关码本Dj上产生的向量,然后把相同图像产生的向量链接成新的向量,作为第i类训练图像新的向量表示;同样的方式,从第i类图像向量集合和第j类图像向量集合中分别选择第j类训练图像在类别相关码本Di和类别相关码本Dj上产生的向量并链接,作为第j类训练图像新的向量表示;然后利用新得到的第i类和第j类图像的表示向量,训练分类器ij;同样的方式,取i=1,…,C,i<j<=C,训练C个类别中任意两类之间的分类器。
6.如权利要求1所述的基于类别相关的码本和分类器投票策略的图像分类方法,其特征在于,基于分类器投票策略的测试图像分类模块给定一幅测试图像,从图像向量集合i中选择该测试图像在类别相关码本Di上面计算的向量,同时从图像向量集合j中选择该测试图像在类别相关码本Dj上得到的向量,然后链接两个向量为一个新向量,输入分类器ij,得到分类器ij的分类结果;取i=1,…,C,i<j<=C,得到训练阶段产生的任意分类器的分类结果;累加分类器i1,分类器i2,…,分类器iC的分类结果中分类结果为i类的个数,得到测试图像为第i类的投票结果,记为Ri;取i=1,2,…,C,则得到判定测试图像为每个类别的投票结果;取Ri最大时对应的类别标签作为测试图像的最终类别标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010112518 CN102156871B (zh) | 2010-02-12 | 2010-02-12 | 基于类别相关的码本和分类器投票策略的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010112518 CN102156871B (zh) | 2010-02-12 | 2010-02-12 | 基于类别相关的码本和分类器投票策略的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102156871A true CN102156871A (zh) | 2011-08-17 |
CN102156871B CN102156871B (zh) | 2012-12-12 |
Family
ID=44438362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010112518 Expired - Fee Related CN102156871B (zh) | 2010-02-12 | 2010-02-12 | 基于类别相关的码本和分类器投票策略的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102156871B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102945371A (zh) * | 2012-10-18 | 2013-02-27 | 浙江大学 | 基于多标签柔性支持向量机的分类方法 |
CN102945372A (zh) * | 2012-10-18 | 2013-02-27 | 浙江大学 | 基于多标签约束支持向量机的分类方法 |
CN103324954A (zh) * | 2013-05-31 | 2013-09-25 | 中国科学院计算技术研究所 | 一种基于树结构的图像分类方法及其*** |
CN103679206A (zh) * | 2013-12-24 | 2014-03-26 | Tcl集团股份有限公司 | 图像分类的方法和装置 |
CN103679188A (zh) * | 2012-09-12 | 2014-03-26 | 富士通株式会社 | 图像分类器生成方法和装置及图像分类方法和装置 |
CN103793714A (zh) * | 2012-10-26 | 2014-05-14 | 卡西欧计算机株式会社 | 多分类识别器、数据识别装置、多分类识别方法及数据识别方法 |
CN104966087A (zh) * | 2015-06-02 | 2015-10-07 | 北京京东尚科信息技术有限公司 | 图像sift条纹特征滤除方法以及装置 |
CN105389588A (zh) * | 2015-11-04 | 2016-03-09 | 上海交通大学 | 基于多语义码本图像特征表示方法 |
CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技(深圳)有限公司 | 一种驾驶员疲劳状态检测方法及*** |
CN106650721A (zh) * | 2016-12-28 | 2017-05-10 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
WO2017166156A1 (zh) * | 2016-03-31 | 2017-10-05 | 深圳大学 | 一种高光谱图像的分类方法及其*** |
US10089332B2 (en) | 2014-08-21 | 2018-10-02 | Samsung Electronics Co., Ltd. | Method and electronic device for classifying contents |
CN108628971A (zh) * | 2018-04-24 | 2018-10-09 | 深圳前海微众银行股份有限公司 | 不均衡数据集的文本分类方法、文本分类器及存储介质 |
CN109313699A (zh) * | 2016-06-23 | 2019-02-05 | 康蒂-特米克微电子有限公司 | 用于对一车辆的输入图像进行目标识别的装置和方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1633944A (zh) * | 2003-12-30 | 2005-07-06 | 中国科学院自动化研究所 | 基于一类支持向量的快速人脸检测的方法 |
CN1908960A (zh) * | 2005-08-02 | 2007-02-07 | 中国科学院计算技术研究所 | 一种基于特征分组的多分类器组合人脸识别方法 |
WO2008147039A1 (en) * | 2007-05-25 | 2008-12-04 | Inha-Industry Partnership Institute | System and method for recognizing images using t-test |
CN101540048A (zh) * | 2009-04-21 | 2009-09-23 | 北京航空航天大学 | 一种基于支持向量机的图像质量评价方法 |
US20100036782A1 (en) * | 2006-09-22 | 2010-02-11 | Koninklijke Philips Electronics N. V. | Methods for feature selection using classifier ensemble based genetic algorithms |
-
2010
- 2010-02-12 CN CN 201010112518 patent/CN102156871B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1633944A (zh) * | 2003-12-30 | 2005-07-06 | 中国科学院自动化研究所 | 基于一类支持向量的快速人脸检测的方法 |
CN1908960A (zh) * | 2005-08-02 | 2007-02-07 | 中国科学院计算技术研究所 | 一种基于特征分组的多分类器组合人脸识别方法 |
US20100036782A1 (en) * | 2006-09-22 | 2010-02-11 | Koninklijke Philips Electronics N. V. | Methods for feature selection using classifier ensemble based genetic algorithms |
WO2008147039A1 (en) * | 2007-05-25 | 2008-12-04 | Inha-Industry Partnership Institute | System and method for recognizing images using t-test |
CN101540048A (zh) * | 2009-04-21 | 2009-09-23 | 北京航空航天大学 | 一种基于支持向量机的图像质量评价方法 |
Non-Patent Citations (2)
Title |
---|
《模式识别与人工智能》 19990930 王春恒等 基于串/并结合机制的集成型脱机手写汉字识别方法 第255-261页 1-6 第12卷, 第3期 * |
《自动化学报》 20001130 荆晓远等 基于相关性和有效互补性分析基于相关性和有效互补性分析基于相关性和有效互补性分析的多分类器组合方法 第741-747页 1-6 第26卷, 第6期 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679188A (zh) * | 2012-09-12 | 2014-03-26 | 富士通株式会社 | 图像分类器生成方法和装置及图像分类方法和装置 |
CN102945372A (zh) * | 2012-10-18 | 2013-02-27 | 浙江大学 | 基于多标签约束支持向量机的分类方法 |
CN102945372B (zh) * | 2012-10-18 | 2015-06-24 | 浙江大学 | 基于多标签约束支持向量机的分类方法 |
CN102945371B (zh) * | 2012-10-18 | 2015-06-24 | 浙江大学 | 基于多标签柔性支持向量机的分类方法 |
CN102945371A (zh) * | 2012-10-18 | 2013-02-27 | 浙江大学 | 基于多标签柔性支持向量机的分类方法 |
CN103793714A (zh) * | 2012-10-26 | 2014-05-14 | 卡西欧计算机株式会社 | 多分类识别器、数据识别装置、多分类识别方法及数据识别方法 |
CN103324954A (zh) * | 2013-05-31 | 2013-09-25 | 中国科学院计算技术研究所 | 一种基于树结构的图像分类方法及其*** |
CN103679206B (zh) * | 2013-12-24 | 2017-10-27 | Tcl集团股份有限公司 | 图像分类的方法和装置 |
CN103679206A (zh) * | 2013-12-24 | 2014-03-26 | Tcl集团股份有限公司 | 图像分类的方法和装置 |
US10089332B2 (en) | 2014-08-21 | 2018-10-02 | Samsung Electronics Co., Ltd. | Method and electronic device for classifying contents |
CN104966087B (zh) * | 2015-06-02 | 2018-06-01 | 北京京东尚科信息技术有限公司 | 图像sift条纹特征滤除方法以及装置 |
CN104966087A (zh) * | 2015-06-02 | 2015-10-07 | 北京京东尚科信息技术有限公司 | 图像sift条纹特征滤除方法以及装置 |
CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技(深圳)有限公司 | 一种驾驶员疲劳状态检测方法及*** |
CN106485191B (zh) * | 2015-09-02 | 2018-12-11 | 腾讯科技(深圳)有限公司 | 一种驾驶员疲劳状态检测方法及*** |
CN105389588A (zh) * | 2015-11-04 | 2016-03-09 | 上海交通大学 | 基于多语义码本图像特征表示方法 |
CN105389588B (zh) * | 2015-11-04 | 2019-02-22 | 上海交通大学 | 基于多语义码本图像特征表示方法 |
WO2017166156A1 (zh) * | 2016-03-31 | 2017-10-05 | 深圳大学 | 一种高光谱图像的分类方法及其*** |
CN109313699A (zh) * | 2016-06-23 | 2019-02-05 | 康蒂-特米克微电子有限公司 | 用于对一车辆的输入图像进行目标识别的装置和方法 |
CN109313699B (zh) * | 2016-06-23 | 2023-10-31 | 康蒂-特米克微电子有限公司 | 用于对一车辆的输入图像进行目标识别的装置和方法 |
CN106650721A (zh) * | 2016-12-28 | 2017-05-10 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
CN106650721B (zh) * | 2016-12-28 | 2019-08-13 | 吴晓军 | 一种基于卷积神经网络的工业字符识别方法 |
CN108628971A (zh) * | 2018-04-24 | 2018-10-09 | 深圳前海微众银行股份有限公司 | 不均衡数据集的文本分类方法、文本分类器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102156871B (zh) | 2012-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102156871B (zh) | 基于类别相关的码本和分类器投票策略的图像分类方法 | |
Wu et al. | Harvesting discriminative meta objects with deep CNN features for scene classification | |
CN106599797B (zh) | 一种基于局部并行神经网络的红外人脸识别方法 | |
CN102156885B (zh) | 基于级联式码本生成的图像分类方法 | |
CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
CN110598800A (zh) | 一种基于人工智能的垃圾分类识别方法 | |
CN108984745A (zh) | 一种融合多知识图谱的神经网络文本分类方法 | |
CN101604322B (zh) | 一种决策级文本自动分类融合方法 | |
CN104573669A (zh) | 图像物体检测方法 | |
CN100585617C (zh) | 基于分类器集成的人脸识别***及其方法 | |
CN106446954A (zh) | 一种基于深度学习的字符识别方法 | |
CN105389593A (zh) | 基于surf特征的图像物体识别方法 | |
Lian et al. | Probabilistic models for supervised dictionary learning | |
CN104239858A (zh) | 一种人脸特征验证的方法和装置 | |
CN106056059B (zh) | 多方向slgs特征描述及性能云加权融合的人脸识别方法 | |
CN106529605A (zh) | 基于免疫理论的卷积神经网络模型的图像识别方法 | |
CN105184298A (zh) | 一种快速局部约束低秩编码的图像分类方法 | |
CN104156690B (zh) | 一种基于图像空间金字塔特征包的手势识别方法 | |
CN104463194A (zh) | 一种人车分类方法及装置 | |
Arora et al. | Application of statistical features in handwritten devnagari character recognition | |
CN103679160A (zh) | 一种人脸识别方法和装置 | |
CN104966075A (zh) | 一种基于二维判别特征的人脸识别方法与*** | |
CN105631477A (zh) | 基于极限学习机和自适应提升的交通标志识别方法 | |
CN110414626A (zh) | 一种猪只品种识别方法、装置和计算机可读存储介质 | |
CN110288028A (zh) | 心电检测方法、***、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121212 Termination date: 20220212 |