CN113222018A - 一种图像分类方法 - Google Patents

一种图像分类方法 Download PDF

Info

Publication number
CN113222018A
CN113222018A CN202110519996.7A CN202110519996A CN113222018A CN 113222018 A CN113222018 A CN 113222018A CN 202110519996 A CN202110519996 A CN 202110519996A CN 113222018 A CN113222018 A CN 113222018A
Authority
CN
China
Prior art keywords
image
concept
tree
entering
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110519996.7A
Other languages
English (en)
Other versions
CN113222018B (zh
Inventor
申培正
张卓
王黎明
柴玉梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202110519996.7A priority Critical patent/CN113222018B/zh
Publication of CN113222018A publication Critical patent/CN113222018A/zh
Application granted granted Critical
Publication of CN113222018B publication Critical patent/CN113222018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种图像分类方法，尤其涉及关于概念认知在图像分类领域的应用方法。本发明是基于概念认知过程的图像分类方法分为两个模块：认知训练模块，用来学习图像概念，最终生成一棵概念树用来实现图像分类任务；图像分类模块，使用训练模块得到的概念树进行图像分类；所述方法经过从图像特征描述FD到生成图像形式背景K，由图像集形式背景K生成必要属性集合Base，由必要属性构造概念树CT的粗层次,由图像集形式背景K构造概念树CT的细层次，概念树CT更新，获得最优概念树，使用最优概念树进行分类的步骤，通过图像特征提取技术、特征数据处理技术和概念学习方法解决形式概念认知难以应用在图像方面的问题。

Description

一种图像分类方法
技术领域
本发明属于模式识别、机器学习技术领域，具体涉及到一种图像分类方法。
背景技术
自形式概念分析提出以来，凭借着独特的关系表示形式，成为数据分析领域一种高效的研究工具，形式概念分析已成功应用于推荐***、数据挖掘等相关研究领域。概念认知是近年来兴起的一个研究方向，具有跨学科特点，涉及到心理学、脑信息科学、计算机科学等诸多研究领域，现有的研究证明，概念认知学习是一种高效的信息处理方式，但是已有的研究大多停留在理论论证层面。目前，形式概念分析在图像领域的应用较少，主要原因在于概念格固有的时间复杂度不能有效的处理图像中的多维信息。为此，如何将图像数据转化为形式背景并构建一个高效的学习模型，是该技术方法的关键问题之一。
发明内容
为了解决上述问题，本发明提出一种将图像数据转化为形式背景并构建一个学习模型的方法，通过图像特征提取技术、特征数据处理技术和概念学习方法解决形式概念认知难以应用在图像方面的问题。
本发明采用的技术方案为：一种图像分类方法，包括认知训练模块和图像分类模块，
所述认知训练模块，用来学习图像概念，最终生成一棵概念树用来实现图像分类任务；
所述图像分类模块，使用认知训练模块得到的概念树进行图像分类；
该方法包括如下步骤：
步骤一，对图像数据集IS中的每个图像p，使用PCA-SIFT方法提取图像特征描述FD，
图像特征描述FD维度为Np*Z，定义如下：
Figure BDA0003063534990000021
其中，任意一行Z维向量称之为图像p的图像特征描述子，表示为
Figure BDA0003063534990000022
1≤n≤Np，Np表示图像p的特征描述子数量；
步骤二，将所有图像的图像特征描述FD纵向拼接，生成图像集特征矩阵FDM，
图像集特征矩阵FDM维度为(∑p∈ISNp*Z)，定义如下：
Figure BDA0003063534990000023
其中，任意一行Z维向量称之为图像p的特征描述子，表示为
Figure BDA0003063534990000024
1≤n≤∑p∈ IsNp；
步骤三，对图像集特征矩阵FDM使用K-Means聚类方法，得到M个聚类中心，每个中心为一个词袋word，使用词袋集向量WS存储词袋，
词袋集向量WS维度为(1*M)，定义如下：
WS＝[word1,word2,word3,……,wordM]
其中每个wordj,1≤j≤M，是一个聚类中心；
步骤四，将图像集特征矩阵FDM，划分到词袋集向量WS的聚类中心中，转化为图像集特征分布矩阵CDM，步骤如下：
1)初始化向量CDP＝[sum1,sum2,sum3,……,sumM]，其中M＝|WS|,每个元素sumj表示被划分到词袋wordj中的图像p特征描述子的个数，为自然数,初始值为0；初始化图像集的特征分布矩阵
Figure BDA0003063534990000031
进入步骤2)；
2)若图像集IS中的有未处理的图片p，则进入步骤3)；否则进入步骤5)；
3)依据欧式距离远近，将图片p的特征描述FD中Np个Z维向量划分到词袋集向量最近距离的词袋wordj中，相应的Sumj累加1；经过划分之后，每幅图像由一个M维特征分布向量CDp表示；进入步骤4)；
4)将CDp纵向拼接到图像集的特征分布矩阵CDM中，进入步骤2)；
5)结束；
其中，图像集特征分布矩阵CDM维度为(|IS|*M)，定义如下：
Figure BDA0003063534990000032
其中，任意一行M维向量为图P的图像特征分布向量，表示为CDP；
图像类别向量CLSM维度为(1*|IS|)，定义如下：
CLSM＝[i1，i2，……，ip]
其中，i是图像的类别，即i∈CLS，CLS表示数据集图像类别集合，ip存储图像p的类别，p∈IS，CLSM中元素为CDM对应次序图像的类别；
步骤五，对图像集特征分布矩阵CDM进行二值化转化，生成图像集形式背景K；
图像集形式背景K为一个三元组IS,WS,R，其中IS是图像对象，WS是词袋属性，R是两者之间的二元关系，即pRw,p∈IS,w∈WS，
图像集形式背景维度为|IS|*M，定义如下：
Figure BDA0003063534990000041
其中，任意一行M维向量表示图像p所包含的属性,p∈IS，1≤j≤M，
Figure BDA0003063534990000042
Figure BDA0003063534990000043
表示属性wordj在数据集IS中出现的次数与样本总数比值；
图像集特征分布矩阵CDM生成图像集形式背景K的步骤如下：
1)初始化向量Kp＝[k1,k2,k3,……,kM]，每个元素kj表示图像p与属性wordj间的二元关系,初始值为0，初始化向量
Figure BDA0003063534990000044
计算出属性wordj的均值
Figure BDA0003063534990000045
初始化图像集形式背景
Figure BDA0003063534990000046
进入步骤2)；
2)若存在未处理的kpj，进入步骤3)；否则进入步骤5)；
3)将CDMp(j)与
Figure BDA0003063534990000047
比较，
Figure BDA0003063534990000048
将kj设置为1，相反为0，进入步骤4)；
4)将Kp纵向拼接到图像集形式背景K，进入步骤2)；
5)结束；
步骤六，由图像集形式背景K生成必要属性集合Base，必要属性集合Base的定义如下：
Figure BDA0003063534990000049
Figure BDA00030635349900000410
其中,Base(i)表示第i类图像的必要属性集合，Kp(j)表示图像p与第j个属性间二元关系，ISi表示数据集IS中第i类图像，此处
Figure BDA00030635349900000411
表示属性wordj在第i类中出现的次数与本类样本总数比值，T为阈值，超过该值则定为必要属性；
获取必要属性集合的步骤如下：
1)初始化集合
Figure BDA0003063534990000051
其中i∈CLS，CLS为图像集IS中类别集合，初始化向量
Figure BDA0003063534990000052
进入步骤2)；
2)若Kp中存在未处理属性wordj，1≤j≤M，计算出属性wordj的均值
Figure BDA0003063534990000053
进入步骤3)；否则进入步骤4)；
3)如果
Figure BDA0003063534990000054
则将属性wordj加入到Base(i)，进入步骤2)；
4)结束；
步骤七，由必要属性构造概念树CT的粗层次,
概念：(1)C＝(A,B)，其中A为图像外延(类别)，B为图像内涵(属性)；
(2)C1＝(A1,B1),C2＝(A2,B2)，A1＝A2并且
Figure BDA0003063534990000055
C1为细层次概念，C2为粗层次概念，其中C.Child存储概念C的子概念；
概念树CT：由n(n≥0)个概念组成的有限概念集合CK，有一个特定的称为根的概念Croot，表示为Croot∈CK；其余概念可分为m(m＞0)个有限概念集合Cki，1≤i≤m，每个Cki本身又是一棵树，称为子概念树CTi，表示类别i的概念子树，对于任意概念C∈CT，有如下性质：
(1)概念树CT的概念数为所有概念数，
(2)每个概念有零个或多个子概念，
(3)概念树中没有父概念的概念称为根概念Croot，
(4)每一个子概念有且只有一个父概念，
构造概念树的粗层次步骤如下：
1)初始化概念树CT＝Croot；进入步骤2)；
2)如果存在未生成粗层次概念类i，进入步骤3)；否则进入步骤5)；
3)根据必要属性Base(i)构建粗层次概念，C＝(i,Base(i))，进入步骤4)；
4)将粗层次概念C添加到根概念Croot的Child列表中成为一个分支，Croot.Child.insert(C)，进入步骤2)；
5)结束；
步骤八，由图像集形式背景K构造概念树CT的细层次，概念相似度定义如下：
Figure BDA0003063534990000061
其中C1＝(A1,B1),C2＝(A2,B2)，
概念学习条件定义如下：
Figure BDA0003063534990000062
其中Cp表示图像p的概念，
Figure BDA0003063534990000063
表示概念树CT中概念Cp类别外的概念集合，Ce为
Figure BDA0003063534990000064
中任一概念，
Figure BDA0003063534990000065
表示概念树CT中与概念Cp同类的概念集合，Cr为
Figure BDA0003063534990000066
中任一概念，CSCT表示概念树CT中的概念集合，Cl为CSCT中任一概念；
细层次概念定义如下：
Cdetail＝(CLSM(p)，Kp∪Base(CLSM(p)))
其中，CLSM(p)表示图像p的类别，Base(CLSM(p))为CLSM(p)类的必要属性,p∈IS，细层次概念的属性在包含必要属性的基础上，具有更多粗层次概念没有的属性；
构造细层次概念树的步骤如下：
1)如果存在未处理图像形式背景Kp，进入步骤2)；否则进入步骤5)；
2)依据形式背景Kp生成概念Cp＝(CLSM(p)，Kp)，依次将概念树CT中的概念与Cp计算相似度，依据概念学习条件进行判定，如果Lc＝0进入步骤5)，否则进入步骤3)；
3)构造细层次概念Cdetail＝(CLSM(p)，Kp∪Base(CLSM(p)))，进入步骤4)；
4)查找CT中CLSM(p)类的最下层概念C，C.Child.insert(Cdetail)；进入步骤1)；
5)结束；
步骤九，概念树CT更新，获得最优概念树，
概念树CT更新条件：
Figure BDA0003063534990000071
其中，CTPr表示概念树CT分类准确率，Best_CTPr表示概念树CT最优分类准确率，概念树发生变化后，根据分类效果选择是否更新存储的最优概念树结构，
概念树CT更新的步骤如下：
1)依次使用上述步骤一到步骤五(从图像特征描述FD到生成图像形式背景K)处理验证集图像，获取验证集图像形式背景，初始化result＝0，Best_CTPr＝0，
Figure BDA0003063534990000072
进入步骤2)；
2)如果验证集图像概念分类完毕，进入步骤4)；否则进入步骤3)；
3)使用概念树CT对验证集图像概念进行分类，如果分类正确result累加1，进入步骤2)；
4)由result除以验证集样本数计算CT的分类准确率CTPr，如果CTPr＞Best_CTPr，Best_CTPr＝CTPr，BestCT＝CT，进入步骤6)，否则进入步骤5)；
5)概念树CT回退到更新前状态，CT＝BestCT，进入步骤6)；
6)存储BestCT，结束；
步骤十，使用最优概念树进行分类，
概念树BestCT对Cp分类步骤如下：
1)依次使用上述步骤一到步骤五(从图像特征描述FD到生成图像形式背景K)获取图像p形式背景Kp,依据图像形式背景将图像p生成概念Cp＝(CLSM(p)，Kp)，初始化Best_sim＝0，Best_ip＝0，分别记录最高相似度与最优类别，进入步骤2)；
2)BestCT中还存在未与Cp计算相似度的概念，则进入步骤3)，否则进入步骤5)；
3)使用深度优先方式，依次计算Cp与BestCT中概念相似度Sim，进入步骤4)；
4)Sim>Best_sim，Best_sim＝Sim，Best_ip＝Cl.A，更新最高相似度，并将图像p的最优类别记为最高相似度概念Cl的类别，进入步骤2)；
5)输出Best_ip为图像p的类别，结束。
本发明的有益效果是：
1、本发明为形式概念分析应用于图像分类领域提出一个切实可行且高效的方法。与已有的基于传统概念格进行图像分类方法相比，具有高速的构建及匹配性能，同时有效缩减占用空间。
2、本发明更适合大规模数据集，对概念树节点数量没有限制，具有优秀的可扩展性。
3、基于深度学习方法的图像分类倾向于黑盒模型，不能有效解释和表示图像间关系，本发明借助树形结构，能够更好表示图像间关系。
附图说明
图1是本发明的概念树结构图；
图2是本发明的***流程图；
图3是本发明的***结构图；
图4是本发明中的实施例用图一；
图5是本发明中的实施例用图二；
图6是本发明中的实施例用图三；
图7是本发明中的实施例用图四；
图8是本发明中的实施例用图五；
图9是本发明中的实施例用图六；
图10是本发明中的实施例用图七；
图11是本发明中的实施例用图八；
图12是本发明中的实施例用图九；
图13是本发明中实施例的结果用图；
图14是本发明中实施例的测试用图。
具体实施方式
下面结合具体实施例对本发明做出进一步的说明。
本发明是一种图像分类方法，是一种基于概念认知过程的图像分类方法，包括认知训练模块和图像分类模块。其中认知训练模块，用来学习图像概念，最终生成一棵概念树用来实现图像分类任务，如图1所示；图像分类模块，使用认知训练模块得到的概念树进行图像分类。
如图3所示，认知训练模块：该模块负责是模型的学习过程，主要负责对概念树的构造与认知，根据相关标准实现对新输入概念的认知，此部分关系到模型最终效果的好坏。
图像分类模块：该模块属于应用模块，负责对待分类图像识别，匹配最优类别，同时此部分还承担这模型精度测试的任务，为保证数据处理一致性，本发明在测试时的测试集数据直接采用处理训练集时求得的相关阈值参数，从而有效保证数据背景的一致性。
如图2和图3所示，本发明所采用的方法步骤如下：
步骤一，对图像数据集IS中的每个图像p，使用PCA-SIFT方法提取图像特征描述FD，
图像特征描述FD维度为Np*Z，定义如下：
Figure BDA0003063534990000101
其中，任意一行Z维向量称之为图像p的图像特征描述子，表示为
Figure BDA0003063534990000102
1≤n≤Np，Np表示图像p的特征描述子数量；
步骤二，将所有图像的图像特征描述FD纵向拼接，生成图像集特征矩阵FDM，
图像集特征矩阵FDM维度为(∑p∈ISNp*Z)，定义如下：
Figure BDA0003063534990000103
其中，任意一行Z维向量称之为图像p的特征描述子，表示为
Figure BDA0003063534990000104
1≤n≤∑p∈ ISNp；
步骤三，对图像集特征矩阵FDM使用K-Means聚类方法，得到M个聚类中心，每个中心为一个词袋word，使用词袋集向量WS存储词袋，
词袋集向量WS维度为(1*M)，定义如下：
WS＝[word1,word2,word3,……,wordM]
其中每个wordj,1≤j≤M，是一个聚类中心；
步骤四，将图像集特征矩阵FDM，划分到词袋集向量WS的聚类中心中，转化为图像集特征分布矩阵CDM，步骤如下：
1)初始化向量CDP＝[sum1,sum2,sum3,……,sumM]，其中M＝|WS|,每个元素sumj表示被划分到词袋wordj中的图像p特征描述子的个数，为自然数,初始值为0；初始化图像集的特征分布矩阵
Figure BDA0003063534990000112
进入步骤2)；
2)若图像集IS中的有未处理的图片p，则进入步骤3)；否则进入步骤5)；
3)依据欧式距离远近，将图片p的特征描述FD中Np个Z维向量划分到词袋集向量最近距离的词袋wordj中，相应的Sumj累加1；经过划分之后，每幅图像由一个M维特征分布向量CDp表示；进入步骤4)；
4)将CDp纵向拼接到图像集的特征分布矩阵CDM中，进入步骤2)；
5)结束；
其中，图像集特征分布矩阵CDM维度为(|IS|*M)，定义如下：
Figure BDA0003063534990000111
其中，任意一行M维向量为图P的图像特征分布向量，表示为CDP；
图像类别向量CLSM维度为(1*|IS|)，定义如下：
CLSM＝[i1，i2，……，ip]
其中，i是图像的类别，即i∈CLS，CLS表示数据集图像类别集合，ip存储图像p的类别，p∈IS，CLSM中元素为CDM对应次序图像的类别；
步骤五，对图像集特征分布矩阵CDM进行二值化转化，生成图像集形式背景K；
图像集形式背景K为一个三元组IS,WS,R，其中IS是图像对象，WS是词袋属性，R是两者之间的二元关系，即pRw,p∈IS,w∈WS，
图像集形式背景维度为|IS|*M，定义如下：
Figure BDA0003063534990000121
其中，任意一行M维向量表示图像p所包含的属性,p∈IS，1≤j≤M，
Figure BDA0003063534990000122
Figure BDA0003063534990000123
表示属性wordj在数据集IS中出现的次数与样本总数比值；
图像集特征分布矩阵CDM生成图像集形式背景K的步骤如下：
1)初始化向量Kp＝[k1,k2,k3,……,kM]，每个元素kj表示图像p与属性wordj间的二元关系,初始值为0，初始化向量
Figure BDA0003063534990000124
计算出属性wordj的均值
Figure BDA0003063534990000125
初始化图像集形式背景
Figure BDA0003063534990000126
进入步骤2)；
2)若存在未处理的kpj，进入步骤3)；否则进入步骤5)；
3)将CDMp(j)与
Figure BDA0003063534990000127
比较，
Figure BDA0003063534990000128
将kj设置为1，相反为0，进入步骤4)；
4)将Kp纵向拼接到图像集形式背景K，进入步骤2)；
5)结束；
步骤六，由图像集形式背景K生成必要属性集合Base，必要属性集合Base的定义如下：
Figure BDA0003063534990000131
Figure BDA0003063534990000132
其中,Base(i)表示第i类图像的必要属性集合，Kp(j)表示图像p与第j个属性间二元关系，ISi表示数据集IS中第i类图像，此处
Figure BDA0003063534990000133
表示属性wordj在第i类中出现的次数与本类样本总数比值，T为阈值，超过该值则定为必要属性；
获取必要属性集合的步骤如下：
1)初始化集合
Figure BDA0003063534990000134
其中i∈CLS，CLS为图像集IS中类别集合，初始化向量
Figure BDA0003063534990000135
进入步骤2)；
2)若Kp中存在未处理属性wordj，1≤j≤M，计算出属性wordj的均值
Figure BDA0003063534990000136
进入步骤3)；否则进入步骤4)；
3)如果
Figure BDA0003063534990000137
则将属性wordj加入到Base(i)，进入步骤2)；
4)结束；
步骤七，由必要属性构造概念树CT的粗层次,
概念：(1)C＝(A,B)，其中A为图像外延(类别)，B为图像内涵(属性)；
(2)C1＝(A1,B1),C2＝(A2,B2)，A1＝A2并且
Figure BDA0003063534990000138
C1为细层次概念，C2为粗层次概念，其中C.Child存储概念C的子概念；
概念树CT：由n(n≥0)个概念组成的有限概念集合CK，有一个特定的称为根的概念Croot，表示为Croot∈CK；其余概念可分为m(m＞0)个有限概念集合Cki，1≤i≤m，每个Cki本身又是一棵树，称为子概念树CTi，表示类别i的概念子树，对于任意概念C∈CT，有如下性质：
(1)概念树CT的概念数为所有概念数，
(2)每个概念有零个或多个子概念，
(3)概念树中没有父概念的概念称为根概念Croot，
(4)每一个子概念有且只有一个父概念，
构造概念树的粗层次步骤如下：
1)初始化概念树CT＝Croot；进入步骤2)；
2)如果存在未生成粗层次概念类i，进入步骤3)；否则进入步骤5)；
3)根据必要属性Base(i)构建粗层次概念，C＝(i,Base(i))，进入步骤4)；
4)将粗层次概念C添加到根概念Croot的Child列表中成为一个分支，Croot.Child.insert(C)，进入步骤2)；
5)结束；
步骤八，由图像集形式背景K构造概念树CT的细层次，概念相似度定义如下：
Figure BDA0003063534990000141
其中C1＝(A1,B1),C2＝(A2,B2)，
概念学习条件定义如下：
Figure BDA0003063534990000142
其中Cp表示图像p的概念，
Figure BDA0003063534990000143
表示概念树CT中概念Cp类别外的概念集合，Ce为
Figure BDA0003063534990000144
中任一概念，
Figure BDA0003063534990000145
表示概念树CT中与概念Cp同类的概念集合，Cr为
Figure BDA0003063534990000151
中任一概念，CSCT表示概念树CT中的概念集合，Cl为CSCT中任一概念，
细层次概念定义如下：
Cdetail＝(CLSM(p)，Kp∪Base(CLSM(p)))
其中，CLSM(p)表示图像p的类别，Base(CLSM(p))为CLSM(p)类的必要属性,p∈IS，细层次概念的属性在包含必要属性的基础上，具有更多粗层次概念没有的属性；
构造细层次概念树的步骤如下：
1)如果存在未处理图像形式背景Kp，进入步骤2)；否则进入步骤5)；
2)依据形式背景Kp生成概念Cp＝(CLSM(p)，Kp)，依次将概念树CT中的概念与Cp计算相似度，依据概念学习条件进行判定，如果Lc＝0进入步骤5)，否则进入步骤3)；
3)构造细层次概念Cdetail＝(CLSM(p)，Kp∪Base(CLSM(p)))，进入步骤4)；
4)查找CT中CLSM(p)类的最下层概念C，C.Child.insert(Cdetail)；进入步骤1)；
5)结束；
步骤九，概念树CT更新，获得最优概念树，
概念树CT更新条件：
Figure BDA0003063534990000152
其中，CTPr表示概念树CT分类准确率，Best_CTPr表示概念树CT最优分类准确率，概念树发生变化后，根据分类效果选择是否更新存储的最优概念树结构，
概念树CT更新的步骤如下：
1)依次使用上述步骤一到步骤五(从图像特征描述FD到生成图像形式背景K)处理验证集图像，获取验证集图像形式背景，初始化result＝0，Best_CTPr＝0，
Figure BDA0003063534990000161
进入步骤2)；
2)如果验证集图像概念分类完毕，进入步骤4)；否则进入步骤3)；
3)使用概念树CT对验证集图像概念进行分类，如果分类正确result累加1，进入步骤2)；
4)由result除以验证集样本数计算CT的分类准确率CTPr，如果CTPr＞Best_CTPr，Best_CTPr＝CTPr，BestCT＝CT，进入步骤6)，否则进入步骤5)；
5)概念树CT回退到更新前状态，CT＝BestCT，进入步骤6)；
6)存储BestCT，结束；
步骤十，使用最优概念树进行分类，
概念树BestCT对Cp分类步骤如下：
1)依次使用上述步骤一到步骤五(从图像特征描述FD到生成图像形式背景K)获取图像p形式背景Kp,依据图像形式背景将图像p生成概念Cp＝(CLSM(p)，Kp)，初始化Best_sim＝0，Best_ip＝0，分别记录最高相似度与最优类别，进入步骤2)；
2)BestCT中还存在未与Cp计算相似度的概念，则进入步骤3)，否则进入步骤5)；
3)使用深度优先方式，依次计算Cp与BestCT中概念相似度Sim，进入步骤4)；
4)Sim>Best_sim，Best_sim＝Sim，Best_ip＝Cl.A，更新最高相似度，并将图像p的最优类别记为最高相似度概念Cl的类别，进入步骤2)；
5)输出Best_ip为图像p的类别，结束。
以下为本发明的一种实施例。
本实施例选取3个类别，每个类别三张图片，
label 1:图4、5、6
label 2:图7、8、9
label 3：图10、11、12
通过步骤一、步骤二获取图像集特征矩阵FDM，本实施例中维度为(2700*20)，此时已将数字图像转化为二维特征矩阵形式；通过步骤三对FDM聚类得到M个聚类中心，其中M＝6，分别为数据集中的词袋中心；之后在步骤四中依据欧式距离远近依次将各图像的特征描述子划分到各词袋中心，统计各词袋特征分布数量，此时一张图像p可以通过维度为(1*8)的特征分布向量CDP表示，所有特征分布向量纵向拼接得到特征分布矩阵CDM；进而，在后续步骤五实现图像到图像形式背景K的转化。如表1所示。其中，y0-y5为步骤三所述词袋，x11代表第1类中第1张图片，以此类推。
表1图像形式背景
Figure BDA0003063534990000171
Figure BDA0003063534990000181
通过步骤六是获取各类图像的必要属性，因此基于表1统计各类别的属性分布情况，可得表2属性分布。
表2属性分布
Figure BDA0003063534990000182
将统计到的各类属性分布个数除以本类样本数，可以衡量每个属性在本类图像中出现的频率，本实施例中选取各类样本3张图像，因此将属性分布各值除以3，得到表3属性分布频率
Figure BDA0003063534990000183
表3属性分布频率
Figure BDA0003063534990000184
将阈值T设置为0.5，属性频率大于等于0.5的属性作为各类的必要属性，因此根据表3可得到如下各类的必要属性，Base(label1)＝{y0,y2,y5}、Base(label2)＝{}、Base(label3)＝{y0,y1,y3,y4,y6,y7}。
通过步骤七使用必要属性构造各类的粗层次概念
Figure BDA0003063534990000185
Figure BDA0003063534990000186
存在未生成粗层次概念类，
Figure BDA0003063534990000187
以此类推
Figure BDA0003063534990000188
Figure BDA0003063534990000189
概念树CT中粗层次概念构造完成。
步骤八，根据各样本形式背景数据构造概念C，计算C与概念树CT中概念相似度，出现Lc＝1时进行概念学习，生成细层次概念Cdetail***概念树CT；例如样本x23，生成概念
Figure BDA0003063534990000191
计算相似度时
Figure BDA0003063534990000192
此时造成错误分类，将样本x23划分到类别1。因此我们认为样本x23拥有CT未学习到的图像细节，因此生成概念
Figure BDA0003063534990000193
将该概念***到类别2的细层次，
Figure BDA0003063534990000194
其他以此类推。
步骤九，初始化result＝0，Best_CTPr＝0，
Figure BDA0003063534990000195
经过上步概念树更新后，需要测试新的树结构是否具有更好的分类效果，在验证集上进行分类测试，例如学习完
Figure BDA0003063534990000196
后，进行验证，图像分类正确result累加1，验证集所有图像分类完毕后，统计分类准确率CTPr＝0.54，与存储的最优分类准确率进行对比CTPr>Best_CTPr，Uc＝1，更新Best_CTPr＝0.54，BestCT＝CT；新的概念树具有更好的图像识别能力，替换存储的最优概念树BestCT。其他学习过程以此类推。
步骤十，将数据集所有图像训练完毕后，即可使用BestCT概念树进行图像分类任务。
如图13所示，本实施例一共学习到7个概念，分别为三个基础概念
Figure BDA0003063534990000197
以及
Figure BDA0003063534990000198
Figure BDA0003063534990000199
以及
Figure BDA00030635349900001910
Figure BDA00030635349900001911
四个细层次概念。
图14为待分类图像p，经上述步骤一至五处理后生成图像形式背景，将待分类图像形式背景Kp＝[y0,y1,y2,y4,y5]与概念树BestCT中的概念进行匹配。初始化Best_sim＝0，Best_ip＝0，从概念树根结点Croot开始，采用深度优先方式依次与各概念计算相似度。
Figure BDA0003063534990000201
Best_ip＝label1；接下来与
Figure BDA0003063534990000202
计算相似度，
Figure BDA0003063534990000203
更新
Figure BDA0003063534990000204
Best_ip＝label1；BestCT存在未计算相似度概念，
Figure BDA0003063534990000205
以此类推
Figure BDA0003063534990000206
此时BestCT中所有概念均已匹配完毕，Kp与
Figure BDA0003063534990000207
相似度最高
Figure BDA0003063534990000208
输出Best_sim最高相似度
Figure BDA0003063534990000209
Best_ip记录最高相似度概念类别label1，输出图像p的类别为Best_ip＝label1。
本发明提出一种有效的基于概念认知过程的图像分类方法，经实验证明，本发明能有效减少概念生成时间复杂度，同时具有优秀的分类结果，在与决策树比较实验中，取得了近似分类效果，在与多层次概念格模型比较实验中分类效果优于多层次概念格方法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种图像分类方法，包括认知训练模块和图像分类模块，所述认知训练模块，用来学习图像概念，最终生成一棵概念树用来实现图像分类任务；所述图像分类模块，使用认知训练模块得到的概念树进行图像分类；其特征在于，该方法包括如下步骤：
步骤一，对图像数据集IS中的每个图像p，使用PCA-SIFT方法提取图像特征描述FD，
图像特征描述FD维度为Np*Z，定义如下：
Figure FDA0003063534980000011
其中，任意一行Z维向量称之为图像p的图像特征描述子，表示为
Figure FDA0003063534980000012
1≤n≤Np，Np表示图像p的特征描述子数量；
步骤二，将所有图像的图像特征描述FD纵向拼接，生成图像集特征矩阵FDM，
图像集特征矩阵FDM维度为(∑p∈IsNp*Z)，定义如下：
Figure FDA0003063534980000013
其中，任意一行Z维向量称之为图像p的特征描述子，表示为
Figure FDA0003063534980000014
1≤n≤∑p∈ISNp；
步骤三，对图像集特征矩阵FDM使用K-Means聚类方法，得到M个聚类中心，每个中心为一个词袋word，使用词袋集向量WS存储词袋，
词袋集向量WS维度为(1*M)，定义如下：
WS＝[word1，word2，word3，......，wordM]
其中每个wordj，1≤j≤M，是一个聚类中心；
步骤四，将图像集特征矩阵FDM，划分到词袋集向量WS的聚类中心中，转化为图像集特征分布矩阵CDM，步骤如下：
1)初始化向量CDP＝[sum1，sum2，sum3，......，sumM]，其中M＝|WS|，每个元素sumj表示被划分到词袋wordj中的图像p特征描述子的个数，为自然数，初始值为0；初始化图像集的特征分布矩阵
Figure FDA0003063534980000021
进入步骤2)；
2)若图像集IS中的有未处理的图片p，则进入步骤3)；否则进入步骤5)；
3)依据欧式距离远近，将图片p的特征描述FD中Np个Z维向量划分到词袋集向量最近距离的词袋wordj中，相应的Sumj累加1；经过划分之后，每幅图像由一个M维特征分布向量CDp表示；进入步骤4)；
4)将CDp纵向拼接到图像集的特征分布矩阵CDM中，进入步骤2)；
5)结束；
其中，图像集特征分布矩阵CDM维度为(|IS|*M)，定义如下：
Figure FDA0003063534980000022
其中，任意一行M维向量为图P的图像特征分布向量，表示为CDP；
图像类别向量CLSM维度为(1*|IS|)，定义如下：
CLSM＝[i1，i2，......，ip]
其中，i是图像的类别，即i∈CLS，CLS表示数据集图像类别集合，ip存储图像p的类别，p∈IS，CLSM中元素为CDM对应次序图像的类别；
步骤五，对图像集特征分布矩阵CDM进行二值化转化，生成图像集形式背景K；
图像集形式背景K为一个三元组IS，WS，R，其中IS是图像对象，WS是词袋属性，R是两者之间的二元关系，即pRw，p∈IS，w∈WS，
图像集形式背景维度为|IS|*M，定义如下：
Figure FDA0003063534980000031
其中，任意一行M维向量表示图像p所包含的属性，p∈IS，1≤j≤M，
Figure FDA0003063534980000032
Figure FDA0003063534980000033
表示属性wordj在数据集IS中出现的次数与样本总数比值；
图像集特征分布矩阵CDM生成图像集形式背景K的步骤如下：
1)初始化向量Kp＝[k1，k2，k3，......，kM]，每个元素kj表示图像p与属性wordj间的二元关系，初始值为0，初始化向量
Figure FDA0003063534980000034
计算出属性wordj的均值
Figure FDA0003063534980000035
初始化图像集形式背景
Figure FDA0003063534980000036
进入步骤2)；
2)若存在未处理的kpj，进入步骤3)；否则进入步骤5)；
3)将CDMp(j)与
Figure FDA0003063534980000037
比较，
Figure FDA0003063534980000038
将kj设置为1，相反为0，进入步骤4)；
4)将Kp纵向拼接到图像集形式背景K，进入步骤2)；
5)结束；
步骤六，由图像集形式背景K生成必要属性集合Base，必要属性集合Base的定义如下：
Figure FDA0003063534980000039
Figure FDA00030635349800000310
其中，Base(i)表示第i类图像的必要属性集合，Kp(j)表示图像p与第j个属性间二元关系，ISi表示数据集IS中第i类图像，此处
Figure FDA0003063534980000041
表示属性wordj在第i类中出现的次数与本类样本总数比值，T为阈值，超过该值则定为必要属性；
获取必要属性集合的步骤如下：
1)初始化集合
Figure FDA0003063534980000042
其中i∈CLS，CLS为图像集IS中类别集合，初始化向量
Figure FDA0003063534980000043
进入步骤2)；
2)若Kp中存在未处理属性wordj，1≤j≤M，计算出属性wordj的均值
Figure FDA0003063534980000044
进入步骤3)；否则进入步骤4)；
3)如果
Figure FDA0003063534980000045
则将属性wordj加入到Base(i)，进入步骤2)；
4)结束；
步骤七，由必要属性构造概念树CT的粗层次，
概念：(1)C＝(A，B)，其中A为图像外延(类别)，B为图像内涵(属性)；
(2)C1＝(A1，B1)，C2＝(A2，B2)，A1＝A2并且
Figure DEST_PATH_IMAGE001
C1为细层次概念，C2为粗层次概念，其中C.Child存储概念C的子概念；
概念树CT：由n(n≥0)个概念组成的有限概念集合CK，有一个特定的称为根的概念Croot，表示为Croot∈CK；其余概念可分为m(m＞0)个有限概念集合Cki，1≤i≤m，每个Cki本身又是一棵树，称为子概念树CTi，表示类别i的概念子树，对于任意概念C∈CT，有如下性质：
(1)概念树CT的概念数为所有概念数，
(2)每个概念有零个或多个子概念，
(3)概念树中没有父概念的概念称为根概念Croot，
(4)每一个子概念有且只有一个父概念，
构造概念树的粗层次步骤如下：
1)初始化概念树CT＝Croot；进入步骤2)；
2)如果存在未生成粗层次概念类i，进入步骤3)；否则进入步骤5)；
3)根据必要属性Base(i)构建粗层次概念，C＝(i，Base(i))，进入步骤4)；
4)将粗层次概念C添加到根概念Croot的Child列表中成为一个分支，Croot.Child.insert(C)，进入步骤2)；
5)结束；
步骤八，由图像集形式背景K构造概念树CT的细层次，概念相似度定义如下：
Figure FDA0003063534980000051
其中C1＝(A1，B1)，C2＝(A2，B2)，
概念学习条件定义如下：
Figure FDA0003063534980000052
其中Cp表示图像p的概念，
Figure FDA0003063534980000053
表示概念树CT中概念Cp类别外的概念集合，Ce为
Figure FDA0003063534980000054
中任一概念，
Figure FDA0003063534980000055
表示概念树CT中与概念Cp同类的概念集合，Cr为
Figure FDA0003063534980000056
中任一概念，CSCT表示概念树CT中的概念集合，Cl为CSCT中任一概念；
细层次概念定义如下：
Cdetail＝(CLSM(p)，Kp∪Base(CLSM(p)))
其中，CLSM(p)表示图像p的类别，Base(CLSM(p))为CLSM(p)类的必要属性，p∈IS，细层次概念的属性在包含必要属性的基础上，具有更多粗层次概念没有的属性；
构造细层次概念树的步骤如下：
1)如果存在未处理图像形式背景Kp，进入步骤2)；否则进入步骤5)；
2)依据形式背景Kp生成概念Cp＝(CLSM(p)，Kp)，依次将概念树CT中的概念与Cp计算相似度，依据概念学习条件进行判定，如果Lc＝0进入步骤5)，否则进入步骤3)；
3)构造细层次概念Cdetail＝(CLSM(p)，Kp∪Base(CLSM(p)))，进入步骤4)；
4)查找CT中CLSM(p)类的最下层概念C，C.Child.insert(Cdetail)；进入步骤1)；
5)结束；
步骤九，概念树CT更新，获得最优概念树，
概念树CT更新条件：
Figure FDA0003063534980000061
其中，CTPr表示概念树CT分类准确率，Best_CTPr表示概念树CT最优分类准确率，概念树发生变化后，根据分类效果选择是否更新存储的最优概念树结构，
概念树CT更新的步骤如下：
1)依次使用上述步骤一到步骤五处理验证集图像，获取验证集图像形式背景，初始化result＝0，Best_CTPr＝0，
Figure FDA0003063534980000062
进入步骤2)；
2)如果验证集图像概念分类完毕，进入步骤4)；否则进入步骤3)；
3)使用概念树CT对验证集图像概念进行分类，如果分类正确result累加1，进入步骤2)；
4)由result除以验证集样本数计算CT的分类准确率CTPr，如果CTPr＞Best_CTPr，Best_CTPr＝CTPr，BestCT＝CT，进入步骤6)，否则进入步骤5)；
5)概念树CT回退到更新前状态，CT＝BestCT，进入步骤6)；
6)存储BestCr，结束；
步骤十，使用最优概念树进行分类，
概念树BestCT对Cp分类步骤如下：
1)依次使用上述步骤一到步骤五获取图像p形式背景Kp，依据图像形式背景将图像p生成概念Cp＝(CLSM(p)，Kp)，初始化Best_sim＝0，Best_ip＝0，分别记录最高相似度与最优类别，进入步骤2)；
2)BestCT中还存在未与Cp计算相似度的概念，则进入步骤3)，否则进入步骤5)；
3)使用深度优先方式，依次计算Cp与BestCT中概念相似度Sim，进入步骤4)；
4)Sim＞Best_sim，Best_sim＝Sim，Best_ip＝Cl.A，更新最高相似度，并将图像p的最优类别记为最高相似度概念Cl的类别，进入步骤2)；
5)输出Best_ip为图像p的类别，结束。
CN202110519996.7A 2021-05-13 2021-05-13 一种图像分类方法 Active CN113222018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110519996.7A CN113222018B (zh) 2021-05-13 2021-05-13 一种图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110519996.7A CN113222018B (zh) 2021-05-13 2021-05-13 一种图像分类方法

Publications (2)

Publication Number Publication Date
CN113222018A true CN113222018A (zh) 2021-08-06
CN113222018B CN113222018B (zh) 2022-06-28

Family

ID=77095254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110519996.7A Active CN113222018B (zh) 2021-05-13 2021-05-13 一种图像分类方法

Country Status (1)

Country Link
CN (1) CN113222018B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408670A (zh) * 2021-08-17 2021-09-17 深圳电通信息技术有限公司 图像分类方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204034A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Modification of viewing parameters for digital images using face detection information
CN102385592A (zh) * 2010-09-03 2012-03-21 中国电信股份有限公司 图像概念的检测方法和装置
WO2015032670A1 (en) * 2013-09-06 2015-03-12 Thomson Licensing Method of classification of images and corresponding device
CN108268883A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于开放数据的移动端信息模板自构建***
CN108776706A (zh) * 2018-06-13 2018-11-09 北京信息科技大学 一种基于本体的专利技术主题聚类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204034A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Modification of viewing parameters for digital images using face detection information
CN102385592A (zh) * 2010-09-03 2012-03-21 中国电信股份有限公司 图像概念的检测方法和装置
WO2015032670A1 (en) * 2013-09-06 2015-03-12 Thomson Licensing Method of classification of images and corresponding device
CN108268883A (zh) * 2016-12-31 2018-07-10 上海交通大学 基于开放数据的移动端信息模板自构建***
CN108776706A (zh) * 2018-06-13 2018-11-09 北京信息科技大学 一种基于本体的专利技术主题聚类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FERNANDO LEONARDI: "An ALTM digital height model associated with VHR imagery for an object-based classification of intra-urban targets", 《JOINT URBAN REMOTE SENSING EVENT 2013》 *
付新川: "图像中的行人检测关键技术研究", 《中国博士学位论文全文数据库》 *
崔羽帆: "基于特征融合及聚类优化的词汇树图像分类", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408670A (zh) * 2021-08-17 2021-09-17 深圳电通信息技术有限公司 图像分类方法和装置
CN113408670B (zh) * 2021-08-17 2021-12-10 深圳电通信息技术有限公司 图像分类方法和装置

Also Published As

Publication number Publication date
CN113222018B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
Nikolentzos et al. Graph kernels: A survey
Gebru et al. Fine-grained recognition in the wild: A multi-task domain adaptation approach
CN109299341B (zh) 一种基于字典学习的对抗跨模态检索方法和***
Lyzinski et al. Community detection and classification in hierarchical stochastic blockmodels
Sener et al. Learning transferrable representations for unsupervised domain adaptation
Socher et al. Parsing natural scenes and natural language with recursive neural networks
Taylor et al. Learning invariance through imitation
CN109063112B (zh) 一种基于多任务学习深度语义哈希的快速图像检索方法、模型及模型构建方法
CN110110100A (zh) 基于协同矩阵分解的离散监督跨媒体哈希检索方法
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN111046900A (zh) 基于局部流形正则化的半监督生成对抗网络图像分类方法
Laaksonen Subspace classifiers in recognition of handwritten digits
CN115080749A (zh) 一种基于自监督训练的弱监督文本分类方法、***和装置
CN113222018B (zh) 一种图像分类方法
Smart et al. On the mapping between Hopfield networks and restricted Boltzmann machines
CN113887698B (zh) 基于图神经网络的整体知识蒸馏方法和***
Ye et al. Affinity learning via self-supervised diffusion for spectral clustering
CN113297385B (zh) 基于改进GraphRNN的多标签文本分类***及分类方法
CN114818979A (zh) 一种基于最大化间隔机制的含噪多标记分类方法
CN114780725A (zh) 一种基于深度聚类的文本分类算法
CN114637751A (zh) 一种Hadamard矩阵引导的多模态哈希检索方法
Choong et al. Variational approach for learning community structures
Shrestha et al. Enhancing Siamese Networks Training with Importance Sampling.
CN110956177A (zh) 一种混合型验证码的识别方法及***
Safari A Technical Review on Unsupervised Learning of Graph and Hypergraph Pattern Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant