CN111652239A - 一种图像局部特征对整体特征贡献度的评估方法及*** - Google Patents
一种图像局部特征对整体特征贡献度的评估方法及*** Download PDFInfo
- Publication number
- CN111652239A CN111652239A CN201910364881.8A CN201910364881A CN111652239A CN 111652239 A CN111652239 A CN 111652239A CN 201910364881 A CN201910364881 A CN 201910364881A CN 111652239 A CN111652239 A CN 111652239A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- features
- feature vector
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器学习技术领域,公开了一种图像局部特征对整体特征贡献度的评估方法,所述方法包括:构建一具有整体特征的第一图像样本集,并构建不具有一局部特征的第二图像样本集;分别获取所述第一图像样本集对应的第一特征向量组,以及所述第二图像样本集对应的第二特征向量组;计算所述第一特征向量组和第二特征向量组的相关性;分别获取对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心和第二聚中心之间的余弦距离;获取所述局部特征对整体特征贡献度。相应的,本发明还公开了一种图像局部特征对整体特征贡献度的评估***。本发明通过综合评价局部特征对整体特征贡献度,可以定量地衡量局部特征的重要性。
Description
技术领域
本发明涉及机器学习技术领域,尤其涉及一种图像局部特征对整体特征 贡献度的评估方法及***。
背景技术
在图像检测和图像识别的技术领域中,图像的特征至关重要。图像的整 体特征是指图像的整体属性,包括颜色特征、纹理特征、形状特征、直方图 等。图像局部特征反映图像局部的特殊性,局部特征数量丰富,特征间相关 度小,不容易受到部分遮挡、光照等噪声的干扰,因此不会因为部分特征的 消失而影响其他特征的检测和匹配。公布号为CN109447173A的专利申请, 公布了一种基于图像全局特征和局部特征的图像匹配方法,该方法基于图像 尺度空间对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征,并利用深度学习的图像分类方法,创造性的设计了局部特征压缩法和索引算法, 成功的将局部特征集成到框架中,形成了基于图像和视频内容识别的指纹技 术。
因此,如何评估图像的局部特征对整体特征的贡献度,以及从众多局部 特征中找到重要的特征,成为有必要解决的技术问题。
发明内容
本发明的目的在于提供一种图像的局部特征对整体特征的贡献度的评估 方法及***,获取了各个局部特征对整体特征的贡献度,进而找到各个局部 特征中的重要特征。
为实现上述目的,本发明提供了一种图像局部特征对整体特征贡献度的 评估方法,所述方法包括:构建一具有整体特征的第一图像样本集,并构建 不具有一局部特征的第二图像样本集;分别对所述第一图像样本集和第二图 像样本集中的每一个图像进行特征提取,获取所述第一图像样本集对应的第 一特征向量组,以及所述第二图像样本集对应的第二特征向量组;计算所述 第一特征向量组和第二特征向量组的相关性;分别对所述第一特征向量组和 第二特征向量组进行聚类,分别获取对应的第一聚类中心和第二聚中心,并 计算所述第一聚类中心和第二聚中心之间的余弦距离;根据所述第一特征向 量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦 距离,获取所述局部特征对整体特征贡献度。基于该技术方案,通过计算局 部特征对整体特征贡献度,综合评价局部特征对整体特征贡献度,定量地衡 量局部特征的重要性。
优选的,所述步骤S1中的构建不具有一局部特征的第二图像样本集的 步骤包括:根据所述第一图像样本集中的图像,标注该图像中的一局部特征; 将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清零, 生成新的图像,并将所有的新的图像构建为不具有所述局部特征的第二图像 样本集。
优选的,所述步骤S2包括:根据卷积神经网络模型,对所述第一图像 样本集中的每一个图像进行卷积和特征提取,获取每一个图像对应的特征向 量,并生成所述第一图像样本集对应的第一特征向量组;根据卷积神经网络 模型,对所述第二图像样本集中的每一个图像进行卷积和特征提取,获取每 一个图像对应的特征向量,并生成所述第二图像样本集对应的第二特征向量 组。
优选的,所述步骤S3包括:
S301、计算所述第一特征向量组和第二特征向量组的相关系数,所述相 关系数的计算公式为式1:
其中,var(vecX)为第一组特征向量vecX的方差,
var(vecY)为第二组特征向量vecY的方差,
cov(vecX,vecY)为第一组特征向量vecX与第二组特征向量vecY 的协方差;
S302、所述第一特征向量组和第二特征向量组的相关性通过算式2得到, 式2为:
其中,ri为所述相关系数r在第i维上的相关系数,
m为512维,是所述相关系数的维数,
Relevance为所述第一特征向量组和第二特征向量组的相关性。
优选的,所述步骤S301包括:
S3011、所述第一组特征向量vecX的方差var(vecX)通过式3计算得到:
其中,n表示第一图像样本集中的图像数量,
vecxi表示第一图像样本集中第i个样本的特征向量;
S3012、所述第二组特征向量vecY的方差var(vecY)通过式4计算得到:
其中,n表示第二图像样本集中的图像数量,
vecyi表示第二图像样本集中第i个样本的特征向量;
S3013、所述第一组特征向量与第二组特征向量的协方差cov(vecX,vecY) 通过式5计算得到:
其中,n表示第一图像样本集中的图像数量,以及第二图像样本集中的 图像数量,
vecxi表示第一图像样本集中第i个样本的特征向量,
vecyi表示第二图像样本集中第i个样本的特征向量。通过该技术方案, 综合局部特征与整体特征的相关性以及缺少局部特征引起的特征中心位置的 偏移量,全面地评价了局部特征对整体特征贡献度,准确性比较高。
优选的,所述步骤S4包括:对所述第一特征向量组进行K均值聚类, 得到对应的第一聚类中心;对所述第二特征向量组进行K均值聚类,得到对 应的第二聚类中心;计算所述第一聚类中心与第二聚类中心之间的余弦距离。
优选的,所述步骤S5包括:通过算式5计算得到所述局部特征对整体 特征贡献度:
Contribution=a*Relevance+(1-a)*dist 式6,
其中,a为平价系数,取值范围为[0,1],Relevance为所述第一特征向 量组和第二特征向量组的相关性,dist为所述第一聚类中心和第二聚中心之 间的余弦距离;Contribution为所述局部特征对整体特征贡献度。所述a的 取值为0.5。
优选的,所述方法还包括:获取图像中的每一个局部特征;重复执行步 骤S1-S5,获取每一个局部特征对整体特征贡献度;将每一个贡献度依次从 大到小依次排列,获取所述多个局部特征中的重要特征。根据贡献度的大小, 找到局部特征中的重要特征,对图像的特征选用具有指导意义。
为实现上述目的,本发明提供了一种图像局部特征对整体特征贡献度的 评估***,所述***包括:样本模块,用于构建一具有整体特征的第一图像 样本集,并构建不具有一局部特征的第二图像样本集;向量模块,用于分别 对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取,获 取所述第一图像样本集对应的第一特征向量组,以及所述第二图像样本集对 应的第二特征向量组;相关模块,用于计算所述第一特征向量组和第二特征 向量组的相关性;聚类模块,用于分别对所述第一特征向量组和第二特征向量组进行聚类,分别获取对应的第一聚类中心和第二聚中心,并计算所述第 一聚类中心和第二聚中心之间的余弦距离;贡献度模块,用于根据所述第一 特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间 的余弦距离,获取所述局部特征对整体特征贡献度。通过该技术方案,综合 评价局部特征对整体特征贡献度,定量地衡量局部特征的重要性。
与现有技术相比,本发明一种图像局部特征对整体特征贡献度的评估方 法及***所带来的有益效果为:通过计算局部特征对整体特征贡献度,综合 评价局部特征对整体特征贡献度,定量地衡量局部特征的重要性。综合局部 特征与整体特征的相关性以及缺少局部特征引起的特征中心位置的偏移量, 全面地评价了局部特征对整体特征贡献度,准确性比较高。根据贡献度的大 小,找到局部特征中的重要特征,对图像的特征选用具有指导意义,可以广 泛应用于各种图像识别技术领域,其应用范围广、应用性强。
附图说明
图1为根据本发明的一个实施例中图像局部特征对整体特征贡献度的评 估方法的流程示意图。
图2为根据本发明的一个实施例中图像局部特征对整体特征贡献度的评 估***的组成结构图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。在附图中, 结构相同的部件以相同数字标号表示,各处结构或功能相似的组件以相似数 字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的,本发明并没 有限定每个组件的尺寸和厚度。为了使图示更清晰,附图中有些地方适当夸 大了部件的厚度。
如图1所示的本发明的一实施例,本发明提供一种图像局部特征对整体 特征贡献度的评估方法,所述方法包括:
S1、构建一具有整体特征的第一图像样本集,并构建不具有一局部特征 的第二图像样本集;
S2、分别对所述第一图像样本集和第二图像样本集中的每一个图像进行 特征提取,获取所述第一图像样本集对应的第一特征向量组,以及所述第二 图像样本集对应的第二特征向量组;
S3、计算所述第一特征向量组和第二特征向量组的相关性;
S4、分别对所述第一特征向量组和第二特征向量组进行聚类,分别获取 对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心和第二聚中心 之间的余弦距离;
S5、根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类 中心和第二聚中心之间的余弦距离,获取所述局部特征对整体特征贡献度。
在步骤S1中,构建一具有整体特征的第一图像样本集,并构建不具有 一局部特征的第二图像样本集。构建第一图像样本集,所述第一图像样本集 中的每一个图像都具有图像的整体特征,即第一图像样本集的图像的特征是 完整的,并且第一图像样本集中的图像类别是相同的,比如,第一图像样本 集都是完整人脸的图像样本。根据第一图像样本集中的图像,获取该图像中 的一局部特征,构建不具有所述局部特征的第二图像样本集。根据本发明的 一具体实施例,所述步骤S1中的构建不具有一局部特征的第二图像样本集 的步骤包括:根据所述第一图像样本集中的图像,标注该图像中的一局部特 征;将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清 零,生成新的图像,将所有的新的图像构建为不具有所述局部特征的第二图 像样本集。比如,第一图像样本集为完整人脸的图像样本,局部特征标注为 眼睛,将第一图像样本集中的每一个样本中的眼睛部位的像素值清零,就构 建缺少眼睛的第二图像样本集。同样的,标注局部特征为嘴巴,就构建缺少嘴巴的图像样本集。
在步骤S2中,分别对所述第一图像样本集和第二图像样本集中的每一 个图像进行特征提取,获取所述第一图像样本集对应的第一特征向量组,以 及所述第二图像样本集对应的第二特征向量组。具体地,根据卷积神经网络 模型,对所述第一图像样本集中的每一个图像进行卷积和特征提取,获取每 一个图像对应的特征向量,并生成所述第一图像样本集对应的第一特征向量 组。同样地,根据卷积神经网络模型,对所述第二图像样本集中的每一个图 像进行卷积和特征提取,获取每一个图像对应的特征向量,并生成所述第二图像样本集对应的第二特征向量组。
在步骤S3中,计算所述第一特征向量组和第二特征向量组的相关性。 根据本发明的一具体实施例,所述步骤S3包括:
S301、计算所述第一特征向量组和第二特征向量组的相关系数,所述相 关系数的计算公式为式1:
其中,var(vecX)为第一组特征向量vecX的方差,
var(vecY)为第二组特征向量vecY的方差,
cov(vecX,vecY)为第一组特征向量vecX与第二组特征向量vecY的协 方差;
S302、所述第一特征向量组和第二特征向量组的相关性通过算式2得到,式 2为:
其中,ri为所述相关系数r在第i维上的相关系数,m为512维,是所述相关 系数的维数,Relevance为所述第一特征向量组和第二特征向量组的相关性。 每一个图像对应的特征向量是512维,因此所述第一特征向量组和第二特征 向量组的相关系数是512维,相关系数的第i维表示所述第一特征向量组和 第二特征向量组在第i维上的相关性,用ri来表示。本发明用相关系数的均方 根来表示所述第一特征向量组和第二特征向量组的相关性。
根据本发明的一具体实施例,所述步骤S301包括:
S3011、所述第一组特征向量vecX的方差var(vecX)通过式3计算得到:
其中,n表示第一图像样本集中的图像数量,vecxi表示第一图像样本集中第 i个样本的特征向量;
S3012、所述第二组特征向量vecY的方差var(vecY)通过式4计算得到:
其中,n表示第二图像样本集中的图像数量,vecyi表示第二图像样本集 中第i个样本的特征向量;
S3013、所述第一组特征向量与第二组特征向量的协方差cov(vecX,vecY) 通过式5计算得到:
其中,n表示第一图像样本集中的图像数量,以及第二图像样本集中的图像 数量,vecxi表示第一图像样本集中第i个样本的特征向量,vecyi表示第二 图像样本集中第i个样本的特征向量。
在步骤S4中,分别对所述第一特征向量组和第二特征向量组进行聚类, 分别获取对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心和第 二聚中心之间的余弦距离。具体地,对所述第一特征向量组进行K均值聚类, 得到对应的第一聚类中心。对所述第二特征向量组进行K均值聚类,得到对 应的第二聚类中心。根据上述实施例中得知,每一个图像对应的特征向量是 512维。所述第一聚类中心与所述第二聚类中心均为1*512的矩阵。计算所 述第一聚类中心与第二聚类中心之间的余弦距离。所述余弦距离表明所述第一图像样本集的聚类中心与所述第二样本图像集的聚类中心的距离,即缺少 的局部特征引起特征中心位置的偏移量。余弦距离可以用来衡量两个个体之 间的差异,其值越大,说明差异越大。在本发明中,余弦距离越大,说明缺 少的局部特征的贡献度越大。
在步骤S5中,根据所述第一特征向量组和第二特征向量组的相关性以 及第一聚类中心和第二聚中心之间的余弦距离,获取所述局部特征对整体特 征贡献度。根据本发明的一具体实施例,所述步骤S5包括:通过算式5计 算得到所述局部特征对整体特征贡献度:
Contribution=a*Relevance+(1-a)*dist 式6,
其中,a为平价系数,取值范围为[0,1],Relevance为所述第一特征向量组 和第二特征向量组的相关性,dist为所述第一聚类中心和第二聚中心之间的 余弦距离,Contribution为所述局部特征对整体特征贡献度。根据本发明的 一具体实施例,如果a的取值大于0.5,贡献度侧重于局部特征和整体特征的 相关性因素;如果a的取值小于0.5,贡献度侧重于局部特征引起整体特征的 中心位置偏移量的因素。因此,综合考虑上述两个因素,a的取值为0.5。基 于该技术方案,通过计算局部特征对整体特征贡献度,综合评价局部特征对 整体特征贡献度,定量地衡量局部特征的重要性。
根据本发明的一具体实施例,所述方法还包括:获取图像中的每一个局 部特征;重复执行步骤S1-S5,获取每一个局部特征对整体特征贡献度;将 每一个贡献度依次从大到小依次排列,获取所述多个局部特征中的重要特征。 贡献度大对应的局部特征为重要的局部特征。根据该技术方案,计算每一个 局部特征对整体特征贡献度,根据每一个贡献度的大小,从多个局部特征中 获取重要的特征。根据本发明的一具体实施例,通过计算得到眼睛和嘴巴对 整个人脸特征的贡献度,如下表所示,
局部特征 | a | 相关性 | 余弦距离 | 贡献度 |
眼睛 | 0.5 | 0.3394 | 0.1965 | 0.2697 |
嘴巴 | 0.5 | 0.1454 | 0.1430 | 0.1442 |
从上表中可以看出,局部特征眼睛对整体特征的贡献度要大于局部特征嘴巴 对整体特征的的贡献度,说明眼睛的局部特征更为重要。
根据该技术方案,通过计算局部特征对整体特征贡献度,综合评价局部 特征对整体特征贡献度,定量地衡量局部特征的重要性。综合局部特征与整 体特征的相关性以及缺少局部特征引起的特征中心位置的偏移量,全面地评 价了局部特征对整体特征贡献度,准确性比较高。根据贡献度的大小,找到 局部特征中的重要特征,对图像的特征选用具有指导意义,可以广泛应用于 各种图像识别技术领域,其应用范围广、应用性强。
图2所示,在另外一个实施例中,本发明还提供一种图像局部特征对整 体特征贡献度的评估***,所述***包括:
样本模块20,用于构建一具有整体特征的第一图像样本集,并构建不具 有一局部特征的第二图像样本集;
向量模块21,用于分别对所述第一图像样本集和第二图像样本集中的每 一个图像进行特征提取,获取所述第一图像样本集对应的第一特征向量组, 以及所述第二图像样本集对应的第二特征向量组;
相关模块22,用于计算所述第一特征向量组和第二特征向量组的相关性;
聚类模块23,用于分别对所述第一特征向量组和第二特征向量组进行聚 类,分别获取对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心 和第二聚中心之间的余弦距离;
贡献度模块24,用于根据所述第一特征向量组和第二特征向量组的相关 性以及第一聚类中心和第二聚中心之间的余弦距离,获取所述局部特征对整 体特征贡献度。
样本模块20用于构建一具有整体特征的第一图像样本集,并构建不具有 一局部特征的第二图像样本集。在所述样本模块中,所述第一图像样本集中 的每一个图像都具有图像的整体特征,第一图像样本集中的图像类别是相同 的。所述样本模块标注该图像中的一局部特征,将所述第一图像样本集中的 每一个图像中对应所述局部特征的像素值清零,生成新的图像,将所有的新 的图像构建为不具有所述局部特征的第二图像样本集。
向量模块21用于分别对所述第一图像样本集和第二图像样本集中的每 一个图像进行特征提取,获取所述第一图像样本集对应的第一特征向量组, 以及所述第二图像样本集对应的第二特征向量组。向量模块采用卷积神经网 络模型,对图像进行卷积和特征提取,获取所述第一图像样本集对应的第一 特征向量组,以及所述第二图像样本集对应的第二特征向量组。
相关模块22用于计算所述第一特征向量组和第二特征向量组的相关性。 关于相关性的计算步骤,在对应方法的实施例中已经详细描述。本实施例中, 同所述方法实施例中的计算步骤一致。
聚类模块23用于分别对所述第一特征向量组和第二特征向量组进行聚 类,分别获取对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心 和第二聚中心之间的余弦距离。在所述聚类模块中,采用K均值聚类的技术 方案。所述余弦距离表明所述第一图像样本集的聚类中心与所述第二样本图 像集的聚类中心的距离,即缺少的局部特征引起的特征中心位置的偏移量。 在本发明中,余弦距离越大,说明缺少的局部特征的贡献度越大。
贡献度模块24用于根据所述第一特征向量组和第二特征向量组的相关 性以及第一聚类中心和第二聚中心之间的余弦距离,获取所述局部特征对整 体特征贡献度。所述局部特征对整体特征贡献度的计算与对应方法的实施例 中的计算步骤一致。基于该技术方案,通过计算局部特征对整体特征贡献度, 综合评价局部特征对整体特征贡献度,定量地衡量局部特征的重要性。所述 贡献度模块还用于获取图像中的每一个局部特征;获取每一个局部特征对整 体特征贡献度;将每一个贡献度依次从大到小依次排列,获取所述多个局部 特征中的重要特征。贡献度大对应的局部特征为重要的局部特征。根据该技 术方案,计算每一个局部特征对整体特征贡献度,根据每一个贡献度的大小, 从多个局部特征中获取重要的特征。
根据该技术方案,综合评价局部特征对整体特征贡献度,定量地衡量局 部特征的重要性。全面地评价了局部特征对整体特征贡献度,准确性比较高。 根据贡献度的大小,找到局部特征中的重要特征,对图像的特征选用具有指 导意义,可以广泛应用于各种图像识别技术领域,其应用范围广、应用性强。
虽然以上通过附图和实施例对本发明进行了详细描述,但是这样的图示 和描述应被理解为是说明性或示例性而非限制性的。本发明并不局限于所公 开的实施例。在权利要求中,词语“包括”并不排除其它部件或步骤,并且 “一个”或特定“多个”应当被理解为至少一个或至少特定多个。权利要求 中的任何参考标记都不应当被理解为对其范围加以限制。通过研习附图、说 明书和所附权利要求,针对上述实施例的其它变化形式可以由本领域技术人 员在无需创造性劳动即可理解并实施,而这些实施方式仍将落入本发明所附 权利要求书的范围之内。
Claims (10)
1.一种图像局部特征对整体特征贡献度的评估方法,其特征在于,所述方法包括:
S1、构建一具有整体特征的第一图像样本集,并构建不具有一局部特征的第二图像样本集;
S2、分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取,获取所述第一图像样本集对应的第一特征向量组,以及所述第二图像样本集对应的第二特征向量组;
S3、计算所述第一特征向量组和第二特征向量组的相关性;
S4、分别对所述第一特征向量组和第二特征向量组进行聚类,分别获取对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心和第二聚中心之间的余弦距离;
S5、根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离,获取所述局部特征对整体特征贡献度。
2.如权利要求1所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述步骤S1中的构建不具有一局部特征的第二图像样本集的步骤包括:
根据所述第一图像样本集中的图像,标注该图像中的一局部特征;
将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清零,生成新的图像,并将所有的新的图像构建为不具有所述局部特征的第二图像样本集。
3.如权利要求1所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述步骤S2包括:
根据卷积神经网络模型,对所述第一图像样本集中的每一个图像进行卷积和特征提取,获取每一个图像对应的特征向量,并生成所述第一图像样本集对应的第一特征向量组;
根据卷积神经网络模型,对所述第二图像样本集中的每一个图像进行卷积和特征提取,获取每一个图像对应的特征向量,并生成所述第二图像样本集对应的第二特征向量组。
4.如权利要求1所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述步骤S3包括:
S301、计算所述第一特征向量组和第二特征向量组的相关系数,所述相关系数的计算公式为式1:
其中,var(vecX)为第一组特征向量vecX的方差,
var(vecY)为第二组特征向量vecY的方差,
cov(vecX,vecY)为第一组特征向量vecX与第二组特征向量vecY的协方差;
S302、所述第一特征向量组和第二特征向量组的相关性通过算式2得到,式2为:
其中,ri为所述相关系数r在第i维上的相关系数,
m为512维,是所述相关系数的维数,
Relevance为所述第一特征向量组和第二特征向量组的相关性。
5.如权利要求4所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述步骤S301包括:
S3011、所述第一组特征向量vecX的方差var(vecX)通过式3计算得到:
其中,n表示第一图像样本集中的图像数量,
vecxi表示第一图像样本集中第i个样本的特征向量;
S3012、所述第二组特征向量vecY的方差var(vecY)通过式4计算得到:
其中,n表示第二图像样本集中的图像数量,
vecyi表示第二图像样本集中第i个样本的特征向量;
S3013、所述第一组特征向量与第二组特征向量的协方差cov(vecX,vecY)通过式5计算得到:
vecxi表示第一图像样本集中第i个样本的特征向量,
vecyi表示第二图像样本集中第i个样本的特征向量。
6.如权利要求5所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述步骤S4包括:
对所述第一特征向量组进行K均值聚类,得到对应的第一聚类中心;
对所述第二特征向量组进行K均值聚类,得到对应的第二聚类中心;
计算所述第一聚类中心与第二聚类中心之间的余弦距离。
7.如权利要求6所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述步骤S5包括:
通过算式5计算得到所述局部特征对整体特征贡献度:
Contribution=a*Relevance+(1-a)*dist 式6,
其中,a为平价系数,取值范围为[0,1],
Relevance为所述第一特征向量组和第二特征向量组的相关性,
dist为所述第一聚类中心和第二聚中心之间的余弦距离;
Contribution为所述局部特征对整体特征贡献度。
8.如权利要求7所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述a的取值为0.5。
9.如权利要求1所述的图像局部特征对整体特征贡献度的评估方法,其特征在于,所述方法还包括:
获取图像中的每一个局部特征;
重复执行步骤S1-S5,获取每一个局部特征对整体特征贡献度;
将每一个贡献度依次从大到小依次排列,获取所述多个局部特征中的重要特征。
10.一种图像局部特征对整体特征贡献度的评估***,其特征在于,所述***包括:
样本模块,用于构建一具有整体特征的第一图像样本集,并构建不具有一局部特征的第二图像样本集;
向量模块,用于分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取,获取所述第一图像样本集对应的第一特征向量组,以及所述第二图像样本集对应的第二特征向量组;
相关模块,用于计算所述第一特征向量组和第二特征向量组的相关性;聚类模块,用于分别对所述第一特征向量组和第二特征向量组进行聚类,分别获取对应的第一聚类中心和第二聚中心,并计算所述第一聚类中心和第二聚中心之间的余弦距离;
贡献度模块,用于根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离,获取所述局部特征对整体特征贡献度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910364881.8A CN111652239B (zh) | 2019-04-30 | 2019-04-30 | 一种图像局部特征对整体特征贡献度的评估方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910364881.8A CN111652239B (zh) | 2019-04-30 | 2019-04-30 | 一种图像局部特征对整体特征贡献度的评估方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652239A true CN111652239A (zh) | 2020-09-11 |
CN111652239B CN111652239B (zh) | 2023-06-20 |
Family
ID=72348160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910364881.8A Active CN111652239B (zh) | 2019-04-30 | 2019-04-30 | 一种图像局部特征对整体特征贡献度的评估方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652239B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434759A (zh) * | 2020-12-17 | 2021-03-02 | 无锡职业技术学院 | 一种基于视觉词典的图像分类方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013109625A1 (en) * | 2012-01-17 | 2013-07-25 | Alibaba Group Holding Limited | Image index generation based on similarities of image features |
US20170249547A1 (en) * | 2016-02-26 | 2017-08-31 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Holistic Extraction of Features from Neural Networks |
CN107122712A (zh) * | 2017-03-27 | 2017-09-01 | 大连大学 | 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法 |
CN108415958A (zh) * | 2018-02-06 | 2018-08-17 | 北京陌上花科技有限公司 | 指数权重vlad特征的权重处理方法及装置 |
-
2019
- 2019-04-30 CN CN201910364881.8A patent/CN111652239B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013109625A1 (en) * | 2012-01-17 | 2013-07-25 | Alibaba Group Holding Limited | Image index generation based on similarities of image features |
US20170249547A1 (en) * | 2016-02-26 | 2017-08-31 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Holistic Extraction of Features from Neural Networks |
CN107122712A (zh) * | 2017-03-27 | 2017-09-01 | 大连大学 | 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法 |
CN108415958A (zh) * | 2018-02-06 | 2018-08-17 | 北京陌上花科技有限公司 | 指数权重vlad特征的权重处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
曹来成;赵建军;崔翔;李可;: "基于余弦测度下K-means的网络空间终端设备识别" * |
郜晓晶;潘新;王亮;: "基于GLOH算子和局部特征融合的人脸识别" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434759A (zh) * | 2020-12-17 | 2021-03-02 | 无锡职业技术学院 | 一种基于视觉词典的图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111652239B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105913413B (zh) | 一种基于在线流形学习的彩色图像质量客观评价方法 | |
CN103475898B (zh) | 一种基于信息熵特征的无参考图像质量评价方法 | |
CN109325550B (zh) | 基于图像熵的无参考图像质量评价方法 | |
US20200151502A1 (en) | Object recognition method and apparatus | |
CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
CN109725721B (zh) | 用于裸眼3d显示***的人眼定位方法及*** | |
CN103839042B (zh) | 人脸识别方法和人脸识别*** | |
CN111127387B (zh) | 无参考图像的质量的评价方法 | |
CN112818850B (zh) | 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和*** | |
CN102063708A (zh) | 基于Treelet和非局部均值的图像去噪 | |
CN106599833B (zh) | 一种基于领域适应和流形距离度量的人脸识别方法 | |
CN104077742B (zh) | 基于Gabor特征的人脸素描合成方法及*** | |
Casanova et al. | IFSC/USP at ImageCLEF 2012: Plant Identification Task. | |
CN109117880A (zh) | 基于小波包分解选择系数加权重构的瓷砖图像分类算法 | |
WO2016145571A1 (zh) | 基于条件直方图码书的盲图像质量评价方法 | |
CN110458792A (zh) | 人脸图像质量的评价方法及装置 | |
CN111724376B (zh) | 一种基于纹理特征分析的纸病检测方法 | |
CN110766657A (zh) | 一种激光干扰图像质量评价方法 | |
CN110399814B (zh) | 一种基于局部线性表示领域适应度量的人脸识别方法 | |
Jin et al. | Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment. | |
Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
CN114965316A (zh) | 一种基于高光谱多参数的水质监测方法、计算机程序产品 | |
CN111652239A (zh) | 一种图像局部特征对整体特征贡献度的评估方法及*** | |
CN111652260A (zh) | 一种人脸聚类样本数量的选择方法及*** | |
CN111898533B (zh) | 一种基于时空特征融合的步态分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |