CN113313126A - 用于图像识别的方法、计算设备和计算机存储介质 - Google Patents

用于图像识别的方法、计算设备和计算机存储介质 Download PDF

Info

Publication number
CN113313126A
CN113313126A CN202110482595.9A CN202110482595A CN113313126A CN 113313126 A CN113313126 A CN 113313126A CN 202110482595 A CN202110482595 A CN 202110482595A CN 113313126 A CN113313126 A CN 113313126A
Authority
CN
China
Prior art keywords
image
data set
image data
texture
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110482595.9A
Other languages
English (en)
Inventor
张万军
李长安
袁玉波
张智燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haoan Supply Chain Management Co ltd
Original Assignee
Hangzhou Haoan Supply Chain Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haoan Supply Chain Management Co ltd filed Critical Hangzhou Haoan Supply Chain Management Co ltd
Priority to CN202110482595.9A priority Critical patent/CN113313126A/zh
Publication of CN113313126A publication Critical patent/CN113313126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种用于图像识别的方法,首先提取图像的颜色特征和纹理特征,然后使用CCA族相关分析算法进行特征抽取;接着,再利用深度稀疏自编码算子进行特征的稀疏表示,从而降低图像的整体数据量;以及使用并联或串联的方式完成两视角特征融合;最后,使用距离度量公式计算检索图像的相似度,选取排序结果中的前若干个图像作为检索结果。本发明解决了现有技术中图像识别率低以及运算开销大的问题。

Description

用于图像识别的方法、计算设备和计算机存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种用于图像识别的方法、计算 设备和计算机存储介质。
背景技术
现有技术中,图像检索的方式主要分为两种:一种是文本层面的图像检索, 另一种是内容层面的图像检索。文本层面的的图像检索依赖于文字表述,若图 像的描述关键词错误会导致检索结果发生偏差,当面对大量的网络图像时,具 有人工标注的工作量巨大、描述片面的缺点。而内容图像检索将重点放在图像 内容的提取上,具有直观、方便的优点。但由于图像特征多且样本量大,内容 图像检索过程往往被设计的复杂繁琐,以至于目前主流的图像搜索仍然将文本 检索方法作为其***的主要部分。
对于图像检索来说,如何合理提取图像特征并降低数据冗余是一个非常关 键的问题。图像特征的种类较多,例如全局特征、颜色特征和纹理特征,其中 全局特征是对图像的整体量化表示,颜色特征是人眼可直接观察到的不受图像 形变影响的数据,纹理特征是由图像像素点按照一定排列规律组成的信息,选 取不同的特征会直接导致检索结果发生变化,因此使用哪种特征提取方法对图 像检索具有重要的意义。
在实际应用中,目前较理想的特征提取方法有如下两种:
Ncut技术——NormalizedCut,归一化割,是基于图论的图像分割方法之一, 首先把图分成具有相同特征的区域,然后运用递归算法,以设定的范值为迭代 停止条件,虽然可降低边缘化的偏差,但识别率仍然不高,而且计算开销大, 迭代速度低。
Gabor滤波法——最早见于Gabor D的论著,后来发展为2D,它可同时 获取时频域的不确定性,并与哺乳动物的视网膜神经细胞的接收场相吻合,因 此被应用于计算机视觉的许多领域,尤其是利用Gabor滤波器进行特征提取, 但实际应用中存在很多的问题,如较大的计算开销和存储负担等。
因此,目前亟需一种快速且精确的相似图像检索方法,以解决现有技术中 存在的图像识别率低、运算开销大的问题。
发明内容
鉴于现有技术存在用于相似图像检索的复杂度较大的技术问题,本发明实 施例提供了一种用于图像识别的方法、计算设备和计算机存储介质。
第一方面,本发明实施例提供一种用于相似图像检索的方法,包括:获取 待识别图像和图像数据集;提取所述待识别图像的颜色特征和纹理特征,以生 成所述待识别图像的颜色特征向量和纹理特征向量;针对所述待识别图像的颜 色特征向量和纹理特征向量,对所述图像数据集进行CCA(Canonical CorrelationAnalysis,典型相关分析)族相关分析计算,以生成所述图像数据集 的颜色特征矩阵和纹理特征矩阵;采用并联或串联的方法分别对所述待识别图 像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹 理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像数 据集的全局特征矩阵;根据所述图像数据集的全局特征矩阵,计算所述图像数 据集与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像 进行降序排列,确定与所述待识别图像最相似的检索结果。
进一步,所述获取待识别图像和图像数据集,包括:用户输入待识别图像 和图像数据集;或者通过预设数据传输接口接收待识别图像和图像数据集;或 者用户输入待识别图像和图像数据集中的一个,另一个通过预设数据传输接口 接收获得。
进一步,所述提取所述待识别图像的颜色特征和纹理特征,以生成所述待 识别图像的颜色特征向量和纹理特征向量,包括:利用颜色直方图和Gabor特 征提取方法分别提取所述待识别图像的颜色特征和纹理特征,以生成所述待识 别图像的颜色特征向量和纹理特征向量。
进一步,在所述针对所述待识别图像的颜色特征向量和纹理特征向量,对 所述图像数据集进行CCA族相关分析计算,以生成所述图像数据集的颜色特 征矩阵和纹理特征矩阵之后,在所述采用并联或串联的方法分别对所述待识别 图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和 纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像 数据集的全局特征矩阵之前,还包括:采用规范相关分析方法分别对所述图像 数据集的颜色特征矩阵和纹理特征矩阵进行降维处理,获得降维后的有效的所 述图像数据集的颜色特征矩阵和纹理特征矩阵。
进一步,在所述采用并联或串联的方法分别对所述待识别图像的颜色特征 向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹理特征矩阵进 行融合处理,获得所述待识别图像的融合特征向量和所述图像数据集的全局特 征矩阵之后,在所述根据所述图像数据集的全局特征矩阵,计算所述图像数据 集与所述待识别图像的融合特征的相关度,对所述图像数据集中的图像进行降 序排列,确定与所述待识别图像最相似的检索结果之前,还包括:利用深度极 端学习机对所述图像数据集的全局特征矩阵进行多层特征重构,获得稀疏表示 的所述图像数据集的全局特征矩阵。
进一步,在所述针对所述待识别图像的颜色特征向量和纹理特征向量,对 所述图像数据集进行CCA族相关分析计算,以生成所述图像数据集的颜色特 征矩阵和纹理特征矩阵之后,在所述采用并联或串联的方法分别对所述待识别 图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和 纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像 数据集的全局特征矩阵之前,还包括:利用深度极端学习机对所述图像数据集 的颜色特征矩阵和纹理矩阵进行多层特征重构,获得稀疏表示的所述图像数据 集的颜色特征矩阵和纹理特征矩阵。
进一步,所述根据所述图像数据集的全局特征矩阵,计算所述图像数据集 与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像进行 降序排列,确定与所述待识别图像最相似的检索结果,包括:根据所述图像数 据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量 的相关度,对所述图像数据集中的图像进行降序排列,确定排在第一位的图像 作为与所述待识别图像最相似的识别结果输出。
进一步,所述根据所述图像数据集的全局特征矩阵,计算所述图像数据集 与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像进行 降序排列,确定与所述待识别图像最相似的检索结果,包括:根据所述图像数 据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量 的相关度,响应于相关度计算结果和预设检索量阈值,对所述图像数据集中的 图像按照相关度进行降序排列,将排序靠前的预设检索量阈值内的图像作为检 索结果输出。
第二方面,本发明实施例提供一种计算设备,包括存储器、处理器及存储 在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现第一 方面至第一方面的第七种可能的实现方式中任一项所述的方法的步骤。
第三方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算 机程序,该程序被处理器执行时实现第一方面至第一方面的第六种可能的实现 方式中任一项所述的方法。
由上可见,本发明实施例提供的一种或者多种技术方案,至少实现了如下 技术效果或者优点:
(1)由于本发明是针对颜色特征和纹理特征,采用深度稀疏自编码算子 的两视角特征融合的图像检索方法,从而避免了现有技术中采用单一特征对图 像识别的不准确性,能够获得更加精确的识别结果,有效地提高了图像检索的 识别率;
(2)由于本发明首先提取图像的颜色特征和纹理特征,然后使用CCA (CanonicalCorrelationAnalysis,典型相关分析)族算法对特征进行抽取;再 利用DSAE(DohertySommersArchitects Engineers深度稀疏自编码算子)进行 特征的稀疏表示,从而降低图像的整体数据量,以及使用并联或串联的方式完 成两视角特征融合;然后计算检索图像的相关度,选取排序结果中靠前的图像 作为检索结果。从而避免了现有技术中由于存在多层次迭代而增加的运算复杂 度,由此解决了海量图像检索迭代开销大,运算效率低的技术问题,不但提高 了计算速度,还大大缩减了存储空间的占用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创 造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的用于图像识别的方法流程图;
图2为本发明实施例提供的用于图像识别的方法流程图;
图3为本发明实施例提供的用于图像识别的方法流程图;
图4为本发明实施例提供的用于图像识别的方法流程图;
图5为本发明实施例提供的用于图像识别***的程序模块图;
图6为本发明实施例提供的用于图像识别***的程序模块图;
图7为本发明实施例提供的用于图像识别***的程序模块图;
图8为本发明实施例提供的用于图像识别***的程序模块图;
图9为本发明实施例提供的计算机可读存储介质的结构示意图;
图10为本发明实施例提供的计算机设备的结构示意图;
图11为本发明实施例提供的商标图像特征处理过程示例图;
图12为本发明实施例提供的商标识别特征匹配过程示例图。
具体实施方式
鉴于现有技术存在图像识别率低以及运算开销大的技术问题,本发明实施 例提供了一种基于深度极限学习机的用于识别图像的方法,总体思路如下:
对于图像检索来说,如何合理提取图像特征并降低数据冗余是一个非常关 键的问题,而深度极端学习机能够处理高维数据,具有快速的迭代速度和极强 的特征提取能力,因此我们将深度极端学习机应用到图像检索中。图像特征的 种类较多,例如全局特征、颜色特征和纹理特征,其中全局特征是对图像的整 体量化表示,颜色特征是人眼可直接观察到的不受图像形变影响的数据,纹理 特征是由图像像素点按照一定排列规律组成的信息,选取不同的特征会直接导 致检索结果发生变化。在实际应用中,只选择单一的图像特征得到的检索效果 不理想,因此使用特征融合方法对图像检索具有重要意义。因此为了改进图像 检索中的特征处理过程,本发明从特征的层面出发,提出基于深度稀疏自编码 算子(Doherty SommersArchitects Engineers,DSAE)的两视角特征融合的图像检 索方法,该方法首先提取图像的颜色特征和纹理特征,然后使用CCA族算法 对特征进行抽取;再利用DSAE进行特征的稀疏表示,从而降低图像的整体数 据量,并使用并联或串联的方式完成两视角特征融合;然后使用距离度量公式 计算检索图像的相似度,选取排序结果中的前若干张图像作为输出结果。本方 法的特点在于基于深度极限学习机构造了新的方法,实现了相似图像发现,帮 助用户自动化完成图像识别。目的是提高图像识别的准确性,并且在提高图像 识别率的同时,通过降维处理减少运算开销,提高图像识别的运行效率。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明 实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中 的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例,都属于本发明保护的范围。
本发明实施例提供一种用于图像识别的方法,请参考图1所示,包括如下 步骤:
首先,执行步骤S101:获取待识别图像和图像数据集。
具体的,待检索图像和图像数据集可以采用如下的实施方式:
A1、用户输入待检索图像和图像数据集;或者
A2、通过预设数据传输接口接收待检索图像和图像数据集;或者
A3、用户输入待检索图像和图像数据集中的一个,另一个通过预设数据传 输接口接收获得。
在步骤S101之后,接着执行步骤S102:提取所述待识别图像的颜色特征 和纹理特征,以生成所述待识别图像的颜色特征向量和纹理特征向量。
需要说明的是,图像特征的种类较多,例如全局特征、颜色特征和纹理特 征,其中全局特征是对图像的整体量化表示,颜色特征是人眼可直接观察到的 不受图像形变影响的数据,纹理特征是由图像像素点按照一定排列规律组成的 信息,选取不同的特征会直接导致检索结果发生变化。在实际应用中,只选择 单一的图像特征得到的检索效果不理想,因此使用特征融合方法对图像检索具 有重要意义,可以有效提高图像的识别率,使图像的识别更加准确。
为了实现特征融合,优选地,所述提取所述待识别图像的颜色特征和纹理 特征,以生成所述待识别图像的颜色特征向量和纹理特征向量,包括:
利用颜色直方图和Gabor特征提取方法分别提取所述待识别图像的颜色特 征和纹理特征,以生成所述待识别图像的颜色特征向量和纹理特征向量。
其中,颜色直方图特征提取用以反映图像颜色的组成分布,即各种颜色出 现的概率。直方图作为一种简单有效的基于统计特性的特征描述子,在计算机 视觉领域广泛使用。它的优点主要体现在两个方面:一是对于任意一个图像区 域,直方图特征的提取简单方便;其二,直方图表征图像区域的统计特性,可 以有效表示多模态的特征分布,并且本身具备一定的旋转不变性。首先利用颜 色空间三个分量的剥离得到颜色直方图,之后通过观察实验数据发现将图像进 行旋转变换、缩放变换、模糊变换后图像的颜色直方图改变不大,即图像直方 图对图像的物理变换是不敏感的。而Gabor特征提取方法,由于Gabor变换属 于加窗傅立叶变换,Gabor函数可以在频域不同尺度、不同方向上提取相关的 特征。另外Gabor函数与人眼的生物作用相仿,所以经常用作纹理识别上,并 取得了较好的效果。因此,本发明提取颜色特征和纹理特征并用颜色直方图和 Gabor特征提取方法,能获取图像像素中能直接描述图像视觉特征的描述数据, 应用于衡量和比较两幅图像的全局差。
在步骤S102之后,接着执行步骤S103:针对所述待识别图像的颜色特征 向量和纹理特征向量,对所述图像数据集进行CCA族相关分析计算,以生成 所述图像数据集的颜色特征矩阵和纹理特征矩阵。
需要说明的是,在本发明中,典型相关分析(Canonical CorrelationAnalysis,CCA)是一种经典的两视角降维方法,它主要关注于两组随机变量间的最大相 关性,基本思想是找到一组投影向量,使其相关系数最大,使用投影向量代替 原来两组随机变量之间的关系。假设样本X的两组特征分别是X1和X2,X1 的维数为p1,X2的维数为p2,p1≦p2。
Figure BDA0003049832730000081
相关系数可表示为:
Figure BDA0003049832730000082
期望Corr(u,v)越大越好,因此最优化函数表示为公式(3),可使用拉格朗日 法对其求解。
Figure BDA0003049832730000083
半监督典型相关分析(Semi-supervised Canonical Correlation Analysis,SCCA)是半监督学习与传统CCA结合的产物。对于给定的两组随机向量,CCA 希望在保证相关系数最大的情况下,找到样本之间的最大相关性,从而得到投 影后的特征向量。但是CCA没有考虑样本中的有监督信息,已知信息不能被 有效地利用。SCCA在CCA的基础上加入少量的先验约束信息,更好的约束 了特征向量之间的相关性,从而获得更好的特征向量表示。
秩典型相关分析(Rank Canonical CorrelationAnalysis,RCCA)将相关性约束加入到CCA中,克服了其它降维方法忽视有监督信息的弊端,能够同时训练 有标签和无标签数据,保留了低维特征的优越性。
局部判别典型相关分析(Locality Discriminative CCA,LDCCA)是在CCA的 基础上提出的可以解决大量非线性问题的算法,它的目标是寻找一组投影使得 同类k近邻数据间的相关性达到最大,不同类k近邻数据间的相关性取得最小, 通过样本的类别信息,克服了只能使用成对样本相关性的缺点。
局部保持的典型相关分析(LocalityPreserving CCA,LPCCA)将全局的非线 性问题转化为了局部的线性问题,在CCA中引入局部结构信息,计算每个小 邻域内的相关问题,优化计算得到一组投影向量。LPCCA可以更好的保留初 始训练样本的流行信息,通过局部线性的方法来解决全局非线性问题,有效抽 取到样本的低维特征。
判别极小类局部保留典型相关分析(Discriminant Minimum class localityPreserving CCA,DMPCCA)结合了局部结构信息和全局判别规则,类似于 CCA,寻找相关性最大的两个投影向量,并且保证类内局部信息和类间判别能 力最大,DMPCCA很好的保留了样本的局部结构,从而有效地反映出判别信 息。
当然,本发明也可以采用SCCA或RCCA或LDCCA或LPCCA或DMPCCA 算法,针对所述待识别图像的颜色特征向量和纹理特征向量,对所述图像数据 集进行CCA族相关分析计算,以生成所述图像数据集的颜色特征矩阵和纹理 特征矩阵。
在步骤S103之后,接着执行步骤S104:采用并联或串联的方法分别对所 述待识别图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特 征矩阵和纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和 所述图像数据集的全局特征矩阵。
需要说明的是,如果计算得到所述待识别图像的颜色特征向量为Px和纹 理特征向量为Py,所述图像数据集的颜色特征矩阵为Qx和纹理特征矩阵为 Qy,则使用并联或串联方式得到所述待识别图像的融合特征向量Xs和所述图 像数据集的全局特征矩阵Qs分别为:
并联:Xs=Px+Py;Qs=Qx+Qy
串联:Xs=[Px,Py];Qs=[Qx,Qy]。
在步骤S104之后,接着执行步骤S105、根据所述图像数据集的全局特征 矩阵,计算所述图像数据集与所述待识别图像的融合特征向量的相关度,对所 述图像数据集中的图像进行降序排列,确定与所述待识别图像最相似的检索结 果。
具体实施中,本发明可以使用欧式距离进行相似度计算,并对结果进行排 序,抽取第一张图像的标签,作为检索结果输出。本发明使用欧式距离进行相 关度度量,则N维空间的样本点x11,x12,...,x1N与x21,x22,...,x2N之间的欧式 距离为:
Figure BDA0003049832730000101
为了减少运算的开销,在一实施方式中,如图2所示,在步骤S103之后, 在步骤S104之前,还包括如下步骤A:采用规范相关分析方法分别对所述图 像数据集的颜色特征矩阵和纹理特征矩阵进行降维处理,获得降维后的有效的 所述图像数据集的颜色特征矩阵和纹理特征矩阵。
需要说明的是,本实施例中,步骤A之后,接着执行步骤S104:采用并 联或串联的方法分别对所述待识别图像的颜色特征向量和纹理特征向量以及 降维后的有效的所述图像数据集的颜色特征矩阵和纹理特征矩阵进行融合处 理,获得所述待识别图像的融合特征向量和所述图像数据集的全局特征矩阵。
为了进一步减少运算的开销,在一实施方式中,如图3所示,在步骤S104 之后,在步骤S105之前,还包括如下步骤B:利用深度极端学习机对所述图 像数据集的全局特征矩阵进行多层特征重构,获得稀疏表示的所述图像数据集 的全局特征矩阵。
需要说明的是,本实施例中,步骤B之后,接着执行步骤S105:根据稀 疏表示的所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别 图像的融合特征向量的相关度,对所述图像数据集中的图像进行降序排列,确 定与所述待识别图像最相似的检索结果。
为了对图像特征进一步优化,增强提取到的图像特征的描述能力,在一实 施方式中,如图4所示,在步骤S103之后,在步骤S104之前,还包括如下步 骤C:利用深度极端学习机对所述图像数据集的颜色特征矩阵和纹理矩阵进行 多层特征重构,获得稀疏表示的所述图像数据集的颜色特征矩阵和纹理特征矩 阵。
需要说明的是,本实施例中,步骤C之后,接着执行步骤S104:采用并 联或串联的方法分别对所述待识别图像的颜色特征向量和纹理特征向量以及 稀疏表示的所述图像数据集的颜色特征矩阵和纹理特征矩阵进行融合处理,获 得所述待识别图像的融合特征向量和所述图像数据集的全局特征矩阵。
在上述任一实施方式中,步骤S105)根据所述图像数据集的全局特征矩阵, 计算所述图像数据集与所述待识别图像的融合特征向量的相关度,对所述图像 数据集中的图像进行降序排列,确定与所述待识别图像最相似的检索结果,具 体包括以下两种执行情况:
根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别 图像的融合特征向量的相关度,对所述图像数据集中的图像进行降序排列,确 定排在第一位的图像作为与所述待识别图像最相似的识别结果输出;或者
根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别 图像的融合特征向量的相关度,响应于相关度计算结果和预设检索量阈值,对 所述图像数据集中的图像按照相关度进行降序排列,将排序靠前的预设检索量 阈值内的图像作为检索结果输出。例如预设检索量阈值为12,则图像数据集中 的图像按照相关度进行降序排列后,将排序靠前的前12张图像作为检索结果 输出。
在具体实施过程中,本发明实施例提供的用于图像识别的方法可以应用于 对具有不规则图像的医用耗材图像的识别,下面以基于深度极端学习机的医用 耗材商标识别为例,对本发明方法的实际应用做进一步的说明:
首先,采用Ncut技术和显著性目标检测模型从输入医用耗材图像中抽取商 标前景,构成候选识别目标;其次,利用颜色直方图和Gabor特征提取方法提 取商标前景图像特征信息;再使用规范相关分析方法等分别对颜色和纹理两个 视角的特征进行降维,以降维后维数为列,商标前景图像个数为行,得到有效 的颜色和纹理特征矩阵;并使用并联或串联的方法对颜色特征和纹理特征矩阵 进行融合,得到全局特征矩阵;然后,利用深度极端学习机对全局特征进行多 层特征重构,得到稀疏表示的全局特征矩阵;具体的以上商标图像特征处理过 程示例图如图11所示,特征处理的具体过程可分为四个阶段:在第一阶段,分别使用颜色直方图法、Gabor滤波法提取原始图像数据的颜色特征和纹理特 征,从而得到“颜色特征A”与“纹理特征A”;第二阶段,使用CCA等两 视角算法分别对颜色和纹理两个视角的特征进行降维,得到“颜色特征B”与 “纹理特征B”;在第三阶段,使用并联或串联的方法对颜色特征和纹理特征 进行融合,从而得到处理完成的“全局特征C”;在第四阶段,利用深度极端 学习机对“全局特征C”进行多层重构计算,最终得到稀疏表示的“全局特征D”,从而完成图像的特征处理。
最后,使用合适的方式衡量图像之间的相似度,然后定量分析查询图像与 特征数据库的相关性;然后,再根据特征数据库数据与查询图像特征的相关度, 对图像数据库中的图像降序排列,最后在结果中返回排序中前若干个图像作为 检索结果输出。具体的商标识别特征匹配过程示例图如图12所示。大量的实 验证明,这种方法十分有效,并且能够得到较为精确的识别结果。
基于同一发明构思,本发明实施例提供一种图像识别***,参考图5所示, 具体包括:
获取单元501,用于获取待识别图像和图像数据集;
提取单元502,用于提取所述待识别图像的颜色特征和纹理特征,以生成 所述待识别图像的颜色特征向量和纹理特征向量;
相关分析单元503,用于针对所述待识别图像的颜色特征向量和纹理特征 向量,对所述图像数据集进行CCA族相关分析计算,以生成所述图像数据集 的颜色特征矩阵和纹理特征矩阵;
融合处理单元504,用于采用并联或串联的方法分别对所述待识别图像的 颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹理特 征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像数据集 的全局特征矩阵;
输出单元505,用于根据所述图像数据集的全局特征矩阵,计算所述图像 数据集与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图 像进行降序排列,确定与所述待识别图像最相似的检索结果。
在一实施方式中,参考图6所示,本发明实施例提供一种图像识别***, 还包括:
降维处理单元5A,用于采用规范相关分析方法分别对所述图像数据集的 颜色特征矩阵和纹理特征矩阵进行降维处理,获得降维后的有效的所述图像数 据集的颜色特征矩阵和纹理特征矩阵。
在一实施方式中,参考图7所示,本发明实施例提供一种图像识别***, 还包括:
全局特征重构单元5B,用于利用深度极端学习机对所述图像数据集的全 局特征矩阵进行多层特征重构,获得稀疏表示的所述图像数据集的全局特征矩 阵。
在一实施方式中,参考图8所示,本发明实施例提供一种图像识别***, 还包括:
单一特征重构单元5C,用于利用深度极端学习机对所述图像数据集的颜 色特征矩阵和纹理矩阵进行多层特征重构,获得稀疏表示的所述图像数据集的 颜色特征矩阵和纹理特征矩阵。
基于同一发明构思,本发明实施例提供一种计算机可读存储介质901,参 考图9所示,其上存储有计算机程序902,该程序902被处理器执行时实现前 述用于相似图像检索的方法实施例中所述的步骤。
基于同一发明构思,本发明实施例提供一种计算设备1900,参考图10所 示,该计算设备1900可因配置或性能不同而产生比较大的差异,可以包括一 个或一个以***处理器(central processing units,CPU)1922(例如,一个 或一个以上处理器)和存储器1932,一个或一个以上存储应用程序1942或数 据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中,存储 器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930 的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对计 算机设备中的一系列指令操作。更进一步地,中央处理器1922可以设置为与 存储介质1930通信,在移动智能终端1900上执行存储介质1930中的一系列 指令操作。所述处理器执行所述程序时实现前述用于相似图像检索的方法实施 例中任一种实施方式所述的步骤。
计算设备1900还可以包括一个或一个以上电源1926,一个或一个以上有 线或无线网络接口1950,一个或一个以上输入输出接口1958,一个或一个以 上键盘1956,和/或,一个或一个以上操作***1941,例如有Android、iOS、 Firefox OS、YunOS、BlackBerry、Windows phone、symbian、Palm、BADA、 Windows Mobile、ubuntu,SailfishOS等等。
由于本实施例所介绍的计算设备为实施本申请实施例中用于相似图像检 索的方法所采用的计算设备,故而基于本申请实施例中所介绍的用于相似图像 检索的方法,本领域所属技术人员能够了解本实施例的计算设备的具体实施方 式以及其各种变化形式,所以在此对于该计算设备如何实现本申请实施例中的 方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中用于相似图 像检索的方法所采用的计算设备,都属于本申请所欲保护的范围。
本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优 点:
1、由于本发明是针对颜色特征和纹理特征,采用深度稀疏自编码算子的 两视角特征融合的图像检索方法,从而避免了现有技术中采用单一特征对图像 识别的不准确性,能够获得更加精确的识别结果,有效地提高了图像检索的识 别率;
2、由于本发明首先提取图像的颜色特征和纹理特征,然后使用CCA (CanonicalCorrelationAnalysis,典型相关分析)族算法对特征进行抽取;再 利用DSAE(DohertySommersArchitects Engineers深度稀疏自编码算子)进行 特征的稀疏表示,从而降低图像的整体数据量,以及使用并联或串联的方式完 成两视角特征融合;然后计算检索图像的相关度,选取排序结果中靠前的图像 作为检索结果。从而避免了现有技术中由于存在多层次迭代而增加的运算复杂 度,由此解决了海量图像检索迭代开销大,运算效率低的技术问题,不但提高 了计算速度,还大大缩减了存储空间的占用。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有 相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构 造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程 语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且 上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发 明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细 示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或 多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一 起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法 解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确 记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发 明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式 的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为 本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适 应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实 施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它 们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的 至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要 求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有 过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、 摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征 来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它 实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意 味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求 书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器 上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解, 可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实 施例的实现用于相似图像检索***中的一些或者全部部件的一些或者全部功 能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备 或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的 程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。 这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任 何其他形式提供。

Claims (10)

1.一种用于图像识别的方法,其特征在于,包括:
获取待识别图像和图像数据集;
提取所述待识别图像的颜色特征和纹理特征,以生成所述待识别图像的颜色特征向量和纹理特征向量;
针对所述待识别图像的颜色特征向量和纹理特征向量,对所述图像数据集进行CCA族相关分析计算,以生成所述图像数据集的颜色特征矩阵和纹理特征矩阵;
采用并联或串联的方法分别对所述待识别图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像数据集的全局特征矩阵;
根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像进行降序排列,确定与所述待识别图像最相似的检索结果。
2.如权利要求1所述的方法,其特征在于,所述获取待识别图像和图像数据集,包括:
用户输入待识别图像和图像数据集;或者
通过预设数据传输接口接收待识别图像和图像数据集;或者
用户输入待识别图像和图像数据集中的一个,另一个通过预设数据传输接口接收获得。
3.如权利要求1所述的方法,其特征在于,所述提取所述待识别图像的颜色特征和纹理特征,以生成所述待识别图像的颜色特征向量和纹理特征向量,包括:
利用颜色直方图和Gabor特征提取方法分别提取所述待识别图像的颜色特征和纹理特征,以生成所述待识别图像的颜色特征向量和纹理特征向量。
4.如权利要求1所述的方法,其特征在于,在所述针对所述待识别图像的颜色特征向量和纹理特征向量,对所述图像数据集进行CCA族相关分析计算,以生成所述图像数据集的颜色特征矩阵和纹理特征矩阵之后,在所述采用并联或串联的方法分别对所述待识别图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像数据集的全局特征矩阵之前,还包括:
采用规范相关分析方法分别对所述图像数据集的颜色特征矩阵和纹理特征矩阵进行降维处理,获得降维后的有效的所述图像数据集的颜色特征矩阵和纹理特征矩阵。
5.如权利要求1-4任一所述的方法,其特征在于,在所述采用并联或串联的方法分别对所述待识别图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像数据集的全局特征矩阵之后,在所述根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征的相关度,对所述图像数据集中的图像进行降序排列,确定与所述待识别图像最相似的检索结果之前,还包括:
利用深度极端学习机对所述图像数据集的全局特征矩阵进行多层特征重构,获得稀疏表示的所述图像数据集的全局特征矩阵。
6.如权利要求1-4任一所述的方法,其特征在于,在所述针对所述待识别图像的颜色特征向量和纹理特征向量,对所述图像数据集进行CCA族相关分析计算,以生成所述图像数据集的颜色特征矩阵和纹理特征矩阵之后,在所述采用并联或串联的方法分别对所述待识别图像的颜色特征向量和纹理特征向量以及所述图像数据集的颜色特征矩阵和纹理特征矩阵进行融合处理,获得所述待识别图像的融合特征向量和所述图像数据集的全局特征矩阵之前,还包括:
利用深度极端学习机对所述图像数据集的颜色特征矩阵和纹理矩阵进行多层特征重构,获得稀疏表示的所述图像数据集的颜色特征矩阵和纹理特征矩阵。
7.如权利要求1所述的方法,其特征在于,所述根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像进行降序排列,确定与所述待识别图像最相似的检索结果,包括:
根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像进行降序排列,确定排在第一位的图像作为与所述待识别图像最相似的识别结果输出。
8.如权利要求1所述的方法,其特征在于,所述根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量的相关度,对所述图像数据集中的图像进行降序排列,确定与所述待识别图像最相似的检索结果,包括:
根据所述图像数据集的全局特征矩阵,计算所述图像数据集与所述待识别图像的融合特征向量的相关度,响应于相关度计算结果和预设检索量阈值,对所述图像数据集中的图像按照相关度进行降序排列,将排序靠前的预设检索量阈值内的图像作为检索结果输出。
9.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202110482595.9A 2021-04-30 2021-04-30 用于图像识别的方法、计算设备和计算机存储介质 Pending CN113313126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110482595.9A CN113313126A (zh) 2021-04-30 2021-04-30 用于图像识别的方法、计算设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110482595.9A CN113313126A (zh) 2021-04-30 2021-04-30 用于图像识别的方法、计算设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN113313126A true CN113313126A (zh) 2021-08-27

Family

ID=77371339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482595.9A Pending CN113313126A (zh) 2021-04-30 2021-04-30 用于图像识别的方法、计算设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN113313126A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086127A (zh) * 2022-05-26 2022-09-20 杭州电子科技大学 基于堆栈dsae网络的改进mppsk信号解调***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404657A (zh) * 2015-11-04 2016-03-16 北京工业大学 一种基于cedd特征和phog特征的图像检索方法
CN106126581A (zh) * 2016-06-20 2016-11-16 复旦大学 基于深度学习的手绘草图图像检索方法
CN106203346A (zh) * 2016-07-13 2016-12-07 吉林大学 一种面向智能车辆驾驶模式切换的道路环境图像分类方法
CN108009191A (zh) * 2017-09-24 2018-05-08 贵州师范学院 一种图像检索方法
CN108304588A (zh) * 2018-03-07 2018-07-20 山东师范大学 一种基于k近邻和模糊模式识别的图像检索方法及***
CN110162654A (zh) * 2018-01-30 2019-08-23 西安邮电大学 一种基于融合特征与检索结果优化的现勘图像检索算法
US20200294234A1 (en) * 2019-03-13 2020-09-17 Matchlab, Inc. Methods and systems for automatedly collecting and ranking dermatological images
CN111881849A (zh) * 2020-07-30 2020-11-03 Oppo广东移动通信有限公司 图像场景检测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404657A (zh) * 2015-11-04 2016-03-16 北京工业大学 一种基于cedd特征和phog特征的图像检索方法
CN106126581A (zh) * 2016-06-20 2016-11-16 复旦大学 基于深度学习的手绘草图图像检索方法
CN106203346A (zh) * 2016-07-13 2016-12-07 吉林大学 一种面向智能车辆驾驶模式切换的道路环境图像分类方法
CN108009191A (zh) * 2017-09-24 2018-05-08 贵州师范学院 一种图像检索方法
CN110162654A (zh) * 2018-01-30 2019-08-23 西安邮电大学 一种基于融合特征与检索结果优化的现勘图像检索算法
CN108304588A (zh) * 2018-03-07 2018-07-20 山东师范大学 一种基于k近邻和模糊模式识别的图像检索方法及***
US20200294234A1 (en) * 2019-03-13 2020-09-17 Matchlab, Inc. Methods and systems for automatedly collecting and ranking dermatological images
CN111881849A (zh) * 2020-07-30 2020-11-03 Oppo广东移动通信有限公司 图像场景检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张丽: "基于颜色和纹理特征的图像检索技术研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
郑秋梅,等: "基于FCCA的多特征融合的检索方法", 《电子设计工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086127A (zh) * 2022-05-26 2022-09-20 杭州电子科技大学 基于堆栈dsae网络的改进mppsk信号解调***

Similar Documents

Publication Publication Date Title
US20230087526A1 (en) Neural network training method, image classification system, and related device
Abiyev et al. Sign language translation using deep convolutional neural networks
Yang Plant leaf recognition by integrating shape and texture features
JP2020135852A (ja) 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム
WO2019018063A1 (en) FINAL GRAIN IMAGE RECOGNITION
Chang et al. A novel content based image retrieval system using k-means/knn with feature extraction
WO2014205231A1 (en) Deep learning framework for generic object detection
Michel et al. Scale invariant and deformation tolerant partial shape matching
KR20140079262A (ko) 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치
Ning et al. Occluded person re-identification with deep learning: a survey and perspectives
US11281714B2 (en) Image retrieval
Garcia-Fidalgo et al. On the use of binary feature descriptors for loop closure detection
Ding et al. Dynamic perception framework for fine-grained recognition
Han et al. L-Net: lightweight and fast object detector-based ShuffleNetV2
CN111400528A (zh) 一种图像压缩方法、装置、服务器及存储介质
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
Singh et al. Geometrically invariant color, shape and texture features for object recognition using multiple kernel learning classification approach
Wang et al. Multistage model for robust face alignment using deep neural networks
CN113313126A (zh) 用于图像识别的方法、计算设备和计算机存储介质
Adnan et al. Automated image annotation with novel features based on deep ResNet50-SLT
Yang et al. Robust visual tracking based on deep convolutional neural networks and kernelized correlation filters
Liu et al. Deep learning-based image target detection and recognition of fractal feature fusion for BIOmetric authentication and monitoring
CN110209895B (zh) 向量检索方法、装置和设备
Zhu et al. Scene text relocation with guidance
Giveki et al. Shape classification using a new shape descriptor and multi-view learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210827