CN103064941B - 图像检索方法和装置 - Google Patents

图像检索方法和装置 Download PDF

Info

Publication number
CN103064941B
CN103064941B CN201210572371.8A CN201210572371A CN103064941B CN 103064941 B CN103064941 B CN 103064941B CN 201210572371 A CN201210572371 A CN 201210572371A CN 103064941 B CN103064941 B CN 103064941B
Authority
CN
China
Prior art keywords
image
image set
node
matrix
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210572371.8A
Other languages
English (en)
Other versions
CN103064941A (zh
Inventor
陈世峰
曹琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201210572371.8A priority Critical patent/CN103064941B/zh
Publication of CN103064941A publication Critical patent/CN103064941A/zh
Application granted granted Critical
Publication of CN103064941B publication Critical patent/CN103064941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像检索方法和装置。所述方法包括:获取检索关键字,并根据所述检索关键字从数据库中筛选得到图像集合;根据图像特征建立所述图像集合的第一谱图模型,得到所述图像集合中的两两图像之间的相似关系;根据所述相似关系建立半监督学习模型;根据所述半监督学习模型对所述图像集合进行去噪,得到去噪图像集合;返回所述去噪图像集合作为所述检索关键字所对应的检索结果。上述图像检索方法和装置,通过建立图像集合的谱图模型,建立半监督学习模型,根据半监督学习模型对图像集合进行去噪,返回去噪后的图像集合作为检索关键字所对应的检索结果,在对检索到的图像集合进行全局去噪,提高了图像检索的精确度。

Description

图像检索方法和装置
技术领域
本发明涉及图像检索技术,特别是涉及一种图像检索方法和装置。
背景技术
基于关键词的图像检索技术是当前主流的图像检索技术,然而由于错误标签的存在以及检索关键词语言的模糊性,通过基于关键词的图像检索技术检索得到图像通常不够准确。
发明内容
基于此,有必要针对现有图像检索技术的检索结果不够准确的问题,提供一种能够提高检索精度的图像检索方法和装置。
一种图像检索方法,包括如下步骤:
获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合;
根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系;
根据相似关系建立半监督学习模型;
根据半监督学习模型对图像集合进行去噪,得到去噪图像集合;
返回去噪图像集合作为检索关键字所对应的检索结果。
一种图像检索装置,包括:
获取模块,用于获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合;
建模模块,用于根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系;
学习模块,用于根据相似关系建立半监督学习模型;
去噪模块,用于根据半监督学习模型对图像集合进行去噪,得到去噪图像集合;
发送模块,用于返回去噪图像集合作为检索关键字所对应的检索结果。
上述图像检索方法和装置,通过获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合,根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系,根据相似关系建立半监督学习模型,根据半监督学习模型对图像集合进行去噪,得到去噪图像集合,返回去噪图像集合作为检索关键字所对应的检索结果,通过在对检索到的图像集合进行全局去噪,提高了图像检索的精确度。
附图说明
图1为一个实施例中图像检索方法流程示意图;
图2为一个实施例中图像检索装置结构示意图;
图3为在另一个实施例中图像检索方法的流程示意图。
具体实施方式
下面结合具体的实施例及附图对图像检索方法和装置的技术方案进行详细的描述,以使其更加清楚。
如图1所示,在一个实施例中,一种图像检索方法,包括如下步骤:
S110,获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合。
本实施例中,获取用户在搜索引擎中输入的用于检索图像的字词作为关键字,根据该关键字从图像数据库中或者其他包含有图的数据库中筛选图像,可以是根据对图像的描述、图像名称、图像所在网页的内容等基于文本的检索技术。
S130,根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系。
本实施例中,先获取图像集合中的获取图像特征值,如图像的RGB值(红绿蓝三个颜色的强度值)、亮度值、色调、饱和度或者图层数等图像特征。根据该图像特征值建立图像的特征向量,该特征向量是多维向量,每一维通过一种图像特征值表示。根据特征向量将图像集合通过第一节点集合χ={x1,…,xn}表示,其中xn是一个多维向量,每个xn代表一张图像,xn的一个维度表示一个特征值,将图像通过节点集合中的一个向量表示,便于后续计算。
根据第一节点集合建立关系矩阵W,当i≠j时,wij=exp(-||xi-xj||22),当i=j时,wij=0,通过关系矩阵W表示各图像之间的相似度关系。进一步的,对关系矩阵W做归一化处理,将图像之间的相似度关系通过0与1之间的数据表示,得第一归一化边矩阵S=D-1/2WD-1/2,其中D是对角元素为的对角矩阵,即该对角元素为wij所在列的所有元素的和。归一化边矩阵是基于两两节点之间的相互关系建立的,可用于发掘节点集合的内部结构。
S150,根据相似关系建立半监督学习模型。
本实施例中,先获取第一节点集合中前p个节点,将p个节点标定为正样本,例如,对于n个节点的集合χ={x1,…,xp,xp+1,…,xn},其前p个节点被标定为正样本,p可为预设值,也可通过谱聚类算法对节点结合进行计算得到。定义查询向量y,y是一个多维向量,对于已标定节点,y=yi=1(i≤p),对于未标定节点,y=yu=0(p+1≤u≤n),yi或者yu是多维向量y中的一个维度的值。定义预测标签向量f,其中fi(1≤i≤n)表示节点xi预测标签,f是多维向量。
进一步的,根据定义的y和f建立预测标签向量f的能量函数 E ( f ) = Σ i , j = 1 n w i j ( f i d i i - f j d j j ) 2 + μ Σ i = 1 n ( f i - y i ) 2 , 其中μ是平衡因子,可以是预设值,是平滑风险项,若xi和xj有较大的wij,则保持fi和fj更接近;是经验风险项,保持f与原始的标定y相比变化不大。
最后,根据该能量函数E(f)对f求微分可得E(f)的全局最小解f=(1-α)(I-αS)-1y,也就是得到的半监督学习模型,其中α=1/(1+μ),I是单位矩阵,S=D-1/2WD-1/2,其中D是对角元素为的对角矩阵。
将检索得到的图像集合中排在前p位的图像作为正样本,设置其标签为1,将图像集合中其他图像的标签设置为0,将设置好标签的图像集合组成二进制向量y,通过半监督学习模型计算,可以求得重新排序分数f。对f种的每以维数值从大到小排序,可得节点序列,可以对图像集合进行重新排序,排在前列的节点和正样本中的节点排列顺序比较接近。
S170,根据半监督学习模型对图像集合进行去噪,得到去噪图像集合。
在一个实施例中,上述步骤S170具体包括以下步骤:
根据半监督学习模型获取单节点预测的标签,得到标签矩阵F*=(I-αS)-1[y1.…,yi,…,yn]=(I-αS)-1其中,是基于单节点标定的查询向量yj而对xi的预测标签;
根据标签矩阵进行谱聚类分析,得到多个类团;
根据所签矩阵及类团定义所述节点的主导分数为
根据不等式判断噪声类团,其中表示对类团c中的数据取平均,表示对k个类团取平均,β是预设值;
去除噪声类团所对应的噪声图像集合,得到去噪图像集合。
本实施例中,半监督模型中的节点通常会形成主要的类团,而噪声图像对应的节点会稀释类团的密度,可以将位于同一几何形状内的节点当作同一个类团,而噪声则是离散的异常值。具体可以通过学习一个映射g(·)将原始空间扭曲到新的空间使得所有的异常值能形成一个新的类团,且所有的类团相互分开,这样便于将噪声去除。
根据半监督学习模型获取单节点预测的标签,得到标签矩阵F*=(I-αS)-1[y1.…,yi,…,yn]=(I-αS)-1其中,是基于单节点标定的查询向量yj而对xi的预测标签,如果xi和xj属于同一类团,的值应较大,且在各维度k=1,…,n的值较相近,而异常节点在几乎所有维度的值应该较小。
定义映射g:χ→Rn,然后基于χ*=g(χ)建立谱图,得到归一化边矩阵S*和归一化图拉普拉斯L*=I-S*,令为L*的特征值和特征向量对,且λi≤…≤λn。L*是块状对角矩阵,同一类团之间的元素拥有较大的绝对值。L*较小的部分特征值对应的特征向量保持着同样的块状结构,令其组成Uk=[v1,v2,…,vk],其中k是χ*中类团的数量,可由L*的从小到大排列的特征值中第k个与第k+1个出现最大间隔值所决定。然后用K均值法将聚成k类,其中包括由离散的噪声节点形成的类。如果对F*每行求和,噪声对应的行其和较小。
根据标签矩阵及类团定义xi的主导分数为同时用c∈{1,…,k}表示类团的标号。则可以根据不等式判断噪声类团,其中表示对类团c中的数据取平均,表示对k个类团取平均,β是阈值因子,可以是预设值,去除噪声类团所对应的噪声图像集合后,即得到去噪图像集合。
S190,返回去噪图像集合作为检索关键字所对应的检索结果。
本实施例中,将去噪后的图像集合返回给搜索引擎,作为检索关键字所对应的检索结果,即完成图像的检索。
上述图像检索方法,通过获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合,根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系,根据相似关系建立半监督学习模型,根据半监督学习模型对图像集合进行去噪,得到去噪图像集合,返回去噪图像集合作为检索关键字所对应的检索结果,通过在对检索到的图像集合进行全局去噪,提高了图像检索的精确度。
在一个实施例中,上述步骤S190具体包括以下步骤:
对去噪图像集合建立第二谱图模型,得到去噪图像集合所对应的第二节点集合χ'以及基于χ'的第二归一化边矩阵S';
根据谱图模型建立最大化函数 y p * = arg max ( y p T M p × p y p ( Σ i = 1 n ( y p ) i ) 2 ) - γ 1 ( Σ i = 1 n ( y p ) i ) 2 ) , 其中,M=(I-αS')-1,mii=0,γ是预设值,Mp×p是M的前p行p列;
通过迭代方法解最大化函数得到正样本;
通过正样本训练半监督学习模型,以对去噪图像集合进行重新排序,得到重排序图像集合;
返回重排序图像集合作为检索关键字的检索结果。
本实施例中,如图2所述,在去噪图像集合的基础上,建立谱图模型,进行谱聚类分析,获取主导类,以得到正样本,用于训练半监督学习模型然后对去噪图像集合进行排序,得到最终检索结果。与关键字由于与在内容上与关键字相关的图像在排在前列图像中的比例通常高于在整个图像集中的比例,所以基于排在前列的图像集建立谱图,选择主导类。主导类,即谱聚类中节点多且密度高的类团。
具体的,令χ'为去噪图像集合,S'为基于χ'的归一化边矩阵。
建立矩阵M=(I-αS')-1及mii=0。由于正样本在图像集合中排在前列的图像中更可能占有较大比例以形成主导类团,这里仅考虑M的前p维,p可以预设值。
定义p×1的查询向量yp表示排在前p幅图像的标定信息。为了使yp的标定信息准确,建立最大化函数 y p * = arg max ( y p T M p × p y p ( Σ i = 1 n ( y p ) i ) 2 ) - γ 1 ( Σ i = 1 n ( y p ) i ) 2 ) , 其中γ是平衡因子,Mp×p是M的前p行p列,是密度项,衡量由yp中标定数据形成的块状结构的密度,是尺度项,保证主导类团具有较大的尺寸,是要求的净化后的标定查询向量。
对于上述最大化函数,采用迭代方法来求解。首先,在所有维度初始化yp=1,对于每次迭代,将某一维的值从1变成0,使得增幅最大。当无法通过此方式增大时,迭代停止。剩余的1所对应的项表示对应的图像为正样本。在标定好正样本后,通过将半监督学习模型应用在标定有正样本的去噪图像集合上,即可去噪图像集合的图像进行重新排序处理。最后将重新排序的结果作为检索关键字的检索结果返回接,即得提高检索精确度的检索结果。
如图3所示,在一个实施例中,一种图像检索装置,包括获取模块110、建模模块130、学习模块150、去噪模块170和发送模块190。
获取模块110,用于获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合。
本实施例中,获取模块110获取用户在搜索引擎中输入的用于检索图像的字词作为关键字,根据该关键字从图像数据库中或者其他包含有图的数据库中筛选图像,可以是根据对图像的描述、图像名称、图像所在网页的内容等基于文本的检索技术。
建模模块130,用于根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系。
本实施例中,先获取图像集合中的获取图像特征值,如图像的RGB值(红绿蓝三个颜色的强度值)、亮度值、色调、饱和度或者图层数等图像特征。根据该图像特征值建立图像的特征向量,该特征向量是多维向量,每一维通过一种图像特征值表示。根据特征向量将图像集合通过第一节点集合χ={x1,…,xn}表示,其中xn是一个多维向量,每个xn代表一张图像,xn的一个维度表示一个特征值,将图像通过节点集合中的一个向量表示,便于后续计算。
根据第一节点集合建立关系矩阵W,当i≠j时,wij=exp(-||xi-xj||22),当i=j时,wij=0,通过关系矩阵W表示各图像之间的相似度关系。进一步的,对关系矩阵W做归一化处理,将图像之间的相似度关系通过0与1之间的数据表示,得第一归一化边矩阵S=D-1/2WD-1/2,其中D是对角元素为的对角矩阵,即该对角元素为wij所在列的所有元素的和。归一化边矩阵是基于两两节点之间的相互关系建立的,可用于发掘节点集合的内部结构。
学习模块150,用于根据相似关系建立半监督学习模型。
本实施例中,先获取第一节点集合中前p个节点,将p个节点标定为正样本,例如,对于n个节点的集合χ={x1,…,xp,xp+1,…,xn},其前p个节点被标定为正样本,p可为预设值,也可通过谱聚类算法对节点结合进行计算得到。定义查询向量y,y是一个多维向量,对于已标定节点,y=yi=1(i≤p),对于未标定节点,y=yu=0(p+1≤u≤n),yi或者yu是多维向量y中的一个维度的值。定义预测标签向量f,其中fi(1≤i≤n)表示节点xi预测标签,f是多维向量。
进一步的,根据定义的y和f建立预测标签向量f的能量函数 E ( f ) = Σ i , j = 1 n w i j ( f i d i i - f j d j j ) 2 + μ Σ i = 1 n ( f i - y i ) 2 , 其中μ是平衡因子,可以是预设值,是平滑风险项,若xi和xj有较大的wij,则保持fi和fj更接近;是经验风险项,保持f与原始的标定y相比变化不大。
最后,根据该能量函数E(f)对f求微分可得E(f)的全局最小解f=(1-α)(I-αS)-1y,也就是得到的半监督学习模型,其中α=1/(1+μ),I是单位矩阵,S=D-1/2WD-1/2,其中D是对角元素为的对角矩阵。
将检索得到的图像集合中排在前p位的图像作为正样本,设置其标签为1,将图像集合中其他图像的标签设置为0,将设置好标签的图像集合组成二进制向量y,通过半监督学习模型计算,可以求得重新排序分数f。对f种的每以维数值从大到小排序,可得节点序列,可以对图像集合进行重新排序,排在前列的节点和正样本中的节点排列顺序比较接近。
去噪模块170,用于根据半监督学习模型对图像集合进行去噪,得到去噪图像集合。
在一个实施例中,上述去噪模块170还用于根据半监督学***均,表示对k个类团取平均,β是预设值,去除所述噪声类团所对应的噪声图像集合,得到去噪图像集合。
本实施例中,半监督模型中的节点通常会形成主要的类团,而噪声图像对应的节点会稀释类团的密度,可以将位于同一几何形状内的节点当作同一个类团,而噪声则是离散的异常值。具体可以通过学习一个映射g(·)将原始空间扭曲到新的空间使得所有的异常值能形成一个新的类团,且所有的类团相互分开,这样便于将噪声去除。
根据半监督学习模型获取单节点预测的标签,得到标签矩阵F*=(I-αS)-1[y1.…,yi,…,yn]=(I-αS)-1其中,是基于单节点标定的查询向量yj而对xi的预测标签,如果xi和xj属于同一类团,的值应较大,且在各维度k=1,…,n的值较相近,而异常节点在几乎所有维度的值应该较小。
定义映射g:χ→Rn,然后基于χ*=g(χ)建立谱图,得到归一化边矩阵S*和归一化图拉普拉斯L*=I-S*,令为L*的特征值和特征向量对,且λi≤…≤λn。L*是块状对角矩阵,同一类团之间的元素拥有较大的绝对值。L*较小的部分特征值对应的特征向量保持着同样的块状结构,令其组成Uk=[v1,v2,…,vk],其中k是χ*中类团的数量,可由L*的从小到大排列的特征值中第k个与第k+1个出现最大间隔值所决定。然后用K均值法将聚成k类,其中包括由离散的噪声节点形成的类。如果对F*每行求和,噪声对应的行其和较小。
根据标签矩阵及类团定义xi的主导分数为同时用c∈{1,…,k}表示类团的标号。则可以根据不等式判断噪声类团,其中表示对类团c中的数据取平均,表示对k个类团取平均,β是阈值因子,可以是预设值,去除噪声类团所对应的噪声图像集合后,即得到去噪图像集合。
发送模块190,用于返回去噪图像集合作为检索关键字所对应的检索结果。
本实施例中,将去噪后的图像集合返回给搜索引擎,作为检索关键字所对应的检索结果,即完成图像的检索。
上述图像排序装置,通过获取检索关键字,并根据检索关键字从数据库中筛选得到图像集合,根据图像特征建立图像集合的第一谱图模型,得到图像集合中的两两图像之间的相似关系,根据相似关系建立半监督学习模型,根据半监督学习模型对图像集合进行去噪,得到去噪图像集合,返回去噪图像集合作为检索关键字所对应的检索结果,通过在对检索到的图像集合进行全局去噪,提高了图像检索的精确度。
在一个实施例中,上述发送模块190还用于对去噪图像集合建立第二谱图模型,得到去噪图像集合所对应的第二节点集合χ'以及基于χ'的第二归一化边矩阵S',根据谱图模型建立最大化函数其中,M=(I-αS')-1,mii=0,γ是预设值,Mp×p是M的前p行p列,通过迭代方法解最大化函数得到正样本,通过正样本训练半监督学习模型,以对去噪图像集合进行重新排序,得到重排序图像集合,返回重排序图像集合作为检索关键字的检索结果。
本实施例中,在去噪图像集合的基础上,建立谱图模型,进行谱聚类分析,获取主导类,以得到正样本,用于训练半监督学习模型然后对去噪图像集合进行排序,得到最终检索结果。与关键字由于与在内容上与关键字相关的图像在排在前列图像中的比例通常高于在整个图像集中的比例,所以基于排在前列的图像集建立谱图,选择主导类。主导类,即谱聚类中节点多且密度高的类团。
具体的,令χ'为去噪图像集合,S'为基于χ'的归一化边矩阵。
建立矩阵M=(I-αS')-1及mii=0。由于正样本在图像集合中排在前列的图像中更可能占有较大比例以形成主导类团,这里仅考虑M的前p维,p可以预设值。
定义p×1的查询向量yp表示排在前p幅图像的标定信息。为了使yp的标定信息准确,建立最大化函数 y p * = arg max ( y p T M p × p y p ( Σ i = 1 n ( y p ) i ) 2 ) - γ 1 ( Σ i = 1 n ( y p ) i ) 2 ) , 其中γ是平衡因子,Mp×p是M的前p行p列,是密度项,衡量由yp中标定数据形成的块状结构的密度,是尺度项,保证主导类团具有较大的尺寸,是要求的净化后的标定查询向量。
对于上述最大化函数,采用迭代方法来求解,首先,在所有维度初始化yp=1,对于每次迭代,将某一维的值从1变成0,使得增幅最大。当无法通过此方式增大时,迭代停止。剩余的1所对应的项表示对应的图像为正样本。在标定好正样本后,通过将半监督学习模型应用在标定有正样本的去噪图像集合上,即可去噪图像集合的图像进行重新排序处理。最后将重新排序的结果作为检索关键字的检索结果返回接,即得提高检索精确度的检索结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像检索方法,包括如下步骤:
S110、获取检索关键字,并根据所述检索关键字从数据库中筛选得到图像集合;
S130、根据图像特征建立所述图像集合的第一谱图模型,得到所述图像集合中的两两图像之间的相似关系,其中该步骤包括以下过程:
获取图像特征值,建立图像的特征向量,
根据所述特征向量将所述图像集合通过第一节点集合表示,
根据所述第一节点集合建立关系矩阵,通过关系矩阵表示各图像之间的相似度关系,
对所述关系矩阵做归一化处理,将图像之间的相似度关系通过0与1之间的数据表示,得到第一归一化边矩阵;
S150、根据所述相似关系建立半监督学习模型,其中该步骤包括:
获取第一节点集合中前p个节点,将p个节点标定为正样本,定义查询向量y,其中对于已标定节点,y=yi=1(1≤i≤p),对于未标定节点,y=yu=0(p+1≤u≤n),定义预测标签向量f,其中fi(1≤i≤n)表示节点xi预测标签,f是多维向量;
根据定义的y和f建立预测标签向量f的能量函数,根据该能量函数对f求微分可得的能量函数的全局最小解,获得所述半监督学习模型;
S170、根据所述半监督学习模型对所述图像集合进行去噪,得到去噪图像集合,其中该步骤包括:
根据半监督学习模型获取单节点预测的标签,得到标签矩阵,
根据标签矩阵进行谱聚类分析,得到多个类团,
根据标签矩阵及类团定义所述节点的主导分数 是基于单节点标定的查询向量yj而对节点xi的预测标签;
根据不等式判断噪声类团,其中表示对类团c中的数据取平均,表示对k个类团取平均,β是预设值;
去除噪声类团所对应的噪声图像集合,得到去噪图像集合;
S190、返回所述去噪图像集合作为所述检索关键字所对应的检索结果,其中该步骤包括:
对所述去噪图像集合建立第二谱图模型,得到所述去噪图像集合所对应的第二节点集合以及基于第二节点集合的第二归一化边矩阵;
根据所述第二谱图模型建立最大化函数;
通过迭代方法解所述最大化函数得到正样本;
通过所述正样本训练所述半监督学习模型,以对所述去噪图像集合进行重新排序,得到重排序图像集合;
返回所述重排序图像集合作为所述检索关键字的检索结果。
2.根据权利要求1所述的图像检索方法,其特征在于,所述根据图像特征建立所述图像集合的第一谱图模型,得到所述图像集合中的两两图像之间的相似关系的步骤中,
根据所述特征向量将所述图像集合通过第一节点集合χ={x1,…,xn}表示,其中xn是一个多维向量,xn的一个维度表示一个特征值;
根据所述第一节点集合建立的关系矩阵W表示为,当i≠j时,wij=exp(-||xi-xj||22);当i=j时,wij=0;
对所述关系矩阵W做归一化处理得的第一归一化边矩阵表示为S=D-1/2WD-1/2,其中D是对角元素为的对角矩阵。
3.根据权利要求2所述的图像检索方法,其特征在于,所述根据所述相似关系建立半监督学习模型的步骤中,
建立所述预测标签向量f的能量函数表示为:
其中μ是平衡因子;
根据所述能量函数对f求微分可得半监督学习模型表示为:
f=(1-α)(I-αS)-1y,其中α=1/(1+μ),I是单位矩阵。
4.根据权利要求3所述的图像检索方法,其特征在于,所述根据所述半监督学习模型对所述图像集合进行去噪,得到去噪图像集合的步骤中,
根据所述半监督学习模型获取单节点预测的标签,得到的标签矩阵表示为:
F*=(I-αS)-1[y1.…,yi,…,yn]=(I-αS)-1其中,是基于单节点标定的查询向量yj而对xi的预测标签。
5.根据权利要求4所述的图像检索方法,其特征在于,所述返回所述去噪图像集合作为所述检索关键字所对应的检索结果的步骤中,
根据所述第二谱图模型建立的最大化函数表示为:
其中,M=(I-αS')-1,mii=0,γ是预设值,Mp×p是M的前p行p列,S'表示为基于所述去噪图像集合所对应的第二节点集合χ'的第二归一化边矩阵。
6.一种图像检索装置,包括:
获取模块,用于获取检索关键字,并根据所述检索关键字从数据库中筛选得到图像集合;
建模模块,用于根据图像特征建立所述图像集合的第一谱图模型,得到所述图像集合中的两两图像之间的相似关系,其中包括:
获取图像特征值,建立图像的特征向量,
根据所述特征向量将所述图像集合通过第一节点集合表示,
根据所述第一节点集合建立关系矩阵,通过关系矩阵表示各图像之间的相似度关系,
对所述关系矩阵做归一化处理,将图像之间的相似度关系通过0与1之间的数据表示,得到第一归一化边矩阵;
学习模块,用于根据所述相似关系建立半监督学习模型,其中包括:
获取第一节点集合中前p个节点,将p个节点标定为正样本,定义查询向量y,其中对于已标定节点,y=yi=1(1≤i≤p),对于未标定节点,y=yu=0(p+1≤u≤n),定义预测标签向量f,其中fi(1≤i≤n)表示节点xi预测标签,f是多维向量;
根据定义的y和f建立预测标签向量f的能量函数,根据该能量函数对f求微分可得的能量函数的全局最小解,获得所述半监督学习模型;
去噪模块,用于根据所述半监督学习模型对所述图像集合进行去噪,得到去噪图像集合,其中包括:
根据半监督学习模型获取单节点预测的标签,得到标签矩阵,
根据标签矩阵进行谱聚类分析,得到多个类团,
根据标签矩阵及类团定义所述节点的主导分数 是基于单节点标定的查询向量yj而对节点xi的预测标签;
根据不等式判断噪声类团,其中表示对类团c中的数据取平均,表示对k个类团取平均,β是预设值;
去除噪声类团所对应的噪声图像集合,得到去噪图像集合;
发送模块,用于返回所述去噪图像集合作为所述检索关键字所对应的检索结果,其中包括:
对所述去噪图像集合建立第二谱图模型,得到所述去噪图像集合所对应的第二节点集合以及基于第二节点集合的第二归一化边矩阵;
根据所述第二谱图模型建立最大化函数;
通过迭代方法解所述最大化函数得到正样本;
通过所述正样本训练所述半监督学习模型,以对所述去噪图像集合进行重新排序,得到重排序图像集合;
返回所述重排序图像集合作为所述检索关键字的检索结果。
7.根据权利要求6所述的图像检索装置,其特征在于,所述建模模块还用于根据所述特征向量将所述图像集合通过第一节点集合χ={x1,…,xn}表示,其中xn是一个多维向量,xn的一个维度表示一个特征值,根据所述第一节点集合建立的关系矩阵W表示为,当i≠j时,wij=exp(-||xi-xj||22);当i=j时,wij=0,对所述关系矩阵W做归一化处理得的第一归一化边矩阵表示为:S=D-1/2WD-1/2,其中D是对角元素为的对角矩阵。
8.根据权利要求7所述的图像检索装置,其特征在于,所述根据所述学习模块还用于建立所述预测标签向量f的能量函数表示为:
其中μ是平衡因子;
根据所述能量函数对f求微分可得半监督学习模型表示为:
f=(1-α)(I-αS)-1y,其中α=1/(1+μ),I是单位矩阵。
9.根据权利要求8所述的图像检索装置,其特征在于,所述根据所述去噪模块还用于根据所述半监督学习模型获取单节点预测的标签,得到的标签矩阵表示为:
F*=(I-αS)-1[y1.…,yi,…,yn]=(I-αS)-1,其中,是基于单节点标定的查询向量yj而对xi的预测标签。
10.根据权利要求9所述的图像检索装置,其特征在于,所述发送模块还用于根据所述第二谱图模型建立的最大化函数表示为:
其中,M=(I-αS')-1,mii=0,γ是预设值,Mp×p是M的前p行p列,通过迭代方法解所述最大化函数得到正样本,通过所述正样本训练所述半监督学习模型,以对所述去噪图像集合进行重新排序,得到重排序图像集合,返回所述重排序图像集合作为所述检索关键字的检索结果,S'表示为基于所述去噪图像集合所对应的第二节点集合χ'的第二归一化边矩阵。
CN201210572371.8A 2012-12-25 2012-12-25 图像检索方法和装置 Active CN103064941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210572371.8A CN103064941B (zh) 2012-12-25 2012-12-25 图像检索方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210572371.8A CN103064941B (zh) 2012-12-25 2012-12-25 图像检索方法和装置

Publications (2)

Publication Number Publication Date
CN103064941A CN103064941A (zh) 2013-04-24
CN103064941B true CN103064941B (zh) 2016-12-28

Family

ID=48107571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210572371.8A Active CN103064941B (zh) 2012-12-25 2012-12-25 图像检索方法和装置

Country Status (1)

Country Link
CN (1) CN103064941B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440332B (zh) * 2013-09-05 2016-08-17 南京大学 一种基于关系矩阵正则化增强表示的图像检索方法
CN103699612B (zh) * 2013-12-13 2017-10-13 中国科学院深圳先进技术研究院 一种图像检索排序的方法及装置
CN104484438A (zh) * 2014-12-23 2015-04-01 小米科技有限责任公司 图片处理方法及装置
CN109002442B (zh) * 2017-06-06 2023-04-25 株式会社日立制作所 一种基于医生相关属性检索诊断病例的装置及方法
CN107273547B (zh) * 2017-07-18 2021-01-29 三六零科技集团有限公司 移动终端搜索结果页三维呈现方法及装置
CN109146825B (zh) * 2018-10-12 2020-11-27 深圳美图创新科技有限公司 摄影风格转换方法、装置及可读存储介质
CN109740062B (zh) * 2019-01-04 2020-10-16 东北大学 一种基于学习产出的搜索任务聚类方法
CN109766470A (zh) * 2019-01-15 2019-05-17 北京旷视科技有限公司 图像检索方法、装置及处理设备
CN110413848B (zh) * 2019-07-19 2022-04-15 上海赜睿信息科技有限公司 一种数据检索方法、电子设备和计算机可读存储介质
CN111507407B (zh) * 2020-04-17 2024-01-12 腾讯科技(深圳)有限公司 图像分类模型的训练方法及装置
CN113127663B (zh) * 2021-04-01 2024-02-27 深圳力维智联技术有限公司 目标图像搜索方法、装置、设备及计算机可读存储介质
CN113360698A (zh) * 2021-06-30 2021-09-07 北京海纳数聚科技有限公司 一种基于图文语义转移技术的照片检索方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562060B2 (en) * 2006-03-31 2009-07-14 Yahoo! Inc. Large scale semi-supervised linear support vector machines
CN102096825A (zh) * 2011-03-23 2011-06-15 西安电子科技大学 基于图的半监督高光谱遥感图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519201B2 (en) * 2005-10-28 2009-04-14 Honda Motor Co., Ltd. Detecting humans via their pose

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562060B2 (en) * 2006-03-31 2009-07-14 Yahoo! Inc. Large scale semi-supervised linear support vector machines
CN102096825A (zh) * 2011-03-23 2011-06-15 西安电子科技大学 基于图的半监督高光谱遥感图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彩色图像分割中基于图上半监督学习算法研究;陈蓉,孙剑,徐宗本;《西安交通大学学报》;20110228;第45卷(第2期);11-14,20 *

Also Published As

Publication number Publication date
CN103064941A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
CN103064941B (zh) 图像检索方法和装置
US11475360B2 (en) System and method for relational time series learning with the aid of a digital computer
Erisoglu et al. A new algorithm for initial cluster centers in k-means algorithm
EP3657392A1 (en) Image feature acquisition
CN109471944B (zh) 文本分类模型的训练方法、装置及可读存储介质
CN105335756B (zh) 一种基于鲁棒学习模型的图像分类方法与图像分类***
WO2022126810A1 (zh) 文本聚类方法
Kim et al. Color–texture segmentation using unsupervised graph cuts
US20080140592A1 (en) Model selection for cluster data analysis
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
Doersch et al. Context as supervisory signal: Discovering objects with predictable context
Drab et al. Clustering in analytical chemistry
Chakraborty et al. Simultaneous variable weighting and determining the number of clusters—A weighted Gaussian means algorithm
EP3591545A1 (en) Method for co-clustering senders and receivers based on text or image data files
Melnykov Challenges in model‐based clustering
CN104820841B (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN108985161B (zh) 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法
Tang et al. Research on weeds identification based on K-means feature learning
EP3660750A1 (en) Method and system for classification of data
Abisha et al. Application of image processing techniques and artificial neural network for detection of diseases on brinjal leaf
Zhang et al. LESA: Longitudinal elastic shape analysis of brain subcortical structures
Buvaneswari et al. Detection and Classification of Alzheimer’s disease from cognitive impairment with resting-state fMRI
Wang et al. SpecVAT: Enhanced visual cluster analysis
CN113553326A (zh) 电子表格数据处理方法、装置、计算机设备和存储介质
CN112836754A (zh) 一种面向图像描述模型泛化能力评估方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant