发明内容
为了提高图像检索效率,扩大搜索结果的范围,本发明提供了一种图像检索方法,所述方法包括以下步骤:
(1)获取待查询对象的语义描述;
(2)根据图像库中图像的类别构建图像本体库;
(3)根据所述待查询对象的语义描述在所述图像本体库中进行语义查询,获取和所述待查询对象相似的图像实例以及和所述图像实例相关的语义描述;
(4)对所述图像实例的相似度进行排序,获取并输出相似度最高的图像实例及相应的语义描述。
步骤(3)中的所述语义查询具体为:
通过所述待查询对象,对所述图像本体库中的图像实例进行相似度计算。
当所述待查询对象为待查询图像时,步骤(1)中所述获取待查询对象的语义描述,具体包括:
对所述待查询图像和图像库中图像进行底层特征提取,提取待查询图像的高维特征向量和图像库中图像的高维特征向量;
根据获取到的所述图像库中图像的高维特征向量、图像库中图像的原有语义描述,构建图像库中图像的特征库;
根据所述待查询图像的高维特征向量、所述图像库中图像的高维特征向量和所述图像库中图像的原有语义描述,通过分类器获取待查询图像的语义描述。
所述根据所述待查询图像的高维特征向量、所述图像库中图像的高维特征向量和所述图像库中图像的原有语义描述,通过分类器获取待查询图像的语义描述,具体包括:
将所述图像库中图像的高维特征向量和所述图像库中图像的原有语义描述组合成图像库中图像的新的特征向量;
通过所述分类器对获取到的所述新的特征向量进行训练,获取表述所述图像库中图像的高维特征向量和所述图像库中图像的原有语义描述之间关系的模型;
通过获取到的所述模型和所述待查询图像的高维特征向量,获取待查询图像的语义描述。
当用户获取到和待查询图像相似度最高的图像实例以及和图像实例相关的语义描述后,若选择了用户反馈,所述方法还包括:
通过用户的反馈信息对所述图像本体库和所述特征库进行更新。
当所述待查询对象为待查询文本时,步骤(1)中所述获取待查询对象的语义描述,具体包括:
通过自然语言处理对所述待查询文本进行关键词提取,获取所述待查询文本的语义描述。
当用户获取到和待查询文本相似度最高的图像实例以及和图像实例相关的语义描述后,若选择了用户反馈,所述方法还包括:
通过用户的反馈信息对所述图像本体库进行更新。
本发明提供的技术方案的有益效果是:
获取待查询对象的语义描述,根据得到的语义描述到图像本体库中去检索,获取并输出相似度最高的图像实例及相应的语义描述,输出相似度排序靠前的图像作为检索结果。通过上述方法可以有效的根据待查询对象检索出与之相似的图像和对应的语义描述,提高检索的查全率和查准率,提高了图像检索效率,扩大了搜索结果的范围。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了提高图像检索效率,扩大搜索的范围,本发明实施例提供了一种图像检索方法,该方法内容如下:
随着21世纪初语义网概念的提出,图像检索技术已经不再局限于特定领域的基于内容的图像检索,而是开始研究更普适的基于语义的图像检索。基于语义的图像检索充分利用外部知识,逐步挖掘图像所包含的语义信息,能够更加智能的检索出用户需要的信息。图像语义信息主要表达为人们对图像信息的直观理解,包括图像所包含的对象、图像描述的场景、对象与对象的空间关系以及对象的行为和情感等等。这些语义特征作为高层的图像特征需要与可以自动提取的底层物理特征及图像统计特征相对应,从而建立起语义特征和底层视觉特征的联系,利用底层视觉特征来映射到语义特征,从而实现基于语义特征的图像检索。为了实现语义特征与底层特征的关联,本发明实施例引入了本体技术。本体是共享概念模型的明确的形式化规范说明。本体作为共享的概念模型是通过现象的相关概念以及现实世界的对象进行抽象建模,它所表达的知识使共同的概念表达具有普适性,同时概念之间的关系被明确定义,而且形式化的要求使得本体是机器可读的。本体一般由概念、描述概念的属性、概念之间的关系以及概念和属性之间的约束组成。
参见图1,实际应用中用户的待查询对象主要包括:待查询图像和待查询文本,用户可以输入图像进行检索,也可以输入文本进行检索。
实施例1
参见图2,以待查询对象为图像为例对该方法进行详细说明,参见下文描述:
101:对用户输入的待查询图像和图像库中图像进行底层特征提取,提取待查询图像的高维特征向量和图像库中图像的高维特征向量;
上述步骤具体为:通过对用户输入的待查询图像和图像库中的图像分别进行底层特征提取计算,分别提取图像的各个不同特征,对提取到的各个不同特征进行归一化处理和组合处理,提取高维特征向量,该提取到的高维特征向量供整个查询过程使用。
其中,图像底层特征提取作为图像检索的前提,需要利用各种标准和概念完成图像底层的特征提取,主要包括MPEG-7(Moving Pictures ExpertsGroup,动态图像专家组)标准所定义的图像特征以及其他可用的纹理、颜色及形状特征。具体实现时,根据图像的不同还可以提取到其他的特征,具体实现时,本发明实施例对此不做限制。
参见图3,对于图像库中的每一个待查询图像进行特征提取计算,分别提取到待查询图像的颜色特征、纹理特征、形状特征,再进行归一化处理和组合处理获取待查询图像的高维特征向量。
其中,具体的提取计算、归一化处理和组合处理所采取的方法可以采用现有技术中普通的方法,具体实现时,本发明实施例对此不做限制。
102:根据步骤101中获取到的图像库中图像的高维特征向量和图像库中图像的原有语义描述,构建图像库中图像的特征库;
具体地,特征库是由图像库中图像的高维特征向量、图像库中图像的原有的语义描述构成的序列。具体实现方法,为现有技术中的常规方法,本发明实施例对此不做限制。
103:根据步骤101中待查询图像的高维特征向量、图像库中图像的高维特征向量和图像库中图像的原有语义描述,通过分类器获取待查询图像的语义描述;
具体为:接受待查询图像作为查询输入,根据待查询图像的高维特征向量和图像库中图像的高维特征向量,通过SVM(Support Vector Machines,支持向量机)分类器,对待查询图像进行分类,得到查询图像的语义描述。
该步骤103具体为:将图像库中图像的高维特征向量和图像库中图像的语义描述,组合成图像库中图像的新的特征向量;通过分类器对获取到的新的特征向量进行训练,获取表述图像库中图像的高维特征向量和图像库中图像的原有语义描述之间关系的模型;根据获取到的模型和待查询图像的高维特征向量,获取待查询图像的语义描述。
具体地,分类技术可以采用SVM分类器,也可以采用其他基于机器学习类型的分类器,具体实现时,本发明实施例对此不做限制。
104:根据图像库中图像的类别构建图像本体库;
具体地,该图像本体库是一个包含对象和关系的语义网络,其中,语义网络的节点表示图像中不同的对象,边表示对象之间的关系,这为后续检索过程中的语义查询提供基础。
105:根据步骤103中获取到的待查询图像的语义描述在步骤104中的图像本体库中进行语义查询,获取和待查询图像相似的图像实例以及和图像实例相关的语义描述;
其中,语义查询具体为:通过待查询图像,对图像本体库中的图像实例进行相似度计算。
106:对步骤105中的图像实例的相似度进行排序,获取并输出相似度最高的图像实例及相应的语义描述;
其中,对图像实例的相似度排序可以采用任意一种排序方法,例如:由大到小、由小到大等排序方法,具体实现时,本发明实施例对此不做限制。本发明实施例对相似度最高的图像实例的数量不做限制。
当用户获取到和待查询图像相似度最高的图像实例和图像实例相关的语义描述后,若选择了用户反馈,即用户提交了对结果的满意度或者更改了结果的语义描述,该方法还包括用户反馈,具体为:
107:根据用户的反馈信息对步骤104中的图像本体库和步骤102中的特征库进行更新。
参见图4,为用户反馈示例,用户根据检索结果(花的图像和原语义描述)进行反馈,flower green pink为用户的反馈信息,是对图像新的语义描述,并且对步骤104中的图像本体库进行更新。
综上所述,本发明实施例提供了一种图像检索方法,获取待查询图像的语义描述,根据得到的语义描述到图像本体库中去检索,获取并输出相似度最高的图像实例及相应的语义描述,输出相似度排序靠前的图像作为检索结果。通过上述方法可以有效的根据待查询图像检索出与之相似的图像和对应的语义描述,提高检索的查全率和查准率,提高了图像检索效率,扩大了搜索结果的范围。
实施例2
参见图5,以待查询对象为文本为例对该方法进行详细说明,参见下文描述:
201:通过自然语言处理对待查询文本进行关键词提取,获取待查询文本的语义描述;
具体地,自然语言处理采用现有技术中的方法,本发明实施例对此不做限制。
202:根据图像库中图像的类别构建图像本体库;
203:根据步骤201中获取到的待查询文本的语义描述在步骤202的图像本体库中进行语义查询,获取和待查询文本相似的图像实例以及和图像实例相关的语义描述;
其中,语义查询具体为:通过待查询文本,对图像本体库中的图像实例进行相似度计算。
204:对步骤203中的图像实例的相似度进行排序,获取并输出相似度最高的图像实例及相应的语义描述;
当用户获取到和待查询文本相似度最高的图像实例和图像实例相关的语义描述后,若选择了用户反馈,即用户提交了对结果的满意度或者更改了结果的语义描述,该方法还包括用户反馈,具体为:
205:根据用户的反馈信息对步骤202中的图像本体库进行更新。
参见图6,为用户反馈示例,用户根据检索结果(花的图像和原语义描述)进行反馈,lower green pink为用户的反馈信息,对图像新的语义描述,并且对步骤202中的图像本体库进行更新。
其中,步骤202-205中的详细描述参见实施例1,在此不再赘述。
综上所述,本发明实施例提供了一种图像检索方法,获取待查询文本的语义描述,根据得到的语义描述到图像本体库中去检索,获取并输出相似度最高的图像实例及相应的语义描述,输出相似度排序靠前的图像作为检索结果。通过上述方法可以有效的根据待查询文本检索出与之相似的图像和对应的语义描述,提高检索的查全率和查准率,提高了图像检索效率,扩大了搜索结果的范围。
本发明实施例以2个简单的试验来验证本发明实施例提供的方法的有效性,详见下文描述:
如果待查询对象为图像查询,给出一幅示例图像,如图7所示,对待查询图像进行特征提取,对颜色(color)、纹理(texture)和形状(shape)特征依次计算,将结果组成特征向量(示例图像的提取结果按主颜色特征分为36维向量),结果如下:
1:0.066636、2:0.085202、3:0.107628、4:0.166268、5:0.468474、6:0.619393、7:0.626102、8:0.627113、9:0.629227、10:0.639062、11:0.645404、12:1.0、13:0.012867、14:0.046415、15:0.117738、16:0.258180、17:0.434834、18:0.619944、19:0.812408、20:0.903768、21:0.930698、22:0.942738、23:0.950919、24:1.0、25:0.069485、26:0.198069、27:0.423805、28:0.602389、29:0.643290、30:0.672702、31:0.712683、32:0.767738、33:0.839154、34:0.919577、35:0.977849、36:1.0。
调用SVM分类器对特征向量进行分类,获取待查询图像的语义描述,结果如下:
第一层:outdoor(表示户外图像)
第二层:nature(表示自然图像)
第三层:plant(表示植物图像)
第四层:flower(表示花图像)
通过上述过程得到待查询图像的语义描述,再根据得到的语义描述到图像本体库中去检索,获取并输出相似度最高的图像实例及相应的语义描述,输出相似度排序靠前的图像作为检索结果。参见图8,为相似度排序靠前的图像和该图像相应的语义描述,通过和图7之间的对比,可以验证通过该方法获得了较高的准确率。用户可以选择是否进行反馈,如果用户选择反馈,则可以对检索结果中的任意图片进行满意度评价,即提交一份满意度调查表单,同时可以选择更改对应图像的语义描述。
如果待查询对象为文本查询,用户需要输入一段文本描述,如“绿叶的背景中有一束粉红色的鲜花”。
对于文本输入,对其关键词进行提取结果如下:
[叶],[绿色];[花],[粉红色]。
再根据得到的语义描述到图像本体库中去检索,获取并输出相似度最高的图像实例及相应的语义描述,输出相似度排序靠前的图像作为检索结果。参见图9,为相似度排序靠前的图像和该图像相应的语义描述,通过和图7之间的对比,可以验证通过该方法获得了较高的准确率。用户可以选择是否进行反馈,如果用户选择反馈,则可以对检索结果中的任意图片进行满意度评价,即提交一份满意度调查表单。同时可以选择更改对应图像的语义描述。
通过上述实验验证,可以看出本发明实施例提供的方法的可行性,通过图像查询或文本查询方式,可以在图像本体库中进行语义检索,分别得到相似度最高的图像实例和相应的语义描述,提高了图像检索效率,扩大了搜索结果的范围。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。