CN102262670A - 一种基于移动可视设备的跨媒体信息检索***及方法 - Google Patents

Abstract

本发明公开一种基于移动可视设备的跨媒体信息检索***，包括：用于将图像输入到所述移动可视设备内的图像输入模块、用于输入与图像相关的文字信息第文本输入模块、用于检索出与输入的文字信息关联的图像集合并建立生成文本相关的图像集的基于文本的互联网图像检索模块、用于在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集的基于内容的图像检索模块及用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果第检索处理模块。本发明结合文本和图像检索，实现了准确快速的跨媒体、可视化检索。本发明同时还公开了一种基于移动可视设备的跨媒体信息检索方法。

Description

一种基于移动可视设备的跨媒体信息检索***及方法

技术领域

本发明涉及信息检索领域，特别涉及一种基于移动可视设备的跨媒体信息检索***及方法。

背景技术

随着检索技术越来越流行，检索也逐渐成为一个很有商业前景的产业。例如，检索引擎供应商通过在返回的结果中附带付费广告的方式来盈利，以研究更新的技术，提供更新的服务，吸引更多的用户和获取更多的广告收入。现在，这个竞争已经转向无线领域。包括传统的信息检索，邻近商店和物品的本地信息检索，甚至是背景图像的检索。

基于移动可视设备的移动检索是一个全新的由实际应用需求催生的研究课题。随着人们生活水平的日益提高，科学技术的不断发展，移动可视设备例如手机、笔记本电脑等广泛应用到人们的生活中，而逐渐形成的移动检索的体系将改变人们寻找及购买日常商品、移动内容以及本地信息服务的方式。

传统信息检索技术主要是面向文本的，采用文本检索技术，通常是利用一组关键字或词组成的查询来检索定位文本和数据库中相关文本文档。如果某个文档中包含较多和查询项相关的文本，那么就认为该文档比其他包含较少查询项的文档更相关。对于希望利用多媒体数据资源的用户来说，一般要求他们具备一定的知识背景，才能提交符合IR(Information Retrieval，信息检索)***要求或IR***可以理解的查询.但是，在实际应用中，大量用户对于某些概念语义的精通程度并不足以明确叙述其查询意愿，此时如果IR***允许用户能够以多种媒体信息来描述方式输入查询意愿，那么将检索到更多符合心愿的查询结果。

对图像和视频等多媒体信息集来说，目前绝大多数检索***仍采取文本检索技术，例如Google的图像和视频检索功能仍是基于文本关键词的，这些关键词可能来源于图片周围的文本，文件名等，其中少量的也可能来源于人工标注。所以近些年来，许多研究人员试图实现基于内容的多媒体信息查询技术，以弥补上述多媒体信息检索技术的缺陷。国内外有报多研究人员在积极研究基于内容的多媒体信息检索技术，其中包括对图像、视频和音频等多媒体信息的内容处理和分析(parsing)、自动标注(annotation)，构建索引(indexing)和相似检索(retrieval)等。然而，在实际应用中，大量用户对于某些概念语义的精通程度并不足以明确叙述其查询意愿，此时如果IR***允许用户能够以多种媒体信息来描述方式输入查询意愿，那么将检索到更多符合心愿的查询结果。不能够以某一种或多种媒体表达方式描述的用户查询，在不同类型媒体表达方式描述的媒体信息之间进行查找和相关匹配，仅仅从单一媒体检索，使得用户检索的正确性大大降低，未能实现跨媒体的信息检索是当下信息检索技术需要解决的主要问题。

发明内容

本发明的目的在于提供一种基于移动可视设备的跨媒体信息检索***及方法，能够结合文本和图像检索，实现跨媒体的信息检索，从而获取到更精确的检索结果。

为实现上述目的，本发明提供一种基于移动可视设备的跨媒体信息检索的***，包括：图像输入模块、文本输入模块、基于文本的互联网图像检索模块、基于内容的图像检索模块及检索处理模块，所述图像输入模块用于将图像输入到所述移动可视设备内；所述文本输入模块用于输入与图像相关的文字信息；所述基于文本的互联网图像检索模块用于检索出与输入的文字信息关联的图像集合，并建立生成文本相关的图像集；所述基于内容的图像检索模块用于在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集；所述检索处理模块用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果。

较佳地，所述移动可视设备内置有摄像头，所述图像通过摄像头采集并传送到图像输入模块中。

较佳地，所述移动可视设备为手机。

较佳地，所述***还包括查询扩展模块，所述查询扩展模块用于对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索模块以所述文本集进行关联图像的检索。

相应地，本发明还提供了一种基于移动可视设备的跨媒体信息检索方法，，包括以下步骤：步骤1：获取图像；步骤2：输入与所述图像关联的文字信息；步骤3：基于文本的互联网图像检索，即以所输入的文字信息为索引在互联网数据库中进行检索；步骤4：提取并生成文本相关的图像集；步骤5：基于内容的图像检索，在文本相关的图像集中检索与所述图像匹配的图像；步骤6：提取并生成视觉相关的图像集；步骤7：提取图像所在网页中的关键词；步骤8：提取在线内容；步骤9：显示检索结果。

较佳地，在基于文本的互联网图像检索的步骤之前还包括查询扩展步骤，所述查询扩展步骤对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索步骤以所述文本集进行关联图像的检索。

本发明的基于移动可视设备的跨媒体信息检索***及方法，是通过基于内容的图像检索方法来度量查询图片和文本相关的图像集中的图像的相似程度，从而找到既文本相关义视觉上相似的图片。一般图像常用的描述符主要有：色彩、纹理、形状等特征。由于纹理特征不足以分辨移动设备上获取的图像。以前一些移动设备上的信息检索工作大多只使用基于内容的图像检索方法来查询相似的图像，以挖掘更深层的信息。然而，在本***中，考虑到计算消耗和在大量图像上搜索的精确度，利用输入图像相关的文字信息，通过基于文本的互联网图像检索先获取生成文本相关图像集，而基于内容的图像检索匹配任务只是在小数量的文本相关图像集上进行，通过这种多模态跨媒体的输入检索方案，实现更高准确度和更快速度的信息检索。

本发明的有益效果主要体现如下：

第一，本***的查询输入可以是多模态的，例如，一幅图像附带一些提示单词；

第二，本***会使用一个动态的文本相关的图像集而不是使用一个特定的数据库；

第三，在本***中，针对更广泛的应用和大规模的数据。因此，除了精确性，搜索效率的提高也是这个***高效的一个重要因素；

第四，传统的基于内容的图像检索(Content Based Image Retrieval，简称CBIR)方法在大数据量下的效果一般不佳，而本***方案采用的混合图像匹配方法的结果的正确率要高的多。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的***结构示意图；

图2为本发明的方法流程图；

图3为本发明的一个实施方式图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明通过结合基于文本的互联网检索技术和基于内容的图像检索技术，把跨媒体检索的技术运用到移动检索中。提出了一套在大数据需求下进行可视化检索方法用以实现移动设备的移动检索方案，支持多用户进行多模态的查询，实现了移动设备上直观的便捷的跨媒体、可视化检索。

参考图1，本发明提供的一种基于移动可视设备的跨媒体信息检索的***，包括：图像输入模块100、文本输入模块200、基于文本的互联网图像检索模块400、基于内容的图像检索模块500及检索处理模块600，所述图像输入模块100用于将图像输入到所述移动可视设备内；所述文本输入模块200用于输入与图像相关的文字信息；所述基于文本的互联网图像检索模块400用于检索出与输入的文字信息关联的图像集合，并建立生成文本相关的图像集；所述基于内容的图像检索模块500用于在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集；所述检索处理模块600用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果。较佳地，所述***还包括查询扩展模块300，所述查询扩展模块300用于对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索模块400以所述文本集进行关联图像的检索。

较佳地，所述移动可视设备为手机。较佳地，所述移动可视设备内置有摄像头，所述图像通过摄像头采集并传送到图像输入模块100中。可以理解地，所述图像也可以通过邮件或彩信mms的形式传送到手机中，而所述移动可视设备也可以是笔记本电脑或其他类似的移动智能设备。基于移动可视设备的跨媒体信息检索的普遍问题是难以获得查询图像样本(query image)，通过内置有摄像头手机拍摄进行获取图像，实用性强，操作方便，使可检索范围增大。以前的一些工作也利用这些手机上内置的摄像头来查找视觉特征相似的图像。然而大多数是基于一个有限且确定的数据库，并且只能进行单纯的图像查询。更多的互联网图像虽然可以通过基于文本的图像搜索引擎被加入进来。但检索采用的仍然是特定且规模很有限的初始图像库，不适合于在大规模数据上进行一般的搜索。本***通过基于文本的互联网检索获取文本相关图像集，再从该有限的文本相关图像集中进行基于内容的图像检索，提高检索的速度及准确度。

参考图2，相应地，本发明还提供了一种基于移动可视设备的跨媒体信息检索方法，，包括以下步骤：步骤1：获取图像；步骤2：输入与所述图像关联的文字信息；步骤3：基于文本的互联网图像检索，即以所输入的文字信息为索引在互联网数据库中进行检索；步骤4：提取并生成文本相关的图像集；步骤5：基于内容的图像检索，在文本相关的图像集中检索与所述图像匹配的图像；步骤6：提取并生成视觉相关的图像集；步骤7：提取图像所在网页中的关键词；步骤8：提取在线内容；步骤9：显示检索结果。

较佳地，在基于文本的互联网图像检索的步骤之前还包括查询扩展步骤，所述查询扩展步骤对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索步骤以所述文本集进行关联图像的检索。

配合参考图3，本发明的基于移动可视设备的跨媒体信息检索***支持多模态跨媒体的输入。即查询输入可以是拍摄的图像和提示性的词语。首先根据图像添加输入相关的解释性的词，由基于文本的图像搜索引擎检索生成一个文本相关的图像集合。然后运用基于内容的图像检索方法在这个集合中找出视觉很相似的图像。从最终找到的图像所在的网页中提取关键短语(key phrase)，并从这些关键短语中抽取出全局的关键短语，从而在在线的百科全书或是其他专门性的搜索引擎获取有关的信息。

在提交基于文本的查询词时，用户常常很难给出所要查找信息的完整描述。特别在移动设备上，用户通常只能用一两个词来表达他们想要的信息。这些没有很好定义的查询词只能提供模糊的描述，因此，会出现信息不足而导致比较差的搜索结果。为了解决这个问题和揭示少数的查询词以外的信息，本发明采用了扩展查询输入词的方法，从而得到一系列的新查询词。这里，查询词的扩展基本上是使用词汇的语义上的相关性来进行，而基本查询扩展程序是基于一个大型的通用词忙***。它覆盏盖了大量英语中的名词，动词，形容词和副词。这些词基本上以同义词形式组织在一起，称为同义集。这些同义集根据定义在他们上的词汇相关性被组织在一起。如果在最初的输入词中存在预先定义的禁止单词中无实意的单词，如介词“的”(of)，冠词“这”(the)和代词“一个”(one)等等，这些单词将先被删掉.余下的单词通过算法进行转换，并由他们的词干(stems)来表示。根据词的关系，把在同义和下义并集中列出来的单词加到新生成的文本集中。除了基于词汇的方法外，还可以使用基于某方面知识的查询扩展方法。例如通过一些特定领域的知识库和人工智能的方法来补充与特定场景相关的词语。

把这个扩展的文本集看作一个文本特征向量，在基于文本的互联网图像检索过程中，就可以通过单词索引进行特征向量的匹配。即是把扩展集中的所有单词以“或”关系送到检索***中。这样，与查询文本集在文本相关度上比较接近的图像会被给予更高的等级。根据这个等级，一定数量的图片被选出来，构成一个文本相关的图像集，从而继续从这个图像集中找出视觉上相关的图像。

基于内容图像检索方法在处理底层的图像特征和高层的语义概念方面还有很大的断层，正确的图像可能并不在检索结果列表的前面。另外，因为移动设备上低带宽和小屏幕的限制，不可能给移动用户提供太多的结果图像。为了解决上述的困难和发掘Web内容中隐含的有用信息，在本***中，对与图像相关的网页进行关键词抽取，并把这个关键词与图像存储在一块并同时索引，如图2中的索引II，索引的内容包括图像的标识码(ID)、视觉特征、图片内容和页数。关键词是基于网页中单词的统计特性和结构特性的分析进行脱机抽取的。在选择关键词之前，根据HTML DOM(Document Object Model)树中提出的结构布局抽取某个图像的文本上下文信息。其中，图像明显分隔符之问的内容作为文本的上下文信息。所有得到的周围文本片断(surrounding text segments)被看作收入到固一篇篇章(article)中。接下去，基于这个篇章从中抽取出这个图像的关键词。

本发明的基于移动可视设备的跨媒体信息检索***，是通过基于内容的图像检索方法来度量查询图片和文本相关的图像集中的图像的相似程度，从而找到既文本相关义视觉上相似的图片。一般图像常用的描述符主要有：色彩、纹理、形状等特征。由于纹理特征不足以分辨移动设备上获取的图像。以前一些移动设备上的信息检索工作大多只使用基于内容的图像检索方法来查询相似的图像，以挖掘更深层的信息。然而，在本***中，考虑到计算消耗和在大量图像上搜索的精确度，利用输入图像相关的文字信息，通过基于文本的互联网图像检索先获取生成文本相关图像集，而基于内容的图像检索匹配任务只是在小数量的文本相关图像集上进行，通过这种多模态跨媒体的输入检索方案，实现更高准确度和更快速度的信息检索。

本发明的有益效果主要体现如下：

第一，本***的查询输入可以是多模态的，例如，一幅图像附带一些提示单词；

第二，本***会使用一个动态的文本相关的图像集而不是使用一个特定的数据库；

第三，在本***中，针对更广泛的应用和大规模的数据。因此，除了精确性，搜索效率的提高也是这个***高效的一个重要因素；

第四，传统的基于内容的图像检索(Content Based Image Retrieval，简称CBIR)方法在大数据量下的效果一般不佳，而本***方案采用的混合图像匹配方法的结果的正确率要高的多。

本发明的目的是提供一中移动搜索***的技术方案，来说明如何运用跨媒体检索的技术进行移动搜索。就两种通常的用户信息需求提出了一套在大数据量下进行可视化搜索的算法，从而实现了在有内置摄像头的移动设备上支持用户进行多模态、跨媒体查询的移动搜索方案。需要说明的是，本发明所提到的技术方案，是利用移动设备的内置摄像头进行检索的研究，都是围绕着基于文本的互联网图像检索和基于内容的图像检索的方法。返回的是与查询图像全局特征上比较相似的图像。基于文本的搜索引擎及基于内容的图像检索的具体为本领域技术人员所熟知，因此不再详述。而对于第一类的信息要求.则需要进行更为精细(fine-grain)的匹配方案去查找包含与查询图片一样的显著物体或场景，我们这里把这类图像称为复本图像(identical image)。通过局部描述符识别同样的物体或场景的方法，在目标识别和复本图像检测方面可以取得满意的结果。利用局部特征检测子检测特征点或区域，同时提取出特征点周围的特征，并用局部描述符将其表现出来。局部描述符在处理因缩放、裁剪、剪切、旋转、局部变暗或增亮和对比度变化等操作而发生变化的图像方面取得很好的效果。同时，它们对于一定程度的视角和光照变化也具有不变性。

以上对本发明实施例所提供的一种基于移动可视设备的跨媒体信息检索的***及方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于移动可视设备的跨媒体信息检索***，其特征在于，包括：

图像输入模块，用于将图像输入到所述移动可视设备内；

文本输入模块，用于输入与图像相关的文字信息；

基于文本的互联网图像检索模块，用于检索出与输入的文字信息关联的图像集合，并建立生成文本相关的图像集；

基于内容的图像检索模块，在文本相关的图像集中通过检索与所输入图像匹配的图像，并建立生成视觉相关的图像集；

检索处理模块，用于从最终找到的视觉相关的图像集中的图像所在的网页中提取关键词，进而提取相关在线内容，并显示检索结果。

2.如权利要求1所述的***，其特征在于，所述移动可视设备内置有摄像头，所述图像通过摄像头采集并传送到图像输入模块中。

3.如权利要求1或2所述的***，其特征在于，所述移动可视设备为手机。

4.如权利要求1所述的***，其特征在于，还包括查询扩展模块，所述查询扩展模块用于对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索模块以所述文本集进行关联图像的检索。

5.一种基于移动可视设备的跨媒体信息检索方法，其特征在于，包括以下步骤：

步骤1：获取图像；

步骤2：输入与所述图像关联的文字信息；

步骤3：基于文本的互联网图像检索，即以所输入的文字信息为索引在互联网数据库中进行检索；

步骤4：提取并生成文本相关的图像集；

步骤5：基于内容的图像检索，在文本相关的图像集中检索与所述图像匹配的图像；

步骤6：提取并生成视觉相关的图像集；

步骤7：提取图像所在网页中的关键词；

步骤8：提取在线内容；

步骤9：显示检索结果。

6.如权利要求5所述的方法，其特征在于，所述移动可视设备内置有摄像头，所述步骤1中的图像通过所述摄像头获取。

7.如权利要求5或6所述的方法，其特征在于，所述移动可视设备为手机。

8.如权利要求5所述的方法，其特征在于，在基于文本的互联网图像检索的步骤之前还包括查询扩展步骤，所述查询扩展步骤对所输入的文字信息进行扩展并将与所述文字信息同义的其他文字一起生成文本集，所述基于文本的互联网图像检索步骤以所述文本集进行关联图像的检索。

Images