CN107111640B - 用于与图像搜索结果一起呈现辅助内容的方法和用户界面 - Google Patents

Abstract

除搜索结果之外所提供的辅助内容能够被选择并呈现以帮助用户完成任务并提高用户交互性能。利用现有的搜索引擎分类和标识机制来处理辅助内容，从而支持确定辅助内容与被标识为响应于搜索查询的索引内容之间的相似性。被标识为响应于搜索查询的搜索结果中的至少一些可以与辅助内容进行比较，以标识相似性，这包括视觉相似性。能够选择类似的辅助内容以帮助用户完成任务，并且这样的辅助内容能够包括视觉上不同或分离的方式随搜索结果一起提供。

Description

用于与图像搜索结果一起呈现辅助内容的方法和用户界面

技术领域

本公开涉及用于与图像搜索结果一起呈现辅助内容的方法和用户界面。

背景技术

随着多个计算设备之间的网络通信变得无处不在，能够经由这样的网络通信获得的信息量呈指数级增加。例如，无所不在的互联网和万维网包括发源自遍布世界范围内包括公司、大学、个人等的一大批实体的信息。这样的信息通常被以其可以被称为“搜索引擎”的服务所发现、标识和索引这样的方式标记或“贴上标签”。即使未针对搜索引擎索引进行优化的信息也仍然能够通过与搜索引擎相关联的服务而被定位，其通过与其它计算设备的网络通信来寻找可用信息，并且使得搜索引擎能够对这些信息进行索引以便后续取得。

由于通过与其它计算设备的网络通信而可供计算设备使用的信息的绝对容量，用户越来越多地转向搜索引擎来查找他们所寻求的信息。搜索引擎通常使得用户能够搜索任何主题，并且从这信息的巨大容量中接收被认为对用户的查询做出响应或与之相关联的特定内容的标识。为了整理可用的巨大量的信息，并且及时为用户的查询提供有用的响应，搜索引擎采用大量的机制来优化响应和相关联信息的标识和检索。

一种这样的机制是将响应内容聚焦为具体形式，诸如新闻内容、图像内容、视频内容、或者被局限于诸如研究论文、法院判决、政府出版物之类的具体信息类别以及其它类似信息类别的内容。根据用户正在执行的任务，将响应内容聚焦为具体形式对于用户会有所帮助。例如，通过执行其响应内容将被聚焦为一种具体形式(即图像)的搜索，能够更好地为搜索特定项目以确定该项目的外观的用户服务。事实上，图像搜索已经成为搜索引擎的普遍使用形式。

发明内容

除搜索结果之外所提供的辅助内容能够被选择并呈现以帮助用户完成任务并提高用户交互性能。可以利用现有的搜索引擎分类和标识机制来处理辅助内容，从而支持确定辅助内容与被标识为响应于搜索查询的索引内容之间的相似性。被标识为响应于搜索查询的搜索结果中的至少一些可以与辅助内容进行比较，以标识相似性(包括视觉相似性)。能够选择类似的辅助内容以帮助用户完成任务，并且这样的经选择的辅助内容能够随搜索结果一起提供(包括视觉上不同或分离的方式)。

提供该发明内容部分以以下详细说明中进一步描述的简化形式引入构思的选择。该发明内容部分并非意在标识所请求保护主题的关键特征或必要特征，也并非意在用于限制所请求保护的主题的范围。

附加的特征和优势将由于以下参考附图所进行的详细描述而使得变得显而易见。

附图说明

以下详细描述将在结合附图时被最佳地理解，其中：

图1是用于提供辅助内容的面向任务的呈现的示例性***的框图；

图2是用于提供辅助内容的面向任务的呈现的示例性部件的框图；

图3是提供面向任务的辅助内容的示例性用户界面的示图；

图4是面向任务的辅助内容的示例性标识和提供的流程图；和

图5是示例性计算设备的框图。

具体实施方式

以下描述涉及通过提供辅助内容来来改善用户的交互性能，辅助内容作为对搜索结果的补充，其帮助用户任务完成。搜索引擎可以提供无数格式的搜索结果(包括文本搜索结果、实体搜索结果、图像搜索结果等)。用户经常选择接收搜索具体格式的结果，以便完成除仅搜索之外的具体任务。例如，用户经常请求图像搜索结果来标识所要购买的产品，因为用户基于视觉外观来区分产品更加自然。然而，由搜索引擎提供图像搜索结果可能并不能使得用户能够完成购买任务。可以呈现辅助内容，其作为搜索结果的补充并且能够帮助用户完成搜索以外的任务。可以利用现有的搜索引擎分类和标识机制来处理这样的辅助内容，从而支持确定可用的辅助内容与被标识为响应于搜索查询的索引内容之间的相似性。一旦搜索引擎标识出响应于作为用户搜索查询的结果，就可以通过找出与那些搜索结果相似(诸如视觉上相似)的辅助内容来标识出补充辅助内容。与搜索引擎标识的搜索结果具有所确定的相似性(诸如视觉相似性)的辅助内容可以随搜索结果一起被提供(包括视觉上不同或分离的方式)。如所指示的，这样的辅助内容能够帮助用户任务的完成并且提高和改善用户交互性能。

通过以下文详细描述的方式提供辅助内容可以解决许多用户所经历的一个具体难题，即图像搜索结果可能令人困惑或甚至具有误导性。例如，包含图像的网页可以被指向并且可能包含仅与图像切向相关的内容。通过搜索引擎的图像搜索功能找到这样的图像，然后利用搜索引擎来访问从其获得这样的图像的网页的用户除了图像之外，还可能发现网页的其余内容对于用户完成其任务而言没有帮助。作为另一个示例，搜索其希望购买的特定物品的用户可以利用搜索引擎的图像搜索功能，因为用户可以更有效地解析图像搜索结果以标识他们想要购买的具体物品。然而，包含用户希望购买的具体物品的图像的网页可能并未提供任何供用户实际购买这样的物品的机制。例如，这样的网页可能只是一个信息网页，诸如能够由该物品的制造商或设计者所维护。作为另一个示例，具有用户希望购买的物品的图像的网页可能仅是提供查看这样的物品的网页。已经利用搜索引擎的图像搜索功能来查找他们希望购买的具体物品的图像的用户在被指向从其得到这样的图像的该网页时可能会感到失望，因为这样的网页并未提供可出售的物品，并且因此阻碍了用户完成其任务。

本文所描述的技术参考其中向用户呈现的信息的选择至少部分地基于诸如广告商为了将信息呈现给用户所支付的金额的广告上下文。然而，这样的描述并非意味着将所描述的技术局限于广告或创收上下文。相反，所描述的技术同样可用于任何排名或价值分配机制。因此，如本文所使用的，词语“排名”并不一定意味着货币分类，而是简单地表示优先顺序。

此外，下文所描述的技术和机制在图像搜索的上下文中进行描述，其中所呈现的搜索结果是图像或者由图像所表示(诸如由来自视频的单个图像所表示的视频)。因此，以下描述参考视觉相似性以作为信息呈现至少部分以其为基础的决定因素。然而，所描述的技术和机制同样可应用于基于所确定的相似性(包括视觉相似性)的任何辅助内容的呈现。因此，对于基于视觉外观的图像和相似性的参考仅意在作为示例，并非表示所描述的机制的任何内在限制。

出于说明的目的，本文描述的技术参考现有且已知的应用程序用户界面上下文(诸如通常由网络浏览器所呈现的用户界面)。出于说明的目的，本文描述的技术参考现有且已知的协议和语言(诸如普遍使用的超文本传输协议(HTTP)以及普遍使用的超文本标记语言(HTML))。然而，这样的参考是严格示例性的，并非旨在将所描述的机制限制于所提供的具体实施例。实际上，所描述的技术能够应用于任何应用用户界面，例如包括生活方式和/或娱乐应用，诸如音频和/或视频呈现应用和电子书阅读器，以及其它内容消费和呈现应用。

虽然并未要求，但是下文的描述将处于计算机可执行指令的一般上下文之中(诸如由计算设备所执行的程序模块)。更具体地，除非另有说明，否则该描述将参考由一个或多个计算设备或***设备所执行的操作的动作和符号表示。因此，将要理解的是，有时称作计算机执行的这些动作和操作包括由以结构化形式表示数据的电信号的处理单元操纵。该操纵转换数据或者将其维持在存储器中的位置，其以本领域技术人员很好理解的方式而重新配置或另外改变计算设备或***设备的操作。维持数据的数据结构是具有由数据格式所限定的特定属性的物理位置。

通常，程序模块包括执行特定任务或实施特定抽象数据类型的例行程序、程序、对象、部件、数据结构等。此外，本领域技术人员应该知晓计算设备不必限定于传统的个人计算机，并且包括能够以旨在产生期望结果的方式执行计算机可执行指令的其他设备(包括手持式设备、多处理器***、基于微处理器或可编程的消费电子设备、网络PC、小型计算机、大型计算机、视频游戏控制台、数字摄像机、音频和/或视频内容呈现设备等)。类似地，计算设备不必限于独立的计算设备，因为也可以在分布式计算环境中实施该机制，其中由通过通信网络链接的远程处理设备执行任务。在分布式计算环境中，程序模块可以位于本地以及远程存储器存储设备中。

参考图1，图示了示例性***100，其提供了以下描述的上下文。图1的示例性***100被示为包括均通信耦合到网络190的传统桌面客户端计算设备110和移动客户端计算设备120。网络190还具有与之通信耦合的搜索引擎计算设备160，其能够为诸如客户端计算设备110或移动客户端计算设备120之类的客户端计算设备的用户提供搜索功能。作为单个设备的搜索引擎计算设备160的图示仅是为了说明的简明，并且以下描述同样能够应用于在单个搜索引擎计算设备160上执行或者跨多个搜索引擎计算设备(包括在一个或多个物理计算设备上执行并且由其所支持的一个或多个虚拟机计算设备)串行或并行执行的过程。

搜索引擎计算设备160可以使得客户端计算设备的用户能够定位可经由网络190访问的内容。作为示例，信息域计算设备130和零售域计算设备140被示例性地示出为通信耦合到网络190以提供以下描述的上下文。信息域计算设备130可以包括托管内容131和132。根据一个方面，信息域计算设备130可以是托管一个或多个网页的传统网络服务器计算设备，其通常以文本内容、图像内容以及其它类似超媒体和多媒体内容的形式来提供信息内容。零售域计算设备140可以包括托管内容141，其能够基于零售域计算设备140从能够包括库存、定价或其它类似零售信息的零售数据库所获取的信息而被动态生成。零售域计算设备140可以是托管通过其销售商品或服务的网络商店或其它类似的基于网络的零售业务的计算设备。在这种情况下，托管内容141可以表示动态生成的网页，诸如提供特定物品销售以及提供诸如物品的当前价格、该物品当前是否有货之类或者其它类似信息的最新信息的网页。

如本领域技术人员将会认识到的，为了向客户端计算设备的用户提供搜索功能，搜索引擎计算设备160能够获得有关可经由网络190获取到的内容(诸如计算设备130或140中的一个或多个所托管的内容)的信息。更具体地，搜索引擎计算设备160可以从信息域计算设备130、零售域计算设备140以及经由网络190通信耦合到搜索引擎计算设备160其它类似计算设备请求这样的计算设备所托管的内容。例如，如通信171所示，搜索引擎计算设备160可以从信息域计算设备130获得示例性托管内容131和132，并且能够将这些托管内容中所包含的信息组织成索引(诸如示例索引170)，搜索引擎计算设备160随后能够利用该索引来有效地标识响应于搜索查询或与之相关的托管内容。以类似的方式，搜索引擎计算设备160能够从零售域计算设备140获得示例性托管内容141，并且如通信172所示将这些托管内容内所包含的信息索引到索引170中。如本领域技术人员将会认识到的，示例性通信171和172可以表示通常所称的“爬取”网络190以获得通信耦合到网络190的计算设备所托管的信息。以这样的方式，搜索引擎计算设备160可以聚集索引170，其能够使得搜索引擎计算设备160能够有效地标识由通信耦合到网络190的一个或多个计算设备所托管并响应于指向搜索引擎计算设备160的搜索查询的信息。

根据一个方面，除了索引170之外，搜索引擎计算设备160能够访问辅助内容180。更具体地，诸如示例性辅助内容151的辅助内容能够诸如由示例性辅助内容计算设备150明确地提供给搜索引擎计算设备160，而使得辅助内容151能够作为对搜索引擎计算设备160所生成的搜索结果的补充而被呈现。作为一个具体的说明性示例，辅助内容151可以是广告内容，诸如广告商(诸如操作辅助内容计算设备150的广告商)期望连同搜索引擎计算设备160所生成的搜索结果一起显示的广告。然而，如之前所指示的，广告只是预期辅助内容的一个示例。

如下文将进一步详细描述的，诸如示例性辅助内容151的辅助内容能够被存储在辅助内容存储器180中。根据一个方面，辅助内容可以以类似于被索引至索引170中的内容的方式而被处理，从而支持由搜索引擎计算设备160标识为响应于查询的来自索引170的内容与来自辅助内容存储180的辅助内容之间的相似性的标识。由辅助内容计算装置150向搜索引擎计算装置160提供辅助内容151以及其后续的处理和被存储到辅助内容存储器180由图1中所示的通信173所表示。

转向示例性客户端计算设备110和示例性移动客户端计算设备120，这两者都被图示为包括信息浏览应用，分别即示例性信息浏览应用111和121。示例性客户端计算设备110和示例性移动客户端计算设备120都被示出以说明以下所描述的机制同样能够应用于包括膝上计算设备、平板计算设备、智能计算设备的移动计算设备以及其它类似的移动计算设备，而且能够应用于无处不在的台式计算设备。出于以下描述的目的，对于客户端计算设备110上所执行的信息浏览应用111的参考意在同样能够应用于在移动客户端计算设备120上执行的信息浏览应用121，反之亦然。根据一个方面，信息浏览应用程序111或信息浏览应用程序121可以是无处不在的网络浏览器，其能够以诸如上文所描述的那些通信耦合到网络190的网络服务器所托管的网站的形式来获取并显示信息。然而，如之前所指示的，下文所描述的机制并不限于基于万维网的环境。因此，例如，信息浏览应用111和121可以是其它类型的信息浏览应用，例如包括电子书阅读器、通用文档格式读取器，或者甚至内容创建应用，例如文字处理器、电子表格，呈现应用和电子邮件应用。又另一种类型的信息浏览应用可以是操作***本身，包括例如包含对于用于接收和呈现信息的已知网络协议的支持的操作***，以及包含信息浏览部件或者内置或附带的信息浏览应用的操作***。

诸如客户端计算设备110或移动客户端计算设备120的客户端计算设备的用户能够通过向搜索引擎计算设备160提交搜索查询(诸如示例性搜索查询191)来利用搜索引擎计算设备160所提供的搜索功能。如本领域技术人员将会认识到的，这样的搜索查询能够表示包括文本信息、图像、音频、以及其它类似的多媒体和超媒体内容的信息，用户期望从可经由网络190得到的内容中获得有关它们的附加信息。响应于搜索查询191，搜索引擎计算设备160可以提供包括被认为与搜索查询相关的内容的文档或其它类似托管内容的标识。文档的这种标识通常为到这些文档的网络链接的形式，并且这样的文档通常为网页的形式。本领域技术人员还将认识到，文档或其它托管内容的这种标识通常被称为能够响应于搜索查询191而提供的搜索结果(诸如示例性搜索结果192)。

除了搜索结果192之外，并且如下文将更详细描述的，能够从辅助内容存储180得到的具体辅助内容能够响应于搜索查询191而被提供给用户。这样的辅助内容被图示为示例性辅助内容193，其在图1中被示为响应于搜索查询191而随搜索结果192一起被提供。根据一个方面，随诸如示例性搜索结果192的搜索结果一起提供的诸如示例性辅助内容193的辅助内容能够通过支持用户的任务执行来提高用户诸如与搜索引擎计算设备160所托管的搜索引擎的交互性能。

作为具体示例，寻求购买特定产品的用户能够生成包括这样的产品的名称或者有关该产品的其它类似标识信息的搜索查询191。作为响应，该用户能够接收到诸如示例性搜索结果192的搜索结果，其可以包括被搜索引擎计算设备160所托管的搜索引擎认为响应于用户的搜索查询的信息，其中这样的信息能够通过网络190得到。通常，如以上所指示的，寻求购买具体产品的用户能够请求搜索结果192处于图像搜索结果的形式，因为用户能够更容易地诸如通过查看图像而视觉上标识出该具体产品，而不是尝试解译基于文本的搜索结果来确定所提供的搜索结果是否是指用户想要购买的具体产品。如本领域技术人员将认识到的，图像搜索结果可以返回从通信耦合到网络190的计算设备所托管的托管内容获得的图像的集合。因此，从图像搜索结果中选择一个图像的用户能够被提供以取回包含这样的图像的托管内容的选项。在互联网和万维网的上下文中，从图像搜索结果中选择一个图像的用户能够被提供以“访问”包括这样的图像的网页的选项。然而，包括所选择图像的网页可能并未向用户提供购买图像中所示产品或者以其它方式完成用户期望完成的任务的机会。例如，如果用户从图像搜索结果192中所选择的图像由信息域计算设备130所托管，则选择这样的图像能够导致用户访问诸如示例性托管内容131或132之类的托管内容，其可以包括有关用户寻求购买的具体产品的信息，例如包括这样的产品的图像，其中之一可以是用户已经作为图像搜索结果192的一部分而看到的图像。然而，用户访问由信息计算设备130所托管的内容并不会在用户购买该产品的任务中对他们有所辅助，并且导致用户感到沮丧并降低用户交互性能。

因此，根据一个方面，随搜索结果192一起提供的辅助内容193可以帮助用户执行任务，并且可以提高用户交互性能。更具体地，并参考以上用户寻求购买特定产品的具体示例，辅助内容193可以作为图像搜索结果192的补充向用户提供附加图像，其中辅助内容193的附加图像可以视觉上类似于图像搜索结果192的至少一些。随后，用户对辅助内容193的图像之一的选择可以将用户指向能够促进用户完成其任务的托管内容。例如，示例性辅助内容151可以是在零售域计算设备140所表示的店铺购买产品的广告。作为示例，诸如如果这样的图像视觉上类似于在图像搜索结果192中所呈现图像的一个或多个，则与示例性辅助内容151相关联的图像可以作为对图像搜索结果192补充的辅助内容193的一部分来呈现。用户对来自辅助内容193的这种图像的选择例如能够将用户指向示例性托管内容141，其如之前所指示的，其可以是提供特定产品和服务的销售的网页。在本示例中，示例性托管内容141可以提供用户寻求购买的具体物品的销售。以这种方式以及如下文将进一步详细描述的，随图像搜索结果192一起提供的辅助内容193辅助用户执行其任务，从而提高用户交互性能。

转向图2，其中示出的示例性***200图示了辅助内容能够通过其而作为搜索结果(诸如图像搜索结果)的补充而被呈现的示例性机制。如之前所指示的，根据一个方面，诸如示例性托管内容141的托管内容可以由搜索引擎或者代表搜索引擎的其它进程所“爬取”，以便标识能够通过网络由搜索引擎所搜索的可用内容并对其编制目录。一种能够执行这样的“爬取”的部件可以是图像爬取器，诸如示例性图像爬取器210，其诸如可以从托管内容141中取回作为托管内容141的一部分的图像。示例性通信201和202图示了托管内容141的至少一部分的请求以及后续取回，例如托管该部分是存在于示例性托管内容141中的图像。根据一个方面，诸如由通信211所图示的，示例性图像爬取器210能够将图像提供至特征标识器部件，诸如示例性特征标识器部件220。

更具体地，根据这样的方面，示例性特征标识器部件220能够标识由通信211所提供的图像的图形部分、变化或方面，它们能够表示这样的图像的主体的物理、可视特征。特征标识器部件220所标识的特征能够被用于标识在两个或更多图像中略微不同地表示的共同主体，由此使得图像被分组在一起并且被识别为共同主体的图像。

特征标识器部件220能够被用来标识特征的一种机制可以是共同图像主体的现有模型。这样的模型可能已经针对共同图像搜索术语或者所搜索的共同图像主体而被生成。这样的模型能够定义用于那些图像主体的已标识的特征，并且特征标识器部件220能够将通信211所提供的图像与那些已标识的特征进行比较，以便标识出通信211所提供图像中相对应的特征(如果有的话)。

随后，如由示例性通信221所示，具有标识其中特征的信息的图像能够由特征标识器部件220提供给相似性检测器部件230。然后，相似性检测器部件230可以尝试基于其与其它图像的相似性来对图像分类或归类，其中这样的相似性指示图像与其它图像具有相同主体。例如，诸如相似性检测器230能够采用最近邻匹配算法来将通信221所提供的图像与已知图像进行比较，以便标识通信221所提供的图像与这些已知图像之间的视觉相似性。

在完成图像爬取器部件210、特征标识器部件220和相似性检测器部件230的处理后，图像的表示、图像本身、有关图像的元数据或者它们的组合能够被存储到索引170中，如通信231所示。存储在索引170中的有关图像的信息诸如能够被查询响应生成器部件240用来有效地标识能够作为针对搜索查询191的搜索结果192而提供的图像。因此，图像爬取器部件210、特征标识器部件220和相似性检测器部件230所执行的处理能够依据视觉相似性、主题相似性和其它类似关联来标识、编目、组织和关联图像。虽然在图2的示例性***200中被图示为单独部件，但是本领域技术人员将认识到，图像爬取器部件210、特征标识器部件220和相似性检测器部件230仅是为了容易解释和参考而被图示为单独部件，而并非作为执行这种功能的计算机可执行指令的不同处理界限的指示。

根据一个方面，图像爬取器部件210、特征标识器部件220和相似性检测器部件230能够表示已经能够诸如由搜索引擎用来构建包括有关可通过网络通信得到的图像的信息的索引170的现有功能，其中这样的索引170能够被用来响应于图像搜索查询(诸如示例性图像搜索查询191)以生成诸如示例性图像搜索结果192的图像搜索结果。依据这样的方面，这样的现有功能能够被权衡从而以相同的方式处理与辅助内容(诸如示例性辅助内容151)相关联的图像。更具体地以及如示例性通信209、212、222和232所示，来自诸如示例性辅助内容151的辅助内容的图像能够通过与“爬取”网络所获得的图像相同的图像处理管道馈送，一个例外是诸如示例性辅助内容151的辅助内容能够被直接提供给图像搜索器部件210，而不是由图像爬取器部件210进行“爬取”。以这种方式，来自如存储于辅助内容存储180中的辅助内容能够以与索引170所引用的图像相同的方式被处理，由此促进存储于辅助内容存储180中的图像与索引170所引用图像之间的比较。例如，来自辅助内容的图像能够和与索引170所引用图像相同的模型进行比较，并且那些比较的结果能够促进视觉等效图像的标识。

由图像爬取器部件210、特征标识器部件220和相似性检测器部件230所执行的图像处理能够构建并维护索引170和辅助内容存储180，它们因此能够在接收到诸如来自一个或多个客户端计算设备(诸如示例性客户端计算设备110和120之类的客户端计算设备)的搜索查询时被参考。更具体地以及如图2的示例性***200所示，诸如示例性搜索查询191的搜索查询可以被查询响应生成器240所接收，该查询响应生成器240可以如通信241所示参考索引170，并且以本领域技术人员已知的方式标识索引170所引用的被认为响应于搜索查询191的内容。这样所标识的内容能够以诸如示例性搜索结果192的搜索结果的形式被返回。更具体地，如果示例性搜索查询191是图像搜索查询，则示例性搜索结果192能够返回已经被查询响应生成器240标识为响应于图像搜索查询191的一个或多个图像。

根据一个方面，诸如示例性通信259所示，作为图像搜索结果192而被提供的所标识的图像也可以被辅助内容选择器部件250所获得。辅助内容选择器部件250随后能够如通信251所示的参考辅助内容存储180，以从辅助内容存储180所编目的辅助内容中标识视觉上类似于示例性图像搜索结果192的至少一些的图像。如之前所指示的，这样的视觉相似性能够参考常用搜索图像主体的的预先生成模型所定义的特征而被确定。例如，特定类型的数码相机的型号可以具有数百或数千个已标识的特征。这样的具体数码相机的图像可以在多维空间内被定义，其中每个维度与已标识的特征之一相关联。在这样的多维空间中，这样的具体数码相机的图像的定义可以是多维点，其坐标表示沿着作为单独维度的每个已标识的特征的相似性或差异的量度。这种多维空间内的两个或多个图像的接近度能够被用来确定视觉相似性，其中在多维空间内彼此之间的距离较短的图像与在多维空间内彼此之间的距离较大的图像相比具有更大的视觉相似性。

辅助内容选择器部件250可以利用这种视觉相似性的确定来从辅助内容存储180中编目的辅助内容中标识出视觉上类似于示例性图像搜索结果192所标识的图像的至少一些的图像。与辅助内容选择器部件250所标识的这些图像相对应的辅助内容随后能够以示例性辅助内容193的形式被提供，以对示例性图像搜索结果192进行补充。如以上所描述的以及将下文将参考图3进一步详细描述的，提供对图像搜索结果补充的辅助内容(诸如辅助内容193)能够帮助用户执行任务，并且能够提高用户交互性能。

虽然在图2的示例性***200中被图示为单个交换机，但响应于搜索查询(诸如示例性搜索查询191)所提供的辅助内容(诸如示例性辅助内容193)可以是迭代搜索过程的部分。更具体地，初始搜索查询可以产生搜索结果的初始集合，其在图像搜索结果的上下文中可以包括视觉上不同的图像，而所有这些都诸如被示例性查询响应生成器240认为是这样的查询的响应。随后可以通过用户从提供给先前搜索查询的搜索结果中选择一个具体图像而生成后续搜索查询。例如，搜索“数码相机”的用户能够接收到描绘许多不同类型的数码相机的图像搜索结果。用户选择一个这样的图像能够被作为后续的搜索查询，其中所得到的图像搜索结果被局限于被查询响应生成器240认为等同于用户所选择的图像的图像。

随这样的搜索结果(诸如示例性辅助内容193)一起提供的辅助内容能够相对应地随着搜索结果192更新而被更新。因此，例如，响应于初始搜索查询191而随搜索结果192一起提供的辅助内容193可以包括视觉上类似于图像搜索结果192所返回的图像的一个或多个的辅助内容，作为示例，诸如视觉上类似于图像搜索结果192所返回的被查询响应生成器240认为最为相关的那些图像。用户后续从图像搜索结果中选择一个图像可以产生新的查询，其可以导致如所描述的经更新的图像搜索结果，并且还可以导致由令人振奋的内容选择器250所提供的经更新的辅助内容。这样经更新的辅助内容可以视觉上等同于作为经更新的图像搜索结果的部分所提供的图像中的至少一个。然而，如之前所指示的，用户从图像搜索结果中选择一个图像能够生成搜索查询，其相对应的图像搜索结果视觉上类似于用户所选择的图像。因此，内容选择器250轻易提供的辅助内容能够视觉上类似于经更新的图像搜索结果，如所指示的，其能够视觉上类似于用户所选择的图像。因此，在图2的示例性***200中图示的示例性搜索查询191意在表示任意类型的图像搜索查询，其包括初始搜索查询，以及在用户选择响应于先前图像搜索查询所返回的图像搜索结果之一时所生成的后续的细化搜索查询。

转向图3，示出了示例性用户界面300，其示例性地包括其中呈现应用窗口320的桌面310。虽然在桌面用户界面的上下文中图示了所描述的机制以及所描述的用户界面元素，但同样能够应用于其它图形用户界面环境(包括诸如平板电脑和智能电话的基于触摸的输入计算设备、以及常规的桌面或膝上计算设备)。结合桌面310，图3的示例性用户界面300还可以包括任务栏311。应用窗口320可以由诸如以上所描述的那些的信息浏览应用所呈现，其能够响应于用户的搜索查询而接收图像搜索结果。应用窗口320可以包括能够利用其控制用户界面300内的窗口320的外观的窗口控制区域321。

在一个实施例中，能够通过工具栏区域330来控制用户对内容的选择，工具栏区域330可以包括用户能够通过其直接指定内容的机制(诸如通过内容资源定位符或其它类似的内容标识符)、用户能够通过其浏览以前查看的内容的机制以及其它类似的内容控制机制。内容自身能够在内容呈现区域340中显示，该内容呈现区域340在图3所示的示例性用户界面300中可以包括从搜索引擎所接收的图像搜索结果内容。在示例性用户界面300的上下文中，搜索引擎可以在内容呈现区域350中显示选择器341，其能够示例性地允许用户将他们的搜索聚焦于图像、视频、位置等。出于图3所示的示例性用户界面300的目的，示例性图像搜索结果350可以是用户诸如经由搜索查询输入区域342输入搜索查询，而且已经诸如通过选择器341而将搜索专门指向图像的结果。

作为具体示例，图3所示的示例性用户界面300图示了能够响应于针对特定望远镜的用户搜索查询而被接收的示例性图像搜索结果350。如之前所指示的，用户可能由于其想要购买具体物品而针对这样的物品(诸如针对特定望远镜)执行图像搜索，并且图像搜索为用户提供了在查找用户期望购买的具体物品时用于区分不同的变型或选项的有效机制。例如，用户在查看示例性图像搜索结果350时能够将示例性图像搜索结果351中所示的望远镜标识为用户希望购买的望远镜。相比之下，用户能够有效地查看示例性图像搜索结果350，以确定例如示例性图像搜索结果352中所示的望远镜与用户所寻找的颜色不同，而示例性图像搜索结果353和356中所示的望远镜则分别包括用户并不想要的配件(诸如三脚架或露水罩)。

继续以上的具体示例，将示例性图像搜索结果351中示出的望远镜标识为用户希望购买的望远镜的用户能够选择示例性图像搜索结果351，并且能够以本领域技术人员已知的方式而被指向图像的较大版本、访问网页的机会，或者以其它方式获取到包含一种图像版本的托管内容或者它们的组合。对于用户对示例性图像搜索结果351的选择的这种响应可能是令人混淆的并且会降低用户交互性能。更具体地，当图像搜索结果351的选择仅导致较大图像的呈现时，寻求购买经由图像搜索结果351所示的具体望远镜的用户可能会被混淆。即使用户能够导航到例如包括示例性图像搜索结果351所标识的图像的网页，但是这样的网页实际上也可能并不提供这样的望远镜出售。例如，这样的网页可以是诸如由望远镜的制造商所维护的信息网页，其可以提供望远镜的描述和规格，但是可能无法使得用户能够实际购买该望远镜。因此，用户在尝试完成任务(即购买具体望远镜)时仍然感到沮丧，并且他们的交互性能有所下降。作为另外的示例，选择看上去与示例性图像搜索结果351视觉上相似的另一个图像搜索结果(诸如示例性图像搜索结果355)能够产生相同的消极用户体验。例如，示例性图像搜索结果355能够引用评论网站所能够托管的图像，而其仍然不提供具体望远镜以供销售。以同样的方式，除了不同的视角或者处于不同的环境或周边状况之外，例如能够图示出与示例性图像搜索结果351和355相同的望远镜的示例性图像搜索结果354同样最终将用户指向并不提供望远镜出售的网页。

因此，根据一个方面，能够呈现辅助内容以对图像搜索结果(作为示例，诸如示例性用户界面300中示出的示例性图像搜索结果350)进行补充。该辅助内容能够以视觉上将其与示例性图像搜索结果350区分开来的方式被呈现。例如，辅助内容可以被呈现在显示区域340的单独部分之中，例如被呈现在显示区域部分369中。作为另一个示例，辅助内容可以被呈现在显示区域340中具有不同颜色背景或者以其它方式通过边界、背景颜色、呈现差异以及其它类似的视觉界定而视觉上被加以界定的一部分之中。

如之前所指示的，能够被呈现的辅助内容可以包括视觉上类似于被标识为图像搜索结果350的部分的图像的图像。例如，如图3中的示例性用户界面300所图示，诸如示例性辅助内容361和362的辅助内容360可以包括视觉上类似于图像搜索结果351和355的图像。根据一个方面，可以对图像搜索结果350进行排名，而使得最相关的图像搜索结果被首先呈现。根据这样的一个方面，示例性图像搜索结果351可以是最相关的图像搜索结果，并且相应地，辅助内容360可以包括视觉上类似于图像搜索结果351的图像。根据其它方面，诸如示例性辅助内容361和362的辅助内容可以包括视觉上类似于图像搜索结果350的多个(诸如最高排名的多个图像搜索结果)的图像。

诸如示例性辅助内容361和362的辅助内容360能够包括能够帮助用户执行所期望任务的广告或其它辅助内容。例如，返回到用户寻求购买望远镜的上述具体示例，示例性辅助内容361和362能够包括出售辅助内容361和362的图像中所示的望远镜的零售商的广告。另外，作为示例以及如图3中示例性地图示的，辅助内容可以包括其它信息，作为示例，诸如销售价格、去往所广告零售商的网页的链接或者其它类似信息。选择辅助内容(诸如示例性辅助内容361或362)之一的用户可以被指向广告的零售商的网页，用户能够从该网页直接购买所选择的望远镜。因此，辅助内容360能够帮助用户执行任务，并且因此能够提高用户交互性能。

如之前所指示的，辅助内容360能够根据经更新的图像搜索结果350而改变。因此，例如以及参考图3所示的具体示例，如果用户已经决定了他们希望购买的望远镜看起来就像图像搜索结果356所表示的那样，则用户可以选择图像搜索结果356作为后续图像搜索的查询。本领域技术人员将认识到，在这种情况下，经更新的图像搜索结果350能够包括看上去视觉上类似于图像搜索结果356或者以其它方式与图像搜索结果356相关联的图像搜索结果。类似地，能够被呈现以对这样更新的图像搜索结果350进行补充的辅助内容360同样能够包括与图像搜索结果356的视觉相似性。因此，例如，示例性辅助内容361和362能够被更新而使得所呈现的辅助内容包括视觉上类似于图像搜索结果356或以其它方式与之相关联的图像。以这种方式，在用户与图像搜索结果350迭代地交互时，接收经更新的图像搜索结果，辅助内容360同样地能够相应地被更新。

转向图4，其中示出的示例性流程400图示了用于提供视觉上类似于所提供的图像搜索结果的辅助内容的示例性系列步骤。更具体地，在步骤410，能够接收图像查询。如之前所指示的，在步骤410接收的图像查询能够是迭代过程的一部分，其中在步骤410接收的查询能够是从诸如在在示例性流程400的步骤的先前迭代期间的步骤460响应于先前查询而呈现给用户的响应图像中的图像选择。一旦在步骤410接收到图像查询，就能够在步骤420从响应于该查询的图像索引中选择图像。如本领域技术人员将认识到的，存在大量用于标识响应于查询的图像搜索结果的机制，并且可以在本文所提供的描述的上下文中以等同方式使用任意的一种或多种这样的机制。在步骤430，在步骤420所选择的响应于查询的图像能够按照与查询相关的顺序进行排名。本领域技术人员还将认识到，根据用于在步骤420标识和选择图像的响应的机制，这样的选择可能要求在步骤430对所选择的图像进行排名，从而实际上将步骤430并入步骤420。

一旦已经诸如在步骤420选择了响应图像，就能够在步骤440标识来自辅助内容的视觉上与在步骤420所选择的图像的至少一些相似的图像。根据一个方面以及如上文详细描述的，对来自视觉上与响应于查询而标识的图像相似的辅助内容的图像的标识能够参考所确定的图像特征来进行。更具体地，图像特征能够由多维空间中的值所表示，其中每个维度表示被用于评估图像的视觉相似性的模型的所定义的特征。在多维图像空间内，彼此之间具有较小距离的两个或更多个图像能够被认为比在多维图像空间内彼此之间具有更大距离的图像视觉上更为相似。

一旦在步骤440标识出来自辅助内容的视觉上相似的图像，则能够在步骤450选择与所标识图像的至少一些相关联的辅助内容。在步骤450对辅助内容的选择可以基于辅助内容元数据或在步骤440所标识的辅助内容的图像的视觉相似性以外的其它因素。例如，在步骤450对辅助内容的选择可以基于如果这样的辅助内容被呈现时所接收的值。作为另一个示例，在步骤450对辅助内容的选择能够基于对用户寻求执行的任务的确定。作为又另一个示例，在步骤450对辅助内容的选择可以基于与在步骤410提交所接收的查询的用户相关联的信息。例如，诸如在步骤450可以利用该用户的地理位置来选择辅助内容，其中基于用户的地理位置而与用户具有更大相关性的辅助内容能够被选择以排除其它不具有地理影响的辅助内容。同样，用户所提交的先前查询也能够诸如在步骤450用于通知辅助内容的选择。

在这样的示例中，为了保护用户的隐私，用户将被要求在他们的个人信息能够被收集和存储或者被利用之前采取一种或多种确认行为，并且在没有这种确认行动的情况下，他们的个人信息将不会被收集或利用。从用户的角度来看，允许访问其个人信息的一些离散部分会有着具有意义的益处。例如，用户可以仅是因为他们希望获得更有针对性且可应用的辅助信息而允许对个人信息的访问。作为另一个示例，用户能够被提供以额外的服务或益处以作为提供或允许访问他们的一些个人信息的交换。作为另一个示例，用户可以通过货币或者通过产品和服务被补偿以作为提供或允许访问他们的一些个人信息的交换。

一旦辅助内容在步骤450被选择，至少所选择的响应图像的一些就能够在步骤460响应于查询而被呈现。为了对在步骤460呈现的图像的响应进行补充，在步骤450所选择的辅助内容能够在步骤470被呈现。如以上所描述的，所选择的辅助内容诸如在步骤470的呈现能够以视觉上不同于步骤460的响应图像的呈现的方式来进行。相关处理随后能够在步骤480结束。

转向图5，图示了示例性计算设备500。示例性计算设备500能够执行上述机制或动作的一些或者全部。示例性计算设备500可以包括但不限于：一个或多个中央处理单元(CPU)520、***存储器530，以及可以将包括***存储器的各种***部件耦合到处理单元520的***总线521。***总线521可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、***部件总线以及使用多个总线架构的任一种的本地总线。计算设备500可以可选地包括图形硬件，包括但不限于，图形硬件接口590和物理显示设备591，其可以包括能够接收基于触摸的用户输入的物理显示设备，例如触敏或支持多点触控的显示设备。取决于具体的物理实现方式，CPU 520、***存储器530和计算设备500的其它部件中的一个或多个可以是物理上位于同一位置的，例如在单个芯片上。在这种情况下，***总线521的一些或全部不过是在单个芯片结构中的硅路径，并且在图5中的图示不过是出于图示目的的概念上的便利。

计算设备500还通常包括计算机可读介质，其可以包括可以由计算设备500访问的任意可用介质，并包括易失性和非易失性介质以及可移除和不可移除介质。通过示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任意方法或技术实现的用于存储信息的介质，例如计算机可读指令、数据结构、程序模块或其它数据。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备，或者可以用于存储期望信息并能由计算设备500访问的任意其它介质。然而，计算机存储介质不包括通信介质。通信介质通常实现计算机可读指令、数据结构、程序模块或在调制数据信号中的其它数据，如载波或其它传输机制，并包括任意信息输送介质。通过示例而非限制，通信介质包括有线介质(例如，有线网络或直连线连接)，以及无线介质(例如，声学、RF、红外和其它无线介质)。上述任意的组合还应该包含于计算机可读介质的范围内。

***存储器530包括易失性和/或非易失性存储器形式的计算机存储介质，例如只读存储器(ROM)531和上述RAM 532。基本输入/输出***(BIOS)533包含基本例程，其帮助例如在启动期间在计算设备500中的元件之间转移信息，BIOS通常存储于ROM 531中。RAM 532通常包含处理单元520立即可访问和/或在处理单元520上当前***作的数据和/或程序模块。通过示例而非限制，图5图示了操作***534以及其它程序模块535和程序数据536。

计算设备500还可以包括其它可移除/不可移除、易失性/非易失性计算机存储介质。仅通过示例，图5图示了硬盘驱动541，其从不可移除的、非易失性介质读取或写入。可以与示例性计算设备一起使用的其它可移除/不可移除、易失性/非易失性计算机存储介质包括但不限于磁带盒、闪存卡、数字通用盘、数字录像带、固态RAM、固态ROM、以及其它计算机存储介质，如上述定义和描述的。硬盘驱动541通常通过非易失性的存储器接口(例如，接口540)连接到***总线521.

以上所讨论以及图5所示的驱动及其相关联的计算机存储介质存储计算机可读指令、数据结构、程序模块以及用于计算设备500的其它数据。在图5中，例如，硬盘驱动541示出为存储操作***544、其它程序模块545和程序数据546。注意，这些部件可以是与操作***534、其它程序模块535和程序数据536相同的或不同的。给予操作***544、其它程序模块545和程序数据546不同编号，在最低限度上示出它们是不同的副本。

计算设备500可以使用到一个或多个远程计算机的逻辑连接在联网环境中操作。计算设备500示出为通过网络接口或适配器560(其反过来连接到***总线521上)连接到一般网络连接561。在联网环境中，相对计算设备500描绘的程序模块或其部分或***部件可以存储于一个或多个其它计算设备的存储器中，所述其它计算设备通过一般网络连接561通信地耦合到计算设备500上。可以理解的是，示出的网络连接是示例性的，并可以使用在计算设备之间建立通信链接的其它单元。

虽然描述为单个物理设备，但示例性计算设备500可以是虚拟计算设备，在该情况下，可以通过计算机可执行指令提供上述物理部件的功能，例如，CPU 520、***存储器530、网络接口560、以及其它类似部件。这种计算机可执行指令可以在单个物理计算设备上执行，或者可以跨多个物理计算设备分布，包括以动态方式跨多个物理计算设备分布，从而代管这种计算机可执行指令的物理计算设备可以取决于需要和可用性而随着时间动态改变。在示例性计算设备500是虚拟化设备的情况下，代管这种虚拟化计算设备的基本物理计算设备本身可以包括类似于上述那些的物理部件，并以类似方式操作。此外，虚拟计算设备可以在多个层中使用，一个虚拟计算设备在另一虚拟计算设备的结构中执行。因此，如这里使用的术语“计算设备”表示物理计算设备或虚拟化计算环境，包括虚拟计算设备，在其中可以以与通过物理计算设备执行一致的方式执行计算机可执行指令。类似地，如这里使用的涉及计算设备的物理部件的术语表示那些物理部件或其执行相同或等价功能的虚拟化。

作为第一示例，以上描述包括一种通过辅助内容的呈现以提高用户交互性能的方法，该方法包括步骤：接收搜索查询；从通过爬取网络可访问内容而被索引的图像中标识响应于该搜索查询的图像；从该辅助内容标识均视觉上类似于该响应图像中的第一图像的图像，该辅助内容不同于被爬取的网络可访问内容；提供该响应图像的至少一些作为对该搜索查询的响应；以及还作为对该搜索查询的响应的一部分但是视觉上分离于所提供的响应图像进行显示地提供包括所标识辅助内容图像的辅助内容的至少一些。

第二示例是根据第一示例的方法，进一步包括步骤：从该辅助内容标识均视觉上类似于该响应图像的第二图像的图像，该第二图像不同于该第一图像；以及提供包括被标识为视觉上类似于该响应图像的第二图像的所标识的辅助内容图像的辅助内容的至少一些。

第三示例是根据第一示例的方法，其中该响应图像的第一图像被排名为与该查询最为相关。

第四示例是根据第一示例的方法，其中从该辅助内容标识均视觉上类似于第一图像的图像进一步参考该辅助内容的元数据来被执行。

第五示例是根据第四示例的方法，其中从该辅助内容标识均视觉上类似于第一图像的图像进一步参考提交该搜索查询的用户的地理位置来被执行。

第六示例是根据第一示例的方法，进一步包括步骤：接收该辅助内容；以及将来自该辅助内容中的图像的至少一些提供至被利用以处理被索引图像的现有图像处理；其中视觉相似性基于该现有图像处理。

第七示例是根据第六示例的方法，其中视觉相似性基于多维空间中第一图像在多维空间中的表示与来自该辅助内容的图像在多维空间中的表示之间的距离，该多维空间的每个维度表示图像特征。

第八示例是根据第一示例的方法，其中所提供的辅助内容通过封闭所提供的辅助内容的边界或者通过在以与所提供的响应图像不同颜色的背景上显示的所提供辅助内容而视觉上分离于所提供的响应图像。

第九示例是一种计算设备，包括：一个或多个处理单元；网络接口；以及包括计算机可执行指令的一个或多个计算机可读介质，该计算机可执行指令在被该一个或多个处理单元执行时使得该计算设备执行步骤，包括：接收搜索查询；从通过爬取网络可访问内容而索引的图像中标识响应于该搜索查询的图像；从该辅助内容标识均视觉上类似于该响应图像中的第一图像的图像，该辅助内容不同于被爬取的网络可访问内容；提供该响应图像的至少一些作为对该搜索查询的响应；以及还作为对该搜索查询的响应的一部分但是视觉上分离于所提供的响应图像进行显示地提供包括所标识辅助内容图像的辅助内容的至少一些。

第十示例是根据第九示例的计算设备，其中该一个或多个计算机可读媒体包括另外的计算机可执行指令，该计算机可执行指令在被该一个或多个处理单元执行时使得该计算设备执行另外的步骤，包括：从该辅助内容标识均视觉上类似于该响应图像的第二图像的图像，该第二图像不同于该第一图像；以及提供包括被标识为视觉上类似于该响应图像的第二图像的所标识的辅助内容图像的辅助内容的至少一些。

第十一示例是根据第九示例的计算设备，其中该响应图像的第一图像被排名为与该查询最为相关。

第十二示例是根据第九示例的计算设备，其中从该辅助内容标识均视觉上类似于第一图像的图像进一步参考该辅助内容的元数据来被执行。

第十三示例是根据第四示例的计算设备，其中从该辅助内容标识均视觉上类似于第一图像的图像进一步参考提交该搜索查询的用户的地理位置来被执行。

第十四示例是根据第九示例的计算设备，其中该一个或多个计算机可读媒体包括另外的计算机可执行指令，该计算机可执行指令在被该一个或多个处理单元执行时使得该计算设备执行另外的步骤，包括：接收该辅助内容；以及将来自该辅助内容中的图像的至少一些提供至被用来处理被索引图像的现有图像处理；其中视觉相似性基于该现有图像处理。

第十五示例是根据第十四示例的计算设备，其中视觉相似性基于多维空间中第一图像在多维空间中的表示与来自该辅助内容的图像在多维空间中的表示之间的距离，该多维空间的每个维度表示图像特征。

第十六示例是根据第九示例的计算设备，其中所提供的辅助内容通过封闭所提供的辅助内容的边界或者通过在以与所提供的响应图像不同颜色的背景上显示的所提供辅助内容而视觉上分离于所提供的响应图像。

第十七示例是一种在物理显示设备上物理生成的图形用户界面，该物理显示设备被通信耦合至计算设备，该图形用户界面包括：从通过爬取网络可访问内容而索引的图像中选择的第一图像集合，该第一图像集合响应于搜索查询；包括视觉上类似于该第一图像集合中的第一图像的图像的辅助内容，该辅助内容不同于被爬取的网络可访问内容；以及该辅助内容周围的边界或者该辅助内容在其上以不同于该第一图像集合被显示于其上的背景的颜色被显示的背景中的至少一者。

第十八示例是根据第十七示例的图形用户界面，其中视觉相似性基于多维空间中第一图像在多维空间中的表示与来自该辅助内容的图像在多维空间中的表示之间的距离，该多维空间的每个维度表示图像特征。

第十九示例是根据第十八示例的图形用户界面，其中表示该多维空间中的维度的图像特征由该第一图像集合中的至少一些的主体的预先存在的模型所定义。

第二十示例是根据第十九示例的图形用户界面，其中该辅助内容包括有关该辅助内容包括的图像的主体的附加信息。

如能够从以上描述所看到的，已经给出了用于通过呈现面向任务的辅助内容来提高用户交互性能的机制。考虑到本文所描述主题的许多可能变形，我们要求我们的发明保护可以落入所附权利要求及其等同形式范围内的所有实施例。

Claims (17)

1.一种用于通过辅助内容的呈现提高用户交互性能的方法，所述方法包括步骤：

接收搜索查询；

从通过爬取网络可访问内容而被索引的图像中标识响应于所述搜索查询的图像；

接收辅助内容；

从所述辅助内容中标识每个在视觉上均类似于所述响应图像中的第一图像的图像，所述辅助内容不同于被爬取的所述网络可访问内容，其中视觉相似性基于所述第一图像在多维空间中的表示与来自所述辅助内容的所述图像在所述多维空间中的表示在所述多维空间中之间的距离，所述多维空间的每个维度表示图像特征；

提供所述响应图像中的至少一些响应图像以作为对所述搜索查询的响应；以及

提供所述辅助内容中的包括经标识的辅助内容图像的至少一些辅助内容，也作为对所述搜索查询的所述响应的一部分、但是在视觉上分离于提供的所述响应图像而被显示。

2.根据权利要求1所述的方法，进一步包括步骤：

从所述辅助内容中标识每个在视觉上均类似于所述响应图像中的第二图像的图像，所述第二图像不同于所述第一图像；以及

提供所述辅助内容中的至少一些辅助内容，其包括被标识为在视觉上类似于所述响应图像中的所述第二图像的经标识的辅助内容图像。

3.根据权利要求1所述的方法，其中所述响应图像中的所述第一图像被排名为与所述查询最为相关。

4.根据权利要求1所述的方法，其中从所述辅助内容中标识每个在视觉上均类似于所述第一图像的所述图像进一步参考所述辅助内容的元数据而被执行。

5.根据权利要求1所述的方法，其中从所述辅助内容中标识每个在视觉上均类似于所述第一图像的所述图像进一步参考提交所述搜索查询的用户的地理位置而被执行。

6.根据权利要求1所述的方法，进一步包括步骤：

将来自所述辅助内容的所述图像中的至少一些图像提供至已有图像处理，所述已有图像处理被用以处理经标引的所述图像；

其中视觉相似性基于所述已有图像处理。

7.根据权利要求1所述的方法，其中提供的所述辅助内容通过使提供的所述辅助内容封闭的边界、或者通过提供的所述辅助内容在与提供的所述响应图像不同颜色的背景上被显示，而在视觉上分离于提供的所述响应图像。

8.一种计算设备，包括：

一个或多个处理单元；

网络接口；以及

一个或多个计算机可读介质，所述一个或多个计算机可读介质包括计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理单元执行时，使所述计算设备执行步骤，所述步骤包括：

接收搜索查询；

从通过爬取网络可访问内容而被索引的图像标识响应于所述搜索查询的图像；

接收辅助内容；

从所述辅助内容中标识每个在视觉上均类似于所述响应图像中的第一图像的图像，所述辅助内容不同于被爬取的所述网络可访问内容，其中视觉相似性基于所述第一图像在多维空间中的表示与来自所述辅助内容的所述图像在所述多维空间中的表示在所述多维空间中之间的距离，所述多维空间的每个维度表示图像特征；

提供所述响应图像中的至少一些响应图像以作为对所述搜索查询的响应；以及

提供所述辅助内容中的包括经标识的辅助内容图像的至少一些辅助内容，也作为对所述搜索查询的所述响应的一部分、但是在视觉上分离于提供的所述响应图像而被显示。

9.根据权利要求8所述的计算设备，其中所述一个或多个计算机可读介质还包括计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理单元执行时，使所述计算设备执行步骤，所述步骤还包括：

从所述辅助内容中标识每个在视觉上均类似于所述响应图像中的第二图像的图像，所述第二图像不同于所述第一图像；以及

提供所述辅助内容中的至少一些辅助内容，其包括被标识为在视觉上类似于所述响应图像中的所述第二图像的经标识的辅助内容图像。

10.根据权利要求8所述的计算设备，其中所述响应图像中的所述第一图像被排名为与所述查询最为相关。

11.根据权利要求8所述的计算设备，其中从所述辅助内容中标识每个在视觉上均类似于所述第一图像的所述图像进一步参考所述辅助内容的元数据而被执行。

12.根据权利要求8所述的计算设备，其中从所述辅助内容中标识每个在视觉上均类似于所述第一图像的所述图像进一步参考提交所述搜索查询的用户的地理位置而被执行。

13.根据权利要求8所述的计算设备，其中所述一个或多个计算机可读介质还包括计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理单元执行时，使所述计算设备执行步骤，所述步骤还包括：

将来自所述辅助内容的所述图像中的至少一些图像提供至已有图像处理，所述已有图像处理被用以处理经标引的所述图像；

其中视觉相似性基于所述已有图像处理。

14.根据权利要求8所述的计算设备，其中提供的所述辅助内容通过使提供的所述辅助内容封闭的边界、或者通过提供的所述辅助内容在与提供的所述响应图像不同颜色的背景上被显示，而在视觉上分离于提供的所述响应图像。

15.一种图形用户界面，所述图形用户界面在物理显示设备上被物理地生成，所述物理显示设备通信地耦合至计算设备，所述图形用户界面包括：

第一图像集合，所述第一图像集合选择自通过爬取网络可访问内容而被索引的图像，所述第一图像集合响应于搜索查询；

辅助内容，所述辅助内容包括在视觉上类似于所述第一图像集合中的第一图像的图像，所述辅助内容不同于被爬取的所述网络可访问内容，其中视觉相似性基于所述第一图像在多维空间中的表示与来自所述辅助内容的所述图像在所述多维空间中的表示在所述多维空间中之间的距离，所述多维空间的每个维度表示图像特征；以及

所述辅助内容周围的边界或者所述辅助内容被显示的背景中的至少一者，所述背景在颜色上与所述第一图像集合被显示的背景不同。

16.根据权利要求15所述的图形用户界面，其中表示所述多维空间的所述维度的所述图像特征由所述第一图像集合中的至少一些图像的主体的预存在的模型所定义。

17.根据权利要求16所述的图形用户界面，其中所述辅助内容包括有关所述辅助内容所包括的所述图像的主体的附加信息。

Images