CN109791545A - 用于包括图像的显示的资源的上下文信息 - Google Patents

用于包括图像的显示的资源的上下文信息 Download PDF

Info

Publication number
CN109791545A
CN109791545A CN201780054440.7A CN201780054440A CN109791545A CN 109791545 A CN109791545 A CN 109791545A CN 201780054440 A CN201780054440 A CN 201780054440A CN 109791545 A CN109791545 A CN 109791545A
Authority
CN
China
Prior art keywords
contextual information
image
request
user equipment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780054440.7A
Other languages
English (en)
Other versions
CN109791545B (zh
Inventor
J.P.帕加梅达西尔瓦
V.阿加瓦尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109791545A publication Critical patent/CN109791545A/zh
Application granted granted Critical
Publication of CN109791545B publication Critical patent/CN109791545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

用于为包括图像的显示的资源提供上下文信息的***、方法和软件。用户设备向上下文信息服务器提供与用户设备上的应用环境中显示的资源相关的上下文信息的独立于查询的请求。该请求指定活动资源的内容并且进一步指定在用户设备上显示的活动资源包括图像，但在请求中不包括图像。用户设备从上下文信息服务器接收对图像的请求，向上下文信息服务器提供图像，接收包括关于图像的上下文信息的用户界面元素，以及采用活动资源在用户设备上显示用户界面元素。与提供上下文信息的已知方法和***相比，该方法和***减少了处理和带宽要求和/或提供了其他技术优势。

Description

用于包括图像的显示的资源的上下文信息
背景技术
本说明书涉及向用户提供上下文信息。
设备可以向用户提供用于包括图像的显示的资源的上下文信息。例如，设备可以显示关于特定主题的网页，接收来自用户的关于特定主题的搜索查询并且响应于搜索查询检索搜索结果，以及向用户提供搜索结果。典型的交互模型需要用户向用户设备提供一些形式的用户查询。例如，用户可以从网页保存图像，然后将图像作为查询图像上载。然后，搜索处理使用查询图像执行资源搜索，以识别可满足用户的信息需求的资源。
发明内容
如下面更详细讨论地，与提供上下文信息的已知方法和***相比，本说明书中描述的方法和***减少了处理和带宽要求和/或提供了其他技术优势。
通常，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像；由用户设备从上下文信息服务器接收针对图像的请求；响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像；由用户设备接收包括关于图像的上下文信息的用户界面元素；以及由用户设备采用活动资源在用户设备上显示用户界面元素。
该方面的其他实施例包括相对应的计算机***、装置以及记录在一个或多个计算机存储设备上的计算机程序，各自被配置为执行方法的动作。一个或多个计算机的***可以被配置为通过在***上安装软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使得***执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，该指令在由数据处理装置执行时使得装置执行动作。
前述和其他实施例可以各自可选地、以单独或组合的方式包括以下特征中的一个或多个。在一些实现方式中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像，包括：提供独立于查询的请求，该请求不包括由用户输入的一个或多个查询词，并且不包括来自图像的任何内容。在某些方面中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像，包括：提供独立于查询的请求，该请求包括显示的活动资源的数据表示，并且不包括来自图像的任何内容。
在一些方面中，由用户设备从上下文信息服务器接收针对图像的请求包括：由用户设备接收针对当前显示在用户设备上的所有图像的请求；以及由用户设备向上下文信息服务器提供图像包括：由用户设备向上下文信息服务器提供当前正在用户设备上显示的所有图像。在一些实现方式中，响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像包括：当在用户设备上显示多个图像时，从提供来自用户设备的屏幕截图。在某些方面中，动作包括：确定用户期望与活动资源相关的上下文信息；以及响应于确定用户期望与活动资源相关的上下文信息，确定是否当前正在显示一个或多个图像，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求是响应于确定当前正在显示一个或多个图像的。
在一些实现方式中，确定是否当前正在显示一个或多个图像包括：获得来自用户设备的屏幕截图；以及识别屏幕截图的包括非文本内容一个或多个矩形部分作为一个或多个图像。在某些方面中，确定是否当前正在显示一个或多个图像是进一步响应于由用户设备确定用户设备正在使用计量网络连接的。
通常，本说明书中描述的主题的一个创新方面可以体现在包括以下动作的方法中：由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，该请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在请求中不包括图像；由上下文信息服务器确定由请求指定的内容不足以提供关于活动资源的上下文信息；响应于确定由请求指定的内容不足以提供关于活动资源的上下文信息，由上下文信息服务器向用户设备提供针对活动资源中的图像的请求；由上下文信息服务器从用户设备接收活动资源中的图像；以及由上下文信息服务器向用户设备提供包括关于图像的上下文信息的用户界面元素。
该方面的其他实施例包括相对应的计算机***、装置以及记录在一个或多个计算机存储设备上的计算机程序，各自被配置为执行方法的动作。一个或多个计算机的***可以被配置为通过在***上安装软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使得***执行动作。一个或多个计算机程序可以被配置为通过包括指令来执行特定操作或动作，该指令在由数据处理装置执行时使得装置执行动作。前述和其他实施例可以各自可选地、以单独或组合的方式包括以下特征中的一个或多个。在一些实现方式中，由上下文信息服务器确定由请求指定的内容不足以提供关于活动资源的上下文信息包括：确定指定用户设备上显示的活动资源的请求包括图像，但在请求中不包括图像，其中，由上下文信息服务器向用户设备提供针对活动资源中的图像的请求是响应于确定该请求指定在用户设备上显示的活动资源包括图像但在请求中不包括图像的。在某些方面中，由上下文信息服务器确定由请求指定的内容不足以提供关于活动资源的上下文信息包括：从由请求指定的内容识别一个或多个搜索项；以及确定不选择一个或多个搜索项中的任何一个以提供关于搜索项的上下文信息。在一些方面中，由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求包括：接收独立于查询的请求，该请求不包括用户输入的一个或多个查询词，并且不包括来自图像的任何内容。
可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。在查看包括图像的资源时可能满足用户的信息需求的上下文信息可以由设备提供给用户而无需用户向设备提供查询。这导致用户以便利方式获得针对显示的资源的上下文信息。用户不再需要输入查询词以获得上下文信息，或者不再需要将图像保存在显示的资源中，然后上载保存的图像以获得上下文信息。因此，用户以便于用户的方式接收上下文信息。而且，因为用户不需要提供查询，所以在一些实现方式中，用户可以在用户以另外地方式将无法有效地键入或查询时(例如，当用户仅有一只手空闲时)接收上下文信息。
因为可以在没有查询的情况下提供上下文信息，所以这导致更少的输入错误和错误输入的查询。因此，当在总体考虑时，避免了数千个错误且不准确的查询，这反过来提供了对搜索***资源的更有效使用。换句话说，避免了多个错误的查询处理周期，这减少了所需的处理资源并且降低了整体***带宽要求(或者，替代地，能够在不相应地增加处理资源的情况下服务更多数量的用户)。因此，搜索处理技术领域的这种改进是通过下面描述的***和方法实现的另一个明显的优点。
另外，用户使用的设备可以首先向服务器提供显示的资源的文本内容，并且如果服务器不能基于显示的资源的文本内容提供上下文信息，则提供显示的资源的图像内容，使得服务器可以尝试使用图像内容识别上下文信息。以这种方式，设备可以将可能具有大的文件大小的图像限制为显示的资源的文本内容不足以提供上下文信息的情况。因此，用户可以以尽可能地减少设备的带宽使用和功率使用的方式获得显示的资源的上下文信息。因此，搜索处理技术领域的这种改进是通过下面描述的***和方法实现的另一个明显的优点。
在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得明显。
附图说明
图1是针对包括图像的显示的资源提供上下文信息的示例环境的框图。
图2是针对包括图像的显示的资源提供上下文信息的示例环境的更详细框图。
图3A和3B是针对包括图像的显示的资源提供上下文信息的示例交互的交互图。
图4和图5是针对包括图像的显示的资源提供上下文信息的示例处理的流程图。
图6是计算机***的示意图。
各附图中相同的附图标记和名称表示相同的元件。
具体实施方式
用户可能期望接收关于包括图像的、在设备上显示的资源的附加信息。例如，用户可能正在浏览包括“Paul's Diner”的徽标的网页，并且可能期望获得关于“Paul's Diner”的附加信息。因此，用户可以保存徽标，打开搜索引擎的网页，将徽标作为查询图像提供给搜索引擎，然后选择要查看的搜索结果。然而，该处理可能花费时间并且需要用户进行多次交互。此外，徽标可能具有大的文件大小，并且用户可能能够使用较少的带宽和功率来获得上下文信息。例如，包含词“Paul's Diner”的搜索查询可以仅由几个字节的数据表示，而不是表示“Paul's Diner”徽标所需的几兆字节的数据，发送表示术语“Paul's Diner”的更少的字节需要更少的带宽和功率，并且可能产生类似的搜索结果。
下面描述的是用于提供针对包括图像的显示的资源的上下文信息的***和方法。替代基于用户输入的查询来提供上下文信息，***可以提供与包括图像的显示的资源相关的上下文信息而不接收查询输入。另外，***可以最初尝试提供上下文信息而不发送显示的资源中的图像，然后如果在没有图像的情况下不能提供针对显示的资源的上下文信息，则发送该图像。
为了提供上下文信息，用户使用的设备可以确定显示的资源包括图像，并且向服务器提供显示的资源的文本非图像内容、以及显示的资源包括图像的指示。如果服务器从显示的资源的文本非图像内容识别出要提供的上下文信息，则服务器可以向设备提供上下文信息，并且设备不向服务器提供来自显示的资源的图像。如果服务器从显示的资源的文本非图像内容未识别出要提供的上下文信息，则服务器请求来自设备的显示的资源中的图像，并且尝试根据接收的图像提供上下文信息。
图1是针对包括图像的显示的资源提供上下文信息的示例环境100的框图。环境100包括用户设备110和上下文信息服务器150。
用户使用用户设备110来获得包括图像的显示的资源的上下文信息。用户设备110是能够显示包括图像的资源的电子设备。示例用户设备110包括个人计算机(例如，台式计算机或膝上型计算机)、移动通信设备(例如，智能电话或平板电脑)、以及可以通过网络发送和接收数据的其他设备(例如，具有网络通信功能的电视、眼镜或手表)。用户设备通常包括用户应用(例如网络浏览器)，以便于通过网络发送和接收数据。网络浏览器可以使用户能够显示通常位于万维网或局域网的网站处的网页上的文本、图像、视频、音乐和其他信息并且与之交互。用户设备110可以使用任何适当的应用来通过网络发送和接收数据并且将数据呈现给用户。
资源是包括可以由用户设备110可视地呈现的渲染的数据。例如，资源可以包括HTML页面、电子文档、图像文件、视频文件、文本消息对话、电子邮件、应用的图形用户界面等。可以将活动资源视为当前正在用户设备110上显示的资源。通常，活动资源由在用户设备的前景(foreground)运行的应用渲染。
用户设备110检测到用户期望针对显示的资源的上下文信息。例如，用户设备110可以显示由网站托管(host)的资源，其中，资源描述提供优质汉堡服务的餐馆和包括文本“在我们的优质汉堡点列表中名列第四”并且包括当前正在显示的餐厅徽标“Paul'sDiner”的图像的资源的一部分。用户可以例如通过按下按钮三秒钟(称为长按)或者根据预定义的轻击(tap)模式轻击屏幕等，生成上下文信息的指示。为了说明的目的，假设用户执行长按，指示用户期望针对显示的资源的上下文信息。
响应于检测到用户期望针对显示的资源的上下文信息，用户设备110可以确定显示的资源是否包括一个或多个图像。例如，用户设备110可以确定显示的资源在显示的中心包括图像，例如“Paul's Diner”的徽标。
响应于确定显示的资源包括一个或多个图像，用户设备110可以向上下文信息服务器150提供针对显示的资源的上下文信息的请求，其中，该请求指定显示的文本内容以及指示正在显示一个或多个图像，但请求不包括任何图像。例如，用户设备110可以向上下文信息服务器150提供文档对象模型，该文档对象模型指定当前正在用户设备110上显示文本内容“在我们的优质汉堡点列表中名列第四”，并且指示用于显示的图像(例如“Paul'sDiner”的徽标)的占位符。该请求可以被认为是与独立于查询的请求，因为用户设备110向上下文信息服务器150提供请求而无需用户输入查询的词或指定查询的图像，如流元素A所示。
响应于向上下文信息服务器150提供针对显示的资源的上下文信息的请求，其中，该请求包括显示的文本内容以及正在显示一个或多个图像的指示但不包括任何图像，上下文信息服务器150可以确定上下文信息服务器150是否可以根据请求中指定的显示的资源的内容来提供上下文卡片。例如，上下文信息服务器150可以确定由请求指定的文本内容“在我们的优质汉堡点列表中名列第四”是否足以提供上下文信息。
如果上下文信息服务器150确定指定的内容不足以提供上下文卡片，则上下文信息服务器150可以向用户设备110提供针对显示的资源中的任何图像的图像请求，如流元素B所示。用户设备110可以接收图像请求，并且作为响应，向上下文信息服务器150提供任何显示的图像。例如，用户设备110可以接收图像请求，并且作为响应，提供包含在资源中的显示的“Paul's Diner”徽标，如流元素C所示。
上下文信息服务器150可以接收由用户设备110提供的任何图像，并且提供根据图像识别的上下文信息。例如，上下文信息服务器150可以接收作为“Paul's Diner”的徽标的图像，确定该图像是“Paul's Diner”的徽标，以及作为响应，在用户界面元素中提供关于“Paul's Diner”的上下文信息，如流元素D所示。
然后，用户设备110从上下文信息服务器150接收一个或多个用户界面元素。例如，用户设备110可以从上下文信息服务器150接收“Paul's Diner”的用户界面元素。出于说明的目的，用户界面元素被描述为卡片。然而，可以使用其他用户界面元素，例如，聊天气泡(chat bubbles)、可选择的链接的注释或脚注、合成的语音响应或其他形式。上下文卡片可以是包括关于搜索项的上下文信息的数据。例如，“Paul's Diner”的上下文卡片可以包括描述“Paul's Diner”是“休闲汉堡餐厅”的上下文信息。上下文卡片可以指示下一个动作。例如，“Paul's Diner”的上下文卡片可以包括用于以下的可选选项：执行关于“Paul'sDiner”的网页搜索、打开以“Paul's Diner”的地址为中心的地图、呼叫“Paul's Diner“的电话号码以及预订“Paul's Diner”。
用户设备110将所接收的上下文卡片提供给用户。例如，用户设备110可以通过生成被示出为覆盖在显示的资源之上的图形面板160来提供上下文卡片。图形面板160识别出该图形面板用于“Paul's Diner”项以及Paul's Diner是“休闲汉堡餐厅”，并且包括用于以下的可选选项162：执行关于“Paul's Diner”的网页搜索、打开以“Paul's Diner”的地址为中心的地图、呼叫“Paul's Diner”的电话号码以及预订“Paul's Diner”。在另一个示例中，用户设备110可以停止显示资源，而是显示图形面板160。
用户设备110可以使用户能够快速返回到显示的资源。例如，用户设备110可以响应于检测到用户已经与未被图形面板160覆盖的资源的一部分交互(例如，点击或触摸)而停止显示图形面板160。在另一示例中，用户设备110可以响应于检测到用户已经与用于关闭图形面板160的可选选项交互(例如，点击或触摸)而停止显示图形面板160并且显示资源。
在一些实现方式中，响应于检测到用户期望针对显示的资源的上下文信息，用户设备110可以确定用户设备110是否处于仅在显示的文本内容不足以提供上下文信息时才期望提供显示的图像的模式中。例如，用户设备110可以确定用户设备110是否处于计量网络连接，例如，蜂窝连接而不是Wi-Fi连接，在计量网络连接中，期望限制带宽使用；或者用户设备110可以确定用户设备110是否电量低，因此期望限制由数据传输引起的功率使用。响应于确定用户设备110处于仅在显示的文本内容不足以提供上下文信息时才期望提供显示的图像的模式中，用户设备110然后可以确定显示的资源是否包括图像，如上所述。响应于确定用户设备110不处于仅在显示的文本内容不足以提供上下文信息时才期望提供显示的图像的模式中，用户设备110可以在初始请求中包括任何图像或者在初始请求中包括来自用户设备110的屏幕截图。
在一些实现方式中，响应于检测到用户期望针对显示的资源的上下文信息，用户设备110可以确定用户设备110是否具有网络连接。如果用户设备110确定用户设备110不具有网络连接，则用户设备110可以裁剪显示的图像并且执行以下中的一个或多个：使用裁剪的图像进行本地搜索，或保存裁剪的图像并且等待直到用户设备110具有网络连接以使用保存的图像作为查询图像。
图2是针对包括图像的显示的资源提供上下文信息的示例环境100的更详细的框图。环境100包括用户设备上的客户端上下文模块210和上下文信息服务器150。上下文信息服务器150包括项目识别引擎220、项目知识图表222、相关性评分引擎230、项目选择引擎240、上下文卡片提供器250和卡片信息数据库260。在一些实现方式中，客户端上下文模块210可以在图1所示的用户设备110上提供。在其他实现方式中，客户端上下文模块210可以在与图1中所示的用户设备110不同的另一用户设备上提供。
客户端上下文模块210确定用户期望针对包括图像的显示的资源的上下文信息。例如，客户端上下文模块210可以确定用户在查看具有文本“在我们的优质汉堡点列表中名列第四”并且包括徽标“Paul's Diner”的资源时已经快速按下按钮三次(在该示例中，快速按下按钮三次指示用户期望上下文信息，但是可以使用其他交互来指示该期望)。
响应于确定用户期望针对显示的资源的上下文信息，客户端上下文模块210确定是否正在显示任何图像，并且向上下文信息服务器212生成针对显示的资源的上下文信息的请求，其中，请求指定显示资源的文本内容以及显示的资源是否包含任何图像，但不包括实际图像。例如，客户端上下文模块210可以确定图像显示在屏幕的中心并且生成指定正显示文本“在我们的优质汉堡点列表中名列第四”并且正显示至少一个图像的请求。
客户端上下文模块210可以基于拍摄屏幕截图并且识别屏幕截图中包括非文本内容的矩形区域来确定显示的资源是否包括至少一个图像。例如，客户端上下文模块210可以分析屏幕截图中的相邻像素的对比度以识别包括非文本内容的矩形区域。附加地或替代地，客户端上下文模块210可以基于表示当前正在用户设备110上显示的是什么的文档对象模型来确定显示的资源是否包括一个或多个图像。例如，用户设备110可以确定显示的网页的超文本标记语言(HTML)指定图像的显示。
在一些实现方式中，客户端上下文模块210可以仅考虑满足图像标准的图像。例如，客户端上下文模块210可以忽略区域中小于一百、二百、五百像素或的一些其他数量的像素的图像，因此如果显示图像但是没有图像包括区域中的至少该像素数量，则客户端上下文模块210可以指示不显示图像。
响应于确定显示的资源包括至少一个图像，用户设备110生成指定显示的资源的文本内容以及指示至少一个图像被包括在显示的资源中的请求，但是不包括来自显示的资源的任何图像。例如，客户端上下文模块210可以生成包括文本“在我们的优质汉堡点列表中名列第四”并且包括指示正在显示图像的“图像＝真(Image＝True)”的请求，但不包括“Paul's Diner”的徽标图像。
然后，客户端上下文模块210将该请求提供给项目识别引擎220。例如，客户端上下文模块210将该请求提供给项目识别引擎220，而无需用户提供任何查询词或指定查询图像。该请求由流元素A指示。
项目识别引擎220接收针对显示的资源的上下文信息的请求，并且尝试从该请求指定的内容中识别一个或多个搜索项。例如，项目识别引擎220可以获得指定文本“在我们的优质汉堡点列表中名列第四”并且指示显示图像的请求，而作为响应，从请求指定的文本中识别搜索项“汉堡”。
当在本说明书中使用时，“搜索项”是搜索***可以使用来进行信息搜索的概念或事物。搜索项可以被称为文本片段(例如，词语或短语)，并且搜索项可以例如基于上下文彼此区分。例如，搜索项可以是关键字、特定实体的实例、专有名称、由知识图表中的节点或边缘建模的实体或关系等。
项目识别引擎220可以通过从请求中提取文本来识别搜索项。例如，项目识别引擎220可以从请求中提取文本“在在我们的优质汉堡点列表中名列第四”。项目识别引擎220可以通过解析表示显示的资源的文档对象模型来提取文本。
项目识别引擎220可以使用项目知识图表222从提取的文本中识别一个或多个搜索项。例如，项目识别引擎220可以识别显示的资源中的文本“汉堡”与项目知识图表222中的食品项目“汉堡”的名称匹配。项目知识图表222可以是知识图表，其包括用于搜索项的节点、指示节点之间的关系的边缘、以及描述由节点表示的搜索项的上下文信息。在另一示例中，项目识别引擎220可以通过使用文本执行搜索来从提取的文本中识别一个或多个搜索项。例如，项目识别引擎220可以确定包括词“汉堡”的搜索查询导致词“汉堡”的定义。
虽然从客户端上下文模块210接收的初始请求不包括图像，但是项目识别引擎220还能够从图像中识别搜索项。例如，项目识别引擎220可以识别在视觉上类似于由客户端上下文模块210提供的图像的标记的图像，其中，标记的图像采用搜索项的标识符来标记。在另一示例中，项目识别引擎220可以对由客户端上下文模块210提供的图像执行光学字符识别，以提取文本，然后从提取的文本中识别搜索项。然而，因为来自客户端上下文模块210的初始请求不包括图像，所以针对来自客户端上下文模块210的对上下文信息的初始请求，项目标识引擎220可能无法从图像中识别搜索项。
相关性评分引擎230可以接收由项目识别引擎220识别的搜索项，如流元素B所示，并且确定每个搜索项的相关性分数。可以以各种适当的方式确定相关性分数。例如，相关性分数可以反映搜索项与用户相关的置信度，即，用户希望看到关于搜索项的上下文信息的置信度。例如，相关性评分引擎230可以接收从请求指定的文本内容识别出搜索项”汉堡”的指示，并且确定针对搜索项“汉堡”的30％的相关性分数，其指示用户希望看到关于搜索项“汉堡”的上下文信息的低置信度。
相关性评分引擎230可以基于用户对搜索项的参与度(engagement)来确定搜索项的相关性分数。参与度的示例包括提供与搜索项相关的资源的搜索查询、请求索引为与搜索项相关的资源、或搜索项中感兴趣的一些其他重要信号。相关性评分引擎230可以确定指示用户以更大参与度希望看到关于搜索项的上下文信息的更高置信度的相关性分数，并且可以确定指示用户以更小参与度希望看到关于搜索项的上下文信息的更低置信度的相关性分数。相关性评分引擎230可以从例如分析搜索查询历史日志或资源请求日志来确定对于搜索项的参与度。
附加地或替代地，相关性评分引擎230可以基于从其识别搜索项的文本的外观(apperance)来确定搜索项的相关性分数。例如，相关性评分引擎230可以对于从被加粗体的文本识别的搜索项确定反映更高置信度的相关性分数，因为可能由于文本重要而对文本加粗体。在另一示例中，相关性评分引擎230可以对于从较大大小、不同颜色或与显示的资源中的文本的大多数对齐不同的文本识别的搜索项确定反映更高置信度的相关性分数，因为文本的不同外观可能指示该文本重要。
项目选择引擎240可以获得相关性分数并且选择向用户提供其上下文信息的一个或多个搜索项。例如，项目选择引擎240可以接收标记有相关性分数为30％的搜索项“汉堡”的标识，如流元素C所示，并且作为响应，不选择任何搜索项以提供上下文信息。
项目选择引擎240可以基于确定搜索项是否具有满足相关性阈值的相应相关性分数来选择搜索项。例如，项目选择引擎240可以不选择搜索项“汉堡”，因为30％的相关性分数小于60％、65％、85％或超过30％的某个其他百分比的相关性阈值。在另一示例中，项目选择引擎240可以不选择任何搜索项，因为项目识别引擎220可能不识别任何搜索项。
响应于不选择从由请求指定的文本内容识别的搜索项，项目选择引擎240可以确定该请求是否指示显示的资源包括至少一个图像。例如，项目选择引擎240可以确定请求是否包括值为“真(True)”的变量“图像(Image)”值。在另一个示例中，项目选择引擎240可以确定该请求是否包括图像的占位符。
响应于选择不从由请求指定的文本内容识别的搜索项并且确定显示的包括至少一个图像，项目选择引擎240可以从客户端上下文模块210请求图像。例如，项目选择引擎240可以向客户端上下文模块210提供图像请求，其中，图像请求是对客户端上下文模块210的指令，以提供当前正在用户设备110上显示的任何图像。该请求由流元素D指示。
客户端上下文模块210可以接收图像请求，并且作为响应，向项目识别引擎220提供当前正在显示的所有图像。例如，客户端上下文模块210可以接收图像请求，并且作为响应，提供作为“Paul's Diner”的徽标的图像。在提供当前正在显示的任何图像的一些实现方式中，客户端上下文模块210可以确定用户设备110是否正在显示多个图像。例如，客户端上下文模块210可以确定用户设备110的屏幕截图包括包含非文本内容的多个单独的矩形部分。响应于确定正在显示多个图像，客户端上下文模块210可以提供用户设备110的整个屏幕截图。响应于确定仅显示单个图像，客户端上下文模块210可以提供屏幕截图的对应于包括非文本内容的矩形部分的一部分，如流元素E所示。
项目识别引擎220可以接收图像并且从图像中识别搜索项。例如，项目识别引擎220可以从客户端上下文模块110接收作为“Paul's Diner”的徽标的图像，确定所接收的图像在视觉上类似于被标记为“Paul's Diner”的徽标的图像，以及作为响应，从标记识别“Paul's Diner”作为搜索项。在另一示例中，项目识别引擎220可以从客户端上下文模块110接收作为“Paul's Diner”的徽标的图像，对图像执行光学字符识别以提取文本“Paul'sDiner”，并且作为响应，从提取的文本识别“Paul's Diner”作为搜索项，如流元素F所示。
相关性评分引擎230可以接收从图像识别的任何搜索项的标识，并且如上所述，确定每个搜索项的相关性分数。例如，相关性评分引擎230可以接收搜索项“Paul's Diner”的标识，并且如上所述，确定搜索项“Paul's Diner”的相关性分数为90％，其指示搜索项为相关的高度置信度。在一些实现方式中，相关性评分引擎230可以另外考虑从其识别搜索项的图像的属性。例如，相关性评分引擎230可另外地确定指示搜索项与具有更大显示区域的图像相关的更高置信度的相关性分数，以及确定指示搜索项与具有更小显示区域的图像相关的更低置信度的相关性分数。
附加地或替代地，相关性评分引擎230可以将由请求指定的文本内容与接收的图像组合以确定相关性分数。例如，相关性评分引擎230可以确定从作为“Paul's Diner”的徽标的图像中识别搜索项“Paul's Diner”、搜索项“Paul's Diner”具有包括单词“汉堡”的描述“休闲汉堡餐厅”、请求指定“汉堡”以及作为响应，确定指示对于显示的资源搜索项“Paul's Diner”相关的更高置信度的相关性分数。
如上所述，项目选择引擎240可以获得相关性分数，并且选择向用户提供其上下文信息的一个或多个搜索项。例如，项目选择引擎240可以获得搜索项“Paul's Diner”的90％的相关性分数，如流元素G所示，并且作为响应，当90％的相关性分数高于65％、75％、80％或其他一些低于90％的百分比的阈值相关性分数时，选择搜索项“Paul's Diner”以提供上下文信息。
上下文卡片提供器250可以获得包括所选择的搜索项的上下文信息的上下文卡片，并且将上下文卡片提供给客户端上下文模块210。例如，上下文卡片提供器250可以从项目选择引擎240获得搜索项“Paul's Diner”的标识，如流元素H所示，并且向客户端上下文模块210提供搜索项“Paul's Diner”的上下文卡片。在该示例中，上下文卡片包括对于搜索项“Paul's Diner”的全名和简要描述以及用于以下的可选择选项：执行关于“Paul'sDiner”的网页的搜索、打开以“Paul's Diner”的地址为中心的地图、拨打“Paul's Diner”的电话号码以及预订在“Paul's Diner”的预约。
上下文卡片提供器250可以通过为搜索项生成上下文卡片来获得上下文卡片。例如，上下文卡片提供器250可以从项目知识图表222中获得全名、简要描述、物理地址、电话号码以及可以预订关于“Paul's Diner”的预约的指示。在另一示例中，上下文卡片提供器250可以使用搜索项“Paul's Diner”来执行搜索，以获得全名、简要描述、物理地址、电话号码以及可以预订关于“Paul's Diner”的预约的指示。
在一些实现方式中，在为搜索项生成上下文卡片之前，上下文卡片提供器250可以确定用于搜索项的上下文卡片是否已经存在于卡片信息数据库260中。例如，上下文卡片提供器250可以针对搜索项“Paul’s Diner”的上下文卡片查询卡片信息数据库260。在卡片信息数据库260包括用于搜索项的现有上下文卡片的情况下，卡片信息数据库260可以将上下文卡片提供给上下文卡片提供器250，使得上下文卡片提供器250可以将现有的上下文卡片提供给客户端上下文模块210，而不是生成新的上下文卡片。然后，将上下文卡片提供给用户设备，如流元素I所示。
图3A是用于为包括图像的显示的资源提供上下文信息的示例交互300的交互图。当显示的资源包括至少一个图像并且资源中的文本内容不足以提供上下文卡片时，交互300在用户设备110和上下文信息服务器150之间。例如，用户正在查看消息对话，其具有由用户输入的文本“我拍了一些惊人的照片”、以及从收件人接收的文本“发给我一个”、然后是“金门大桥”的图像。这里，用户期望获得关于“金门大桥”的上下文信息。
最初，交互300包括确定显示的资源包括图像(310)。例如，用户设备110可以确定用户长按按钮，并且作为响应，确定当前正在显示的资源的一部分包括图像，例如“金门大桥”的图像，其包括多于五百的像素。
该交互包括提供指定资源的内容并且指示显示至少一个图像的独立于查询的请求，但排除图像(320)。例如，用户设备110可以提供指定文本“我拍了一些惊人的照片”和“发给我一个”的独立于查询的请求，并且指示显示的资源包括至少一个图像，但不包括图像。
交互包括确定指定的内容不足以提供上下文卡片并且资源包括图像(330)。例如，上下文信息服务器150可以从由请求指定的文本内容中识别出没有搜索项，或者从由请求指定的文本内容中识别一个或多个搜索项，但不选择提供关于任何识别的搜索项的上下文信息。例如，所识别的搜索项的相关性分数可以指示不满足相关性阈值的相关性的置信度。
交互包括请求资源中的任何显示的图像(340)。例如，上下文信息服务器150可以向用户设备110提供对针对显示的资源当前显示的所有图像的请求。
交互包括将任何显示的图像提供给上下文信息服务器150(350)。例如，用户设备110可以在消息对话中向上下文信息服务器150提供“金门大桥”的图像。
交互包括提供关于图像的上下文卡片(360)。例如，上下文信息服务器150可以确定“金门大桥”的图像在视觉上类似于存储为搜索项“金门大桥”的代表图像的图像，并且作为响应，向用户设备110提供用于搜索项“金门大桥”的上下文卡片。
图3B是用于为包括图像的显示的资源提供上下文信息的示例交互380的交互图。当显示的资源包括至少一个图像并且资源中的文本内容足以提供上下文卡片时，交互380在用户设备110和上下文信息服务器150之间。例如，用户正在查看消息对话，其具有文本“我拍了金门大桥的一些惊人的照片”、以及“发给我一个”、然后是“金门大桥”的图像，其中，用户期望获得关于“金门大桥”的上下文信息。
最初，交互300包括确定显示的资源包括图像(382)。例如，用户设备110可以确定用户长按按钮并且当前正在显示的资源的一部分包括图像，例如，“金门大桥”的图像，其包括多于五百的像素。
该交互包括提供指定资源的内容并且指示显示至少一个图像的独立于查询的请求，并且排除图像(384)。例如，用户设备110可以提供独立于查询的请求，该请求指定文本“我拍了金门大桥的一些惊人的照片”和“发给我一个”，并且指示显示的资源包括至少一个图像，但不包括任何图像。
交互包括确定指定的内容足以提供上下文卡片(386)。例如，上下文信息服务器150可以从由请求指定的文本“金门大桥”中识别搜索项“金门大桥”，并且选择搜索项“金门大桥”以提供上下文卡片。
交互包括提供关于指定的内容的上下文卡片(388)。例如，上下文信息服务器150可以为从由请求指定的文本“金门大桥”识别的搜索项“金门大桥”提供上下文卡片，而无需用户设备110提供当前正在显示的任何图像。
图4是用于用户设备为包括图像的显示的资源提供上下文信息的处理400的流程图。例如，处理400可以由用户设备110从环境100使用。
处理400包括提供独立于查询的请求，该请求指定显示的资源的内容并且该资源包括图像，但不包括图像(410)。例如，用户设备110可以确定网页的显示的部分包括文本“在我们的优质汉堡点列表中名列第四”并且包括图像，例如“Paul’s Diner”的徽标，以及作为响应，向上下文信息服务器150提供指定文本“在我们的优质汉堡点列表中名列第四”的请求并且指示该请求包括图像。
处理400包括接收对图像的请求(420)。例如，响应于上下文信息服务器150确定由请求指定的显示的资源的文本内容不足以提供包括用于显示的资源的上下文信息的用户界面元素，用户设备110可以从上下文信息服务器150接收图像请求，其中，请求是指示用户设备110向上下文信息服务器150提供任何显示的图像的指令。
处理400包括提供图像(430)。例如，响应于接收到图像请求，用户设备110可以向上下文信息服务器150提供“Paul's Diner”的徽标的图像。
该处理包括接收包括关于图像的上下文信息的用户界面元素(440)。例如，用户设备110可以接收“Paul's Diner”的上下文卡片，其包括关于“Paul's Diner”的徽标的上下文信息。
该处理包括采用资源显示用户界面元素(450)。例如，用户设备110可以显示覆盖在网页的显的示部分上的“Paul's Diner”的上下文卡片，其包括文本“在我们的优质汉堡点列表中名列第四”并且包括“Paul's Diner”的徽标。
在一些实现方式中，处理400可以包括附加步骤、更少步骤，或者一些步骤可以分成多个步骤。例如，用户设备110可以另外执行上下文信息服务器150的功能。
图5是用于上下文信息服务器为包括图像的显示的资源提供上下文信息的处理500的流程图。例如，处理500可以由上下文信息服务器150从环境100使用。
处理500包括接收独立于查询的请求，该请求指定显示的资源的内容并且该资源包括图像，但不包括图像(510)。例如，上下文信息服务器150可以接收对显示的网页的上下文信息的请求，其中，该请求指定文本内容“在我们的优质汉堡点列表中名列第四”并且指示显示的资源包括至少一个图像。
处理500包括确定由请求指定的内容不足以提供关于资源的上下文信息并且资源包括图像(520)。例如，上下文信息服务器150可以确定通过由请求指定的显示的文本内容“在我们的优质汉堡点列表中名列第四”不可以识别搜索项，或者从显示的资源的文本内容识别的搜索项不满足相关性阈值的相关性分数。
处理500包括请求显示的资源中的图像(530)。例如，上下文信息服务器150可以向用户设备110提供图像请求，其中，图像请求指令用户设备110向上下文信息服务器150提供来自网页的任何显示的图像。
处理500包括确定包括关于图像的上下文信息的用户界面元素(540)。例如，上下文信息服务器150可以接收作为“Paul's Diner”的徽标的图像，确定所接收的图像匹配被标记为“Paul's Diner”的徽标的图像，基于匹配识别搜索项“Paul's Diner”，基于图像覆盖屏幕的大区域确定搜索项“Paul's Diner”具有指示高相关度的相关性分数，基于相关性分数选择搜索项“Paul's Diner”以提供用户界面元素，以及作为响应，向用户设备110提供搜索项“Paul's Diner”的用户界面元素。如上所述，搜索项“Paul's Diner”的用户界面元素可以是餐厅“Paul's Diner”的上下文卡片，包括直接在卡片中的餐厅信息，例如，营业时间、评级星号、电话号码等，或包括与餐厅相关的可选选项，例如，用于在地图应用中查看到餐厅的指引的可选选项、用于查看餐厅营业的时间的可选选项、用于在餐馆评论应用中查看餐厅的评论的可选选项、或其他可选选项。
在一些实现方式中，处理500可以包括附加步骤、更少步骤，或者一些步骤可以分成多个步骤。例如，上下文信息服务器150可以另外执行用户设备110的功能。
在这里讨论的***收集关于用户的个人信息或者可以利用个人信息的情况下，可以向用户提供控制程序或特征是否收集用户信息的机会(例如，关于用户的社交网络、社交动作或活动、专业、用户的偏好或用户的当前位置的信息)，或控制是否和/或如何从内容服务器接收可能与用户更相关的内容。另外，某些数据可以在存储或使用之前以一种或多种方式处理，从而移除个人可识别信息。例如，可以处理用户的身份，使得不能为用户确定个人可识别信息，或者可以概括获得位置信息的用户的地理位置(诸如概括为城市、邮政编码或州级别)，使得无法确定用户的特定位置。因此，用户可以控制如何收集关于用户的信息并且由内容服务器使用。
本说明书中描述的主题和操作的实施例可以在数字电子电路中实现或者在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者其中一个或更多的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即，计算机程序指令的一个或多个模块，其编码在计算机存储介质上，用于由数据处理装置执行或控制数据处理装置的操作。替代地或另外地，程序指令可以在人工生成的传播信号上编码，例如机器生成的电、光或电磁信号，其被生成以编码信息用于传输到合适的接收器装置，以由数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备中，或者它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人为生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质(例如，多个CD、盘或其他存储设备)中。
本说明书中描述的操作可以实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
术语“数据处理装置”包括用于处理数据的所有类型的装置、设备和机器，包括例如可编程处理器、计算机、片上***或以上的多个或其组合。该装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、跨平台运行时环境、虚拟机，或其中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础结构，例诸如web服务、分布式计算和网格计算基础结构。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明或过程语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适用于计算环境的其他单元。计算机程序可以但不必对应于文件***中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。
本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并且生成输出来执行动作。处理和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地耦合以从一个或多个用于存储数据的大容量存储设备接收数据或将数据传输到一个或多个大容量存储设备，或者两者，大容量存储设备例如磁盘、磁光盘或光盘。然而，计算机不需要这样的设备。此外，计算机可以嵌入在另一个设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位***(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几例。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在计算机上实现，计算机具有显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于向用户显示信息；以及键盘和指点设备(例如，鼠标或轨迹球)，用户可以通过其向计算机提供输入。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可以通过向由用户使用的设备发送文档并从该设备接收文档来与用户交互，例如通过响应于从web浏览器接收的请求将网页发送到用户的用户设备上的web浏览器。
本说明书中描述的主题的实施例可以在计算***中实现，计算***包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与本说明书中描述的主题的实现方式交互)，或者这种后端、中间件或前端组件的任何组合。***的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、因特网(例如，互联网)、对等网络(自组对等网络)。
计算***可包括用户和服务器。用户和服务器通常彼此远离，并且通常通过通信网络进行交互。用户和服务器的关系借助于在各个计算机上运行并且彼此具有用户-服务器关系的计算机程序而产生。在一些实施例中，服务器将数据(例如，HTML页面)发送到用户设备(例如，用于向与用户设备交互的用户显示数据和从其接收用户输入的目的)。可以从服务器处的用户设备接收在用户设备处生成的数据(例如，用户交互的结果)。
图6中示出了一种这样类型的计算机的示例，其示出了通用计算机***600的示意图。***600可以用于与根据一个实现方式在之前描述的任何计算机实现方法相关联地描述的操作。***600包括处理器610、存储器620、存储设备630和输入/输出设备640。组件610、620、630和640中的每一个使用***总线650互连。处理器610能够处理指令用于在***600内执行。在一个实现方式中，处理器610是单线程处理器。在另一实现方式中，处理器610是多线程处理器。处理器610能够处理存储在存储器620中或存储设备630上的指令，以在输入/输出设备640上显示用户界面的图形信息。
存储器620存储***600内的信息。在一个实现方式中，存储器620是计算机可读介质。在一个实现方式中，存储器620是易失性存储器单元。在另一实现方式中，存储器620是非易失性存储器单元。
存储设备630能够为***600提供大容量存储。在一个实现方式中，存储设备630是计算机可读介质。在各种不同的实现方式中，存储设备630可以是软盘设备、硬盘设备、光盘设备或磁带设备。
输入/输出设备640为***600提供输入/输出操作。在一个实现方式中，输入/输出设备640包括键盘和/或指点设备。在另一实现方式中，输入/输出设备640包括用于显示图形用户界面的显示单元。
虽然本说明书包含许多具体实现细节，但这些不应被解释为对可要求保护的范围的限制，而是作为特定实施例特有的特征的描述。在单独实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合中排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这样的操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中的各种***组件的分离不应被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和***通常可以集成在单个软件产品中或打包成多种软件产品。
因此，已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。在一些情况下，权利要求中陈述的动作可以以不同顺序执行并且仍然实现期望的结果。此外，附图中描绘的处理不必要求所示出的特定顺序或次序以实现期望的结果。在特定实现方式中，多任务和并行处理可能是有利的。

Claims (21)

1.一种计算机实现的方法，包括：
由上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像；
由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于活动资源的上下文信息；
响应于确定由所述请求指定的内容不足以提供关于活动资源的上下文信息，由所述上下文信息服务器向用户设备提供针对活动资源中的图像的请求；
由所述上下文信息服务器从用户设备接收活动资源中的图像；
由所述上下文信息服务器确定包括关于图像的上下文信息的用户界面元素，以及
由所述上下文信息服务器向用户设备提供所述用户界面元素。
2.根据权利要求1所述的方法，其中，由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于活动资源的上下文信息包括：
确定所述请求指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，
其中，由所述上下文信息服务器向用户设备提供针对活动资源中的图像的请求是响应于确定所述请求指定用户设备上显示的活动资源包括图像但在所述请求中不包括图像的。
3.根据权利要求1或权利要求2所述的方法，其中，由所述上下文信息服务器确定由所述请求指定的内容不足以提供关于所述活动资源的上下文信息包括：
从由所述请求指定的内容识别一个或多个搜索项；以及
确定不选择一个或多个搜索项中的任何一个来提供关于搜索项的上下文信息。
4.根据前述权利要求中任一项所述的方法，其中，由所述上下文信息服务器从用户设备接收针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求包括：
接收独立于查询的请求，所述请求不包括由用户输入的一个或多个查询词并且不包括来自图像的任何内容。
5.一种计算机实现的方法，包括：
由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像；
由用户设备从所述上下文信息服务器接收针对图像的请求；
响应于从所述上下文信息服务器接收针对图像的请求，由用户设备向所述上下文信息服务器提供图像；
由用户设备接收包括关于图像的上下文信息的用户界面元素；以及
由用户设备采用活动资源在用户设备上显示用户界面元素。
6.根据权利要求5所述的方法，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，包括：
提供独立于查询的请求，所述请求不包括由用户输入的一个或多个查询词并且不包括来自图像的任何内容。
7.根据权利要求5或权利要求6所述的方法，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，包括：
提供独立于查询的请求，所述请求包括显示的活动资源的数据表示并且不包括来自图像的任何内容。
8.根据权利要求5至权利要求7中任一项所述的方法，其中，由所述用户设备从所述上下文信息服务器接收针对图像的请求包括：
由用户设备接收针对当前显示在用户设备上的所有图像的请求；以及
由用户设备向上下文信息服务器提供图像包括：由用户设备向上下文信息服务器提供当前正在用户设备上显示的所有图像。
9.根据权利要求5至权利要求8中任一项所述的方法，其中，响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像包括：
当正在用户设备上显示多个图像时，从用户设备提供屏幕截图。
10.根据权利要求5至权利要求9中任一项所述的方法，包括：
确定用户期望与活动资源相关的上下文信息；以及
响应于确定用户期望与活动资源相关的上下文信息，确定是否当前正在显示一个或多个图像，
其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求是响应于确定当前正在显示一个或多个图像的。
11.根据权利要求10所述的方法，其中，确定是否当前正在显示一个或多个图像包括：
从用户设备获得屏幕截图；以及
识别屏幕截图的包括非文本内容一个或多个矩形部分作为一个或多个图像。
12.根据权利要求10或权利要求11所述的方法，其中，确定是否当前正在显示一个或多个图像是进一步响应于由用户设备确定所述用户设备正在使用计量网络连接的。
13.一种装置，包括至少一个处理器和包含计算机程序代码的至少一个存储器，当所述计算机程序代码由处理器执行时，使得该装置执行前述权利要求中任一项所述的方法。
14.一种***，包括：
数据处理装置；以及
非暂时性计算机可读存储介质，与数据处理装置数据通信并且存储可由所述数据处理装置执行的指令，以及在这种执行时使所述数据处理装置执行包括以下的操作：
由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像；
由用户设备从上下文信息服务器接收针对图像的请求；
响应于从上下文信息服务器接收针对图像的请求，由用户设备向上下文信息服务器提供图像；
由用户设备接收包括关于图像的上下文信息的用户界面元素；以及
由用户设备采用活动资源在用户设备上显示用户界面元素。
15.根据权利要求14所述的***，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并且进一步指定用户设备上显示的活动资源包括图像，但在所述请求中不包括图像，包括：
提供独立于查询的请求，所述请求不包括由用户输入的一个或多个查询词，并且不包括来自图像的任何内容。
16.根据权利要求14或权利要求15所述的***，其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求，其中，所述请求指定活动资源的内容并进一步指定用户设备上显示的活动资源包括图像，但在所述中不包括图像，包括：
提供独立于查询的请求，所述请求包括显示的活动资源的数据表示，并且不包括来自图像的任何内容。
17.根据权利要求14至权利要求16中任一项所述的***，其中，由所述用户设备从所述上下文信息服务器接收针对所述图像的请求包括：
由用户设备接收针对当前显示在用户设备上的所有图像的请求；以及
由用户设备向上下文信息服务器提供图像包括：由用户设备向上下文信息服务器提供将当前正在用户设备上显示的所有图像。
18.根据权利要求14至权利要求17中任一项所述的***，其中，响应于从上下文信息服务器接收到对图像的请求，由用户设备向上下文信息服务器提供图像包括：
当正在用户设备上显示多个图像时，从用户设备提供屏幕截图。
19.根据权利要求14至权利要求18中任一项所述的***，所述操作包括：
确定用户期望与活动资源相关的上下文信息；以及
响应于确定用户期望与活动资源相关的上下文信息，确定是否当前正在显示一个或多个图像，
其中，由用户设备向上下文信息服务器提供针对与用户设备上的应用环境中显示的活动资源相关的上下文信息的独立于查询的请求是响应于确定当前正在显示一个或多个图像的。
20.根据权利要求19所述***，其中，确定是否当前正在显示一个或多个图像包括：
从用户设备获得屏幕截图；以及
识别屏幕截图的包括非文本内容一个或多个矩形部分作为一个或多个图像。
21.根据权利要求19或权利要求20所述的***，其中，确定是否当前正在显示一个或多个图像是进一步响应于由用户设备确定所述用户设备正在使用计量网络连接的。
CN201780054440.7A 2016-07-11 2017-06-30 用于包括图像的显示的资源的上下文信息 Active CN109791545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/206,593 US10802671B2 (en) 2016-07-11 2016-07-11 Contextual information for a displayed resource that includes an image
US15/206,593 2016-07-11
PCT/US2017/040220 WO2018013360A1 (en) 2016-07-11 2017-06-30 Contextual information for a displayed resource that includes an image

Publications (2)

Publication Number Publication Date
CN109791545A true CN109791545A (zh) 2019-05-21
CN109791545B CN109791545B (zh) 2023-08-01

Family

ID=59363237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780054440.7A Active CN109791545B (zh) 2016-07-11 2017-06-30 用于包括图像的显示的资源的上下文信息

Country Status (5)

Country Link
US (2) US10802671B2 (zh)
EP (1) EP3482308B1 (zh)
CN (1) CN109791545B (zh)
DE (1) DE202017104084U1 (zh)
WO (1) WO2018013360A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901197A (zh) * 2017-10-05 2022-01-07 弗伦特永久公司 使用客户端计算设备来教授外语的方法
US10846552B1 (en) * 2018-09-06 2020-11-24 A9.Com, Inc. Universal object recognition
US11113350B2 (en) * 2019-03-29 2021-09-07 At&T Intellectual Property I, L.P. Systems and methods for administrating suggested merchandising arrangements
US11636270B2 (en) * 2020-01-29 2023-04-25 Adobe Inc. Methods and systems for generating a semantic computation graph for understanding and grounding referring expressions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030229628A1 (en) * 2002-06-10 2003-12-11 International Business Machines Corporation Method and apparatus for processing user input selecting images from a web page in a data processing system
US20070050191A1 (en) * 2005-08-29 2007-03-01 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US20080189110A1 (en) * 2007-02-06 2008-08-07 Tom Freeman System and method for selecting and presenting advertisements based on natural language processing of voice-based input
CN102257466A (zh) * 2008-12-19 2011-11-23 微软公司 基于图像的人类交互证明
US8255495B1 (en) * 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
CN104346370A (zh) * 2013-07-31 2015-02-11 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
US20170004383A1 (en) * 2015-06-30 2017-01-05 Adobe Systems Incorporated Searching untagged images with text-based queries

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058428A (en) * 1997-12-05 2000-05-02 Pictra, Inc. Method and apparatus for transferring digital images on a network
US6763496B1 (en) * 1999-03-31 2004-07-13 Microsoft Corporation Method for promoting contextual information to display pages containing hyperlinks
US20010053968A1 (en) 2000-01-10 2001-12-20 Iaskweb, Inc. System, method, and computer program product for responding to natural language queries
US7389181B2 (en) 2004-08-31 2008-06-17 Visre, Inc. Apparatus and method for producing video drive-by data corresponding to a geographic location
US7593868B2 (en) * 2003-01-29 2009-09-22 Innovation Interactive Llc Systems and methods for providing contextual advertising information via a communication network
JP4014160B2 (ja) * 2003-05-30 2007-11-28 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、プログラム、及び記録媒体
EP2397954A1 (en) * 2003-08-21 2011-12-21 Idilia Inc. System and method for associating queries and documents with contextual advertisements
US7996419B2 (en) 2004-03-31 2011-08-09 Google Inc. Query rewriting with entity detection
CN100388666C (zh) * 2004-12-09 2008-05-14 腾讯科技（深圳）有限公司 一种数据传输过程的控制方法及***
US7877382B1 (en) * 2004-12-31 2011-01-25 Google, Inc. System and methods for detecting images distracting to a user
US8606781B2 (en) 2005-04-29 2013-12-10 Palo Alto Research Center Incorporated Systems and methods for personalized search
US7788266B2 (en) 2005-08-26 2010-08-31 Veveo, Inc. Method and system for processing ambiguous, multi-term search queries
US20070060114A1 (en) 2005-09-14 2007-03-15 Jorey Ramer Predictive text completion for a mobile communication facility
KR100828539B1 (ko) 2005-09-20 2008-05-13 후지제롯쿠스 가부시끼가이샤 이차원 코드의 검출 방법, 검출 장치, 및 검출 프로그램을기억한 기억 매체
US7917286B2 (en) 2005-12-16 2011-03-29 Google Inc. Database assisted OCR for street scenes and other images
US7818315B2 (en) 2006-03-13 2010-10-19 Microsoft Corporation Re-ranking search results based on query log
US7818332B2 (en) 2006-08-16 2010-10-19 Microsoft Corporation Query speller
US7689613B2 (en) 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US20080270110A1 (en) 2007-04-30 2008-10-30 Yurick Steven J Automatic speech recognition with textual content input
US8416981B2 (en) * 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
US9245182B2 (en) * 2008-03-28 2016-01-26 International Business Machines Corporation Enhancing data in a screenshot
US8321406B2 (en) 2008-03-31 2012-11-27 Google Inc. Media object query submission and response
US8391618B1 (en) 2008-09-19 2013-03-05 Adobe Systems Incorporated Semantic image classification and search
US20100306249A1 (en) 2009-05-27 2010-12-02 James Hill Social network systems and methods
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8515185B2 (en) 2009-11-25 2013-08-20 Google Inc. On-screen guideline-based selective text recognition
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US9852156B2 (en) 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
US20110191336A1 (en) * 2010-01-29 2011-08-04 Microsoft Corporation Contextual image search
US8392435B1 (en) 2010-04-14 2013-03-05 Google Inc. Query suggestions for a document based on user history
US8316019B1 (en) 2010-06-23 2012-11-20 Google Inc. Personalized query suggestions from profile trees
US20120078731A1 (en) * 2010-09-24 2012-03-29 Richard Linevsky System and Method of Browsing Electronic Catalogs from Multiple Merchants
US8788434B2 (en) 2010-10-28 2014-07-22 Google Inc. Search with joint image-audio queries
US8473433B2 (en) 2010-11-04 2013-06-25 At&T Intellectual Property I, L.P. Systems and methods to facilitate local searches via location disambiguation
US9736524B2 (en) 2011-01-06 2017-08-15 Veveo, Inc. Methods of and systems for content search based on environment sampling
US20120191745A1 (en) 2011-01-24 2012-07-26 Yahoo!, Inc. Synthesized Suggestions for Web-Search Queries
WO2012103191A2 (en) 2011-01-26 2012-08-02 Veveo, Inc. Method of and system for error correction in multiple input modality search engines
US20120232987A1 (en) * 2011-03-10 2012-09-13 Everingham James R Image-based search interface
US20150161160A1 (en) * 2011-08-31 2015-06-11 Google Inc. Application Localization
US20130086112A1 (en) * 2011-10-03 2013-04-04 James R. Everingham Image browsing system and method for a digital content platform
TWI544350B (zh) 2011-11-22 2016-08-01 Inst Information Industry Input method and system for searching by way of circle
US8234168B1 (en) * 2012-04-19 2012-07-31 Luminate, Inc. Image content and quality assurance system and method
US10387960B2 (en) * 2012-05-24 2019-08-20 State Farm Mutual Automobile Insurance Company System and method for real-time accident documentation and claim submission
US8984012B2 (en) 2012-06-20 2015-03-17 Microsoft Technology Licensing, Llc Self-tuning alterations framework
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US9635094B2 (en) * 2012-10-15 2017-04-25 International Business Machines Corporation Capturing and replaying application sessions using resource files
US9535881B1 (en) * 2013-06-10 2017-01-03 Amazon Technologies, Inc. Dynamic file concatenation
WO2015020942A1 (en) * 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9342567B2 (en) 2013-08-23 2016-05-17 International Business Machines Corporation Control for persistent search results and iterative searching
CN104778170A (zh) * 2014-01-09 2015-07-15 阿里巴巴集团控股有限公司 搜索展示商品图像的方法和装置
US10264211B2 (en) * 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9811592B1 (en) 2014-06-24 2017-11-07 Google Inc. Query modification based on textual resource context
CN105373552A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 基于显示终端的数据处理方法
US10685377B2 (en) * 2014-12-16 2020-06-16 Facebook, Inc. Promotion configuration and facilitation within a network service

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030229628A1 (en) * 2002-06-10 2003-12-11 International Business Machines Corporation Method and apparatus for processing user input selecting images from a web page in a data processing system
US20070050191A1 (en) * 2005-08-29 2007-03-01 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US20080189110A1 (en) * 2007-02-06 2008-08-07 Tom Freeman System and method for selecting and presenting advertisements based on natural language processing of voice-based input
CN102257466A (zh) * 2008-12-19 2011-11-23 微软公司 基于图像的人类交互证明
US8255495B1 (en) * 2012-03-22 2012-08-28 Luminate, Inc. Digital image and content display systems and methods
US20150370815A1 (en) * 2012-03-22 2015-12-24 Yahoo! Inc. Digital image and content display systems and methods
CN104346370A (zh) * 2013-07-31 2015-02-11 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
US20170004383A1 (en) * 2015-06-30 2017-01-05 Adobe Systems Incorporated Searching untagged images with text-based queries

Also Published As

Publication number Publication date
DE202017104084U1 (de) 2017-10-02
EP3482308B1 (en) 2023-03-29
US11507253B2 (en) 2022-11-22
CN109791545B (zh) 2023-08-01
WO2018013360A1 (en) 2018-01-18
EP3482308A1 (en) 2019-05-15
US20180011611A1 (en) 2018-01-11
US10802671B2 (en) 2020-10-13
US20210019026A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US10762299B1 (en) Conversational understanding
CN109791550B (zh) 生成情景搜索建议
US11747960B2 (en) Efficiently augmenting images with related content
US20090158161A1 (en) Collaborative search in virtual worlds
US11645289B2 (en) Ranking enterprise graph queries
US20140188889A1 (en) Predictive Selection and Parallel Execution of Applications and Services
KR102340228B1 (ko) 검색 서비스와 연결된 메시지 서비스를 위한 메시지 서비스 제공 방법 및 상기 메시지 서비스 제공 방법을 수행하는 메시지 서버 및 사용자 단말
KR102148968B1 (ko) 컨텍스트 정보 제공 시스템 및 방법
US11507253B2 (en) Contextual information for a displayed resource that includes an image
CN109791559A (zh) 促进图像作为搜索查询的使用
US11003667B1 (en) Contextual information for a displayed resource
JP6162134B2 (ja) ソーシャルページのトリガー
US11425071B2 (en) Uniform resource identifier and image sharing for contextual information display
WO2017074808A1 (en) Single unified ranker
KR20220103148A (ko) 위치 정보에 기초한 검색 수행
CN110716768A (zh) 终端上的应用程序跳转方法及装置、电子设备、存储介质
KR20160006936A (ko) 온톨로지 분석 기반의 사용자 맞춤형 정보 제공 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant