CN110325987A - 语境语音驱动深度书签 - Google Patents

语境语音驱动深度书签 Download PDF

Info

Publication number
CN110325987A
CN110325987A CN201880012374.1A CN201880012374A CN110325987A CN 110325987 A CN110325987 A CN 110325987A CN 201880012374 A CN201880012374 A CN 201880012374A CN 110325987 A CN110325987 A CN 110325987A
Authority
CN
China
Prior art keywords
resource
bookmark
user
application
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880012374.1A
Other languages
English (en)
Other versions
CN110325987B (zh
Inventor
M.I.安德雷卡
G.H.巴基尔
T.K.程
M.M.诺瓦克-普齐戈茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110325987A publication Critical patent/CN110325987A/zh
Application granted granted Critical
Publication of CN110325987B publication Critical patent/CN110325987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9562—Bookmark management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)

Abstract

描述了一种计算机实现的方法。所述方法包括计算***接收来自用户的用于生成书签的第一语音输入。响应于接收到语音输入，计算***获得与资源页面相关联的资源标识符。所述方法包括计算***将资源标识符存储为响应于来自用户设备的请求可访问的书签索引中的书签。所述方法还包括计算***使用存储为书签的资源标识符来访问资源页面。计算***使用资源标识符基于来自用户设备的请求来访问资源页面。响应于用户设备接收到来自用户的第二语音输入，用户设备生成请求。

Description

语境语音驱动深度书签
技术领域
本说明书涉及移动设备。
背景技术
网站和应用资源可以包括任何数量的链接、嵌入文件和/或可能与用户相关或不相关的其他信息。特别地，用户可以检测信息源或与用户的兴趣直接相关的其他资源。这样，用户可能希望加速访问特别相关的基于web或应用的资源。
用户可以创建存储到相关的基于web或应用的内容的电子链接的书签。用户稍后可以访问书签以快速导航到相关内容。在计算***的语境中，可以在本地或远程创建和存储书签，以便通过示例电子设备进行后续访问。
发明内容
描述了一种计算***，计算***包括接收来自用户的语音输入的用户设备和与用户设备交互以存储用户设备可访问的多个书签的计算服务器。特别地，所描述的***通过用户设备的语音输入方法从用户接收第一语音输入，例如，查询。当用户查看基于web的内容或应用特定内容时，***可以接收查询。
***标识语音输入并生成多个数据元素，所述多个数据元素至少可以包括用户说出的语音输入的转录以及基于web的内容或应用特定内容的资源标识符。***的计算服务器包括书签引擎，其接收多个数据元素并使用接收的数据元素来生成存储在书签引擎的书签索引中的书签。响应于用户设备从用户接收指定启动特定书签的命令的语音输入，用户设备可以访问存储的书签。
本说明书中描述的主题的一方面可以体现在计算机实现的方法中。所述方法包括：计算***接收来自用户的用于生成书签的第一语音输入；响应于接收到语音输入，由计算***获得与资源页面相关联的资源标识符；由计算***将资源标识符存储为响应于来自用户设备的请求而可访问的书签索引中的书签；以及计算***使用被存储为书签的资源标识符，基于来自用户设备的请求访问资源页面，所述请求由用户设备响应于用户设备接收到来自用户的第二语音输入而生成。
本说明书中描述的主题的一方面可以体现在由计算***执行的计算机实现的方法中，该计算***包括用户设备(可以是移动设备)和远离用户设备的服务器。所述方法包括：由计算***的用户设备接收来自用户的用于生成书签的第一语音输入，并且响应于接收到语音输入，将第一语音输入或指示第一语音输入的数据发送到服务器。所述方法包括由计算***的服务器获得与资源页面相关联的资源标识符，并且由计算***的服务器将资源标识符存储为用户设备可访问或者响应于来自用户设备的请求可访问的书签索引中的书签。所述方法还可以包括：由计算***使用被存储为书签的资源标识符，以基于来自用户设备的进一步请求来访问资源页面，该进一步请求由用户设备响应于用户设备接收到来自用户的第二语音输入而生成——例如，响应于接收到第二语音输入，用户设备可以向服务器发送访问特定存储书签的请求，并且响应于该请求，服务器可以向用户设备发送书签数据，用于用户设备从书签数据中标识特定资源页面。然后，用户设备可以访问特定资源页面并将资源页面呈现给用户。可选地，如果书签数据被本地存储在用户设备中，则用户设备可以检索书签数据并标识特定资源页面——然后可以再次访问特定资源页面并将资源页面呈现给用户。
本说明书中描述的主题的一方面可以体现在由服务器执行的计算机实现的方法中。所述方法包括：由服务器从用户设备接收指示从用户到用户设备的用于生成书签的第一语音输入的数据。所述方法包括由服务器获得与资源页面相关联的资源标识符，并且由服务器将资源标识符存储为用户设备可访问或者响应于来自用户设备的请求可访问的书签索引中的书签。所述方法还可以包括由服务器从用户设备接收请求，以从其存储位置获取或访问特定书签，该请求是由用户设备响应于用户设备从用户接收第二语音输入而生成的。所述方法还可以包括响应于接收到请求，服务器将书签数据发送到用户设备以使用户设备能够从书签数据中标识特定资源页面。
这些和其他实现可以各自可选地包括以下特征中的一个或多个。例如，在一些实现中，资源页面由web浏览器应用生成，并且资源标识符是提供用于访问资源页面的资源地址的统一资源定位符(URL)。在一些实现中，i)资源页面由安装在用户设备上的本机应用生成，本机应用被配置为在应用索引中存储一个或多个深度链接，以及ii)资源标识符是资源页面的统一资源定位符(URL)，并且是从包括关于本机应用的地址数据的应用索引获得。
在一些实现中，获得资源标识符包括：i)访问存储与本机应用相关联的一个或多个深度链接的应用索引；以及ii)从应用索引选择指示资源页面的URL的深度链接，深度链接提供用于访问资源页面的资源地址。在一些实现中，i)资源页面由本机应用生成，而不是由web浏览器生成，本机应用不将一个或多个应用深度链接存储到本机应用索引，并且ii)资源标识符提供与到资源页面的计算路径相关联的电子地址。
在一些实现中，i)资源页面由安装在用户设备上的特定类型的应用的应用生成，以及ii)资源标识符是以下至少之一：a)标识由应用生成的资源页面的屏幕图像的数据，或b)提供用于访问应用生成的资源页面的资源地址的深度链接。在一些实现中，所述方法还包括：由计算***基于与特定类型的应用相关联的应用内容的分析来检测模式数据；以及由计算***基于模式数据生成深度链接。
在一些实现中，i)资源页面由安装在用户设备上的消息传递应用生成，以及ii)资源标识符是以下至少之一：a)标识由消息传递应用生成的资源页面的屏幕图像的数据，或b)提供用于访问消息传递应用的资源页面的资源地址的深度链接。在一些实现中，所述方法还包括：由计算***基于对与消息传递应用相关联的两个或更多个消息的分析来检测模式数据；以及由计算***基于模式数据生成深度链接。
在一些实现中，从用户接收语音输入包括：由计算***接收包括以下中的至少一个的语境数据：a)本机应用统一资源定位符(URL)，将资源页面唯一标识为由本机应用生成，b)web浏览器应用URL，将资源页面唯一标识为由web浏览器应用生成，c)由安装在用户设备上的虚拟助理应用生成的辅助数据，或d)标识资源页面的屏幕图像的数据。
在一些实现中，所述方法还包括：由计算***生成包括指示所接收的语境数据的至少一个子集的数据的模板；由计算***基于所述模板生成以下之一：与资源标识符相对应的URL，或者与资源标识符相对应的深度链接；以及由计算***使用模板以及URL或深度链接中的一个来生成用于访问资源页面的书签。
在一些实现中，所述方法还包括：由计算***确定书签的标识符，其中，基于计算设备从用户接收的第一语音输入来确定书签的标识符。在一些实现中，书签的标识符是书签的名称，并且所述方法还包括：由计算***修改书签的标识符，其中，修改标识符包括重命名书签。
资源页面可以是例如当前显示在用户设备的显示器上的资源页面，它可以是已经向用户建议的资源页面，它可以是响应用户输入的搜索查询已经返回给用户的资源页面，等等。
该方面和其他方面的其他实现包括相应的***、装置和计算机程序，被配置为执行在计算机存储设备上编码的方法的动作。一个或多个计算机的***可以通过安装在***上的软件、固件、硬件或它们的组合来如此配置，该***在操作中使***执行动作。一个或多个计算机程序可以通过具有指令来如此配置，所述指令在由数据处理装置执行时使得装置执行动作。
该方面和其他方面的其他实现包括电子***，所述电子***包括：一个或多个处理设备；以及一个或多个机器可读存储设备，用于存储可由一个或多个处理设备执行的指令，以执行包括根据本文描述的任何方面或实施例的方法的操作。该方面和其他方面的其他实现包括一个或多个机器可读存储设备，存储可由一个或多个处理设备执行的指令，以执行包括根据本文描述的任何方面或实施例的方法的操作。
本说明书中描述的主题可以在特定实施例中实现，并且可以得到以下优点中的一个或多个。描述了一种计算***，其使得能够增强对存储在本地或非本地书签索引中的书签的生成、存储和访问。所描述的***和方法使得能够基于来自用户的语音输入以加速且计算有效的方式创建书签。
例如，除了接收和处理来自用户的多个触摸或物理输入的计算设备，计算***可以使用单个语音输入来快速获得和存储与生成书签相关联的数据。计算***可以利用预先存在的数据元素来有效地获得用于创建书签的资源标识符，例如，URL/深度链接。另外，计算设备也可以利用***的非本地计算逻辑来分析用于生成书签的数据元素，当计算设备是具有相对有限的处理电力和电池寿命的移动设备时，这可能是特别有利的。
所描述的***和方法允许最小化本地计算设备处理器和存储器的使用，使得处理器效率得到提高，并且处理器/存储器利用可以扩展到其他计算。因此，提高了整体计算设备***带宽。
在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实现的细节。根据说明书，附图和权利要求，本主题的其他特征，方面和优点将变得显而易见。
附图说明
图1是用于基于来自用户的语音输入来创建和访问书签的示例计算***。
图2是用于基于来自用户的语音输入来创建书签的示例处理的流程图。
图3示出用于基于来自用户的语音输入来创建和访问书签的第一组示例用户界面。
图4示出用于基于来自用户的语音输入来创建和访问书签的第二组示例用户界面。
图5示出用于基于来自用户的语音输入来创建和访问书签的第三组示例用户界面。
图6示出用于基于来自用户的语音输入访问一个或多个书签的示例用户界面。
图7是可以结合本说明书中描述的计算机实现的方法使用的计算***的框图。
各附图中相同的附图标记和名称表示相同的元件。
具体实施方式
图1示出计算***100，其用于基于来自用户的第一语音输入生成和存储书签并且用于基于来自用户的第二语音输入访问存储书签。***100使得移动设备能够接收语音输入以使用基于web的统一资源定位符(URL)生成用于访问资源页面的书签，或者生成用于访问由移动设备的本机(native)应用(也称为“app”)生成的资源页面的书签。移动设备可以通过访问包括多个深度链接的应用索引并使用映射到资源页面的深度链接来访问本机应用的资源页面。
移动设备从用户接收指示期望书签功能的语音输入。当用户正在浏览网站或基于web的资源时，或者当用户正在导航本机应用的资源页面时，移动设备可以接收语音输入。例如，移动设备可以从用户接收语音查询，以至少：i)生成/创建和存储包括用于资源页面的URL或深度链接的新书签，ii)删除现有存储书签的数据，或iii)访问存储书签以使用存储在书签中的URL或深度链接来查看资源页面。
为了生成书签，***100的计算服务器至少接收关于指示期望书签功能的语音输入的数据，或者指示关于特定资源页面，基于web的资源或本机应用的语境信息的一个或多个数据元素。例如，语境信息可以包括与资源页面相关联的资源标识符(例如，URL/深度链接)、资源页面的屏幕截图/数字图像或本机应用的标识符。
计算服务器的书签引擎基于关于指示期望书签功能的语音输入的数据和/或基于指示语境信息的一个或多个数据元素来生成书签。可以与对应的新生成的书签相关联地存储一个或多个数据元素。移动设备可以响应于来自用户的指示用户想要访问存储书签并且查看与书签相关联的特定资源页面的语音输入来访问存储书签。
如在本说明书中所使用的，本机应用是可以被开发以供移动设备102的计算***使用的可执行应用程序，通常被称为“app”，但可以不是移动设备的默认操作***本机的或固有的。可以开发应用以在特定平台或电子设备上使用，并且由于是特定于平台的，所以可以与安装在该平台或设备上的操作***特征或其他软件功能交互。
再次参照图1的实现，***100通常包括用户/移动设备102和计算服务器104(下面描述)。移动设备102可以是被配置为从用户接收语音输入或其他输入的任何合适的电子用户设备。在一些实现中，移动设备102可以是蜂窝智能电话设备、膝上型计算机、台式计算机，平板计算机，电子阅读器设备、智能电视或被配置为接收语音输入的任何其他移动计算设备。
移动设备102包括语音模块106。语音模块106包括自动语音识别器107(“ASR107”)和自然语言处理器108(“NLP 108”)。在一些实现中，移动设备102接收指示用户想要生成新书签的语音输入103。书签可以用于加速或简化(steamline)对可以在移动设备102的示例显示器上呈现给用户的特定web资源的后续访问。语音模块106可以用于分析关于接收的语音输入的数据(例如，音频信号数据)，并且生成语音输入的转录。
ASR 107可以是由移动设备102(或下面描述的计算服务器104)的一个或多个处理器执行的示例语音识别逻辑、编程指令或算法。例如，ASR 107可以执行程序代码以管理接收的语音输入103的音频特性的识别、提取和分析。此外，ASR 107可以执行比较器逻辑以将接收的语音输入103的音频特性与和NLP 108关联存储的各种模型参数进行比较。比较结果可以产生基本上对应于语音输入103的语音/话音话语的文本转录输出。
NLP 108可以是用于语音识别的示例语言处理器，以指定或识别某些单词组合或序列。在一些实现中，NLP 108可以被配置为生成可以用于指示特定单词序列或单词组合的可能出现或存在的单词序列概率因子。在一些情况下，识别的单词序列可以主要对应于话音语料库特有的序列而不是例如书写语料库。
移动设备102还包括应用模块110。应用模块110可以至少用于：i)执行特定应用111以用于生成应用的资源页面；或者ii)访问存储与特定应用111相关联的数据的应用索引112。在一些实现中，应用111可以至少是存储在移动设备102上的web浏览器或本机应用，并且应用索引112可以包括关于本机应用的资源页面的地址数据。
在一些情况下，经由应用索引112存储的数据可以包括到由应用111生成的特定资源页面的深度链接。本机应用可以被配置为在应用索引112中存储一个或多个深度链接，并且每个深度链接可以映射到本机应用生成的资源页面。每个深度链接也提供用于访问映射到深度链接的资源页面的资源地址。
移动设备102还包括书签索引114、设备助理116和语境数据引擎118。索引114提供对所生成的书签的本地存储和访问。例如，索引114可以被配置为存储至少基于语音输入103生成的多个书签的列表。
设备助理116可以对应于被配置为向用户提供一个或多个虚拟助理功能的软件程序。例如，设备助理116可以被配置为检测或接收来自用户的语音查询，执行计算以获得响应于查询的web结果，并基于获得的web结果提供听觉响应。如下面更详细讨论的，在一些实现中，可以使用由设备助理116生成并且响应于移动设备102接收的用户语音查询的web结果来创建书签。
语境数据引擎118被配置为获得关于当由设备接收语音输入103时正由移动设备102执行的基于web的资源或本机应用(例如，应用111)的语境数据。例如，数据引擎118可以被配置为提取以下中的一个或多个：i)唯一标识本机应用的资源页面的URL，ii)本机应用的标识符，iii)唯一标识网站的资源页面的网站URL，或iv)当设备接收到语音输入103时，在移动设备102的显示器上呈现给用户的资源页面的屏幕截图。
在一些实现中，设备助理116可以生成与显示的资源页面相关联的数据，例如，设备辅助数据137。该设备辅助数据137可以包括指示显示的资源页面的属性的多个数据元素。例如，设备辅助数据137可以包括由示例消息传递应用显示的电子消息的发送者或接收者的用户名或者关于经由特定资源页面显示的信息的数据。
可以使用多个注释器来注释辅助数据137以及屏幕截图数据。例如，可以注释诸如实体、姓名、联系人、用户名、地址或电话号码的信息，使得可以基于注释来提取用于创建书签的数据。
元素数据134可以包括语境数据136、设备辅助数据137、转录138、应用标识符140(“app ID 140”)和资源标识符(ID)142。语境数据136可以指示关于用于显示给用户而生成的特定资源页面的语境信息或关于通过移动设备102可访问的基于web的资源或本机程序的信息。
例如，语境数据136的语境信息可以包括以下中的至少一个：i)提供用于访问特定资源页面的地址的资源标识符142，例如，URL/深度链接；ii)可以用于标识新书签的描述数据；iii)特定资源页面的屏幕截图/数字图像；或者iv)应用ID 140，标识由移动设备102执行并且用户希望创建书签的本机应用。
元素134通常可以包括关于由移动设备102接收的查询语音输入的数据。这样的数据可以包括转录138，指示由移动设备102接收的一个或多个期望的书签功能。如图1所示，移动设备102可以从用户接收指示期望的书签功能的语音输入103、105。例如，移动设备可以从用户接收语音查询以至少：i)生成/创建和存储包括特定资源页面的URL或深度链接的新书签，或ii)访问存储书签以使用在书签中存储的URL或深度链接查看特定资源页面。
移动设备102可以在用户正浏览网站或基于web的资源时或者在用户正导航本机应用的资源页面时接收语音输入。响应于***100接收创建/生成书签的查询，计算服务器104从移动设备102接收或获得元素134。服务器104使用接收的元素134来生成和存储一个或多个书签。
计算服务器104通常包括接收元素134并基于元素134生成一个或多个书签的书签引擎120(“BM引擎120”)。BM引擎120包括数据分析逻辑122、光学字符识别(OCR)逻辑124、书签索引126、应用模板128和数据存储器130。MB引擎120可以是服务器104(或由服务器104可访问)的示例计算模块，并且被配置为接收和处理多个数据元素以生成用于在书签索引126和数据存储器130中存储的多个书签。
如在本说明书中所使用的，术语“模块”旨在包括但不限于被配置为执行一个或多个软件程序的一个或多个计算机，所述软件程序包括使得计算机的处理设备(或多个)能够执行一个或多个功能的程序代码。术语“计算机”旨在包括任何数据处理设备，诸如台式计算机、膝上型计算机、大型计算机、平板设备、服务器、手持设备、移动或智能电话设备或能够处理数据的任何其他设备。
在一些实现中，BM引擎120可以被配置为使用数据分析逻辑122来分析从移动设备102接收的元素数据134。MB引擎120可以使用OCR逻辑124来识别从移动设备102接收并对应于移动设备102接收的语音查询的示例转录的光学字符。
逻辑122可以用于从元素数据134中提取特定数据，并使用提取的数据来生成/创建书签。例如，BM引擎120可以使用逻辑122创建书签以提取或获得对应于以下之一的资源标识符：i)本机应用深度链接，ii)网站URL，iii)或资源页面的屏幕截图。
在一些实现中，获得资源标识符可以包括***100访问存储与本机应用相关联的一个或多个深度链接的应用索引112并且从应用索引中选择指示资源页面的链接(例如URL)的深度链接。选择的深度链接可以对应于资源ID142，并且可以利用元素数据134被提供给BM引擎120。BM引擎120可以使用选择的深度链接作为获得的用于生成书签的资源标识符，由此深度链接提供用于访问资源页面的资源地址。
在一些实现中，语境数据136可以与其他预先存在数据结合以生成书签。示例预先存在数据可以包括至少一个本机应用，本机应用的一个或多个深度链接的结构对于移动设备102是已知的。在一些情况下，该示例预先存在数据可以由服务器104使用，以获得用于生成书签的至少一个深度链接。
BM引擎120可以被配置为生成应用模板128，该应用模板128包括用于形成语境数据136的数据项的至少一个子集的数据。在一些实现中，BM引擎120可以使用生成的模板128来获得以下中的至少一个：与基于web的资源的资源标识符相对应的URL，或与本机应用的资源标识符相对应的深度链接。然后，BM引擎120然后可以使用模板128以及URL或深度链接来生成用于访问特定资源页面的书签。
生成的书签可以被存储在书签索引126中。移动设备102可以被配置为响应于移动设备102接收的语音输入105来访问索引126。在一些实现中，BM引擎120将书签存储在书签索引126中(服务器端)并且将书签数据143(下面描述)发送到移动设备102，以便在书签索引114处在设备上进行本地存储。
例如，响应于接收到访问特定书签的用户命令，移动设备102可以向服务器104发送请求以在书签索引126(服务器端)中从其存储位置获得/访问特定书签。可选地，响应于接收到访问特定书签的用户命令，而不是向服务器104发送请求，移动设备102可以在书签索引114中从其存储位置(设备102本地)获得/访问特定书签。
在一些实现中，语音输入105是由移动设备102接收的用户命令，其使得设备访问存储在书签索引114或索引126之一中的书签。在一些情况下，生成的书签以及至少形成元素数据134的元素的子集，可以被各自存储在数据存储器130中，以便于或简化对存储书签的访问。移动设备102响应于接收语音输入105而接收或访问/获得书签数据143。
例如，移动设备102接收语音输入105可以使设备向服务器104发送请求以访问存储在书签索引126中的特定书签。响应于接收到请求，服务器102可以发送书签数据143。书签数据143(“BM数据143”)可以包括上面讨论的描述144、深度链接146、web URL 148、屏幕截图数据150和app ID 140。移动设备102可以使用BM数据143的资源标识符来访问特定资源页面并经由移动设备102的显示器向用户呈现资源页面。
关于BM数据143，描述144包括用于标识新创建的书签的书签描述数据。示例描述144可以是诸如“my internet bank(我的网上银行)”或“G.Doe’s Restaurant(G.Doe的餐馆)”的文本。深度链接146是移动设备102用于访问本机应用的资源页面的资源标识符。webURL 148是移动设备102用于访问web浏览器应用的资源页面的资源标识符。屏幕截图150是当移动设备102访问存储书签时可以呈现给用户的资源页面的数字图像。
图2是用于基于来自用户的语音输入来创建书签的示例处理200的流程图。可以基于计算逻辑或编程指令的执行来使能或执行描述的处理200的操作或步骤，所述计算逻辑或编程指令可由示例移动/用户设备和***100的示例计算服务器的处理器和存储器执行。
框202指示与生成书签有关的处理200的操作。在框204，移动设备102接收用户语音查询，例如，语音输入103，指示用户希望生成用于访问特定资源页面的书签。在一些实现中，指示创建书签的期望包括用户明确声明他们想要创建资源页面的书签。在框206，响应于接收到用户查询，***100可以准备、提取或获得元素134以便传输到计算服务器104。
用户当前可以通过移动设备102的显示器来查看用户想要创建书签的资源页面。在一些情况下，用户想要创建书签的资源页面可以是由设备助理116向用户建议的web结果。声明用户想要创建书签的用户语音查询可以包括用户想要分配给创建的书签的名称。
在一些实现中，***100可以分析语音查询以确定用户查询的意图是否是***100创建书签。例如，***100可以使用诸如语法分析或n-gram分析的一种或多种技术来检测指示创建书签的意图的某些单词或短语。此外，***100可以使用机器学习逻辑来确定或检测指示创建书签的意图的嵌入式查询。
在框208，处理200包括确定用户是否想要***100创建书签。如果***100确定用户不想要***创建书签，则处理200在框210处结束。如果***100确定用户确实想要***创建书签，则处理200前进到框212，并且***100将元素134发送到计算服务器104。
在框212，***100可以使用BM引擎120来分析元素数据134的数据项并将元素数据134的一个或多个项存储在存储器130中。例如，在框214，BM引擎120从服务器104获得或接收元素数据134的至少一部分，并且在框216，BM引擎120可以将元素数据134的至少一部分存储在数据存储器130中。在框218，BM引擎120可以使用逻辑122来分析元素数据134并至少提取要分配给书签、用于标识书签的名称。如上所述，元素数据134的一部分或子集可以包括语境数据136、辅助数据137、转录138、app ID 140或资源ID 142中的一个或多个。
声明用户想要创建书签的查询语音输入103也可以包括用户想要分配用于以标识创建的书签的名称。例如，语音输入103可以包括用户声明“bookmark page as my banking(标签页面作为我的银行)”，因此，“my banking”将是用于标识书签的名称。移动设备102可以在单个用户会话期间接收多个语音输入103查询。在一些实现中，对于用户先前创建了至少一个书签的当前用户会话，BM引擎120可以使用最近的先前查询的内容数据来获得或提取用于标识书签的名称。
在一些实现中，响应于接收到语音输入103(框204)，***100使用BM引擎120来创建或获得与用户想要创建书签的资源页面相关联的资源标识符。对于由本机应用生成的资源页面，BM引擎120可以使用提供用于访问资源页面的资源地址的应用深度链接来获得资源标识符。替代地或另外地，对于由web浏览器应用生成的资源页面，BM引擎120可以使用提供用于访问资源页面的资源地址的URL来创建资源标识符。
在一些实现中，当***100生成书签时，BM引擎120创建或获得用户通过移动设备102的显示器当前正在观看的资源页面的资源标识符。在一些情况下，获得由本机应用生成的资源页面的资源标识符也可以包括获得本机应用的应用标识符(app ID)并将app ID与资源标识符相关联。如上所述，用于生成书签的资源标识符可以从元素数据134获得，或者可以由***100基于下面描述的一个或多个处理步骤至少部分地创建。
例如，在框220，处理200确定是否可以从元素数据134获得对应于URL或深度链接的资源标识符，例如，通过使用语境数据136或辅助数据137。同样，在框220，处理200确定是否可以从元素数据134获得本机应用的app ID，例如，通过使用app ID 140。
如果***100确定可以从元素数据134获得URL或深度链接的资源标识符或本机应用的app ID，则***100可以至少以下之一：i)使用获得的深度链接作为资源标识符，包括app ID，以生成和存储用于访问本机应用的资源页面的书签(框222)；ii)使用获得的URL作为资源标识符来生成和存储用于访问web浏览器的资源页面的书签(框224)；或者iii)存储从语境数据136中可提取的任何屏幕截图数据(框226)。在一些情况下，屏幕截图数据可以被存储在数据存储器130中并与生成的书签链接。
如果***100确定不能从元素数据134获得URL或深度链接的资源标识符或本机程序的app ID，则***100可以使用与语境数据136一起包括的屏幕截图数据(框228)获取appID。可选地，***100也可以使用辅助数据137来获得app ID。
在一些实现中，应用索引112可以不包括由本机应用生成的资源页面的深度链接，并且索引112也可以不包括用于特定本机应用的app ID。因此，在一些情况下，移动设备102可以提供用于向用户显示的资源页面，该资源页面由本机应用生成，而不是由web浏览器生成，该本机应用不将应用深度链接存储到本机应用索引，例如，索引112。
在框230，并且对于索引112不包括特定深度链接或app ID的实现，***100可以检测或确定是否存在可以用于生成书签的模式数据。模式数据可以对应于一个本机应用，对于该本机应用，创建应用深度链接的已知模式存在于***100内，和/或模式数据被存储在***100的存储器中。模式数据可以对于安装在用户设备上或从用户设备可访问的各种不同类型的本机应用存在。因此，模式数据可以被用于常规创建应用深度链接的任何类型的应用。
在一些实现中，模式数据可以与元素数据134的一个或多个项相关联，诸如辅助数据137或语境数据136的屏幕截图图像。例如，辅助数据137和/或屏幕截图数据可以对应于安装在移动设备102上的消息传递应用，例如，本机应用。模式数据可以包括在两个或多个消息中识别的用户的属性，诸如在聊天应用中显示的用户名或联系人姓名，或存储在聊天应用可访问的用户联系人列表中的电话号码。
在其他实现中，与元素数据项134相关联的模式数据可以对应于使用移动设备102可访问的各种其他类型的本机应用。例如，模式数据可以存在用于或者对应于游戏应用、餐馆评论应用、银行应用、社交媒体应用或常规创建可以包括应用深度链接的模式数据的任何其他类型的应用。
例如，如果用户正在流行游戏应用“Angry Games”的级别7玩“Angry Games”，则可以生成文本“级别7”以通过移动设备102向用户显示。特别地，与Angry Games应用的模式数据相关联的至少一个深度链接可以包括或包含超链接内的级别编号或定义深度链接的唯一标识符。例如，到Angry Games的特定索引级别(或部分)的深度链接可能具有一般模式“angry-games://$level”，并且更具体地，到Angry Games的级别7的深度链接可以具有一般模式“angry-games://7”。在某些情况下，前面的示例一般模式可以应用于各种其他类型的应用程序，并且可以被表示为例如，“any-app://$section/level”。
在此语境中，响应于检测或确定该模式数据的存在，***100可以从包括模式数据(例如，辅助数据137或语境数据136的屏幕截图图像)或与模式数据(例如，辅助数据137或语境数据136的屏幕截图图像)相关联的元素数据134的项中分析和/或提取至少级别/部分编号。因此，***100可以使用该模式数据以使用到Angry Games级别7或到任何应用部分的深度链接来构造或生成示例书签。参考用于Angry Games的书签，书签的选择可以使得执行游戏应用以查看先前为显示给用户生成的级别7的各方面。通常，可以分析和提取模式数据以形成用于创建应用深度链接和深度链接的资源标识符的数据集。
在一些实现中，用户想要创建书签的资源页面可以是由安装在移动设备102上的消息传递应用或一个或多个其他类型应用的应用生成的页面。在该实现中，资源页面的资源标识符可以是以下中的至少一个：i)标识由消息传递应用/其他应用生成的资源页面的屏幕图像的数据，例如，消息传递/聊天窗口的屏幕截图；或ii)提供用于访问消息传递应用/其他应用的资源页面的资源地址的深度链接。因此，***100可以被配置为基于对与消息传递应用/其他应用相关联的两个或更多个消息/其他数据的分析来检测模式数据，并且基于模式数据生成深度链接。
在框232，***100可以使用和/或提取检测到的模式数据的一个或多个数据元素以创建应用深度链接。例如，***100可以至少参考至少部分地形成模式数据的辅助数据137或屏幕截图数据，以提取一个或多个数据元素来创建应用深度链接。在框234，提取的模式数据的数据元素可以形成***100使用的数据集，以生成深度链接，该深度链接用作用于生成存储在书签索引126和/或索引112中的书签的资源标识符。
再次参照框230，对于索引112不包括特定深度链接或app ID的实现，如果***100不能检测或确定是否存在模式数据用于生成书签，则***100可以确定特定本机应用的内容在公共域中是否是已知的(框236)。
如果***100确定特定本机应用的内容在公共域中已知，则***100可以使用来自辅助数据137和/或语境数据136的文本数据来生成用于提交给搜索引擎的示例查询。例如，可以使用移动设备102的“查找”或搜索特征来生成书签。在一些实现中，BM引擎120使用从语境数据136提取的文本部分来制定由搜索引擎接收和处理的搜索查询，以生成一个或多个搜索结果。
在框242，***100使用生成的这些搜索查询的一个或多个搜索结果来选择或获得经由用户设备102显示的文档或资源页面的URL、深度链接和/或应用ID。获得的URL或深度链接以及app ID存储在书签索引126和/或索引112中，并且用作生成用于访问经由用户设备102显示的文档或资源页面的书签的资源标识符。
在一些情况下，从语境数据136或辅助数据137中提取的并且伴随语音输入103或搜索查询的附加数据也可以与创建的书签相关联地存储，以便于检索创建的书签。
如果***100确定特定本机应用的内容在公共域中不已知，则***100可以使用在元素数据134中可用的任何数据(例如，屏幕截图数据)来获得可以用作用于生成书签的资源标识符的URL或深度链接。如上所述，生成的书签可以被存储在书签索引126和/或索引112中，并用于访问经由用户设备102显示的特定文档或资源页面。
在一些实现中，当屏幕截图数据存在于语境数据136中或者包括在语境数据136中时，BM引擎120可以在生成或创建书签时将该屏幕截图数据与书签相关联地存储。然而，在一些情况下，***100可能无法获得应用深度链接和相应app ID，或者可能无法获得webURL。当发生这种情况时，***100可以使用屏幕截图数据生成书签并将屏幕截图数据存储为书签的资源标识符。因此，访问使用屏幕截图作为资源标识符的该特定书签将使移动设备102显示与屏幕截图相对应的图像数据。
再次参考框242，在一些实现中，***100使用搜索引擎来计算或生成搜索结果的集合。例如，***100可以将搜索结果的集合计算为对多个已发布查询获得的搜索结果的并集。然后，***100可以从搜索结果的集合中为每个搜索结果生成分数。在一些实现中，生成的分数可以取决于搜索结果是热门搜索结果(例如，前5个或前10个搜索结果)的一部分的查询的数量。
对于特定数量的热门搜索结果，***100可以检测或确定特定搜索结果是否具有超过预定阈值分数的分数。对于具有超过阈值分数的分数的特定搜索结果，***100可以选择该搜索结果的web URL或深度链接以及任何可用的app ID数据，以用作用于生成书签的资源标识符。然后可以将生成的书签存储在书签索引126或索引112中。
在一些实现中，在创建书签之前，***100可以使用BM引擎120来确定存储在***内、例如在索引126或112中的现有书签是否具有与将被分配到新书签的书签名称/标识符匹配的书签名称/标识符。如果***100检测到存储在***内的现有书签具有与要分配给新书签的书签名称/标识符匹配的书签名称/标识符，则***100可以：i)用新书签的数据自动覆写现有书签的数据，或ii)使用移动设备102生成基于文本的查询或听觉查询，移动设备102可以例如从用户接收对其的应答数据，该应答数据指示期望的书签功能。
例如，基于接收的应答数据，***100可以使用基于文本的查询或听觉查询来：i)用新书签的数据覆写现有书签的数据，ii)取消新书签的创建，或者iii)修改要分配给新书签的书签名称/标识符。因此，***100可以基于设备102接收的第一语音输入来确定书签的标识符。因为书签的标识符可以是书签的名称，所以***100可以被配置为修改现有书签的标识符，其中，修改现有书签的标识符包括重命名现有书签。
图3示出用于基于来自用户的语音输入来创建和访问一个或多个书签的第一组示例用户界面302、304和306。界面302示出可以使用移动设备102查看或访问的示例银行资源页面。界面302可以对应于经由web URL访问的示例网站(“www.bankofexample.com”)。界面304可以是与设备助理116相关联的示例界面。界面304示出输入308、输出310和建议312。在一些实现中，输入308可以是由移动设备102接收的语音输入103的转录。
例如，用户可以通过说出以下示例查询之一来查看示例网上银行网站并向移动设备102发出语音输入103：i)“save this as my internet banking(保存作为我的网上银行)”，ii)“bookmark this as my internet banking(做书签作为我的网上银行)”，或iii)“remember it as my internet banking(记住它，作为我的网上银行)”。移动设备102的显示器可以示出发光的麦克风图标303(例如，当被用户敲击时)以向用户提供移动设备102的收听模式已被激活的指示，使得移动设备102准备好接收语音输入。在一些实现中，用户可以选择取消为网上银行网站创建示例书签的建议312。
响应于接收到查询，移动设备102可以生成对应于输入308的转录138。如上所述，移动设备102至少提供可以被包括在元素数据134中的web URL和其他数据，并且服务器104至少接收可以被包括在元素数据134中的web URL和其他数据。BM引擎120生成并存储可以被识别为“my internet banking(我的网上银行)”的书签。在创建书签时，***100可以使得移动设备102生成输出310，向用户指示网址/资源标识符已经作为书签名称“myinternet banking”被记住，例如，被存储在书签索引中。
界面306可以是与设备助理116相关联的另一示例界面。界面306示出输入314、输出316和书签318。在一些实现中，输入314可以是由移动设备102接收的语音输入105的转录。例如，用户可能想要使用存储书签来查看示例网上银行网站的银行。用户可以通过说出以下示例查询/命令之一来激活移动设备102的收听模式(例如，使用图标303)并向移动设备102发出语音输入命令105：i)“my internet banking(我的网上银行)”，ii)“open myinternet banking(打开我的网上银行)”，iii)“go to my internet banking(去我的网上银行)”，或iv)“navigate to my internet banking(导航到我的网上银行)”。
响应于接收到命令，移动设备102可以生成对应于输入314的转录138。然后，服务器104可以至少提供可以被包括在书签数据143中的web URL和其他数据，并且移动设备102至少接收可以被包括在书签数据143中的web URL和其他数据。BM引擎120可以从索引126访问可以被识别为“my internet banking”的存储书签。
在提供书签数据143之后，***100可以使移动设备102：i)生成指示***确认接收到命令的输出316；ii)生成指示作为书签名称“my internet banking”存储在书签索引126中的web URL/资源标识符的输出316。
如上所述，在一些实现中，移动设备102可以访问本地书签索引112以基于由语音输入105指示的书签名称来获得书签，而不是从服务器104接收标识为“my internetbanking”的书签。在获得书签的URL或资源标识符之后，移动设备102可以生成输出316，向用户指示由语音输入命令105指示而作为书签被存储在书签索引112中的web URL/资源标识符，。
以下描述示出***100的示例操作或处理，其中，创建书签以存储经由诸如聊天或消息传递应用的本机应用发生的电子对话的资源页面。用户可以通过安装在移动设备102上的聊天应用来查看在用户和父亲之间交换的聊天消息。当用户说“save this as mychats with dad(保存作为和父亲的聊天)”时，用户可以提供语音输入103并且移动设备102接收语音输入103。
响应于接收到该语音输入103，设备102将辅助数据137发送到服务器104，并且数据可以对应于用户正在查看的聊天应用的屏幕或界面。在一些情况下，设备102可以不发送对应于本机聊天应用或web URL的元素数据134。由服务器104接收的辅助数据137可以包括对应于“Dad”的用户名，该用户名位于屏幕截图图像中的特定位置，例如，在图像的顶部栏。
当服务器104接收辅助数据137时，可能发生以下结果。从辅助数据137中提取用户名、例如“Dad”以及app ID，并且构建到本机聊天应用的深度链接。在一些情况下，到聊天应用的深度链接可以具有已知数据模式，该数据模式具有可以被提取的用户名。构建的深度链接和app ID被存储在书签索引126或索引112中的至少一个中。
因此，下次设备102接收来自用户的语音输入、例如语音命令105时，设备102将向用户显示示出用户与父亲的电子对话的本机聊天应用的聊天界面/资源页面。命令105的示例语音输入可以包括用户说出下列之一：i)“my chats with dad(我与父亲的聊天)”；ii)“show me my chats with dad(给我看我和父亲的聊天)”；或iii)“go to my chats withdad(去我和父亲的聊天)”。
在可选实现中，辅助数据137可以包括联系人的全部或部分姓名，例如“Dad”或“Michael”，并且也可以包括联系人的姓氏。因此，除了上述示例操作/处理之外，当服务器104接收辅助数据137时，可以从辅助数据137提取联系人的全部或部分姓名。联系人的姓名可以与用户的联系人一起存储在示例联系人列表，并且提取对应于“Michael”的电话号码。
构建了到本机聊天应用的深度链接，深度链接可以包含Michael的电话号码。在一些情况下，到聊天应用的深度链接可以具有已知的数据模式，该数据模式具有可以被提取的电话号码并且对应于第一用户可能想要与之聊天的第二用户。构建的深度链接和app ID被存储在书签索引126或索引112中的至少一个中。
因此，下次设备102接收来自用户的语音输入、例如，语音命令105时，设备102将向用户显示示出用户与Michael的电子对话的本机聊天应用的聊天界面/资源页面。用于命令105的示例语音输入可以包括用户说出以下之一：i)“my messages with Michael(我和Michael的消息)”；ii)“show me my messages with Michael(给我看我和Michael的消息)”；或iii)“go to my messages with Michael(去我和Michael的消息)”。
图4示出用于基于来自用户的语音输入来创建和访问书签的第二组示例用户界面402、404、406。界面402示出可以使用移动设备102查看或访问的示例餐馆评论资源页面。界面402可以对应于经由深度链接和app ID访问的示例本机应用。界面404可以是与设备助理116相关联的示例界面。界面404示出输入408、输出410和建议412。在一些实现中，输入408可以是由移动设备102接收的语音输入103的转录。
例如，用户可以通过说出诸如“remember it Gary D(记住是Gray D)”的示例查询来查看用于餐馆评论的本机应用资源页面并向移动设备102发出语音输入103。在一些实现中，用户可以选择建议412来取消为本机应用资源页面创建示例书签的。响应于接收到查询，移动设备102可以生成对应于输入408的转录138。
如上所述，移动设备102提供唯一地标识由本机应用生成的资源页面的应用深度链接/资源标识符、本机应用的app ID以及可以包括在元素数据134中的其他数据，并且服务器104接收唯一地标识由本机应用生成的资源页面的应用深度链接/资源标识符、本机应用的app ID以及可以包括在元素数据134中的其他数据。在一些实现中，移动设备102也可以提供与不同于深度链接的本机应用URL相同的web URL，并且服务器104可以接收与不同于深度链接的本机应用URL相同的web URL。BM引擎120生成并存储可以被识别为“Gary D”的书签。
在创建书签时，***100可以使移动设备102生成输出410，向用户指示URL(深度链接)/资源标识符已经被记住为书签名称“Gary D”，例如，被存储在书签索引中。
界面406可以是与设备助理116相关联的另一示例界面。界面406示出输入414、输出416和书签418。在一些实现中，输入414可以是由移动设备102接收的语音输入105的转录。例如，用户可能想要使用存储书签来查看用于餐馆评论的本机应用资源页面。用户可以通过说出以下示例查询/命令之一向移动设备102发出语音输入命令105：i)“Gary D”，ii)“open Gary D(打开Gray D)”，或iii)“show me Gary D(给我看Gray D)”。
响应于接收到命令，移动设备102可以生成对应于输入414的转录138。然后，服务器104可以至少提供深度链接146、app ID 140以及可以包括在书签数据143中的其他数据，并且移动设备102至少接收深度链接146、app ID140以及可以包括在书签数据143中的其他数据。BM引擎120可以从索引126访问可以被识别为“Gary D”的存储书签。
在提供书签数据143之后，***100可以使移动设备102：i)生成指示***确认接收到命令的输出416；ii)生成指示作为书签名称“Gary D”存储在书签索引126中的URL深度链接/资源标识符的输出416。在一些实现中，访问书签的资源标识符使移动设备102使用与深度链接关联的本机应用来显示映射到深度链接的资源页面。
在一些情况下，与深度链接相关联的特定本机应用可能不再被安装在移动设备102上。在该情况下，当创建书签“Gary D”时，可能已经由***100获得本机应用的资源页面的web URL。因此，如果移动设备102无法访问用于显示书签的资源页面的本机应用，则可以通过在创建书签时获得的web URL通过web浏览器显示资源页面，例如“Gary Doe”餐厅评论页面。
如上所述，在一些实现中，移动设备102可以访问本地书签索引112以获得由语音输入命令105指示的书签，而不是从服务器104接收被识别为“Gary D”的书签。在获得书签的URL、深度链接或资源标识符之后，移动设备102可以生成输出416，向用户指示作为由语音输入命令105指示的书签而存储在书签索引112中的URL/深度链接/资源标识符。
以下描述示出用于检索存储在书签索引126、112中的书签的***100的示例操作或处理。响应于移动设备102接收到用户语音输入105，可以由***100运行或执行按优先级降序的动作序列。例如，按优先级降序的动作序列可以包括：i)访问书签的深度链接以使用本机应用生成资源页面；ii)使用web浏览器访问书签的web URL；或iii)显示书签的屏幕截图数据。
在一些实现中，如果动作序列中的一个动作被成功运行，则不运行剩余动作。在一些情况下，如果***100确定用户意外触发了书签，则***100可以向用户呈现或显示删除书签的建议。
用于检索存储书签的示例操作或处理可以包括***100确定语音输入/查询105的用户意图是访问或打开书签以查看特定资源页面。在一些实现中，***100可以通过确定查询105的一个或多个单词对应于存储书签的名称来确定语音输入/查询105的用户意图是访问或打开存储书签。例如，***100可以确定查询105的一个或多个单词是否与用于访问或打开存储书签的预定义语法结构匹配，然后基于该匹配来确定用户访问书签的意图。
在一些实现中，***100可以使用其他技术来确定用户访问存储书签的意图。例如，***100可以被配置为训练机器学习***以生成查询意图模型。然后，***100可以使用生成的查询意图模型来检测查询105的用户意图，并检测与查询105的一个或多个单词匹配或基本匹配的书签名称。
响应于确定用户想要访问存储书签，***100可以从查询105提取书签名称并确定存储书签是否包括与提取的书签名称匹配的书签名称。在一些实现中，***100可以从查询105提取多个候选书签名称，并且可以测试每个候选书签名称以检测或确定指示与存储书签名称的最佳或基本匹配的候选书签名称。例如，***100可以提取整个查询105或部分查询105的多个候选书签名称。
响应于检测到具有与特定候选书签名称匹配的名称的存储书签，***100可以选择存储书签，初始化空的动作序列，并且可以继续用一个或多个优选动作来填充空的行动序列。例如，对于选择的存储书签，***100可以确定与选择的书签相关联地存储了应用深度链接和app ID。基于该确定，***100可以通过使用特定本机应用添加用于启动、运行或打开深度链接的动作来填充动作序列。
另外，对于选择的存储书签，***100可以确定与选择的书签相关联地存储了webURL。基于该确定，***100可以通过使用移动设备102的示例web浏览器应用添加用于启动、运行或打开web URL的动作来进一步填充动作序列。
此外，对于选择的存储书签，***100可以确定与选择的书签相关联地存储了屏幕截图。基于该确定，***100可以通过使用移动设备102的示例图像查看应用添加访问、显示或以其他方式打开屏幕截图的动作来进一步填充动作序列。响应于填充空的动作序列以包括多个动作，***100然后输出填充后的动作序列以供***100的一个或多个组件使用。
图5示出用于基于来自用户的语音输入来创建和访问书签的第三组示例用户界面502和504。界面502可以是与设备助理116相关联的示例界面。界面502示出输入506、输出508、建议条510和建议条512。输入506可以是移动设备102从想要查看资源页面(诸如USBBank的网站)的用户接收的除语音输入103，105之外的查询的转录。
建议条510可以是至少部分地由设备助理116生成的、为作为对用户查询的响应显示给用户而提供的数据。在一些实现中，建议条510可以是关于用于USB网上银行的网站的数据，并且可以基于用户查询的一个或多个单词来建议数据。例如，用户可以向设备助理116发出查询“USB internet banking”，通过移动设备102接收该查询。设备助理116提供对应于建议条510的用于向用户显示用户可以点击、选择或以其他方式使用以访问USB网上银行资源页面(例如，网站)的卡。
在一些实现中，除了建议条510之外，设备助理116可以生成或以其他方式提供建议条512或一个或多个附加建议条，以作为对移动设备102接收的用户查询的响应而显示给用户。例如，附加建议条可以包括用户可以访问或选择创建新书签的“Create shortcut(创建快捷方式)”或“Bookmark it(做成书签)”。因此，选择建议条512将使***100通过执行上述处理中的一个或多个来生成和存储示例书签。
界面504还示出输入506、输出508、建议条510和建议条512。界面504还示出了用户已经选择的建议条512和由***100生成并通过设备助理116的示例界面显示的输出514。响应于用户已经选择的建议条512，***100可以生成输出514。***100可以生成向用户通知***100将记住与输出510的数据相对应的URL(例如，存储名为“USB internet banking”的书签)或者资源标识符的输出514。
以下示例操作进一步示出界面504的处理步骤。用户向移动设备上的数字助理发出(例如，通过说话)查询“USB internet banking”。数字助理向用户显示或输出对应于用户可以选择来访问和查看USB银行的网上银行页面的建议条的卡，例如，输出510。数字助理可以显示或输出附加的建议条，例如，建议条512。建议条之一可以是“Create shortcut”或“Bookmark it”。
当用户按下或选择建议条512以创建快捷方式或书签时，可能发生以下结果。与USB银行的网上银行网站相对应的web URL、创建书签的意图以及用户发布的先前查询(“USB internet banking”)被发送到服务器104，并且具有名称“USB internet banking”的指向web URL的书签被创建。因此，下次移动设备102接收用户语音查询“USB internetbanking”(或类似查询)时，移动设备102将向用户显示USB银行的网上银行网站。
以下描述示出用于生成、创建或以其他方式添加“Create shortcut”或“Bookmarkit”建议条用来显示给用户的***100的示例操作或处理。在一些实现中，移动设备102从用户接收语音输入/查询，而不是语音输入103、105，并且设备助理116可以基于接收的查询来提供应答结果。
响应于设备102接收到查询，***100可以确定由设备助理116提供的应答结果是web结果。基于该确定，***100可以提供“Create shortcut”或“Bookmark it”建议条(“书签条”)用于显示给用户。在一些情况下，除了书签条之外，***100可以包括多个其他建议条，用于基于设备助理116生成的应答结果呈现给用户。
在一些实现中，设备助理116可以提供响应于设备102接收的用户查询的多个应答结果而不是单个结果。***100可以被配置为分析多个应答结果以确定如何最好地对可以由***100提供以显示给用户的潜在建议条进行排名。
例如，使用多个应答结果中的一个或多个，***100可以基于匹配分数将书签条相对于其他潜在建议条排名。匹配分数可以指示所接收的查询的内容与设备助理116响应于所接收的查询而提供的web结果的内容之间的匹配。可以基于一个或多个条件来计算匹配分数。
关于第一条件，在一些实现中，当多个web结果中的至少一个包括web URL时，***100确定所接收的查询的部分与设备助理116提供的web URL的部分匹配或松散匹配的程度。***100生成匹配分数，该匹配分数指示所接收的查询的部分与web URL的部分之间的匹配的程度或幅度。
例如，***100可以使用或运行用于数据匹配和数据比较处理的程序代码，诸如实体匹配、n-gram相似性、短语匹配和特征相似性，以指示所接收的查询的部分与web URL的部分之间的一致性的阈值水平。然后，***100基于数据匹配处理的结果生成匹配分数，并确定匹配分数是否超过阈值匹配分数。
如上所述，***100基于匹配分数将书签条相对于其他潜在建议条进行排名。因此，当生成的匹配分数(例如，0.85)超过阈值匹配分数(例如，0.8)时，***100可以在其他潜在建议条中将该书签条排名最高，并基于该排名向用户提供用于显示的书签条。
在一些实现中，书签条可以是基于特定排名和/或匹配分数被提供用于显示给用户的唯一的建议条。在其他实现中，书签条可以是基于特定排名和/或匹配分数被提供用于显示给用户的多个建议条中的第一建议条。
在一些实现中，与web结果的web URL的域匹配的所接收查询的部分可以指示用于确定应该提供书签条以显示给用户的更重要的匹配。因此，***100可以为与web URL的域匹配的所接收的查询部分生成更高的匹配分数。例如，如果查询包括“Mike's restaurant(Mike的餐馆)”并且web URL包括域“mikesrestaurant.com”，则该特定匹配可以相对于包括与web URL的域不匹配的部分的另一个所接收的查询生成更高匹配分数。
关于第二条件，在一些实现中，与web结果的web URL匹配的所接收查询的相关部分可以指示用于确定应该提供书签条以显示给用户的更重要的匹配。所接收的查询的相关部分可以是特定类型的实体，例如，商业，网站，或者不与任何带注释的实体相交的所接收的查询的部分。
例如，如果所接收的查询包括“website for Mike’s restaurant(关于Mike的餐馆的网站)”并且web URL包括商家和网站类型“mikesrestaurant.com”，则该特定匹配可以相对于包括与web URL的域不匹配的部分的另一个所接收的查询生成更高匹配分数。
关于其他条件，在一些实现中，所接收的查询的部分和web结果每个包括公共或匹配的实体，例如，商业实体“Mike’s restaurant”，并且***100确定指示实体的重要性的重要性因子。***100可以基于重要性因子生成匹配分数。换句话说，***100可以确定web结果和所接收的查询共同具有的实体的重要性，并且可以基于所确定的重要性来生成匹配分数。在一些情况下，生成的匹配分数可以与实体的确定的重要性成比例。
其他条件可以包括***100基于web结果和所接收的查询不共同具有的实体的重要性来生成匹配分数。在一些实现中，***100可以使用可以建议所接收的查询和web结果之间相关性或缺乏相关性的多个其他信号来生成匹配分数。
图6示出用于基于来自用户的语音输入来访问一个或多个书签的示例用户界面602。在一些实现中，***100提供用于经由移动设备102向用户显示的已保存书签的列表。响应于移动设备102接收到来自用户的语音输入，可以提供已保存书签的列表以显示给用户。***100生成标识可以包括书签608、610和612的书签列表的输出606。
在一些实现中，***100确定输入604的用户意图是否是接收或查看先前创建的书签的列表。如果***100确定用户意图是接收先前创建的书签的列表，则***100可以被配置为提取可以从查询/输入604识别的任何潜在选择标准或过滤标准。然后，***100可以选择与提取的选择或过滤标准匹配的一个或多个书签。在一些情况下，如果输入604没有指定标准，或者如果不可以从输入604中提取标准，则***100可以选择所有先前创建的书签以被供来显示给用户。
在一些实现中，选择或过滤标准可以指可能已经与先前创建的书签以及书签的名称相关联地存储的任何附加数据。例如，如果用户已经存储了两个书签，例如“my favoriterestaurant in New York(我在纽约最喜欢的餐馆)”和“my favorite restaurant in SanFrancisco(我在旧金山最喜欢的餐馆)”，则响应于诸如“show me my restaurantbookmarks(给我看我的餐馆书签)”的用户查询/输入604，这两个书签都将被提供用于显示。在该示例中，从查询/输入604中识别的选择或过滤标准是对应于单词“restaurant(餐馆)”的语音输入。
书签608、610和612的列表可以以使得用户能够立即敲击、点击或以其他方式选择至少一个书签的格式呈现以用于显示给用户。例如，书签608、610和612可以各自被呈现以用于显示包括特定超链接。这样的超链接格式可以使得能够选择书签以使得移动设备102使用超链接的关联应用深度链接或web URL生成特定资源页面。另外，书签列表的呈现格式还可以允许用户删除书签608、610或612中的一些或全部。
在一些实现中，***100确定输入604的用户意图是否是删除特定存储书签。如果***100确定用户意图是删除特定存储书签，则***100将在特定书签的名称X或类似于名称X的名称X的变型(例如，输入Y)是查询/输入604的一部分时删除特定存储书签。
图7是可用于实现本文档中描述的***和方法的计算设备700、750的框图，作为客户端或作为一个服务器或多个服务器。计算设备700旨在表示各种形式的数字计算机，诸如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备750旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话、智能手表、头戴式设备和其他类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制本文档中描述和/或要求保护的实现。
计算设备700包括处理器702、存储器704、存储设备706、连接到存储器704和高速扩展端口710的高速接口708以及连接到低速总线714和存储设备706的低速接口712。组件702、704、606、708、710和712中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器702可以处理用于在计算设备700内执行的指令，包括存储在存储器704中或存储设备706上的指令，以在外部输入/输出设备(诸如耦合到高速接口708的显示器716)上显示GUI的图形信息。在其他实现中，可以适当地使用多个处理器和/或多个总线以及多个存储器和多种类型的存储器。此外，可以连接多个计算设备600，每个设备提供必要操作的部分，例如，作为服务器库、一组刀片服务器或多处理器***。
存储器704在计算设备700内存储信息。在一个实现中，存储器704是计算机可读介质。在一个实现中，存储器704是易失性存储单元或多个易失性存储单元。在另一实现中，存储器704是非易失性存储单元或多个非易失性存储单元。
存储设备706能够为计算设备700提供大容量存储。在一个实现中，存储设备706是计算机可读介质。在各种不同的实现中，存储设备706可以是软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备，或包括以存储区域网络或其他配置的设备的设备阵列。在一个实现中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，在执行指令时，执行一种或多种方法，诸如上述方法。信息载体是计算机或机器可读介质，诸如存储器704、存储设备706或处理器702上的存储器。
高速控制器708管理计算设备700的带宽密集型操作，而低速控制器712管理较更低的带宽密集型操作。这种职责分配只是示例性的。在一个实现中，高速控制器708例如通过图形处理器或加速器耦合到存储器704、显示器716，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口710。在该实现中，低速控制器712耦合到存储设备706和低速扩展端口714。低速扩展端口可以包括各种通信端口，例如，USB、蓝牙、以太网、无线以太网，可以耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪，或例如，通过网络适配器的网络设备(诸如交换机或路由器)。
计算设备700可以以多种不同的形式实现，如图中所示。例如，它可以实现为标准服务器720，或者在一组这样的服务器中实现多次。它还可以实现为机架式服务器***724的一部分。此外，它可以在诸如膝上型计算机722的个人计算机中实现。可选地，来自计算设备700的组件可以与移动设备中的其他组件组合(未示出)，诸如设备750。这些设备中的每一个可以包含计算设备700、750中的一个或多个，并且整个***可以由彼此通信的多个计算设备700、750组成。
计算设备750包括处理器752、存储器764、诸如显示器754的输入/输出设备、通信接口766和收发器768等。设备750还可以设置有存储设备，诸如微驱动器或其他设备，以提供额外的存储。组件750、752、764、754、766和768中的每一个使用各种总线互连，并且若干组件可以适当地安装在公共主板上或以其他方式安装。
处理器752可以处理用于在计算设备750内执行的指令，包括存储在存储器764中的指令。处理器还可以包括单独的模拟和数字处理器。处理器可以例如提供用于设备750的其他组件的协调，诸如用户界面的控制、设备750运行的应用和设备750的无线通信。
处理器752可以通过控制接口758和耦合到显示器754的显示器接口756与用户通信。显示器754可以是例如TFT LCD显示器或OLED显示器，或其他适当的显示技术。显示器接口756可以包括用于驱动显示器754以向用户呈现图形和其他信息的适当电路。
控制接口758可以从用户接收命令并将它们转换以提交给处理器752。此外，可以提供与处理器752通信的外部接口762，以便使能设备750与其他设备的近区域通信。外部接口762可以例如通过对接程序提供有线通信，或者例如通过蓝牙或其他这样的技术提供无线通信。
存储器764在计算设备750内存储信息。在一个实现中，存储器764是计算机可读介质。在一个实现中，存储器764是一个或多个易失性存储单元。在另一实现中，存储器764是一个或多个非易失性存储单元。还可以提供扩展存储器774并通过扩展接口772连接到设备750，扩展接口772可以包括例如SIMM卡接口。这种扩展存储器774可以为设备750提供额外的存储空间，或者还可以存储设备750的应用或其他信息。
具体地，扩展存储器774可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器774可以被提供为用于设备750的安全模块，并且可以用允许安全使用设备750的指令编程。此外，可以通过SIMM卡提供安全应用以及附加信息，诸如以不可非法侵入的方式将标识信息放在SIMM卡上。
存储器可以包括例如闪存和/或MRAM存储器，如下所述。在一个实现中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含指令，在执行指令时，执行一种或多种方法，诸如上述方法。信息载体是计算机或机器可读介质，诸如存储器764、扩展存储器774或处理器752上的存储器。
设备750可以通过通信接口766无线通信，可以在必要时包括数字信号处理电路。通信接口766可以提供各种模式或协议下的通信，诸如GSM语音呼叫，SMS，EMS或MMS消息传递，CDMA，TDMA，PDC，WCDMA，CDMA2000或GPRS等。这种通信可以例如通过射频收发器768发生。此外，可以发生短程通信，诸如使用蓝牙，WiFi或其他这样的收发器(未示出)。另外，GPS接收器模块770可以向设备750提供附加的无线数据，可以由在设备750上运行的应用程序适当地使用。
设备750也可以使用音频编解码器760进行可听地通信，音频编解码器760可以从用户接收语音信息并将其转换为可用数字信息。音频编解码器760同样可以例如在设备750的听筒中为用户产生可听声音，诸如通过扬声器。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音，例如语音消息，音乐文件等，并且还可以包括由在设备750上操作的应用生成的声音。计算设备750可以以多种不同的形式实现，如图中所示。例如，它可以实现为蜂窝电话780。它还可以实现为智能手机782，个人数字助理或其他类似移动设备的一部分。
本文描述的***和技术的各种实现可以在数字电子电路，集成电路，专门设计的ASIC，计算机硬件，固件，软件和/或其组合中实现。这些各种实现可以包括在可编程***上可执行和/或可解释的一个或多个计算机程序中的实现，该可编程***包括至少一个可编程处理器，其可以是特殊的或通用的，耦合以从存储***，至少一个输入设备和至少一个输出设备接收数据，以及将数据和指令发送到存储***，至少一个输入设备和至少一个输出设备。
这些计算机程序，也称为程序，软件，软件应用或代码，包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言，和/或在组装/机器语言中实现。如本文所使用的，术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器(包括接收作为机器可读信号的机器指令的机器可读介质)提供机器指令和/或数据的任何计算机程序产品，装置和/或设备，例如，磁盘，光盘，存储器，可编程逻辑器件(PLD)。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，本文描述的***和技术可以在计算机上实现，具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以向计算机提供输入的键盘和指示设备(例如，鼠标或轨迹球)的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈，听觉反馈或触觉反馈；以及可以以任何形式接收来自用户的输入，包括声学，语音或触觉输入。
本文描述的***和技术可以在包括后端组件(例如，作为数据服务器)，或者包括中间件组件(诸如应用服务器)，或者包括前端组件(诸如具有图形用户界面或网络浏览器的客户端计算机，用户可以通过图形用户界面或网络浏览器与在此描述的***和技术的实现交互)，或者包括这种后端组件，中间件组件或前端组件的任何组合的计算***中实现。***的组件可以通过任何形式或介质的数字数据通信(诸如通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)和互联网。
计算***可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
另外，特定数据可以在被存储或使用之前以一种或多种方式处理，从而移除个人可识别信息。例如，在一些实施例中，可以处理用户的身份，以便不能为用户确定个人可标识信息，或者可以在获得位置信息的地方概括用户的地理位置(例如，城市，邮政编码或状态级别)，以便无法确定用户的特定位置。因此，用户可以控制收集关于用户的什么信息，如何使用该信息以及向用户提供什么信息。
已经描述了许多实施例。然而，应该理解，在不脱离本发明的精神和范围的情况下，可以进行各种修改。因此，其他实施例在以下权利要求的范围内。虽然本说明书包含许多具体实现细节，但这些不应被解释为对可要求保护的范围的限制，而是作为特定于特定实施例的特征的描述。在单独实施例的上下文中在本说明书中描述的特定特征也可以在单个实施例中组合实现。
相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以特定组合起作用并且甚至最初如此声明，但是在某些情况下可以从所要求保护的组合中删除来自组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作，以实现期望的结果。在特定情况下，多任务处理和并行处理可能是有利的。此外，上述实施例中的各种***模块和组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和***通常可以集成在单个软件产品中或打包到多个软件产品。
已经描述了主题的特定实施例。其他实施例在以下权利要求的范围内。例如，权利要求中记载的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的一些处理不一定需要所示的特定顺序或连续顺序来实现期望的结果。

Claims (22)

1.一种计算机实现的方法，包括：
计算***接收来自用户的用于生成书签的第一语音输入；
响应于接收到语音输入，由计算***获得与资源页面相关联的资源标识符；
由计算***将资源标识符存储为响应于来自用户设备的请求可访问的书签索引中的书签；以及
计算***使用被存储为书签的资源标识符，基于来自用户设备的请求访问资源页面，所述请求由用户设备响应于用户设备接收到来自用户的第二语音输入而生成。
2.根据权利要求1所述的方法，其中：
i)资源页面由web浏览器应用生成；以及
ii)资源标识符是统一资源定位符(URL)，提供用于访问资源页面的资源地址。
3.根据权利要求1所述的方法，其中：
i)资源页面由安装在用户设备上的本机应用生成，本机应用被配置为在应用索引中存储一个或多个深度链接；以及
ii)资源标识符是资源页面的统一资源定位符(URL)，并且是从包括关于本机应用的地址数据的应用索引获得的。
4.根据权利要求3所述的方法，其中，获得资源标识符包括：
i)访问存储与本机应用相关联的一个或多个深度链接的应用索引；以及
ii)从应用索引选择指示资源页面的URL的深度链接，深度链接提供用于访问资源页面的资源地址。
5.根据权利要求1所述的方法，其中：
i)资源页面由本机应用生成，而不是由web浏览器生成，所述本机应用不将一个或多个应用深度链接存储到本机应用索引；并且
ii)资源标识符提供与到资源页面的计算路径相关联的电子地址。
6.根据权利要求1所述的方法，其中：
i)资源页面由安装在用户设备上的特定类型的应用的应用生成；以及
ii)资源标识符是以下中的至少一个：
a)标识由应用生成的资源页面的屏幕图像的数据，或
b)提供用于访问应用生成的资源页面的资源地址的深度链接。
7.根据权利要求6所述的方法，还包括：
由计算***基于与特定类型的应用相关联的应用内容的分析来检测模式数据；以及
由计算***基于模式数据生成深度链接。
8.根据权利要求1所述的方法，还包括，在接收到来自用户的第一语音输入之后：
由计算***获得包括以下中的至少一个的语境数据：
a)本机应用统一资源定位符(URL)，将资源页面唯一地标识为由本机应用生成，
b)web浏览器应用URL，将资源页面唯一地标识为由web浏览器应用生成，
c)由安装在用户设备上的虚拟助理应用生成的辅助数据，或
d)标识资源页面的屏幕图像的数据。
9.根据权利要求8所述的方法，还包括：
由计算***生成包括指示所接收的语境数据的至少一个子集的数据的模板；
由计算***基于所述模板生成以下中的一个：与资源标识符相对应的URL，或者与资源标识符相对应的深度链接；以及
由计算***使用模板以及URL或深度链接中的一个来生成用于访问资源页面的书签。
10.根据权利要求1至9中的任意一项所述的方法，还包括：
由计算***确定书签的标识符，其中，基于计算设备从用户接收的第一语音输入来确定书签的标识符。
11.根据权利要求10所述的方法，其中，书签的标识符是书签的名称，并且所述方法还包括：
由计算***修改书签的标识符，其中，修改标识符包括重命名书签。
12.一种电子***，包括：
一个或多个处理设备；
一个或多个机器可读存储设备，用于存储由一个或多个处理设备可执行的指令，以执行包括以下的操作：
由计算***接收来自用户的用于生成书签的第一语音输入，
响应于接收到语音输入，由计算***获得与资源页面相关联的资源标识符，
由计算***将资源标识符存储为响应于来自用户设备的请求可访问的书签索引中的书签，以及
由计算***使用存储被为书签的资源标识符，基于来自用户设备的请求访问资源页面，所述请求由用户设备响应于用户设备接收到来自用户的第二语音输入而生成。
13.根据权利要求12所述的电子***，其中：
i)资源页面由web浏览器应用生成；以及
ii)资源标识符是统一资源定位符(URL)，提供用于访问资源页面的资源地址。
14.根据权利要求12所述的电子***，其中：
i)资源页面由安装在用户设备上的本机应用生成，本机应用被配置为在应用索引中存储一个或多个深度链接；以及
ii)资源标识符是资源页面的统一资源定位符(URL)，并且是从包括关于本机应用的地址数据的应用索引获得的。
15.根据权利要求14所述的电子***，其中，获得资源标识符包括：
i)访问存储与本机应用相关联的一个或多个深度链接的应用索引；以及
ii)从应用索引选择指示资源页面的URL的深度链接，深度链接提供用于访问资源页面的资源地址。
16.根据权利要求12所述的电子***，其中：
i)资源页面由本机应用生成，而不是由web浏览器生成，所述本机应用不将一个或多个应用深度链接存储到本机应用索引；并且
ii)资源标识符提供与到资源页面的计算路径相关联的电子地址。
17.根据权利要求12所述的电子***，其中：
i)资源页面由安装在用户设备上的消息传递应用生成；以及
ii)资源标识符是以下中的至少一个：
a)标识由消息传递应应用生成的资源页面的屏幕图像的数据，或
b)提供用于访问消息传递应用的资源页面的资源地址的深度链接。
18.根据权利要求17所述的电子***，还包括：
由计算***基于对与消息传递应用相关联的两个或更多个消息的分析来检测模式数据；以及
由计算***基于模式数据生成深度链接。
19.根据权利要求12至18中的任意一项所述的电子***，还包括，在接收到来自用户的第一语音输入之后：
由计算***获得包括以下中的至少一个的语境数据：
a)本机应用统一资源定位符(URL)，将资源页面唯一地标识为由本机应用生成，
b)web浏览器应用URL，将资源页面唯一地标识为由web浏览器应用生成，
c)由安装在用户设备上的虚拟助理应用生成的辅助数据，或
d)标识资源页面的屏幕图像的数据。
20.根据权利要求19所述的电子***，还包括：
由计算***生成包括指示所接收的语境数据的至少一个子集的数据的模板；
由计算***基于所述模板生成以下中的一个：与资源标识符相对应的URL，或者与资源标识符相对应的深度链接；以及
由计算***使用模板以及URL或深度链接中的一个来生成用于访问资源页面的书签。
21.一个或多个机器可读存储设备，存储由一个或多个处理设备可执行的指令，以执行包括以下的操作：
由计算***接收来自用户的用于生成书签的第一语音输入；
响应于接收到语音输入，由计算***获得与资源页面相关联的资源标识符；
由计算***将资源标识符存储为响应于来自用户设备的请求可访问的书签索引中的书签；以及
由计算***使用被存储为书签的资源标识符，基于来自用户设备的请求访问资源页面，所述请求由用户设备响应于用户设备接收到来自用户的第二语音输入而生成。
22.根据权利要求21所述的一个或多个机器可读存储设备，其中：
i)资源页面由安装在用户设备上的本机应用生成，本机应用被配置为在应用索引中存储一个或多个深度链接；以及
ii)资源标识符是资源页面的统一资源定位符(URL)，并且是从包括关于本机应用的地址数据的应用索引获得的。
CN201880012374.1A 2017-04-18 2018-01-10 语境语音驱动深度书签 Active CN110325987B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762486601P 2017-04-18 2017-04-18
US62/486,601 2017-04-18
US15/836,599 US10810278B2 (en) 2017-04-18 2017-12-08 Contextual deep bookmarking
US15/836,599 2017-12-08
PCT/US2018/013130 WO2018194730A1 (en) 2017-04-18 2018-01-10 Contextual voice-driven deep bookmarking

Publications (2)

Publication Number Publication Date
CN110325987A true CN110325987A (zh) 2019-10-11
CN110325987B CN110325987B (zh) 2023-10-20

Family

ID=63790133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880012374.1A Active CN110325987B (zh) 2017-04-18 2018-01-10 语境语音驱动深度书签

Country Status (6)

Country Link
US (4) US10810278B2 (zh)
EP (1) EP3563267B1 (zh)
JP (1) JP2020516980A (zh)
KR (2) KR102364401B1 (zh)
CN (1) CN110325987B (zh)
WO (1) WO2018194730A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538925A (zh) * 2020-04-09 2020-08-14 支付宝(杭州)信息技术有限公司 统一资源定位符url指纹特征的提取方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769364B2 (en) * 2017-06-09 2020-09-08 Branch Metrics, Inc. Generating custom application links
US11625447B2 (en) * 2018-09-28 2023-04-11 Sap Se Direct link generator for user interface
US11741951B2 (en) * 2019-02-22 2023-08-29 Lenovo (Singapore) Pte. Ltd. Context enabled voice commands
US11620033B2 (en) * 2019-05-31 2023-04-04 Apple Inc. Systems and methods for proactively identifying and providing an internet link on an electronic device
US11443006B2 (en) * 2021-01-06 2022-09-13 Vmware, Inc. Intelligent browser bookmark management
KR20220127600A (ko) * 2021-03-11 2022-09-20 삼성전자주식회사 다이얼로그 텍스트에 시각적 효과를 적용하는 전자 장치 및 이의 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030088422A1 (en) * 2001-11-01 2003-05-08 Denenberg Lawrence A Method and system for providing a voice application bookmark
CN101211364A (zh) * 2006-12-26 2008-07-02 国际商业机器公司 用于万维网页中暴露的资源的公共书签的方法和***
CN102016502A (zh) * 2008-03-07 2011-04-13 谷歌公司 基于场境的语音识别语法选择
CN103119587A (zh) * 2010-09-17 2013-05-22 甲骨文国际公司 基于上下文与继承性选择资源的方法与装置
CN103400579A (zh) * 2013-08-04 2013-11-20 徐华 一种语音识别***和构建方法
EP2728474A1 (en) * 2012-11-02 2014-05-07 Google, Inc. Method and system for deep links in application contexts
CN103888528A (zh) * 2014-03-14 2014-06-25 深圳创维－Rgb电子有限公司 一种微信终端与音频终端留言通信的实现方法及***

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141833B2 (ja) * 1997-12-18 2001-03-07 日本電気株式会社 ネットワークアクセスシステム
US6243445B1 (en) * 1998-11-03 2001-06-05 At&T Corporation Method and apparatus for telephone data network access
JP2002189732A (ja) 2000-12-21 2002-07-05 Sanyo Electric Co Ltd ユーザ支援装置およびシステム
US7313525B1 (en) * 2001-09-26 2007-12-25 Sprint Spectrum L.P. Method and system for bookmarking navigation points in a voice command title platform
US20030144984A1 (en) * 2002-01-30 2003-07-31 International Business Machines Corporation Automatic bookmark update method and apparatus
EP1564659A1 (en) * 2004-02-10 2005-08-17 Hewlett-Packard Development Company, L.P. Method and system of bookmarking and retrieving electronic documents
US7974964B2 (en) 2007-01-17 2011-07-05 Microsoft Corporation Context based search and document retrieval
US7881938B2 (en) * 2007-03-27 2011-02-01 Nuance Communications, Inc. Speech bookmarks in a voice user interface using a speech recognition engine and acoustically generated baseforms
US20080313215A1 (en) 2007-06-13 2008-12-18 R-Web, Inc. System and method for the generation and storage of contextually anchored links and for navigation within information systems based on such links
US8037070B2 (en) * 2008-06-25 2011-10-11 Yahoo! Inc. Background contextual conversational search
US8731266B2 (en) 2009-12-17 2014-05-20 General Electric Company Method and system for correcting artifacts in image reconstruction
TW201211919A (en) * 2010-04-09 2012-03-16 Citibank Na Computer implemented system and method for storing a user's location in a virtual environment
WO2012011910A1 (en) 2010-07-22 2012-01-26 Hewlett-Packard Development Company, L.P. Context-based item bookmarking
US20130110815A1 (en) 2011-10-28 2013-05-02 Microsoft Corporation Generating and presenting deep links
US9495129B2 (en) * 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9195477B1 (en) * 2012-10-09 2015-11-24 Sencha, Inc. Device profiles, deep linking, and browser history support for web applications
US10394425B2 (en) * 2012-10-16 2019-08-27 Sk Planet Co., Ltd. System for providing motion and voice based bookmark and method therefor
JP2015114527A (ja) * 2013-12-12 2015-06-22 株式会社Ｎｔｔドコモ ユーザのデータ入力に応じて情報提供を行うための端末装置、プログラム、記録媒体および方法
CN106663108B (zh) * 2014-06-25 2020-08-04 谷歌有限责任公司 用于原生应用的深链接
US9621650B2 (en) * 2014-09-30 2017-04-11 Google Inc Mobile application state identifier framework
CN107615266A (zh) 2015-03-31 2018-01-19 卡尔加里科学股份有限公司 用于捕获分层屏幕内容的方法
US20160350136A1 (en) 2015-05-27 2016-12-01 Google Inc. Assist layer with automated extraction
US10042933B2 (en) * 2015-07-02 2018-08-07 Oracle International Corporation Deep linking to application objects
JP6562747B2 (ja) * 2015-07-22 2019-08-21 三菱電機株式会社 情報登録端末、サーバ装置、情報受信端末および情報管理活用システム
US9910685B2 (en) * 2015-08-13 2018-03-06 Samsung Electronics Co., Ltd. System and method for identifying, indexing, and navigating to deep states of mobile applications
WO2017120360A1 (en) * 2016-01-05 2017-07-13 Quixey, Inc. Computer-automated generation of application deep links
US11176931B2 (en) * 2016-09-23 2021-11-16 Microsoft Technology Licensing, Llc Conversational bookmarks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030088422A1 (en) * 2001-11-01 2003-05-08 Denenberg Lawrence A Method and system for providing a voice application bookmark
CN101211364A (zh) * 2006-12-26 2008-07-02 国际商业机器公司 用于万维网页中暴露的资源的公共书签的方法和***
CN102016502A (zh) * 2008-03-07 2011-04-13 谷歌公司 基于场境的语音识别语法选择
CN103119587A (zh) * 2010-09-17 2013-05-22 甲骨文国际公司 基于上下文与继承性选择资源的方法与装置
EP2728474A1 (en) * 2012-11-02 2014-05-07 Google, Inc. Method and system for deep links in application contexts
CN103400579A (zh) * 2013-08-04 2013-11-20 徐华 一种语音识别***和构建方法
CN103888528A (zh) * 2014-03-14 2014-06-25 深圳创维－Rgb电子有限公司 一种微信终端与音频终端留言通信的实现方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSIAH POON ET AL.: "Browsing the Web from a Speech-Based Interface 1", 《RESEARCHGATE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111538925A (zh) * 2020-04-09 2020-08-14 支付宝(杭州)信息技术有限公司 统一资源定位符url指纹特征的提取方法及装置
CN111538925B (zh) * 2020-04-09 2023-05-02 支付宝（中国）网络技术有限公司 统一资源定位符url指纹特征的提取方法及装置

Also Published As

Publication number Publication date
KR20210113696A (ko) 2021-09-16
US20220391466A1 (en) 2022-12-08
US11423113B2 (en) 2022-08-23
US20240070217A1 (en) 2024-02-29
KR102364401B1 (ko) 2022-02-17
US20210103628A1 (en) 2021-04-08
WO2018194730A1 (en) 2018-10-25
US20180300421A1 (en) 2018-10-18
US11829433B2 (en) 2023-11-28
CN110325987B (zh) 2023-10-20
US10810278B2 (en) 2020-10-20
EP3563267A1 (en) 2019-11-06
JP2020516980A (ja) 2020-06-11
KR20190104197A (ko) 2019-09-06
EP3563267B1 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
US11908181B2 (en) Generating multi-perspective responses by assistant systems
WO2021196981A1 (zh) 语音交互方法、装置和终端设备
CN110325987A (zh) 语境语音驱动深度书签
US20190311036A1 (en) System and method for chatbot conversation construction and management
CN114600114A (zh) 助理***的设备上卷积神经网络模型
US20170337261A1 (en) Decision Making and Planning/Prediction System for Human Intention Resolution
CN107924679A (zh) 输入理解处理期间在响应选择中的延迟绑定
US8972265B1 (en) Multiple voices in audio content
CN109074523A (zh) 统一消息搜索
US20220100972A1 (en) Configurable generic language understanding models
CN110073349A (zh) 考虑频率和格式化信息的词序建议
CN111753551A (zh) 基于词向量生成模型的信息生成方法和装置
US11574028B2 (en) Annotation and retrieval of personal bookmarks
CN107992523A (zh) 移动应用的功能选项查找方法及终端设备
EP3472721A1 (en) Systems and methods for building conversational understanding systems
CN107315833A (zh) 基于应用程序的检索与下载的方法和装置
TW202301081A (zh) 輔助系統之基於真實世界文字偵測的任務執行
TW202301080A (zh) 輔助系統的多裝置調解
TW202240461A (zh) 使用輔助系統的語音和手勢輸入之文字編輯
CN113987134A (zh) 工单检索方法、装置、电子设备及存储介质
CN108897851A (zh) 一种获取音乐数据的方法、设备和计算机存储介质
CN105515938A (zh) 生成通信信息的方法和装置
CN104281491B (zh) 一种数据处理方法及装置
US11976931B2 (en) Method and apparatus for guiding voice-packet recording function, device and computer storage medium
KR20240066808A (ko) 미디어 파일로부터 추출한 텍스트를 이용하여 미디어 메시지를 검색하는 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant