CN110462659A - 共享体验 - Google Patents

共享体验 Download PDF

Info

Publication number
CN110462659A
CN110462659A CN201880015826.1A CN201880015826A CN110462659A CN 110462659 A CN110462659 A CN 110462659A CN 201880015826 A CN201880015826 A CN 201880015826A CN 110462659 A CN110462659 A CN 110462659A
Authority
CN
China
Prior art keywords
user equipment
user
assistant
automatic assistant
computer implemented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880015826.1A
Other languages
English (en)
Inventor
本·巴什福德
米罗斯拉夫·博伊茨
马特·韦布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110462659A publication Critical patent/CN110462659A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种示例性方法包括在计算机实现的消息传递会话内识别第一用户设备与第二用户设备之间的消息中的查询。该方法进一步包括接收一个或多个场境信号。该方法还包括基于所述一个或多个场境信号从多个自动助手选择用于处理所述查询的自动助手。该方法另外包括提供对介入请求的显示以允许所选的自动助手介入计算机实现的消息传递会话。

Description

共享体验
相关申请的交叉引用
本申请要求于2017年3月6日提交的美国临时专利申请No.62/467,449的优先权,其全部内容通过参考而被引入于此。
背景技术
包括移动电话、个人计算机、以及平板电脑的许多现代计算设备提供了允许用户与计算设备进行交互的图形用户界面(GUI)。例如,应用程序可使用GUI以使用图像、文本、以及图形元素(诸如窗口、对话框、弹出窗口、图像、按钮、滚动条、以及图标)与用户进行通信。GUI还可接收来自诸如触摸屏、计算机鼠标、键盘、及其它用户接口设备这样的用户接口设备的输入以允许用户控制GUI,并且从而控制应用程序。
在一些情况下,GUI可用于与操作***(OS)进行交互以管理计算设备。例如,OS可具有控制面板或设置应用,该控制面板或设置应用使用GUI来绘制与诸如音频控件、视频输出、计算机存储器、以及OS所使用的人类语言(例如选择以接收英语、法语、普通话、印地语、俄语等的信息)这样的计算设备的一些方面的控制设置有关的一个或多个窗口。控制面板/设置应用可使用GUI来接收与窗口有关的后续输入。GUI可通过控制面板/设置应用向OS提供输入以管理计算设备。
发明内容
示例性实施例涉及一种允许自动助手加入多个用户设备之间的聊天会话的***。更具体地,示例性实施例包括:识别在典型地在计算机实现的消息传递会话中的从第一用户设备到至少第二用户设备的消息传送交换或对话内所提供的电子消息中的查询;选择多个自动助手中的一个来处理查询;并且在第一用户设备上提供对介入请求的显示以允许所选择的自动助手介入计算机实现的消息传递会话。特别地,查询可以是显式或隐式查询。在一些示例中可以使用对来自处理程序索引的多个自动助手的排名来选择自动助手。这可能涉及例如确定来自处理程序索引的多个自动助手的会话特定排名以对查询进行处理。对自动助手的选择和/或对助手的排名可以至少部分地基于一个或多个场境信号。该场境信号可以是从第一和第二用户设备中的一个或这两者和/或从另一源接收到的。该场境信号在下面进行更详细地讨论,但是可以包括诸如设备应用使用、设备位置、和/或设备运动这样的数据。
在一个方面中,提供了一种方法,该方法包括识别在计算机实现的消息传递会话内的第一用户设备与第二用户设备之间的消息中的查询。该方法进一步包括接收一个或多个场境信号。该方法还包括基于一个或多个场境信号从多个自动助手选择用于处理所述查询的自动助手。该方法另外包括提供对介入请求的显示以允许所选择的自动助手介入计算机实现的消息传递会话。
在另一方面中,提供了一种非暂时性计算机可读介质,该非暂时性计算机可读介质具有存储在其中的指令,该指令当由计算***执行时使得计算***执行功能。该功能包括识别在计算机实现的消息传递会话内的第一用户设备与第二用户设备之间的消息中的查询。该方法进一步包括接收一个或多个场境信号。该方法还包括基于一个或多个场境信号从多个自动助手选择用于处理所述查询的自动助手。该功能另外包括提供对介入请求的显示以允许所选择的自动助手介入计算机实现的消息传递会话。
在另一方面中,提供了一种***,该***包括至少一个处理器以及具有存储在其中指令的非暂时性计算机可读介质,所述指令当由至少一个处理器执行时使得至少一个处理器执行功能。该功能包括识别在计算机实现的消息传递会话内的第一用户设备与第二用户设备之间的消息中的查询。该功能进一步包括接收一个或多个场境信号。该功能还包括基于一个或多个场境信号从多个自动助手选择用于处理所述查询的自动助手。该功能另外包括提供对介入请求的显示以允许所选择的自动助手介入计算机实现的消息传递会话。
在另一方面中,提供了一种计算设备。该计算设备包括用于识别在计算机实现的消息传递会话内的第一用户设备与第二用户设备之间的消息中的查询的装置。该计算设备进一步包括用于接收一个或多个场境信号的装置。该计算设备还包括用于基于一个或多个场境信号从多个自动助手选择用于处理所述查询的自动助手的装置。该计算设备另外包括用于提供对介入请求的显示以允许所选择的自动助手介入计算机实现的消息传递会话的装置。
前述发明内容仅是说明性的,并不旨在以任何方式进行限制。除了上述说明性方面、实施例、以及特征之外,通过参考附图和以下详细描述及附图将显而易见地得知进一步的方面、实施例及特征。
附图说明
图1描绘了根据示例性实施例的分布式计算架构。
图2是根据示例性实施例的方法的流程图。
图3A示出了根据示例性实施例的消息传递会话。
图3B说明了根据示例性实施例的匹配自动助手。
图3C说明了根据示例性实施例的匹配自动助手的排名。
图3D示出了根据示例性实施例的允许将自动助手添加为用户联系人的联系人请求。
图3E示出了根据示例性实施例的与自动助手相关联的用户界面功能。
图4A示出了根据示例性实施例的允许自动助手加入聊天会话的加入请求。
图4B和4C示出了根据示例性实施例的与自动助手相关联的附加用户界面功能。
图5是根据示例性实施例的示例性计算设备的功能框图。
具体实施方式
在这里描述了示例性方法和***。这里所述的任何示例性实施例或特征不必被解释为比其它实施例或特征优选或有利的。这里所述的示例性实施例不意味着限制。容易理解的是可以以各种不同的配置对所公开的***和方法的某些方面进行布置和组合,所有这些都在这里考虑。
此外,图中所示的特定布置不应视为限制。应该理解的是其它实施例可以包括更多个或更少个给定附图中所示的每个元件。此外,可以对所示元件中的一些进行组合或省略。又此外,示例性实施例可以包括未在附图中示出的元件。
移动设备的用户越来越依赖于文本消息传送作为一种通信形式。通常,移动设备上的群发消息涉及使用诸如蜂窝电话这样的两个或更多个单独的用户设备来从人类参与者输入。群发消息应用允许用户编写消息并且发送诸如图片、视频、或音频剪辑这样的媒体。然而,发送媒体通常是中断的体验。特别是,用户可能需要关闭消息传送应用,在另一应用中找到媒体,复制它,返回到消息传送应用,再次找到对话,并且此后最终粘贴媒体。一旦发送了媒体,则用户通常不可能在当前处于同一对话中的用户之间共享对媒体的所有权或控制权。
示例性实施例涉及共享体验,该共享体验涉及有多个可用的自动助手,这些助手能够加入和离开对话并为其做出贡献。作为示例,两个人可以参与他们正在讨论音乐的聊天会话。讨论中可能会提及一首特定歌曲。计算***可以基于该讨论的聊天日志识别用户查询以播放特定歌曲。用户查询可以是显式请求或由计算***所推断的隐式请求。
为了解决用户查询,计算***可以从多个自动助手找到适当的自动助手。在一些示例中,可以将多个自动助手存储在处理程序索引中。处理程序索引可以是集中存储的助手编译以及每个助手可提供的功能块。为了选择特定助手加入聊天会话,计算***使用场境信号。该场境信号可以是从参与聊天会话的用户设备和/或从其它设备接收到的。示例性场境信号包括位置、时间、温度、速度、过去的应用使用历史、以及未来的日历约会。处理程序索引中的助手可以是相应移动设备应用的对话版本。例如,为了对音乐用户查询进行处理,可以从处理程序索引选择与播放音乐的应用相对应的助手。
一旦选择了助手,则可以在用户设备上显示介入请求以允许助手加入聊天会话以响应该查询。例如,可以在用户设备上显示介入请求,该介入请求用于向触发查询的消息传递会话提供电子消息。介入请求可以指示助手可提供什么功能(例如播放音乐)以及选择该助手的原因(例如对特定歌曲的讨论)。在一些示例中,介入请求可以是发送给至少一个用户以允许助手成为该用户的联系人(例如添加到用户的移动设备上的用户联系人列表)的联系人请求。如果用户接受了该联系人请求,则可以将该助手添加为用户的联系人并允许加入聊天会话。如果所选助手已是用户的联系人,则介入请求可以替代地是发送给用户以允许助手加入特定聊天会话的加入请求。在一些示例中,可以允许助手在没有介入请求的情况下自动加入消息传递会话。例如,一旦助手成为用户的联系人,则可以允许助手加入涉及该用户的消息传递会话,而对每个会话无需单独介入请求。
一旦助手加入聊天会话,则可以向该助手提供用户查询及相关场境信号以允许助手响应聊天会话内的查询。例如,在音乐示例中,助手可以定位正在讨论的特定歌曲并且提供播放歌曲以使得所有用户可同时体验它。另外或替代地,助手可以呈现允许任何聊天参与者开始播放歌曲的图形用户界面组件。例如,第一用户可以按播放,这使得歌曲开始播放,并且两个用户将同时听到该歌曲。此后第二用户可请求下一歌曲(例如通过键入请求或以其它方式请求助手切换歌曲,或者通过与图形用户界面组件进行交互)。此后也可以同时对两个用户改变歌曲。在一些示例中,虽然内容跨用户同步,但用户界面交互不是。特别地,它可以以下述“传递火炬”的方式工作,在所述“传递火炬”中在给定时间仅一个用户可与用户界面进行交互,而任何用户可接着下一次交互。其它同步方法也是可能的,并且可以取决于聊天会话中的特定助手。
现在将详细参考各种实施例,其示例在附图中示出。在以下详细描述中,阐述了许多具体细节以便提供对本公开和所述实施例的透彻理解。然而,可以在没有这些具体细节的情况下实施本公开。在其它情况下,未详细描述众所周知的方法、过程、组件、以及电路以免不必要地模糊实施例的各方面。
图1描绘了根据示例性实施例的具有服务器设备108,110的分布式计算架构100,所述服务器设备108,110被配置为通过网络106与用户设备104a,104b,104c,104d,104e进行通信。网络106可以对应于局域网(LAN)、广域网(WAN)、公司内联网、公共因特网、或者其被配置为提供联网计算设备之间的通信路径的任何其它类型的网络。网络106还可以对应于一个或多个LAN、WAN、公司内联网、和/或公共因特网的组合。
尽管图1仅示出了一小部分用户设备,但是分布式应用架构可以服务数十、数百、或数千个用户设备。此外,用户设备104a,104b,104c,104d,104e(或任何其它可编程设备)可以是能够允许用户加入聊天会话的诸如普通膝上型计算机、台式计算机、可穿戴计算设备、移动计算设备、可头戴设备(HMD)、网络终端、无线通信设备(例如智能手机或手机)等这样的任何种类的计算设备。在一些实施例中,诸如用户设备104a,104b和104c所指示的,用户设备可直接与网络106相连。在其它实施例中,诸如用户设备104d和104e所指示的,用户设备可通过诸如用户设备104c这样的相关联的计算设备间接地与网络106相连。在这样的实施例中,用户设备104c可充当相关联的计算设备以在用户设备104d和104e与网络106之间传递电子通信。在图1中未示出的又一实施例中,用户设备可直接和间接地与网络106相连。
服务器设备108,110可以作为下述基于云的服务器***的一部分来操作,所述基于云的服务器***根据需要将计算机处理资源和数据共享给计算机及其它设备。特别地,服务器设备108,110可被配置为执行用户设备104a-104e所请求的一个或多个服务。例如,服务器设备108和/或110可向用户设备104a-104e提供内容。内容可包括但不局限于网页、超文本、脚本、诸如编译软件这样的二进制数据、图像、音频、和/或视频。内容可包括压缩和/或未压缩的内容。内容可被加密和/或不加密。
在示例中,服务器设备108和/或110可提供便于两个或更多个用户设备104a-104e之间的聊天会话的内容。另外,服务器设备108和/或110可向用户设备104a-104e提供对用于数据库、搜索、计算、图形、音频、视频、万维网/因特网使用、和/或其它功能的软件的访问。许多其它内容的示例也是可能的。
图2说明了示出了根据示例性实施例的方法200的流程图,所述方法200可被执行以提供介入请求以允许自动助手加入消息传递会话。方法200可以由诸如如参考图1所说明且所描述的服务器108和110这样的一个或多个计算设备来执行。在另外的示例中,方法200可以由作为基于云的服务器***的一部分进行操作的一个或多个服务器来执行。在进一步的示例中,方法200的一部分或全部可以由诸如用户设备104a-104e中的任何一个这样的客户端设备本地执行。另外,方法200可以由除了图1中具体说明的那些之外的一个或多个其它类型的计算设备来执行。
此外,应该注意的是结合这里所述的流程图所描述的功能可是作为特定功能的和/或配置的通用功能硬件模块、由处理器所执行的用于实现结合图2所示的流程图所描述的特定逻辑功能,判定以及步骤的程序代码的部分而实现的。在使用的情况下,可将程序代码存储在例如诸如包括磁盘或硬盘驱动的存储设备这样的任何类型的计算机可读介质上。
另外,图2中所示的流程图的每个框可以表示有线连接的以在该处理中执行特定逻辑功能的电路。除非特别指出,否则图2中所示的流程图中的功能可以不按所示或所讨论的顺序执行,其包括基本上同时执行单独描述的功能或者甚至在一些示例中以相反的顺序执行,这取决于所涉及的功能,只要保持了所述方法的整体功能。
在框210,方法200包括识别在计算机实现的消息传递会话内的第一用户设备与第二用户设备之间的电子消息中的查询。特别地,两个或多个用户计算设备可以参与任何用户可以发送消息的聊天会话。聊天日志可以包括来自一个或多个用户计算设备的一个或多个文本条目。可以对来自聊天日志的文本条目进行处理以识别出自动助手加入聊天会话的适当机会。更具体地,可以识别自动助手可能为其提供有用的响应和/或响应的用户界面功能的用户查询。
通常,聊天会话内的任何用户语句可以被视为对处理程序索引的查询。在一些示例中,用户查询还可以是推断的用户目标的结果。在进一步示例中,查询可以由***快速且连续地识别,通常无需通知用户。
在一些示例中,查询可以由用户所提供的显式目标触发。例如,显示目标可以是诸如“早餐在哪里?”这样的所陈述的自然语言目标或者与用于传达明确用户请求的设备应用的交互。在另外的示例中,查询可以由***所推断的隐式目标触发。例如,当用户使用地图绘制应用而导航到某个位置时,用户可能具有想要了解目的地的推断目标。在进一步的示例中,可以通过环境的改变来触发查询。例如,当用户进入存在多个智能设备的位置时,可以触发查询。作为另一示例,当从用户设备的日历添加或移除约会时,可以触发查询。查询也可以是以其它方式产生或替代地产生。
图3A示出了根据示例性实施例的聊天会话。特别地,诸如蜂窝电话这样的用户设备302可以显示聊天会话304的一部分。聊天会话304可以包括来自用户306(Jim)和308(Steve)的文本条目。每个用户306,308可以从单独计算设备连接到聊天会话304。在另外的示例中,不止两个用户可以加入聊天会话。在进一步的示例中,除了文本条目之外,用户可以在聊天会话中提供诸如口头条目、音频条目、或视频条目这样的不同类型的条目。
可以监视聊天会话304的聊天日志以便识别用户查询。可以对来自用户的聊天日志中的每个单独条目进行处理以确定是否可识别出助手可能能够为其提供有用响应的查询。在该示例中,Jim关于稍后会面的一般性问题可能不会导致助手可对其定位的已识别用户查询。然而,Steve关于在北公园的晚餐的更具体的问题可能会导致适当助手可对其定位的查询。
返回参考图2,在框220,方法200进一步包括接收一个或多个场境信号。场境信号可以是从参与消息传递会话的任何或所有用户设备及其它外部设备接收的。场境信号可以提供与参与聊天会话的用户设备的当前状态有关的信息。场境信号可以用于帮助***选择适当助手以在正确时间点加入聊天会话。在一些示例中,场境信号还可以用于产生隐式用户查询。通常,可以基于每个聊天来监视用户场境。
示例性场境信号可以包括来自用户设备传感器的诸如时间、温度、运动速度、以及环境噪声这样的传感器数据。还可以从其它外部源接收某些类型的场境信号。例如,可以从单独的时钟检索时间,或者可以从单独的温度计检索温度。示例性场境信号可以进一步包括诸如听音乐、跑步、过去或未来的日历约会、先前陈述的用户目标、以及表示为令牌的用户身份这样的推断出的用户活动。另外的场境信号可以是诸如雨等之类的天气状况这样的环境信号。
进一步的示例性场境信号可以涉及用户位置。在一些示例中,位置可以与GPS坐标一样简单。位置的扩展形式可以考虑用户的路线以及用户偏离路线的可能性。例如,在工作日的通勤时间,用户可能不太可能偏离火车站并穿过附近的繁忙道路。然而,如果用户在周末在同一火车站,则用户可能更有可能探险。在进一步示例中,代替用户的当前位置或者除了用户的当前位置之外,位置还可以是指作为聊天会话的主题的位置。
另外的示例性场境信号可以涉及附近的设备。特别地,附近的设备可以包括诸如智能灯泡和智能汽车这样的用户可以与之交互的本地设备和设备类。交互的方法可以是Wi-Fi、蓝牙、或一些其它交互模式。
进一步的示例性场境信号可以涉及先前的应用使用。通常,助手可以是相应应用的对话版本。场境信号可以包括对聊天会话中的每个用户设备是否曾与应用进行交互的指示。例如,场境信号可以包括确定聊天会话内的安装有该应用和/或将助手添加为联系人的用户设备的数目。场境信号可以另外包括确定每个用户设备对应用的使用频率。可以基于所确定的安装有每个应用的用户设备的数目和/或所确定的每个应用的使用频率来选择自动助手和/或确定自动助手的排名。在一些示例中,通常可以通过将相应助手添加为联系人列表中的朋友来替换安装设备应用的概念。
在进一步的示例中,与应用使用有关的场境信号可以扩展到特定聊天会话中的用户之外。例如,可以考虑用户的社交图内的任何朋友和/或特别是附近朋友的应用使用。在另外的示例中,除了当前聊天会话中的朋友之外,朋友在当前电话呼叫上或通过蓝牙在本地可见的应用使用可以被视为场境信号。
先前描述的任何场境信号也可以组合使用。例如,当用户的朋友接近相同类型的智能设备时,与用户的当前位置中的特定智能设备有关的用户查询可能导致来自助手的对用户的朋友使用应用的最大相应频率的联系人请求。
图3B说明了根据示例性实施例的匹配自动助手。在该示例中,可以选择助手来处理查询312以从可以从处理程序索引316中检索到的匹配助手318定位晚餐的餐厅。为了辅助该处理,可以接收相关场境信号314。场境信号314可以包括餐厅(北公园)的位置,其可以基于聊天会话中对位置的讨论和/或参与聊天会话的用户设备的位置。场境信号314可以另外包括时间(在6:00之后),其可以基于当前时间以及用户设备离目标位置有多远。场境信号314可以进一步包括Jim和S teve的先前餐厅查找应用使用,其可以指示用于该聊天会话的优选助手。
在框230,方法200进一步包括从多个自动助手选择用于处理查询的自动助手。该选择可以基于一个或多个所接收到的场境信号。在一些示例中,该选择可以基于其考虑了特定聊天会话中的用户设备集的多个自动助手的会话特定排名以及最近接收到的场境信号。可以选择排名最高的助手来处理用户查询。例如,可以为每个助手计算匹配分数,并且可以选择最高得分助手。在一些示例中,如果助手具有高于某个预定阈值级的匹配分数,则可以仅选择该助手。在其它示例中,可以向用户呈现两个或更多个处理程序以允许用户选择。在一些情况下,仅在用户拒绝最初所选的处理程序后才显示另外的处理程序。
可以从处理程序索引中选择所选的自动助手。处理程序索引是指能够响应一种或多种类型的用户查询的处理程序的索引。处理程序是能够满足一些用户目标类型的自动助手。在一些示例中,处理程序是对话聊天助手,该会话聊天助手可以提供等效的深度链接以直接跳转到聊天会话中的对话。在进一步的示例中,处理程序是可以以图形用户界面组件的形式提供应用活动的应用(例如卡或即时应用)。在另外的示例中,处理程序可以包括对话实体以及能够提供用户界面组件的应用这两者。
为了确定处理程序的排名,可以对来自每个用户设备的场境信号进行处理以响应于用户查询而根据它们提供最佳用户体验的能力从处理程序索引对处理程序进行排序。更具体地,可以根据各个用户设备的场境和聊天会话的场境对处理程序进行排名。
在替代示例中,可以以其它方式从多个助手中选择自动助手,而无需确定自动助手的明确排名。例如,可以通过直接处理场境信号而无需产生排名来选择自动助手。在进一步示例中,可以从多个助手中选择自动助手而无需接收和/或依赖于场境信号。
返回参考图3B,处理程序索引316可包括多个助手和相应目标。在一些情况下,单个助手可以能够响应多种不同的用户目标类型。用户查询312和场境信号314可以用于从处理程序索引316中选择一组匹配助手318。此后可以基于在给定场境信号314的情况下***对匹配助手318最佳响应用户查询312的能力的评估来对匹配助手318进行排名。
图3C说明了根据示例性实施例的匹配自动助手的排名。更具体地,示出了示例性处理程序索引316,该处理程序索引316包括九个自动助手和每个助手可实现的相应目标。在这种情况下,基于用于对晚餐餐厅进行定位的查询312,可以从处理程序索引316中选择能够找到餐厅的三个匹配助手(助手#3、5、8)。此后可以基于场境信号314对这三个助手进行排名。最终匹配助手排序318对三个匹配助手进行排名。例如,在一些示例中,为每个匹配助手计算单独的匹配分数。匹配分数可以指示在给定场境信号的情况下助手与查询匹配的程度。可以选择得分最高的助手来处理用户查询。
在该示例中,可以从处理程序索引316中选择用于处理用户查询312的助手#5,即使助手#5通常处理比助手#3和助手#8(专门找餐厅)更少的特定目标(找本地企业)。在这种情况下,在很大程度上根据Jim安装了应用#5的场境信号314来选择助手#5以响应来自Steve的用户查询312,所述应用#5可以是与助手#5相对应的应用。在一些示例中,如果聊天会话中的所有用户都没有安装相应用户设备应用(或者在其设备的联系人列表中将助手列为联系人),则可能不太可能或不可能选择助手。
在其它示例中,可以从处理程序索引中选择一组两个或更多个助手。此后可以按排名顺序来显示该组以允许聊天参与者从列表中进行选择以决定允许哪个助手加入聊天会话。
在进一步的示例中,处理程序可以被认为是帮助满足某些目标类型以及参数空间的提议。为此,可以维护用户目标的结构化图表。例如,当用户导航到机场时,“到达机场”的目标可以在图表中连接到“办理登机手续”的目标。当进行用户查询时,则可以将其表示为目标类型、诸如“伦敦希思罗机场”这样的某些参数、以及类似一天时间的场境。
在另外的示例中,***可以跟踪哪些处理程序匹配哪些查询,并且还跟踪处理程序何时成功。通过测量用户在实现包含在原始查询之中的目标的成功可以提高排名质量。
在进一步的示例中,开发者还可以对处理程序进行标记以帮助***选择适当处理程序。例如,可以用地方来标记处理程序(例如列车调度应用可以被标记为在火车站是相关的)。作为另一个示例,可以针对设备的注册表来标记处理程序。例如,与和特定家庭安全硬件块一起工作的不同家庭安全应用相对应的多个不同处理程序可以针对特定硬件块来标记自己。
可以对处理程序索引进行维护并存储在中央服务器位置。还可以或者替代地将处理程序索引或处理程序索引的一些部分单独维护在用户设备上。例如,索引可以集中共享且匿名,但也可以私有地维护在用户的智能手机上。通过将处理程序索引存储在中央位置(包括每个助手可提供什么功能的一些理念),可选择特定助手而无需向助手发送任何机密用户信息。
返回参考图2,在框240,方法200可以包括提供对介入请求的显示以允许所选的自动助手介入计算机实现的消息传递会话。在一些情况下,可以仅将介入请求提供给提供下述电子消息或聊天条目的用户,所述电子消息或聊天条目触发了导致对自动助手的选择的用户查询。在其它示例中,可以将介入请求发送给不同用户或多个用户。在那些示例的一些中,任何那些用户都可以授权助手以加入聊天会话。除了那些示例之外,可能需要多个用户以授权助手加入聊天会话(例如每个用户或大多数用户)。
在一些示例中,介入请求可以是在用户第一次与特定助手进行交互时作为联系人请求发送。此后可以将该助手添加到用户的计算设备上的用户联系人列表中。在后续的聊天会话中,可以改为向用户发送加入请求以允许助手加入特定的聊天会话。加入请求可以指示助手已经是用户的联系人。在一些示例中,可能需要较低的匹配分数阈值来发起来自先前使用的助手的加入请求而不是初始联系人请求。在进一步的示例中,一旦助手成为用户的联系人,则可能不需要后续介入请求以允许助手加入涉及该用户的聊天会话。在更进一步的示例中,根本不需要介入请求以允许特定助手加入聊天会话。例如,如果确定出特定助手对于特定用户查询是非常强的匹配,则该特定助手可以自动加入特定对话。
通常,介入请求(例如联系人请求或加入请求)可以具有一致且有意义的格式。特别地,介入请求可以包括对助手可向聊天会话提供的相关功能块的语句。相关功能块可以是为该助手而存储在处理程序索引中的相应功能块。介入请求可以另外包括与***引入助手的原因有关的语句。在一些示例中,该语句可以包括来自用户的触发查询的相关聊天条目。在进一步的示例中,该语句可以包括触发查询或使得助手被选择的相关场境信号(例如用户的位置)。该语句还可以包括相关聊天条目和相关场境信号。
图3D示出了根据示例性实施例的允许将自动助手添加为用户联系人的联系人请求。更具体地,联系人请求322可以由服务器提供给用户设备302以允许助手#5加入聊天会话304。可以将联系人请求提供给用户308(Steve),因为Steve询问了下述问题,该问题提示了会导致联系人请求的用户查询。如果替代地将请求发送给用户306(Jim),则它替代地是加入请求,因为Jim已将助手#5作为来自先前交互的联系人。
联系人请求322可以标识请求加入聊天会话的聊天助手(助手#5)。另外,联系人请求322可以包括对助手#5可提供的相关信息块的指示(餐厅建议)。在一些情况下,可以将该信息块集中存储在处理程序索引中。联系人请求322还可以包括对向Steve提供联系人请求322的原因的指示。特别地,联系人请求322包括对来自Steve的用于触发联系人请求322的相关聊天条目的指示(他关于在北公园的晚餐的问题)。在进一步的示例中,联系人请求322还可以或者替代地包括相关场境信号。例如,联系人请求322可以包括对Jim已将助手#5作为联系人的指示。
如果Steve接受联系人请求322,则可以将助手#5添加为Steve联系人列表中的联系人。助手#5也可以加入聊天会话304。此后可以将与Steve相关联的特定用户设备对加入不同计算机实现的消息传递会话以处理不同查询的助手#5的后续介入请求呈现为加入请求。或者,一旦将助手#5添加为联系人,则可以允许助手#5自动加入涉及Steve的后续聊天会话而无需另外的介入请求。
图3E示出了根据示例性实施例的与自动助手相关联的用户界面功能。特别地,允许助手#5作为单独用户324与用户306(Jim)和用户308(Steve)一起加入聊天会话304。在接收到授权以允许助手#5加入聊天会话之后,可以向助手#5提供允许助手#5解决用户查询的信息。特别地,服务器可以向助手#5提供用户查询、先前聊天日志的一些部分、和/或任何相关的场境信号。此后助手#5可以在聊天会话304内用文本和/或用户界面组件进行响应。可以在用户设备302和当前正在查看聊天会话304的任何其它用户设备上查看来自助手#5的任何响应。
在示例中,可以将用户界面块嵌入在对话内,该对话还包括交换消息的用户和/或助手。此后在用户界面块与单个或多个用户进行交互之后可以在聊天会话内以多种不同方式显示用户界面块。
在一些示例中,在将用户界面块引入到聊天会话中之后,用户界面块可以保持在消息历史中的相同位置。此后用户可能需要在历史中向后滚动以找到用户界面块以再次与其交互。
在其它示例中,用户界面块可以在每次与其交互时被移动到消息历史中的最近位置。因此,当用户界面块位于聊天会话的底部时,这反映出用户界面交互是用户在聊天会话中所执行的最近动作。
在其它示例中,可以始终在消息历史中的最近位置处显示同一用户界面块的新拷贝,其示出了最近配置或用户输入。原始用户界面块可以保持在消息历史记录中的相同位置。在一些情况下,原始块可能仍然是交互式的,复制新拷贝。在其它情况下,原始块可能被锁定以防止用户交互。
在另外的示例中,对话中的用户界面块未呈现在对话历史中的精确位置,而是显示在与用户界面块相关的对话部分附近。例如,用户界面块可以显示在对话的相关部分的侧面或上方。
在进一步的示例中,用户可以在对话内不理会或理会用户界面块。在另外的示例中,用户可以选择进入消息流中的用户界面块源自其的全屏服务或应用。
在图3E中,助手#5提供建议餐厅和时间的文本响应以及允许进行预订的应用326。应用326可由人类用户306,308在其各自的用户设备上查看。另外,用户306,308可以能够与应用326进行交互以进行预订。此后可以更新应用326的状态以便用户306,308都可看到最终预订。在一些示例中,可以不将运行应用326的源代码本地存储在任一用户设备上。替代地,应用326可以在云中运行,并且可以将应用326的当前状态周期性地发送到每个用户设备。按照这种方式,两个用户都可与应用326进行交互而无需任何额外的本地安装。在另一示例中,应用可以仅在单个用户设备上运行并且流传输到每个其它用户设备。
可以将来自用户306,308的后续聊天条目自动地发送到助手#5以允许对用户查询和响应细化。一旦接受了联系人请求或加入请求,则可以将其视为用户现在对其与应用#5共享的语句感到满意的指示,所述应用#5可以是远程第三方应用。在一些示例中,在助手#5已加入计算机实现的消息传递会话之后,可以在提供给聊天会话的后续电子消息中识别出另外的隐式或显式查询,并且可将该查询自动发送给应用#5以进行处理。
通常,聊天助手可以由应用开发者开发,并使用***提供的框架来解释用户输入并提供像智能回复之类的功能。智能回复是用户可从其中选择以更快地响应查询的部分回复集。在一些示例中,此后可以通过语音输入填充智能回复。可以将智能回复设计为尽可能多地快捷对话。还可以将它们设计成使用户容易修复错误的假设。例如,如果用户查询的排名靠前的答案不正确,则其中一个智能回复可能是让用户一起查看所有可能的答案,而不是逐个循环浏览它们。因此,聊天助手本质上可以是多模式的。主界面可以是键盘,但是加速输入选项可供应用在适当时使用。
将聊天助手用于应用功能有许多可能的优点。首先,该***以活动为重点。可将多个聊天助手引入单个聊天,这将与单个任务有关的所有交互保持在一起。还可以赋予用户能够邀请另外助手加入聊天会话的能力。单个应用的多个实例可以运行在单独聊天室中。例如,可以同时在包括单个用户的三个不同聊天会话的每一个中显示用于示出三个完全不同位置的地图绘制应用。
另外,该***可能是前摄的。通过对话,可以给予助手更大的许可来提出建议并中断讨论。随着越来越多的服务在后台执行工作并应用机器学习来产生建议,具有适应此行为的界面可能是有益的。该界面还允许用户发现更多应用而无需搜索应用商店。
作为进一步的益处,聊天界面对于许多用户来说非常熟悉。通过使应用更具社交性,可以使应用功能更接近用户的典型交互。在这方面,可基于相应用户设备应用所提供的服务类型来调整聊天助手的个性。
在进一步的示例中,可以提示一个用户允许另一用户添加助手作为联系人。例如,可以接收用于指示第一用户在诸如音频***这样的交互式计算设备附近的场境信号。然而,第一用户可能需要授权以控制音频***。第一用户可以发起与音频***的所有者的聊天会话。此后可以向所有者提示授权请求以请求授权允许第一用户在音频***上播放音乐。如果所有者同意,则助手可以加入聊天会话,该助手具有允许第一用户控制音频***的功能。
现在参考图4A,图4A示出了根据示例性实施例的允许自动助手加入聊天会话的加入请求。更具体地,用户设备402可以显示用户406(Alice)与用户408(Jackie)之间的聊天会话404。在这种情况下,用户在聊天会话404中正在讨论新电影。***可以监视聊天日志(例如来自每个用户的文本条目)并识别用户查询以及可处理用户查询的助手。特别地,Jackie询问关于电影内容的问题可以被识别为邀请助手#7的适当时间,所述助手#7能够播放电影的预告片以便每个用户406,408可同时观看电影预告片。
在这种情况下,可以向与Jackie相对应的用户设备发送对助手#7的加入请求410,因为她的问题提示了会导致加入请求410的查询。在Jackie在她的联系人列表上已有助手#7的情况下可以发送加入请求410而不是联系人请求。加入请求410可以包括助手#7可提供的相关应用功能块(播放电影预告片)以及提示加入请求的聊天中的相关条目(Jackie关于新电影的问题)。Jackie可以给出是否允许助手#7加入聊天会话404的选择。如果允许助手#7加入,则Alice和Jackie都可以在聊天会话404中与助手#7进行交互。
图4B示出了其中每个用户设备可与自动助手进行交互的聊天会话中的两个用户设备。更具体地,用户设备402可以是正在显示用户406(Alice)与用户408(Jackie)之间的聊天会话404的Jackie的用户设备,其中Assitant#7已加入该聊天会话。另外,用户设备422可以是正在显示相同聊天会话404的Alice的用户设备。当助手#7提供用户界面组件来播放电影预告片时,可以在用户设备402和用户设备422上显示该组件。用户可以与UI组件进行交互,并且此后两个用户都可以查看该交互的结果。
在这种情况下,每个用户设备可以显示该应用。具体地,用户设备402可以显示具有播放按钮414、暂停按钮416、以及当前时标418的UI组件412。用户设备422可以单独地显示具有播放按钮434、暂停按钮436、以及当前时标438的UI组件432。在这种情况下,Jackie可以按下用于暂停用户设备402上的视频的暂停按钮416。另外,可以更新用户设备422上的UI组件432的状态以反映Jackie的交互。特别地,暂停按钮436可以被自动按下并且视频也可以在用户设备422上的UI组件432内暂停。
按照这种方式,当跨多个用户设备播放诸如视频或音频这样的媒体时,可以使用“传递火炬”控制方案。一个用户可暂停内容,另一用户可使内容再次开始播放,另一用户可选择下一首要播放的歌曲,等等。在每个实例中,每个设备上的应用更新其状态以便每个用户可看到更新的状态。因为聊天记录是按时间顺序排列的,因此用户与应用的每次交互可以在聊天记录中创建新条目。然而,在一些情况下,当给定用户与应用进行交互时,可能不希望在每个用户设备上自动更新应用状态。
图4C示出了参与与如图4B中的自动助手的聊天会话的相同两个用户设备。在这种情况下,不是按下暂停按钮416,Jackie可以移动当前时标418以跳转到电影预告片的不同部分。可以确定出在Alice的用户设备422上的UI组件432内自动同步视频状态可能是迷惑的。作为替代控制方案,可以向用户设备422提供Jackie正在观看的内容流的当前部分的时间戳。然而,代替更新UI组件432中的当前时标438,UI组件432可以改为显示第二时标440,该第二时标440指示Jackie正在观看视频流的哪个部分。该功能为Alice提供了用于使其内容流与Jackie同步的选项,但是不会自动导致同步的应用状态,除非Alice选择发起同步状态。在一些情况下,***框架可以支持多个不同的同步方案,并且第三方应用开发者可根据特定应用行为的需要在它们之间进行选择。
在进一步的示例中,当在对话中仅存在单个用户时,可发生这里所述的涉及用户和一个或多个自动助手的交互。特别地,用于设备上的交互的相同范例可与任何数目的用户(包括单个用户)一起使用。单个用户可加入聊天室并开始对话并成为聊天室中的唯一用户,而自动助手可根据用户所说的内容加入。更具体地,用户可通过发起与其中一个助手的直接聊天或者通过在空对话或聊天室中键入查询来开始新对话,其之后适合于该场境的助手将加入。助手将对场境以及对话中所有人类用户所说的内容做出反应,即使该对话只有一个人类用户。
另外,将明确想到先前描述的涉及场境信号和处理程序索引的功能可以与单个人类用户一起使用。作为说明性示例,示例性方法包括识别在计算机实现的消息传递会话内从第一用户设备所提供的电子消息中的隐式或显式查询。该方法进一步包括接收来自第一用户设备的一个或多个场境信号。该方法另外包括基于一个或多个场境信号从处理程序索引确定用于处理隐式或显式查询的多个自动助手的会话特定排名。该方法还包括从处理程序索引中选择自动助手以基于多个自动助手的会话特定排名来处理隐式或显式查询。该方法进一步包括在第一用户设备上提供对介入请求的显示以允许所选的自动助手介入计算机实现的消息传递会话以响应隐式或显式查询。
图5是根据示例性实施例的计算设备500的功能框图。特别地,图5中所示的计算设备500可以被配置为执行如前所述的服务器设备108和/或110、用户设备104a-104e中的任何一个、方法200、用户设备302、用户设备402、和/或用户设备422的至少一个功能。
计算设备500可以包括用户接口模块501、网络通信接口模块502、一个或多个处理器503、数据存储器504、以及一个或多个传感器520,所有这些都可以通过***总线、网络、或其它连接机构505链接在一起。
用户界面模块501是可操作的以向外部用户输入/输出设备发送数据和/或接收来自外部用户输入/输出设备的数据。例如,用户界面模块501可被配置为向将数据发送到诸如键盘、小键盘、触摸屏、计算机鼠标、跟踪球、操纵杆、相机、语音识别模块、和/或其它类似设备这样的用户输入设备和/或接收来自所述用户输入设备的数据。用户界面模块501还可被配置为向诸如一个或多个阴极射线管(CRT)、液晶显示器、发光二极管(LED)、使用数字光处理(DLP)技术的显示器、打印机、灯泡、和/或现在已知或以后开发的其它类似设备这样的用户显示设备提供输出。用户接口模块501还可被配置为产生可听输出,诸如扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机、和/或其它类似设备。用户界面模块501可进一步被配置有一个或多个触觉设备,该触觉设备可产生诸如通过触摸和/或与计算设备500的物理接触可检测到的振动和/或其它输出这样的触觉输出。在一些实施例中,用户界面模块501可用于提供用于利用计算设备500的图形用户界面(GUI)。
网络通信接口模块502可包括其可被配置为通过网络进行通信的一个或多个无线接口507和/或一个或多个有线接口508。无线接口507可包括一个或多个无线发射器、接收器、和/或收发器(诸如蓝牙收发器、Zigbee收发器、Wi-Fi收发器、WiMAX收发器、和/或可被配置为通过无线网络进行通信的其它类似类型的无线收发器)。有线接口508可包括一个或多个有线发射器、接收器、和/或收发器,诸如以太网收发器、通用串行总线(USB)收发器、或可被配置为通过双绞线,同轴电缆,光纤链路,或与有线网络的类似物理连接进行通信的类似收发器。
在一些实施例中,网络通信接口模块502可被配置为提供可靠、安全、和/或已认证的通信。对于每个通信,用于确保可靠通信(即有保证的消息递送)的信息可能是作为消息报头和/或注脚的一部分(例如分组/消息排序信息、封装报头和/或注脚、大小/时间信息、以及诸如CRC和/或奇偶校验值这样的传输验证信息)提供的。可使用诸如但不局限于DES、AES、RSA、Diffie-Hellman、和/或DSA这样的一种或多种加密协议和/或算法使通信安全(例如编码或加密和/或解密/解码)。还可使用其它加密协议和/或算法或者除了这里所列的那些之外还可使用其它加密协议和/或算法来保护(并且此后解密/解码)通信。
一个或多个处理器503可包括一个或多个通用处理器和/或一个或多个专用处理器(例如数字信号处理器、图形处理单元、专用集成电路等)。一个或多个处理器503可被配置为执行包含在数据存储504中的计算机可读程序指令506和/或如这里所述的其它指令。
数据存储504可包括可由一个或多个处理器503中的至少一个读取和/或访问的一个或多个计算机可读存储介质。一个或多个计算机可读存储介质可包括诸如光的、磁的、有机的、或其它存储器或盘片存储这样的可整体地或部分地与一个或多个处理器503中的至少一个相集成的易失性和/或非易失性存储组件。在一些实施例中,数据存储器504可是使用单个物理设备(例如一个光的、磁的、有机的、或其它存储器或盘片存储单元)来实现的,而在其它实施例中,数据存储504可是使用两个或更多个物理设备来实现的。
数据存储504可包括计算机可读程序指令506以及可能的附加数据。在一些实施例中,数据存储504可另外包括要执行这里所述的方法、场景、以及技术的至少一部分和/或这里所述的设备和网络的至少部分功能所需的存储。
在一些实施例中,计算设备500可包括一个或多个传感器520。传感器520可被配置为测量计算设备500的环境中的状况并提供与该环境有关的数据。例如,传感器520可包括以下中的一个或多个:(i)用于识别其它物体和/或设备的识别传感器,诸如但不局限于RFID读取器、接近传感器、一维条形码读取器、二维条形码(例如快速响应(QR)代码)读取器、以及激光***,其中识别传感器可被配置为读取诸如RFID标签、条形码、QR码、和/或其被配置为被读取并至少提供识别信息的其它设备和/或对象这样的标识符;(ii)用于测量计算设备500的位置和/或移动的传感器,诸如但不局限于倾斜传感器、陀螺仪、加速度计、多普勒传感器、全球定位***(GPS)设备、声纳传感器、雷达设备、激光位移传感器、以及指南针;(iii)用于获得对计算设备500的环境的指示的数据的环境传感器,诸如但不局限于红外传感器、光学传感器、光传感器、照相机、生物传感器、电容传感器、触摸传感器、温度传感器、无线传感器、无线电传感器、运动传感器、麦克风、声音传感器、超声波传感器、和/或烟雾传感器;以及(iv)用于测量作用于计算设备500的一个或多个力(例如惯性力和/或G力)的力传感器,诸如但不局限于用于测量一个或多个维度的力、扭矩,地面力,摩擦力的一个或多个传感器和/或用于识别ZMP和/或ZMP的位置的零力矩点(ZMP)传感器。传感器520的许多其它示例也是可能的。
传感器520还可以包括用于使用雷达或不同检测方法来检测附近物体的一个或多个存在敏感传感器。例如,存在敏感传感器可以用于检测用户何时挥动她的手经过传感器、轻敲传感器、或者做出一些其它特定的非接触手势。另外,存在敏感传感器可以能够检测悬停输入,该悬停输入用于指示用户用她的一个或多个手指悬停在传感器上。
在这里所讨论的***收集与用户有关的个人信息或者可以利用个人信息的情况下,可以向用户提供这样的机会,即控制程序或特征是否收集信息(例如与用户的社交网络、社交动作或活动、专业、用户偏好、或用户的当前位置有关的信息)或者控制是否和/或如何接收来自内容服务器的可能与用户更相关的内容。另外,可以在存储或使用某些数据之前按照一个或多个方式对其进行处理,以便除去个人可标识信息。例如,可以对用户身份进行处理以便不可确定用户的个人可识别信息,或者可以使可获得位置信息(诸如城市、邮政编码、或者州级)的用户地理位置笼统化,以便无法确定用户的特定位置。因而,用户可以控制如何收集与用户有关的并由内容服务器使用的信息。
本公开不局限于在本申请中所描述的特定实施例,该特定实施例旨在作为对各个方面的说明。对本领域技术人员来说是显而易见的是在不脱离其精神和范围的情况下可以做出许多修改和变化。除了这里所列举的那些之外,本领域技术人员从前面的描述将显而易见地得知在本公开范围内的功能等同的方法和装置。这些修改和变化旨在落入到所附权利要求的范围之内。
以上详细描述参考附图描述了所公开的***、设备、以及方法的各个特征和功能。在附图中,相似符号典型地标识相似组件,除非上下文另有规定。在详细描述、附图、以及权利要求中所描述的说明性实施例并不意味着是限制性的。在不脱离这里所提出的主题的精神或范围的情况下,可利用其它实施例,并且可做出其它变化。容易理解的是如这里所一般描述的且在附图中所说明的本公开的各方面可是以各种不同的配置来布置、替换、组合、分开、并设计的,所有这些都在此明确地考虑到。
就图中的任何或所有梯形图、场景、以及流程图而言并且如这里所讨论的,根据示例性实施例,每个块和/或通信可以表示信息的处理和/或信息的传输。替代实施例包含在这些示例性实施例的范围之内。在这些替代实施例中,例如,被描述为块、传输、通信、请求、响应、和/或消息的功能可以不按所示或所讨论的顺序执行,其包括基本上同时或者甚至以相反的顺序执行,这取决于所涉及的功能。此外,只要保持了所述方法的整体功能。更多或更少的块和/或功能可以与这里所讨论的任何梯形图、场景、以及流程图一起使用,并且可以部分地或整体地对这些梯形图、场景、以及流程图彼此组合。
表示信息处理的块可以对应于下述电路,该电路可被配置为执行这里所述的方法或技术的特定逻辑功能。替代地或另外地,表示信息处理的块可以对应于模块、段、或程序代码的一部分(包括有关数据)。程序代码可以包括可由处理器执行的用于实现该方法或技术中的特定逻辑功能或动作的一个或多个指令。可以将程序代码和/或相关数据存储在诸如包括磁盘或硬盘驱动或其它存储介质的存储设备这样的任何类型的计算机可读介质上。
计算机可读介质还可以包括非暂时性计算机可读介质,诸如像寄存器存储器、处理器高速缓存、以及随机存取存储器(RAM)之类的用于短期存储数据的非暂时性计算机可读介质。计算机可读介质还可以包括用于长期存储程序代码和/或数据的非暂时性计算机可读介质,诸如像例如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)之类的二级或持久长期存储。计算机可读介质还可以是任何其它易失性或非易失性存储***。计算机可读介质可以被认为是计算机可读存储介质或者例如有形存储设备。
此外,表示一个或多个信息传输的块可以对应于在同一物理设备中的软件和/或硬件模块之间的信息传输。然而,其它信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。
虽然在这里已公开了各方面和实施例,但是其它方面和实施例对于本领域技术人员来说将是显而易见的。这里所公开的各方面和实施例仅用于说明性目的而不是限制性的,其中真正范围由所附权利要求指出。

Claims (24)

1.一种方法,所述方法包括:
在计算机实现的消息传递会话内识别第一用户设备与第二用户设备之间的消息中的查询;
接收一个或多个场境信号;
基于所述一个或多个场境信号,从多个自动助手选择用于处理所述查询的自动助手;以及
提供对介入请求的显示以允许所选择的自动助手介入所述计算机实现的消息传递会话。
2.根据权利要求1所述的方法,其中,识别所述第一用户设备与所述第二用户设备之间的所述消息中的所述查询包括识别所述消息中的隐式查询。
3.根据权利要求1或2所述的方法,其中,所述一个或多个场境信号中的至少一个是从所述第一用户设备和所述第二用户设备中的一个接收到的。
4.根据权利要求1-3中的任一项所述的方法,进一步包括:
基于所述一个或多个场境信号,确定所述多个自动助手的排名,以及
基于所述排名来选择所述自动助手。
5.根据权利要求4所述的方法,其中,所述排名包括特定于会话的排名。
6.根据权利要求1-5中的任一项所述的方法,进一步包括:
接收授权以允许所选择的自动助手介入所述计算机实现的消息传递会话;以及
响应于接收到所述授权,将所述查询和所述一个或多个场境信号提供给所选择的自动助手以允许所选择的自动助手响应所述计算机实现的消息传递会话内的所述查询。
7.根据权利要求1-6中的任一项所述的方法,其中,所述一个或多个场境信号包括来自所述第一用户设备和所述第二用户设备中的每一个上的一个或多个传感器的传感器数据。
8.根据权利要求1-7中的任一项所述的方法,其中,所述一个或多个场境信号包括以下中的一个或多个:用户设备的位置、用户设备的运动速度、用户设备处的温度、用户设备处的环境噪声、用户设备的将来日历约会、以及运行在用户设备上的应用。
9.根据权利要求1-8中的任一项所述的方法,其中,所述多个自动助手中的每一个具有对应用户设备应用,并且所述方法进一步包括:
针对所述多个自动助手中的每一个确定所述计算机实现的消息传递会话中的安装了所述对应用户设备应用的用户设备的数目;以及
基于针对每个自动助手所确定的用户设备的数目来选择所述自动助手。
10.根据权利要求1-9中的任一项所述的方法,其中,所述多个自动助手的每一个具有对应用户设备应用,并且所述方法进一步包括:
针对每个自动助手确定所述计算机实现的消息传递会话中的每个用户设备对所述对应用户设备应用的使用频率;并且
基于针对每个自动助手所确定的使用频率来选择所述自动助手。
11.根据权利要求1-10中的任一项所述的方法,进一步包括:
从处理程序索引检索所述多个自动助手,所述处理程序索引包括能够由所述多个自动助手中的每一个提供的至少一个相应功能块;以及
基于所述查询,从能够由所选择的自动助手提供的所述处理程序索引确定相关功能块,其中所述介入请求进一步包括对所述相关功能块的指示。
12.根据权利要求11所述的方法,进一步包括:
从所述一个或多个场境信号确定相关场境信号,其中所述相关场境信号与所述相关功能块有关,其中所述介入请求进一步包括对所述相关场境信号的指示。
13.根据权利要求1-12中的任一项所述的方法,进一步包括:
在所述自动助手已经加入所述计算机实现的消息传递会话之后,识别提供给所述计算机实现的消息传递会话的后续消息中的附加查询;以及
将所述附加查询提供给所述自动助手。
14.根据权利要求1-13中的任一项所述的方法,进一步包括:
在所述自动助手已经加入所述计算机实现的消息传递会话之后,向所述计算机实现的消息传递会话中的用户设备提供用于将所述自动助手添加到存储在所述用户设备上的联系人列表的指令;
选择所述自动助手以对从包括所述用户设备的不同计算机实现的消息传递会话所识别出的不同查询进行处理;以及
向所述用户设备提供后续介入请求以允许所述自动助手加入所述不同计算机实现的消息传递会话,其中所述后续介入请求指示所述自动助手在存储在所述用户设备上的所述联系人列表中。
15.根据权利要求1-14中的任一项所述的方法,其中,所述自动助手包括图形用户界面组件,并且所述方法进一步包括:
在所述第一用户设备和所述第二用户设备中的每一个上提供对所述计算机实现的消息传递会话内的所述图形用户界面组件的显示。
16.根据权利要求15所述的方法,其中,所述图形用户界面组件由基于云的服务器***执行,所述基于云的服务器***将所述图形用户界面的当前状态流传输到所述第一用户设备和所述第二用户设备中的每一个。
17.根据权利要求16所述的方法,进一步包括:
从所述第一用户设备接收与所述图形用户界面组件的交互,该交互改变所述图形用户界面组件的状态;以及
响应地提供指令以使得所述第二用户设备改变在所述第二用户设备上显示的所述图形用户界面组件的所述状态。
18.根据权利要求16或17所述的方法,进一步包括:
从所述第一用户设备接收与所述图形用户界面组件的交互,该交互改变所述图形用户界面组件的状态;以及
响应地提供指令以使得所述第二用户设备显示对所述第一用户设备上的所述图形用户界面组件的所述状态的指示。
19.根据权利要求18所述的方法,其中,对所述第一用户设备上的所述图形用户界面组件的所述状态的所述指示包括当前由所述第一用户设备所访问的内容流的时间戳。
20.根据权利要求1-19中的任一项所述的方法,其中,所述一个或多个场境信号包括所述第一用户设备与远程交互式计算设备的接近度。
21.根据权利要求20所述的方法,进一步包括:向所述第二用户设备提供授权请求以授权所述第一用户设备与所述远程交互式计算设备交互,其中,在所选择的自动助手已经加入所述计算机实现的消息传递会话之后,所选择的自动助手使得所述第一用户设备能够与所述远程式交互计算设备交互。
22.根据权利要求1-21中的任一项所述的方法,进一步包括:
在所述自动助手已经加入所述计算机实现的消息传递会话之后,接收来自所述自动助手的多个部分回复;以及
向所述第一用户设备和所述第二用户设备中的每一个提供指令以显示所述多个部分回复以允许所述第一用户设备和所述第二用户设备中的任一个从所述多个部分回复中选择部分回复以响应所述计算机实现的消息传递会话内的来自所述自动助手的消息。
23.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质具有存储在其中的指令,所述指令当由计算***执行时使得所述计算***执行功能,所述功能包括:
在计算机实现的消息传递会话内识别第一用户设备与第二用户设备之间的消息中的查询;
接收一个或多个场境信号;
基于所述一个或多个场境信号,从多个自动助手选择用于处理所述查询的自动助手;以及
提供对介入请求的显示以允许所选择的自动助手介入所述计算机实现的消息传递会话。
24.一种***包括:
至少一个处理器;以及
非暂时性计算机可读介质,所述非暂时性计算机可读介质具有存储在其中指令,所述指令当由所述至少一个处理器执行时使得所述至少一个处理器执行功能,所述功能包括:
在计算机实现的消息传递会话内识别第一用户设备与第二用户设备之间的消息中的查询;
接收一个或多个场境信号;
基于所述一个或多个场境信号,从多个自动助手选择用于处理所述查询的自动助手;以及
提供对介入请求的显示以允许所选择的自动助手介入所述计算机实现的消息传递会话。
CN201880015826.1A 2017-03-06 2018-01-31 共享体验 Pending CN110462659A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762467449P 2017-03-06 2017-03-06
US62/467,449 2017-03-06
PCT/US2018/016071 WO2018164781A1 (en) 2017-03-06 2018-01-31 Shared experiences

Publications (1)

Publication Number Publication Date
CN110462659A true CN110462659A (zh) 2019-11-15

Family

ID=63447976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015826.1A Pending CN110462659A (zh) 2017-03-06 2018-01-31 共享体验

Country Status (3)

Country Link
EP (1) EP3566155A4 (zh)
CN (1) CN110462659A (zh)
WO (1) WO2018164781A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220141891A (ko) * 2020-02-28 2022-10-20 구글 엘엘씨 디지털 액션 실행을 위한 인터페이스 및 모드 선택
WO2023113877A1 (en) * 2021-12-13 2023-06-22 Google Llc Selecting between multiple automated assistants based on invocation properties

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038333A1 (en) * 1999-12-15 2002-03-28 Evans Christopher A. Methods and apparatuses for handling single-user applications in multi-user computing environments
CN1688984A (zh) * 2002-05-17 2005-10-26 索尼电脑娱乐美国公司 借助自动通信端口选择的配置控制以及借助交换通信端口的交换配置
CN101853132A (zh) * 2009-03-30 2010-10-06 阿瓦雅公司 用图形呼叫连接隐喻管理多个并发通信会话的***和方法
CN103377276A (zh) * 2012-04-16 2013-10-30 宏达国际电子股份有限公司 在对话期间提供建议的方法以及使用所述方法的电子装置
US20140164509A1 (en) * 2012-12-11 2014-06-12 Nuance Communications, Inc. Systems and methods for providing input to virtual agent
US20180205679A1 (en) * 2014-09-22 2018-07-19 Roy S. Melzer Interactive user interface based on analysis of chat messages content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120130969A1 (en) * 2010-11-18 2012-05-24 Microsoft Corporation Generating context information for a search session
US9965559B2 (en) * 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US10158593B2 (en) * 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant
US11227017B2 (en) * 2016-05-17 2022-01-18 Google Llc Providing suggestions for interaction with an automated assistant in a multi-user message exchange thread

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020038333A1 (en) * 1999-12-15 2002-03-28 Evans Christopher A. Methods and apparatuses for handling single-user applications in multi-user computing environments
CN1688984A (zh) * 2002-05-17 2005-10-26 索尼电脑娱乐美国公司 借助自动通信端口选择的配置控制以及借助交换通信端口的交换配置
CN101853132A (zh) * 2009-03-30 2010-10-06 阿瓦雅公司 用图形呼叫连接隐喻管理多个并发通信会话的***和方法
CN103377276A (zh) * 2012-04-16 2013-10-30 宏达国际电子股份有限公司 在对话期间提供建议的方法以及使用所述方法的电子装置
US20140164509A1 (en) * 2012-12-11 2014-06-12 Nuance Communications, Inc. Systems and methods for providing input to virtual agent
US20180205679A1 (en) * 2014-09-22 2018-07-19 Roy S. Melzer Interactive user interface based on analysis of chat messages content

Also Published As

Publication number Publication date
EP3566155A1 (en) 2019-11-13
WO2018164781A1 (en) 2018-09-13
EP3566155A4 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
US11321410B2 (en) Information recommendation method and apparatus, device, and storage medium
KR102173536B1 (ko) 공유된 관심사를 갖는 메시지들의 갤러리
US10931726B2 (en) Method and terminal for sharing content
JP2021072137A (ja) デバイス間ハンドオフ
US9900415B2 (en) Content sharing method and mobile terminal using the method
WO2020086343A1 (en) Privacy awareness for personal assistant communications
US9686645B2 (en) Location information sharing method and apparatus
JP2021068475A (ja) サーバ、プログラム及び情報処理方法
KR101861822B1 (ko) 폰 북을 이용한 sns 제공 방법 및 이를 위한 이동 단말기
CN112836136B (zh) 聊天界面的显示方法、装置及设备
JP5380731B2 (ja) ネットワークシステム、通信端末、通信方法、通信プログラム、およびサーバ装置
WO2016100342A1 (en) Gallery of videos set to audio timeline
CN112395509A (zh) 信息显示方法、信息提供方法、设备和计算机可读介质
US9756458B1 (en) Determining user commonalities and differences
US20200311424A1 (en) Proximity-Based Content Sharing as an Augmentation for Imagery Captured by a Camera of a Device
CN105550231A (zh) 信息交互的方法、装置及设备
CN110462659A (zh) 共享体验
KR20190131355A (ko) 대화용 애플리케이션의 운영 방법
CN108111374A (zh) 同步设备列表的方法、装置、设备和计算机存储介质
KR20080074813A (ko) 위치정보 제공 시스템 및 그 방법
US20180049020A1 (en) Server apparatus, program, data transmission and reception method, and terminal device
KR101516998B1 (ko) 모바일 기기간 위치 정보 공유 방법 및 장치
CN104903923A (zh) 使用实时通信***的组轻推
US20180367487A1 (en) Location-Based Open Social Networks
WO2018193575A1 (ja) 情報処理端末および自動応答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination