CN112313924A - 提供用于控制各种连接设备的复合图形助理界面 - Google Patents

提供用于控制各种连接设备的复合图形助理界面 Download PDF

Info

Publication number
CN112313924A
CN112313924A CN201980039852.2A CN201980039852A CN112313924A CN 112313924 A CN112313924 A CN 112313924A CN 201980039852 A CN201980039852 A CN 201980039852A CN 112313924 A CN112313924 A CN 112313924A
Authority
CN
China
Prior art keywords
function
user
determining
assistant
graphical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980039852.2A
Other languages
English (en)
Inventor
倪宇钊
大卫·罗伊·沙伊雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112313924A publication Critical patent/CN112313924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了用于定制复合图形助理界面以用于与多个不同的连接设备交互的方法、装置、***和计算机可读介质。能够响应于用户提供对自动助理使连接设备执行特定功能的请求而生成复合图形助理界面。响应于自动助理接收到该请求，自动助理能够识别其它连接设备，以及能够由其它连接设备执行的其它功能。然后能够将其它功能映射到各种图形控制元素，以便提供用户能够从其中与不同连接设备交互的复合图形助理界面。能够布置每个图形控制元素，以与呈现复合图形助理界面同时反映每个连接设备正如何操作。

Description

提供用于控制各种连接设备的复合图形助理界面
背景技术
人类可以参与和在本文中称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”等)的交互式软件应用的人机对话。例如，人类(其在他们与自动助理交互时可以被称为“用户”)可以使用口头自然语言输入(即话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动助理提供命令和/或请求，该口头自然语言输入在一些情况下可以被转换成文本然后处理。
能够使用一些自动助理来控制物联网(“IoT”)设备。然而，许多IoT设备能够带有它们自己的对应应用。结果，已获取了多个不同的IoT设备的用户可能被指派有在其个人计算设备上安装各种第三方应用的任务。因为应用可能通常需要存储器、网络带宽、更新和/或其它资源，所以在单个设备上具有各种类似的应用可能是效率低的。尽管用户可以依靠自动助理来调解用户与特定IoT设备之间的交互，但是此类交互可能频繁地需要将来自用户的口头话语从音频转换为文本。为了造成音频到文本的转换，时常必须通过网络来发送音频数据，从而消耗显著网络带宽。此外，当用户被正在说话的其它人们包围或者以其他方式在具有背景噪声的环境中时，以这样的方式调解交互可能证明是不可靠的。结果，当最终未识别或以其它方式未履行对各种IoT设备执行特定功能的请求时，用户与自动助理之间的对话会话可能浪费计算资源和网络资源。
发明内容
本公开总体上涉及用于提供通过其控制多个不同设备的复合图形助理界面的方法、装置和计算机可读介质(暂时性和非暂时性)。尽管不同的设备是由不同的第三方制造，但是复合图形助理界面仍可以被用于控制各种不同的设备。这样，用户不必必须安装多个不同的第三方应用来控制其相应的IoT设备。而是，用户可以依靠他们的自动助理来辨识用户在其中想要控制特定IoT设备的特定场境，并提供包括用于控制特定IoT设备的建议的复合图形助理界面。
例如，用户可以进入他们的厨房，该厨房可以包括各种不同的设备，诸如提供对自动助理的访问的客户端设备以及与该客户端设备通信的各种连接设备。连接设备可以包括立体声***、烤箱、智能灯和咖啡机。至少相对于自动助理的制造商，每个连接设备可以由不同的第三方制造商制造。通常在用户进入厨房的早晨，用户可以提供诸如“Assistant,turn on the lights in the kitchen(助理，打开厨房的灯)”的命令。然后，用户可以访问各种应用或与连接设备手动交互，以便于使其他功能得以执行。尽管用户可以言语地初始化自动助理以使每个功能得以执行(例如，“Assistant,turn on thecoffeemaker...Assistant,play some music(助理，打开咖啡机...助理，播放一些音乐”))，但是这将需要额外的语音处理，从而消耗计算和网络资源。此外，如果要求用户访问不同的应用来控制每个设备，则每个应用可能需要一定数量的网络连接性，从而进一步低效地消耗计算和网络资源。为了提供对这些资源的更有效利用，自动助理可以响应于接收到执行功能的初始请求和/或响应于特定助理接口处的用户选择来提供复合图形助理界面。
例如，响应于接收诸如“Assistant,turn on the kitchen lights”的口头话语，自动助理可以识别厨房内其他连接设备的当前状态，以便于识别推荐给用户的特定功能。例如，如果在接收到口头话语时确定厨房中的咖啡机处于打开状态，则自动助理可以在正在编制的复合图形助理界面中省略对咖啡机的任何引用。这样，自动助理将不会提出多余的建议，而是可以在复合图形助理界面上为更合适的建议腾出地方。另外，如果自动助理确定厨房中的立体声***当前未在播放音乐，则自动助理可以确定向用户建议的用于控制立体声***的功能。例如，自动助理可以提供复合图形助理界面，其包括用于打开立体声***和/或改变立体声***的音量的图形控制元素。可以在与客户端设备成一体的显示面板处，或者在与客户端设备相关联的显示面板(例如，也位于厨房中的平板设备)处，提供复合图形助理界面。以这种方式，用户具有通过其打开立体声***的计算较不密集型模态，并且可以响应于用户的初始口头话语而将模态及时地提供给用户。
在一些实施方式中，针对由连接设备执行的特定功能的建议可以基于指示用户在特定场境内与特定的连接设备进行交互的历史倾向的数据。例如，用户在他们的厨房灯打开时或在要求他们的厨房灯打开后不久可以具有打开他们的立体声***的历史倾向。当随后出现这种场境时，自动助理可以提供复合图形助理界面，其包括用于控制立体声***的厨房内的显示面板或另一个合适的显示面板处的图形控制元素。此外，自动助理可以识别与用户相关联的其他连接设备、来自用户的请求、请求的场境和/或与用户相关联的任何其他信息，以便于在复合图形助理界面处提供进一步的建议。例如，用户还可以具有在打开厨房灯和来自立体声***的音乐之后在夜间预热厨房烤箱的历史倾向。当随后出现这种场境时，自动助理可以提供一个复合图形助理界面，其包括用于控制其烤箱的诸如烘烤温度和定时器设置的一个或多个功能的图形控制元素，以及控制他们的厨房灯和/或立体声***的特征的图像控制元素。以这种方式，由自动助理生成的复合图形助理界面可以为由各种不同制造商制造的各种不同连接设备提供控件。
提供以上描述作为本公开的一些实施方式的概述。这些实施方式和其他实施方式的进一步描述在下面更详细地描述。
在一些实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如确定经由客户端设备的自动助理接口检测到的口头话语包括对连接设备执行功能的请求的操作。所述连接设备可以与所述客户端设备链接，并且所述口头话语由用户提供。所述方法可以进一步包括：响应于接收到所述请求而识别与所接收的请求相对应的功能；基于识别所述功能来使所述连接设备执行与所接收的请求相对应的所述功能；以及由自动助理响应于接收到所述请求，基于所述自动助理可访问的数据来确定用于向所述用户推荐的另一功能。所述另一功能与所识别的功能不同并且能够由另一连接设备执行。所述方法还可以包括：基于确定所述另一功能来识别用于控制所述另一连接设备的所述另一功能的图形控制元素；以及响应于接收到所述请求而使复合图形助理界面在与所述客户端设备相关联的显示面板处被提供，所述复合图形助理界面包括所识别的图形控制元素。所述方法可以进一步包括：确定对所述图形控制元素的选择在所述复合图形助理界面处被接收；以及响应于确定对所述图形控制元素的所述选择被接收而使所述另一连接设备执行所述另一功能。
在一些实施方式中，所述数据识别所述另一连接设备的当前状态，并且响应于对所述图形控制元素的所述选择而使所述当前状态改变为不同状态。在一些实施方式中，确定所述另一功能包括：基于所述数据来确定特定功能至少部分地造成所述另一连接设备的当前状态；和至少部分地基于所述特定功能与所述另一功能不同来选择用于向所述用户推荐的所述另一功能。在一些实施方式中，确定所述另一功能进一步包括：确定至少部分地造成所述另一连接设备的当前状态的功能的一个或多个槽值；以及识别能够影响所述连接设备的当前状态的一个或多个候选功能的一个或多个参数。至少基于所述特定功能与所述另一功能不同来选择用于向所述用户推荐的所述另一功能可以包括：根据所述另一功能是否包括与所述特定功能的另一参数不同的参数，从所述一个或多个候选功能中选择所述另一功能。
在一些实施方式中，所述方法可以包括确定可讲出命令，所述可讲出命令在被提供给所述自动助理接口时，初始化所述自动助理以使所述另一连接设备的所述另一功能被执行。使所述复合图形助理界面在所述显示面板处被提供可以包括使所述显示面板示出所述可讲出命令。
在一些实施方式中，基于所述自动助理可访问的数据来确定用于向所述用户推荐的另一功能包括：基于指示一个或多个附加连接设备与所述客户端设备或所述连接设备的关系的存储的设备拓扑来从多个连接设备中识别所述一个或多个附加连接设备；和识别能够由所述一个或多个附加连接设备执行的一个或多个附加功能。所述另一功能可以从所识别的一个或多个附加功能中确定。在一些实施方式中，所述数据可以指示基于所述另一功能的先前执行或不执行的所述一个或多个附加连接设备的状态，并且在所述复合图形助理界面处的所述图形控制元素的配置可以是基于所述一个或多个附加连接设备的所指示的状态。
在其他实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如确定经由客户端设备的自动助理接口检测到的口头话语包括对自动助理执行功能的请求的操作，其中所述口头话语由用户提供。该方法还可以包括响应于确定所述请求由所述用户提供而识别与所述用户提供的所述请求相对应的功能；以及基于识别所述功能来使所述自动助理执行与由所述用户提供的请求相对应的所述功能。该方法可以进一步包括确定链接到所述客户端设备的第一连接设备的第一当前状态。所述连接设备的第一当前状态可能被第一功能的执行或不执行影响。该方法还可以包括确定链接到所述客户端设备的第二连接设备的第二当前状态。所述第二连接设备的第二当前状态可能被第二功能的执行或不执行影响。该方法可以进一步包括确定用于控制所述第一连接设备的第一功能的第一图形控制元素和用于控制所述第二连接设备的第二功能的第二图形控制元素；以及基于所述第一连接设备的第一当前状态和所述第二连接设备的第二当前状态来确定所述第一图形控制元素和所述第二图形控制元素中的每个图形控制元素的配置。该方法还可以包括响应于确定所述请求被接收，使与所述客户端设备相关联的显示面板提供用于控制所述第一连接设备和所述第二连接设备的复合图形助理界面。所述复合图形助理界面可以包括第一图形控制元素和第二图形控制元素，所述第一图形控制元素和所述第二图形控制元素根据所确定的每个图形控制元素的配置来布置。
在一些实施方式中，该方法可以包括基于与所述口头话语相关联的话音特性来访问所述用户的简档。识别所述第一功能和所述第二功能中的至少一个功能可以是基于从所述简档中可用的信息。在一些实施方式中，所述简档可以指示在特定场境内与所述第一连接设备和所述第二连接设备中的至少一个连接设备交互的所述用户的历史倾向。在一些实施方式中，所述特定场境可以对应于以下中的一个或多个：第一连接设备或第二连接设备的状态、用户的地理位置、时间、事件或一个或多个其他用户的存在。
在一些实施方式中，确定所述第一连接设备的第一当前状态可以包括从远程服务器设备请求第一当前状态和与第一功能相关联的命令数据。第一功能可以与由自动助理执行的功能不同。在一些实施方式中，该方法可以包括：接收对用于控制所述第一功能的所述第一图形控制元素的选择；和使所述客户端设备根据与所述第一功能相关联的所述命令数据与所述第一连接设备交互。
在又其它的实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如确定用户已经提供对自动助理执行功能的请求的操作。所述请求可以在客户端设备的自动助理接口处被接收。该方法可以进一步包括响应于确定所述用户已经提供所述请求而使所述自动助理执行与所述请求相对应的所述功能；以及响应于确定所述用户已经提供所述请求而确定用户偏好，所述用户偏好表征在与由所述自动助理执行的所述功能相关联的场境中控制连接设备的另一功能的所述用户的历史倾向。所述连接设备可以被链接到所述客户端设备。在一些实施方式中，该方法可以包括：基于确定所述用户偏好来识别所述连接设备和所述连接设备的所述另一功能；以及基于识别所述连接设备，确定所述连接设备的当前状态。所述当前状态可以被所述另一功能的执行或不执行影响。该方法还可以包括基于识别所述另一功能和所述连接设备的当前状态来确定用于控制所述连接设备的所述另一功能的图形控制元素。所述图形控制元素可以指示所述图形控制元素的能力以使所述另一功能被所述连接设备执行，从而导致所述连接设备的当前状态改变为不同状态。该方法可以进一步包括响应于确定所述用户已经提供所述请求，使与所述客户端设备相关联的显示面板提供包括所述图形控制元素的复合图形助理界面。
在一些实施方式中，该方法可以包括基于所述用户偏好来确定与所述连接设备中的单独的连接设备相关联的可选建议元素。使所述显示面板提供所述复合图形助理界面可以包括使所述复合图形助理界面包括所述可选建议元素。在一些实施方式中，该方法可以包括确定对所述可选建议元素的选择在所述复合图形助理界面处被接收；和使一个或多个图形控制元素被呈现在所述显示面板上，以控制所述单独的连接设备的一个或多个功能。在一些实施方式中，该方法可以包括确定可讲出命令，所述可讲出命令在所述客户端设备的所述自动助理接口处被接收时，调用所述自动助理以使所述单独的连接设备执行所述单独的连接设备的所述一个或多个功能。使与所述客户端设备相关联的所述显示面板提供所述复合图形助理界面可以包括使所述复合图形助理界面包括所述可讲出命令的自然语言表示。
在一些实施方式中，该方法可以包括响应于使所述连接设备执行所述功能来确定所述连接设备的结果状态。所述结果状态被所述功能的执行影响。此外，使与所述客户端设备相关联的所述显示面板提供所述复合图形助理界面包括使所述复合图形助理界面包括指示所述连接设备的结果状态的图形界面元素。
在一些实施方式中，所述用户偏好表征至少基于所述用户与所述自动助理之间的先前交互的控制所述另一功能的所述用户的历史倾向。在一些实施方式中，所述先前交互与在所述用户选择所述图形控制元素之前的所述用户与所述自动助理之间的对话会话相对应。在所述对话会话期间，所述用户提供请求以使所述连接设备执行所述另一功能。
在其他实施方式中，由一个或多个处理器实现的方法被阐述为包括诸如确定用户已经提供对自动助理执行功能的请求的操作。所述请求可以在客户端设备的自动助理接口处被接收。该方法还可以包括：响应于确定所述用户已经提供所述请求而使所述自动助理执行与所述请求相对应的所述功能；以及响应于确定所述用户已经提供所述请求而确定用户偏好，所述用户偏好表征在与所述自动助理执行的所述功能相关联的场境中控制连接设备的另一功能的所述用户的历史倾向。所述连接设备可以被链接到所述客户端设备。在一些实施方式中，该方法可以包括基于确定所述用户偏好来识别所述连接设备和所述连接设备的期望状态；以及基于识别所述连接设备来确定所述连接设备的当前状态。所述当前状态可以被所述另一功能的执行或不执行影响。该方法可以进一步包括：在所述期望状态与所述连接设备的当前状态不同时：基于识别所述另一功能和所述连接设备的当前状态来确定用于控制所述连接设备的所述另一功能的图形控制元素，其中所述图形控制元素指示所述图形控制元素的能力以使所述另一功能被所述连接设备执行，从而导致所述连接设备的当前状态改变为所述期望状态。此外，该方法可以包括响应于确定所述用户已经提供所述请求而使与所述客户端设备相关联的显示面板提供包括所述图形控制元素的复合图形助理界面。
在一些实施方式中，该方法可以包括：当所述期望状态与所述连接设备的当前状态相同时：响应于确定所述用户已经提供所述请求而使与所述客户端设备相关联的显示面板提供特定的复合图形助理界面，所述特定的复合图形助理界面省略用于控制所述连接设备的所述另一功能的特定的图形控制元素。
其它实施方式可以包括一种存储指令的非暂时性计算机可读存储介质，所述指令可由一个或多个处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或张量处理单元(TPU))执行以执行诸如在上面描述和/或在本文中别处描述的方法中的一个或多个。又其它的实施方式可以包括一个或多个计算机和/或一个或多个机器人的***，其包括可操作来执行存储的指令以执行诸如在上面所描述的和/或在本文中别处描述的方法中的一个或多个的一个或者多个处理器。
应该领会，在本文中更详细地描述的前面的构思和附加构思的所有组合都被设想为是本文公开的主题的一部分。例如，在本公开结尾处出现的要求保护的主题的所有组合都被设想为是本文公开的主题的一部分。
附图说明
图1图示用于提供用于与连接设备交互的复合图形助理界面的***。
图2A和图2B图示复合图形助理界面的视图，该复合图形助理界面被提供有用于控制多个不同连接设备的多个不同的图形控制元素。
图3A和3B图示用户被提供基于用户与自动助理之间的交互和/或一个或多个连接设备的当前状态的用于控制一个或多个连接设备的建议的视图。
图4A和图4B图示用于提供复合图形助理界面的方法，该复合图形助理界面包括针对能够由多个不同连接设备执行的功能的建议。
图5图示用于用控制连接设备的图形控制元素代替复合图形助理界面的方法。
图6是示例计算机***的框图。
具体实施方式
图1图示用于组装用于与连接设备交互的复合图形助理界面的***100。复合图形助理界面能够部分地由在诸如客户端设备102(例如，助理设备128)的一个或多个计算设备、附加的客户端设备(例如，平板设备150)和/或服务器设备112提供的自动助理118生成。用户120能够经由助理接口110与客户端自动助理104交互，该助理接口可以是麦克风、相机、触摸屏显示器、用户界面和/或能够在用户与应用之间提供接口的任何其它装置。例如，用户120能够通过向助理接口110、和/或平板设备150提供言语、文本和/或图形输入来初始化客户端自动助理104，以使客户端自动助理104执行操作(例如，提供数据、控制***设备、访问代理等)。客户端设备102能够包括显示设备，该显示设备可以是包括用于接收触摸输入和/或手势以用于允许用户经由触摸接口控制客户端设备102的应用的触摸接口的显示面板。可替选地，客户端设备102可以是不包括显示面板的助理设备128，但是仍然提供一个或多个接口，用户120可以通过该接口与客户端自动助理104交互(例如，通过用户120提供给助理设备128处的麦克风口头话语)。
客户端设备102能够通过诸如因特网的网络122与服务器设备112通信。客户端设备102能够将计算任务卸载到服务器设备112以便节省客户端设备102处的计算资源和/或便于在服务器设备112上利用更多稳健的资源。例如，服务器设备112能够托管自动助理118，并且客户端设备102能够将在一个或多个助理接口处接收到的输入传送到服务器设备112。然而，在一些实施方式中，自动助理118能够被完全托管在客户端设备102处。在各种实施方式中，能够在客户端设备102上实现客户端自动助理104的所有或少于所有方面。在那些实施方式中的一些中，自动助理118的各方面是经由客户端设备102的客户端自动助理104实现的并且与服务器设备112对接，该服务器设备112实现客户端自动助理104的其它方面。服务器设备112能够经由多个线程可选地为多个用户及其关联的助理应用服务。在经由客户端设备102的客户端自动助理104实现自动助理118的所有或少于所有方面的一些实施方式中，客户端自动助理104可以是与客户端设备102的操作***分离的应用(例如，被安装“在”在操作***“之上”)——或者能够替换地由客户端设备102的操作***直接实现(例如，被认为是操作***的应用，但是与操作***成一体)。
在一些实施方式中，服务器设备112能够包括话音至文本引擎116，该话音至文本引擎能够处理在助理接口110处接收到的音频数据以识别音频数据中体现的文本。用于将音频数据转换为文本的过程能够包括语音辨识算法，该语音辨识算法能够采用神经网络、word2vec算法和/或统计模型来识别与单词或短语相对应的音频数据组。从音频数据转换的文本能够由文本解析器引擎108解析并且使其被作为文本数据对于自动助理104可用，该文本数据能够用于生成和/或识别来自用户和/或第三方应用的命令短语。
用户120能够使用他们的客户端设备102和/或客户端自动助理104来与第一连接设备132和/或第二连接设备146交互。每个连接设备可以是一个或多个IoT设备，该一个或多个IoT设备能够通过局域网和/或广域网连接到客户端设备102和/或平板设备150或与客户端设备102和/或平板设备150通信。例如，客户端设备102、平板设备150、第一连接设备132和/或第二连接设备146都能够连接到家庭或其它环境中的Wi-Fi网络。为让用户120与第一连接设备132交互，用户120能够初始化与第一连接设备132相关联的应用。然而，如果用户120频繁地与多个不同的连接设备交互，则可能需要用户120操作各种不同的应用以便控制每个连接设备。为了更高效地使用计算资源，并且防止浪费网络带宽，客户端自动助理104和/或自动助理118能够提供用户能够从中与一个或多个不同的连接设备(例如，第一连接设备132和第二连接设备146)交互的复合图形助理界面。
为了生成和/或提供复合图形助理界面，用户120能够向助理接口110提供口头话语130。口头话语能够体现指示用户120希望第一连接设备132执行特定功能的请求。能够将与口头话语130相对应的音频数据从客户端设备102传送到服务器设备112。音频数据然后能够由话音至文本引擎116并由文本解析器引擎114处理。由对音频数据的处理产生的文本能够由功能识别引擎142使用以便识别用户120正在其口头话语130中提及的一个或多个功能。例如，功能识别引擎142能够将来自口头话语130的文本与使在连接设备服务器134处可用的功能数据136进行比较。功能数据136能够提供一个或多个连接设备(例如，第一连接设备132和第二连接设备146)能够执行的功能的全面列表。功能识别引擎142能够将文本与功能数据136进行比较以便识别能够由第一连接设备132执行并且用户正在提及的一个或多个功能。功能数据136可以另外或者可替代地相对于服务器设备112进行本地存储。
响应于确定文本对应于一个或多个功能，自动助理118或客户端自动助理104能够使第一连接设备132执行一个或多个识别的功能。例如，当第一连接设备132是诸如但不限于烤箱的IoT设备时，功能能够包括将烤箱预热到特定的温度。能够从服务器设备112向第一连接设备132提供用于使得在第一连接设备132处执行功能的命令。可替代地，能够将用于使第一连接设备132执行功能的命令从服务器设备112提供给连接设备服务器134，该连接设备服务器能够与第一连接设备132进行通信以使连接设备132执行功能。可替代地，客户端设备102能够将命令传达到第一连接设备132，或者服务器设备112能够将命令传达到客户端设备102，该客户端设备能够与第一连接设备132进行通信以使第一连接设备132执行功能。
响应于接收到要使第一连接设备132执行功能的口头话语130，自动助理能够使在与客户端设备102相关联的显示设备(例如，平板设备150、电视、笔记本电脑、手机)处提供复合图形助理界面。为了生成复合图形助理界面，自动助理118能够从功能数据136中识别能够由第一连接设备132执行的一个或多个其它功能。在一些实施方式中，响应于确定在客户端设备102处接收到口头话语130，自动助理可以确定能够由第二连接设备146(例如，不同的IoT设备)、平板设备150和/或与客户端设备102相关联的任何其他设备执行的一个或多个其他功能。例如，功能数据136可以包括一个或多个功能列表，这些功能列表对应于与用户120相关联的设备、客户端设备102和/或第一连接设备132。自动助理可以确定一个或多个功能，以便至少根据用户120使得第一连接设备132执行功能的请求来针对用户120可能想要执行的其他功能提供建议或推荐。
例如，在一些实施方式中，可以基于在助理接口110处接收到的口头话语的话音特性来识别用户的简档。简档可以指示与和用户相关联的多个特定连接设备中的每一个相关联的偏好，诸如基于用户与连接设备的历史交互学习的偏好。此外，简档可以识别用户120更喜欢同时、顺序地和/或在一个特定场境或者多个场境内与其交互的连接设备组。例如，用户120可以请求自动助理使第一连接设备132执行第一功能并且第二连接设备146执行第二功能，并且简档可以基于例如在时间上彼此接近已经发生一次或者多次将第一功能和第二功能识别为相关。此后，当用户120与自动助理进行交互以使第一连接设备132执行第一功能时，自动助理可以访问简档以基于其与第一功能的存储关系来识别第二功能，并给用户120提供用于使第二连接设备146执行第二功能的可选建议。
在一些实施方式中，可以在来自用户120的许可的情况下，处理用户120和自动助理之间的历史交互，以确定用户120的在特定场境中与特定连接设备交互的历史倾向。例如，用户120可以具有早上与两个IoT设备进行交互的历史，因此至少直到早上结束，可以提醒自动助理，当用户120早上与所述两个IoT设备中的至少一个进行交互时，用户120将倾向于与另一个IoT设备进行交互。另外地或可替代地，自动助理可以基于用户120的位置提供建议。例如，用户120可以具有在用户120在其厨房148中时使他们的烤箱(例如，第一连接设备132)执行第一功能并且使其平板设备150执行第二功能的历史。因此，当用户120使第一连接设备132执行第一功能并且确定用户120在厨房148中时，自动助理可以使在复合图形助理界面上提供可选建议元素。可选建议元素可以用作对用户120的建议，以使第二功能在第二连接设备146处执行。可以基于例如客户端设备102或平板设备150被用户用来执行第一功能确定用户在厨房148中。例如，基于设备102和/或设备150被指配厨房标签148，可以将“厨房”可选地识别为显式位置。可替代地，用户的位置更通常可以是与客户端设备102或者平板设备150相对应的位置。在某些实施方式中，场境可以是用户120是否正在参与特定事件，诸如在自动助理可访问的日历数据中识别的事件。在一些实施方式中，场境可以是在特定位置是否存在与用户120不同的一个或多个其他用户。
当自动助理已经识别利用其建议用户120的其它功能，所识别的其它功能能够被用作从其识别图形控制元素140的基础。例如，诸如打开和关闭风扇的功能能够由与双向开关相对应的图形控制元素140控制。此外，能够使用与刻度盘相对应的图形控制元素140来控制诸如调节烤箱的温度或者音乐的音量的功能，该刻度盘能够被转动以选择值的范围的值。自动助理118或客户端自动助理104能够将所识别的其它功能映射到图形控制元素140，这些图形控制元素能够被存储在服务器设备112处或者可被服务器设备112以其它方式访问。
复合界面引擎144能够将图形控制元素140映射到所识别的其它功能以便生成复合图形助理界面。在一些实施方式中，自动助理118能够访问与第一连接设备132的状态相对应的状态数据138。状态数据138能够指示可能被第一连接设备132和/或第二连接设备146的一个或多个功能的执行或不执行影响的设备状态。例如，当没有第一连接设备132的功能被执行时，第一连接设备132的状态可以是“关闭”。可替代地，状态能够对应于指示第一连接设备132和/或第二连接设备146的特定功能的状况或参数的数据表或串。第一连接设备132和/或第二连接设备146中每一个的状态能够被用作根据其为已被映射到第一连接设备132和/或第二连接设备146的功能的每个图形控制元素140确定配置的基础。例如，如果第一连接设备132包括处于关闭状态的发热元件，并且第一连接设备132的功能是打开发热元件，则能够在复合图形助理界面处提供与双向开关相对应的图形控制元素并以示出发热元件关闭的方式进行配置。换句话说，当在平板设备150处呈现复合图形助理界面时，每个图形控制元素能够反映第一连接设备132和第二连接设备146的每个当前状态。
在一些实施方式中，用于复合图形助理界面的图形控制元素的布置和/或选择能够基于和用户120与自动助理和/或第一连接设备132之间的交互相关联的数据。例如，能够基于用户先前已使此类功能在阈值时间段内被执行来为复合图形助理界面选择与特定功能组相对应的特定图形控制元素组。替换地或附加地，能够基于功能如何影响特定用户、特定位置、特定设备和/或能够由设备的功能展示的任何其它关系来为复合图形助理界面选择与特定功能组相对应的特定图形控制元素组。例如，为用户生成的复合图形助理界面能够包括与影响用户120当前所位于的家庭的多个不同连接设备的功能相对应的图形控制元素。因此，对图形控制元素的选择能够基于用户的位置、连接设备的标识符、用户的日历排程和/或能够用于估计用户的地理定位数据的任何其它数据。
在一些实施方式中，用户120能够将口头话语130提供给缺乏集成显示面板或者以其他方式不能在助理设备128处容易地呈现复合图形助理界面的助理设备。在此类实施方式中，自动助理能够在助理设备处接收口头话语130并且使得由用户120请求的功能由连接设备132执行。然而，响应于接收到要执行功能的请求并且确定显示面板在助理设备128处不可用，则自动助理能够识别一个或多个候选设备。能够基于候选设备显示助理界面的能力、候选设备与用户120的接近度、候选设备与助理设备的接近度、候选设备与第一连接设备132的接近度和/或用户120对于特定候选设备的偏好来识别候选设备。例如，当自动助理确定显示面板在助理设备128处不可用并且确定平板设备150或电视是次最接近助理设备128的显示设备时，自动助理能够使平板设备150或电视呈现复合图形助理界面。以这种方式，因为当用户120在正在请求由连接设备132执行特定功能时他们可能不总是在显示面板附近，所以自动助理能够仍然使在附近的显示设备处生成复合图形助理界面。在一些实施方式中，自动助理能够响应于用户120提供对连接设备132执行功能的请求而使助理设备128可听见地向用户120通知复合图形助理界面的位置。例如，响应于用户120提供口头话语“Assistant,please pre-heat my oven(助理，请预热烤箱)”，自动助理能够使助理设备128可听见地输出响应“Ok,I’ve provided an interface with additional controls atyour tablet device(好的，我已在你的平板设备处提供了带有附加控件的界面)”。自动助理因此能够使用户120注意到，如果他们去取回其平板设备，则他们能够找到用于第一连接设备132和第二连接设备146的附加控件。
图2A和图2B图示复合图形助理界面222的视图200和210，该复合图形助理界面222被提供有用于控制多个不同的连接设备的多个不同的图形控制元素。可以响应于用户202经由自动助理接口214向自动助理提供口头话语208而将复合图形助理界面222提供给用户202。自动助理接口214可以是例如至少一个麦克风，其能够响应于用户202向自动助理接口214提供可听的口头话语208而提供信号。例如，口头话语208可以是“Assistant,increasethe temperature in my kitchen(助理，增大我厨房的温度)”。响应于接收到口头话语208，自动助理可以确定用户202正试图与其交互的功能和/或连接设备，并且可以使连接设备执行用户202正在请求执行的功能。例如，响应于接收到口头话语208，自动助理可以使用户202家中的恒温器至少调节家中厨房的温度。
为了减轻不必要地处理从用户202提供的后续口头话语并由此保留计算和网络资源，自动助理可以使在客户端设备204的显示面板206或单独的设备上提供功能建议。例如，响应于接收到口头话语208，自动助理、客户端设备204和/或远程服务器设备可以访问数据，从该数据中可以提供用于控制其他连接设备的其他功能的推荐。连接设备可以是链接到或以其他方式能够与客户端设备204和/或自动助理通信的设备。数据可以提供有关每个连接设备的状态的信息，并且在复合图形助理界面222处提供的建议可以基于特定连接设备的特定状态。例如，在用户202提供口头话语208时厨房灯的状态可以是“关闭”，因此，因为用户202已经表达了对改变厨房环境的兴趣，所以用户202也可能对改变厨房灯的状态感兴趣。具体地，厨房中的灯可以具有与其亮度相关联的非二进制参数，因此，响应于确定用户202也可能对调节厨房灯感兴趣，自动助理可以选择刻度盘图形控制元素，其可以充当厨房亮度控件218。
在一些实施方式中，可以基于厨房灯在与用户202明确表达对改变其温度的兴趣的厨房共同的位置内，为复合图形助理界面222选择厨房亮度控件218。可替代地或附加地，可以基于用户202在特定场境中修改厨房温度和厨房灯的历史倾向来选择用于在复合图形助理界面222处向用户202推荐的厨房亮度控件218。用户202的历史倾向可以被指示为基于用户202和自动助理和/或用户202与一个或多个连接设备之间的先前交互来表征该倾向的用户简档或偏好数据的一部分。在一些实施方式中，这样的交互可以在诸如特定时间212(例如，在6:00AM之后)的特定场境内发生，因此，自动助理可以基于特定场境来生成复合图形助理界面222。替代地或附加地，场境可以通过一个或多个相应连接设备的一个或多个状态来表征。
可替代地或附加地，自动助理可以识别来自用户的请求，并将该请求与可用数据(例如，偏好数据和/或历史交互数据)进行比较以确定向用户建议的一个或多个功能。当自动助理已经识别出一个或多个要建议的功能时，自动助理可以识别与一个或多个识别的功能中的每个功能相对应的每个连接设备。然后可以确定每个连接设备的状态以便于确保针对要执行功能的建议不是多余的，或者会导致连接设备的状态不改变。例如，用户通常可以在早晨打开厨房灯，并且随后打开他们的咖啡机。在这种场景下，自动助理可以提供口头话语以初始化自动助理以使厨房灯打开(例如，“Assistant,turn on my kitchen lights(助理，打开我的厨房灯)”)。基于指示其中用户打开厨房灯和咖啡机两者的历史交互的数据，自动助理可以响应于接收到打开厨房灯的请求来识别咖啡机和/或用于打开咖啡机的功能。为了确保功能建议不是不合理的，当用户打开厨房灯时，自动助理可以将咖啡机的当前状态与用户通常期望的连接设备的状态进行比较。如果咖啡机的当前状态反映所期望的状态，则自动助理可以省略在复合图形助理界面上提供用于控制咖啡机的图形控制元素。但是，如果咖啡机的当前状态未反映所期望的状态(例如，咖啡机关闭，并且因此未展现所期望的状态)，则自动助理可以选择控制打开咖啡机的功能的图形控制元素。以此方式，可以优化复合图形助理界面以提供将造成用户通常期望的变化的图形控制元素，而不是向可能已经发生的连接设备提供建议。
例如，复合图形助理界面222可以包括各种不同的图形控制元素，所述各种不同的图形控制元素是基于它们所对应的特定连接设备的状态为复合图形助理界面222选择。例如，因为用户202已索求自动助理调高厨房温度，所以自动助理可以识别用户可能有兴趣控制诸如烤箱和/或咖啡机的厨房中的其他连接设备。因为这些连接设备中的每一个都关闭(如烤箱温度控件216和咖啡机控件220的配置所示)，所以这些连接设备可以是用于控制建议的候选连接设备。此外，用户202可以具有在6:00AM之后的阈值时间范围内增大厨房温度、调节厨房中的灯、预热其烤箱以及打开其咖啡机的历史。尽管这些设备和/或它们相应的控制应用中的每一个都由不同的第三方提供，但自动助理可以编制复合图形助理界面222，以便于允许用户202从单个界面控制每个设备。
在一些实施方式中，作为用户202在复合图形助理界面222处选择图形控制元素之一的结果，可以改变对应连接设备的状态。例如，至少基于厨房亮度控件218处于最低水平，最初将厨房灯的亮度指示为“关闭”。当用户202将厨房亮度控件218调节到更高水平时，厨房灯的状态可以被更新为具有“打开”状态。此外，厨房灯的状态可以被更新以反映响应于图形控制元素的调节而生成的特定的槽值。例如，槽值可以是“60％”，指示厨房亮度控件218被调节为高达60％，因此厨房灯的状态可以更新为“kitchen_lights:status(lights[on],brightness[60],hue[null])。”此后，任何其他后续建议都可以基于厨房灯的更新状态。例如，因为厨房灯现在具有“on(打开)”的状态，所以自动助理可以至少基于厨房灯打开和厨房灯的“hue(色调)”参数为“null(空值)”或在默认设置中来使复合图形助理界面222提供用于修改厨房灯的色调的图形控制元素。
在一些实施方式中，复合图形助理界面222可以提供响应于用户202提供口头话语208而执行的功能的状态指示224。此外，响应于接收到口头话语208，自动助理可以使复合图形助理界面222提供建议，该建议体现为表征口头话语的自然语言。口头话语可以是当提供给自动助理接口时初始化自动助理以使一个或多个连接设备执行一个或多个功能的口头话语。例如，响应于接收到口头话语208，自动助理可以识别位于受口头话语208影响的区域(例如，厨房)内的连接设备的状态。然后，自动助理可以识别自然语言输入，该自然语言输入在自动助理接口上被接收到时，将初始化自动助理以使连接设备执行功能。例如，当连接设备是咖啡机时，自动助理可以识别先前采用的用于控制咖啡机的口头话语，诸如“Assistant,turn on the coffeemaker(助理，打开我的咖啡机)”。响应于识别前述的口头话语，自动助理可以使图形助理界面222将口头话语作为可选建议元素呈现，该可选建议元素至少包括文本“turn on the coffeemaker(打开我的咖啡机)”。以此方式，用户202可以选择可选建议元素来打开咖啡机，或者讲出该文本作为口头话语，以便于初始化自动助理以使咖啡机打开。自动助理还可以检索可由客户端设备204用于与特定连接设备进行交互的命令数据。以这种方式，当自动助理决定要向用户202做出的特定建议时，自动助理还可以本地提供将允许所建议的功能由连接设备执行的数据。结果，响应于用户对建议的选择，自动助理和/或客户端设备将不必必须与远程服务器通信，以得到关于如何使连接设备执行功能的附加信息。
图3A和图3B图示用户302的视图300和344，为该用户302提供基于用户302和自动助理之间的交互和/或一个或多个连接设备的当前状态的控制一个或多个连接设备的建议。例如，用户302可以走进他们的厨房320，并经由客户端设备328(例如，助理设备326)的助理接口332来初始化客户端自动助理330。用户302可以通过提供诸如“Assistant,playmusic in the kitchen(助理，在厨房中播放音乐)”的口头话语322来初始化客户端自动助理330。客户端自动助理330可以接收口头话语322，并使口头话语322在客户端设备328或单独的远程服务器上被处理，以便于识别用户302希望执行的动作或功能。因为客户端设备328不包括显示面板，所以客户端设备328可以访问设备拓扑以确定合适的设备，通过该合适的设备来提供复合图形助理界面306，从该界面进一步控制与所请求的功能(即，播放音乐)相关联的任何功能和/或与设备拓扑中识别的其他连接设备相关联的任何其他功能。
例如，客户端自动助理330可访问的已存储的设备拓扑可以在识别厨房320中设备的设备拓扑中识别平板设备316、第一连接设备318以及第二连接设备324。设备拓扑可以进一步将平板设备316识别为带有显示面板的唯一设备，因此可以在平板设备316上提供当用户302正在厨房320中时要被呈现给用户302的任何复合图形助理界面。此外，为了生成合适的复合图形助理界面，自动助理可以识别每个连接设备的状态和/或确定用户302的在请求的功能(即，播放音乐)被执行之后与连接设备之一进行交互的历史倾向。例如，因为第一连接设备318(例如，烤箱)的当前状态关闭，所以自动助理可以通过在复合图形助理界面306处呈现可选建议元素310来建议用户控制烤箱。此外，因为第二连接设备324(例如，洗碗机)的当前状态关闭，所以自动助理可以通过在复合图形助理界面306上呈现可选建议元素312来建议用户控制洗碗机。此外，自动助理可以确定是否存在与最初请求的播放音乐的功能相关联的任何其他功能，并在复合图形助理界面306处提供图形控制元素以控制其他功能。例如，可以由客户端自动助理330在客户端自动助理330处执行的打开音乐的功能可以使客户端设备的状态至少为“client_device:status(music[on],volume[default])”。响应于客户端设备328处于默认模式的参数，自动助理可以提供用于控制相应参数的图形控制元素。例如，自动助理可以提供厨房音量控件314，以便于控制厨房320中音乐的音量。但是，如果用户302没有提供对应于打开音乐的先前请求，则自动助理可以从复合图形助理界面306省略厨房音量控件314。
图3B可以图示响应于用户302在图3A的复合图形助理界面306上选择可选建议元素而由自动助理提供的不同的复合图形助理界面340的视图344。例如，响应于用户302选择“control oven(控制烤箱)”可选建议元素310，自动助理可以提供不同的复合图形助理界面340，其包括用于设置烤箱温度的刻度盘334。刻度盘334的初始配置可以为“0”，以便于反映第一连接设备132的当前状态和/或第一连接设备132的一个或多个当前参数。例如，第一连接设备132的当前状态可以是“oven:status(power[off],temperature[0])”，因此，刻度盘334的配置可以反映第一连接设备318的多个当前参数。换句话说，刻度盘334处于指示烤箱关闭的其最低状态，并且因此将温度设置为0。可以在单个图形控制元素上整合和反映这些参数，以保留复合图形助理界面340中的空间，并提供通过其向用户302提供更多信息的更加直观的模态。如果用户302已经选择“control dishwasher(控制洗碗机)”可选建议元素312，则可以基于特定的第二连接设备324具有当前状态“关闭”和要控制(打开或关闭)的单个参数来在不同的复合图形助理界面340上呈现开关336。在一些实施方式中，可以将与所请求的功能相对应的元数据或所请求的功能的状态(例如，播放音乐)呈现为状态指示342。以这种方式，用户302不必一定要再次调用自动助理以确定与他们的请求相关联的当前状态，用户302也不必在不同界面之间交换以确定这种信息。而是，可以利用与其他第三方设备相关联的图形控制元素来呈现自动助理元数据，以便提供将减少计算和网络资源浪费的整合的界面。
在一些实施方式中，因为厨房中另一连接设备的当前状态指示已经设置与该另一连接设备相关联的参数，所以自动助理可以省略为该连接设备提供图形控制元素。例如，如果当用户302提供口头话语322时厨房灯的当前状态为“打开”，则自动助理可以确认厨房灯的当前状态，并省略建议关闭灯的功能。这样的省略可以基于厨房或家庭的其他区域中的一个或多个设备的一个或多个状态，和/或用户302的当他们请求在厨房播放音乐时不关闭他们的灯的历史倾向。在一些实施方式中，识别历史倾向可以基于用户302的话音特性，其允许自动助理识别要处理的与特定用户相关联的数据以便为一个或多个用户提出合适的建议。在一些实施方式中，特定图形控制元素的包括或省略可以基于用户提供口头话语322的特定场境，诸如在特定时间304之后或之前，或在相对于特定时间的阈值时间段、地理位置、事件和/或一个或多个用户的存在。
图4A和4B图示用于提供复合图形助理界面的方法400和410，该复合图形助理界面包括针对能够由多个不同连接设备执行的功能的建议。方法410可以是方法400的延续，如图4A和图4B中圈出的延续元素“A”所示。方法400和410可以由一个或多个能够与连接设备或自动助理进行交互的计算设备、应用和/或任何其他装置或模块执行。方法400可以包括确定经由客户端设备的自动助理接口检测到的口头话语包括对连接设备执行功能的请求的操作402。自动助理接口可以是麦克风、触摸显示面板、相机、传感器和/或用户可通过其向设备提供输入的任何其他装置中的一个或多个。此外，客户端设备可以是计算设备，其可以包括与计算设备成一体的触摸显示面板，或者以其他方式与计算设备通信。例如，客户端设备可以是连接到WiFi网络的助理设备，并且该助理设备可以经由WiFi网络与单独的显示面板(例如，电视或其他显示设备)通信。客户端设备与其通信的任何设备都可以是连接设备。例如，包括与客户端设备连接的WiFi网络的家庭中的任何IoT设备可以视为连接设备。可替代地或附加地，客户端设备通过局域网、广域网和/或互联网与其通信的任何设备可以是连接设备。自动助理可以通过经由自动助理接口接收来自用户的命令并使客户端设备与连接设备进行交互来与连接设备进行通信。可替代地或附加地，响应于自动助理接收到命令，自动助理可以使远程服务器向连接设备发出命令。可替代地或附加地，自动助理可以使远程服务器向与连接设备相关联的连接设备服务器发出命令，以便连接设备服务器将使连接设备执行特定功能。
方法400可以进一步包括响应于接收到该请求而识别与所接收的请求相对应的功能的操作404。可以通过访问能够由与客户端设备通信的一个或多个连接设备执行的存储或可用功能列表来识别功能。在一些实施方式中，至少部分地托管自动助理的远程服务器设备可以查询单独的连接设备服务器，该单独的连接设备服务器可以提供识别能够由连接设备执行的一个或多个功能的数据。当连接设备是IoT设备时，该功能可以是能够由连接设备执行的任何可执行操作，诸如但不限于提供来自传感器的信息、更改连接设备的硬件组件的输入参数、使连接设备执行网络操作、使连接设备与另一连接设备通信和/或可由设备执行的任何其他功能。例如，该功能在由连接设备执行时，可能导致连接设备关闭任何由连接设备可控制的灯(例如，“function(connected_device:lights:{off})”，其中“off”是参数“lights”的槽值)。
方法400还可以包括基于识别该功能来使连接设备执行与所接收的请求相对应的功能的操作406。客户端设备或自动助理可以通过将命令数据传送到连接设备，或使命令数据传送到连接设备，来使连接设备执行功能。作为连接设备执行功能的结果，可以修改连接设备的状态以便于反映通过连接设备的执行而造成的任何变化。连接设备的状态可以通过诸如“connected_device:status(lights[off],brightness[null],hue[null])”的数据来表征，其中特定参数或槽值可以为空或者空值作为提供给连接设备的特定槽值(例如，“off”)的结果。在一些实施方式中，取决于功能在其中被连接设备执行了的场境，与用户相关联的简档或场境可以被更新或以其他方式修改以反映针对要执行的功能的请求。以这种方式，可以随后处理与用户和连接设备和/或自动助理之间的历史交互相对应的数据，以便于增强用户与连接设备和/或自动助理之间的未来交互。例如，当功能对应于在夜间关闭设备的灯的请求时，可以更新简档以在夜间将特定功能排名更高，并且/或者以其他方式指示用户在夜间请求执行功能的历史倾向。此后，至少根据在特定场境内请求那些功能或类似功能的用户的历史倾向，该简档可以用作根据其为各种不同连接设备要执行的功能提供建议的基础。在一些实施方式中，简档可以指示应根据一个或多个连接设备的状态建议的功能。以此方式，自动助理可以检查一个或多个连接设备的一个或多个状态，并且基于一个或多个连接设备的一个或多个状态来确定用户请求特定功能的历史倾向。
方法400可以进一步包括由自动助理响应于接收到请求，基于自动助理可访问的数据来确定另一功能以用于向用户推荐的操作408。该另一功能可以不同于在操作406处执行的功能，并且可以由与在操作406处执行该功能的连接设备不同的连接设备来执行。可以基于自动助理可以访问的并且指示用户在当前场境中使其他功能被执行或与其他连接设备进行交互的历史倾向的数据来确定该另一功能。例如，可以基于在操作406处执行功能的连接设备的当前状态来确定该另一功能。因此，当连接设备的当前状态是“connected_device:status(lights[off],brightness[null],hue[null])”时，所建议的另一功能可以是至少基于用户关闭灯——使灯的状态改变——以及打开他们的安全***时的先前交互来打开安全***(例如，该另一连接设备)的安全警报。通过提供这样的建议，与用户发出话音命令以使这种功能被执行从而导致语音处理相比，可以保留计算资源和网络资源。
方法400可以进行到方法410，如图4A和图4B中圈出的连续元素“A”所示。方法410可以包括基于确定该另一功能来识别用于控制该另一连接设备的该另一功能的图形控制元素的操作412。可以从存储在客户端设备和/或自动助理可访问的存储器中的多个图形控制元素中选择图形控制元素。在一些实施方式中，每个图形控制元素可以与元数据相关联地存储，该元数据指示能够由图形控制元素表征的输入和/或能够响应于图形控制元素接收到的选择或手势而被提供的输出。例如，可以将表示双向开关的图形控制元素与元数据相关联地存储，该元数据指示图形控制元素可以接收触摸输入和/或轻扫手势，和/或图形控制元素可以提供二进制输出，诸如1或0、和/或打开或关闭。存储器可以存储各种不同的图形控制元素，每个图形控制元素能够提供两个或更多个不同的输出，和/或接收各种不同的输入。
方法410还可以包括响应于接收到该请求而在与客户端设备相关联的显示设备处提供复合图形助理界面的操作414。复合图形助理界面可以是具有一个或多个可选元素的图形用户界面，当在复合图形助理界面上接收到选择和/或手势时，所述一个或多个可选元素能够在连接设备处执行特定功能。复合图形助理界面可以充当一种模态，通过该模态，用户可以与自动助理和/或多个不同的连接设备进行交互，尽管连接设备与其他不同的第三方应用相关联以控制它们。以这样的方式，用户不一定必须下载和/或访问多个不同的应用来控制其相应的IoT设备，而是可以简单地使复合图形助理界面被提供在显示面板上。此外，复合图形助理界面可以由自动助理根据一个或多个相应连接设备的一个或多个状态和/或用户正在其中与自动助理和/或客户端设备进行交互的场境来进行适应。在一些实施方式中，复合图形助理界面可以与数据相关联，该数据包括在复合图形助理界面上呈现的特定图形控制元素的槽值。可以将槽值提供给对应的功能，然后可以由与任何相应图形控制元素相对应的连接设备执行该对应的功能。
方法410可以进一步包括确定在复合图形助理界面处接收到对图形控制元素的选择的操作416。可以基于响应于用户在提供复合图形助理界面的显示面板上触摸或以其他方式提供手势而由显示面板传送的数据来确定对图形控制元素的选择。然后，可以将与所确定的对图形控制元素的选择相对应的任何槽值提供给负责进一步使该功能在相应的连接设备处执行的设备，诸如连接设备本身或连接设备服务器。
方法410还可以包括响应于确定接收到对图形控制元素的选择而使该另一连接设备执行该另一功能的操作418。该另一功能可以是，例如，打开用户家中的安全***。至少基于手动关闭他们的灯并且打开他们的安全***的用户的历史倾向，可以向用户建议该另一功能。还可以基于灯的当前状态(例如，灯关闭)来建议该另一功能。可替代地或附加地，可以基于自动助理确定已经请求将灯的当前状态改变为“关闭”和/或提出请求的当前场境对应于一天的时间、用户的地理位置、一个或多个其他设备的状态和/或可用于使执行计算机功能的任何其他信息来建议该另一功能。响应于执行其它功能，可以在包括用于各种连接设备的状态的标识符的表或其他数据存储处更新当前状态。这样，自动助理可以根据状态的更新组合以及随着状态随时间变化而生成附加。例如，由于安全警报打开且灯关闭，所以自动助理可以确定用于控制通信设备功能的图形控制元素，以便允许用户通过在新的复合图形助理界面上与图形控制元素进行交互来将通信设备置于静音模式中。
图5图示用于利用用于控制连接设备的图形控制元素代替复合图形助理界面的方法500。方法500可以由一个或多个计算设备、应用和/或能够与连接设备和/或自动助理进行交互的任何其他装置或模块执行。方法500可以包括确定用户已经在与客户端设备相关联的显示面板处提供的第一复合图形助理界面处选择了图形控制元素的操作502。显示面板可以作为客户端设备的整体部分或作为通过网络与客户端设备通信的设备连接到客户端设备。可以在显示面板上呈现第一复合图形助理界面，以便向用户提供用户可以通过其控制各种不同的连接设备的模态，尽管连接设备是由相同或不同的实体制造。因此，第一复合图形助理界面可以包括多个不同的图形控制元素，用户可以通过其来控制各种不同的连接设备。
方法500还可以包括响应于确定用户已经选择了图形控制元素而使连接设备执行与所选择的图形控制元素相对应的功能的操作504。可以使连接设备经由客户端设备和/或自动助理执行功能。例如，响应于第一复合图形助理界面接收到对图形控制元素的选择，客户端设备和/或自动助理可以将数据传送到连接设备以使连接设备执行该功能。可替代地或附加地，客户端设备可以将数据传达到远程服务器，并且远程服务器可以与连接设备通信以使连接设备执行功能。
方法500可以进一步包括确定用户偏好的操作506，该用户偏好表征在与连接设备相关联的场境中控制另一连接设备的另一功能的用户的历史倾向。用户偏好可以是指示用户在特定场境内控制一个或多个连接设备的特定功能的倾向或偏好的数据。例如，场境可以对应于一个或多个相应设备的一个或多个状态、一天中的时间、用户的手势或凝视、排程的事件、与用户和自动助理之间的先前交互的对应以及/或任何其他可用作根据其建议用户控制的功能的基础的数据。在一些实施方式中，用户偏好或其他数据可以根据它们的流行度或特定用户在特定场境内控制功能的频率来对功能进行排名。为了提供针对功能的排名，可以采用学习模型来接收与执行的功能相关的输入，并输出与应该建议给用户的功能的排名相对应的数据。可以基于表征自动助理与用户和/或用户与一个或多个连接设备之间的交互的数据来训练学习模型。
方法500还可以包括基于确定用户偏好来识别该另一连接设备的该另一功能的操作508。用户偏好数据可以识别该另一功能、多个不同连接设备、与该另一功能相对应的一个或多个参数和/或槽值、在特定场境中先前已为该另一功能提供的槽值和/或对执行特定功能可能有用的任何其他数据。
方法500还可以包括基于识别该另一功能来确定用于控制该另一连接设备的该另一功能的另一图形控制元素的操作510。可以从客户端设备和/或自动助理可访问的存储器中选择该另一图形控制元素，并且可以与提供与该另一识别的功能的至少某些对应的元数据相关联。例如，该功能可以与参数相关联，可以接收两个或更多个不同的槽值，而与只能取两个的二进制参数不同。结果，将被选择用于控制图形控制元素的图形控制元素可以是能够提供两个或更多个不同取值的输出的图形控制元素，诸如刻度盘或滚动条。
方法500可以进一步包括使与客户端设备相关联的显示面板利用包括该另一图形控制元素的第二复合图形助理界面代替第一复合图形助理界面的操作512。第二复合图形助理界面可以替换第一复合图形助理界面，以便为用户提供进一步的建议，以控制特定场境内的特定连接设备。在一些实施方式中，第一复合图形助理界面可以对应于由第三方提供的单个连接设备，并且第二复合图形助理界面可以对应于由多个不同第三方提供的多个不同的连接设备。这样，用户不一定需要安装和/或打开各种不同的应用来控制不同的连接设备，而是可以与单个复合图形助理界面进行交互以便于控制各种不同的连接设备。
图6是示例计算机***610的框图。计算机***610通常包括经由总线子***612与许多***设备进行通信的至少一个处理器614。这些***设备可以包括存储子***624，包括例如存储器625和文件存储子***626、用户接口输出设备620、用户接口输入设备622和网络接口子***616。输入和输出设备允许用户与计算机***610交互。网络接口子***616提供到外部网络的接口并且耦合到其它计算机***中的对应接口设备。
用户接口输入设备622可以包括键盘、诸如鼠标、轨迹球、触摸板或图形输入板的指点设备、扫描仪、并入到显示器中的触摸屏、诸如话语辨识***、麦克风的音频输入设备和/或其它类型的输入设备。通常，术语“输入设备”的使用旨在包括用于将信息输入到计算机***610或到通信网络上的所有可能类型的设备和方式。
用户接口输出设备620可以包括显示子***、打印机、传真机或诸如音频输出设备的非视觉显示器。显示子***可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于创建可见图像的某种其它机制。显示子***也可以例如经由音频输出设备提供非视觉显示。通常，术语“输出设备”的使用旨在包括用于从计算机***610向用户或另一机器或计算机***输出信息的所有可能类型的设备和方式。
存储子***624存储提供本文描述的模块中的一些或全部的功能性的程序和数据构造。例如，存储子***624可以包括用于执行方法400、方法410、方法500的所选方面并且/或者实现以下各项中的一个或多个的逻辑：连接设备服务器134、服务器设备112、自动助理118、客户端设备102、第一连接设备132、第二连接设备146、功能识别引擎142、复合界面引擎144、客户端设备204、客户端设备328、助理设备326、和/或本文讨论的任何其它操作或装置。
这些软件模块通常由处理器614单独或与其它处理器相结合地执行。存储子***624中使用的存储器625能够包括许多存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)630和其中存储有固定指令的只读存储器(ROM)632。文件存储子***626能够为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及关联的可移动介质、CD-ROM驱动器、光驱或可移动介质盒。实现某些实现方式的功能性的模块可以由文件存储子***626存储在存储子***624中，或者存储在可由处理器614访问的其它机器中。
总线子***612提供了用于让计算机***610的各个组件和子***按预期彼此通信的机制。尽管总线子***612被示意性地示出为单个总线，但是总线子***的替代实现方式可以使用多个总线。
计算机***610可以是各种类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其它数据处理***或计算设备。由于计算机和网络的不断变化性质，图6中描绘的计算机***610的描述仅旨在作为用于图示一些实现方式的目的的具体示例。计算机***610的许多其它配置可能具有比图6中描绘的计算机***更多或更少的组件。
在本文描述的***收集关于用户的个人信息(或在本文中常常称为“参与者”)或者可以利用个人信息的情形下，可以给用户提供控制程序或特征是否收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前地理位置的信息)或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容的机会。另外，某些数据可以在它被存储或使用之前被以一种或多种方式处理，使得个人可识别信息被去除。例如，可以处理用户的身份，使得对于该用户不能确定个人可识别信息，或者可以在获得地理位置信息的情况下使用户的地理位置一般化(诸如到城市、邮政编码或州级别)，使得不能确定用户的特定地理位置。因此，用户可以控制信息如何关于用户被收集和/或使用。
虽然已在本文中描述并图示若干实现方式，但是可以利用用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个的各种其它手段和/或结构，并且此类变化和/或修改中的每一个均被视为在本文描述的实现方式的范围内。更一般地，本文描述的所有参数、尺寸、材料和配置都意在为示例性的，并且实际的参数、尺寸、材料和/或配置将取决于这些教导被用于的一个或多个具体应用。本领域的技术人员将认识到或能够使用不止例行试验来探知本文描述的具体实现方式的许多等同物。因此，应当理解，前面的实现方式仅作为示例被给出，并且在所附权利要求及其等同物的范围内，可以以不同于具体地描述和要求保护的方式实践实现方式。本公开的实现方式针对本文描述的每个单独的特征、***、物品、材料、套件和/或方法。另外，两个或更多个此类特征、***、物品、材料、套件和/或方法的任何组合在此类特征、***、物品、材料、套件和/或方法不是相互不一致的情况下，被包括在本公开的范围内。

Claims (25)

1.一种由一个或多个处理器实现的方法，所述方法包括：
确定经由客户端设备的自动助理接口检测到的口头话语包括对连接设备执行功能的请求，其中所述连接设备与所述客户端设备链接，并且所述口头话语由用户提供；
响应于接收到所述请求而识别与所接收的请求相对应的功能；
基于识别所述功能来使所述连接设备执行与所接收的请求相对应的所述功能；
由自动助理响应于接收到所述请求，基于所述自动助理可访问的数据来确定用于向所述用户推荐的另一功能，其中所述另一功能与所识别的功能不同并且能够由另一连接设备执行；
基于确定所述另一功能来识别用于控制所述另一连接设备的所述另一功能的图形控制元素；
响应于接收到所述请求而使复合图形助理界面在与所述客户端设备相关联的显示面板处被提供，所述复合图形助理界面包括所识别的图形控制元素；
确定对所述图形控制元素的选择在所述复合图形助理界面处被接收；以及
响应于确定对所述图形控制元素的所述选择被接收而使所述另一连接设备执行所述另一功能。
2.根据权利要求1所述的方法，其中所述数据识别所述另一连接设备的当前状态，并且响应于对所述图形控制元素的所述选择而使所述当前状态改变为不同状态。
3.根据权利要求2所述的方法，其中确定所述另一功能包括：
基于所述数据来确定特定功能至少部分地造成所述另一连接设备的当前状态；和
至少部分地基于所述特定功能与所述另一功能不同来选择用于向所述用户推荐的所述另一功能。
4.根据权利要求3所述的方法，其中确定所述另一功能进一步包括：
确定至少部分地造成所述另一连接设备的当前状态的功能的一个或多个槽值；
识别能够影响所述连接设备的当前状态的一个或多个候选功能的一个或多个参数，
其中至少基于所述特定功能与所述另一功能不同来选择用于向所述用户推荐的所述另一功能包括：根据所述另一功能是否包括与所述特定功能的另一参数不同的参数，从所述一个或多个候选功能中选择所述另一功能。
5.根据前述要求中任一项所述的方法，进一步包括：
确定可讲出命令，所述可讲出命令在被提供给所述自动助理接口时，初始化所述自动助理以使所述另一连接设备的所述另一功能被执行，
其中使所述复合图形助理界面在所述显示面板处被提供包括使所述显示面板示出所述可讲出命令。
6.根据前述权利要求中的任一项所述的方法，其中基于所述自动助理可访问的数据来确定用于向所述用户推荐的另一功能包括：
基于指示一个或多个附加连接设备与所述客户端设备或所述连接设备的关系的存储的设备拓扑来从多个连接设备中识别所述一个或多个附加连接设备；和
识别能够由所述一个或多个附加连接设备执行的一个或多个附加功能，其中所述另一功能从所识别的一个或多个附加功能中确定。
7.根据权利要求6所述的方法，其中所述数据指示基于所述另一功能的先前执行或不执行的所述一个或多个附加连接设备的状态，并且在所述复合图形助理界面处的所述图形控制元素的配置是基于所述一个或多个附加连接设备的所指示的状态。
8.一种由一个或多个处理器实现的方法，所述方法包括：
确定经由客户端设备的自动助理接口检测到的口头话语包括对自动助理执行功能的请求，其中所述口头话语由用户提供；
响应于确定所述请求由所述用户提供而识别与所述用户提供的所述请求相对应的功能；
基于识别所述功能来使所述自动助理执行与由所述用户提供的请求相对应的所述功能；
确定链接到所述客户端设备的第一连接设备的第一当前状态，其中所述连接设备的第一当前状态被第一功能的执行或不执行影响；
确定链接到所述客户端设备的第二连接设备的第二当前状态，其中所述第二连接设备的第二当前状态被第二功能的执行或不执行影响；
确定用于控制所述第一连接设备的第一功能的第一图形控制元素和用于控制所述第二连接设备的第二功能的第二图形控制元素；
基于所述第一连接设备的第一当前状态和所述第二连接设备的第二当前状态来确定所述第一图形控制元素和所述第二图形控制元素中的每个图形控制元素的配置；以及
响应于确定所述请求被接收，使与所述客户端设备相关联的显示面板提供用于控制所述第一连接设备和所述第二连接设备的复合图形助理界面，
其中所述复合图形助理界面包括所述第一图形控制元素和所述第二图形控制元素，所述第一图形控制元素和所述第二图形控制元素根据所确定的每个图形控制元素的配置来布置。
9.根据权利要求8所述的方法，进一步包括：
基于与所述口头话语相关联的话音特性来访问所述用户的简档，其中识别所述第一功能和所述第二功能中的至少一个功能是基于从所述简档中可用的信息。
10.根据权利要求9所述的方法，其中所述简档指示在特定场境内与所述第一连接设备和所述第二连接设备中的至少一个连接设备交互的所述用户的历史倾向。
11.根据权利要求10所述的方法，其中所述特定场境对应于以下中的一个或多个：所述第一连接设备或所述第二连接设备的状态、所述用户的地理位置、时间、事件或一个或多个其他用户的存在。
12.根据前述权利要求中任一项所述的方法，其中确定所述第一连接设备的第一当前状态包括从远程服务器设备请求所述第一当前状态和与所述第一功能相关联的命令数据，其中所述第一功能与由所述自动助理执行的所述功能不同。
13.根据权利要求12所述的方法，进一步包括：
接收对用于控制所述第一功能的所述第一图形控制元素的选择；和
使所述客户端设备根据与所述第一功能相关联的所述命令数据与所述第一连接设备交互。
14.一种由一个或多个处理器实现的方法，所述方法包括：
确定用户已经提供对自动助理执行功能的请求，其中所述请求在客户端设备的自动助理接口处被接收；
响应于确定所述用户已经提供所述请求而使所述自动助理执行与所述请求相对应的所述功能；
响应于确定所述用户已经提供所述请求而确定用户偏好，所述用户偏好表征在与由所述自动助理执行的所述功能相关联的场境中控制连接设备的另一功能的所述用户的历史倾向，其中所述连接设备被链接到所述客户端设备；
基于确定所述用户偏好来识别所述连接设备和所述连接设备的所述另一功能；
基于识别所述连接设备，确定所述连接设备的当前状态，其中所述当前状态被所述另一功能的执行或不执行影响；
基于识别所述另一功能和所述连接设备的当前状态来确定用于控制所述连接设备的所述另一功能的图形控制元素，其中所述图形控制元素指示所述图形控制元素的能力以使所述另一功能被所述连接设备执行，从而导致所述连接设备的当前状态改变为不同状态；以及
响应于确定所述用户已经提供所述请求，使与所述客户端设备相关联的显示面板提供包括所述图形控制元素的复合图形助理界面。
15.根据权利要求14所述的方法，进一步包括：
基于所述用户偏好来确定与所述连接设备中的单独的连接设备相关联的可选建议元素，其中使所述显示面板提供所述复合图形助理界面包括使所述复合图形助理界面包括所述可选建议元素。
16.根据权利要求15所述的方法，进一步包括：
确定对所述可选建议元素的选择在所述复合图形助理界面处被接收；和
使一个或多个图形控制元素被呈现在所述显示面板上，以控制所述单独的连接设备的一个或多个功能。
17.根据权利要求15所述的方法，进一步包括：
确定可讲出命令，所述可讲出命令在所述客户端设备的所述自动助理接口处被接收时，调用所述自动助理以使所述单独的连接设备执行所述单独的连接设备的所述一个或多个功能；
其中使与所述客户端设备相关联的所述显示面板提供所述复合图形助理界面包括使所述复合图形助理界面包括所述可讲出命令的自然语言表示。
18.根据权利要求15所述的方法，进一步包括：
响应于使所述连接设备执行所述功能来确定所述连接设备的结果状态，其中所述结果状态被所述功能的执行影响，
其中使与所述客户端设备相关联的所述显示面板提供所述复合图形助理界面包括使所述复合图形助理界面包括指示所述连接设备的结果状态的图形界面元素。
19.根据前述权利要求中任一项所述的方法，其中所述用户偏好表征至少基于所述用户与所述自动助理之间的先前交互的控制所述另一功能的所述用户的历史倾向。
20.根据权利要求19所述的方法，其中，所述先前交互与在所述用户选择所述图形控制元素之前的所述用户与所述自动助理之间的对话会话相对应，其中在所述对话会话期间，所述用户提供请求以使所述连接设备执行所述另一功能。
21.一种由一个或多个处理器实现的方法，所述方法包括：
确定用户已经提供对自动助理执行功能的请求，其中所述请求在客户端设备的自动助理接口处被接收；
响应于确定所述用户已经提供所述请求而使所述自动助理执行与所述请求相对应的所述功能；
响应于确定所述用户已经提供所述请求而确定用户偏好，所述用户偏好表征在与所述自动助理执行的所述功能相关联的场境中控制连接设备的另一功能的所述用户的历史倾向，其中所述连接设备被链接到所述客户端设备；
基于确定所述用户偏好来识别所述连接设备和所述连接设备的期望状态；
基于识别所述连接设备来确定所述连接设备的当前状态，其中所述当前状态被所述另一功能的执行或不执行影响；
在所述期望状态与所述连接设备的当前状态不同时：
基于识别所述另一功能和所述连接设备的当前状态来确定用于控制所述连接设备的所述另一功能的图形控制元素，其中所述图形控制元素指示所述图形控制元素的能力以使所述另一功能被所述连接设备执行，从而导致所述连接设备的当前状态改变为所述期望状态；以及
响应于确定所述用户已经提供所述请求而使与所述客户端设备相关联的显示面板提供包括所述图形控制元素的复合图形助理界面。
22.根据权利要求21所述的方法，进一步包括：
当所述期望状态与所述连接设备的当前状态相同时：
响应于确定所述用户已经提供所述请求而使与所述客户端设备相关联的显示面板提供特定的复合图形助理界面，所述特定的复合图形助理界面省略用于控制所述连接设备的所述另一功能的特定的图形控制元素。
23.一种包括指令的计算机程序产品，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行根据前述权利要求中任一项所述的方法。
24.一种包括指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行根据权利要求1至21中的任一项所述的方法。
25.一种***，包括一个或多个处理器，所述一个或多个处理器用于执行根据权利要求1至21中的任一项所述的方法。
CN201980039852.2A 2018-05-07 2019-02-01 提供用于控制各种连接设备的复合图形助理界面 Pending CN112313924A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862668131P 2018-05-07 2018-05-07
US62/668,131 2018-05-07
PCT/US2019/016371 WO2019216964A1 (en) 2018-05-07 2019-02-01 Providing composite graphical assistant interfaces for controlling various connected devices

Publications (1)

Publication Number Publication Date
CN112313924A true CN112313924A (zh) 2021-02-02

Family

ID=65576667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039852.2A Pending CN112313924A (zh) 2018-05-07 2019-02-01 提供用于控制各种连接设备的复合图形助理界面

Country Status (6)

Country Link
US (5) US11256390B2 (zh)
EP (2) EP3783867A1 (zh)
JP (2) JP7346455B2 (zh)
KR (2) KR102520069B1 (zh)
CN (1) CN112313924A (zh)
WO (1) WO2019216964A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9207835B1 (en) 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
CN112313924A (zh) 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
US11238353B2 (en) * 2018-05-08 2022-02-01 International Business Machines Corporation Cognitive engine for multiple internet of things devices
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JPWO2020145071A1 (ja) * 2019-01-07 2021-11-18 ソニーグループ株式会社 情報処理装置および情報処理方法
DK201970533A1 (en) 2019-05-31 2021-02-15 Apple Inc Methods and user interfaces for sharing audio
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
KR20220027295A (ko) 2019-05-31 2022-03-07 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
KR20210072471A (ko) * 2019-12-09 2021-06-17 현대자동차주식회사 음성 명령 인식 장치 및 그 방법
US10644789B1 (en) * 2019-12-12 2020-05-05 Cabin Management Solutions, Llc. Vehicle communication system and method
US10644786B1 (en) * 2019-12-12 2020-05-05 Cabin Management Solutions, Llc. Plug-and-play vehicle communication system and method
KR20210076775A (ko) * 2019-12-16 2021-06-24 삼성전자주식회사 사용자 맞춤형 매뉴얼을 지원하기 위한 전자 장치
KR20210079061A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 정보 처리 방법 및 정보 처리 장치
EP4107722A1 (en) * 2020-02-17 2022-12-28 Cerence Operating Company Coordinating electronic personal assistants
US11513667B2 (en) * 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
JP7121780B2 (ja) * 2020-05-11 2022-08-18 アップル インコーポレイテッド 音声メッセージのためのユーザインタフェース
WO2021247070A1 (en) * 2020-06-02 2021-12-09 Google Llc Automated assistant control of external applications lacking automated assistant application programming interface functionality
US11556707B2 (en) 2020-06-18 2023-01-17 Google Llc Fulfillment of actionable requests ahead of a user selecting a particular autocomplete suggestion for completing a current user input
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
KR20220119219A (ko) * 2021-02-19 2022-08-29 삼성전자주식회사 온디바이스 인공지능 서비스를 제공하는 전자 장치 및 방법
US11115353B1 (en) * 2021-03-09 2021-09-07 Drift.com, Inc. Conversational bot interaction with utterance ranking
US11188925B1 (en) * 2021-03-30 2021-11-30 Honda Motor Co., Ltd. Method and system for automated reconfiguration of user interface based on product lifecycle
US11984112B2 (en) * 2021-04-29 2024-05-14 Rovi Guides, Inc. Systems and methods to alter voice interactions
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US20230025709A1 (en) * 2021-07-21 2023-01-26 Google Llc Transferring dialog data from an initially invoked automated assistant to a subsequently invoked automated assistant
JP2024505794A (ja) * 2021-07-28 2024-02-08 グーグル エルエルシー ユーザが音声発話、または音声発話のシーケンスを反復的に与えるときの、自動アシスタントによるグラフィカルユーザインターフェース要素の動的適合
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
US11930270B2 (en) 2021-10-29 2024-03-12 Snap Inc. Identifying a video camera for an object
US11550702B1 (en) 2021-11-04 2023-01-10 T-Mobile Usa, Inc. Ensuring that computer programs are accessible to users with disabilities, such as for use with mobile phones
US20240077934A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Virtual ar interfaces for controlling iot devices using mobile device orientation sensors

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0562995A2 (en) * 1992-03-23 1993-09-29 International Business Machines Corporation Graphical end-user interface for intelligent assistants
US20050097478A1 (en) * 2003-11-03 2005-05-05 Openpeak Inc. User interface for multi-device control
US20130139089A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Method and system for providing user interface for device control
US20140167931A1 (en) * 2012-12-18 2014-06-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling a home device remotely in a home network system
US20140218372A1 (en) * 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
US20140317502A1 (en) * 2013-04-18 2014-10-23 Next It Corporation Virtual assistant focused user interfaces
US20160154856A1 (en) * 2014-10-31 2016-06-02 Thomson Reuters Global Resources Digital communications interface and graphical user interface
CN106462617A (zh) * 2014-06-30 2017-02-22 苹果公司 用于电视机用户交互的智能自动化助理
US20170063611A1 (en) * 2015-08-28 2017-03-02 Stringify Inc. User Configuration Mechanism for Internet-of-Things (IOT)

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140098247A1 (en) * 1999-06-04 2014-04-10 Ip Holdings, Inc. Home Automation And Smart Home Control Using Mobile Devices And Wireless Enabled Electrical Switches
JP3800626B2 (ja) 2003-01-30 2006-07-26 ソニー株式会社 制御装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
BRPI0611726A2 (pt) * 2005-06-09 2010-11-09 Whirlpool Co aparelho para realizar um ciclo de operação útil em um artigo fìsico
WO2007133716A2 (en) 2006-05-11 2007-11-22 Cerebode, Inc. Multimodal communication and command control systems and related methods
US20090027222A1 (en) 2007-07-23 2009-01-29 Sony Ericsson Mobile Communications Ab Providing services to a mobile device in a personal network
JP5154363B2 (ja) 2008-10-24 2013-02-27 クラリオン株式会社 車室内音声対話装置
US20100122215A1 (en) 2008-11-11 2010-05-13 Qwebl, Inc. Control interface for home automation system
US8527278B2 (en) * 2009-06-29 2013-09-03 Abraham Ben David Intelligent home automation
US20120172027A1 (en) * 2011-01-03 2012-07-05 Mani Partheesh Use of geofences for location-based activation and control of services
KR101958902B1 (ko) 2011-09-30 2019-07-03 삼성전자주식회사 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
US8793136B2 (en) * 2012-02-17 2014-07-29 Lg Electronics Inc. Method and apparatus for smart voice recognition
US8498572B1 (en) 2012-08-24 2013-07-30 Google Inc. Home automation device pairing by NFC-enabled portable device
US9230560B2 (en) 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
KR102058918B1 (ko) 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US9998969B2 (en) 2013-03-15 2018-06-12 Facebook, Inc. Portable platform for networked computing
US10185934B2 (en) * 2013-07-09 2019-01-22 Qualcomm Incorporated Real-time context aware recommendation engine based on a user internet of things environment
US9372922B2 (en) * 2013-07-11 2016-06-21 Neura, Inc. Data consolidation mechanisms for internet of things integration platform
US10181960B2 (en) * 2013-09-05 2019-01-15 Samsung Electronics Co., Ltd. Method and apparatus for configuring and recommending device action using user context
US10025463B2 (en) 2013-09-18 2018-07-17 Vivint, Inc. Systems and methods for home automation scene control
US10768784B2 (en) 2013-12-06 2020-09-08 Vivint, Inc. Systems and methods for rules-based automations and notifications
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
KR102184271B1 (ko) 2013-12-12 2020-11-30 엘지전자 주식회사 디바이스 페어링 시스템 및 방법, 이동 단말기
KR101560470B1 (ko) * 2014-01-07 2015-10-16 한국과학기술원 스마트 연결 장치 및 스마트 연결 장치를 활용하여 ＩｏＴ 장치를 제어하기 위한 방법
US10637682B2 (en) * 2014-02-11 2020-04-28 Oracle International Corporation Smart home learning system including user behavior
US9489171B2 (en) * 2014-03-04 2016-11-08 Microsoft Technology Licensing, Llc Voice-command suggestions based on user identity
US9952571B2 (en) * 2014-03-24 2018-04-24 Xiaomi Inc. Method and terminal device for controlling smart home appliance
US10158536B2 (en) * 2014-05-01 2018-12-18 Belkin International Inc. Systems and methods for interaction with an IoT device
EP2950510B1 (en) * 2014-05-28 2018-07-11 Samsung Electronics Co., Ltd Apparatus and method for controlling internet of things devices
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US20150365480A1 (en) 2014-06-16 2015-12-17 Spidermonkey, LLC Methods and systems for communicating with electronic devices
US9299029B1 (en) 2014-12-10 2016-03-29 Belkin International Inc. Network device predictive modeling
US9849588B2 (en) * 2014-09-17 2017-12-26 Brain Corporation Apparatus and methods for remotely controlling robotic devices
US20160099842A1 (en) * 2014-10-01 2016-04-07 Bank Of America Corporation Intersystem automated-dialog agent
KR101943430B1 (ko) * 2014-11-05 2019-01-29 삼성전자주식회사 사용자 장치, 사용자 장치의 구동방법, 서비스제공장치 및 서비스제공장치의 구동방법
US10324934B2 (en) * 2014-11-12 2019-06-18 Samsung Electronics Co., Ltd. Method and device for providing content recommending information to devices
JP2016111674A (ja) 2014-11-28 2016-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 遠隔操作方法、及び遠隔操作システム
US10114351B2 (en) 2015-03-05 2018-10-30 Google Llc Smart-home automation system that suggests or autmatically implements selected household policies based on sensed observations
US9959728B2 (en) * 2015-06-04 2018-05-01 International Business Machines Corporation Managing a smart appliance with a mobile device
KR20160143136A (ko) * 2015-06-04 2016-12-14 엘지전자 주식회사 위치 기반 알림 시스템 및 그것의 제어방법
US10788800B2 (en) 2015-06-05 2020-09-29 Apple Inc. Data-driven context determination
US10274911B2 (en) * 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model
KR102428375B1 (ko) * 2015-07-24 2022-08-02 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US20170052514A1 (en) * 2015-08-17 2017-02-23 Ton Duc Thang University Method and computer software program for a smart home system
CN105182777A (zh) * 2015-09-18 2015-12-23 小米科技有限责任公司 设备控制方法及装置
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
CN106856488B (zh) * 2015-12-08 2020-03-31 阿里巴巴集团控股有限公司 一种场景感知及提供服务的方法及装置
CN106856490A (zh) * 2015-12-08 2017-06-16 阿里巴巴集团控股有限公司 一种基于场景提供服务的方法及设备
KR102487902B1 (ko) * 2015-12-23 2023-01-12 삼성전자주식회사 전자기기를 제어하는 방법 및 장치
WO2017119663A1 (en) * 2016-01-06 2017-07-13 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10594796B2 (en) * 2016-02-09 2020-03-17 Qualcomm Incorporated Extending an IoT control interface from an IoT controller to a user device as part of a video media stream of a wireless media presentation session
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
DK179309B1 (en) * 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
DK179594B1 (en) * 2016-06-12 2019-02-25 Apple Inc. USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES
US10409551B1 (en) 2016-06-21 2019-09-10 Amazon Technologies, Inc. Voice-driven monitoring of resources in a service provider network
US10134399B2 (en) * 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US20190229943A1 (en) * 2016-08-22 2019-07-25 Pcms Holdings, Inc. System and method for crowdsourcing generalized smart home automation scenes
US11146933B2 (en) * 2016-09-20 2021-10-12 Samsung Electronics Co., Ltd. Activity driven smart home system
US10764153B2 (en) * 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers
US10469281B2 (en) * 2016-09-24 2019-11-05 Apple Inc. Generating suggestions for scenes and triggers by resident device
GB2562695A (en) * 2017-01-06 2018-11-28 Centrica Connected Home Ltd Environmental control method and apparatus
US9747083B1 (en) 2017-01-23 2017-08-29 Essential Products, Inc. Home device application programming interface
WO2018137868A1 (en) * 2017-01-27 2018-08-02 Philips Lighting Holding B.V. Recommendation engine for a lighting system
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
KR101949497B1 (ko) * 2017-05-02 2019-02-18 네이버 주식회사 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
KR101934954B1 (ko) * 2017-05-24 2019-01-03 네이버 주식회사 음성요청에 대응하는 정보 전달 향상을 위한 출력
US20180349447A1 (en) 2017-06-02 2018-12-06 Apple Inc. Methods and systems for customizing suggestions using user-specific information
CN107562023A (zh) * 2017-08-01 2018-01-09 上海电机学院 基于用户行为习惯的智能家居管控***
US20190065975A1 (en) * 2017-08-31 2019-02-28 Microsoft Technology Licensing, Llc Contextual skills discovery
US10762900B2 (en) * 2018-03-07 2020-09-01 Microsoft Technology Licensing, Llc Identification and processing of commands by digital assistants in group device environments
US20190281878A1 (en) * 2018-03-19 2019-09-19 Midea Group Co., Ltd. Method and system for providing action recommendations associated with kitchen appliances
CN112313924A (zh) 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
US11133953B2 (en) * 2018-05-11 2021-09-28 Catherine Lois Shive Systems and methods for home automation control

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0562995A2 (en) * 1992-03-23 1993-09-29 International Business Machines Corporation Graphical end-user interface for intelligent assistants
US5727174A (en) * 1992-03-23 1998-03-10 International Business Machines Corporation Graphical end-user interface for intelligent assistants
US20050097478A1 (en) * 2003-11-03 2005-05-05 Openpeak Inc. User interface for multi-device control
US20130139089A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Method and system for providing user interface for device control
US20140167931A1 (en) * 2012-12-18 2014-06-19 Samsung Electronics Co., Ltd. Method and apparatus for controlling a home device remotely in a home network system
US20140218372A1 (en) * 2013-02-05 2014-08-07 Apple Inc. Intelligent digital assistant in a desktop environment
US20140317502A1 (en) * 2013-04-18 2014-10-23 Next It Corporation Virtual assistant focused user interfaces
CN106462617A (zh) * 2014-06-30 2017-02-22 苹果公司 用于电视机用户交互的智能自动化助理
US20160154856A1 (en) * 2014-10-31 2016-06-02 Thomson Reuters Global Resources Digital communications interface and graphical user interface
US20170063611A1 (en) * 2015-08-28 2017-03-02 Stringify Inc. User Configuration Mechanism for Internet-of-Things (IOT)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
楼海华;: "基于语音控制的智能人机交互助手的关键技术研究", 计算机产品与流通, no. 12, 15 December 2017 (2017-12-15) *

Also Published As

Publication number Publication date
EP3583770A1 (en) 2019-12-25
KR20210005254A (ko) 2021-01-13
JP7346455B2 (ja) 2023-09-19
JP2023168346A (ja) 2023-11-24
US20200342861A1 (en) 2020-10-29
US20190361575A1 (en) 2019-11-28
EP3583770B1 (en) 2020-10-28
KR102520069B1 (ko) 2023-04-10
US11256390B2 (en) 2022-02-22
EP3783867A1 (en) 2021-02-24
JP2021523465A (ja) 2021-09-02
WO2019216964A1 (en) 2019-11-14
US20220187960A1 (en) 2022-06-16
US11693533B2 (en) 2023-07-04
KR102671741B1 (ko) 2024-06-04
US11579749B2 (en) 2023-02-14
KR20230048573A (ko) 2023-04-11
US20230297214A1 (en) 2023-09-21
US20230185429A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
JP7346455B2 (ja) 様々な接続デバイスを制御するための複合グラフィカルアシスタントインターフェースの提供
KR102621636B1 (ko) 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송
US11749278B2 (en) Recommending automated assistant action for inclusion in automated assistant routine
JP2023529279A (ja) 現在のユーザ入力を完了するための特定のオートコンプリート提案をユーザが選択する前に、実行可能な要求を履行すること
US20220156040A1 (en) Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices
CN112997143B (zh) 提供用于控制连接设备的复合图形助理界面的方法、***和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination