CN107615377B - 用于家庭自动化***的语音控制的基于历史的关键短语建议 - Google Patents

用于家庭自动化***的语音控制的基于历史的关键短语建议 Download PDF

Info

Publication number
CN107615377B
CN107615377B CN201680024429.1A CN201680024429A CN107615377B CN 107615377 B CN107615377 B CN 107615377B CN 201680024429 A CN201680024429 A CN 201680024429A CN 107615377 B CN107615377 B CN 107615377B
Authority
CN
China
Prior art keywords
home automation
automation system
list
current
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680024429.1A
Other languages
English (en)
Other versions
CN107615377A (zh
Inventor
N.J.齐波罗
R.E.基特森
G.T.卡特西里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Savant Systems Inc
Original Assignee
Savant Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Savant Systems Inc filed Critical Savant Systems Inc
Publication of CN107615377A publication Critical patent/CN107615377A/zh
Application granted granted Critical
Publication of CN107615377B publication Critical patent/CN107615377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2213/00—Indexing scheme relating to selecting arrangements in general and for multiplex systems
    • H04Q2213/13103—Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Alarm Systems (AREA)
  • Machine Translation (AREA)

Abstract

在一个实施例中，提供了用于家庭自动化***的语音控制的基于历史的关键短语建议。主控制器构建历史数据库，其保持事件的历史，每个事件指示被家庭自动化***激活的一个或多个服务、被其激活的一个或多个场景或由其呈现的一个或多个类型的媒体内容。主控制器上的预测过程基于家庭自动化***的当前条件而选择历史数据库的事件的子集以产生预测数据集。遥控装置或移动设备上的语法过程基于预测数据集从语音识别引擎所使用的列表中选择一个或多个意图。每个意图包括与动作配对的关键短语。语音用户接口（UI）过程在遥控装置或移动设备上的语音控制UI中建议来自一个或多个所选意图的关键短语。

Description

用于家庭自动化***的语音控制的基于历史的关键短语建议
技术领域
本公开一般地涉及家庭自动化***，并且更具体地涉及家庭自动化***的语音控制。
背景技术
家庭自动化***在住宅和商业建筑两者中正在变得越来越流行。此类***可以能够控制各种各样的设备、在其之间切换数据以及以其它方式与其进行交互，所述设备包括照明设备、安全设备、音频/视频（A/V）设备、暖通和制冷（HVAC）设备和/或其它类型的设备。传统上，家庭自动化***已经提供了各种类型的以按钮为中心或基于触摸屏的控制。最近，已经存在提供语音控制的尝试。然而，语音控制的各种限制已妨碍了其在家庭自动化***中的广泛采用，使得其与针对以按钮为中心或基于触摸屏的控制的直接替换相比更多地是好奇。
语音控制的一个问题是用户常常不确定要对家庭自动化***说什么以产生期望的结果。许多语音识别***被配置成仅理解每个被映射到控制动作的有限数目的关键短语（关键短语的词典）。为了触发动作，用户必须说出词典中的关键短语中的一个。用户可以在最初经由用户手册、教程或其它种类的培训材料被教授关键短语。然而，随着时间推移，他们可能忘记用于某些期望动作的关键短语，并且当他们不能促使家庭自动化***以期望方式进行响应时变得沮丧。在尝试解决这个问题时，某些家庭自动化***被配置成提供所有关键短语的按需列表。然而，整个词典的显示常常将用户压垮，将与他们当前的期望有关的信息掩埋在很大程度上与他们当前正在尝试要做的不相关的其它关键短语的列表之中。
因此，存在对用于在家庭自动化***中实现语音控制的改进技术的需要。
发明内容
提供了用以通过在语音控制用户接口（UI）中提供基于历史的关键短语建议来改善家庭自动化***中的语音控制的示例性技术。此类关键短语建议可以向用户提示关于在给定用户的历史使用模式的情况下可能适当的话音输入。关键短语建议可以是有限数目的，从而不会用大量的信息将用户压垮。
在一个示例性实施例中，主控制器上的主活动记录软件可以构建历史数据库，其保持在家庭自动化***中已发生的事件。每个事件可以指示被激活的一个或多个服务、被激活的一个或多个场景、被呈现的一个或多个类型的媒体内容或其它历史信息。家庭自动化***的主控制器上的预测过程可以基于家庭自动化***的当前条件（例如，时间）从历史数据库中选择事件的子集以产生预测数据集。例如，该预测过程可以选择在与当前的周中日相同的周中日、在包含任何周中日的当前日中时的时间窗中或者在包含与当前周中日相同的周中日的当前日中时的时间窗中发生的历史数据库中的事件。遥控装置或移动设备上的语音建议软件可以基于预测数据集从意图列表中选择一个或多个意图，其中每个意图包括与响应于关键短语而在家庭自动化***中执行的动作配对的语音识别引擎所识别的关键短语。语音建议软件可以在遥控装置或移动设备的屏幕上显示语音控制UI，其将来自一个或多个所选意图的关键短语呈现为关键短语建议。响应于此类提示，用户可以说出关键短语。给定从用户输入的此话音，遥控装置或移动设备上的语音识别引擎可以针对意图列表的关键短语比较话音输入以发现匹配的意图，并且触发与该匹配意图相关联的动作。
应理解的是除了在本发明内容中讨论的那些之外，可以实现多种附加的特征和替换实施例。本发明内容仅意图作为给读者的简要介绍，并且未指示或暗示在本文中提到示例涵盖本公开的所有方面或者是本公开的必要或必不可少的方面。
附图说明
以下描述参考示例性实施例的附图，在所述附图中：
图1是可操作用于关于建筑物（structure）而控制设备的家庭自动化***的示例性架构的框图；
图2是示出了可以将家庭自动化***中的历史活动的记录作为事件保持在历史数据库中的示例性主软件（包括主活动记录软件）的框图；
图3是示出了可以在遥控装置或移动设备上执行的示例性应用程序（包括语音识别引擎）的框图；
图4是可以动态地构建的意图的示例性列表的关键短语的示例性列表；
图5是主软件的预测过程和应用程序的示例性语音建议软件的框图；
图6是可以在遥控装置或移动设备上显示的示例性语音控制UI的屏幕快照；以及
图7是可以实现以提供基于历史的关键短语建议的步骤序列的流程图。
具体实施方式
定义
如本文所使用的，术语“家庭自动化***”应被宽泛地解释成包括各种类型的家庭控制、“智能家庭”和/或可以控制建筑物（诸如住宅寓所或商业建筑）内的设备（例如，照明设备、安全设备、A/V设备、HVAC设备、电子门锁和/或其它类型的设备）的设备控制***。家庭自动化***可以控制多种不同类型的设备或仅特定类型的设备（例如，仅照明设备、仅A/V设备等）。
如本文所使用的，术语“移动设备”指代执行通用操作***并适于在设备的人上运输的电子设备。诸如智能电话和平板计算机之类的设备应被视为移动设备。一般地不应将台式计算机、服务器或其它主要固定的计算设备视为移动设备。
如本文所使用的，术语“服务”指的是由家庭自动化***提供的涉及到家庭自动化***的一个或多个设备之间的交互的活动。服务可以但不需要定义适用于活动的状态反馈和命令的列表。
如本文所使用的，术语“场景”指的是在被激活时以预定义方式控制家庭自动化***的一个或多个设备的一组指令。可以但不需要在家庭自动化***的初始配置期间定义场景。
如本文所使用的，术语“媒体内容”指的是记录、广播和/或流式传输音频和/或视频。媒体内容可以包括电缆或***台、流（streaming）或广播无线电台、存储的电影或电视演出、存储的音乐等。
如本文所使用的，术语“意图”指的是能够存储由语音识别引擎识别的关键短语与响应于该关键短语而执行的动作之间的关系的数据结构。
示例性家庭自动化***
图1是可操作用于关于建筑物（例如，住宅寓所或商业建筑）而控制设备的家庭自动化***的示例性架构100的框图。在***的核心处的是被耦合到家中局域网（LAN）（例如，Wi-Fi网络）150的主控制器110。主控制器可以包括硬件部件，诸如处理器、存储器和存储设备，其共同地存储并执行主软件111，该主软件111被配置成监视、控制设备112—122的操作以及提供UI解释、***管理和监视、与云服务180和移动设备160的同步、活动记录、活动预测及其它类型的功能。
主控制器110可以在其存储设备中保持家庭数据库130，其存储配置信息，该配置信息包括家庭自动化***被配置成提供的服务、诸如针对家庭自动化***的用户配置的场景之类的用户内容、与家庭自动化***的用户相关联的媒体内容（例如，喜好）、指示家庭自动化***的当前条件的***状态信息以及其它类型的数据。家庭数据库130可以进一步保持家庭自动化***中的历史活动的记录。家庭数据库的此类部分可以称为历史数据库132。应理解的是在某些替换实施例中，历史数据库132可以是单独数据库而不是家庭数据库130的一部分，并且可以由云服务180保持在主控制器110的存储设备中或者在别处。
家庭自动化***的设备112—122可以包括照明设备112，诸如照明控制器、灯模块、调光器模块、开关、键区、风扇控制器等；安全设备114，诸如家庭监视器/相机、运动传感器、家庭保健传感器、相关控制器等；音频设备116和视频设备118（共同地A/V设备），诸如A/V设备控制器、红外（IR）增强器（blaster）、矩阵开关、媒体服务器、音频放大器、电缆箱等；电子门锁120及其它类型的马达或继电器操作设备；HVAC设备122，诸如恒温器；以及其它类型的设备。
取决于实施方式，家庭自动化***的设备112—122的通信能力可以改变。例如，设备中的至少某些可以包括将使得其能够经由家中LAN 150与主控制器110及其它设备通信的LAN接口两者。同样地，其它设备可以仅具有用于有线或点到点无线通信的端口或收发机（例如，RS-232端口、红外（IR）收发机、继电器控制端口、通用输入/输出（GPIO）端口等）并使用此类端口与主控制器110及其它设备通信。此外，某些设备可以包括LAN接口（例如，Wi-Fi接口），但未被配置成直接地通过家中LAN 150与主控制器110通信，而是替代地首先经由因特网170和第三方基础设施190与云服务180通信。应理解的是虽然在图1中将HVAC设备122示为可以以此方式通信的一个类型的设备的示例，但是其它类型的设备112—122可以替换地使用此通信方法，并且反之亦然。
用户可以使用通过家中LAN 150（例如，经由Wi-Fi）来与主控制器110或者直接地与主控制器110（例如经由IR或射频RF信号）通信的遥控装置140来控制家庭自动化***。遥控装置140可以包括硬件部件，诸如处理器、存储器和存储设备，其存储并执行软件（例如，应用程序（app）），除了其它功能之外，该软件被配置成与主控制器110和云服务180对接、生成并显示家庭自动化控制UI（包括语音控制UI），并且识别用户话音输入（例如，使用语音识别引擎）。除了其它部件之外，遥控装置140还可以包括用于示出家庭自动化控制UI（包括语音控制UI）的显示屏（例如，触摸屏）和用于接收用户话音输入的扩音器。
用户可以进一步使用经由家中LAN 150与主控制器110通信的移动设备160或者使用到因特网170的移动数据连接来控制家庭自动化***。移动设备160可以包括硬件部件，诸如处理器、存储器和存储设备，其存储并执行应用程序162（例如，移动应用程序），除了其它功能之外，该应用程序162被配置成与主控制器110和/或云服务180对接、生成并显示家庭自动化控制UI（包括语音控制UI），并且识别用户话音输入（例如，使用语音识别引擎）。除了其它部件之外，移动设备160还可以包括用于示出家庭自动化控制UI（包括语音控制UI）的显示屏（例如，触摸屏）和用于接收用户话音输入的扩音器。
主控制器110和移动设备160可以经由因特网170与云服务180和主应用程序接口（API）182和移动API 184通信。除了其它功能之外，云服务180可以提供对家庭自动化控制的远程访问、家庭数据库130的持久性备份（将数据存储在配置数据库186中）、到第三方基础设施的接口（经由第三方适配器188）、用户简档和使用跟踪（将数据存储在用户数据库189中）、用于空中更新的机制、主机崩溃报告以及许可管理。
活动记录
图2是示出了可以将家庭自动化***中的历史活动的记录作为事件保持在历史数据库132中的示例性主软件111（包括主活动记录软件200）的框图。软件200可以包括活动过程210，其经由过程间通信（IPC）从其它软件（例如，在主控制器110上）接收关于被激活的服务、被激活的场景、由家庭自动化***呈现的媒体内容等的消息。活动过程210可以将这些消息向前传递至消息路由器过程220。活动过程210可以从消息路由器过程220将对关于家庭自动化***中的活动的请求的响应接收回来。活动过程210可以将这些响应传递到其它软件，诸如预测过程，如下面进一步讨论的。
消息路由器过程220执行多个功能，包括将来自活动过程210的消息变换成事件230、将事件230路由至记录器接口250以及将对请求的响应路由回到活动过程210。事件230是保持描述家庭自动化***中的历史活动的信息的对象，包括被激活的服务、被激活的场景、所呈现的媒体内容的类型等。每个事件230可以包括指示触发事件的用户的用户性质、描述事件的类型的类型性质、将相似类型的事件集合在一起的群组密钥、描述被激活的服务的服务性质（或者如果事件未涉及到服务则为空）、指示事件发生的时间的时间性质（包括周中日和日中时）以及存储附加信息的自变量（argument）性质。
请求240是表示来自客户端过程的用于关于可以从记录器260—270可获得的家庭自动化***中的活动的数据的查询的对象。可以发出请求240的其它客户端过程是预测过程，如下面更详细地讨论的。
除了其它使用之外，记录器接口250可以提供到接受事件230和请求240的记录器过程（诸如馈送过程260和历史过程270）的接口。馈送过程260可以生成活动馈送，其提供家庭自动化***中的事件230的简要历史并将其向前传递至云服务180。历史过程270可以将事件230存储在历史数据库132中，记录包括用户、类型、群组密钥、服务、时间和自变量的性质。
语音控制
如上文所讨论的，家庭自动化***可以是语音控制的，使得响应于话音输入，对应用户接口动作被触发。此类语音控制可以由语音识别引擎实现，该语音识别引擎被配置成识别有限数目的关键短语，其每个与家庭自动化***中的动作相关联（例如，以激活服务、激活场景、呈现媒体内容等）。
图3是示出了可以在遥控装置140或移动设备160上执行的示例性应用程序162（包括语音识别引擎300）的框图。语音识别引擎300可以包括执行多种不同功能的语法过程310。语法过程310的一个功能可以是构建意图列表320（例如，被结构化为意图查找表）。每个意图包括被语音识别引擎识别的与由家庭自动化***响应于关键短语而执行的动作配对的关键短语。动作可以包括控制家庭自动化***控制UI的一个或多个方面的UI动作370和控制家庭自动化***的服务、场景、媒体内容或其它操作的***动作380。可以使用从家庭数据库130获得的数据来动态地构建意图列表320。该数据可以包括配置信息330，诸如家庭自动化***被配置成提供的服务的指示；用户内容340，诸如在家庭自动化***中定义的场景或与用户相关联的媒体内容（例如，喜好）；以及***状态350，诸如活动服务的指示。可以使动态构建适合于当前用户的身份和用户位于其中的建筑物的房间（例如，基于如在特定房间中的遥控装置140或移动设备160的动态确定位置或遥控装置140或移动设备160到特定房间的绑定）。动态构建可以向列表添加与当前配置信息330、用户内容340、***状态350、用户和房间相关的意图，同时省略不适用的意图（例如，用于在房间中当前未配置的服务、用于在房间中未定义的场景、用于并非当前用户的喜好的用户内容、用于除当前***状态之外的操作条件等的意图）。语法过程310可以持续地监视配置信息330、用户内容340、***状态350、用户和房间，并且根据需要重新构建意图列表。为了改善效率，可以仅重新构建受到变化影响的意图列表的那些部分（例如，部分更新）。
语法过程310可以执行的另一功能是确认意图的关键短语以确保其被识别器过程360可识别。其关键短语未被确认的意图可以被从意图列表删除。一旦被确认，语法过程310可以将意图输出到识别器过程360。识别器过程360可以将话音输入（例如，经由遥控装置140或移动设备160的扩音器接收）与意图列表的关键短语进行比较，并且在匹配时触发对应动作。
更进一步地，如下面更详细地讨论的，语法过程310还可以在选择其关键短语将在语音控制UI中被显示为关键短语建议的意图中起作用。
图4是可以动态地构建的意图的示例性列表的关键短语400的示例性列表。可以将意图分类成多个种类，包括服务意图、场景意图、喜好意图、命令意图和导航意图。可以将服务意图确定范围（scope）至房间，包括与影响房间中的服务的动作配对的关键字。可以将服务意图的关键短语格式化为“服务”，其中单独地提供服务的名称（例如，“苹果电视”、“蓝光”、“有线电视（cable）”等）或者作为“观看服务”，其中服务的名称前面是命令“观看”（例如，“观看苹果电视”、“观看蓝光”、“观看有线电视”等）。可以将这些关键短语与激活服务的音频/视频版本的动作相关联。还可以将服务意图的关键短语格式化为“收听服务”，其中服务的名称前面是命令“收听”（例如，“收听苹果电视直播”、“收听CD”、“收听收音机”等）。可以将这些关键短语与激活服务的仅音频版本的动作（如果可用的话）相关联。
场景意图可以包括与对当前用户的场景进行激活、安排或取消安排的动作配对的关键字。可以将场景意图确定范围至当前用户，包括与影响与用户相关联的场景的动作配对的关键字。可以将场景意图的关键短语格式化为“场景”，其中单独地提供场景的名称（例如，“宴会”、“晚安”、“游戏时间”等）。可以将这些关键短语与激活场景的动作相关联。还可以将场景意图的关键短语格式化为“安排场景”，其中场景的名称前面是命令“安排”（例如，“安排宴会”、“安排晚安”、“安排游戏时间”等）。可以将这些关键短语与激活场景的安排（如果其已被配置的话）的动作相关联。此外，还可以将场景意图的关键短语格式化为“取消安排场景”，其中场景的名称前面是命令“取消安排”。可以将这些关键短语与将场景的安排（如果有效的话）解激活的动作相关联。
喜好意图可以包括与呈现由当前用户选择的一个或多个类型的媒体内容的动作配对的关键字。可以将喜好意图确定范围至当前用户和房间两者，包括与影响存在于房间中且与用户相关联的媒体内容的动作配对的关键字。喜好意图的动作可以首先激活服务，并且然后设定频道或选择与该服务一起使用的媒体文件或流。可以将喜好意图的关键短语格式化为“服务”，其中单独地提供服务的名称（例如，“ABC”、“CBS”、“CNN”等）或者“观看服务”，其中服务的名称前面是命令“观看”（例如，“观看ABC”、“观看CBS”、“观看CNN”等）。可以将这些关键短语与激活被设定到对应频道（或使用对应媒体文件或流）的服务的音频/视频版本的动作相关联。还可以将喜好意图的关键短语格式化为“收听服务”，其中服务的名称前面是命令“收听”。可以将这些关键短语与激活被设定到对应频道（或使用对应媒体文件或流）的服务的仅音频版本（如果可用的话）的动作相关联。
命令意图可以包括与发送出可与家庭自动化***的当前状态（即上下文）有关的单个命令的动作配对的关键字。可以将命令意图确定范围至房间。命令意图的关键短语可以是来自预定义命令列表，例如包括与增加或降低房间中的光水平的动作配对的关键短语（诸如“更亮”或“更暗”）或者例如包括与降低或增加房间中的温度的动作配对的关键短语（诸如“我热”或“我冷”）。
导航意图可以包括与在家庭自动化控制UI中提供导航快捷方式（shortcut）的动作配对的关键字。导航意图在范围方面可以改变，某些是全局的（global），而其它的取决于有效（active）服务或房间。示例性导航意图可以包括与要切换至家庭自动化控制UI中的当前有效服务（如果可用的话）的键区屏幕的动作配对的关键短语“键区”。另一示例性导航意图可以包括与要切换至家庭自动化控制UI中的场景捕捉屏幕的动作配对的关键短语“捕捉”。
应理解的是可以在家庭自动化***中提供各种各样的其它类型的意图。
基于历史的关键短语建议
可以利用历史数据库132和意图列表320来产生在给定用户的历史使用模式的情况下可能对用户有用的关键短语建议。这些基于历史的关键短语建议可以在遥控装置140或移动设备160上的语音控制UI中显示以向用户提示关于可以产生期望结果的话音输入。
图5是主软件111的预测过程510和应用程序162的示例性语音建议软件500的框图。最初，预测过程510可以向活动过程210发出一个或多个请求以确定（基于历史数据库132）当家庭自动化***处于与其当前条件类似的条件中时的各种类型的事件的频率。此类相似性可以是基于时间（例如，日中时和周中日两者），使得请求寻求在与当前周中日相同的周中日、在包括任何周中日的当前日中时的时间窗中、在包括相同周中日的当前日中时的时间窗中或者基于某些其它时间相关准则的事件的频率。预测过程510可以对响应于该请求返回的结果应用评分。该评分可以是基于频率以及在选择事件中使用的时间窗的长度，其中较短的时间窗引起比较长时间窗更高的分数。此外，可以基于事件的类型来调整评分，其中指示更特定用户动作的事件类型接收比指示更不特定的用户动作的事件更高的分数。然后可以将评分结果作为预测数据集提供到遥控装置140或移动设备160上的语音建议软件500。
语音建议软件500可以包括用来与主控制器110（其将预测数据集传递至建议过程530）对接的通信API 520。建议过程530获取预测数据集并将其处理成对语法过程310有用的形式，例如选择预定数目的最频繁事件。此类处理可以将预测数据集变换成可以容易地与来自意图列表320的意图相关联的形式。已处理的预测数据集和意图列表320被提供到语法过程310，其将来自预测数据集的事件与来自列表320的意图相关联，以选择意图。来自此类所选意图的至少关键短语然后被提供到语音U过程540。语音UI过程540在遥控装置140或移动设备160的显示屏上将所选意图的关键短语显示为语音控制UI中的关键短语建议。
图6是可以在遥控装置140或移动设备160上显示的示例性语音控制UI 600的屏幕快照。可以与到用户的用以使其试图作为话音输入的提示相结合地在列表中显示关键短语建议610。在某些实施方式中，可以在遥控装置140或移动设备160的触摸屏上显示语音控制UI 600，并且关键短语建议还可以充当可选择按钮。在按钮上的触摸可以被视为等价于说出关键短语，并且触发意图的对应动作。
概述和结论
图7是可以实现以提供基于历史的关键短语建议的步骤序列的流程图。步骤序列700提供上文所讨论的各种操作的高级概述，但省略了某些细节以更好地举例说明总体操作流程。在步骤710处，主控制器110上的主活动记录软件200（具体地，与活动过程210和消息路由器过程200一起工作的历史记录器270）可以构建保持已发生的事件的历史数据库132。每个事件可以例如指示被激活的一个或多个服务、被激活的一个或多个场景或所呈现的一个或多个类型的媒体内容。在步骤720处，主控制器110上的预测过程510（与活动过程210一起工作）可以基于家庭自动化***的当前条件（例如，时间）来选择历史数据库132的事件的子集以产生预测数据集。在步骤730处，遥控装置140或移动设备160上的语音建议软件500（具体地，建议过程530和语法过程310）基于预测数据集可以从意图列表中选择一个或多个意图，其中每个意图包括与响应于关键短语而执行的动作配对的语音识别引擎300所识别的关键短语。在步骤740处，语音建议软件500（具体地，语音UI过程540）可以在遥控装置140或移动设备160的显示屏上显示语音控制UI 600，其将来自一个或多个所选意图的关键短语呈现为关键短语建议610。最后，在步骤750处，响应于来自用户的话音输入，遥控装置140或移动设备160上的语音识别引擎300（具体地，识别器过程360）可以针对意图列表的关键短语比较话音输入以找到匹配意图，并触发与匹配意图相关联的动作。
应理解的是可以对上文所讨论的步骤序列和上文提供的公开的其它部分进行各种修改和改变。虽然上文提供的实施例涉及到包括多种不同类型的设备（诸如照明设备、安全设备、A/V设备、电子门锁、HVAC设备等）的家庭自动化***，但应记住的是本技术可以适于与更有限类型的家庭自动化***一起使用。例如，可以将所述技术与仅提供照明控制的家庭自动化***（即，照明控制***）、仅提供A/V控制的家庭自动化***（即，A/V控制***）等一起使用。
此外，虽然上文提供的公开暗示各种软件过程可以在特定设备上（诸如在主控制器110、遥控装置140或移动设备160等上）执行，但是应理解的是可以在不同的硬件设备上执行软件过程，包括在作为云服务180的一部分的基于云的硬件上。
另外，虽然上文描述了基于历史的关键短语建议可以是基于已在家庭自动化***本身中发生的事件的历史，但应理解的是还可以考虑已在其它家庭自动化***中发生的事件。例如，云服务180可以将来自多个家庭自动化***的事件聚合，并且可以对此组合事件集应用预测算法以形成关键短语建议。通过考虑较大的用户基础，在单个家庭自动化***的情况下可能不可辨别的各种使用模式可以变成统计上显著的。
此外，应理解的是可以用硬件来实现在上文建议成用软件实现的功能中的至少某些。一般而言可以用软件、硬件或其各种组合来实现功能。软件实施方式可以包括存储在非临时电子设备可读介质（例如，非临时计算机可读介质）（诸如易失性或持久性存储器、硬盘、紧凑式磁盘（CD）或其它有形介质）中的电子设备可执行指令（例如，计算机可执行指令）。硬件实施方式可包括逻辑电路、专用集成电路和/或其它类型的硬件部件。此外，组合的软件/硬件实施方式可以包括存储在非临时电子设备可读介质中的电子设备可执行指令以及一个或多个硬件部件（例如，处理器、存储器等）两者。最重要的是，应理解上述实施例意图仅仅作为示例来被理解。

Claims (22)

1.一种用于提供用于家庭自动化***的语音控制的基于历史的关键短语建议的方法，包括：
在存储设备上构建保持在家庭自动化***中已发生的事件的历史数据库，每个事件与时间相关联并且指示被家庭自动化***激活的一个或多个服务、被其激活的一个或多个场景或由其呈现的一个或多个类型的媒体内容；
选择历史数据库的事件的子集，其表示当家庭自动化***处于与家庭自动化***的当前条件类似的条件中时发生的事件，所述选择基于每个事件和相关联的时间与家庭自动化***的当前条件和当前时间的比较，所述选择产生预测数据集；
基于预测数据集，从意图列表中选择一个或多个意图，其中每个意图包括与响应于关键短语而执行的动作配对的语音识别引擎所识别的关键短语；以及
在家庭自动化***的遥控装置或移动设备上的用户接口中向当前用户显示来自一个或多个所选意图的一个或多个关键短语作为一个或多个关键短语建议。
2.根据权利要求1所述的方法，其中所述当前时间包括当前日中时和当前周中日，并且所述比较确定在与当前的周中日相同的周中日、在包括任何周中日的当前日中时的时间窗中或者在包括与当前周中日相同的周中日的当前日中时的时间窗中发生的历史数据库中的事件。
3.根据权利要求1所述的方法，其中所述预测数据集是被评分预测数据集，并且所述选择还包括确定不同类型的事件的频率并至少部分地基于该频率对不同类型的事件评分。
4.根据权利要求3所述的方法，其中所述选择至少部分地基于每个事件的时间与包括当前时间的时间窗的比较，并且所述评分是基于时间窗的长度，其中较短的时间窗引起比较长时间窗更高的分数。
5.根据权利要求3所述的方法，其中基于事件的类型来调整所述评分，其中指示更特定用户动作的事件类型接收比指示更不特定的用户动作的事件更高的分数。
6.根据权利要求1所述的方法，还包括：
基于用于家庭自动化***的配置信息、在家庭自动化***中定义的用户内容或家庭自动化***的***状态中的至少一个来动态地生成意图列表。
7.根据权利要求1所述的方法，还包括：
基于当前用户或正被控制的房间来动态地生成意图列表。
8.根据权利要求1所述的方法，还包括：
将历史数据库存储在通过网络与遥控装置或移动设备通信的主控制器上。
9.根据权利要求1所述的方法，其中意图列表包括一个或多个服务意图，其动作在被执行时激活房间内的一个或多个服务。
10.根据权利要求1所述的方法，其中意图列表包括一个或多个场景意图，其动作在被执行时激活一个或多个场景。
11.根据权利要求1所述的方法，其中意图列表包括一个或多个喜好意图，其动作在被执行时呈现与当前用户相关联的一个或多个类型的媒体内容。
12.根据权利要求1所述的方法，还包括：
在语音识别引擎处从遥控装置或移动设备的扩音器接收话音输入；
由语音识别引擎针对意图列表的一个或多个关键短语而比较所述话音输入以找到匹配意图；以及
触发与匹配意图相关联的动作。
13.根据权利要求12所述的方法，其中所述动作是在家庭自动化***中激活一个或多个服务、激活一个或多个场景或呈现一个或多个类型的媒体内容的***动作。
14.根据权利要求12所述的方法，其中所述动作是控制家庭自动化***控制UI的一个或多个方面的用户接口（UI）动作。
15.一种提供用于语音控制的基于历史的关键短语建议的家庭自动化***，包括：
主控制器，其被耦合到并被配置成控制建筑物内的一个或多个音频/视频（A/V）设备、照明设备、暖通和制冷（HVAC）设备或安全设备以提供家庭自动化，所述主控制器包括：
主活动记录软件，其构建历史数据库，所述历史数据库保持已在建筑物中发生的事件，每个事件与时间相关联并且指示被激活的一个或多个服务、被激活的一个或多个场景或者被呈现的一个或多个类型的媒体内容，和
预测过程，被配置成选择历史数据库的事件的子集，其表示当家庭自动化***处于与家庭自动化***的当前条件类似的条件中时发生的事件，所述选择基于每个事件和相关联的时间与家庭自动化***的当前条件和当前时间的比较，所述选择产生预测数据集；以及
遥控装置或移动设备，其通过网络与主控制器通信，所述遥控装置或移动设备包括：
语音识别引擎，以及
语音建议软件，其被配置成基于预测数据集从意图列表中选择一个或多个意图，其中每个意图包括与响应于关键短语而执行的动作配对的语音识别引擎所识别的关键短语，并且在遥控装置或移动设备的屏幕上向家庭自动化***的当前用户显示来自一个或多个所选意图的一个或多个关键短语作为关键短语建议。
16.根据权利要求15所述的家庭自动化***，其中所述语音建议软件包括语法过程，其被配置成基于用于家庭自动化***的配置信息、在家庭自动化***中定义的用户内容或家庭自动化***的***状态中的至少一个来动态地生成意图列表。
17.根据权利要求15所述的家庭自动化***，其中所述语音建议软件包括语法过程，其被配置成基于当前用户或正被控制的房间而动态地生成意图列表。
18.根据权利要求15所述的家庭自动化***，其中所述语音识别引擎包括识别器过程，其被配置成从遥控装置或移动设备的扩音器接收话音输入，针对意图列表的一个或多个关键短语比较该话音输入以找到匹配意图，并且触发与匹配意图相关联的动作。
19.一种存储软件的非临时电子设备可读介质，所述软件当在一个或多个处理器上执行时可操作用于：
接收包括在与当前时间相关联的先前时间在家庭自动化***中发生的事件的预测数据集，每个事件指示被家庭自动化***激活的一个或多个服务、被其激活的一个或多个场景或由其呈现的一个或多个类型的媒体内容；
基于该预测数据集，从家庭自动化***的语音识别引擎所使用的关键短语列表中选择一个或多个关键短语；
向用户显示所选的一个或多个关键短语作为一个或多个关键短语建议；
从用户接收对应于一个或多个关键短语选择中的一个的话音输入；
针对被语音识别引擎用来找到匹配的关键短语列表比较话音输入；以及
触发与匹配关键短语相关联的动作，其中所述动作在家庭自动化***中激活一个或多个服务、激活一个或多个场景或呈现一个或多个类型的媒体内容。
20.根据权利要求19所述的非临时电子设备可读介质，其中关键短语的列表是意图列表的一部分，其中每个意图将关键短语和响应于该关键短语而执行的动作配对，并且一个或多个关键短语的选择包括一个或多个意图的选择。
21.根据权利要求19所述的非临时电子设备可读介质，其中所述软件当在一个或多个处理器上执行时进一步可操作用于：
基于用于家庭自动化***的配置信息、在家庭自动化***中定义的用户内容或家庭自动化***的***状态中的至少一个来动态地生成意图列表。
22.根据权利要求19所述的非临时电子设备可读介质，其中所述软件当在一个或多个处理器上执行时进一步可操作用于：
基于当前用户或正被控制的房间来动态地生成意图列表。
CN201680024429.1A 2015-10-05 2016-10-04 用于家庭自动化***的语音控制的基于历史的关键短语建议 Active CN107615377B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/875,210 US10018977B2 (en) 2015-10-05 2015-10-05 History-based key phrase suggestions for voice control of a home automation system
US14/875210 2015-10-05
PCT/US2016/055281 WO2017062340A1 (en) 2015-10-05 2016-10-04 History-based key phrase suggestions for voice control of a home automation system

Publications (2)

Publication Number Publication Date
CN107615377A CN107615377A (zh) 2018-01-19
CN107615377B true CN107615377B (zh) 2021-11-09

Family

ID=57145052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680024429.1A Active CN107615377B (zh) 2015-10-05 2016-10-04 用于家庭自动化***的语音控制的基于历史的关键短语建议

Country Status (9)

Country Link
US (1) US10018977B2 (zh)
EP (1) EP3360130B1 (zh)
JP (1) JP6808643B2 (zh)
CN (1) CN107615377B (zh)
AU (1) AU2016335982B2 (zh)
CA (1) CA2983051A1 (zh)
ES (1) ES2965720T3 (zh)
IL (1) IL255244B2 (zh)
WO (1) WO2017062340A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240046928A1 (en) * 2012-04-13 2024-02-08 View, Inc. Controlling optically-switchable devices
CN105741525B (zh) * 2016-02-24 2019-10-01 北京小米移动软件有限公司 遥控器绑定的处理方法、装置和设备
US10498552B2 (en) 2016-06-12 2019-12-03 Apple Inc. Presenting accessory state
US10511456B2 (en) 2016-06-12 2019-12-17 Apple Inc. Presenting accessory group controls
US10310725B2 (en) * 2016-06-12 2019-06-04 Apple Inc. Generating scenes based on accessory state
US11003147B2 (en) 2016-06-12 2021-05-11 Apple Inc. Automatically grouping accessories
US10572530B2 (en) 2016-07-03 2020-02-25 Apple Inc. Prefetching accessory data
US10608834B2 (en) * 2016-08-03 2020-03-31 Honeywell International Inc. Approach and system for avoiding ambiguous action via mobile apps through context based notification
US10764153B2 (en) 2016-09-24 2020-09-01 Apple Inc. Generating suggestions for scenes and triggers
US10469281B2 (en) 2016-09-24 2019-11-05 Apple Inc. Generating suggestions for scenes and triggers by resident device
US20180101599A1 (en) * 2016-10-08 2018-04-12 Microsoft Technology Licensing, Llc Interactive context-based text completions
US11029053B2 (en) 2017-03-09 2021-06-08 Johnson Controls Technology Company Building automation system with live memory management
US10547729B2 (en) 2017-03-27 2020-01-28 Samsung Electronics Co., Ltd. Electronic device and method of executing function of electronic device
US10257629B2 (en) * 2017-04-18 2019-04-09 Vivint, Inc. Event detection by microphone
KR102417029B1 (ko) * 2017-07-24 2022-07-06 삼성전자주식회사 자연어 표현 생성 방법 및 전자 장치
US10546023B2 (en) 2017-10-03 2020-01-28 Google Llc Providing command bundle suggestions for an automated assistant
US20190130898A1 (en) * 2017-11-02 2019-05-02 GM Global Technology Operations LLC Wake-up-word detection
JP7192208B2 (ja) * 2017-12-01 2022-12-20 ヤマハ株式会社 機器制御システム、デバイス、プログラム、及び機器制御方法
JP6962158B2 (ja) 2017-12-01 2021-11-05 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
CN109991858A (zh) * 2017-12-29 2019-07-09 深圳市云海物联科技有限公司 一种情景配对控制方法、装置及***
JP7067082B2 (ja) 2018-01-24 2022-05-16 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
US10777203B1 (en) * 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
CN112313924A (zh) 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
JP7012883B2 (ja) 2018-05-07 2022-01-28 グーグル エルエルシー 自動化されたアシスタントルーチン内に含めるための自動化されたアシスタントアクションを推奨すること
US10805106B2 (en) * 2018-06-05 2020-10-13 K4Connect Inc. Home automation system including sleep to awake mode device switching and related methods
CN110750626B (zh) * 2018-07-06 2022-05-06 ***通信有限公司研究院 一种基于场景的任务驱动的多轮对话方法及***
JP7429193B2 (ja) * 2018-11-05 2024-02-07 株式会社Ｎｔｔドコモ 対話装置及び対話プログラム
CN109634693A (zh) * 2018-11-12 2019-04-16 东软集团股份有限公司 业务操作的执行方法、装置、服务器和存储介质
JP7429194B2 (ja) * 2018-11-22 2024-02-07 株式会社Ｎｔｔドコモ 対話装置及び対話プログラム
CN109616111B (zh) * 2018-12-24 2023-03-14 北京恒泰实达科技股份有限公司 一种基于语音识别的场景交互控制方法
EP3788620B1 (en) * 2018-12-28 2023-09-06 Google LLC Supplementing voice inputs to an automated assistant according to selected suggestions
WO2020165933A1 (ja) * 2019-02-12 2020-08-20 三菱電機株式会社 機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラム
JP2020140473A (ja) * 2019-02-28 2020-09-03 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、音声認識方法、及び音声認識プログラム
CN115240664A (zh) * 2019-04-10 2022-10-25 华为技术有限公司 一种人机交互的方法和电子设备
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
WO2020222322A1 (ko) * 2019-04-30 2020-11-05 엘지전자 주식회사 음성 인식 서비스를 제공하기 위한 디스플레이 장치
EP4246507A3 (en) * 2019-05-06 2023-12-27 Google LLC Proactive caching of assistant action content at a client device to enable on-device resolution of spoken or typed utterances
CN110327622A (zh) * 2019-05-09 2019-10-15 百度在线网络技术（北京）有限公司 一种游戏控制方法、装置和终端
WO2021002611A1 (en) 2019-07-03 2021-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
WO2021010522A1 (ko) * 2019-07-16 2021-01-21 엘지전자 주식회사 시청 상황을 고려하여, 하나 이상의 가전 기기를 제어하는 디스플레이 장치
CN110364152B (zh) * 2019-07-25 2022-04-01 深圳智慧林网络科技有限公司 语音交互方法、设备及计算机可读存储介质
CN114208117A (zh) * 2019-07-29 2022-03-18 西门子工业公司 用于控制房间的条件的楼宇自动化***
CN110517665B (zh) * 2019-08-29 2021-09-03 中国银行股份有限公司 获取测试样本的方法及装置
CN110718220A (zh) * 2019-09-30 2020-01-21 北京澜墨文化传媒有限公司 一种家庭互联***及控制方法
CN116564304A (zh) * 2019-09-30 2023-08-08 华为终端有限公司 语音交互方法及装置
US11289086B2 (en) * 2019-11-01 2022-03-29 Microsoft Technology Licensing, Llc Selective response rendering for virtual assistants
KR20210072471A (ko) * 2019-12-09 2021-06-17 현대자동차주식회사 음성 명령 인식 장치 및 그 방법
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
EP4055593A4 (en) * 2020-02-10 2023-01-04 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING A VOICE ASSISTANCE SERVICE
US11206330B1 (en) 2020-09-01 2021-12-21 T-Mobile Usa, Inc. Interactive voice response using intent prediction and a 5G capable device
CN112598047A (zh) * 2020-12-18 2021-04-02 龙马智芯（珠海横琴）科技有限公司 意图识别模型生成方法、装置、服务器及可读存储介质
CN112687269B (zh) * 2020-12-18 2022-11-08 山东盛帆蓝海电气有限公司 楼宇管理机器人语音自动识别方法及***
CN113433857A (zh) * 2021-06-24 2021-09-24 南京水年数字科技有限公司 一种滑轨屏行程控制***
US20230368785A1 (en) * 2022-05-13 2023-11-16 Rovi Guides, Inc. Processing voice input in integrated environment
CN114822005B (zh) * 2022-06-28 2022-09-20 深圳市矽昊智能科技有限公司 基于人工智能的遥控意图预测方法、装置、设备及介质
CN115424624B (zh) * 2022-11-04 2023-01-24 深圳市人马互动科技有限公司 一种人机互动的服务处理方法、装置及相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103280218A (zh) * 2012-12-31 2013-09-04 威盛电子股份有限公司 基于语音识别的选择方法及其移动终端装置及信息***
CN103377276A (zh) * 2012-04-16 2013-10-30 宏达国际电子股份有限公司 在对话期间提供建议的方法以及使用所述方法的电子装置
CN103914032A (zh) * 2013-01-02 2014-07-09 Lg电子株式会社 中央控制器及其控制方法
CN103914234A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 交互服务器及其控制方法和交互***
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
CN104142659A (zh) * 2013-11-12 2014-11-12 珠海优特电力科技股份有限公司 一种智能家居场景切换方法及***
US20140365213A1 (en) * 2013-06-07 2014-12-11 Jurgen Totzke System and Method of Improving Communication in a Speech Communication System
CN104428766A (zh) * 2012-07-03 2015-03-18 三菱电机株式会社 语音识别装置
US20150162018A1 (en) * 2013-12-09 2015-06-11 Honeywell International Inc. Voice based diagnostic systems and methods
US20150254057A1 (en) * 2014-03-04 2015-09-10 Microsoft Technology Licensing, Llc Voice-command suggestions
CN105745615A (zh) * 2013-11-12 2016-07-06 苹果公司 用于移动设备的始终进行的音频控制

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454063A (en) * 1993-11-29 1995-09-26 Rossides; Michael T. Voice input system for data retrieval
US6513006B2 (en) 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US6792319B1 (en) * 2000-10-19 2004-09-14 Destiny Networks, Inc. Home automation system and method
US6889191B2 (en) * 2001-12-03 2005-05-03 Scientific-Atlanta, Inc. Systems and methods for TV navigation with compressed voice-activated commands
US9374451B2 (en) * 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7177817B1 (en) * 2002-12-12 2007-02-13 Tuvox Incorporated Automatic generation of voice content for a voice response system
JP2006033795A (ja) * 2004-06-15 2006-02-02 Sanyo Electric Co Ltd リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。
US20070143801A1 (en) 2005-12-20 2007-06-21 Madonna Robert P System and method for a programmable multimedia controller
US9153125B2 (en) 2005-12-20 2015-10-06 Savant Systems, Llc Programmable multimedia controller with programmable services
US8332218B2 (en) 2006-06-13 2012-12-11 Nuance Communications, Inc. Context-based grammars for automated speech recognition
US20110032423A1 (en) * 2009-08-06 2011-02-10 Sony Corporation Adaptive user profiling for tv-centric home automation system
JP5810759B2 (ja) * 2011-08-31 2015-11-11 アイシン・エィ・ダブリュ株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
JP5694102B2 (ja) * 2011-09-22 2015-04-01 株式会社東芝 音声認識装置、音声認識方法およびプログラム
US8972858B2 (en) 2012-04-19 2015-03-03 Savant Systems, Llc Configuration interface for a programmable multimedia controller
US8831957B2 (en) 2012-08-01 2014-09-09 Google Inc. Speech recognition models based on location indicia
EP2953298B1 (en) * 2013-01-30 2018-03-21 Nippon Telegraph and Telephone Corporation Log analysis device, information processing method and program
US9864350B2 (en) * 2013-03-12 2018-01-09 Trane International, Inc. Events management
US10054327B2 (en) * 2013-08-21 2018-08-21 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
US20150127170A1 (en) * 2013-11-04 2015-05-07 Honeywell International Inc. Remote contractor system with site specific energy audit capability
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US9900177B2 (en) * 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US20150241860A1 (en) * 2014-02-24 2015-08-27 Raid And Raid, Inc., D/B/A Ruminate Intelligent home and office automation system
US9582246B2 (en) * 2014-03-04 2017-02-28 Microsoft Technology Licensing, Llc Voice-command suggestions based on computer context
US10481561B2 (en) * 2014-04-24 2019-11-19 Vivint, Inc. Managing home automation system based on behavior
US9765562B2 (en) * 2014-05-07 2017-09-19 Vivint, Inc. Weather based notification systems and methods for home automation
US9860076B2 (en) * 2014-05-07 2018-01-02 Vivint, Inc. Home automation via voice control
CA2891742C (en) * 2014-05-15 2023-11-28 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
US9876652B2 (en) 2014-05-20 2018-01-23 Savant Systems, Llc Automatic configuration of control device user interface in a home automation system
US10133537B2 (en) * 2014-09-25 2018-11-20 Honeywell International Inc. Method of integrating a home entertainment system with life style systems which include searching and playing music using voice commands based upon humming or singing
US10254724B2 (en) * 2014-10-31 2019-04-09 Samsung Electronics Co., Ltd. Method and system for personalized, secure, and intuitive smart home control using a smart hand
US20160182247A1 (en) * 2014-12-19 2016-06-23 Smartlabs, Inc. Smart home device adaptive configuration systems and methods using cloud data
US10079012B2 (en) * 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
US10178474B2 (en) * 2015-04-21 2019-01-08 Google Llc Sound signature database for initialization of noise reduction in recordings

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
CN103377276A (zh) * 2012-04-16 2013-10-30 宏达国际电子股份有限公司 在对话期间提供建议的方法以及使用所述方法的电子装置
CN104428766A (zh) * 2012-07-03 2015-03-18 三菱电机株式会社 语音识别装置
CN103280218A (zh) * 2012-12-31 2013-09-04 威盛电子股份有限公司 基于语音识别的选择方法及其移动终端装置及信息***
CN103914032A (zh) * 2013-01-02 2014-07-09 Lg电子株式会社 中央控制器及其控制方法
CN103914234A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 交互服务器及其控制方法和交互***
US20140365213A1 (en) * 2013-06-07 2014-12-11 Jurgen Totzke System and Method of Improving Communication in a Speech Communication System
CN104142659A (zh) * 2013-11-12 2014-11-12 珠海优特电力科技股份有限公司 一种智能家居场景切换方法及***
CN105745615A (zh) * 2013-11-12 2016-07-06 苹果公司 用于移动设备的始终进行的音频控制
US20150162018A1 (en) * 2013-12-09 2015-06-11 Honeywell International Inc. Voice based diagnostic systems and methods
US20150254057A1 (en) * 2014-03-04 2015-09-10 Microsoft Technology Licensing, Llc Voice-command suggestions

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Context-Aware Implementation based on CBR;Tinghuai Ma;《WiMob"2005), IEEE International Conference on Wireless And Mobile Computing, Networking And Communications, 2005.》;20051003;全文 *
Keeping the Resident in the Loop: Adapting;Parisa Rashidi;《IEEE TRANSACTIONS ON SYSTEMS》;20090905;第949-959页 *
家电控制***的语音关键词识别算法研究;陈晗;《电声技术》;20080430(第4期);第48-51页 *

Also Published As

Publication number Publication date
AU2016335982B2 (en) 2021-04-29
IL255244B1 (en) 2023-03-01
US10018977B2 (en) 2018-07-10
ES2965720T3 (es) 2024-04-16
EP3360130A1 (en) 2018-08-15
IL255244A0 (en) 2017-12-31
IL255244B2 (en) 2023-07-01
AU2016335982A1 (en) 2017-11-02
CA2983051A1 (en) 2017-04-13
CN107615377A (zh) 2018-01-19
KR20180064328A (ko) 2018-06-14
US20170097618A1 (en) 2017-04-06
EP3360130B1 (en) 2023-09-20
JP6808643B2 (ja) 2021-01-06
WO2017062340A1 (en) 2017-04-13
JP2018531404A (ja) 2018-10-25

Similar Documents

Publication Publication Date Title
CN107615377B (zh) 用于家庭自动化***的语音控制的基于历史的关键短语建议
JP2018531404A6 (ja) ホームオートメーションシステムの音声制御のための履歴ベースのキーフレーズの提案
US11671662B2 (en) Methods and systems for controlling media display in a smart media display environment
US11212486B1 (en) Location based device grouping with voice control
US11429345B2 (en) Remote execution of secondary-device drivers
CN105471705B (zh) 一种基于即时通讯的智能控制方法、设备及***
US11144274B2 (en) Methods, systems, and media for providing a remote control interface
EP3797521A1 (en) Identifying and controlling smart devices
KR102551715B1 (ko) Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
US10028023B2 (en) Methods and systems for automatic media output based on user proximity
CN109891405B (zh) 基于用户装置的消费模式来修改视频内容在用户装置上的呈现的方法、***和介质
US20230289132A1 (en) Concurrency rules for network microphone devices having multiple voice assistant services
KR102691850B1 (ko) 홈 자동화 시스템의 음성 제어를 위한 이력 기반 핵심 구 제안
WO2023049866A2 (en) Concurrency rules for network microphone devices having multiple voice assistant services
IL255244A (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201105

Address after: Massachusetts, USA

Applicant after: Savant systems

Address before: Massachusetts

Applicant before: Savant Systems, LLC

GR01 Patent grant
GR01 Patent grant