CN115019793A - 基于协同纠错的唤醒方法、装置及***、介质、设备 - Google Patents

基于协同纠错的唤醒方法、装置及***、介质、设备 Download PDF

Info

Publication number
CN115019793A
CN115019793A CN202210607070.8A CN202210607070A CN115019793A CN 115019793 A CN115019793 A CN 115019793A CN 202210607070 A CN202210607070 A CN 202210607070A CN 115019793 A CN115019793 A CN 115019793A
Authority
CN
China
Prior art keywords
voice
wake
equipment
module
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210607070.8A
Other languages
English (en)
Inventor
陈峰峰
张新星
高向军
邓宏
袁伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hongmei Intelligent Technology Co Ltd
Original Assignee
Sichuan Hongmei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hongmei Intelligent Technology Co Ltd filed Critical Sichuan Hongmei Intelligent Technology Co Ltd
Priority to CN202210607070.8A priority Critical patent/CN115019793A/zh
Publication of CN115019793A publication Critical patent/CN115019793A/zh
Priority to PCT/CN2023/096289 priority patent/WO2023231894A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/34Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本说明书实施例提供一种基于协同纠错的唤醒方法、装置及***、介质、设备,该方法包括:在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到所述其它语音设备发送来的唤醒请求;若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态。本发明可以降低家庭内全部语音设备的整体误唤醒的概率。

Description

基于协同纠错的唤醒方法、装置及***、介质、设备
技术领域
本说明书一个或多个实施例涉及语音设备技术领域,尤其是一种基于协同纠错的唤醒方法、装置及***、介质、设备。
背景技术
语音识别技术是当下应用最广泛的人机交互技术,用户通过发起语音指令去控制语音设备执行相应的操作,比如,控制空调开机、关机。语音交互控制的全流程包括:语音唤醒、发送语音指令、设备执行动作、设备语音反馈等几个关键环节。语音唤醒即预先为语音设备设定一个或多个专有的词汇,用户通过该专有词汇可以将处于唤醒等待状态的语音设备激活,进入语音指令识别等待状态,用户可进一步发起各类语音指令,语音设备在收到后,执行对应的指令动作,并通过设备自带的播放部件,反馈指令执行的结果,提示用户。
当用户说出专有词汇时,语音设备可被激活,说出非专有词汇时,语音设备保持唤醒等待,避免用户正常的人际之间的语音交流误触发语音。但是在实际场景中仍然存在语音设备被非专有词汇、甚至被环境噪音唤醒激活的情况,行业内称该类唤醒为误唤醒,概率指标一般在1-3次/72小时不等。误触发会打扰到用户,拉低用户体验。
随着语音识别的广泛应用,越来越多家用电器装配了语音识别***,各自独立的提供语音人机交互功能。当同一用户家庭中有多个语音设备时,特别是同一房间内有数个体语音设备时,考虑到单个语音设备的独立误唤醒概率,该房间内的语音设备整体误唤醒概率将成倍增加。
发明内容
本说明书一个或多个实施例描述了一种基于协同纠错的唤醒方法、装置及***、介质、设备。
第一方面,本说明书提供了一种基于协同纠错的唤醒方法,在一个家庭的全空间内分布有语音设备,所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;各个所述语音设备均与云平台通信连接;所述方法由决策设备执行,所述决策设备为预先从所述语音设备中选出的一个智能家电;所述方法包括:
在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;其中,一个处于唤醒等待状态的语音设备监听到唤醒词后向所述决策设备发送唤醒请求,一个家庭的全空间内的各个语音设备具有相同的唤醒词;
若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到所述其它语音设备发送来的唤醒请求
若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态。
第二方面,本说明书提供了一种基于协同纠错的唤醒装置,在一个家庭的全空间内分布有语音设备,所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;各个所述语音设备均与云平台通信连接;
所述装置安装在决策设备上,所述决策设备为预先从所述语音设备中选出的一个智能家电;所述装置包括:
第一判断模块,用于在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;其中,一个处于唤醒等待状态的语音设备监听到唤醒词后向所述决策设备发送唤醒请求,一个家庭的全空间内的各个语音设备具有相同的唤醒词;
第二判断模块,用于若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到其它语音设备发送来的唤醒请求;
目标确定模块,用于若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态。
第三方面,本发明实施例提供一种基于协同纠错的唤醒***,包括在一个家庭内分布设置的语音设备以及与各个语音设备通信连接的云平台;所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;所述云平台用于对全空间内的语音设备进行控制;所述决策设备为预先从所述语音设备中选出的一个智能家电,所述决策设备具有第二方面提供的基于协同纠错的唤醒装置。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面提供的方法的步骤。
第五方面,本发明实施例提供一种语音设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面提供的所述方法的步骤。
第六方面,本发明实施例提供一种成套家电控制***,包括物联网平台、内容平台、语义平台、云平台、语音获取模块、智能终端;其中,物联网平台为智汇家AIOT平台,该物联网平台具有配置模块和智能控制场景模块,配置模块和智能控制场景模块通过通信网络与智能终端进行信息传输并控制智能终端的运行;云平台分别与语义平台和物联网平台通过通信网络进行信息传输;语义平台包括语音解析模块、功能反馈模块和交互反馈模块,语义平台能够解析语音获取模块获取的语音信号,并根据解析的语音信号输出控制指令,该控制指令通过无线通信的方式分别与云平台和物联网平台进行通信,控制或驱动智能终端的运行。
本说明书实施例提供的基于协同纠错的唤醒方法、装置及***、介质、设备,具有以下有益效果:在本发明实施例中,在决策设备接收到一个语音设备发送来的唤醒请求时,决策设备会判断发送唤醒请求的语音设备所在的空间分组内是否还存在其它的语音设备,如果存在其它的语音设备,则开始计时,在计时结束后判断在计时过程中是否接收到其它语音设备的唤醒请求,如果接收到其它语音设备的唤醒请求,则确定应答语音设备,进而向应答语音设备发送唤醒应答指令,这样应答语音设备就会从唤醒等待状态进入到唤醒状态。这个过程用户是感知不到的,不会影响语音设备原本的工作模式,而且在空间分组内有多个语音设备时还通过本发明实施例提供的方法,将单一语音设备被误触发的异常状态排除掉,降低家庭内全部语音设备的整体误唤醒的概率。针对一次唤醒,决策设备接收到多个语音设备发送来的唤醒请求,此时决策设备会选出一个最合适的语音设备作为应答语音设备,可以为用户带来优质的使用体验。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书一个实施例中基于协同纠错的唤醒方法的流程示意图;
图2是本说明书一个实施例中四个语音设备接入同一个网络的示意图;
图3是本说明书一个实施例中四个语音设备的房间分配的示意图;
图4是本说明书一个实施例中语音唤醒处理方法的流程示意图;
图5是本说明书一个实施例中一个家庭中多个智能家电的分布示意图;
图6a是本说明书一个实施例中一个语音终端的示意图;
图6b是本说明书一个实施例中一个家庭内多个语音终端的分布示意图;
图7是本说明书一个实施例中基于协同纠错的唤醒装置的结构框图;
图8是本说明书一个实施例中基于协同纠错的唤醒***的结构框图;
图9是本说明书一个实施例中成套家电***的架构图;
图10是本说明书一个实施例中语音指令***的控制原理示意图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
第一方面,本发明实施例提供一种基于协同纠错的唤醒方法。
本发明实施例提供的方案的适用场景可以包括但不限于如下场景:
在一个家庭内分布有多个语音设备,这些语音设备包括各种智能家电,例如,参见图5,在一个家庭的全空间内设置有一个洗衣机、一个冰箱、两个挂式空调、一个柜式空调、两个电视机。这些智能家电均具有语音模块,智能家电中的语音模块能够拾取用户发出的语音指令,把语音指令发送给云平台。语音模块也可以在云平台的控制下进行语音反馈,即通过语音播报的方式告知用户一些设备的执行情况。
但是由于在阳台、入户区域、卫生间等没有设置智能家电,因此这些区域的语音拾取功能会较差,因此可以在这些区域设置语音终端。参见图6a和6b,在入户区域、阳台、餐厅、书房、次卫、主卫、主卧的床头、儿童房的床头等位置均设置了语音终端。语音终端可以拾取用户发出的语音,也可以通过WIFI接入家庭局域网。由于语音终端的体积非常小,不便安装扩音模块,因此语音终端不具有语音播报的功能。
可理解的是,由于各个智能家电的最佳拾音范围很难将一个家庭内的各个角落都覆盖到,因此有时会出现不能对用户的语音指令进行响应的情况,为此本发明实施例在家庭内智能家电覆盖不到的区域内设置了语音终端。这样各个智能家电和各个语音终端的最佳拾音范围可以覆盖一个家庭内的全空间。
当然,语音终端也可以具有灯光提示的功能。例如,当一个语音终端被唤醒作为应答语音设备时可以通过呼吸灯的方式进行提示,当一个语音终端作为应答语音设备,云平台控制对应的目标智能家电执行指令成功后可以控制作为应答语音设备的语音终端采用绿灯快闪三次的方式进行提示,当云平台控制对应的目标智能家电执行指令失败时可以控制作为应答语音设备的语音终端采用黄灯快闪三次的方式进行提示。
其中,一个家庭内的所有语音设备(包括各个语音终端、各个智能家电)均与云平台通信连接,这样云平台可以对家庭内的各个语音设备进行控制。当然,用户的移动终端上可以安装一个应用程序,通过该应用程序也可以对家庭内各个语音终端的控制、配置等。
举例1,用户在阳台上发出唤醒词“长虹小白”,阳台上的语音终端、客厅的电视机、客厅的柜式空调都会拾取到唤醒词,那到底唤醒哪一个语音设备呢,这是本发明实施例要解决的问题。如果确定客厅的电视机被唤醒,客厅的电视机会发出回应“在的”,进而用户会发出语音指令“打开客厅空调”,此时客厅电视机会拾取该段语音,并将该段语音发送至云平台,云平台对该段语音进行解析,进而控制客厅的柜式空调打开。
可见,本发明实施例中被唤醒的语音设备被称为应答语音设备,该应答语音设备的作用是拾取用户发出的语音指令,将语音指令发送给云平台,这样云平台会对语音指令进行解析,根据解析结果控制执行设备进行相应的操作。
综上可知,在一个场景中,在一个家庭的全空间内分布有语音设备,所述语音设备包括智能家电和语音终端,各个所述智能家电和各个所述语音终端的最佳拾音范围的并集能够覆盖所述全空间;所述智能家电中的语音模块具有语音拾取和语音反馈的功能,所述语音终端的语音模块具有语音拾取的功能;所述语音设备均与用于进行全空间内语音设备控制的云平台通信连接。
本发明实施例提供了一种基于协同纠错的唤醒方法,该方法可以由决策设备执行,所述决策设备为预先从所述语音设备中选出的一个智能家电。该方法适用的场景除了上述场景之外,还可以是在一个家庭内仅包括智能家电的场景,该智能家电中的语音模块具有语音拾取和语音反馈功能。
可理解的是,如果本发明的一些可选实施例中涉及到了语音终端,则这样的具体实施例适用的场景为:在一个家庭的全空间内分布有语音设备,所述语音设备包括智能家电和语音终端,各个所述智能家电和各个所述语音终端的最佳拾音范围的并集能够覆盖所述全空间;所述智能家电中的语音模块具有语音拾取和语音反馈功能,所述语音终端的语音模块具有语音拾取功能;所述语音设备均与用于进行全空间内语音设备控制的云平台通信连接。例如,在一个家庭内包含至少两个智能家电和至少两个语音终端。
可理解的是,如果本发明的一些可选实施例中没有涉及到语音终端,则这样的具体实施例适用的场景可以为上一段文字所描述的场景,当然也可以为场景:在一个家庭内仅包含智能家电的场景,该智能家电中的语音模块具有语音拾取和语音反馈功能。
参见图1,所述方法包括如下步骤S10~S30:
S10、在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;
其中,一个处于唤醒等待状态的语音设备监听到唤醒词后向所述决策设备发送唤醒请求,一个家庭的全空间内的各个语音设备具有相同的唤醒词。
可理解的是,本发明实施例提供的方法由决策设备执行,而决策设备是一个家庭内的各个语音设备中的一个智能家电,因此在执行本发明实施例提供的方法之前,需要先确定出执行设备。
在一个家庭内会有多个语音设备,例如,智能语音冰箱、语音音箱、语音空调、语音电视、多个语音终端等。在一个家庭内的各个语音设备的唤醒词都是一样的,也就是说,一个家庭内的各个语音设备都是基于同一个唤醒词进行训练的。而且,在移动终端上可以通过一个应用程序对这个家庭内的各个语音设备进行控制,该应用程序就是下文中提到的预设应用程序。决策设备的确定可以由这个预设应用程序实现。
也就是说,各个语音设备均由所在家庭的用户移动终端上的同一个预设应用程序控制;所述决策设备由所述预设应用程序预先确定;其中,所述预设应用程序确定所述决策设备的过程包括如下步骤S01~S04:
S01、获取接入家庭网络的各个语音设备;
可理解的是,当每一个语音设备接入家庭网络时,在预设应用程序上就会看到这个语音设备的相关信息,例如,设备标识、设备类型、设备名称等。因此预设应用程序可以获得各个接入家庭网络的语音设备的相关信息所形成的设备列表。
S02、获取加入所述家庭网络的每一个语音设备的带电状态数据、运算能力数据和用户使用习惯数据;
可理解的是,在语音设备运行一段时间后,会产生很多数据,例如,用户对语音设备的使用习惯数据、语音设备的带电状态数据,这些数据会记录在语音设备内部的存储器中。预设应用程序会从每一个语音设备中获取到这些数据。同时,预设应用程序还会获取每一个语音设备的运算能力数据。
其中,用户对语音设备的使用习惯数据,例如,用户习惯在一天的哪个时间段看电视、用户习惯在哪个季节打开空调等。语音设备的带电状态数据是指语音设备是否一直带电,还是在一天中的某个时间段带电,还是很少带电等。语音设备的运算能力数据是指能够体现语音设备的运算速度、运算量的数据,因为决策设备在实现自身功能的同时还需要进行唤醒的决策处理,因此这里需要考虑到语音设备的运算能力。
S03、根据每一个语音设备的带电状态数据、运算能力数据和用户使用习惯数据,确定每一个语音设备的决策能力评分;
可理解的是,在计算每一个语音设备的决策能力评分时,不仅需要考虑用户的使用习惯、带电状态,还考虑语音设备的运算能力,即不仅考虑语音设备的外部因素,也考虑语音设备的内部因素,最后可以计算出一个体现语音设备的综合决策能力的评分。
在具体实施时,S03中具体可以采用第一计算式计算每一个语音设备的决策能力评分,所述第一计算式包括:
P1=u*(d2-1/y)
式中,P1为所述决策能力评分;d为语音设备在过去一个月内的平均每天带电时长;y为语音设备的CPU运算能力;u为家庭用户在当前季节对语音设备的使用标记;若家庭用户在当前季节使用该语音设备,则该语音设备对应的使用标记为1;若家庭用户在当前季节不适用该语音设备,则该语音设备对应的使用标记为0。
在上述第一计算式中,u为用户的使用习惯数据。如果家庭用户在当前季节不使用该语音设备,则该语音设备对应的使用标记为0,此时P1为0。而如果家庭用户在当前季节中使用该语音设备,则该语音设备对应的使用标记为1,此时P1=d2-1/y。例如,针对语音空调这一语音设备,有的家庭在冬天时不使用,只有在夏天的时候才使用。
其中,d为语音设备在过去一个月内的平均每天带电时长,该参数既考虑了用户在最近一段时间内的使用情况,也反映了在每一天的平均带电情况。例如,用户在过去一个月内只在晚上才打开语音电视,这样语音电视在过去一个月内的平均带电时长只有几个小时。而语音冰箱一直处于带电状态,此时语音冰箱的在过去一个月内的平均每天带电时长为24小时。参数d是一个关键的参数,语音设备的带电时长越长,语音设备能够进行唤醒决策处理的时间越多,可以减少遗漏唤醒请求的情况发生。d越大,P1越大。
其中,y体现的是语音设备的运算能力,例如,cpu的运算能力。不同的cpu的运算能力的计算方式不同,例如,有的cpu通过字长衡量运算能力,有的cpu通过双精度浮点运算能力来衡量运算能力,具体可以根据cpu的实际情况而确定。y越大,P1越大,但y和P1之间并不是正比的关系。
可见,上述第一计算式可以非常合理的反映出一个语音设备的决策能力。
S04、将所述决策能力评分最高的语音设备作为所述决策设备。
也就是说,在S03中,计算出每一个接入家庭网络的语音设备的决策能力评分,然后选择出决策能力评分最高的语音设备作为决策设备。
在具体实施时,在通过上述方式确定出一个决策设备之后,可以采用该决策设备执行本发明实施例提供的方法。但是如果决策设备掉电,则需要更换其它的语音设备作为决策设备。当然,也可能存在之前确定出的决策设备不带电的情况,此时也需要更换其它的语音设备作为决策设备。
由于在实际场景中可能发生以上情况时,因此所述预设应用程序确定所述决策设备的过程还可以包括:所述预设应用程序通过心跳指令的方式按照预设时间间隔检测当前的决策设备是否处于带电状态;若未处于带电状态,则选择处于带电状态的各个语音设备中决策能力评分最高的一个语音设备作为当前的决策设备。
也就是说,移动终端上的预设应用程序会按照时间间隔检测当前的决策设备是否带电,具体通过心跳指令的方式检测,例如,移动终端上的预设应用程序会每间隔一段时间就向决策设备发送一个心跳指令,如果移动终端能够接收到决策设备的反馈信息,则说明此时决策设备此时带电,如果不能接收到决策设备的反馈信息,说明此时决策设备不带电。
如果移动终端上的预设应用程序经过检测发现当前的决策设备不带电,需要更换其它的语音设备,此时会在各个带电的语音设备中选择出决策能力评分最高的语音设备作为当前的决策设备,这样可以避免因为决策设备不带电而影响唤醒处理。
当然,移动终端上的预设应用程序除了可以自动确定决策设备之外,用户也可以在预设应用程序上对每一个语音设备所在的房间进行标记,即为每一个语音设备设置对应的房间标识。
在具体实施时,上述空间分组可以为物理空间分组,也可以为虚拟空间分组。当上述空间分组为物理空间分组时,一个房间对应一个空间分组,而一个空间分组内包括至少一个语音设备。也就是说,所述空间分组为按照物理空间分组的方式对各个房间内的语音设备进行划分后得到的多个组。
具体的,可以在预设应用程序上对各个设备进行分组。具体的,所述预设应用程序可以用于提供配置界面,以使用户对接入家庭网络的每一个语音设备配置对应的房间标识;对应的,S10中所述判断该语音设备所在的空间分组内是否存在其它语音设备,包括:从所述预设应用程序中获取该语音设备对应的房间标识,将该房间标识作为第一房间标识;判断其它语音设备的房间标识中是否存在与所述第一房间标识相同的房间标识;若存在,则该语音设备所在的房间内存在其它语音设备;否则,该语音设备所在的房间内不存在其它语音设备。
可理解的是,用户可以在预设应用程序的配置界面上对每一个语音设备设置对应的房间标识,这样预设应用程序就可以知道每一个房间内都有哪些语音设备。进一步的,当决策设备判断该语音设备所在的空间分组内是否存在其它语音设备时,会从移动终端的预设应用程序上获取发送唤醒请求的这个语音设备对应的房间标识即第一房间标识,进而判断其它的语音设备的房间标识中是否存在与第一房间标识相同的房间标识,进而判断出在发送唤醒请求的语音设备所在的房间中是否还存在其它的语音设备。
在实际场景中,如果用户发出了唤醒词,在一个房间内的处于唤醒等待状态的语音设备监听到这个唤醒词之后,会向决策设备发送唤醒请求,进而决策设备判断该语音设备所在的房间内是否还存在其它的语音设备,进而执行后续的步骤。
可理解的是,如果发出唤醒请求的语音设备是决策设备本身,处理方法也是类似的。
S20、若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到其它语音设备发送来的唤醒请求;
可理解的是,由于各个语音设备的唤醒词都是一样的,而如果在一个房间内除了发出唤醒请求的预设设备之外,还存在其它语音设备,此时决策设备就会开始计时,当计时时长达到预设时长后停止计时,在计时的过程中有可能会接收到其它语音设备发送来的唤醒请求,也有可能没有接收到其它语音设备发送来的唤醒请求。
S30、若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态;
进一步的,S30中所述若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,包括:
若在计时过程中接收到其它语音设备发送来的唤醒请求,则获取每一个发送唤醒请求的语音设备的拾音参数;
根据发送唤醒请求的各个语音设备各自的拾音参数,从发送所述唤醒请求的语音设备中确定所述应答语音设备。
可理解的是,如果接收到其它语音设备发送来的唤醒请求时,说明不止一个语音设备针对用户发生的语音做出了反映,此时是误唤醒的可能性会比较小,因此此时需要在各个发出唤醒请求的语音设备中选择一个概率最高的唤醒对象。而如果在计时过程中没有接收到其它语音设备的唤醒请求,则发出唤醒请求的语音设备被误唤醒的可能性是很大。
如果在计时过程中,接收到了其它语音设备发送来的唤醒请求,此时可以获取每一个发送唤醒请求的拾音参数,进而利用拾音参数进行下一步的计算。所谓的拾音参数是指语音设备所采集用户发出的语音时的一些参数。
其中,所述拾音参数可以包括拾音角度和拾音声强,如果用户会对着想要唤醒的语音设备发出语音,此时的拾音角度为90°,但是用户没有对着想要唤醒的语音设备发出语音,此时的拾音角度不是90°,可见拾音角度反映的是用户发出语音时语音设备的声音拾取角度。拾音声强是指语音设备所拾取的声音的强度。
基于上述拾音参数,根据发送唤醒请求的各个语音设备各自的拾音参数,确定应答语音设备,具体过程可以包括如下步骤S41~S43:
S41、针对发送唤醒请求的各个语音设备,判断拾音角度在60~120度范围内的语音设备的数量是否大于1;
其中,60~120度是一个较佳的拾音角度,该拾音角度在60~120度时语音设备是应答语音设备的可能性是很大的。
可理解的是,在该步骤中首先确定出拾音角度在60~120度范围内的语音设备的数量,如果该数量大于1,则需要在这些拾音角度在60~120度范围内的各个语音设备中进一步筛选。
S42、若拾音角度在60~120度范围内的语音设备的数量大于1,则根据每一个拾音角度在60~120度范围内的语音设备的拾音角度和拾音声强,计算该语音设备对应的唤醒评分;一个语音设备的唤醒评分用于表征用户唤醒该语音设备的概率;
在该步骤中,针对拾音角度在60~120度范围内的各个语音设备,根据语音设备的拾音角度和拾音声强,计算每一个语音设备的唤醒评分,从而得知用户想要唤醒该语音设备的概率是多少。
进一步的,该步骤S42中可以采用第二计算式计算该语音设备对应的唤醒评分,所述第二计算式包括:
当r在第一范围内时,P2=a*s+b/|r-90|
当r在第二范围内时,P2=b*s-a*|r-90|+c
式中,P2为所述唤醒评分,s为所述拾音声强,r为所述拾音角度,所述第一范围为:r大于等于60且小于80,或者,r大于100且小于等于120;所述第二范围为:r大于等于80且小于等于100;a和b为预设权重,且a大于b,c为10*a+b/10。
其中,当r在第一范围内时,拾音强度越大,P2越大;拾音角度越接近90,P2越大,所以拾音强度高且拾音角度接近90的语音设备的唤醒评分是比较高的。而且,当r在第一范围内时,拾音声强的权重为a,而a大于b,说明此时更为关注拾音声强,也就是说,在这种情况下拾音声强更为重要。
其中,当r在第二范围内时,拾音强度越大,P2越大,拾音角度越接近,P2越大,所以拾音强度高且拾音角度接近90的语音设备的唤醒评分是比较高的。当r在第二范围内时,拾音角度的权重为a,而a大于b,说明此时更为关注拾音角度,也就是说,在这种情况下,拾音角度跟为重要。
进一步的,当拾音声强相同,而r在第二范围时的唤醒评分应大于r在第一范围内的唤醒评分,为保证此要求,本发明实施例中当r在第二范围内时的计算式中增加了参数c,且令c为10*a+b/10,该值可以保证在拾音声强相同的情况下r在第二范围时的唤醒评分大于r在第一范围内的唤醒评分。
其中,c=10*a+b/10是当r为100时、拾音声强为0时,为保证b*s-a*|r-90|+c大于等于a*s+b/|r-90|而计算得到。在该c值的基础上,当r处于第二范围内的任一值时,都能保证在拾音声强相同的情况下r在第二范围时的唤醒评分大于r在第一范围内的唤醒评分。
S43、将唤醒评分最高的语音设备作为应答语音设备。
可理解的是,一个语音设备的唤醒评分越高,说明用户想要唤醒这个语音设备的概率越大,如果一个语音设备的唤醒评分越低,说明用户想要唤醒这个语音设备的概率越低。因此这里将唤醒评分最高的语音设备作为应答语音设备。
在具体实施时,根据发送唤醒请求的各个语音设备各自的拾音参数,确定应答语音设备,具体过程还可以包括如下至少一项:
(1)若所述拾音角度在60~120度范围的语音设备的数量为1,则将所述拾音角度在60~120度范围的语音设备作为应答语音设备;
可理解的是,如果拾音角度在60~120度范围内的语音设备的数量只有一个,则这一个语音设备是用户想要唤醒的语音设备的概率是最大的,在这种情况下不需要考虑语音设备的拾音声强,因此此时将这一个语音设备作为应答语音设备。
(2)若所述拾音角度在60~120度范围的语音设备的数量为0,则将所述拾音声强最高的语音设备作为应答语音设备。
可理解的是,如果拾音角度在60~120度范围的语音设备的数量为0,说明用户没有对着任何一个语音设备发出语音,此时不需要考虑拾音角度,此时可以在发出唤醒请求的各个语音设备中选择拾音声强最大的语音设备作为应答语音设备。
可见,在不同的情况下可以依照上述过程确定应答语音设备。
可理解的是,以上均是在计时过程中还接收到其它语音设备发送来的唤醒请求时的处理方法。在实际中如果在计时过程中没有接收到其它语音设备发送来的唤醒请求的话,可以认为发送唤醒请求的语音设备为误触发,此时决策设备可以向发出唤醒请求的语音设备发送终止唤醒应答指令,接收到终止唤醒应答指令的语音设备不会从唤醒等待状态进入唤醒状态,而是继续保持唤醒等待状态。
可理解的是,以上均是针对在发出唤醒请求的语音设备所在的空间分组还存在其它语音设备的情况。而当发出唤醒请求的语音设备所在空间分组内没有其它语音设备时,本发明实施例提供的方法还可以包括如下步骤:向发送唤醒请求的语音设备发送唤醒应答指令,以使语音设备进入唤醒状态。
也就是说,在一个空间分组内只有一个语音设备,而该语音设备向决策设备发出了唤醒请求,此时决策设备认为用户就是想要唤醒这个语音设备,因此决策设备会向该设备发出唤醒应答指令,接收到该指令的语音设备会从唤醒等待状态进入唤醒状态。
可理解的是,本发明实施例中的决策设备可以和发出唤醒请求的语音设备在一个房间内,也可以不和发出唤醒请求的语音设备在一个空间分组内。
可理解的是,本发明实施例中的各个语音设备接入同一个网络中,例如,通过以太网、蓝牙、WIFI等方式接入同一个家庭网络中。这样各个语音设备可以相互进行通信,传递数据,
举例来说,参见图2,在一个家庭内有语音设备A、语音设备B、语音设备C、语音设备D,语音设备A、语音设备B采用WIFI网络技术,语音设备C采用有线以太网技术,语音设备D采用蓝牙通信技术,均接入家庭网络设备中,并选定了语音设备A为决策设备。
用户在其手机的应用程序中标记了每一个语音设备的房间标识,例如,参见图3,通过APP软件将语音设备A、语音设备B、语音设备C分配在房间A中,将语音设备D分配在房间B中,将房间A和房间B的设备列表及设备ID信息下发至语音设备A。
参见图4,当语音设备B被用户的语音触发,需要唤醒时,首先通过语音设备B网络向决策设备即语音设备A发起唤醒请求,决策设备检查到语音设备B的房间A分组内还有语音设备A和语音设备C,则进入计时等待,计时结束后判断语音设备A和语音设备C是否也发起了唤醒请求。经过判断本次只有语音设备B提交了唤醒请求,所以本次判断为误唤醒,决策设备即向语音设备B发出终止应答指令。
以上流程判断过程中,用户均不会感知,有效降低因多语音设备的误唤醒带来的影响。
可见,本发明实施例提供的方法是针对在一个家庭内存在多个语音设备的情况下误触发的概率成倍增加的问题,提出的一种支持协同纠错的语音唤醒方案,在该方案中需要先进行设备入网、选出决策设备、标记房间,进而再执行本发明实施例提供的上述步骤S1~S4。
在具体实施时,空间分组还可以是虚拟空间分组。所述空间分组为按照发出唤醒词的用户在所述全空间内的位置和朝向进行划分后得到的虚拟空间分组,一个虚拟空间分组内包括至少两个语音设备;所述空间分组为所述云平台预先确定。虚拟空间分组并不是有用户在应用程序上自行设置的,而是云平台依据用户的位置和朝向划分的,不需要用户设置。
针对虚拟空间分组,云平台确定空间分组的方法包括:
a1、在历史唤醒任务中获取发出唤醒词的用户在所述全空间中的位置和朝向;
a2、获取各个语音设备拾取到所述预设唤醒词的声音强度,并根据所述声音强度从各个语音设备中选出第一语音设备;其中,各个所述第一语音设备所拾取到的声音强度高于其它的语音设备所拾取到的声音强度,且各个所述第一语音设备所拾取到的声音强度之间的最大差值在预设范围内;
a3、获取各个所述第一语音设备的拾音角度,并根据各个所述第一语音设备的拾音角度,从所述第一语音设备中选出拾音角度落在最佳拾音角度范围内的第二语音设备;
a4、将各个所述第二语音设备形成针对用户的所述位置和所述朝向的空间分组。
举例来说,用户在客厅和餐厅的中间位置并面向阳台发出“长虹小白”,此时入户、客厅和餐厅内的5个语音设备拾取到的声音强度稍微高于洗衣房和厨房内的语音设备拾取到的声音强度,入户、客厅和餐厅内的5个语音设备拾取到的声音强度远高于在书房、卧室和卫生间中的语音设备拾取到的声音强度。根据各个语音设备拾取到的声音强度筛选出第一语音设备。由于用户站在客厅和餐厅的中间位置,此时入户、客厅和餐厅内的5个语音设备拾取的声音强度是差不多的,而且这5个语音设备是所有语音设备中声音强度最大的语音设备,因此将这5个语音设备作为第一语音设备。
进一步的,由于用户面向阳台,因此位于客厅和阳台中的3个语音设备面向用户的发声方向,而入户、餐厅内的两个语音设备背向用户的发声方向,因此客厅和阳台中的3个语音设备的拾音角度位于最佳拾音角度范围,而入户、餐厅内的两个语音设备的拾音角度未处于最佳拾音角度范围内,因此将客厅和阳台中的3个语音设备作为第二语音设备,这3个第二语音设备形成一个虚拟空间分组。当然,如果用户面向的是餐厅方向,则餐厅和入户的两个语音设备形成一个虚拟空间分组。
可见,依据用户的位置和朝向可以对应一个虚拟空间分组,实际上当用户在某一个位置时就可以对应一个虚拟空间分组,例如,用户处于坐在客厅沙发上看电视时,此时对应的虚拟空间分组为客厅和阳台的三个语音设备形成的虚拟空间分组。
在实际中,用户处于家庭的全空间内的不同位置和朝向时,针对多次的唤醒请求,可以形成多个虚拟空间分组,将多个虚拟空间分组进行保存,在后续可以直接使用虚拟空间分组。
本发明实施例提出了一个虚拟空间分组。虚拟空间分组是根据以往的经验自动划分得到的虚拟空间分组。虚拟空间分组是依据用户的位置和朝向所确定的设备分组,一个虚拟空间分组内的各个语音设备可以位于同一个物理空间内,也可以为位于多个物理空间内。例如,当用户站在客厅和餐厅的中间并朝向阳台的方向发出唤醒请求时,在客厅的柜式空调和电视机、位于阳台的语音终端这三个设备会被划分到一个虚拟空间分组中。虚拟空间分组为一个虚拟空间分组,在这个虚拟空间分组中有至少两个语音设备,如果仅有一个语音设备就没有必要划分为一个组了。
可理解的是,在决策设备接收到一个语音设备发送来的唤醒请求时,判断在该语音设备所在的虚拟空间分组内是否有其它的语音设备。如果存在其它的语音设备,则判断在一定的时间内是否能够接收到其它语音设备发送来的唤醒请求。如果接收到其它语音设备发送来的唤醒请求,说明此时为误唤醒的可能性比较小,进而在发送唤醒请求的各个语音设备中选择一个语音设备作为应答语音设备。但是如果在所述虚拟空间分组内存在其它的语音设备,但是在一定的时间段内却没有接收到其它语音设备发送来的唤醒请求,说明误唤醒的可能性比较大,此时不确定应答语音设备。
当然,由于一个虚拟空间分组内存在至少两个语音设备,因此当一个虚拟空间分组内的一个语音设备发送给决策设备一个唤醒请求后,不存在该虚拟空间分组内不存在其它语音设备的情况。只有在物理空间分组时,才会出现一个物理分组空间内只有一个语音设备的情况。
针对虚拟空间分组,有可能出现一个语音设备不具有对应的虚拟空间分组的情况,例如,在一个房间内只有一个语音设备。在云平台确定虚拟空间分组时,没有将该语音设备划分到任何一个虚拟空间分组中。针对一个语音设备不具有对应的虚拟空间分组的情况,当决策设备接收到这个语音设备发送来的唤醒请求时,会直接将该语音设备作为应答语音设备。
可理解的是,在一个家庭的全空间内为了能够拾取到用户在各个角落发出的语音指令,设置了多个语音终端,使智能家电和语音终端的最佳拾音范围的并集能够覆盖全空间,这样可以避免或大大减少因没有拾取到用户指令而没有对用户指令进行响应的问题。而且各个语音终端与云平台连接,这样可以形成针对一个家庭的全空间内的各个语音终端的控制。
在一个实施例中,本发明实施例提供的方法可以是一种协同纠错的就近唤醒方法,该就近唤醒方法的步骤和上述步骤S10~S30一致,进一步的,在确定应答语音设备时,可以具体是基于就近原则从发送所述唤醒请求的语音设备中确定一个应答语音设备。所谓的就近原则,例如,从发送唤醒请求的语音设备中选择距离用户最近的一个语音设备作为应答语音设备。再例如,在符合声音强度要求和拾音角度范围要求的多个语音设备中选择一个距离用户最近的语音设备作为应答语音设备。
在一个实施例中,当用户发出“长虹小白”或“海尔小黑”等唤醒词时,也可以直接唤醒决策设备,由决策设备进行去唤醒和控制其他的语音设备。
当然,在一个家庭内的各个语音设备也可以具有不同的唤醒词,但是上述方法是针对具有相同唤醒词的各个语音设备而执行的。
上文中,语音终端不具有语音反馈功能。当如果在语音终端中集成了喇叭模块,使得语音终端具有语音反馈功能的话,此时语音终端可以看作是一个智能家电,因为一般语音终端都具有提示灯的功能,此时语音终端可以看作是一个具有提示灯功能的智能家电。
上文中,语音设备可以直接与云平台通信连接,也可以通过家庭局域网与云平台进行通信连接。
当然,在上文中,拾音角度范围60度~120度,也可以扩展为50~130、40~140、30~150、20~160、10~170等。
本发明实施例提供的方法,在本发明实施例中,在决策设备接收到一个语音设备发送来的唤醒请求时,决策设备会判断发送唤醒请求的语音设备所在的空间分组内是否还存在其它的语音设备,如果存在其它的语音设备,则开始计时,在计时结束后判断在计时过程中是否接收到其它语音设备的唤醒请求,如果接收到其它语音设备的唤醒请求,则确定一个应答语音设备,进而向应答语音设备发送唤醒应答指令,这样应答语音设备就会从唤醒等待状态进入到唤醒状态。这个过程用户是感知不到的,不会影响语音设备原本的工作模式,而且在空间分组内有多个语音设备时还通过本发明实施例提供的方法,将单一语音设备被误触发的异常状态排除掉,降低家庭内全部语音设备的整体误唤醒的概率。针对一次唤醒,决策设备接收到多个语音设备发送来的唤醒请求,此时决策设备会依据拾音参数选出一个最合适的语音设备作为应答语音设备,在实现就近唤醒的同时,可以为用户带来优质的使用体验。
第二方面,本发明实施例提供一种基于协同纠错的唤醒装置,在一个家庭的全空间内分布有语音设备,所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;各个所述语音设备均与云平台通信连接;所述装置安装在决策设备上,所述决策设备为预先从所述语音设备中选出的一个智能家电;参见图7,所述装置包括:
第一判断模块,用于在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;其中,一个处于唤醒等待状态的语音设备监听到唤醒词后向所述决策设备发送唤醒请求,一个家庭的全空间内的各个语音设备具有相同的唤醒词;
第二判断模块,用于若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到其它语音设备发送来的唤醒请求;
目标确定模块,用于若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态。
在一个实施例中,所述拾音参数包括拾音角度和拾音声强;所述目标确定模块具体包括:
第一判断单元,用于:针对发送唤醒请求的各个语音设备,判断拾音角度在60~120度范围内的语音设备的数量是否大于1;
第一计算单元,用于:若拾音角度在60~120度范围内的语音设备的数量大于1,则根据每一个拾音角度在60~120度范围内的语音设备的拾音角度和拾音声强,计算该语音设备对应的唤醒评分;一个语音设备的唤醒评分用于表征用户唤醒该语音设备的概率;将唤醒评分最高的语音设备作为应答语音设备;
第一确定单元,用于:若所述拾音角度在60~120度范围的语音设备的数量为1,则将所述拾音角度在60~120度范围的语音设备作为应答语音设备;若所述拾音角度在60~120度范围的语音设备的数量为0,则将所述拾音声强最高的语音设备作为应答语音设备。
在一个实施例中,所述第一计算单元具体用于:采用第二计算式计算该语音设备对应的唤醒评分,所述第二计算式包括:
当r在第一范围内时,P2=a*s+b/|r-90|
当r在第二范围内时,P2=b*s-a*|r-90|+c
式中,P2为所述唤醒评分;s为所述拾音声强;r为所述拾音角度;所述第一范围为:r大于等于60且小于80,或者,r大于100且小于等于120;所述第二范围为:r大于等于80且小于等于100;a和b为预设权重,且a大于b,c为10*a+b/10。
可理解的是,第二方面提供的装置和第一方面提供的方法是对应的,本方面中有关内容的解释、举例、有益效果等内容可以参见第一方面中的有关内容,此处不再赘述。
第三方面,本发明实施例提供一种基于协同纠错的唤醒***,参见图8,包括在一个家庭内分布设置的语音设备以及与各个语音设备通信连接的云平台;所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;所述云平台用于对全空间内的语音设备进行控制;所述决策设备为预先从所述语音设备中选出的一个智能家电,所述决策设备具有第二方面提供的基于协同纠错的唤醒装置。
可理解的是,该唤醒***包括各个语音设备、云平台,当然还可以包括移动终端上的应用程序,该应用程序可以对各个语音设备进行控制。图8中的N为大于2的正整数。
可理解的是,第三方面提供的***中有关内容的解释、举例、有益效果等内容可以参见第一方面、第二方面中的有关内容,此处不再赘述。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面提供的方法的步骤。
具体地,可以提供配有存储介质的***或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
可理解的是,第四方面提供的介质中有关内容的解释、举例、有益效果等内容可以参见第一方面、第二方面中的有关内容,此处不再赘述。
第五方面,本发明实施例提供一种语音设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面提供的所述方法的步骤。
可理解的是,该语音设备即决策设备。
可理解的是,第五方面提供的语音设备中有关内容的解释、举例、有益效果等内容可以参见第一方面、第二方面中的有关内容,此处不再赘述。
第六方面,为提高智能家电的智能联动运行,本发明实施例还提供了一种成套家电控制***,该成套家电控制***,包括物联网平台1、内容平台2、语义平台3、云平台4、语音获取模块7、智能终端5,物联网平台1可以为智汇家AIOT平台,该物联网平台具有配置模块11和智能控制场景模块12,其中,配置模块11和智能控制场景模块12通过通信网络与智能终端5进行信息传输并控制智能终端5的运行;云平台4分别与语义平台3、物联网平台1通过通信网络进行信息传输;移动端6通过无线的方式与云平台1实现信息传输;语义平台3包括语音解析模块33、功能反馈模块32和交互反馈模块31;语义平台3能够解析语音获取模块7获取的语音信号,并根据解析的语音信号输出控制指令,该控制指令通过无线通信的方式与云平台和物联网平台进行通信,进一步控制或驱动智能终端的正常运行。
进一步地,为实现远程控制和移动端控制,该种成套家电控制***包括移动端6和语音播报模块8,移动端可以通过APP与物联网平台进行通信,或移动端6与智汇家AIOT平台进行通信,控制智能终端的正常运行;语音播报模块8完成语音播报。
进一步地,上述成套家电***的语音指令***包括语音拾取模块71、解析语音指令模块34、逻辑判断模块9、指定设备模块91、非指定设备模块92、AI分级管理模块311、AI智能分组模块312、语音播报模块81、执行智能设备指令模块10和反馈指令执行结果模块11;当语音拾取模块获取到用户的语音指令后,将语音指令传送到解析语音指令模块33,然后通过逻辑判断模块9的判断结果驱动控制智能终端运行,智能终端将语音指令的执行结果反馈并播报;其中AI分级管理模块311能够进行分级管理,AI智能分组模块312可以实现智能分组;其中指定设备模块91可以对特定的智能终端进行指定管理控制,非指定设备模块92可以对非特定的智能终端进行统一的管理控制。其中,指定的设备可以通过空间位置(如房间位置)和设备名称(空调或冰箱等)进行设备指定的定义。逻辑判断模块能够根据优先级对智能终端进行控制;AI分级管理模块能够根据智能终端的功能对空调、冰箱、洗衣机和电视的功能进行分类管理,该分类可以分为通用技能、专属技能和公共技能;AI智能分组模块能够根据空间区域(客厅、卧室、书房、厨房、阳台)对该空间区域内的智能终端(如空调、冰箱、洗衣机和电视进行归组)管理和控制。
可理解的是,语音拾取模块71和语音获取模块可以为一个模块,当然也可以不是同一个模块。解析语音指令模块34和语音解析模块33可以为同一个模块,当然也可以不是同一个模块。语音播放模块8和语音播放模块81可以为一个模块,当然也可以不是同一个模块。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (18)

1.一种基于协同纠错的唤醒方法,其特征在于,在一个家庭的全空间内分布有语音设备,所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;所述语音设备均与云平台通信连接;所述方法由决策设备执行,所述决策设备为预先从所述语音设备中选出的一个智能家电;所述方法包括:
在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;其中,一个处于唤醒等待状态的语音设备监听到唤醒词后向所述决策设备发送唤醒请求,一个家庭的全空间内的各个语音设备具有相同的唤醒词;
若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到所述其它语音设备发送来的唤醒请求;
若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态。
2.根据权利要求1所述的方法,其特征在于,基于协同纠错的唤醒方法为协同纠错的就近唤醒方法,所述若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,包括:基于就近原则从发送所述唤醒请求的语音设备中确定一个应答语音设备。
3.根据权利要求1所述的方法,其特征在于,若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,包括:
若在计时过程中接收到其它语音设备发送来的唤醒请求,则获取每一个发送唤醒请求的语音设备的拾音参数;
根据发送唤醒请求的各个语音设备各自的拾音参数,从发送所述唤醒请求的语音设备中确定所述应答语音设备。
4.根据权利要求1所述的方法,其特征在于,各个语音设备均由所在家庭的用户移动终端上的同一个预设应用程序控制;所述决策设备由所述预设应用程序预先确定;其中,所述预设应用程序确定所述决策设备的过程包括:
获取接入家庭网络的各个语音设备;
获取加入所述家庭网络的每一个语音设备的带电状态数据、运算能力数据和用户使用习惯数据;
根据每一个语音设备的带电状态数据、运算能力数据和用户使用习惯数据,确定每一个语音设备的决策能力评分;
将所述决策能力评分最高的语音设备作为所述决策设备。
5.根据权利要求4所述的方法,其特征在于,所述根据每一个语音设备的带电状态数据、运算能力数据和用户使用习惯数据,确定每一个语音设备的决策能力评分,包括:采用第一计算式计算每一个语音设备的决策能力评分,所述第一计算式包括:
P1=u*(d2-1/y)
式中,P1为所述决策能力评分;d为语音设备在过去一个月内的平均每天带电时长;y为语音设备的CPU运算能力;u为家庭用户在当前季节对语音设备的使用标记;若家庭用户在当前季节使用该语音设备,则该语音设备对应的使用标记为1;若家庭用户在当前季节不适用该语音设备,则该语音设备对应的使用标记为0。
6.根据权利要求4所述的方法,其特征在于,所述预设应用程序确定所述决策设备的过程还包括:所述预设应用程序通过心跳指令的方式按照预设时间间隔检测当前的决策设备是否处于带电状态;若未处于带电状态,则选择处于带电状态的各个语音设备中决策能力评分最高的一个语音设备作为当前的决策设备。
7.根据权利要求4所述的方法,其特征在于,所述空间分组为按照物理空间分组的方式对各个房间内的语音设备进行划分后得到的多个组,一个房间对应一个空间分组,一个空间分组内包括至少一个语音设备;
对应的,所述预设应用程序用于提供配置界面,以使用户对接入家庭网络的每一个语音设备配置对应的房间标识;对应的,所述判断该语音设备所在的空间分组内是否存在其它语音设备,包括:从所述预设应用程序中获取该语音设备对应的房间标识,将该房间标识作为第一房间标识;判断其它语音设备的房间标识中是否存在与所述第一房间标识相同的房间标识;若存在,则该语音设备所在的房间内存在其它语音设备;否则,该语音设备所在的房间内不存在其它语音设备。
8.根据权利要求3所述的方法,其特征在于,所述拾音参数包括拾音角度和拾音声强;对应的,所述根据发送唤醒请求的各个语音设备各自的拾音参数,确定应答语音设备,包括:
针对发送唤醒请求的各个语音设备,判断拾音角度在60~120度范围内的语音设备的数量是否大于1;
若拾音角度在60~120度范围内的语音设备的数量大于1,则根据每一个拾音角度在60~120度范围内的语音设备的拾音角度和拾音声强,计算该语音设备对应的唤醒评分;一个语音设备的唤醒评分用于表征用户唤醒该语音设备的概率;将唤醒评分最高的语音设备作为应答语音设备;
若所述拾音角度在60~120度范围的语音设备的数量为1,则将所述拾音角度在60~120度范围的语音设备作为应答语音设备;
若所述拾音角度在60~120度范围的语音设备的数量为0,则将所述拾音声强最高的语音设备作为应答语音设备。
9.根据权利要求8所述的方法,其特征在于,所述计算该语音设备对应的唤醒评分,包括:采用第二计算式计算该语音设备对应的唤醒评分,所述第二计算式包括:
当r在第一范围内时,P2=a*s+b/|r-90|
当r在第二范围内时,P2=b*s-a*|r-90|+c
式中,P2为所述唤醒评分;s为所述拾音声强;r为所述拾音角度;所述第一范围为:r大于等于60且小于80,或者,r大于100且小于等于120;所述第二范围为:r大于等于80且小于等于100;a和b为预设权重,且a大于b,c为10*a+b/10。
10.根据权利要求1~9任一项所述的方法,其特征在于,所述方法还包括如下至少一项:
若发送唤醒请求的语音设备所在的空间分组内不存在其它语音设备,则向发送唤醒请求的语音设备发送唤醒应答指令,以使语音设备进入唤醒状态;
若在计时过程中没有接收到其它语音设备发送来的唤醒请求,则确定发送唤醒请求的语音设备为误触发,则向发送唤醒请求的语音设备发送终止唤醒应答指令,以使发送唤醒请求的语音设备继续保持在唤醒等待状态。
11.根据权利要求1所述的方法,其特征在于,所述空间分组为按照发出唤醒词的用户在所述全空间内的位置和朝向进行划分后得到的虚拟空间分组,一个虚拟空间分组内包括至少两个语音设备;所述空间分组为所述云平台预先确定;
其中,所述云平台确定空间分组的方法包括:所述云平台在历史唤醒任务中获取发出唤醒词的用户在所述全空间中的位置和朝向;获取各个语音设备拾取到所述预设唤醒词的声音强度,并根据所述声音强度从各个语音设备中选出第一语音设备;其中,各个所述第一语音设备所拾取到的声音强度高于其它的语音设备所拾取到的声音强度,且各个所述第一语音设备所拾取到的声音强度之间的最大差值在预设范围内;获取各个所述第一语音设备的拾音角度,并根据各个所述第一语音设备的拾音角度,从所述第一语音设备中选出拾音角度落在最佳拾音角度范围内的第二语音设备;将各个所述第二语音设备形成针对用户的所述位置和所述朝向的空间分组。
12.一种基于协同纠错的唤醒装置,其特征在于,在一个家庭的全空间内分布有语音设备,所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;各个所述语音设备均与云平台通信连接;
所述装置安装在决策设备上,所述决策设备为预先从所述语音设备中选出的一个智能家电;所述装置包括:
第一判断模块,用于在接收到一个语音设备发送来的唤醒请求时,判断该语音设备所在的空间分组内是否存在其它语音设备;其中,一个处于唤醒等待状态的语音设备监听到唤醒词后向所述决策设备发送唤醒请求,一个家庭的全空间内的各个语音设备具有相同的唤醒词;
第二判断模块,用于若存在其它语音设备,则开始计时,在计时时长达到预设时长后判断在计时过程中是否接收到其它语音设备发送来的唤醒请求;
目标确定模块,用于若在计时过程中接收到其它语音设备发送来的唤醒请求,从发送所述唤醒请求的语音设备中确定一个应答语音设备,并向所述应答语音设备发送唤醒应答指令,以使所述应答语音设备从唤醒等待状态进入唤醒状态。
13.一种基于协同纠错的唤醒***,其特征在于,包括在一个家庭内分布设置的语音设备以及与各个语音设备通信连接的云平台;所述语音设备中包括智能家电,所述智能家电中的语音模块具有语音拾取和语音反馈功能;所述云平台用于对全空间内的语音设备进行控制;所述决策设备为预先从所述语音设备中选出的一个智能家电,所述决策设备上具有权利要求12所述的基于协同纠错的唤醒装置。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-11任一项所述方法的步骤。
15.一种语音设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-11任一项所述方法的步骤。
16.一种成套家电控制***,其特征在于,包括物联网平台(1)、内容平台(2)、语义平台(3)、云平台(4)、语音获取模块(7)、智能终端(5);其中,物联网平台(1)为智汇家AIOT平台,该物联网平台具有配置模块(11)和智能控制场景模块(12),配置模块(11)和智能控制场景模块(12)通过通信网络与智能终端(5)进行信息传输并控制智能终端(5)的运行;云平台(4)分别与语义平台(3)和物联网平台(1)通过通信网络进行信息传输;语义平台(3)包括语音解析模块(33)、功能反馈模块(32)和交互反馈模块(31),语义平台(3)能够解析语音获取模块(7)获取的语音信号,并根据解析的语音信号输出控制指令,该控制指令通过无线通信的方式分别与云平台(4)和物联网平台(1)进行通信,控制或驱动智能终端(5)的运行。
17.根据权利要求16所述的套家电控制***,其特征在于,还包括移动端(6)和语音播报模块(8),移动端(6)通过APP与物联网平台(1)进行通信,或移动端(6)与智汇家AIOT平台进行通信,控制智能终端(5)的运行,语音播报模块(8)用于语音播报。
18.根据权利要求16或17所述的套家电控制***,其特征在于,还包括语音指令***,该语音指令***包括语音拾取模块(71)、解析语音指令模块(34)、逻辑判断模块(9)、指定设备模块(91)、非指定设备模块(92)、AI分级管理模块(311)、AI智能分组模块(312)、语音播报模块(81)、执行智能设备指令模块(10)和反馈指令执行结果模块(11);当语音拾取模块获取到用户的语音指令后,将语音指令传送到解析语音指令模块(33),然后通过逻辑判断模块(9)的判断结果驱动控制智能终端运行,智能终端将语音指令的执行结果反馈并播报;AI分级管理模块(311)用于进行分级管理,AI智能分组模块(312)用于实现智能分组;指定设备模块(91)用于对特定的智能终端进行指定管理控制,非指定设备模块(92)用于对非特定的智能终端进行统一的管理控制。
CN202210607070.8A 2022-05-31 2022-05-31 基于协同纠错的唤醒方法、装置及***、介质、设备 Pending CN115019793A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210607070.8A CN115019793A (zh) 2022-05-31 2022-05-31 基于协同纠错的唤醒方法、装置及***、介质、设备
PCT/CN2023/096289 WO2023231894A1 (zh) 2022-05-31 2023-05-25 基于协同纠错的唤醒方法、装置及***、介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210607070.8A CN115019793A (zh) 2022-05-31 2022-05-31 基于协同纠错的唤醒方法、装置及***、介质、设备

Publications (1)

Publication Number Publication Date
CN115019793A true CN115019793A (zh) 2022-09-06

Family

ID=83070340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210607070.8A Pending CN115019793A (zh) 2022-05-31 2022-05-31 基于协同纠错的唤醒方法、装置及***、介质、设备

Country Status (2)

Country Link
CN (1) CN115019793A (zh)
WO (1) WO2023231894A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231894A1 (zh) * 2022-05-31 2023-12-07 四川虹美智能科技有限公司 基于协同纠错的唤醒方法、装置及***、介质、设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107622767B (zh) * 2016-07-15 2020-10-02 青岛海尔智能技术研发有限公司 家电***的语音控制方法与家电控制***
CN109391528A (zh) * 2018-08-31 2019-02-26 百度在线网络技术(北京)有限公司 语音智能设备的唤醒方法、装置、设备及存储介质
KR102246661B1 (ko) * 2019-06-25 2021-05-03 엘지전자 주식회사 음성 인에이블 디바이스 선택 방법 및 장치
CN111192591B (zh) * 2020-02-10 2022-12-13 百度在线网络技术(北京)有限公司 智能设备的唤醒方法、装置、智能音箱及存储介质
CN111640434A (zh) * 2020-06-05 2020-09-08 三星电子(中国)研发中心 用于控制语音设备的方法和装置
CN112037787A (zh) * 2020-10-20 2020-12-04 北京小米松果电子有限公司 唤醒控制方法、装置及计算机可读存储介质
CN113096658A (zh) * 2021-03-31 2021-07-09 歌尔股份有限公司 一种终端设备及其唤醒方法、装置和计算机可读存储介质
CN113689857B (zh) * 2021-08-20 2024-04-26 北京小米移动软件有限公司 语音协同唤醒方法、装置、电子设备及存储介质
CN114465837B (zh) * 2022-01-30 2024-03-08 云知声智能科技股份有限公司 一种智能语音设备协同唤醒处理方法及装置
CN115019793A (zh) * 2022-05-31 2022-09-06 四川虹美智能科技有限公司 基于协同纠错的唤醒方法、装置及***、介质、设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231894A1 (zh) * 2022-05-31 2023-12-07 四川虹美智能科技有限公司 基于协同纠错的唤醒方法、装置及***、介质、设备

Also Published As

Publication number Publication date
WO2023231894A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
CN108667697B (zh) 语音控制冲突解决方法、装置及语音控制***
WO2020199673A1 (zh) 控制家电设备的方法、装置和家电设备
US20150032456A1 (en) Intelligent placement of appliance response to voice command
CN113096658A (zh) 一种终端设备及其唤醒方法、装置和计算机可读存储介质
WO2023231894A1 (zh) 基于协同纠错的唤醒方法、装置及***、介质、设备
WO2021082131A1 (zh) 空气调节设备、温度控制方法和装置
CN111965991A (zh) 智能控制开关的权限调节方法、装置、智能控制开关以及存储介质
CN114120996A (zh) 语音交互方法及装置
CN110632854A (zh) 语音控制方法及装置、语音控制节点及***及存储介质
CN113506568B (zh) 中控及智能设备控制方法
CN109979495B (zh) 基于人脸识别的音频进度智能跟随播放方法及***
CN114898750A (zh) 基于协同响应的智能家电控制方法、装置及***、设备
CN114999484A (zh) 交互语音设备的选举方法及***
CN116582382B (zh) 智能设备控制方法、装置、存储介质及电子设备
CN113138559A (zh) 设备交互方法、装置、电子设备及存储介质
CN114035438B (zh) 一种物联网多功能的智能网关***
CN111076347A (zh) 一种空调控制方法、装置、存储介质及空调
WO2022268136A1 (zh) 一种进行语音控制的终端设备及服务器
CN115834271A (zh) 服务器、智能设备和智能设备控制方法
CN112164398B (zh) 语音设备及其唤醒方法、装置以及存储介质
CN112216279A (zh) 语音传输方法、智能终端及计算机可读存储介质
CN114815635A (zh) 计算机可读存储介质、智能面板及其语音交互方法
CN114999483A (zh) 语音唤醒处理方法及装置
CN115001891A (zh) 基于分级管理的智能家电控制方法及装置
WO2024002298A1 (zh) 一种语音指令处理方法、装置、***以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination