CN115171703A - 分布式语音唤醒方法和装置、存储介质及电子装置 - Google Patents
分布式语音唤醒方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN115171703A CN115171703A CN202210603410.XA CN202210603410A CN115171703A CN 115171703 A CN115171703 A CN 115171703A CN 202210603410 A CN202210603410 A CN 202210603410A CN 115171703 A CN115171703 A CN 115171703A
- Authority
- CN
- China
- Prior art keywords
- group
- devices
- equipment
- noise
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000008030 elimination Effects 0.000 claims abstract description 81
- 238000003379 elimination reaction Methods 0.000 claims abstract description 81
- 230000009467 reduction Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 19
- 230000005236 sound signal Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004887 air purification Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/20—Pattern transformations or operations aimed at increasing system robustness, e.g. against channel noise or different working conditions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本申请公开了分布式语音唤醒方法和装置、存储介质及电子装置,涉及智慧家庭技术领域,包括:确定第一组设备接收到第一唤醒音频的情况下,获取第一组设备中的每个设备第一唤醒音频生成的原始信号得到第一组原始信号,获取第一组设备中的每个设备对于第一唤醒音频的反馈信息得到第一组反馈信息,根据第一组反馈信息从第一组设备中确定唤醒了交互功能的设备得到第二组设备,在第一组原始信号中确定第二组设备生成的原始信号得到第二组原始信号;根据第二组设备中的设备的数量从预设的一组噪音消除方式中确定目标噪音消除方式;使用目标噪音消除方式对第二组原始信号进行噪音消除处理得到一组降噪信号,根据一组降噪信号在第二组设备中确定目标设备。
Description
技术领域
本申请涉及智慧家庭技术领域,具体而言,涉及一种分布式语音唤醒方法和装置、存储介质及电子装置。
背景技术
相关技术中,随着人工智能技术的发展,越来越多的智能语音设备进入普通家庭。当场景中配置唤醒模块设备多了之后,用户说出唤醒词之后,电视、空调、冰箱等智能设备都同时说“我在”。用物联网技术将各个设备组网,通过智能感知算法,根据用户与音箱的距离和朝向等维度进行智能判断,在用户说出唤醒词之后,只有一台设备响应并与之交互,其他设备保持安静。安静场景下,可以利用信号的幅值/能量作为判别准则。由于声波的衰减,距离近的设备信号幅值大于远端设备。当出现较复杂的场景时,某台设备自播时,用户说出唤醒词,此时对于自播设备,回声属于自噪,而对于其他设备来说属于外噪,简单的以信号的幅值/能量作为判别准则将无法准确的确定出响应的一台设备。
针对相关技术中,在复杂场景下,无法准确且快速的从多个设备中确定出响应的设备等问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种分布式语音唤醒方法和装置、存储介质及电子装置,以至少解决相关技术中,在复杂场景下,无法准确且快速的从多个设备中确定出响应的设备等问题。
根据本申请实施例的一个实施例,提供了一种分布式语音唤醒方法,包括:在确定第一组设备接收到第一唤醒音频的情况下,获取第一组设备中的每个设备根据第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取第一组设备中的每个设备对于第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,第一组设备为同一网络中的设备,反馈信息用于指示第一组设备中对应的设备是否响应于第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;根据第一组反馈信息从第一组设备中确定唤醒了交互功能的设备,共得到第二组设备,并在第一组原始信号中确定第二组设备生成的原始信号,共得到第二组原始信号;根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;使用目标噪音消除方式对第二组原始信号进行噪音消除处理,得到一组降噪信号;根据一组降噪信号,在第二组设备中确定目标设备,并控制目标设备播放与第一唤醒音频对应的第二音频,以及控制第二组设备中除第二目标设备之外的设备静音。
在一个示例性实施例中,根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式,包括:在第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从一组噪音消除方式中确定第一噪音消除方式,其中,第一噪音消除方式用于通过预设的第一自适应滤波器从第二组原始信号中滤除自噪信号,以及通过第二自适应滤波器从第二组原始信号中滤除外噪信号,第二自适应滤波器是根据第二组设备之间的波束形成生成的滤波器;在第二组设备中的设备的数量小于第一预设阈值的情况下,从一组噪音消除方式中确定第二噪音消除方式,其中,第二噪音消除方式用于通过第一自适应滤波器从第二组原始信号中滤除自噪信号,以及从第二组原始信号中滤除第二组设备之间通过声源分离确定的外噪信号。
在一个示例性实施例中,在从一组噪音消除方式中确定第一噪音消除方式之后,上述方法还包括:统计经过第一噪音信号消除方式处理后的第二组设备对应的目标降噪信号的第一能量值;以及确定第一噪音信号消除方式滤除的第二组原始信号中外噪信号对应的第二能量值;在第一能量值与第二能量值的差值低于第二预设阈值的情况下,确定目标对象与第二组设备处于同一角度;在第一噪音信号消除方式处理后的目标第二组原始信号中添加预估信号,其中,预估信号为预设的用于平衡信号抵消的信号。
在一个示例性实施例中,在第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从一组噪音消除方式中确定第一噪音消除方式之前,上述方法还包括:确定第二组设备中的每个设备在目标区域中的位置信息,共得到一组位置信息;通过一组位置信息确定第二组设备中每两个设备之间的相对位置;基于相对位置确定第二组设备中的每个设备对应的第二自适应滤波器。
在一个示例性实施例中,通过一组位置信息确定第二组设备中每两个设备之间的相对位置,包括:第二组设备中每个设备逐次进入校准模式,根据一组位置信息确定每个设备与其他设备之间的相对方向;基于相对方向做波束形成,得到第二组设备中每两个设备之间的第一预估外噪和第二预估外噪;在第一预估外噪和第二预估外噪相同的情况下,确定第二组设备中每两个设备之间的相对位置。
在一个示例性实施例中,在第二组设备中的设备的数量小于第一预设阈值的情况下,从一组噪音消除方式中确定第二噪音消除方式之前,上述方法还包括:将第二组原始信号通过目标算法分解为第一子信号和第二子信号;计算第一子信号对应的第三能量值,以及第二子信号对应的第四能量值;将第三能量值、第四能量值中趋近于目标能量值的子信号确定为第二组原始信号对应的回声信号,并基于回声信号确定第二组原始信号中待滤除的外噪信号。
在一个示例性实施例中,根据一组降噪信号,在第二组设备中确定目标设备,包括:在第二组设备中每一个设备均存在降噪信号的情况下,确定第二组设备中的每个设备对应的降噪信号的目标幅值,得到第二组设备对应的多个目标幅值;将多个目标幅值从大到小依次排列,选择目标幅值最大的设备为响应设备,并将响应设备作为从第二组设备中确定目标设备,以与发出第一唤醒音频的目标对象进行交互。
根据本申请实施例的另一个实施例,还提供了一种分布式语音唤醒装置,包括:获取模块,用于在确定第一组设备接收到第一唤醒音频的情况下,获取第一组设备中的每个设备根据第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取第一组设备中的每个设备对于第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,第一组设备为同一网络中的设备,反馈信息用于指示第一组设备中对应的设备是否响应于第一唤醒音频唤醒交互功能,原始信号为设备接收到的第一唤醒音频后转化出的音频信号;第一确定模块,用于根据第一组反馈信息从第一组设备中确定唤醒了交互功能的设备,共得到第二组设备,并在第一组原始信号中确定第二组设备生成的原始信号,共得到第二组原始信号;第二确定模块,用于根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;处理模块,用于使用目标噪音消除方式对第二组原始信号进行噪音消除处理,得到一组降噪信号;控制模块,用于根据一组降噪信号,在第二组设备中确定目标设备,并控制目标设备播放与第一唤醒音频对应的第二音频,以及控制第二组设备中除第二目标设备之外的设备静音。
在一个示例性实施例中,上述第二确定模块,还用于在第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从一组噪音消除方式中确定第一噪音消除方式,其中,第一噪音消除方式用于通过预设的第一自适应滤波器从第二组原始信号中滤除自噪信号,以及通过第二自适应滤波器从第二组原始信号中滤除外噪信号,第二自适应滤波器是根据第二组设备之间的波束形成生成的滤波器;在第二组设备中的设备的数量小于第一预设阈值的情况下,从一组噪音消除方式中确定第二噪音消除方式,其中,第二噪音消除方式用于通过第一自适应滤波器从第二组原始信号中滤除自噪信号,以及从第二组原始信号中滤除第二组设备之间通过声源分离确定的外噪信号。
在一个示例性实施例中,上述第二确定模块还包括:添加单元,用于统计经过第一噪音信号消除方式处理后的第二组设备对应的目标降噪信号的第一能量值;以及确定第一噪音信号消除方式滤除的第二组原始信号中外噪信号对应的第二能量值;在第一能量值与第二能量值的差值低于第二预设阈值的情况下,确定目标对象与第二组设备处于同一角度;在第一噪音信号消除方式处理后的目标第二组原始信号中添加预估信号,其中,预估信号为预设的用于平衡信号抵消的信号。
在一个示例性实施例中,上述第二确定模块,还用于确定第二组设备中的每个设备在目标区域中的位置信息,共得到一组位置信息;通过一组位置信息确定第二组设备中每两个设备之间的相对位置;基于相对位置确定第二组设备中的每个设备对应的第二自适应滤波器。
在一个示例性实施例中,上述第二确定模块,还用于第二组设备中每个设备逐次进入校准模式,根据一组位置信息确定每个设备与其他设备之间的相对方向;基于相对方向做波束形成,得到第二组设备中每两个设备之间的第一预估外噪和第二预估外噪;在第一预估外噪和第二预估外噪相同的情况下,确定第二组设备中每两个设备之间的相对位置。
在一个示例性实施例中,上述第二确定模块还包括:比较单元,用于将第二组原始信号通过目标算法分解为第一子信号和第二子信号;计算第一子信号对应的第三能量值,以及第二子信号对应的第四能量值;将第三能量值、第四能量值中趋近于目标能量值的子信号确定为第二组原始信号对应的回声信号,并基于回声信号确定第二组原始信号中待滤除的外噪信号。
在一个示例性实施例中,上述控制模块,还用于在第二组设备中每一个设备均存在降噪信号的情况下,确定第二组设备中的每个设备对应的降噪信号的目标幅值,得到第二组设备对应的多个目标幅值;将多个目标幅值从大到小依次排列,选择目标幅值最大的设备为响应设备,并将响应设备作为从第二组设备中确定目标设备,以与发出第一唤醒音频的目标对象进行交互。
根据本申请实施例的另一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述分布式语音唤醒方法。
根据本申请实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的分布式语音唤醒方法。
在本申请实施例中,在确定第一组设备接收到第一唤醒音频的情况下,获取第一组设备中的每个设备根据第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取第一组设备中的每个设备对于第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,第一组设备为同一网络中的设备,反馈信息用于指示第一组设备中对应的设备是否响应于第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;根据第一组反馈信息从第一组设备中确定唤醒了交互功能的设备,共得到第二组设备,并在第一组原始信号中确定第二组设备生成的原始信号,共得到第二组原始信号;根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;使用目标噪音消除方式对第二组原始信号进行噪音消除处理,得到一组降噪信号;根据一组降噪信号,在第二组设备中确定目标设备,并控制目标设备播放与第一唤醒音频对应的第二音频,以及控制第二组设备中除第二目标设备之外的设备静音,即在分布式处理场景下,确定目标区域内对应的多个设备中对目标对象发出的第一唤醒音频信号做出反馈的设备的原始信号,并对该原始信号进行噪音消除处理,得到对应的降噪信号,并通过降噪信号从多个存在反馈的目标设备中确定最终的目标设备;采用上述技术方案,解决了相关技术中,在复杂场景下,无法准确且快速的从多个设备中确定出响应的设备等问题,实现了能够在复杂场景下可以从存在响应的多个设备中确定出最终与目标对象进行交互的目标设备,并提升了后续以信号的幅值/能量作为判别准则的方案的有效性的技术效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种分布式语音唤醒方法的硬件环境示意图;
图2是根据本申请实施例的一种分布式语音唤醒方法的流程图;
图3是根据本申请可选实施例的选用波束形成的计算流程图;
图4是根据本申请可选实施例的选用声源分离的计算流程图;
图5是根据本申请实施例的一种可选的分布式语音唤醒装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种分布式语音唤醒方法。该分布式语音唤醒方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述分布式语音唤醒方法可以应用于如图1所示的由终端设备102、服务器104和摄像设备106所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在本实施例中提供了一种分布式语音唤醒方法,应用于上述摄像设备,图2是根据本申请实施例的一种可选的分布式语音唤醒方法的流程图,该流程包括如下步骤:
步骤S202,在确定第一组设备接收到第一唤醒音频的情况下,获取所述第一组设备中的每个设备根据所述第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取所述第一组设备中的每个设备对于所述第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,所述第一组设备为同一网络中的设备,所述反馈信息用于指示所述第一组设备中对应的设备是否响应于所述第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;
步骤S204,根据所述第一组反馈信息从所述第一组设备中确定唤醒了所述交互功能的设备,共得到第二组设备,并在所述第一组原始信号中确定所述第二组设备生成的原始信号,共得到第二组原始信号;
步骤S206,根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;
步骤S208,使用所述目标噪音消除方式对所述第二组原始信号进行噪音消除处理,得到一组降噪信号;
步骤S210,根据所述一组降噪信号,在所述第二组设备中确定目标设备,并控制所述目标设备播放与所述第一唤醒音频对应的第二音频,以及控制所述第二组设备中除第二目标设备之外的设备静音。
通过上述步骤,在确定第一组设备接收到第一唤醒音频的情况下,获取第一组设备中的每个设备根据第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取第一组设备中的每个设备对于第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,第一组设备为同一网络中的设备,反馈信息用于指示第一组设备中对应的设备是否响应于第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;根据第一组反馈信息从第一组设备中确定唤醒了交互功能的设备,共得到第二组设备,并在第一组原始信号中确定第二组设备生成的原始信号,共得到第二组原始信号;根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;使用目标噪音消除方式对第二组原始信号进行噪音消除处理,得到一组降噪信号;根据一组降噪信号,在第二组设备中确定目标设备,并控制目标设备播放与第一唤醒音频对应的第二音频,以及控制第二组设备中除第二目标设备之外的设备静音,即在分布式处理场景下,确定目标区域内对应的多个设备中对目标对象发出的第一唤醒音频信号做出反馈的设备的原始信号,并对该原始信号进行噪音消除处理,得到对应的降噪信号,并通过降噪信号从多个存在反馈的目标设备中确定最终的目标设备;采用上述技术方案,解决了相关技术中,在复杂场景下,无法准确且快速的从多个设备中确定出响应的设备等问题,实现了能够在复杂场景下可以从存在响应的多个设备中确定出最终与目标对象进行交互的目标设备,并提升了后续以信号的幅值/能量作为判别准则的方案的有效性的技术效果。
在一个示例性实施例中,根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式,包括:在第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从一组噪音消除方式中确定第一噪音消除方式,其中,第一噪音消除方式用于通过预设的第一自适应滤波器从第二组原始信号中滤除自噪信号,以及通过第二自适应滤波器从第二组原始信号中滤除外噪信号,第二自适应滤波器是根据第二组设备之间的波束形成生成的滤波器;在第二组设备中的设备的数量小于第一预设阈值的情况下,从一组噪音消除方式中确定第二噪音消除方式,其中,第二噪音消除方式用于通过第一自适应滤波器从第二组原始信号中滤除自噪信号,以及从第二组原始信号中滤除第二组设备之间通过声源分离确定的外噪信号。
可选的,上述外噪信号指处于同一组网内的组内其他设备自播时,某设备接收到的噪声对应的信号。上述自噪信号是设备在运行时设备本身所产生噪音对应的信号。
在一个示例性实施例中,在从一组噪音消除方式中确定第一噪音消除方式之后,上述方法还包括:统计经过第一噪音信号消除方式处理后的第二组设备对应的目标降噪信号的第一能量值;以及确定第一噪音信号消除方式滤除的第二组原始信号中外噪信号对应的第二能量值;在第一能量值与第二能量值的差值低于第二预设阈值的情况下,确定目标对象与第二组设备处于同一角度;在第一噪音信号消除方式处理后的目标第二组原始信号中添加预估信号,其中,预估信号为预设的用于平衡信号抵消的信号。
需要说明的是,波束形成使用于多麦场景,可以是多麦的声源定位比较准确的情况,也可以是多麦的波束效果较好的情况,如主瓣宽度小。
可选的,如果用户(相当于本发明实施例中的目标对象)和设备A在同一角度时,此时估计的外噪会有唤醒词,导致信号抵消。此时,可用麦克风信号来计算统计能量。判断的方法,可选的,麦克风信号和估计外噪的信号分别接一个唤醒模块,当后者打分接近甚至大于前者时,可认为用户和设备A在同一角度。
在一个示例性实施例中,在第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从一组噪音消除方式中确定第一噪音消除方式之前,上述方法还包括:确定第二组设备中的每个设备在目标区域中的位置信息,共得到一组位置信息;通过一组位置信息确定第二组设备中每两个设备之间的相对位置;基于相对位置确定第二组设备中的每个设备对应的第二自适应滤波器。
在一个示例性实施例中,通过一组位置信息确定第二组设备中每两个设备之间的相对位置,包括:第二组设备中每个设备逐次进入校准模式,根据一组位置信息确定每个设备与其他设备之间的相对方向;基于相对方向做波束形成,得到第二组设备中每两个设备之间的第一预估外噪和第二预估外噪;在第一预估外噪和第二预估外噪相同的情况下,确定第二组设备中每两个设备之间的相对位置。
波束形成;波束形成对多路信号合并处理,可以抑制非目标方向的干扰信号,增强目标方向的声音信号。本发明可选实施例建议在设备麦克风个数在4个及以上时,外噪消除方法使用波束形成方法。流程如下:步骤一:用户端校准。设备的相对位置变动时,设备A到B的传播路径也会发生变化。一旦位置改变,可打开自定义校准模块:开启后,设备A自动播放一段音乐或者其他,设备B计算A的相对位置。(注:声源位置计算可用music、gcc_phat、tdoa、aml等算法)。步骤二:信号降噪:首先,设备B以A方向做波束形成(如mvdr,或者gsc结构),可以得到估计的外噪;然后,用自适应滤波技术(如NLMS)从麦克风信号中过滤出外噪。
在一个示例性实施例中,在第二组设备中的设备的数量小于第一预设阈值的情况下,从一组噪音消除方式中确定第二噪音消除方式之前,上述方法还包括:将第二组原始信号通过目标算法分解为第一子信号和第二子信号;计算第一子信号对应的第三能量值,以及第二子信号对应的第四能量值;将第三能量值、第四能量值中趋近于目标能量值的子信号确定为第二组原始信号对应的回声信号,并基于回声信号确定第二组原始信号中待滤除的外噪信号。
在一个示例性实施例中,根据一组降噪信号,在第二组设备中确定目标设备,包括:在第二组设备中每一个设备均存在降噪信号的情况下,确定第二组设备中的每个设备对应的降噪信号的目标幅值,得到第二组设备对应的多个目标幅值;将多个目标幅值从大到小依次排列,选择目标幅值最大的设备为响应设备,并将响应设备作为从第二组设备中确定目标设备,以与发出第一唤醒音频的目标对象进行交互。
为了更好的理解上述分布式语音唤醒方法的过程,以下再结合可选实施例对上述分布式语音唤醒方法的实现方法流程进行说明,但不用于限定本申请实施例的技术方案。
相关技术中,安静场景下,可以利用信号的幅值/能量作为判别准则。由于声波的衰减,距离近的设备信号幅值大于远端设备。但是,复杂场景下,原始信号幅值作为判别准则不再准确。虽然接收信号可以表示为y(t)=w(t)+n(t),即带噪信号等于唤醒词w和噪声的线性相加。但带噪信号幅值不等于二者幅值的线性相加,所以简单的能量校准无法实现。
可选的,本发明可选实施例提出一种用于有自噪场景分布式判决的前端信号处理装置,协同多台设备的信息,对自噪设备信号进行回声消除等操作,外噪信号进行去噪,得到各自的干净信号,再根据幅值作为判别准则。可选的,前端信号处理装置中可以包括:回声消除模块、声源定位模块、波束形成模块、声源分离模块、去混响模块等。上述不同模块的应用如以下内容所述。
作为一种可选的实施方式,在自噪场景分布式判决的情况下,对处于同一组网下的多个语音设备(相当于上述实施例中的目标设备),在利用信号的幅值/能量作为判别准则,确定出待响应的设备之前,对不同的语音设备进行交互过程中的产生信号中的自噪信号的消除以及对其他设备对该设备产生影响的夹杂在音频对应的原始信号中的外噪信号进行消除,得到不同的语音设备在交互过程中的干净信号,继而再根据幅值作为判别准则,确定出最终的响应交互的目标设备。
可选的,上述外噪信号指处于同一组网内的组内其他设备自播时,某设备接收到的噪声对应的信号。上述自噪信号是设备在运行时设备本身所产生噪音对应的信号。
例如,假设用设备A表示自播设备,设备B表示接收外噪的设备。在进行对应的噪音信号处理时,分为以下情况:
自噪处理方式:对于设备中的原始信号中携带的自噪信号,通过自噪消除的方式进行,具体的,利用回声消除技术。可选的,通过Multi-delayblock frequencydomainadaptive filter的自适应滤波器对原始信号进行处理,滤除原始信号中携带的自噪信号。需要说明的是,如果原始信号中的自噪信号为非线性回声部分,则可用模型/非线性方法去除,对此,本发明可选实施例不作过多限定。
外噪处理方式:对于设备中的原始信号中携带的外噪信号,可选的,波束形成或者声源分离。使用不同的方法,计算流程有差异。具体如下:
方式一:波束形成;波束形成对多路信号合并处理,可以抑制非目标方向的干扰信号,增强目标方向的声音信号。本发明可选实施例建议在设备麦克风个数在4个及以上时,外噪消除方法使用波束形成方法。流程如下:
步骤一:用户端校准。设备的相对位置变动时,设备A到B的传播路径也会发生变化。一旦位置改变,可打开自定义校准模块:开启后,设备A自动播放一段音乐或者其他,设备B计算A的相对位置。(注:声源位置计算可用music、gcc_phat、tdoa、aml等算法)。
步骤二:信号降噪:首先,设备B以A方向做波束形成(如mvdr,或者gsc结构),可以得到估计的外噪;然后,用自适应滤波技术(如NLMS)从麦克风信号中过滤出外噪。
图3是根据本申请可选实施例的选用波束形成的计算流程图;步骤如下:
步骤S402:进行设备A与设备B之间的声源估计;
步骤S404:确定设备A与设备B二者分别接收到的目标对象发出的音频对应的原始信号;
步骤S406:对原始信号执行回声消除(AEC),得到设备A与设备B对应的去回声信号;
步骤S408:确定设备A中是否还具有回声,在确定的情况下,估计设备B产生的估计外噪对设备A中信号的影响,并使用自适应滤波技术(如NLMS)从设备A的去回声信号中过滤估计外噪。
步骤S410:确定设备A、设备B分别对应的不包含噪音的干净信号,确定设备A、设备B对应的信号幅值/能量进行比较,确定出信号幅值/能量较大的一方作为最终响应用户的设备。
需要说明的是,波束形成使用于多麦场景,可以是多麦的声源定位比较准确的情况,也可以是多麦的波束效果较好的情况,如主瓣宽度小。
可选的,如果用户(相当于本发明实施例中的目标对象)和设备A在同一角度时,此时估计的外噪会有唤醒词,导致信号抵消。此时,可用麦克风信号来计算统计能量。判断的方法,可选的,麦克风信号和估计外噪的信号分别接一个唤醒模块,当后者打分接近甚至大于前者时,可认为用户和设备A在同一角度。
方式二:声源分离;当设备麦克风个数较少时,波束形成效果较差,如主瓣较宽,拾音范围大,估计的外噪含有部分唤醒词,导致信号抵消。本发明可选实施例,建议在麦克风个数为2时,利用AUX-IVA方法进行声源分离。该方法设计复数矩阵求逆计算,2*2矩阵求逆有解析解,计算量较小。当麦克风个数较多时,如4*4,6*6,计算量很大,无法实时计算。此外,混响成分对声源分离影响较大,可用WPE算法先进行去混响操作。
可以理解的是,利用AUX-IVA方法会得到两路输出,一路为噪声,一路为干净信号,由于置换问题,无法得知具体哪一路是噪声或者干净信号。因此,需要对不同通道的信号进行处理后再次选择。
可选的,在进行通道选择时,可以将每一路信号接一个唤醒模块,唤醒打分高的一路输出为干净信号,但该方法计算量大。还可以计算两通道的能量E1,E2;设备A分别计算麦克风信号mic,去回声后信号aec,估计回声信号spk分别对应的能量。此方法需要自校准,例如,设备A自动播放一段音乐或者其他,设备B原始信号能量EB只受A回声的影响,求得使用时,步骤如下:(1)Emic和Espk接近,且Eaec较小时,可判断此时播放声音小,E1和E2选大者;(2)计算αA→B*Espk,E1和E2接近αA→B*Espk者可认为是分离的回声。
当有唤醒触发时,统计一定时间内的信号能量:
其中,下缀clean表示降噪后的信号,T表示统计时段,X表示stft之后的频域信号,fh为统计最大频带,fl为最低频带。设备A和B的Eclean大者优先响应。
图4是根据本申请可选实施例的选用声源分离的计算流程图;步骤如下:
步骤S502:进行设备A与设备B之间的回声路径校准;
步骤S504:确定设备A与设备B二者分别接收到的目标对象发出的音频对应的原始信号;
步骤S506:对原始信号执行回声消除,得到设备A与设备B对应的去回声信号;
步骤S508:确定设备A中是否还具有回声,在确定回声的情况下,进行声源分离,并基于上述能量确定方式进行通道选择,确定出对应的回声信号;
步骤S510:确定设备A、设备B分别对应的不包含噪音的干净信号,确定设备A、设备B对应的信号幅值/能量进行比较,确定出信号幅值/能量较大的一方作为最终响应用户的设备。
综上,本发明可选实施例协同多台设备的信息,针对不同的设备,制定不同的外噪去除方法;协同唤醒模块选择估计的干净信号;去外噪时,可通过自校准模块获得先验信息,来辅助后续的信号处理,提高基于能量判决的准确性。即对设备信号进行回声消除、外噪信号进行去噪等操作,得到各自的干净信号,再根据幅值作为判别准则。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
图5是根据本申请实施例的一种可选的分布式语音唤醒装置的结构框图;如图5所示,包括:
获取模块62,用于在确定第一组设备接收到第一唤醒音频的情况下,获取所述第一组设备中的每个设备根据所述第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取所述第一组设备中的每个设备对于所述第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,所述第一组设备为同一网络中的设备,所述反馈信息用于指示所述第一组设备中对应的设备是否响应于所述第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;
第一确定模块64,用于根据所述第一组反馈信息从所述第一组设备中确定唤醒了所述交互功能的设备,共得到第二组设备,并在所述第一组原始信号中确定所述第二组设备生成的原始信号,共得到第二组原始信号;
第二确定模块66,用于根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;
处理模块68,用于使用所述目标噪音消除方式对所述第二组原始信号进行噪音消除处理,得到一组降噪信号;
控制模块70,用于根据所述一组降噪信号,在所述第二组设备中确定目标设备,并控制所述目标设备播放与所述第一唤醒音频对应的第二音频,以及控制所述第二组设备中除第二目标设备之外的设备静音。
通过上述装置,在确定第一组设备接收到第一唤醒音频的情况下,获取第一组设备中的每个设备根据第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取第一组设备中的每个设备对于第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,第一组设备为同一网络中的设备,反馈信息用于指示第一组设备中对应的设备是否响应于第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;根据第一组反馈信息从第一组设备中确定唤醒了交互功能的设备,共得到第二组设备,并在第一组原始信号中确定第二组设备生成的原始信号,共得到第二组原始信号;根据第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;使用目标噪音消除方式对第二组原始信号进行噪音消除处理,得到一组降噪信号;根据一组降噪信号,在第二组设备中确定目标设备,并控制目标设备播放与第一唤醒音频对应的第二音频,以及控制第二组设备中除第二目标设备之外的设备静音,即在分布式处理场景下,确定目标区域内对应的多个设备中对目标对象发出的第一唤醒音频信号做出反馈的设备的原始信号,并对该原始信号进行噪音消除处理,得到对应的降噪信号,并通过降噪信号从多个存在反馈的目标设备中确定最终的目标设备;采用上述技术方案,解决了相关技术中,在复杂场景下,无法准确且快速的从多个设备中确定出响应的设备等问题,实现了能够在复杂场景下可以从存在响应的多个设备中确定出最终与目标对象进行交互的目标设备,并提升了后续以信号的幅值/能量作为判别准则的方案的有效性的技术效果。
在一个示例性实施例中,上述第二确定模块,还用于在第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从一组噪音消除方式中确定第一噪音消除方式,其中,第一噪音消除方式用于通过预设的第一自适应滤波器从第二组原始信号中滤除自噪信号,以及通过第二自适应滤波器从第二组原始信号中滤除外噪信号,第二自适应滤波器是根据第二组设备之间的波束形成生成的滤波器;在第二组设备中的设备的数量小于第一预设阈值的情况下,从一组噪音消除方式中确定第二噪音消除方式,其中,第二噪音消除方式用于通过第一自适应滤波器从第二组原始信号中滤除自噪信号,以及从第二组原始信号中滤除第二组设备之间通过声源分离确定的外噪信号。
在一个示例性实施例中,上述第二确定模块还包括:添加单元,用于统计经过第一噪音信号消除方式处理后的第二组设备对应的目标降噪信号的第一能量值;以及确定第一噪音信号消除方式滤除的第二组原始信号中外噪信号对应的第二能量值;在第一能量值与第二能量值的差值低于第二预设阈值的情况下,确定目标对象与第二组设备处于同一角度;在第一噪音信号消除方式处理后的目标第二组原始信号中添加预估信号,其中,预估信号为预设的用于平衡信号抵消的信号。
在一个示例性实施例中,上述第二确定模块,还用于确定第二组设备中的每个设备在目标区域中的位置信息,共得到一组位置信息;通过一组位置信息确定第二组设备中每两个设备之间的相对位置;基于相对位置确定第二组设备中的每个设备对应的第二自适应滤波器。
在一个示例性实施例中,上述第二确定模块,还用于第二组设备中每个设备逐次进入校准模式,根据一组位置信息确定每个设备与其他设备之间的相对方向;基于相对方向做波束形成,得到第二组设备中每两个设备之间的第一预估外噪和第二预估外噪;在第一预估外噪和第二预估外噪相同的情况下,确定第二组设备中每两个设备之间的相对位置。
在一个示例性实施例中,上述第二确定模块还包括:比较单元,用于将第二组原始信号通过目标算法分解为第一子信号和第二子信号;计算第一子信号对应的第三能量值,以及第二子信号对应的第四能量值;将第三能量值、第四能量值中趋近于目标能量值的子信号确定为第二组原始信号对应的回声信号,并基于回声信号确定第二组原始信号中待滤除的外噪信号。
在一个示例性实施例中,上述控制模块,还用于在第二组设备中每一个设备均存在降噪信号的情况下,确定第二组设备中的每个设备对应的降噪信号的目标幅值,得到第二组设备对应的多个目标幅值;将多个目标幅值从大到小依次排列,选择目标幅值最大的设备为响应设备,并将响应设备作为从第二组设备中确定目标设备,以与发出第一唤醒音频的目标对象进行交互。
本申请的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,在确定第一组设备接收到第一唤醒音频的情况下,获取所述第一组设备中的每个设备根据所述第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取所述第一组设备中的每个设备对于所述第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,所述第一组设备为同一网络中的设备,所述反馈信息用于指示所述第一组设备中对应的设备是否响应于所述第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;
S2,根据所述第一组反馈信息从所述第一组设备中确定唤醒了所述交互功能的设备,共得到第二组设备,并在所述第一组原始信号中确定所述第二组设备生成的原始信号,共得到第二组原始信号;
S3,根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;
S4,使用所述目标噪音消除方式对所述第二组原始信号进行噪音消除处理,得到一组降噪信号;
S5,根据所述一组降噪信号,在所述第二组设备中确定目标设备,并控制所述目标设备播放与所述第一唤醒音频对应的第二音频,以及控制所述第二组设备中除第二目标设备之外的设备静音。
本申请的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在确定第一组设备接收到第一唤醒音频的情况下,获取所述第一组设备中的每个设备根据所述第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取所述第一组设备中的每个设备对于所述第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,所述第一组设备为同一网络中的设备,所述反馈信息用于指示所述第一组设备中对应的设备是否响应于所述第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;
S2,根据所述第一组反馈信息从所述第一组设备中确定唤醒了所述交互功能的设备,共得到第二组设备,并在所述第一组原始信号中确定所述第二组设备生成的原始信号,共得到第二组原始信号;
S3,根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;
S4,使用所述目标噪音消除方式对所述第二组原始信号进行噪音消除处理,得到一组降噪信号;
S5,根据所述一组降噪信号,在所述第二组设备中确定目标设备,并控制所述目标设备播放与所述第一唤醒音频对应的第二音频,以及控制所述第二组设备中除第二目标设备之外的设备静音。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算***来实现,它们可以集中在单个的计算***上,或者分布在多个计算***所组成的网络上,可选地,它们可以用计算***可执行的程序代码来实现,从而,可以将它们存储在存储***中由计算***来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种分布式语音唤醒方法,其特征在于,包括:
在确定第一组设备接收到第一唤醒音频的情况下,获取所述第一组设备中的每个设备根据所述第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取所述第一组设备中的每个设备对于所述第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,所述第一组设备为同一网络中的设备,所述反馈信息用于指示所述第一组设备中对应的设备是否响应于所述第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;
根据所述第一组反馈信息从所述第一组设备中确定唤醒了所述交互功能的设备,共得到第二组设备,并在所述第一组原始信号中确定所述第二组设备生成的原始信号,共得到第二组原始信号;
根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;
使用所述目标噪音消除方式对所述第二组原始信号进行噪音消除处理,得到一组降噪信号;
根据所述一组降噪信号,在所述第二组设备中确定目标设备,并控制所述目标设备播放与所述第一唤醒音频对应的第二音频,以及控制所述第二组设备中除第二目标设备之外的设备静音。
2.根据权利要求1所述的方法,其特征在于,根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式,包括:
在所述第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从所述一组噪音消除方式中确定第一噪音消除方式,其中,所述第一噪音消除方式用于通过预设的第一自适应滤波器从所述第二组原始信号中滤除自噪信号,以及通过第二自适应滤波器从所述第二组原始信号中滤除外噪信号,所述第二自适应滤波器是根据所述第二组设备之间的波束形成生成的滤波器;
在所述第二组设备中的设备的数量小于所述第一预设阈值的情况下,从所述一组噪音消除方式中确定第二噪音消除方式,其中,所述第二噪音消除方式用于通过所述第一自适应滤波器从所述第二组原始信号中滤除自噪信号,以及从所述第二组原始信号中滤除所述第二组设备之间通过声源分离确定的外噪信号。
3.根据权利要求2所述的方法,其特征在于,在所述从所述一组噪音消除方式中确定第一噪音消除方式之后,所述方法还包括:
统计经过所述第一噪音信号消除方式处理后的所述第二组设备对应的目标降噪信号的第一能量值;以及确定所述第一噪音信号消除方式滤除的所述第二组原始信号中外噪信号对应的第二能量值;
在所述第一能量值与所述第二能量值的差值低于第二预设阈值的情况下,确定目标对象与第二组设备处于同一角度;
在所述第一噪音信号消除方式处理后的目标第二组原始信号中添加预估信号,其中,所述预估信号为预设的用于平衡信号抵消的信号。
4.根据权利要求2所述的方法,其特征在于,在所述第二组设备中的设备的数量大于或等于第一预设阈值的情况下,从所述一组噪音消除方式中确定第一噪音消除方式之前,所述方法还包括:
确定所述第二组设备中的每个设备在目标区域中的位置信息,共得到一组位置信息;
通过所述一组位置信息确定所述第二组设备中每两个设备之间的相对位置;
基于所述相对位置确定所述第二组设备中的每个设备对应的第二自适应滤波器。
5.根据权利要求4所述的方法,其特征在于,通过所述一组位置信息确定所述第二组设备中每两个设备之间的相对位置,包括:
所述第二组设备中每个设备逐次进入校准模式,根据所述一组位置信息确定每个设备与其他设备之间的相对方向;
基于所述相对方向做波束形成,得到所述第二组设备中每两个设备之间的第一预估外噪和第二预估外噪;
在所述第一预估外噪和所述第二预估外噪相同的情况下,确定所述第二组设备中每两个设备之间的相对位置。
6.根据权利要求2所述的方法,其特征在于,在所述第二组设备中的设备的数量小于所述第一预设阈值的情况下,从所述一组噪音消除方式中确定第二噪音消除方式之前,所述方法还包括:
将所述第二组原始信号通过目标算法分解为第一子信号和第二子信号;
计算所述第一子信号对应的第三能量值,以及所述第二子信号对应的第四能量值;
将所述第三能量值、所述第四能量值中趋近于目标能量值的子信号确定为所述第二组原始信号对应的回声信号,并基于所述回声信号确定所述第二组原始信号中待滤除的外噪信号。
7.根据权利要求1所述的方法,其特征在于,根据所述一组降噪信号,在所述第二组设备中确定目标设备,包括:
在所述第二组设备中每一个设备均存在降噪信号的情况下,确定所述第二组设备中的每个设备对应的降噪信号的目标幅值,得到所述第二组设备对应的多个目标幅值;
将所述多个目标幅值从大到小依次排列,选择目标幅值最大的设备为响应设备,并将所述响应设备作为从所述第二组设备中确定目标设备,以与发出所述第一唤醒音频的目标对象进行交互。
8.一种分布式语音唤醒装置,其特征在于,包括:
获取模块,用于在确定第一组设备接收到第一唤醒音频的情况下,获取所述第一组设备中的每个设备根据所述第一唤醒音频生成的原始信号,共得到第一组原始信号,以及获取所述第一组设备中的每个设备对于所述第一唤醒音频的反馈信息,共得到第一组反馈信息,其中,所述第一组设备为同一网络中的设备,所述反馈信息用于指示所述第一组设备中对应的设备是否响应于所述第一唤醒音频唤醒交互功能,所述原始信号为设备接收到的第一唤醒音频后转化出的音频信号;
第一确定模块,用于根据所述第一组反馈信息从所述第一组设备中确定唤醒了所述交互功能的设备,共得到第二组设备,并在所述第一组原始信号中确定所述第二组设备生成的原始信号,共得到第二组原始信号;
第二确定模块,用于根据所述第二组设备中的设备的数量,从预设的一组噪音消除方式中确定目标噪音消除方式;
处理模块,用于使用所述目标噪音消除方式对所述第二组原始信号进行噪音消除处理,得到一组降噪信号;
控制模块,用于根据所述一组降噪信号,在所述第二组设备中确定目标设备,并控制所述目标设备播放与所述第一唤醒音频对应的第二音频,以及控制所述第二组设备中除第二目标设备之外的设备静音。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210603410.XA CN115171703B (zh) | 2022-05-30 | 2022-05-30 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
PCT/CN2023/085259 WO2023231552A1 (zh) | 2022-05-30 | 2023-03-30 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210603410.XA CN115171703B (zh) | 2022-05-30 | 2022-05-30 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115171703A true CN115171703A (zh) | 2022-10-11 |
CN115171703B CN115171703B (zh) | 2024-05-24 |
Family
ID=83483084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210603410.XA Active CN115171703B (zh) | 2022-05-30 | 2022-05-30 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115171703B (zh) |
WO (1) | WO2023231552A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023231552A1 (zh) * | 2022-05-30 | 2023-12-07 | 青岛海尔科技有限公司 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101325604A (zh) * | 2008-07-21 | 2008-12-17 | 重庆邮电大学 | 一种分布式自适应工业无线网络节能方法 |
US20140006825A1 (en) * | 2012-06-30 | 2014-01-02 | David Shenhav | Systems and methods to wake up a device from a power conservation state |
WO2018032954A1 (zh) * | 2016-08-16 | 2018-02-22 | 华为技术有限公司 | 一种唤醒无线设备的方法和装置 |
CN108877827A (zh) * | 2017-05-15 | 2018-11-23 | 福州瑞芯微电子股份有限公司 | 一种语音增强交互方法及***、存储介质及电子设备 |
CN109669775A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 分布式任务调度方法、***及存储介质 |
CN110211599A (zh) * | 2019-06-03 | 2019-09-06 | Oppo广东移动通信有限公司 | 应用唤醒方法、装置、存储介质及电子设备 |
CN111696562A (zh) * | 2020-04-29 | 2020-09-22 | 华为技术有限公司 | 语音唤醒方法、设备及存储介质 |
CN111880855A (zh) * | 2020-07-31 | 2020-11-03 | 宁波奥克斯电气股份有限公司 | 设备控制方法和分布式语音*** |
CN112185388A (zh) * | 2020-09-14 | 2021-01-05 | 北京小米松果电子有限公司 | 语音识别方法、装置、设备及计算机可读存储介质 |
US20210233524A1 (en) * | 2020-01-23 | 2021-07-29 | International Business Machines Corporation | Placing a voice response system into a forced sleep state |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11538482B2 (en) * | 2019-04-25 | 2022-12-27 | Lg Electronics Inc. | Intelligent voice enable device searching method and apparatus thereof |
CN110288997B (zh) * | 2019-07-22 | 2021-04-16 | 苏州思必驰信息科技有限公司 | 用于声学组网的设备唤醒方法及*** |
CN111640431B (zh) * | 2020-04-30 | 2023-10-27 | 海尔优家智能科技(北京)有限公司 | 一种设备响应处理方法及装置 |
CN112634922A (zh) * | 2020-11-30 | 2021-04-09 | 星络智能科技有限公司 | 语音信号处理方法、设备及计算机可读存储介质 |
CN113593548B (zh) * | 2021-06-29 | 2023-12-19 | 青岛海尔科技有限公司 | 智能设备的唤醒方法和装置、存储介质及电子装置 |
CN114420094A (zh) * | 2021-12-13 | 2022-04-29 | 北京声智科技有限公司 | 跨设备唤醒方法、装置、设备及存储介质 |
CN115171703B (zh) * | 2022-05-30 | 2024-05-24 | 青岛海尔科技有限公司 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
-
2022
- 2022-05-30 CN CN202210603410.XA patent/CN115171703B/zh active Active
-
2023
- 2023-03-30 WO PCT/CN2023/085259 patent/WO2023231552A1/zh unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101325604A (zh) * | 2008-07-21 | 2008-12-17 | 重庆邮电大学 | 一种分布式自适应工业无线网络节能方法 |
US20140006825A1 (en) * | 2012-06-30 | 2014-01-02 | David Shenhav | Systems and methods to wake up a device from a power conservation state |
WO2018032954A1 (zh) * | 2016-08-16 | 2018-02-22 | 华为技术有限公司 | 一种唤醒无线设备的方法和装置 |
CN108877827A (zh) * | 2017-05-15 | 2018-11-23 | 福州瑞芯微电子股份有限公司 | 一种语音增强交互方法及***、存储介质及电子设备 |
CN109669775A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 分布式任务调度方法、***及存储介质 |
CN110211599A (zh) * | 2019-06-03 | 2019-09-06 | Oppo广东移动通信有限公司 | 应用唤醒方法、装置、存储介质及电子设备 |
US20210233524A1 (en) * | 2020-01-23 | 2021-07-29 | International Business Machines Corporation | Placing a voice response system into a forced sleep state |
CN111696562A (zh) * | 2020-04-29 | 2020-09-22 | 华为技术有限公司 | 语音唤醒方法、设备及存储介质 |
CN111880855A (zh) * | 2020-07-31 | 2020-11-03 | 宁波奥克斯电气股份有限公司 | 设备控制方法和分布式语音*** |
CN112185388A (zh) * | 2020-09-14 | 2021-01-05 | 北京小米松果电子有限公司 | 语音识别方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
吴亚明;: "基于小波包的分布式光纤信号降噪方法", 激光杂志, no. 10, 25 October 2018 (2018-10-25) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023231552A1 (zh) * | 2022-05-30 | 2023-12-07 | 青岛海尔科技有限公司 | 分布式语音唤醒方法和装置、存储介质及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2023231552A1 (zh) | 2023-12-07 |
CN115171703B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9558755B1 (en) | Noise suppression assisted automatic speech recognition | |
JP6196320B2 (ja) | 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 | |
CN111128210B (zh) | 具有声学回声消除的音频信号处理的方法和*** | |
CN111161751A (zh) | 复杂场景下的分布式麦克风拾音***及方法 | |
Bertrand et al. | Robust distributed noise reduction in hearing aids with external acoustic sensor nodes | |
KR20190085924A (ko) | 빔 조향 | |
CN108540895B (zh) | 智能均衡器设计方法及具有智能均衡器的降噪耳机 | |
US9378754B1 (en) | Adaptive spatial classifier for multi-microphone systems | |
US9966086B1 (en) | Signal rate synchronization for remote acoustic echo cancellation | |
KR20100054873A (ko) | 강인한 두 마이크로폰 잡음 억제 시스템 | |
CN102164328A (zh) | 一种用于家庭环境的基于传声器阵列的音频输入*** | |
US9313573B2 (en) | Method and device for microphone selection | |
WO2007038922A1 (en) | A system for providing a reduction of audiable noise perception for a human user | |
US10863296B1 (en) | Microphone failure detection and re-optimization | |
CN110769352B (zh) | 一种信号处理方法、装置以及计算机存储介质 | |
CN110931007B (zh) | 语音识别方法及*** | |
CN112735462A (zh) | 分布式麦克风阵列的降噪方法和语音交互方法 | |
JP4835151B2 (ja) | オーディオシステム | |
WO2023231552A1 (zh) | 分布式语音唤醒方法和装置、存储介质及电子装置 | |
CN112951261A (zh) | 声源定位方法、装置及语音设备 | |
CN110199528A (zh) | 远场声音捕获 | |
CN110913312B (zh) | 一种回声消除方法及装置 | |
CN115410593A (zh) | 音频信道的选择方法、装置、设备及存储介质 | |
CN111788627A (zh) | 信号处理装置、信号处理方法和信号处理程序 | |
JP6861303B2 (ja) | 補聴システムの作動方法及び補聴システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |