CN105979442B - 噪声抑制方法、装置和可移动设备 - Google Patents

噪声抑制方法、装置和可移动设备 Download PDF

Info

Publication number
CN105979442B
CN105979442B CN201610594547.8A CN201610594547A CN105979442B CN 105979442 B CN105979442 B CN 105979442B CN 201610594547 A CN201610594547 A CN 201610594547A CN 105979442 B CN105979442 B CN 105979442B
Authority
CN
China
Prior art keywords
movable equipment
noise
noise source
audio signal
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610594547.8A
Other languages
English (en)
Other versions
CN105979442A (zh
Inventor
陈本东
张芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Publication of CN105979442A publication Critical patent/CN105979442A/zh
Application granted granted Critical
Publication of CN105979442B publication Critical patent/CN105979442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了一种噪声抑制方法、装置和可移动设备。所述方法包括:确定可移动设备在工作环境中的实时位置;获取噪声源在所述工作环境中的固定位置;根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。因此,可以使得可移动设备能够很好地消除来自固定的噪声源的噪声信号。

Description

噪声抑制方法、装置和可移动设备
技术领域
本申请涉及信号处理领域,且更具体地涉及一种噪声抑制方法、装置、可移动设备、计算机程序产品和计算机可读存储介质。
背景技术
近年来,由于计算机、互联网、人工智能等技术的迅猛发展,具有人机交互功能的可移动设备已经越发普及。在可移动设备对周围环境的感知方式中,图像感知和音频感知是两种最重要的信息来源方式。相对于图像感知,音频感知需要处理的数据量较小,因此对处理器的运算能力的要求更低,更适合应用于可移动设备的领域。
通常,音频感知的主要应用场景是,希望可移动设备在工作环境中移动时,能够准确、迅速地对诸如用户发出的语音指令、门窗破碎等特殊声响之类的音频触发事件的做出响应。在现有技术中,在可移动设备上装备的具有高性能、高方向性的单个麦克风在无噪声、无混响、距离声源很近的情况下,可以获得高质量的声源信号。但是,在实际应用中,由于环境中来自噪声源等的各种其它音频信号的多径反射和混响等因素,也会导致单个麦克风接收的信号信噪比降低、采集的信号质量下降。
为了解决单个麦克风的局限性,有人提出了基于麦克风阵列的声源定位。它是近年来语音信号处理领域的一大研究热点。结合实际应用的需要,如远程视频会议、报警***、车载电话、助听***、智能机器人***等等,人们提出了将多个麦克风按照一定的几何结构进行摆放、组成麦克风阵列进行音频信号处理的方法。麦克风阵列具有很强的空间选择性,在噪声消除、语音增强、声源定位、回声消除等方面有着极大的应用空间。
发明内容
然而,通过分析发现,基于麦克风阵列的声源定位技术关注如何使得可移动设备能够基于接收到的声源发出的音频信号来对该声源进行定位,但是,在现实生活中,声源可能未必连续发声,在该声源停止发出音频信号时,声源定位技术将无法对其进行定位,必须一直等到该声源下次再次发声时,才能够再次基于接收到的音频信号重新对其定位,即使该声源始终位于固定位置保持不动,也是如此。由此可见,现有的声源定位技术对于固定声源的定位和噪声抑制不是一种高效的解决方案。
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种噪声抑制方法、装置、可移动设备、计算机程序产品和计算机可读存储介质,其使得可移动设备能够获取噪声源的固定位置,并且根据自身的实时位置来判断它与噪声源之间的相对位置,从而很好地消除来自该位置固定的噪声源的干扰。
根据本申请的一个方面,提供了一种噪声抑制方法,包括:确定可移动设备在工作环境中的实时位置;获取噪声源在所述工作环境中的固定位置;根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。
在本申请的一个实施例中,确定可移动设备在工作环境中的实时位置包括:读取预先构建的所述工作环境的地图;以及基于相对定位方式、绝对定位方式、和组合定位方式中的至少一种,在所述工作环境的地图中确定所述可移动设备的实时位置。
在本申请的一个实施例中,在获取噪声源在所述工作环境中的固定位置之前,所述方法还包括:获取所述噪声源的基准样本数据;控制所述可移动设备在移动过程中采集环境观测数据;根据所述基准样本数据和所述环境观测数据来判断是否存在所述噪声源;以及响应于存在所述噪声源,根据所述可移动设备的当前位置和姿态、所述环境观测数据和所述基准样本数据来确定所述噪声源在所述工作环境中的固定位置。
在本申请的一个实施例中,根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置包括:根据所述实时位置和所述固定位置来确定所述噪声源相位于所述可移动设备的相对方向。
在本申请的一个实施例中,控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制包括:控制所述可移动设备在所述相对方向中进行波束零陷。
在本申请的一个实施例中,控制所述可移动设备在所述相对方向中进行波束零陷包括:确定所述可移动设备在所述工作环境中的实时朝向;根据所述实时朝向与所述相对方向之间的夹角来确定在所述可移动设备上装备的音频采集器件阵列之中处于所述相对方向中的音频采集器件;以及控制所述音频采集器件以执行所述波束零陷。
在本申请的一个实施例中,控制所述音频采集器件以执行所述波束零陷包括以下各项中的至少一个:消除所述音频采集器件所接收到的音频信号;抑制所述音频采集器件的接收强度;以及关闭所述音频采集器件。
在本申请的一个实施例中,控制所述可移动设备在所述相对方向中进行波束零陷包括:通过在所述可移动设备上装备的音频采集器件阵列之中的至少两个音频采集器件来接收音频信号;根据所述至少两个音频采集器件所接收到的所述音频信号的不同参数信息来确定所述音频信号的来源方向;以及响应于所述音频信号的来源方向处于所述相对方向中,消除所述音频信号。
在本申请的一个实施例中,消除所述音频信号包括:获取所述噪声源的基准声纹;比较所述音频信号的声纹与所述噪声源的基准声纹;以及响应于所述音频信号的声纹与所述噪声源的基准声纹匹配,消除所述音频信号。
在本申请的一个实施例中,所述方法还包括:控制所述可移动设备在除了所述相对方向之外的其他方向中进行波束增强。
根据本申请的另一方面,提供了一种噪声抑制装置,包括:实时位置确定单元,用于确定可移动设备在工作环境中的实时位置;固定位置获取单元,用于获取噪声源在所述工作环境中的固定位置;相对位置确定单元,用于根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及噪声信号抑制单元,用于控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。
根据本申请的另一方面,提供了一种可移动设备,包括:处理器;存储器;以及存储在所述存储器中的计算机程序指令,所述计算机程序指令在被所述处理器运行时执行根据权利要求1-10中任一项的方法。
在本申请的一个实施例中,所述设备还包括以下各项中的至少一个:驱动器件,被配置为驱动所述可移动设备在工作环境中移动;环境采集器件,被配置为采集环境观测数据;以及音频采集器件,被配置为接收音频信号。
根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行上述任一项的噪声抑制方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行上述任一项的噪声抑制方法。
与现有技术相比,采用根据本申请实施例的噪声抑制方法、装置、可移动设备、计算机程序产品和计算机可读存储介质,可以根据可移动设备在工作环境中的实时位置和噪声源在所述工作环境中的固定位置来确定所述噪声源相对于所述可移动设备的相对位置,并且控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制,使得可移动设备能够很好地消除来自固定的噪声源的噪声信号,保证了可移动设备在移动过程中不会受到噪声源的干扰,充分提高了其对诸如用户发出的语音指令、门窗破碎等特殊声响之类的音频触发事件的正确识别率。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的噪声抑制的应用场景的示意图。
图2图示了根据本申请第一实施例的噪声抑制方法的流程图。
图3图示了根据本申请实施例的确定可移动设备的实时位置步骤的流程图。
图4图示了根据本申请实施例的音频采集器件阵列的结构图。
图5图示了根据本申请实施例的波束零陷步骤的流程图。
图6图示了根据本申请实施例的波束零陷步骤的流程图。
图7图示了根据本申请第二实施例的噪声抑制方法的流程图。
图8图示了根据本申请实施例的确定噪声源的固定位置步骤的流程图。
图9图示了根据本申请实施例的噪声抑制装置的框图。
图10图示了根据本申请实施例的可移动设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,现有技术的声源定位技术利用声源发出的音频信号来确定该声源的位置,以进一步根据声源的属性(例如,是关注声源(或称为,非噪声源),还是噪声源)来对来自该声源的音频信号进行增强或抑制。正是因为声源定位技术的这种基本原理将导致以下现象,即:在声源停止发出音频信号时,将无法对其进行定位,必须一直等到该声源下次再次发声时,才能够再次基于接收到的音频信号重新对其定位,即使该声源始终位于固定位置保持不动,也是如此。然而,无论是哪一种声源定位技术(例如,基于可控波束成形器的声源定位、基于高分辨率谱估计的声源定位、基于时延估计的声源定位等)在执行定位时都需要经过一定量的计算处理,这就必然会导致出现定位时延,特别是在声源总是间断性地发出音频信号时,这个问题尤其严重。
因此,现有的声源定位技术对于位置固定声源(尤其是经常间断发声的声源)的定位和噪声抑制不是一种高效的解决方案。
针对该技术问题,本申请的基本构思是提出一种新的噪声抑制方法、装置、可移动设备、计算机程序产品和计算机可读存储介质,其可以根据可移动设备在工作环境中的实时位置和噪声源在所述工作环境中的固定位置来确定所述噪声源相对于所述可移动设备的相对位置,并且控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。显然,根据该基本构思的本申请可以使得可移动设备能够很好地消除来自固定的噪声源的噪声信号,保证了可移动设备在移动过程中不会受到噪声源的干扰,充分提高了其对诸如用户发出的语音指令、门窗破碎等特殊声响之类的音频触发事件的正确识别率。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
应用场景总览
图1图示了根据本申请实施例的噪声抑制的应用场景的示意图。
如图1所示,用于噪声抑制的应用场景包括处于工作环境中的可移动设备和噪声源。
该可移动设备可以是可以在工作环境中移动的任何类型的电子设备。该工作环境例如可以是室内环境和/或室外环境。具体地,该可移动设备可以是用于各种用途的可移动机器人,例如扫地机器人、擦窗机器人、空气净化机器人、安防机器人、家电管理机器人、提醒机器人、巡逻机器人等。此外,该可移动设备也可以是其他类型的设备,例如,可移动的麦克风、可移动的音响、可移动的电话、可移动的计算机等。下面,为了描述方便,将以可移动机器人为例来说明该可移动设备。
该可移动机器人可以在已知其地图的工作环境中进行移动,也可以在未知其地图的工作环境中进行移动。在后者情况下,可移动机器人可以在移动过程中对该工作环境进行地图构建。例如,地图可以采用即时定位与地图构建(SLAM)进行地图构建。具体地,机器人可以在移动过程中不断获得各个位置点#1、#2、#3、#4等的环境数据(例如,图像观测数据或激光扫描数据等)、位置信息(例如(X,Y)坐标)和姿态信息(例如,θ朝向角)(两者可以统称为位姿信息(X,Y,θ)),判断这些数据信息是否对于描述该未知的工作环境是否是有效的,并且利用有效的数据信息来进行SLAM,从而获得机器人所经过的轨迹T1、T2和T3等,并最终获得该工作环境的地图。当然,本申请不限于此,在工作环境是室外场景的情况下,该地图构建也可以采用基于全球定位***(GPS)之类的精确坐标定位来进行。
该噪声源可以是在工作环境中位置固定的任何类型的产生噪声的信号源。例如,在工作环境为家庭的应用场景中,往往希望可移动设备在用户房间内移动时,能够准确、迅速地对诸如用户发出的语音指令、门窗破碎、人员摔倒等特殊声响之类的音频触发事件的做出响应,而将来自其他来源的音频信号确定为噪声源。例如,该噪声源可以是诸如电视机、收音机、音响之类的能够播放音视频节目的电子设备,或者也可以是诸如空调、微波炉、抽油烟机之类的在工作时会产生噪音的电子设备。
为此,根据本申请实施例的噪声抑制可以确定可移动设备在工作环境中的实时位置;获取噪声源在所述工作环境中的固定位置;根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。
需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施例不限于此。相反,本申请的实施例可以应用于可能适用的任何场景。例如,该可移动设备可以是一个或多个,类似地,该噪声源也可以为一个或多个。
示例性方法
下面结合图1的应用场景,参考图2来描述根据本申请第一实施例的噪声抑制方法。
图2图示了根据本申请第一实施例的噪声抑制方法的流程图。
如图2所示,根据本申请第一实施例的噪声抑制方法可以包括:
在步骤S110中,确定可移动设备在工作环境中的实时位置。
如上所述,该可移动设备(例如,可移动机器人)可以在已知其地图的工作环境中进行移动,也可以在未知其地图的工作环境中进行移动。为了便于描述,在本实施例中,将假设该可移动机器人在执行本步骤S110时已知该工作环境的地图。
在已知该工作环境的地图的情况下,该可移动机器人可以基于自身用途来执行特定工作任务,例如,扫地、巡逻、安防等,并且在执行任务的过程中,不断对自己的实时位置进行定位。
图3图示了根据本申请实施例的确定可移动设备的实时位置步骤的流程图。
如图3所示,步骤S110可以包括:
在子步骤S111中,读取预先构建的所述工作环境的地图。
例如,该工作环境的地图可以是可移动机器人预先通过即时定位与地图构建(SLAM)来构建的。所谓SLAM就是将可移动机器人定位与环境地图创建融为一体,即机器人在运动过程中根据自身位姿估计和传感器对环境的感知构建增量式环境地图,同时利用该地图实现自身的定位。替换地,该工作环境的地图也可以是其他设备通过其他方式事先构建的。
另外,该地图可以存储在可移动机器人自身的存储器中,也可以存储在与该可移动机器人分立的、且可以与可移动设备进行通信的其他电子设备(例如,服务器)中。
在子步骤S112中,基于相对定位方式、绝对定位方式、和组合定位方式中的至少一种,在所述工作环境的地图中确定所述可移动设备的实时位置。
在已知的地图中对可移动机器人进行定位的方法大致可以分为以下三类:
(1)相对定位:主要依靠内部本体感受传感器,例如里程计、陀螺仪等,通过给定初始位姿,来测量相对于机器人初始位姿的距离和方向来确定当前机器人的位姿;
(2)绝对定位:主要采用主动或被动标识、地图匹配、全球定位***、或导航信标进行定位。位置的计算方法例如包括三角测量法、三边测量法和模型匹配算法等;
(3)组合定位:虽然相对定位这种方法能够根据运动学模型的自我推算移动机器人的位姿和轨迹而且具有自包含的优点,但是不可避免地会存在随时间的增加和距离的增加而增加的累积航迹误差。相对地,在绝对定位中,地图匹配技术处理数据速度较慢,而信标或标识牌的建设和维护成本太高,GPS又只能在室外使用。由于单一定位的方法的缺陷,移动机器人定位仍然是基于航迹的推算与绝对位姿和轨迹矫正相结合起来。例如,利用内建的姿态传感器(包括加速度计与陀螺仪等)实时确定机器人在工作环境中的位置与方向,并且利用内建的磁力计等来实时校准姿态传感器的累计误差。
下面,为了便于描述,以绝对定位中的地图匹配算法为例来说明本子步骤S112。
为了确定可移动设备在工作环境中的实时位置,可以控制可移动设备在移动过程中采集当前环境数据;读取预先构建的所述工作环境的基准环境数据集合,在该基准环境数据集合中包括至少一个基准环境数据,且每一个基准环境数据与可移动设备在该工作环境中的位姿相关联;判断在该基准环境数据集合中是否存在与该当前环境数据匹配的基准环境数据;以及响应于存在与该当前环境数据匹配的基准环境数据,根据该匹配的基准环境数据来确定该可移动设备的实时位置。
例如,可移动机器人可以通过其上装备的摄像头来采集当前朝向上的实时图像。从位于可移动机器人或服务器上的存储器中读取预先构建的基准图像集合。通过诸如提取特征并进行(基于欧式距离等的)特征比对之类方式来确定与实时图像匹配的基准图像。根据实时图像与基准图像的匹配情况以及该基准图像所对应的基准位置坐标来确定该可移动机器人当前的位置坐标(Xr,Yr)。在必要时,还可以进一步或者与位置坐标同时地确定出该可移动机器人当前的朝向角θr。例如,该朝向角可以是机器人的标定正向与该工作环境中的绝对方向(例如,在环境中标定的X轴方向或选定的地理方向(例如,正北方向))之间的夹角。
当然,本申请不限于此。例如,在可移动机器人上装备有绝对***件(例如,全球定位***GPS)时,该机器人的实时位置也可以直接通过卫星通信而获得。或者,也可以通过基于无线通信的三角定位等其他方式来确定该可移动机器人在工作环境中的位置坐标。
在步骤S120中,获取噪声源在所述工作环境中的固定位置。
例如,在工作环境为家庭的应用场景中,噪声源可以是诸如电视机、收音机、音响之类的能够播放音视频节目的电子设备,或者也可以是诸如空调、微波炉、抽油烟机之类的在工作时会产生噪音的电子设备。
该噪声源在工作环境中的位置至少在一定时间段内可以是固定不变的,其固定位置可以是由用户人为在工作环境的地图中标注的,也可以是由该可移动机器人在构建工作环境的地图的过程中发现并标注的,也可以是该可移动机器人在已知工作环境地图的基础上执行特定工作任务(例如,扫地、巡逻等)的过程中实时发现并标注的,或者也可以是从其他设备接收到的。为了便于描述,在本实施例中,为了描述方便,将假设该可移动机器人在执行本步骤S120时已知该噪声源在工作环境地图上的固定位置。
具体来说,可以读取预先构建的所述工作环境的地图,并且读取其中已经事先标注出的噪声源在其中的固定位置,确定其位置坐标(Xn,Yn)。附加地,为了在后续步骤中更加准确地对该噪声源发出的音频信号进行确定和抑制,还可以进一步读取该噪声源的朝向角θn。
需要说明的是,尽管以步骤S110在步骤S120之前执行为例进行了说明,但是本申请不限于此。步骤S120也可以在步骤S110之前执行,或者与之同时执行。
在步骤S130中,根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置。
例如,可以根据可移动机器人在地图中的实时位置和噪声源在地图中的固定位置来确定两者之间的相对方向。例如,在二维(2D)场景的情况下,该相对方向可以通过简单地将两个平面位置坐标(Xr,Yr)和(Xn,Yn)进行两点连线,并且通过该两点连线与绝对方向(例如,X轴方向)之间的夹角来表示。例如,该夹角θi可以通过以下公式来获得:
当然,在三维(3D)场景的情况下,也可以基于两者的三维空间坐标(Xr,Yr,Zr)和(Xn,Yn,Zn)执行类似的计算。
在必要时,还可以进一步或者与相对方向同时地确定出该可移动机器人与该噪声源之间的相对距离,以便在后续步骤中更加准确地对该噪声源发出的音频信号进行确定和抑制。例如,该相对距离D可以通过以下公式来获得:
在步骤S140中,控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。
在一个示例中,该步骤S140可以通过以下方式来实现:控制所述可移动设备在所述相对方向中进行波束零陷。
波束零陷是波束成形的一种应用,波束成形是源于自适应天线的一个概念。接收端的信号处理,可以通过对多天线阵元接收到的各路信号进行加权合成,形成所需的理想信号。从天线方向图视角来看,这样做相当于形成了规定指向上的波束。例如,将原来全方位的接收方向图转换成了有零点(零陷)、有最大指向的波瓣方向图。也就是说,零陷是为了取消一个己知方向波的接收。
在音频领域中的天线一般是指音频采集器件(例如,麦克风),因此,音频领域中的天线方向图是通过对在所述可移动设备(机器人)上装备的音频采集器件或音频采集器件阵列(例如,麦克风阵列)的参数进行设置来进行调整的。
麦克风阵列是由一定数目的麦克风组成、用来对声场的空间特性进行采样并处理的***。麦克风阵列除了能够实现基于零陷的噪声抑制以外,还可以对关注信号(或称为,非噪声信号)进行增强,并且可以实现诸如声源定位、去混响等其他功能。
例如,取决于各个麦克风的相对位置关系,在可移动机器人上装备的麦克风阵列可以分为:线性阵列,其阵元中心位于同一条直线上;平面阵列,其阵元中心分布在一个平面上;以及空间立体阵列,其阵元中心分布在立体空间中。下面,将在一个示例中以平面阵列为例对麦克风阵列进行描述。
图4图示了根据本申请实施例的音频采集器件阵列的结构图。
如图4所示,例如,在可移动机器人上装备有一平面型的音频采集器件阵列,例如,麦克风阵列,所述麦克风阵列包括具有同一中心点且呈现中心对称的8个麦克风。所述8个麦克风并联后用于采集声音信息。
具体地,麦克风阵列包括设置在同一平面的平面阵列MIC1到MIC8,麦克风之间的距离根据实际需求和所采用的算法设置。相邻的麦克风在二维平面围绕中心点均匀分布,相互之间呈45°角。如图4所示,MIC1位于机器人的正向方向,即0°方向,MIC2位于机器人正向的45°方向,MIC3位于机器人正向的90°方向,MIC4位于机器人正向的135°方向,MIC5位于机器人正向的180°方向,MIC6位于机器人正向的-135°方向,MIC7位于机器人正向的-90°方向,MIC8位于机器人正向的-45°方向。
当然,本申请不限于此。在其他实施例中,麦克风阵列也可以是其他平面阵列,也可以是线性阵列或空间立体阵列等。麦克风阵列中的各个麦克风可根据实际需求设置在同一平面或不同平面,可根据实际需求设置成围绕中心点均匀分布以获取尽可能大的采集定位范围,或设置成非均匀分布以进行特定的波束成形,从而重点对某些方位的声源进行采集定位和/或对于某些方位的声源进行零陷。并且,所述麦克风也可以是以单独、成组等非成对方式设置的。
可以采用多种方式来进行波束零陷。在第一示例中,可以在硬件器件的层面上执行波束零陷,从而抑制来自噪声源的噪声信号。
图5图示了根据本申请实施例的波束零陷步骤的流程图。
如图5所示,步骤S140可以包括:
在子步骤S141中,确定所述可移动设备在所述工作环境中的实时朝向。
例如,可移动机器人当前的朝向角θr的方法可以与子步骤S112中相同的方式得到,或者更加直接,可以将本子步骤S141与子步骤S112进行复用,即直接在子步骤S112中与可移动机器人的位置坐标同时地确定出该可移动机器人当前的朝向角θr。在图4的示例中,该朝向角θr为-45°。
在子步骤S142中,根据所述实时朝向与所述相对方向之间的夹角来确定在所述可移动设备上装备的音频采集器件阵列之中处于所述相对方向中的音频采集器件。
接下来,可以根据可移动机器人的朝向角θr和可移动机器人与噪声源之间的相对方向角θi来确定在麦克风阵列之中哪一个麦克风处于所述相对方向中。
在图4的示例中,该相对方向角θi为45°。也就是说,该噪声源与可移动机器人之间连线与可移动机器人的朝向之间的夹角为:Δθ=θi-θr=90°。由此,可以将在可移动机器人的麦克风阵列之中处于该方向上的麦克风MIC3确定为待执行波束零陷的麦克风。
更进一步地,由于除了麦克风MIC3之外,麦克风阵列中处于其附近的其他麦克风也会接收到噪声源的噪声信号,所以为了更好地执行波束零陷操作,可以将其附近的麦克风(例如,MIC2和MIC4、甚至MIC1和MIC5等)也确定为待执行波束零陷的麦克风。
需要说明的是,如果在该噪声源与可移动机器人之间连线与可移动机器人的朝向之间的夹角上没有正对着的麦克风,则可以将该方向附近的一个或多个麦克风确定为待执行波束零陷的麦克风。
例如,仍然参考图4,当该噪声源与可移动机器人之间连线与可移动机器人的朝向之间的夹角为80°时,可以将麦克风MIC3和麦克风MIC2同时确定为待执行波束零陷的麦克风。类似地,也可以将这两个麦克风附近的其他麦克风确定为需要执行波束零陷,以获得更好的噪声抑制效果。
在子步骤S143中,控制所述音频采集器件以执行所述波束零陷。
具体地,控制所述音频采集器件以执行所述波束零陷包括以下各项中的至少一个:消除所述音频采集器件所接收到的音频信号;抑制所述音频采集器件的接收强度;以及关闭所述音频采集器件。
也就是说,在确定出需要进行波束零陷的麦克风为MIC3之后,可以通过消除或衰减该麦克风MIC3所接收到的音频信号、降低麦克风MIC3的接收功率、或出于功耗考虑而直接关闭该麦克风MIC3的供电来执行波束零陷操作。此外,还可以以比麦克风MIC3更低抑制效果的执行参数来对麦克风MIC3附近的麦克风(例如,MIC2和MIC4等)来执行信号衰减、功率降低等操作来进一步抑制它们从噪声源接收到的噪声信号强度。
如果在该噪声源与可移动机器人之间连线与可移动机器人的朝向之间的夹角上没有正对着的麦克风,可以根据麦克风与相对方向的邻近程度来分配不同的抑制权重,并根据抑制权重来对麦克风执行波束零陷。例如,麦克风与相对方向越近,则抑制权重越大,相反,麦克风与相对方向越远,则抑制权重越小。
例如,当该噪声源与可移动机器人之间连线与可移动机器人的朝向之间的夹角为80°时,可以通过将麦克风MIC3的抑制权重设置为2/3并将麦克风MIC2的抑制权重设置为1/3来对它们执行波束零陷操作。进一步地,为了获得更佳的抑制效果,也可以类似地确定两者附近其他麦克风的抑制权重。
由于噪声源自身的朝向角不同可能导致麦克风阵列之中接收噪声信号强度最大的麦克风可能不同,所以在一个优选实施例中,除了机器人的实时朝向与机器人和噪声源的相对方向之间的夹角Δθ之外,还可以进一步结合噪声源的固定朝向角θn来确定待抑制的麦克风。
在第二示例中,也可以在音频信号的层面上执行波束零陷,从而抑制来自噪声源的噪声信号。
图6图示了根据本申请实施例的波束零陷步骤的流程图。
如图6所示,步骤S140可以包括:
在子步骤S144中,通过在所述可移动设备上装备的音频采集器件阵列之中的至少两个音频采集器件来接收音频信号。
如图4所示,可移动机器人的麦克阵列由8个麦克风MIC1到MIC8组成,可以利用它们中的至少两个麦克风对声源发出的音频信号进行采集。
在子步骤S145中,根据所述至少两个音频采集器件所接收到的所述音频信号的不同参数信息来确定所述音频信号的来源方向。
通过比对麦克风阵列之中不同麦克风所接收到的音频信号的不同参数信息(例如,相同音频信号到达不同麦克风的时间差)并且结合麦克风阵列的几何位置来对计算出声源的位置。
在子步骤S146中,响应于所述音频信号的来源方向处于所述相对方向中,消除所述音频信号。
在确定了所述声源的位置之后,比较所述声源的位置与噪声源的位置是否相同。如果两者相同,则说明该音频信号是来自于噪声源的噪声信号,则可以通过消除或衰减该音频信号来执行噪声抑制操作。
因此,第二示例可以判断音频信号的接收方向,并且在该接收方向位于噪声源方向的情况下,直接认定该音频信号属于噪声信号,并对它进行消除。然而,通过观察发现,这种噪声抑制方式在某些情况下可能导致非噪声信号也会被无意消除。例如,当关注声源(例如,用户)位于该噪声源与机器人之间的连线上时,由于机器人只会简单地消除在该方向上接收到的任何信号,而不对音频信号进行区分,这样可能导致用户在该方向放出的语音指令也会被滤除,从而导致机器人无法正确进行指令响应。
为了解决上述问题,该子步骤S146可以包括:获取所述噪声源的基准声纹;比较所述音频信号的声纹与所述噪声源的基准声纹;以及响应于所述音频信号的声纹与所述噪声源的基准声纹匹配,消除所述音频信号。
例如,可移动机器人可以从自身的存储器中或者通过有线和/或无线通信从与之分立的其他设备上的存储器中获得噪声源的信号特性。替换地,该可移动机器人也可以预先利用哈尔(Haar)算法、自适应增强(AdaBoost)算法、卷积神经网络(CNN)、支持向量机(SVM)等算法在大量音频样本数据的基础上训练出噪声检测器。对于从麦克风阵列输入的音频信号,使用该预先训练好的噪声检测器来快速地识别出是否属于噪声信号。只有发现所接收到的音频信号属于噪声信号时,才对它进行消除。如果所接收到的音频信号不属于噪声信号,则可以对它进行不进行任何处理或进行放大增强。
替换地,该子步骤S146也可以包括:确定发出所述音频信号的音源与所述可移动设备之间的来源距离;比较所述来源距离与所述噪声源相对于所述可移动设备的相对距离;响应于所述来源距离与所述相对距离之差小于或等于一阈值;消除所述音频信号。
也就是说,只有判断出所接收到的音频信号是从噪声源的固定位置发出的时,才对它进行消除。
这样,可以避免由于对来自噪声源方向的音频信号全部简单武断地消除而可能导致非噪声源的音频信号被误消除的情况。
由此可见,采用根据本申请第一实施例的噪声抑制方法,可以根据可移动设备在工作环境中的实时位置和噪声源在所述工作环境中的固定位置来确定所述噪声源相对于所述可移动设备的相对位置,并且控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制,使得可移动设备能够很好地消除来自固定的噪声源的噪声信号,保证了可移动设备在移动过程中不会受到噪声源的干扰,充分提高了其对诸如用户发出的语音指令、门窗破碎等特殊声响之类的音频触发事件的正确识别率。
下面结合图1的应用场景,参考图7来描述根据本申请第二实施例的噪声抑制方法。
图7图示了根据本申请第二实施例的噪声抑制方法的流程图。
在图7中,采用了相同的附图标记来指示与图2相同的步骤。因此,图7中的步骤S110-S140与图2的步骤S110-S140相同,并可以参见上面结合图2到图6进行的描述。图7与图2的不同之处在于增加了步骤S102、步骤S104和步骤S145之间的一个或多个。
在步骤S102中,控制可移动设备构建工作环境的地图。
如上所述,可移动机器人可以通过SLAM来构建该工作环境的地图。机器人在自身位置不确定的情况下,在完全未知的工作环境中创建地图,也就是说,机器人在工作环境中的一个未知位置开始移动,在移动过程中根据位置估计和传感器(包括加速度计与陀螺仪)数据进行自身定位,同时构建增量式的地图。
在一个示例中,该可移动机器人也可以在地图构建过程中,与辅助引导设备进行通信,从而快速生成并校准地图。该辅助引导设备可以是信标节点(BN),其例如包括多个联网的光学或红外摄像头,其位于机器人的上方开阔区域,以通过色标定位或移动物体检测等技术来观测和识别处于其视线范围内的可移动机器人,并获取直接的地图或定位信息,以便协助机器人进行更为精确的SLAM操作。
当然,本申请不限于此。无论是现有的、还是将来开发的任何用于未知环境的地图构建方法,都可以应用于本申请的实施例中,并且也应包括在本申请的保护范围内。
在步骤S104中,控制可移动设备确定噪声源在所述工作环境中的固定位置。
如上所述,该噪声源可以是由该可移动机器人在构建工作环境的地图的过程中发现并标注的,或者也可以是该可移动机器人在已知工作环境地图的基础上执行特定工作任务(例如,扫地、巡逻等)的过程中,实时发现并标注的。
图8图示了根据本申请实施例的确定噪声源的固定位置步骤的流程图。
如图8所示,步骤S104可以包括:
在子步骤S1041中,获取所述噪声源的基准样本数据。
在子步骤S1042中,控制所述可移动设备在移动过程中采集环境观测数据。
在子步骤S1043中,根据所述基准样本数据和所述环境观测数据来判断是否存在所述噪声源。
在子步骤S1044中,响应于存在所述噪声源,根据所述可移动设备的当前位置和姿态、所述环境观测数据和所述基准样本数据来确定所述噪声源在所述工作环境中的固定位置。
例如,该可移动机器人可以利用预先训练好的噪声源分类器来在工作环境中定位噪声源,确定噪声源的位置和外形尺寸。例如,可以预先利用级联回归方法在大量人工标注的噪声源的观测样本数据(即,基准样本数据)的基础上训练出该噪声源检测器。替换地,该可移动机器人也可以预先利用哈尔(Haar)算法、自适应增强(AdaBoost)算法、卷积神经网络(CNN)、支持向量机(SVM)等算法在大量观测样本数据的基础上训练出噪声源检测器。然后,机器人可以在移动过程中采集周围物体的环境观测数据。对于这些观测到的物体,可以使用该预先训练好的噪声源检测器来快速地识别以判断其中是否包括噪声源。例如,可以通过诸如提取特征并进行(例如,基于欧式距离等的)特征比对之类方式来确定当前是否出现噪声源。
例如,取决于噪声源的类型,该观测样本数据可以是基于噪声源外形的和/或基于噪声源内容的。以电视机为例,该观测样本数据可以是关于电视机外形的图像数据,可以基于这些图像数据来提取电视机的关键点作为外形特征。例如,外形关键点可以是电视机外形上一些表征能力强的关键点,例如商标、按钮、指示灯、屏幕边缘、和外框轮廓等。类似地,该观测样本数据也可以是关于电视机外形的激光扫描数据、关于电视机节目的图像数据、或者关于电视机节目的音频数据等。在一个优选实施例中,为了更加全面地对电视机进行表征,也可以通过将上述观测样本数据中的两种或多种进行组合来训练更加准确的噪声源检测器。
最后,一旦识别出物体属于噪声源,可以根据可移动机器人的当前位姿信息(Xr,Yr,θr)来确定该噪声源当前的位置坐标(Xn,Yn)。在必要时,还可以进一步或者与位置坐标同时地确定出该噪声源当前的朝向角θn,以便更加精确地确定出该噪声源发出的噪声信号对于机器人的影响。在一个优选实施例中,为了更加全面地对噪声源进行定位,在环境观测数据包括基于视觉的数据时,还可以进一步比对环境观测数据和观测样本数据来确定该噪声源与可移动机器人的相对位置关系,从而获得更准确的固定位置坐标。
在步骤S145中,控制所述可移动设备根据所述相对位置来对来自所述噪声源之外的非噪声源的非噪声信号进行增强。
在一个示例中,该步骤S145可以通过以下方式来实现:控制所述可移动设备在除了所述相对方向之外的其他方向中进行波束增强。
例如,返回参考图4,在确定出需要进行波束零陷的麦克风为MIC3之后,可以通过放大除了该麦克风MIC3之外的其他麦克风所接收到的音频信号、增强其他麦克风的接收功率等来执行波束增强操作。此外,波束增强的操作也可以基于增强权重来进行。例如,可以根据麦克风与相对方向的邻近程度来分配不同的增强权重,并根据增强权重来对麦克风执行波束零陷。例如,麦克风与相对方向越远,则增强权重越大,相反,麦克风与相对方向越近,则增强权重越小。
由此可见,采用根据本申请第二实施例的噪声抑制方法,不但可以控制可移动设备根据噪声源相对于可移动设备的相对位置来对来自所述噪声源的噪声信号进行抑制,而且还可以对来自非噪声源的非噪声信号(或有效信号)进行增强,从而取得更好的音频触发事件识别率。此外,本实施例进一步完善了可移动机器人的工作流程,可以控制可移动设备对工作环境进行地图构建,并在该工作环境中确定噪声源的固定位置,使得可移动设备的操作更加全面完整,使得本申请的可执行性更强。
需要说明的是,根据本申请各个实施例的噪声抑制方法可以应用于可移动设备中,由可移动设备自主完成,也可以应用于与可移动设备分立的且可以与可移动设备进行通信的其他设备(诸如,服务器)中,由该其他设备遥控可移动设备完成。
示例性装置
下面,参考图9来描述根据本申请实施例的噪声抑制装置。
图9图示了根据本申请实施例的噪声抑制装置的框图。
如图9所示,根据本申请实施例的噪声抑制装置100可以包括:实时位置确定单元110,用于确定可移动设备在工作环境中的实时位置;固定位置获取单元120,用于获取噪声源在所述工作环境中的固定位置;相对位置确定单元130,用于根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及噪声信号抑制单元140,用于控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制。
在一个示例中,所述实时位置确定单元110可以包括:环境地图读取模块,用于读取预先构建的所述工作环境的地图;以及实时位置确定模块,用于基于相对定位方式、绝对定位方式、和组合定位方式中的至少一种,在所述工作环境的地图中确定所述可移动设备的实时位置。
在一个示例中,所述噪声抑制装置100还可以包括:环境地图构建模块150,用于构建所述工作环境的地图。
在一个示例中,所述噪声抑制装置100还可以包括:固定位置确定单元160,用于确定所述噪声源在工作环境中的固定位置。
在一个示例中,所述固定位置确定单元160可以包括:样本数据获取模块,用于获取所述噪声源的基准样本数据;观测数据采集模块,用于控制所述可移动设备在移动过程中采集环境观测数据;噪声源判断模块,用于根据所述基准样本数据和所述环境观测数据来判断是否存在所述噪声源;以及固定位置确定模块,用于响应于存在所述噪声源,根据所述可移动设备的当前位置和姿态、所述环境观测数据和所述基准样本数据来确定所述噪声源在所述工作环境中的固定位置。
在一个示例中,所述相对位置确定单元130可以根据所述实时位置和所述固定位置来确定所述噪声源相位于所述可移动设备的相对方向。
在一个示例中,所述噪声信号抑制单元140可以控制所述可移动设备在所述相对方向中进行波束零陷。
在一个示例中,所述噪声信号抑制单元140可以包括:实时朝向确定模块,用于确定所述可移动设备在所述工作环境中的实时朝向;采集器件确定模块,用于根据所述实时朝向与所述相对方向之间的夹角来确定在所述可移动设备上装备的音频采集器件阵列之中处于所述相对方向中的音频采集器件;以及波束零陷执行模块,用于控制所述音频采集器件以执行所述波束零陷。
在一个示例中,所述波束零陷执行模块可以执行以下各项中的至少一个:消除所述音频采集器件所接收到的音频信号;抑制所述音频采集器件的接收强度;以及关闭所述音频采集器件。
在一个示例中,所述噪声信号抑制单元140可以包括:音频信号接收模块,用于通过在所述可移动设备上装备的音频采集器件阵列之中的至少两个音频采集器件来接收音频信号;来源方向确定模块,用于根据所述至少两个音频采集器件所接收到的所述音频信号的不同参数信息来确定所述音频信号的来源方向;以及波束零陷执行模块,用于响应于所述音频信号的来源方向处于所述相对方向中,消除所述音频信号。
在一个示例中,所述波束零陷执行模块可以获取所述噪声源的基准声纹;比较所述音频信号的声纹与所述噪声源的基准声纹;以及响应于所述音频信号的声纹与所述噪声源的基准声纹匹配,消除所述音频信号。
在一个示例中,所述噪声抑制装置100还可以包括:非噪声信号增强单元145,用于控制所述可移动设备在除了所述相对方向之外的其他方向中进行波束增强。
上述噪声抑制装置100中的各个单元和模块的具体功能和操作已经在上面参考图1到图8描述的噪声抑制方法中详细介绍,并因此,将省略其重复描述。
需要说明的是,根据本申请实施例的噪声抑制装置100可以作为一个软件模块和/或硬件模块而集成到该可移动设备中,换言之,该可移动设备可以包括该噪声抑制装置100。例如,当可移动设备是可移动机器人时,该噪声抑制装置100可以是该可移动机器人的操作***中的一个软件模块,或者可以是针对于该可移动机器人所开发的一个应用程序;当然,该噪声抑制装置100同样可以是该可移动机器人的众多硬件模块之一。
替换地,在另一示例中,该噪声抑制装置100与该可移动机器人也可以是分立的设备(例如,服务器),并且该噪声抑制装置100可以通过有线和/或无线网络连接到该可移动机器人,并且按照约定的数据格式来传输交互信息。
示例性设备
下面,参考图10来描述根据本申请实施例的可移动设备。该可移动设备可以是可移动机器人、可移动计算机或服务器或其他电子设备。
图10图示了根据本申请实施例的可移动设备的框图。
如图10所示,可移动设备200包括一个或多个处理器210和存储器220。
处理器210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制可移动设备200中的其他部件以执行期望的功能。
存储器220可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器210可以运行所述程序指令,以实现上文所述的本申请的实施例的噪声抑制方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如工作环境的地图、噪声源的固定位置、可移动设备的实时位置、音频采集器件阵列的布局等。
在一个示例中,可移动设备200还可以包括:音频采集器件230,被配置为接收音频信号。例如,该音频采集器件230可以包括一个或多个全向型的采集器件,也可以是由多个指向型的采集器件阵列构成。具体地,该音频采集器件230可以是麦克风或麦克风阵列。麦克风阵列也称为麦克风的排列,其是由一定数目的麦克风组成、用来对声场的空间特性进行采样并处理的***。麦克风阵列除了能够实现基于零陷的噪声抑制以外,还可以对非噪声信号进行增强,并且可以实现诸如声源定位、去混响等其他功能。
在一个示例中,可移动设备200还可以包括:驱动器件240,被配置为驱动所述可移动设备在工作环境中移动。例如,驱动部件240可包括电动机以及受电动机驱动的轮子或履带等。电动机的运行可由处理器210控制。
在一个示例中,可移动设备200还可以包括:输入装置250和输出装置260,这些部件通过总线***270和/或其他形式的连接机构(未示出)互连。应当注意,图10所示的可移动设备200的部件和结构只是示例性的,而非限制性的,根据需要,可移动设备200也可以具有其他部件和结构。
例如,该输入装置250可以是环境采集器件。环境采集器件被配置为采集周围环境数据,并且将所采集的周围环境数据存储在存储器220中以供其他器件使用。当然,也可以利用其他集成或分立的环境采集器件来采集该周围环境数据,并且将它发送到可移动设备。例如,该环境采集器件可以是用于捕捉图像数据的图像传感器,其可以是摄像头或摄像头阵列。又如,该环境采集器件可以是用于捕捉扫描数据的激光传感器,其可以是激光器或激光器阵列。或者,该环境采集器件也可以是用于捕捉音频数据的音频传感器,其可以是麦克风或麦克风阵列。当然,本申请不限于此。该环境采集器件还可以是雷达之类的其他各种器件。
输出装置260可以向外部(例如,用户)输出各种信息,例如图像信息、声音信息、识别结果,并且可以包括显示器、扬声器等中的一个或多个。
尽管未示出,可移动设备200还可以包括通信装置等,通信装置可以通过网络或其他技术与其他装置(例如,个人计算机、服务器、移动台、基站等)通信,所述网络可以是因特网、无线局域网、移动通信网络等,所述其他技术例如可以包括蓝牙通信、红外通信等。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的噪声抑制方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的噪声抑制方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种噪声抑制方法,包括:
确定可移动设备在工作环境中的实时位置;
获取噪声源在所述工作环境中的固定位置;
根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及
控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制;
其中,在获取噪声源在所述工作环境中的固定位置之前,所述方法还包括:
获取所述噪声源的基准样本数据,
控制所述可移动设备在移动过程中采集环境观测数据,
根据所述基准样本数据和所述环境观测数据来判断是否存在所述噪声源,以及
响应于存在所述噪声源,根据所述可移动设备的当前位置和姿态、所述环境观测数据和所述基准样本数据来确定所述噪声源在所述工作环境中的固定位置;
其中,控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制包括:
通过在所述可移动设备上装备的音频采集器件阵列之中的至少两个音频采集器件来接收音频信号,以及
响应于发出所述音频信号的音源到所述可移动设备的来源距离与所述噪声源到所述可移动设备的相对距离之差小于或等于一阈值,消除所述音频信号。
2.根据权利要求1的方法,其中,确定可移动设备在工作环境中的实时位置包括:
读取预先构建的所述工作环境的地图;以及
基于相对定位方式、绝对定位方式、和组合定位方式中的至少一种,在所述工作环境的地图中确定所述可移动设备的实时位置。
3.根据权利要求1的方法,其中,根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置包括:
根据所述实时位置和所述固定位置来确定所述噪声源相位于所述可移动设备的相对方向。
4.根据权利要求3的方法,其中,控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制包括:
控制所述可移动设备在所述相对方向中进行波束零陷。
5.根据权利要求4的方法,其中,控制所述可移动设备在所述相对方向中进行波束零陷包括:
确定所述可移动设备在所述工作环境中的实时朝向;
根据所述实时朝向与所述相对方向之间的夹角来确定在所述可移动设备上装备的音频采集器件阵列之中处于所述相对方向中的音频采集器件;以及
控制所述音频采集器件以执行所述波束零陷。
6.根据权利要求5的方法,其中,控制所述音频采集器件以执行所述波束零陷包括以下各项中的至少一个:
消除所述音频采集器件所接收到的音频信号;
抑制所述音频采集器件的接收强度;以及
关闭所述音频采集器件。
7.根据权利要求4的方法,其中,控制所述可移动设备在所述相对方向中进行波束零陷包括:
通过在所述可移动设备上装备的音频采集器件阵列之中的至少两个音频采集器件来接收音频信号;
根据所述至少两个音频采集器件所接收到的所述音频信号的不同参数信息来确定所述音频信号的来源方向;以及
响应于所述音频信号的来源方向处于所述相对方向中,消除所述音频信号。
8.根据权利要求7的方法,消除所述音频信号包括:
获取所述噪声源的基准声纹;
比较所述音频信号的声纹与所述噪声源的基准声纹;以及
响应于所述音频信号的声纹与所述噪声源的基准声纹匹配,消除所述音频信号。
9.根据权利要求3的方法,还包括:
控制所述可移动设备在除了所述相对方向之外的其他方向中进行波束增强。
10.一种噪声抑制装置,包括:
实时位置确定单元,用于确定可移动设备在工作环境中的实时位置;
固定位置获取单元,用于获取噪声源在所述工作环境中的固定位置;
相对位置确定单元,用于根据所述实时位置和所述固定位置来确定所述噪声源相对于所述可移动设备的相对位置;以及
噪声信号抑制单元,用于控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制;
其中所述固定位置确定单元包括:
样本数据获取模块,用于获取所述噪声源的基准样本数据;
观测数据采集模块,用于控制所述可移动设备在移动过程中采集环境观测数据;
噪声源判断模块,用于根据所述基准样本数据和所述环境观测数据来判断是否存在所述噪声源;
以及固定位置确定模块,用于响应于存在所述噪声源,根据所述可移动设备的当前位置和姿态、所述环境观测数据和所述基准样本数据来确定所述噪声源在所述工作环境中的固定位置;
其中,控制所述可移动设备根据所述相对位置来对来自所述噪声源的噪声信号进行抑制包括:
通过在所述可移动设备上装备的音频采集器件阵列之中的至少两个音频采集器件来接收音频信号,以及
响应于发出所述音频信号的音源到所述可移动设备的来源距离与所述噪声源到所述可移动设备的相对距离之差小于或等于一阈值,消除所述音频信号。
11.一种可移动设备,包括:
处理器;
存储器;以及
存储在所述存储器中的计算机程序指令,所述计算机程序指令在被所述处理器运行时执行根据权利要求1-9中任一项的方法。
12.根据权利要求11的设备,还包括以下各项中的至少一个:
驱动器件,被配置为驱动所述可移动设备在工作环境中移动;
环境采集器件,被配置为采集环境观测数据;以及
音频采集器件,被配置为接收音频信号。
13.一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行根据权利要求1-9中任一项的方法。
CN201610594547.8A 2016-07-22 2016-07-26 噪声抑制方法、装置和可移动设备 Active CN105979442B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016105874701 2016-07-22
CN201610587470 2016-07-22

Publications (2)

Publication Number Publication Date
CN105979442A CN105979442A (zh) 2016-09-28
CN105979442B true CN105979442B (zh) 2019-12-03

Family

ID=56950676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610594547.8A Active CN105979442B (zh) 2016-07-22 2016-07-26 噪声抑制方法、装置和可移动设备

Country Status (1)

Country Link
CN (1) CN105979442B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106984547A (zh) * 2016-11-21 2017-07-28 北京京东尚科信息技术有限公司 端拾器拣选货物的方法、装置和端拾器
CN107221336B (zh) * 2017-05-13 2020-08-21 深圳海岸语音技术有限公司 一种增强目标语音的装置及其方法
DE102017215219A1 (de) * 2017-08-31 2019-02-28 Audi Ag Mikrofonsystem für ein Kraftfahrzeug mit Richtcharakteristik und Signalverbesserung
CN107613428B (zh) * 2017-09-15 2020-02-14 北京地平线信息技术有限公司 声音处理方法、装置和电子设备
CN109167814A (zh) * 2018-08-03 2019-01-08 佛山市甜慕链客科技有限公司 一种用于降低由设备发出的噪声的方法及***
CN109587362B (zh) * 2018-12-24 2020-06-26 龙马智芯(珠海横琴)科技有限公司 回声抑制的处理方法和装置
CN110691299B (zh) * 2019-08-29 2020-12-11 科大讯飞(苏州)科技有限公司 音频处理***、方法、装置、设备及存储介质
CN110907895A (zh) * 2019-12-05 2020-03-24 重庆商勤科技有限公司 噪声监测识别定位方法、***及计算机可读存储介质
CN113497995B (zh) * 2020-04-08 2023-04-04 华为技术有限公司 麦克风阵列控制方法、装置、电子设备及计算机存储介质
CN113867158B (zh) * 2020-06-12 2023-10-24 青岛海尔电冰箱有限公司 厨房电器运行状态判断方法、检测装置、冰箱及可读存储介质
CN111863012A (zh) * 2020-07-31 2020-10-30 北京小米松果电子有限公司 一种音频信号处理方法、装置、终端及存储介质
CN114630246B (zh) * 2020-12-10 2023-08-08 比亚迪股份有限公司 声音调节装置、方法以及***
CN113112845B (zh) * 2021-04-07 2022-10-14 苏州鱼得水电气科技有限公司 一种双工通信中的干扰抑制***及方法
CN114023055B (zh) * 2021-11-17 2023-01-24 成都千嘉科技有限公司 一种基于无线抄表集中器的干扰探测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637857A (zh) * 2004-01-07 2005-07-13 株式会社电装 噪音消除***、语音识别***以及汽车导航***
CN1711799A (zh) * 2002-10-08 2005-12-21 日本电气株式会社 阵列装置以及便携式终端
CN102696239A (zh) * 2009-11-24 2012-09-26 诺基亚公司 一种设备
WO2012178061A1 (en) * 2011-06-24 2012-12-27 Rawles Llc Time difference of arrival determination with direct sound
CN103581803A (zh) * 2012-08-09 2014-02-12 罗技欧洲公司 智能周围声音监控***
CN103632666A (zh) * 2013-11-14 2014-03-12 华为技术有限公司 语音识别方法、语音识别设备和电子设备
CN103930791A (zh) * 2011-09-20 2014-07-16 丰田自动车株式会社 声源检测***和声源检测方法
CN105654961A (zh) * 2014-11-10 2016-06-08 ***通信集团公司 一种终端设备语音降噪的方法及装置
CN105716604A (zh) * 2016-02-25 2016-06-29 华南理工大学 基于地磁序列的移动机器人室内定位方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903108B2 (en) * 2011-12-06 2014-12-02 Apple Inc. Near-field null and beamforming
US9495591B2 (en) * 2012-04-13 2016-11-15 Qualcomm Incorporated Object recognition using multi-modal matching scheme
CN104935913B (zh) * 2014-03-21 2018-12-04 杜比实验室特许公司 处理多个装置采集的音频或视频信号
CN103957359B (zh) * 2014-05-15 2016-08-24 努比亚技术有限公司 摄像装置及其对焦方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711799A (zh) * 2002-10-08 2005-12-21 日本电气株式会社 阵列装置以及便携式终端
CN1637857A (zh) * 2004-01-07 2005-07-13 株式会社电装 噪音消除***、语音识别***以及汽车导航***
CN102696239A (zh) * 2009-11-24 2012-09-26 诺基亚公司 一种设备
WO2012178061A1 (en) * 2011-06-24 2012-12-27 Rawles Llc Time difference of arrival determination with direct sound
CN103930791A (zh) * 2011-09-20 2014-07-16 丰田自动车株式会社 声源检测***和声源检测方法
CN103581803A (zh) * 2012-08-09 2014-02-12 罗技欧洲公司 智能周围声音监控***
CN103632666A (zh) * 2013-11-14 2014-03-12 华为技术有限公司 语音识别方法、语音识别设备和电子设备
CN105654961A (zh) * 2014-11-10 2016-06-08 ***通信集团公司 一种终端设备语音降噪的方法及装置
CN105716604A (zh) * 2016-02-25 2016-06-29 华南理工大学 基于地磁序列的移动机器人室内定位方法及***

Also Published As

Publication number Publication date
CN105979442A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN105979442B (zh) 噪声抑制方法、装置和可移动设备
JP6420303B2 (ja) 識別された投影表面に像を投影するためのプロジェクターを具備するロボット
CN106679651B (zh) 声源定位方法、装置和电子设备
US10381003B2 (en) Voice acquisition system and voice acquisition method
US11112261B2 (en) Navigation methods and apparatus for the visually impaired
JP4460528B2 (ja) 識別対象識別装置およびそれを備えたロボット
CN104106267B (zh) 在增强现实环境中的信号增强波束成形
CN108665891B (zh) 声音检测装置、声音检测方法以及记录介质
US9517559B2 (en) Robot control system, robot control method and output control method
JP6221158B2 (ja) 自律行動ロボット、及び自律行動ロボットの制御方法
CN102447697B (zh) 开放环境中的半私人通信的方法及***
WO2019236588A1 (en) System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
CN113281706B (zh) 一种目标定位方法、装置及计算机可读存储介质
JP6348732B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20210264931A1 (en) Wearable system speech processing
CN103389486B (zh) 控制方法和电子设备
Shu et al. Application of extended Kalman filter for improving the accuracy and smoothness of Kinect skeleton-joint estimates
JP6747451B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11417328B1 (en) Autonomously motile device with speech commands
US11983006B2 (en) Autonomously motile device with remote control
JP2015066623A (ja) ロボット制御システムおよびロボット
US11442463B1 (en) System to determine stationary features by autonomous mobile device
US11217235B1 (en) Autonomously motile device with audio reflection detection
Hoshiba et al. Design and assessment of sound source localization system with a UAV-embedded microphone array
CN112578338B (zh) 声源定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant