CN113689873A - 噪声抑制方法、装置及电子设备和存储介质 - Google Patents

噪声抑制方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN113689873A
CN113689873A CN202111045463.6A CN202111045463A CN113689873A CN 113689873 A CN113689873 A CN 113689873A CN 202111045463 A CN202111045463 A CN 202111045463A CN 113689873 A CN113689873 A CN 113689873A
Authority
CN
China
Prior art keywords
sound
category
interest
obtaining
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111045463.6A
Other languages
English (en)
Inventor
韩俊宁
肖荣彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111045463.6A priority Critical patent/CN113689873A/zh
Publication of CN113689873A publication Critical patent/CN113689873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本申请实施例公开了一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法、装置及电子设备和存储介质，获得关注方向；基于关注方向形成麦克风阵列的接收波束，以聚焦于关注方向上并抑制关注方向以外音源的信号；基于接收波束形成采集音频信号；基于降噪引擎处理采集音频信号生成音频信号，降噪引擎用于滤除采集音频信号中的噪声信号。基于本申请，在基于接收波束形成采集音频信号后，还基于降噪引擎对采集音频信号进行降噪处理，从而实现接收波束内噪声的衰减，提高音频录制效果。

Description

噪声抑制方法、装置及电子设备和存储介质
技术领域
本申请涉及音频处理技术领域，更具体地说，涉及一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法、装置及电子设备和存储介质。
背景技术
目前的便携式电子设备，比如智能手机、平板电脑等，在录制音频时，会使用波束成形的声音聚焦方案，该方案对波束内的声音进行放大，对波束外的声音进行衰减，但是当噪声源位于波束内时，对波束内的声音进行放大时噪声也会被放大，使得音频录制效果差。
发明内容
本申请的目的是提供一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法、装置及电子设备和存储介质，包括如下技术方案：
一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法，所述方法包括：
获得关注方向；
基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
基于所述接收波束形成采集音频信号；
基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
上述方法，优选的，所述方法还包括：
获得所述关注方向上的目标声音类别；
所述基于降噪引擎处理所述采集音频信号生成音频信号包括：
基于所述目标声音类别所对应的声音模型处理并提取所述采集音频信号的满足所述目标声音类别特征的声音信号作为所述音频信号。
上述方法，优选的，每个声音模型对应至少一个声音类别，不同的声音模型对应的声音类别至少存在部分不同，所述目标声音类别包括一个或者多个声音类别。
上述方法，优选的，所述获得所述关注方向上的目标声音类别包括：
识别所述采集音频信号，获得所述采集音频信号所对应的至少一个声音类别；
获得针对显示每个所述至少一个声音类别的选择对象的选择操作；
基于所述选择操作确定目标声音类别。
上述方法，优选的，所述获得所述关注方向上的目标声音类别包括：
通过所述电子设备的摄像头获得采集图像，所述摄像头采集方向为所述关注方向；
识别所述采集图像中的采集对象，确定所述采集对象的类别，所述采集对象包括一个或者多个；
获得针对采集对象的选择操作；
基于所述选择操作确定目标声音类别。
上述方法，优选的，所述获得关注方向包括：
如果所述电子设备的目标摄像头调启，所述目标摄像头的采集方向为所述关注方向；
或者，
通过所述麦克风阵列定位所述电子设备所在的空间范围内音源的位置；
显示所述音源的位置；
选择目标位置的音源，所述目标位置相对于所述电子设备的方向作为关注方向。
上述方法，优选的，所述方法还包括：
启动视频录制/声音录制，基于所述关注方向形成所述麦克风阵列的接收波束和所述降噪引擎获得音频信号；
或者，
启动视频通话/声音通话，基于所述关注方向形成所述麦克风阵列的接收波束和所述降噪引擎获得音频信号。
一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的装置，所述装置包括：
获得模块，用于获得关注方向；
波束成形模块，用于基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
采集模块，用于基于所述接收波束形成采集音频信号；
生成模块，用于基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如上任一项所述的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的信息处理方法的各个步骤。
通过以上方案可知，本申请提供的一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法、装置及电子设备和存储介质，获得关注方向；基于关注方向形成麦克风阵列的接收波束，以聚焦于关注方向上并抑制关注方向以外音源的信号；基于接收波束形成采集音频信号；基于降噪引擎处理采集音频信号生成音频信号，降噪引擎用于滤除采集音频信号中的噪声信号。基于本申请，在基于接收波束形成采集音频信号后，进一步基于降噪引擎对采集音频信号进行降噪处理，从而实现接收波束内噪声的衰减，提高音频录制效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法的一种实现流程图；
图2为本申请实施例提供的优化方案的一种架构示意图；
图3为本申请实施例提供的获得关注方向上的目标声音类别的一种实现流程图；
图4为本申请实施例提供的获得关注方向上的目标声音类别的一种实现流程图；
图5为本申请实施例提供的获得关注方向的另一种实现流程图；
图6为本申请实施例提供的本申请与现有技术的波束成形声音降噪方案的效果对比图；
图7为本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的装置的一种结构示意图；
图8为本申请实施例提供的电子设备的一种结构示意图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的方案用于电子设备中，该电子设备具有由多个麦克风组成的麦克风阵列，该电子设备可以是智能手机或平板电脑，或其它电子设备，比如摄像机等。
本申请的方案可以用于音频录制，这里的音频录制可以为纯音频录制，也可以为视频录制过程中的音频录制。
如图1所示，为本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法的一种实现流程图，可以包括：
步骤S101：获得关注方向。
关注方向是指录制音/视频时所关注的方向。关注方向可以通过麦克风阵列确定，也可以通过其它方式确定，比如，通过摄像头确定。具体实现方式可以参看后续实施例。
步骤S102：基于关注方向形成麦克风阵列的接收波束，以聚焦于关注方向上并抑制关注方向以外音源的信号。
麦克风阵列的接收波束指示麦克风阵列的声音采集范围，该声音采集范围位于关注方向上，从而可以对关注方向内的声音进行放大，而位于关注方向外的声音可以进行抑制。
步骤S103：基于接收波束形成采集音频信号。
可以通过麦克风阵列收集电子设备周围的声音，然后，对位于接收波束内的声音进行放大，而对接收波束外的声音进行衰减或抑制，从而形成采集音频信号。
步骤S104：基于降噪引擎处理采集音频信号生成音频信号，降噪引擎用于滤除采集音频信号中的噪声信号。
本申请中，在基于接收波束形成采集音频信号后，还基于降噪引擎对采集音频信号进行降噪处理，从而实现接收波束内噪声的衰减，提高音频录制效果。
通常，在录制音频或视频时，在声音方面主要是录制拍摄主体(比如，主持人，小视频的主角等)的语音，因此，滤除采集音频信号中的噪声信号得到的音频信号，可能只有拍摄主体的语音。但在实际生活中，拍摄主体周围通常会有其它声源，而且在一些场景下，对于录音音/视频的用户来说，并不是所有的非语音都是噪声，比如，在对婴儿进行拍摄时，婴儿的哭/笑声并不属于噪声，在音乐会现场，音乐也不属于噪声等等。为了满足用户对不同场景下的不同降噪需求，还可以对上述方案做进一步优化。如图2所示，为本申请实施例提供的优化方案的一种架构示意图，该示意图中，波束成形降噪引擎用于基于麦克风阵列收集的音频信号形成采集音频信号，噪声分类模块用于识别采集音频信号所对应的各个声音类别，并确定目标声音类别，向AI降噪模块发送降噪控制信号，该降噪控制信号用于指示AI降噪模块从采集音信号中提取目标声音类别的音频信号，而滤除其它的音频信号，AI降噪模块根据降噪控制信号从采集音信号中提取目标声音类别的音频信号，AI降噪模块输出的信号就是降噪后的音频信号。
基于上述架构，本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法，还可以包括：
获得关注方向上的目标声音类别。
本申请实施例中，目标声音类别是指禁止滤除的声音类别，即需要保留的声音类别。声音类别可以包括但不限于如下几种：语音、音乐、婴儿哭泣声或/和笑声、动物叫声等。
相应的，基于降噪引擎处理采集音频信号生成音频信号可以包括：
基于目标声音类别所对应的声音模型处理并提取采集音频信号的满足目标声音类别特征的声音信号作为上述音频信号。
本申请实施例中，预先建立了多个声音模型，这里的声音模型可以是神经网络模型，也可以是其它类型的模型，比如，基于数字信号处理器(digital signalprocessing，DSP)构建的模型。其中，
每个声音模型对应至少一个声音类别，不同的声音模型对应的声音类别的数量可以相同，也可以不同。
不同的声音模型对应的声音类别可以存在部分不同，或者，不同的声音模型对应的声音类别完全不同。
每个声音模型能够从采集音频信号中提取对应声音类别的音频信号，衰减或滤除对应声音类别之外的其它声音类别的音频信号。
作为示例，本申请实施例中的声音模型可以包括但不限于如下几种中的至少部分：只保留单纯的语音的声音模型，只保留音乐的声音模型，只保留动物叫声的声音模型，只保留婴儿哭泣声或/和笑声的声音模型，只保留自然界声音(风声、雨声、雷声等)的声音模型，只保留语音和音乐的声音模型，只保留语音和婴儿哭泣声或/和笑声的声音模型，只保留语音和动物叫声的声音模型，只保留音乐和婴儿哭泣声或/和笑声的声音模型，只保留语音、音乐和婴儿哭泣声或/和笑声的声音模型，只保留自然界声音和动物声的声音模型等等。
下面以只保留音乐的声音模型和只保留语音和动物叫声的声音模型为例，对声音模型进行说明，其中，只保留音乐的声音模型是指声音模型在对采集音频信号进行降噪处理时，将音乐之外的声音作为噪声滤除掉，使得降噪后的音频信号中只有音乐，而没有其它声音；同理，只保留语音和动物叫声的声音模型是指声音模型在对采集音频信号进行降噪处理时，将除了语音和动物叫声之外的声音作为噪声滤除掉，使得降噪后的音频信号中只有语音和动物叫声。
目标声音类别可以包括至少一个声音类别，即目标声音类别可以包括一个声音类别，或者，目标声音类别可以包括多个声音类别(即至少两个声音类别)。
在每个声音模型仅对应一个声音类别，且目标声音类别包括多个声音类别的情况下，目标声音类别对应的声音模型就是目标声音类别包括的各个声音类别对应的声音模型，即目标声音类别对应的声音模型为多个；
在声音模型对应多个声音类别，且目标声音类别包括多个声音类别的情况下，如果目标声音类别包括的多个声音类别正好是同一个声音模型对应的声音类别，则目标声音类别对应的声音模型只有一个，否则，目标声音类别对应的声音模型包括至少两个。
在一可选的实施例中，上述获得关注方向上的目标声音类别的一种实现流程图如图3所示，可以包括：
步骤S301：识别采集音频信号，获得采集音频信号所对应的至少一个声音类别。
可以基于声音识别引擎识别采集音频信号，获得采集音频信号中包括的声音类别。声音识别引擎可以是预先训练好的用于识别音频信号对应的声音类别的神经网络模型。
步骤S302：获得针对显示每个至少一个声音类别的选择对象的选择操作。
在识别出采集音频信号对应的至少一个声音类别后，可以显示交互界面，交互界面上可以显示多个选择对象，每个选择对象表征一个声音类别，用户可以根据自己的需要选择需要保留的声音类别。用户可以针对要选择的选择对象执行选择操作，选择操作可以包括但不限于以下任意一种：单击或双击等。
步骤S303：基于选择操作确定目标声音类别。
可以将选择操作针对的选择对象表征的声音类别确定为目标声音类别。
在一可选的实施例中，上述获得关注方向上的目标声音类别的一种实现流程图如图4所示，可以包括：
步骤S401：通过电子设备的摄像头获得采集图像，摄像头采集方向为上述关注方向。
在单纯录制音频的情况下，通过电子设备的摄像头获得的采集图像可以不进行显示，在录制视频的情况下，通过电子设备的摄像头获得的采集图像可以是电子设备实时采集并显示的图像。
步骤S402：识别采集图像中的采集对象，确定采集对象的类别，采集对象包括一个或者多个。
本申请中，识别采集图像中的采集对象是指识别采集图像中有哪些类别的对象。
采集对象的类别可以包括但不限于：非婴儿、婴儿、动物、乐器、交通工具、玩具等。
可以基于图像识别引擎识别采集图像中的采集对象，从而确定采集对象的类别，图像识别引擎可以是预先训练好的用于识别图像中的对象类别的神经网络模型。
步骤S403：获得针对采集对象的选择操作。
在确定采集对象的类别后，可以显示交互界面，交互界面上显示所识别出的选择对象，以供用户根据其希望保留的声音类别选择对应的采集对象。用户可以针对需要选择的采集对象执行预设选择操作(比如单击或双击等)，以实现对采集对象的选择。
步骤S404：基于上述选择操作确定目标声音类别。
可以根据选择操作确定用户选择的采集对象，然后将用户选择的采集对象对应的声音类别确定为目标声音类别。
本申请实施例中，预先存储了采集对象和声音类别的对应关系，在确定用户选择的采集对象后，根据上述对应关系确定目标声音类别。
在一可选的实施例中，在确定用户选择的采集对象后，在显示交互界面时，交互界面上可以显示各个采集对象，同时显示各个采集对象对应的声音类别，以便于用户选择采集对象，其中，每个采集对象及对应的声音类别关联显示(比如，位置接近或同色显示等)。
在一可选的实施例中，在录制视频的情况下，可以直接将实时显示的界面确定为交互界面，并在该交互界面上对识别出的各个采集对象标记对应的声音类别。
在一可选的实施例中，上述获得关注方向的一种实现方式可以为：
如果电子设备的目标摄像头调启，目标摄像头的采集方向为上述关注方向。
在录制视频的情况下，可以将调启的摄像头的采集方向确定为关注方向。在电子设备具有多个摄像头(比如，前置摄像头和后置摄像头)时，每个摄像头调启时，电子设备是知道哪个摄像头调启的，而且，电子设备自身的朝向(世界坐标系中)以及摄像头在电子设备上的朝向也是知道的，因此，电子设备可以知道各个摄像头的朝向(世界坐标系中)。
可选的，不管是录制纯音频还是录制视频，均可以通过麦克风阵列来获得关注方向。可选的，上述获得关注方向的另一种实现流程图如图5所示，可以包括：
步骤S501：通过麦克风阵列定位电子设备所在的空间范围内音源的位置。
具体实现方式可以参看已有的定位方法，由于其实现方式不是本方案的关注重点，这里不再详述。
步骤S502：显示音源的位置。
本申请实施例中，可以显示交互界面，在交互界面中按照各个音源与电子设备的相对位置关系显示各个音源的位置，从而方便用户选择需要保留声音的音源所在的位置。
步骤S503：选择目标位置的音源，目标位置相对于电子设备的方向作为关注方向。
在用户选择目标位置后，将目标位置相对于电子设备的方向作为关注方向。
可选的，如果步骤S501定位出的音源的位置只有一个，则可以不执行步骤S502-步骤S503，直接将定位出的一个位置相对于电子设备的方向作为关注方向即可。基于此，在执行完步骤S501以后，可以先判断识别出的音源的位置的数量，如果只有一个位置，则直接将定位出的一个位置相对于电子设备的方向作为关注方向，否则，执行步骤S502-步骤S503。
可选的，本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法还可以包括：
启动视频录制/声音录制，基于关注方向形成麦克风阵列的接收波束和降噪引擎获得音频信号。
也就是说，本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法可以在启动视频录制或声音录制时启动。
可选的，可以在获得音频录制指令或者视频录制指令时，执行前述图1所示的实施例或各个步骤的细化过程，在执行完上述步骤后，再开始录制音/视频。
或者，可以在录制音/视频的过程中，检测关注方向是否发生变化，如果检测到关注方向发生改变，再次执行上述步骤S102-步骤S104，或者执行上述步骤S102-步骤S104及其细化步骤。其中，关注方向的变化可以包括但不限于：电子设备上不同朝向的摄像头之间的切换；拍摄主体(声源)与电子设备的相对位置关系发生改变等。
或者，可以在获得音频录制指令或者视频录制指令时，执行前述图1所示的实施例及各个步骤的细化过程，在执行完上述步骤后，再开始录制音/视频。在录制音/视频的过程中，检测关注方向是否发生变化，如果检测到关注方向发生改变，基于变化后的关注方向再次执行上述步骤S102-步骤S104，或者执行上述步骤S102-步骤S104及其细化步骤。
可选的，本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法还可以包括：
启动视频通话/声音通话(即语音通话)，基于上述关注方向形成麦克风阵列的接收波束和降噪引擎获得音频信号。
也就是说，本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法可以在启动视频通话/声音通话时启动。
可选的，可以在获得视频通话启动指令或者语音通话启动指令时，执行前述图1所示的实施例或各个步骤的细化过程，在执行完上述步骤后，再开始视频通话和语音通话。
或者，可以在视频通话/声音通话的过程中，检测关注方向是否发生变化，如果检测到关注方向发生改变，再次执行上述步骤S102-步骤S104，或者执行上述步骤S102-步骤S104及其细化步骤。其中，关注方向的变化可以包括但不限于：电子设备上不同朝向的摄像头之间的切换；拍摄主体(声源)与电子设备的相对位置关系发生改变等。
或者，可以在获得视频通话启动指令或者语音通话启动指令时，执行前述图1所示的实施例及各个步骤的细化过程，在执行完上述步骤后，再开始视频通话或声音通话。在视频通话/声音通话的过程中，检测关注方向是否发生变化，如果检测到关注方向发生改变，基于变化后的关注方向再次执行上述步骤S102-步骤S104，或者执行上述步骤S102-步骤S104及其细化步骤。
如图6所示，图6为本申请实施例提供的本申请与现有技术的波束成形声音降噪方案的效果对比图。其中，a图为基于现有技术的波束成形声音降噪方案的降噪效果示例图，b图为基于本申请的降噪方案的降噪效果示例图，显然，基于现有技术的波束成形的声音降噪方案，只能滤除波束外的噪声，而波束内的噪声仍然存在，而基于本申请的声音降噪方案，除了可以滤除波束外的噪声外，还可以滤除波束内的噪声，而且，本申请中，可以根据用户需求不同而滤除波束内的不同噪声。
与方法实施例相对应，本申请实施例还提供一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的装置，所述装置的结构示意图如图7所示，可以包括：
获得模块701，波束成形模块702，采集模块703和生成模块704；其中，
获得模块701用于获得关注方向；
波束成形模块702用于基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
采集模块703用于基于所述接收波束形成采集音频信号；
生成模块704用于基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
本申请实施例提供的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的装置，在基于接收波束形成采集音频信号后，还基于降噪引擎对采集音频信号进行降噪处理，从而实现接收波束内噪声的衰减，提高音频录制效果。
在一可选的实施例中，上述装置还可以包括：
类别获得模块，用于获得所述关注方向上的目标声音类别；
上述生成模块704具体用于基于所述目标声音类别所对应的声音模型处理并提取所述采集音频信号的满足所述目标声音类别特征的声音信号作为所述音频信号。
在一可选的实施例中，每个声音模型对应至少一个声音类别，不同的声音模型对应的声音类别至少存在部分不同，目标声音类别包括一个或者多个声音类别。
在一可选的实施例中，类别获得模块可以包括：
语音识别模块，用于识别所述采集音频信号，获得所述采集音频信号所对应的至少一个声音类别；
第一选择模块，用于获得针对显示每个所述至少一个声音类别的选择对象的选择操作；
第一确定模块，用于基于所述选择操作确定目标声音类别。
在一可选的实施例中，类别获得模块可以包括：
图像获得模块，哟关于通过所述电子设备的摄像头获得采集图像，所述摄像头采集方向为所述关注方向；
图像识别模块，用于识别所述采集图像中的采集对象，确定所述采集对象的类别，所述采集对象包括一个或者多个；
第二选择模块，用于获得针对采集对象的选择操作；
第二确定模块，用于基于所述选择操作确定目标声音类别。
在一可选的实施例中，上述获得模块701可以用于：
如果所述电子设备的目标摄像头调启，所述目标摄像头的采集方向为所述关注方向；
或者，
通过所述麦克风阵列定位所述电子设备所在的空间范围内音源的位置；显示所述音源的位置；选择目标位置的音源，所述目标位置相对于所述电子设备的方向作为关注方向。
在一可选的实施例中，还可以包括：
录制启动模块，用于启动视频录制/声音录制，以便于获得模块701，波束成形模块702，采集模块703和生成模块704执行相应的功能。
在一可选的实施例中，还可以包括：
通话启动模块，用于启动视频通话/声音通话，以便于获得模块701，波束成形模块702，采集模块703和生成模块704执行相应的功能。
与方法实施例相对应，本申请还提供一种电子设备，该电子设备的一种结构示意图如图8所示，可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器3存储有程序，处理器1可调用存储器3存储的程序，所述程序用于：
获得关注方向；
基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
基于所述接收波束形成采集音频信号；
基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获得关注方向；
基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
基于所述接收波束形成采集音频信号；
基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法，所述方法包括：
获得关注方向；
基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
基于所述接收波束形成采集音频信号；
基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
2.根据权利要求1所述的方法，所述方法还包括：
获得所述关注方向上的目标声音类别；
所述基于降噪引擎处理所述采集音频信号生成音频信号包括：
基于所述目标声音类别所对应的声音模型处理并提取所述采集音频信号的满足所述目标声音类别特征的声音信号作为所述音频信号。
3.根据权利要求2所述的方法，每个声音模型对应至少一个声音类别，不同的声音模型对应的声音类别至少存在部分不同，所述目标声音类别包括一个或者多个声音类别。
4.根据权利要求3所述的方法，所述获得所述关注方向上的目标声音类别包括：
识别所述采集音频信号，获得所述采集音频信号所对应的至少一个声音类别；
获得针对显示每个所述至少一个声音类别的选择对象的选择操作；
基于所述选择操作确定目标声音类别。
5.根据权利要求3所述的方法，所述获得所述关注方向上的目标声音类别包括：
通过所述电子设备的摄像头获得采集图像，所述摄像头采集方向为所述关注方向；
识别所述采集图像中的采集对象，确定所述采集对象的类别，所述采集对象包括一个或者多个；
获得针对采集对象的选择操作；
基于所述选择操作确定目标声音类别。
6.根据权利要求1所述的方法，所述获得关注方向包括：
如果所述电子设备的目标摄像头调启，所述目标摄像头的采集方向为所述关注方向；
或者，
通过所述麦克风阵列定位所述电子设备所在的空间范围内音源的位置；
显示所述音源的位置；
选择目标位置的音源，所述目标位置相对于所述电子设备的方向作为关注方向。
7.根据权利要求6所述的方法，所述方法还包括：
启动视频录制/声音录制，基于所述关注方向形成所述麦克风阵列的接收波束和所述降噪引擎获得音频信号；
或者，
启动视频通话/声音通话，基于所述关注方向形成所述麦克风阵列的接收波束和所述降噪引擎获得音频信号。
8.一种提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的装置，所述装置包括：
获得模块，用于获得关注方向；
波束成形模块，用于基于所述关注方向形成所述麦克风阵列的接收波束，以聚焦于所述关注方向上并抑制所述关注方向以外音源的信号；
采集模块，用于基于所述接收波束形成采集音频信号；
生成模块，用于基于降噪引擎处理所述采集音频信号生成音频信号，所述降噪引擎用于滤除所述采集音频信号中的噪声信号。
9.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于调用并执行所述存储器中的所述程序，通过执行所述程序实现如权利要求1-7中任一项所述的提升具有由多个麦克风组成的麦克风阵列的电子设备中定向噪声抑制的方法的各个步骤。
10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的信息处理方法的各个步骤。
CN202111045463.6A 2021-09-07 2021-09-07 噪声抑制方法、装置及电子设备和存储介质 Pending CN113689873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111045463.6A CN113689873A (zh) 2021-09-07 2021-09-07 噪声抑制方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111045463.6A CN113689873A (zh) 2021-09-07 2021-09-07 噪声抑制方法、装置及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113689873A true CN113689873A (zh) 2021-11-23

Family

ID=78585561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111045463.6A Pending CN113689873A (zh) 2021-09-07 2021-09-07 噪声抑制方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113689873A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863943A (zh) * 2022-07-04 2022-08-05 杭州兆华电子股份有限公司 一种基于波束成形的环境噪声源自适应定位方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160064002A1 (en) * 2014-08-29 2016-03-03 Samsung Electronics Co., Ltd. Method and apparatus for voice recording and playback
CN107360387A (zh) * 2017-07-13 2017-11-17 广东小天才科技有限公司 一种视频录制的方法、装置及终端设备
CN109874096A (zh) * 2019-01-17 2019-06-11 天津大学 一种基于智能终端选择输出的双耳麦克风助听器降噪算法
CN110781850A (zh) * 2019-10-31 2020-02-11 深圳金信诺高新技术股份有限公司 道路识别的语义分割***和方法、计算机存储介质
CN111078185A (zh) * 2019-12-26 2020-04-28 珠海格力电器股份有限公司 录制声音的方法及设备
US20200213728A1 (en) * 2020-03-10 2020-07-02 Intel Corportation Audio-based detection and tracking of emergency vehicles
CN111724823A (zh) * 2016-03-29 2020-09-29 联想(北京)有限公司 一种信息处理方法及装置、电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160064002A1 (en) * 2014-08-29 2016-03-03 Samsung Electronics Co., Ltd. Method and apparatus for voice recording and playback
CN111724823A (zh) * 2016-03-29 2020-09-29 联想(北京)有限公司 一种信息处理方法及装置、电子设备
CN107360387A (zh) * 2017-07-13 2017-11-17 广东小天才科技有限公司 一种视频录制的方法、装置及终端设备
CN109874096A (zh) * 2019-01-17 2019-06-11 天津大学 一种基于智能终端选择输出的双耳麦克风助听器降噪算法
CN110781850A (zh) * 2019-10-31 2020-02-11 深圳金信诺高新技术股份有限公司 道路识别的语义分割***和方法、计算机存储介质
CN111078185A (zh) * 2019-12-26 2020-04-28 珠海格力电器股份有限公司 录制声音的方法及设备
US20200213728A1 (en) * 2020-03-10 2020-07-02 Intel Corportation Audio-based detection and tracking of emergency vehicles

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863943A (zh) * 2022-07-04 2022-08-05 杭州兆华电子股份有限公司 一种基于波束成形的环境噪声源自适应定位方法及装置
CN114863943B (zh) * 2022-07-04 2022-11-04 杭州兆华电子股份有限公司 一种基于波束成形的环境噪声源自适应定位方法及装置

Similar Documents

Publication Publication Date Title
US10848889B2 (en) Intelligent audio rendering for video recording
CN107534725B (zh) 一种语音信号处理方法及装置
CN110970057B (zh) 一种声音处理方法、装置与设备
CN112165590B (zh) 视频的录制实现方法、装置及电子设备
CN106375590A (zh) 一种智能终端的音量调节方法及其装置
CN104853091B (zh) 一种拍照的方法及移动终端
US11431887B2 (en) Information processing device and method for detection of a sound image object
WO2018095400A1 (zh) 音频信号处理方法与相关设备
CN113676592B (zh) 录音方法、装置、电子设备及计算机可读介质
CN108877787A (zh) 语音识别方法、装置、服务器及存储介质
WO2022179453A1 (zh) 声音录制方法及相关设备
CN105635452A (zh) 移动终端及其联系人标识方法
CN108737934B (zh) 一种智能音箱及其控制方法
CN111251307B (zh) 应用于机器人的语音采集方法和装置、一种机器人
JP2019220848A (ja) データ処理装置、データ処理方法及びプログラム
CN109151366B (zh) 一种视频通话的声音处理方法、存储介质和服务器
CN113676668A (zh) 视频拍摄方法、装置、电子设备和可读存储介质
CN113689873A (zh) 噪声抑制方法、装置及电子设备和存储介质
CN112165591B (zh) 一种音频数据的处理方法、装置及电子设备
CN113542466A (zh) 音频处理方法、电子设备及存储介质
CN107197404B (zh) 一种音效自动调节方法、装置和一种录播***
CN113329138A (zh) 视频拍摄方法、视频播放方法和电子设备
CN113707165A (zh) 音频处理方法、装置及电子设备和存储介质
CN112073639A (zh) 拍摄控制方法及装置、计算机可读介质和电子设备
CN112653979A (zh) 自适应去混响方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination