CN111402913B - 降噪方法、装置、设备和存储介质 - Google Patents
降噪方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111402913B CN111402913B CN202010111706.0A CN202010111706A CN111402913B CN 111402913 B CN111402913 B CN 111402913B CN 202010111706 A CN202010111706 A CN 202010111706A CN 111402913 B CN111402913 B CN 111402913B
- Authority
- CN
- China
- Prior art keywords
- sound
- target
- audio signals
- noise
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000005236 sound signal Effects 0.000 claims abstract description 432
- 238000001914 filtration Methods 0.000 claims abstract description 98
- 230000015654 memory Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 abstract description 17
- 238000012545 processing Methods 0.000 abstract description 17
- 102100026436 Regulator of MON1-CCZ1 complex Human genes 0.000 description 14
- 101710180672 Regulator of MON1-CCZ1 complex Proteins 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请提供了一种降噪方法、装置、设备和存储介质，属于语音技术领域。该降噪方法包括：获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号，分别对两个声音采集设备采集到的音频信号进行滤波，再进一步对得到的两个声音采集设备对应的音频信号进行滤波，实现了对两个声音采集设备对应的音频信号的再次降噪处理，使得到的目标音频信号中，噪声信号的占比更小，目标音频信号的信噪比更大，降噪效果更好。
Description
技术领域
本申请涉及语音技术领域，特别涉及一种降噪方法、装置、设备和存储介质。
背景技术
现如今，无线耳机产品因其便利性，深受用户的喜爱。无线耳机上同时集成有麦克风和听筒，在用户需要接打电话时，将与手机相连的无线耳机佩戴在耳朵上，通过无线耳机进行通话，可以代替手持手机进行通话的方法，更加方便。但是，在进行通话时，环境中不可避免地会存在噪声，影响通话质量。
相关技术中，通常对无线耳机配备降噪功能，使得无线耳机能够对采集到的语音信号进行处理，将人声进行加强，对噪声进行削弱，达到降噪的效果。
在TWS(Ture Wireless Stereo，真无线)耳机出现之前，无线耳机通常只有一只，仅能够采集到一组语音输入信号，对其进行处理后的降噪效果不够好。现如今的TWS耳机一般都由两只无线耳机组成，两只无线耳机能够分别采集两组语音输入信号，但相关技术中没有一种能够利用两组语音输入信号的降噪方法，因此亟需一种能够应用于TWS耳机的降噪方法。
发明内容
有鉴于此，本申请实施例提供了一种降噪方法、装置、设备和存储介质，能够对两个声音采集设备的音频信号进行降噪，可以提高降噪效果。
一方面，提供了一种降噪方法，所述方法包括：
获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号；
分别对所述两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号；
将所述两个声音采集设备作为同一个麦克风阵列中的两个麦克风，对所述两个声音采集设备对应的音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述对所述两个声音采集设备对应的音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号，包括：
对所述两个声音采集设备对应的音频信号进行加权求和，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述将所述两个声音采集设备作为同一个麦克风阵列中的两个麦克风，对所述两个声音采集设备对应的音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号，包括：
对所述两个声音采集设备对应的音频信号进行加权求和，得到所述目标声源发出的所述同一声音降噪后的候选目标音频信号；
滤除所述候选目标音频信号中目标方向以外的音频信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述滤除所述候选目标音频信号中目标方向以外的音频信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号，包括：
分别滤除所述每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的噪声信号，所述目标方向为所述目标声源指向所述两个声音采集设备的中间位置的方向；
对所述两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；
去除所述候选目标音频信号中的所述噪声信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述对所述两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；去除所述候选目标音频信号中的所述噪声信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号，包括：
根据每个声音采集设备对应的权重，对所述两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；
去除所述候选目标音频信号中的所述噪声信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号；
根据所述目标音频信号与基于所述候选目标音频信号获取得到的期望音频信号的相关性，对所述权重进行调整，基于调整后的权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述分别对所述两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号，包括：
根据每个声音采集设备中的不同采集单元采集所述声音的时延，对每个声音采集设备中每个采集单元采集到的音频信号进行时延补偿，得到每个采集单元的候选音频信号；
对每个声音采集设备中采集单元的候选音频信号进行滤波，得到每个声音采集设备对应的音频信号。
可选的，所述方法还包括：
检测所述两个声音采集设备的状态；
当所述两个声音采集设备均处于工作状态时，执行所述获取两个声音采集设备对应的音频信号、分别滤波和作为同一个麦克风阵列的滤波步骤；
当任一声音采集设备未处于工作状态时，获取处于工作状态的声音采集设备对所述目标声源发出的声音采集到的音频信号，对所述音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
一方面，提供了一种降噪装置，所述装置包括：
获取模块，用于获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号；
第一滤波模块，用于分别对所述两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号；
第二滤波模块，用于对所述两个声音采集设备对应的音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述第二滤波模块包括：
第二加权模块，用于对所述两个声音采集设备对应的音频信号进行加权求和，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述第二滤波模块包括：
第二加权模块，用于对所述两个声音采集设备对应的音频信号进行加权求和，得到所述目标声源发出的所述同一声音降噪后的候选目标音频信号；
第二滤除模块，用于滤除所述候选目标音频信号中目标方向以外的音频信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述第二滤除模块包括：
第二滤除子模块，用于分别滤除所述每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的噪声信号，所述目标方向为所述目标声源指向所述两个声音采集设备的中间位置的方向；
第二加权子模块，用于对所述两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；
第二去除模块，用于去除所述候选目标音频信号中的所述噪声信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述第二加权子模块，具体用于根据每个声音采集设备对应的权重，对所述两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；
所述第二滤除模块还包括第二调整模块，用于根据所述目标音频信号与基于所述候选目标音频信号获取得到的期望音频信号的相关性，对所述权重进行调整；
所述第二滤除模块，还用于基于调整后的权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
可选的，所述第一滤波模块包括：
时延模块，用于根据每个声音采集设备中的不同采集单元采集所述声音的时延，对每个声音采集设备中每个采集单元采集到的音频信号进行时延补偿，得到每个采集单元的候选音频信号；
第一滤波子模块，用于对每个声音采集设备中采集单元的候选音频信号进行滤波，得到每个声音采集设备对应的音频信号。
可选的，所述装置还包括：
检测模块，用于检测所述两个声音采集设备的状态；
所述装置还用于：
当所述两个声音采集设备均处于工作状态时，执行所述获取两个声音采集设备对应的音频信号、分别滤波和作为同一个麦克风阵列的滤波步骤；
当任一声音采集设备未处于工作状态时，获取处于工作状态的声音采集设备对所述目标声源发出的声音采集到的音频信号，对所述音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
一方面，提供了一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现所述降噪方法所执行的操作。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述降噪方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果至少可以包括：
在本申请实施例中，通过获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号，分别对两个声音采集设备采集到的音频信号进行滤波，再进一步对得到的两个声音采集设备对应的音频信号进行滤波，实现了对两个声音采集设备对应的音频信号的再次降噪处理，使得到的目标音频信号中，噪声信号的占比更小，目标音频信号的信噪比更大，降噪效果更好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种降噪方法的实施环境示意图；
图2是本申请实施例提供的一种降噪方法的流程图；
图3是本申请实施例提供的另一种降噪方法的流程图；
图4是本申请实施例提供的一种降噪方法的结构框图；
图5是本申请实施例提供的另一种降噪方法的结构框图；
图6是本申请实施例提供的另一种降噪方法的结构框图；
图7是本申请实施例提供的另一种降噪方法的结构框图；
图8是本申请实施例提供的一种降噪装置的结构示意图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
需要说明的是，下面描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中，术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
图1是本申请实施例提供的一种降噪方法的实施环境示意图，参见图1，该实施环境可以包括两个声音采集设备101和目标声源102。
其中，目标声源102可以是人嘴，也可以是扬声器这种能够发声的元件，声音采集设备101可以是无线耳机，也可以是能够对声音进行采集的终端设备。目标声源102发出声音，两个声音采集设备101对目标声源102发出的同一声音进行采集，得到目标声源102发出的音频信号。
在本申请实施例中，两个声音采集设备101可以采集目标声源发出的声音，对采集到的音频信号进行降噪处理，得到目标音频信号。
图2是本申请实施例提供的一种降噪方法的流程图，参见图2，该方法包括：
201、获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号。
202、分别对该两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号。
203、将该两个声音采集设备作为同一个麦克风阵列中的两个麦克风，对该两个声音采集设备对应的音频信号进行滤波，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该对该两个声音采集设备对应的音频信号进行滤波，得到该目标声源发出的该同一声音降噪后的目标音频信号，包括：
对该两个声音采集设备对应的音频信号进行加权求和，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该将该两个声音采集设备作为同一个麦克风阵列中的两个麦克风，对该两个声音采集设备对应的音频信号进行滤波，得到该目标声源发出的该同一声音降噪后的目标音频信号，包括：
对该两个声音采集设备对应的音频信号进行加权求和，得到该目标声源发出的该同一声音降噪后的候选目标音频信号；
滤除该候选目标音频信号中目标方向以外的音频信号，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该滤除该候选目标音频信号中目标方向以外的音频信号，得到该目标声源发出的该同一声音降噪后的目标音频信号，包括：
分别滤除该每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的噪声信号，该目标方向为该目标声源指向该两个声音采集设备的中间位置的方向；
对该两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；
去除该候选目标音频信号中的该噪声信号，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该对该两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；去除该候选目标音频信号中的该噪声信号，得到该目标声源发出的该同一声音降噪后的目标音频信号，包括：
根据每个声音采集设备对应的权重，对该两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号；
去除该候选目标音频信号中的该噪声信号，得到该目标声源发出的该同一声音降噪后的目标音频信号；
根据该目标音频信号与基于所述候选目标音频信号获取得到的期望音频信号的相关性，对该权重进行调整，基于调整后的权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该分别对该两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号，包括：
根据每个声音采集设备中的不同采集单元采集该声音的时延，对每个声音采集设备中每个采集单元采集到的音频信号进行时延补偿，得到每个采集单元的候选音频信号；
对每个声音采集设备中采集单元的候选音频信号进行滤波，得到每个声音采集设备对应的音频信号。
在一种可能的实施方式中，该方法还包括：
检测该两个声音采集设备的状态；
当该两个声音采集设备均处于工作状态时，执行该获取两个声音采集设备对应的音频信号、分别滤波和作为同一个麦克风阵列的滤波步骤；
当任一声音采集设备未处于工作状态时，获取处于工作状态的声音采集设备对该目标声源发出的声音采集到的音频信号，对该音频信号进行滤波，得到该目标声源发出的该同一声音降噪后的目标音频信号。
图3是本申请实施例提供的一种降噪方法的流程图。参见图3，该方法包括：
301、计算机设备获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号。
在本申请实施例中，提供了一种通过两个声音采集设备对声音进行采集并降噪的方法。其中，每个声音采集设备上均可以包括至少两个采集单元，用于采集目标声源的音频信号。例如，该声音采集设备可以为耳机，采集单元可以为麦克风。在一个具体场景下，每个耳机上可以安装有两个麦克风，可以通过两个耳机的四个麦克风对声音进行采集。
每个声音采集设备中，采集单元的排列方式可以是线性排列，也可以是环形排列，本申请对此不作限制，下文以线性排列为例进行说明。例如，如图1所示，两个声音采集设备可以为两只耳机，每只耳机可以包括两个麦克风，其中一只耳机上可以包括mic(microphone，麦克风)1和mic2，另外一只耳机上可以包括mic3和mic4。目标声源可以为人嘴，用户在使用耳机进行通话时，可以将两只耳机分别佩戴到两个耳朵上，两只耳机上的四个麦克风均能够对人嘴发出的声音进行采集。
对于每个声音采集设备采集到的音频信号，可以为一个音频信号集合，该音频信号集合中可以包括该声音采集设备中每个采集单元采集到的音频信号。这样，利用两个声音采集设备对目标声源发出的声音进行采集，能够得到更多的音频信号，为后续对音频信号的降噪提供足够的数据。
在一种可能实现方式中，该计算机设备可以为该两个声音采集设备所连接的设备，例如，该两个声音采集设备可以对声音进行采集，得到音频信号，并将音频信号发送至所连接的计算机设备，由该计算机设备对音频信号进行处理。例如，该计算机设备可以为用户进行通话的手机，耳机采集到音频信号后将其发送至手机进行降噪处理后再发送。
在另一种可能实现方式中，该计算机设备也可以为该两个声音采集设备，该两个声音采集设备采集到音频信号后，可以对音频信号进行降噪后发送或播放。
302、计算机设备分别对两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号。
其中，每个声音设备采集到的音频信号包括目标声源的声音信号和环境中的噪声信号，对两个声音采集设备采集到的音频信号进行滤波，就是滤除音频信号中的噪声信号，从而得到的每个声音采集设备对应的降噪后的音频信号，可以理解地，该降噪后的音频信号中主要包括上述声音信号，噪声信号减少。例如，以上述的声音采集设备可以为耳机，采集单元可以为麦克风为例，可以将包括mic1和mic2的耳机作为第一耳机，将包括mic3和mic4的耳机作为第二耳机。对mic1和mic2采集到的音频信号进行滤波，该滤波过程滤除了其中的噪声信号，最后能够得到第一耳机对应的降噪后的音频信号。对mic3和mic4采集到的音频信号进行滤波，该滤波过程滤除了其中的噪声信号，最后能够得到第二耳机对应的降噪后的音频信号。
在一种可能的实施方式中，该滤波过程可以通过声音采集设备上采集单元采集声音的时延进行滤波，以去除噪声信号。具体地，计算机设备可以根据每个声音采集设备中的不同采集单元采集所述声音的时延，对每个声音采集设备中每个采集单元采集到的音频信号进行时延补偿，得到每个采集单元的候选音频信号，然后对每个声音采集设备中采集单元的候选音频信号进行滤波，得到每个声音采集设备对应的音频信号。
对于每个采集单元，该时延可以为该采集单元采集到的音频信号相对于基准阵元采集到的音频信号的时延。具体地，计算机设备可以对每个声音采集设备采集到的音频信号进行分析，获取每个声音采集设备中各个采集单元采集到目标声源的音频信号相对于基准阵元的时延。
其中，每个声音采集设备中，各个采集单元与目标声源的距离可以不同，因此各个采集单元采集到目标声源的音频信号的时间可以不同，采集到的音频信号的相位也可能不同。距离目标声源最近的采集单元最先采集到目标声源的音频信号，而距离目标声源最远的采集单元最后采集到目标声源的音频信号。例如，如图1所示，用户在使用两只耳机进行通话时，mic2和mic4会先采集到人嘴发出的声音，而mic1和mic3会在一定的时间延迟后才能采集到人嘴发出的声音。对于第一耳机来说，可以将距离人嘴较近的mic2作为基准阵元，对于第二耳机来说，可以将距离人嘴较近的mic4作为基准阵元。对mic1和mic2采集到的音频信号进行分析，能够获得mic1相对于mic2采集到人嘴发出的声音的时延。对mic3和mic4采集到的音频信号进行分析，能够获得mic3相对于mic4采集到人嘴发出的声音的时延。
具体地，计算机设备可以获取各个采集单元采集到的音频信号之间的互相关系数，根据该互相关系数，获取各个采集单元相对于，确定各个采集单元采集声音相对于基准阵元的时延。当然，该时延获取过程还可以采用其他方法，本申请实施例对具体的获取时延的方式不做限定。通过对各个采集单元采集到的音频信号进行分析，能够获取各个采集单元相对于基准阵元采集到目标声源的音频信号的时延，为后续对时延进行补偿提供了基础。
计算机设备获取到时延后，即可根据时延，分别对每个采集单元采集的音频信号进行时延补偿，得到每个采集单元的候选音频信号。
其中，对于每个声音采集设备来说，如果每个采集单元采集到目标声源的音频信号的时间不同，则在同一时刻下，每个声音采集设备中的每个采集单元采集到的目标声源的音频信号的相位就可能各不相同，这种情况下，难以将多个采集单元采集到的音频信号综合起来进行分析，因此，需要先对每个采集单元采集到的音频信号进行时延补偿，这样，可以将每个采集单元采集到目标声源的音频信号的时间视为是相同的，方便了后续对音频信号的处理。
该对多个采集单元的时延补偿过程可以如图4所示，可以用xi,m(t)来表示第i个声音采集设备中，第m个采集单元采集到的音频信号，相应的，第m个采集单元的候选音频信号可以表示为x′i,m(t)＝xi,m(t+τi,m)。其中，τi,m为第i个声音采集设备中第m个采集单元对应的时延。计算机设备得到每个采集单元的候选音频信号后，可以对每个声音采集设备中采集单元的候选音频信号进行加权求和，得到每个声音采集设备对应的音频信号，i，m均为正整数。
其中，通过该加权求和的过程，可以加强来自目标声源的方向的音频信号，从而实现对目标声源的方向的波束形成，从而噪声信号相对于声音信号则减弱了。时延补偿使每个采集单元在同一时刻采集到的目标声源的音频信号的相位相同，而每个采集单元采集到的音频信号中，目标声源的音频信号是相干的，噪声信号可以是不相干的，在此基础上对候选音频信号进行加权求和，可以使来自目标声源的方向的音频信号相互叠加而加强，而不相干的噪声信号则不会相互叠加，进而实现了对目标声源的方向的音频信号的加强。例如，计算机设备得到第一耳机的mic1和mic2的候选音频信号后，可以对mic1和mic2的候选音频信号进行加权求和，得到的第一耳机对应的音频信号中，来自人嘴方向的音频信号得到加强，而其他方向的噪声信号没有得到加强，实现了对mic1和mic2采集的音频信号的降噪。
在一种可能实现方式中，计算机设备可以通过如下公式对每个声音采集设备的多个采集单元的候选音频信号进行加权求和：
其中，Wa＝[wa1,wa2,…wam]T为采集单元对应的权重向量,wam为第m个采集单元的权重，X′i(t)＝[x′i,1(t),x′i,2(t),…x′i,m(t)]T为经过时延补偿后的第i个声音采集设备中m个采集单元的候选音频信号向量，si(t)为第i个声音采集设备对应的音频信号。
需要说明的是，上述对采集单元的候选音频信号进行加权求和时，每个采集单元的权重可以为固定权重，该固定权重可以由相关技术人员根据实际需求、自身经验或实验结果预先设置，例如，每个声音采集设备可以包括两个采集单元，相应的，每个采集单元的权重可以为0.5。该权重也可以根据滤波结果进行调整，例如，可以根据得到的每个声音采集设备对应的音频信号的质量进行调整。
在一种可能的实施方式中，如图5所示，计算机设备可以根据每个采集单元对应的第一权重，对每个声音采集设备中采集单元的候选音频信号进行加权求和，得到每个声音采集设备对应的候选音频信号，再分别滤除每个采集单元的候选音频信号中来自目标声源的方向的音频信号，得到每个采集单元对应的噪声信号，并根据每个采集单元对应的第二权重，对每个声音采集设备中采集单元的噪声信号进行加权求和，得到每个声音采集设备对应的噪声信号。对每个声音采集设备对应的候选音频信号和噪声信号作差，可以得到每个声音采集设备对应的音频信号。
其中，每个声音采集设备对应的候选音频信号是对来自目标声源的方向的音频信号进行加强而得到的，相当于对来自其他方向的噪声信号的削弱，但仍然包括目标声源的音频信号和噪声信号，因此可以对每个声音采集设备对应的候选音频信号和噪声信号将作差，从而滤除候选音频信号中的噪声信号，实现进一步的降噪。而每个声音采集设备对应的噪声信号可以通过滤除每个采集单元的音频信号中来自目标声源的方向的音频信号，得到每个采集单元的对应的噪声信号，并对每个声音采集设备中采集单元的噪声信号进行加权求和得到。
例如，计算机设备对第一耳机中的mic1和mic2的候选音频信号进行加权求和，得到第一耳机对应的候选音频信号后，可以分别滤除mic1和mic2采集的音频信号中，来自人嘴的方向的音频信号，得到mic1和mic2的对应的噪声信号，再对mic1和mic2的噪声信号进行加权求和，得到第一耳机对应的噪声信号。将第一耳机对应的候选音频信号与噪声信号作差，可以滤除第一耳机对应的候选音频信号中的噪声信号，得到第一耳机对应的音频信号。
计算机设备通过滤除来自目标声源的方向的音频信号，得到每个声音采集设备对应的噪声信号，并将每个声音采集设备对应的候选音频信号与噪声信号作差，实现了对每个声音采集设备的候选音频信号中的噪声信号的滤除，达到了更好的降噪效果。
在一种可能的实施方式中，如图5所示，计算机设备可以利用阻塞矩阵实现对每个采集单元的音频信号中来自目标声源的方向的音频信号的滤除过程，得到每个采集单元的音频信号中，来自目标声源的方向以外的方向的音频信号，即每个采集单元对应的噪声信号。
例如，计算机设备可以通过如下公式得到每个声音采集设备对应的音频信号。
Ui(t)＝BX′i(t)
si(t)＝s′i(t)-zi(t)
其中，s′i(t)为第i个声音采集设备对应的候选音频信号，Wa＝[wa1,wa2,…wam]T为采集单元对应的第一权重向量,X′i(t)＝[x′i,1(t),x′i,2(t),…x′i,m(t)]T为经过时延补偿后的第i个声音采集设备中m个采集单元的候选音频信号向量，Ui(t)为第i个声音采集设备中m个采集单元的音频信号向量经阻塞矩阵B处理后的阵列信号，Wb＝[wb1,wb2,…wbm]T为采集单元对应的第二权重向量，wbm为第m个采集单元的自适应权重，zi(t)为第i个声音采集设备对应的噪声信号，i，m均为正整数。为了能够滤除每个采集单元的音频信号中来自目标声源的方向的音频信号，阻塞矩阵B可以为
需要说明的是，上述对采集单元对应的候选音频信号进行加权求和时，第一权重和第二权重可以为固定权重，该第一权重和第二权重可以由相关技术人员根据实际需求、自身经验或实验结果预先设置，例如，每个声音采集设备的第一权重和第二权重可以为0.5。第一权重和第二权重也可以根据滤波结果进行调整，例如，可以根据得到的声音采集设备对应的音频信号的质量进行调整。
在一种可能的实施方式中，第二权重可以为可更新的权重。计算机设备得到每个声音采集设备对应的音频信号后，可以根据每个声音采集设备对应的音频信号与基于每个声音采集设备对应的音频信号获取得到的期望音频信号的相关性，对第二权重进行调整，基于调整后的第二权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到每个声音采集设备对应的音频信号。
其中，对候选目标音频信号和噪声信号作差得到的目标音频信号中，可能存在未被滤除的残余噪声信号，相应的，对两个声音采集设备的噪声信号进行加权求和的第二权重可以为可更新的权重，以使得到的目标音频信号符合目标条件。
通过上述迭代过程，可以对第二权重进行自适应调整以提高音频信号的降噪效果。对于该目标条件，该目标条件可以为相关性收敛，或者相关性大于目标阈值，或者相关性与目标阈值之间的差值小于差值阈值，也可以为迭代次数达到目标次数，本申请实施例对此不作限定。
例如，对第一耳机的候选音频信号和噪声信号作差，得到第一耳机对应的音频信号后，还可以对mic1和mic2的第二权重进行更新，使得根据mic1和mic2的噪声信号得到的第一耳机的噪声信号，能够对第一耳机的候选音频信号中的噪声信号进行更好的滤除。
计算机设备可以采用改进的最小均方算法对第二权重进行更新，使每个声音采集设备的噪声信号的输出功率最小。
其中，Wb(n+1)即为更新后的第二权重向量。
通过根据每个声音采集设备对应的音频信号与基于每个声音采集设备对应的音频信号获取得到的期望音频信号的相关性，对每个采集单元的第二权重进行更新，使得每个声音采集设备的噪声信号能够自适应更新，从而对每个声音采集设备对应的候选音频信号中的噪声信号的滤除效果会越来越好，提升了降噪效果。
在一种可能的实施方式中，计算机设备在声音采集设备采集到音频信号后，也可以先将采集到的音频信号转化为频域信号，再进行下一步的数据处理。
任何声音在本质上都是由物体震动而产生的声波，采集单元能够通过将这种震动产生的声波转换成电信号来进行音频信号的采集，采集到的电信号实际上是电压随时间的变化情况，这里的电压可以在一定程度上代表声音的变化情况。时域就是描述变量随着时间的变化情况，采集单元采集的音频信号显然是位于时域上的。而时域上的音频信号是由多种信号叠加而成的，在时域上难以进行拆分，但可以在频域上将其拆分为不同频率的信号，这样能够将复杂的音频信号拆分成多个简单的音频信号，会更方便信号的分析。本申请对具体的转换方式不做限定。
303、计算机设备将两个声音采集设备作为同一个麦克风阵列中的两个麦克风，对两个声音采集设备对应的音频信号进行滤波，得到目标声源发出的同一声音降噪后的目标音频信号。
计算机设备分别对两个声音采集设备采集到的音频信号进行降噪后，还可以将两个声音采集设备作为同一个麦克风阵列中的两个麦克风，进一步进行降噪。
具体地，该降噪过程可以为：对两个声音采集设备对应的音频信号进行滤波，滤掉目标方向以外的方向的噪声信号，能够得到目标声源发出的声音降噪后的目标音频信号。例如，可以将两只耳机对应的音频信号分别作为mic2和mic4采集得到的音频信号，进而，将mic2和mic4作为同一个麦克风阵列中的两个麦克风。相应的，目标方向可以为人嘴指向mic2和mic4的中间位置的方向，即人嘴发出的声波对于mic2和mic4组成的麦克风阵列的入射角度可以视为90度，滤波时，可以对该方向以外的方向的音频信号进行滤除，进而实现降噪。
通过对个声音采集设备对应的音频信号进行进一步的降噪，使得最终得到的目标音频信号中，噪声信号的占比更小，即目标音频信号的信噪比更大，降噪效果更好。且在将两只耳机分别佩戴在两只耳朵上时，人嘴发出的声波到达两只耳机的时间可以视为相等，也即是，两个声音采集设备采集到目标声源发出的声波的时间可以视为相等。在分别对两个声音采集设备对应的音频信号进行滤波时可以不用考虑时延，简化了该降噪方法。当然，计算机设备也可以计算两个声音采集设备采集声音的时延，基于时延进行时延补偿后滤波。本申请实施例对具体采用哪种实现方式不作限定。
该进一步降噪的过程可以包括多种方式，在一种可能的实施方式中，如图6所示，计算机设备可以对两个声音采集设备对应的音频信号进行加权求和，得到目标声源发出的同一声音降噪后的目标音频信号，实现对两个声音采集设备对应的音频信号的滤波过程。
其中，通过该加权求和的过程，可以加强来自目标声源的方向的音频信号，从而实现对目标声源方向的波束形成。从而噪声信号相对于声音信号则减弱了。每个声音采集设备对应的音频信号中，目标声源的音频信号是相干的，噪声信号可以是不相干的，在此基础上对两个声音采集设备对应音频信号进行加权求和，可以使来自目标方向的音频信号叠加而加强，而不相干的噪声信号则不会相互叠加，进而实现了对目标声源的音频信号的加强。例如，计算机设备得到第一耳机和第二耳机的音频信号后，可以对第一耳机和第二耳机的音频信号进行加权求和，得到的目标音频信号中，来自人嘴方向的音频信号得到加强，而其他方向的噪声信号没有得到加强，实现了对第一耳机和第二耳机的音频信号的进一步降噪。
在一种可能的实现方式中，计算机设备可以通过如下公式对每个声音采集设备对应的音频信号进行加权求和：
其中，Wa＝[wa1,wa2,…wai]T为声音采集设备对应的权重向量,wai为第i个声音采集设备的权重，si(t)为第i个声音采集设备对应的音频信号，y(t)为目标音频信号。
需要说明的是，上述对两个声音采集设备对应的音频信号进行加权求和时，每个声音采集设备的权重可以为固定权重，该固定权重可以由相关技术人员根据实际需求、自身经验或实验结果预先设置，例如，每个声音采集设备的固定权重可以为0.5。该权重也可以根据滤波结果进行调整，例如，可以根据得到的目标音频信号的质量进行调整。
在一种可能的实施方式中，如图7所示，计算机设备可以对两个声音采集设备对应的音频信号进行加权求和，得到目标声源发出的同一声音降噪后的候选目标音频信号，再滤除候选目标音频信号中目标方向以外的音频信号，得到目标声源发出的所述同一声音降噪后的目标音频信号。
其中，计算机设备滤除候选目标音频信号中目标方向以外的音频信号，即为滤除候选目标音频信号中的噪声信号，可以分为两种情况，一种是直接滤除候选音频信号中的噪声信号，得到目标音频信号，另一种是根据两个声音采集设备对应的音频信号得到噪声信号，并将候选目标音频信号减去噪声信号，得到目标音频信号。
在一种可能的实施方式中，计算机设备可以直接对候选音频信号再次进行滤波，滤除目标方向以外的方向的音频信号，得到目标方向的目标音频信号，这种方式能够方便快捷地实现对候选音频信号的再次滤波，达到更好的降噪效果。本申请对具体的滤波方式不做限定。
在一种可能的实施方式中，如图7所示，计算机设备可以根据每个声音采集设备对应的第一权重，对两个声音采集设备对应的音频信号进行加权求和，得到目标声源发出的同一声音降噪后的候选目标音频信号。计算机设备分别滤除每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的噪声信号，并根据每个声音采集设备对应的第二权重，对两个声音采集设备的噪声信号进行加权求和，得到噪声信号。对候选目标音频信号和噪声信号作差，可以得到目标声源发出的同一声音降噪后的目标音频信号。
其中，目标方向可以为目标声源指向两个声音采集设备的中间位置的方向。候选目标音频信号是对来自目标方向的音频信号进行加强而得到的，但仍然包括目标声源的音频信号和噪声信号，因此可以将候选目标音频信号与噪声信号作差，从而滤除候选目标音频信号中的噪声信号，实现进一步的降噪。而噪声信号可以通过滤除每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的的噪声信号，并对两个声音采集设备的噪声信号进行加权求和得到。
例如，对第一耳机和第二耳机对应的音频信号进行加权求和，得到候选目标音频信号后，可以分别滤除第一耳机和第二耳机对应的音频信号中，由人嘴指向第一耳机和第二耳机的中间位置的方向的音频信号，分别得到第一耳机和第二耳机对应的噪声信号，再对第一耳机和第二耳机对应的噪声信号进行加权求和，得到噪声信号。将候选目标音频信号与噪声信号作差，可以滤除候选目标音频信号中的噪声信号，得到目标音频信号。
计算机设备通过滤除目标方向的音频信号，得到噪声信号，并将候选目标音频信号与噪声信号作差，实现了对候选目标音频信号中噪声信号的滤除，达到了更好的降噪效果。
在一种可能的实施方式中，如图7所示，计算机设备可以利用阻塞矩阵实现对每个声音采集设备对应的音频信号中目标方向的音频信号的滤除，得到每个声音采集设备的音频信号中，目标方向以外的方向的音频信号，即每个声音采集设备的噪声信号。
例如，可以通过如下公式得到目标音频信号。
U(t)＝BSi(t)
/>
y(t)＝y′(t)-z(t)
其中，y′(t)是候选目标音频信号，Wa＝[wa1,wa2,…wai]T为声音采集设备对应的第一权重向量，Si(t)＝[s1(t),s2(t)…si(t)]T为i个声音采集设备的音频信号向量，U(t)为i个声音采集设备的音频信号向量经阻塞矩阵B处理后的阵列信号，Wb＝[wb1,wb2,…wbi]T为声音采集设备对应的第二权重向量，wbi为第i个声音采集设备的第二权重，z(t)为噪声信号，y(t)为目标音频信号。为了能够滤除每个声音采集设备的音频信号中目标方向的音频信号，阻塞矩阵B可以为
需要说明的是，上述对两个声音采集设备对应的音频信号进行加权求和时，第一权重和第二权重可以为固定权重，该第一权重和第二权重可以由相关技术人员根据实际需求、自身经验或实验结果预先设置，例如，每个声音采集设备的第一权重和第二权重可以为0.5。第一权重和第二权重也可以根据滤波结果进行调整，例如，可以根据得到的目标音频信号的质量进行调整。
在一种可能的实施方式中，第二权重可以为可更新的权重。计算机设备根据每个声音采集设备对应的第二权重，对两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号，去除候选目标音频信号中的噪声信号，得到目标声源发出的同一声音降噪后的目标音频信号后，可以根据目标音频信号与基于候选目标音频信号获取得到的期望音频信号的相关性，对第二权重进行调整，基于调整后的第二权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到目标声源发出的同一声音降噪后的目标音频信号。
其中，对候选目标音频信号和噪声信号作差得到的目标音频信号中，可能存在未被滤除的残余噪声信号，相应的，对两个声音采集设备的噪声信号进行加权求和的第二权重可以为可更新的权重，以使得到的目标音频信号符合目标条件。
通过上述迭代过程，可以对第二权重进行自适应调整以提高音频信号的降噪效果。对于该目标条件，该目标条件可以为相关性收敛，或者相关性大于目标阈值，或者相关性与目标阈值之间的差值小于差值阈值，也可以为迭代次数达到目标次数，本申请实施例对此不作限定。
例如，计算机设备对候选目标音频信号和噪声信号作差，得到目标音频信号后，还可以第二权重进行更新，使得根据第一耳机和第二耳机对应的噪声信号得到的噪声信号，能够对候选目标音频信号中的噪声信号进行更好的滤除。
计算机设备可以采用改进的最小均方算法对第二权重进行更新，使噪声信号的输出功率最小。
其中，Wb(n+1)即为更新后的第二权重向量。
通过根据目标音频信号与基于候选目标音频信号获取得到的期望音频信号的相关性，对第二权重进行更新，使得噪声信号能够自适应更新，从而候选目标音频信号中的噪声信号的滤除效果会越来越好，提升了降噪效果。
在一种可能的实施方式中，该降噪方法还包括：
计算机设备检测两个声音采集设备的状态，当两个声音采集设备均处于工作状态时，执行获取两个声音采集设备对应的音频信号、分别滤波和作为同一个麦克风阵列的滤波步骤；当任一声音采集设备未处于工作状态时，获取处于工作状态的声音采集设备对目标声源发出的声音采集到的音频信号，对音频信号进行滤波，得到目标声源发出的同一声音降噪后的目标音频信号。
通过在实施降噪方法之前，计算机设备先检测两个声音采集设备是否同时开启，进而执行不同的降噪方法，使得当仅有一个声音采集设备启用时，也能够对采集得到的音频信号进行降噪，达到一定程度的降噪效果，避免了因缺失必要数据而不能对音频信号进行降噪的情况发生。
本申请实施例提供了一种降噪方法，计算机设备通过获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号，分别对两个声音采集设备采集到的音频信号进行滤波，再进一步对得到的两个声音采集设备对应的音频信号进行滤波，实现了对两个声音采集设备对应的音频信号的再次降噪处理，使得到的目标音频信号中，噪声信号的占比更小，目标音频信号的信噪比更大，降噪效果更好。
图8是本申请实施例提供的一种降噪装置的结构示意图，参见图8，该装置包括：
获取模块801，用于获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号。
第一滤波模块802，用于分别对该两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号。
第二滤波模块803，用于对该两个声音采集设备对应的音频信号进行滤波，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该第二滤波模块803包括：
第二加权模块，用于对该两个声音采集设备对应的音频信号进行加权求和，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该第二滤波模块803包括：
第二加权模块，用于对该两个声音采集设备对应的音频信号进行加权求和，得到该目标声源发出的该同一声音降噪后的候选目标音频信号。
第二滤除模块，用于滤除该候选目标音频信号中目标方向以外的音频信号，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该第二滤除模块包括：
第二滤除子模块，用于分别滤除该每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的噪声信号，该目标方向为该目标声源指向该两个声音采集设备的中间位置的方向。
第二加权子模块，用于对该两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号。
第二去除模块，用于去除该候选目标音频信号中的该噪声信号，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该第二加权子模块，具体用于根据每个声音采集设备对应的权重，对该两个声音采集设备对应的噪声信号进行加权求和，得到噪声信号。
该第二滤除模块还包括第二调整模块，用于根据该目标音频信号与基于所述候选目标音频信号获取得到的期望音频信号的相关性，对该权重进行调整。
该第二滤除模块，还用于基于调整后的权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到该目标声源发出的该同一声音降噪后的目标音频信号。
在一种可能的实施方式中，该第一滤波模块802包括：
时延模块，用于根据每个声音采集设备中的不同采集单元采集该声音的时延，对每个声音采集设备中每个采集单元采集到的音频信号进行时延补偿，得到每个采集单元的候选音频信号。
第一滤波子模块，用于对每个声音采集设备中采集单元的候选音频信号进行滤波，得到每个声音采集设备对应的音频信号。
在一种可能的实施方式中，该装置还包括：
检测模块，用于检测该两个声音采集设备的状态。
该装置还用于：
当该两个声音采集设备均处于工作状态时，执行该获取两个声音采集设备对应的音频信号、分别滤波和作为同一个麦克风阵列的滤波步骤。
当任一声音采集设备未处于工作状态时，获取处于工作状态的声音采集设备对该目标声源发出的声音采集到的音频信号，对该音频信号进行滤波，得到该目标声源发出的该同一声音降噪后的目标音频信号。
本申请实施例提供了一种降噪装置，通过获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号，分别对两个声音采集设备采集到的音频信号进行滤波，再进一步对得到的两个声音采集设备对应的音频信号进行滤波，实现了对两个声音采集设备对应的音频信号的再次降噪处理，使得到的目标音频信号中，噪声信号的占比更小，目标音频信号的信噪比更大，降噪效果更好。
需要说明的是：上述实施例提供的降噪装置在进行降噪时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的降噪装置与降噪方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述降噪方法中的声音采集设备可以为下述图9所示的终端，图9是本申请实施例提供的一种终端的结构示意图。参见图9，该终端900可以是：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：一个或多个处理器901和一个或多个存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、9核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的降噪方法。
在一些实施例中，终端900还可选包括有：***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地，***设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
***设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和***设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和***设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的降噪方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种降噪方法，其特征在于，所述方法包括：
获取两个声音采集设备对目标声源发出的同一声音进行采集得到的音频信号，每个声音采集设备包括至少两个采集单元，所述采集单元为麦克风；
分别对所述两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号；
根据每个所述声音采集设备对应的第一权重，对所述两个声音采集设备对应的音频信号进行加权求和，得到所述目标声源发出的所述同一声音降噪后的候选目标音频信号；
分别滤除所述每个声音采集设备对应的音频信号中目标方向的音频信号，得到每个声音采集设备对应的噪声信号，所述目标方向为所述目标声源指向所述两个声音采集设备的中间位置的方向；
根据每个声音采集设备中的每个采集单元对应的第二权重，对所述每个声音采集设备中采集单元的噪声信号进行加权求和，得到噪声信号；
去除所述候选目标音频信号中的所述噪声信号，得到所述目标声源发出的所述同一声音降噪后的目标音频信号；
根据所述目标音频信号与基于所述候选目标音频信号获取得到的期望音频信号的相关性，对所述第二权重进行调整，基于调整后的第二权重，继续执行噪声信号获取和去除的步骤，直至符合目标条件时停止，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述两个声音采集设备采集到的音频信号进行滤波，得到每个声音采集设备对应的音频信号，包括：
根据每个声音采集设备中的不同采集单元采集所述声音的时延，对每个声音采集设备中每个采集单元采集到的音频信号进行时延补偿，得到每个采集单元的候选音频信号；
对每个声音采集设备中采集单元的候选音频信号进行滤波，得到每个声音采集设备对应的音频信号。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述两个声音采集设备的状态；
当所述两个声音采集设备均处于工作状态时，执行所述获取两个声音采集设备对应的音频信号、分别滤波和作为同一个麦克风阵列的滤波步骤；
当任一声音采集设备未处于工作状态时，获取处于工作状态的声音采集设备对所述目标声源发出的声音采集到的音频信号，对所述音频信号进行滤波，得到所述目标声源发出的所述同一声音降噪后的目标音频信号。
4.一种降噪装置，其特征在于，所述装置包括多个功能模块，所述多个功能模块用于执行权利要求1至权利要求3任一项所述的降噪方法。
5.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求3任一项所述的降噪方法所执行的操作。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求3任一项所述的降噪方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010111706.0A CN111402913B (zh) | 2020-02-24 | 2020-02-24 | 降噪方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010111706.0A CN111402913B (zh) | 2020-02-24 | 2020-02-24 | 降噪方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111402913A CN111402913A (zh) | 2020-07-10 |
| CN111402913B true CN111402913B (zh) | 2023-09-12 |
Family
ID=71413851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010111706.0A Active CN111402913B (zh) | 2020-02-24 | 2020-02-24 | 降噪方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402913B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112185336A (zh) * | 2020-09-28 | 2021-01-05 | 苏州臻迪智能科技有限公司 | 一种噪声消减方法、装置及设备 |
| CN114697812B (zh) * | 2020-12-29 | 2023-06-20 | 华为技术有限公司 | 声音采集方法、电子设备及*** |
| CN112785998B (zh) * | 2020-12-29 | 2022-11-15 | 展讯通信（上海）有限公司 | 信号处理方法、设备及装置 |
| CN112837703A (zh) * | 2020-12-30 | 2021-05-25 | 深圳市联影高端医疗装备创新研究院 | 医疗成像设备中语音信号获取方法、装置、设备和介质 |
| CN113539291B (zh) * | 2021-07-09 | 2024-06-25 | 北京声智科技有限公司 | 音频信号的降噪方法、装置、电子设备及存储介质 |
| CN113766385B (zh) * | 2021-09-24 | 2023-12-22 | 维沃移动通信有限公司 | 耳机降噪方法及装置 |
| CN115132220B (zh) * | 2022-08-25 | 2023-02-28 | 深圳市友杰智新科技有限公司 | 抑制电视噪声的双麦唤醒的方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9741360B1 (en) * | 2016-10-09 | 2017-08-22 | Spectimbre Inc. | Speech enhancement for target speakers |
| CN108091344A (zh) * | 2018-02-28 | 2018-05-29 | 科大讯飞股份有限公司 | 一种降噪方法、装置及*** |
| WO2018127483A1 (en) * | 2017-01-03 | 2018-07-12 | Koninklijke Philips N.V. | Audio capture using beamforming |
| CN108922554A (zh) * | 2018-06-04 | 2018-11-30 | 南京信息工程大学 | 基于对数谱估计的lcmv频率不变波束形成语音增强算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10438605B1 (en) * | 2018-03-19 | 2019-10-08 | Bose Corporation | Echo control in binaural adaptive noise cancellation systems in headsets |
-
2020
- 2020-02-24 CN CN202010111706.0A patent/CN111402913B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9741360B1 (en) * | 2016-10-09 | 2017-08-22 | Spectimbre Inc. | Speech enhancement for target speakers |
| WO2018127483A1 (en) * | 2017-01-03 | 2018-07-12 | Koninklijke Philips N.V. | Audio capture using beamforming |
| CN108091344A (zh) * | 2018-02-28 | 2018-05-29 | 科大讯飞股份有限公司 | 一种降噪方法、装置及*** |
| CN108922554A (zh) * | 2018-06-04 | 2018-11-30 | 南京信息工程大学 | 基于对数谱估计的lcmv频率不变波束形成语音增强算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111402913A (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402913B (zh) | 降噪方法、装置、设备和存储介质 | |
| CN110764730B (zh) | 播放音频数据的方法和装置 | |
| CN111050250B (zh) | 降噪方法、装置、设备和存储介质 | |
| CN111445901B (zh) | 音频数据获取方法、装置、电子设备及存储介质 | |
| CN110618805B (zh) | 调整设备电量的方法、装置、电子设备及介质 | |
| CN112133332B (zh) | 播放音频的方法、装置及设备 | |
| CN111276122B (zh) | 音频生成方法及装置、存储介质 | |
| CN111723803B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110956580B (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
| CN110401898B (zh) | 输出音频数据的方法、装置、设备和存储介质 | |
| CN110797042B (zh) | 音频处理方法、装置及存储介质 | |
| CN109102811B (zh) | 音频指纹的生成方法、装置及存储介质 | |
| CN111613213B (zh) | 音频分类的方法、装置、设备以及存储介质 | |
| CN110619614B (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
| CN112269559A (zh) | 音量调整方法、装置、电子设备及存储介质 | |
| CN111931712B (zh) | 人脸识别方法、装置、抓拍机及*** | |
| CN109360577B (zh) | 对音频进行处理的方法、装置存储介质 | |
| CN108196813B (zh) | 添加音效的方法和装置 | |
| CN111916105B (zh) | 语音信号处理方法、装置、电子设备及存储介质 | |
| CN114384466A (zh) | 声源方向确定方法、装置、电子设备及存储介质 | |
| CN112133267B (zh) | 音频效果处理的方法、设备及存储介质 | |
| CN113539291B (zh) | 音频信号的降噪方法、装置、电子设备及存储介质 | |
| CN115334413B (zh) | 语音信号处理方法、***、装置及电子设备 | |
| CN111091512B (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| CN110660031B (zh) | 图像锐化方法及装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |