CN112185407A - 双mic输入的环境声抑制方法、装置、存储介质及设备 - Google Patents
双mic输入的环境声抑制方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN112185407A CN112185407A CN202011013186.6A CN202011013186A CN112185407A CN 112185407 A CN112185407 A CN 112185407A CN 202011013186 A CN202011013186 A CN 202011013186A CN 112185407 A CN112185407 A CN 112185407A
- Authority
- CN
- China
- Prior art keywords
- audio data
- frequency domain
- external
- built
- domain audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000007613 environmental effect Effects 0.000 title claims abstract description 21
- 230000001629 suppression Effects 0.000 title claims description 32
- 238000001228 spectrum Methods 0.000 claims abstract description 145
- 238000004364 calculation method Methods 0.000 claims abstract description 66
- 238000005314 correlation function Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 27
- 102100032219 Cathepsin D Human genes 0.000 claims description 12
- 101000869010 Homo sapiens Cathepsin D Proteins 0.000 claims description 12
- 230000009977 dual effect Effects 0.000 claims description 11
- 101001080825 Homo sapiens PH and SEC7 domain-containing protein 1 Proteins 0.000 claims description 6
- 101001080808 Homo sapiens PH and SEC7 domain-containing protein 2 Proteins 0.000 claims description 6
- 102100027472 PH and SEC7 domain-containing protein 1 Human genes 0.000 claims description 6
- 102100027455 PH and SEC7 domain-containing protein 2 Human genes 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种双MIC输入的环境声抑制方法、装置、存储介质及设备，其中，所述方法包括：在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；对外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；基于外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；基于自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。在本发明实施例中，可以实现抑制麦克风的环境声音的录入，提升语音的清晰度。
Description
技术领域
本发明涉及教育一体机技术领域，尤其涉及一种双MIC输入的环境声抑制方法、装置、存储介质及设备。
背景技术
随着电子设备不断革新，教育模式也越来越现代化，教育一体机逐步普及到国内外教室中，老师通过连接到教育机的无线麦克风设备进行课堂讲解，扩大了音量且保护嗓子。而目前市面上外接麦克风设备分两种：1.
带DSP处理模块，能够较好的处理声音的底噪、啸叫等问题，但价格较贵；2.不带DSP处理模块，价格相对便宜，但底噪较大，从教育机播放出来的音质较差；而两种外接麦克风设备由于单端输入的局限，对外界环境声都无法做到比较好的抑制效果，即很难做到过滤外界环境声仅保留语音数据。
由于麦克风一般都是单端输入，无法较好的区分语音和外界环境音，在软硬件上都无法进行有效抑制，特别是在直播/录制授课视频时，会同时录入老师讲课内容和外界的杂音，严重影响了直播/视频录制的语音清晰度。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种双MIC输入的环境声抑制方法、装置、存储介质及设备，可以实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质。
为了解决上述技术问题，本发明实施例提供了一种双MIC输入的环境声抑制方法，所述方法包括：
在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；
对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；
基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；
基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。
可选的，所述使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，包括：
在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口；
在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的PCM数据。
可选的，所述运行***Android***；
所述在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口，包括：
在所述设备的Android***上修改原生音频策略，实现创建多个Audiorecord线程同时录音，并在HAL层AudioPolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。
可选的，所述设备内置麦克风设备自带DSP模块，在所述设备内置麦克风设备进行音频采集工作时，通过自带DSP模块进行调节增益和人声音频消除参数处理，获得内置频域音频数据；
所述外接麦克风设备由用户随身携带，用于采集用户的说话时的音频数据，获得外接频域音频数据；
其中，所述外接麦克风设备为有线外接麦克风设备或无线外接麦克风设备。
可选的，所述对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据，包括：
对所述外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，所述频域加窗处理为汉宁窗的加窗运算；
对所述加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。
可选的，所述基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱，包括：
基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；
基于所述外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；
自相关谱计算计算的计算公式为：PSDn＝∑|Fn|2，其中n取值为1或2；在n取值为1时，PSDn为外接频域音频数据的自相关谱；Fn为外接频域音频数据；在n取值为2时，PSDn为内置频域音频数据的自相关谱；Fn为内置频域音频数据；
所述互相关谱计算的计算公式为：CPSD＝∑(|F1|×|F2|*)，其中F1为外接频域音频数据；F2为内置频域音频数据；符号*为复数的共轭运算。
可选的，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：
其中，CPSD表示外接频域音频数据和内置频域音频数据的互相关谱；PSD1表示外接频域音频数据的自相关谱；PSD2表示内置频域音频数据的自相关谱。
另外，本发明实施例还提供了一种双MIC输入的环境声抑制装置，所述装置包括：
音频采集模块：用于在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；
频域变换模块：用于对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；
相关谱计算模块：用于基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；
增益计算模块：用于基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。
另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述中任意一项所述的环境声抑制方法。
另外，本发明实施例还提供了一种终端设备，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行上述中任意一项所述的环境声抑制方法。
在本发明实施例中，通过外接麦克风设备，增加终端设备上的麦克风设备，并且，外接麦克风设备用于给用户随身携带，并且，外接麦克风设备由用户随身携带；用过外接麦克风设备与内置麦克风设备同时采集音频信息，然后经过一系列的处理，从而实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质；并且对于外接麦克风设备的要求不高，不需要其携带DSP模块，降低设备成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的双MIC输入的环境声抑制方法的流程示意图；
图2是本发明实施例中的双MIC输入的环境声抑制装置的结构组成示意图；
图3是本发明实施例中的终端设备结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的双MIC输入的环境声抑制方法的流程示意图。
如图1所示，一种双MIC输入的环境声抑制方法，所述方法包括：
S11：在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；
在本发明具体实施过程中，所述使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，包括：在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的PCM数据。
进一步的，所述运行***Android***；所述在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口，包括：在所述设备的Android***上修改原生音频策略，并在HAL层AudioPolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。
进一步的，所述设备内置麦克风设备自带DSP模块，在所述设备内置麦克风设备进行音频采集工作时，通过自带DSP模块进行调节增益和人声音频消除参数处理，获得内置频域音频数据；所述外接麦克风设备由用户随身携带，用于采集用户的说话时的音频数据，获得外接频域音频数据；其中，所述外接麦克风设备为有线外接麦克风设备或无线外接麦克风设备。
具体的，在一体机设备(设备终端)上均自带有阵列麦克风设备，在此成为内置麦克风设备，除此之外，在一体机设备上还外接一个麦克风设备，在此成为外接麦克风设备，其中，外接麦克风设备一般由用户随身携带，用户采集用户发出的语音信息数据；而设备内置麦克风设备一般距离用户较远，用于采集环境音频信息数据；并且外接麦克风设备可以为有线的麦克风设备也可以为无线的麦克风设备，在此，一般为无线的麦克风设备，方便用户随着携带；并且设备内置的麦克风设备上自带有一个DSP模块，通过该DSP模块可实现加强对人声的抑制和环境音的采集，用于对比消除外接麦克风设备数据中的环境音，从而到的抑制麦克风的环境声音的录入，提升语音的清晰度。
在设备上同时打开远场麦克风设备，则需要在该一体机设备上的内置运行***上修改原生音频策略，该运行***为Android***，并且新增一个虚拟音频设备的视频内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的PCM数据。
在该一体机设备上运行的Android***上修改原生音频策略，实现创建多个Audiorecord线程同时录音，并在HAL层AudioPolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。
在外接的麦克风设备离说话者近，主要用于语音拾取，而设备内置麦克风设备离说话者较远，并且可以调节增益和人声消除参数，侧重于环境音的拾取，以此从硬件设备分布结构上来区分两个麦克风的拾音区域；远场(外接)麦克用于语音录制，拾取的语音强度大，背景噪声相对小，而一体机上内置麦克风拾取的语音相对小，背景噪声相对大。
S12：对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；
在本发明具体实施过程中，所述对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据，包括：对所述外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，所述频域加窗处理为汉宁窗的加窗运算；对所述加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。
具体的，在获得外接音频数据和内置音频数据，需要对外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，其中，该频域加窗处理为汉宁窗的加窗运算；然后对加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。
具体的计算公式为F1＝FFT(han_win*T1)；F2＝FFT(han_win*T2)；其中，T1为外接音频数据；T2内置音频数据；F1为外接频域音频数据；F2为内置频域音频数据；FFT为傅里叶变换；han_win为汉宁窗的加窗运算系数，以每帧128个数据乘以汉宁窗系数，用来防止后面时频转换时发生频谱混叠。
S13：基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；
在本发明具体实施过程中，所述基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱，包括：基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；基于所述外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；自相关谱计算计算的计算公式为：PSDn＝∑|Fn|2，其中n取值为1或2；在n取值为1时，PSDn为外接频域音频数据的自相关谱；Fn为外接频域音频数据；在n取值为2时，PSDn为内置频域音频数据的自相关谱；Fn为内置频域音频数据；所述互相关谱计算的计算公式为：CPSD＝∑(|F1|×|F2|*)，其中F1为外接频域音频数据；F2为内置频域音频数据；符号*为复数的共轭运算。
具体的，首先根据外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；然后根据外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；其中，自相关谱计算的计算公式为：PSDn＝∑|Fn|2，其中n取值为1或2；在n取值为1时，PSDn为外接频域音频数据的自相关谱；Fn为外接频域音频数据；在n取值为2时，PSDn为内置频域音频数据的自相关谱；Fn为内置频域音频数据；互相关谱计算的计算公式为：CPSD＝∑(|F1|×|F2|*)，其中F1为外接频域音频数据；F2为内置频域音频数据；符号*为复数的共轭运算。
S14：基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。
在本发明具体实施过程中，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：
其中，CPSD表示外接频域音频数据和内置频域音频数据的互相关谱；PSD1表示外接频域音频数据的自相关谱；PSD2表示内置频域音频数据的自相关谱。
具体的，采用背景噪声的抑制上采用频域相关性函数，该函数如下：
其中，CPSD表示外接频域音频数据和内置频域音频数据的互相关谱；PSD1表示外接频域音频数据的自相关谱；PSD2表示内置频域音频数据的自相关谱；计算频域增益来消除通过无线麦克风所录数据中夹杂的环境噪声。
在本发明实施例中，通过外接麦克风设备，增加终端设备上的麦克风设备，并且，外接麦克风设备用于给用户随身携带，并且，外接麦克风设备由用户随身携带；用过外接麦克风设备与内置麦克风设备同时采集音频信息，然后经过一系列的处理，从而实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质；并且对于外接麦克风设备的要求不高，不需要其携带DSP模块，降低设备成本。
实施例
请参阅图2，图2是本发明实施例中的双MIC输入的环境声抑制装置的结构组成示意图。
如图2所示，一种双MIC输入的环境声抑制装置，所述装置包括：
音频采集模块21：用于在设备上外接一麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；
在本发明具体实施过程中，所述使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，包括：在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的PCM数据。
进一步的，所述运行***Android***；所述在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口，包括：在所述设备的Android***上修改原生音频策略，并在HAL层AudioPolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。
进一步的，所述设备内置麦克风设备自带DSP模块，在所述设备内置麦克风设备进行音频采集工作时，通过自带DSP模块进行调节增益和人声音频消除参数处理，获得内置频域音频数据；所述外接麦克风设备由用户随身携带，用于采集用户的说话时的音频数据，获得外接频域音频数据；其中，所述外接麦克风设备为有线外接麦克风设备或无线外接麦克风设备。
具体的，在一体机设备(设备终端)上均自带有阵列麦克风设备，在此成为内置麦克风设备，除此之外，在一体机设备上还外接一个麦克风设备，在此成为外接麦克风设备，其中，外接麦克风设备一般由用户随身携带，用户采集用户发出的语音信息数据；而设备内置麦克风设备一般距离用户较远，用于采集环境音频信息数据；并且外接麦克风设备可以为有线的麦克风设备也可以为无线的麦克风设备，在此，一般为无线的麦克风设备，方便用户随着携带；并且设备内置的麦克风设备上自带有一个DSP模块，通过该DSP模块可实现加强对人声的抑制和环境音的采集，用于对比消除外接麦克风设备数据中的环境音，从而到的抑制麦克风的环境声音的录入，提升语音的清晰度。
在设备上同时使用一远场(外接)麦克风设备录音，则需要在该一体机设备上的内置运行***上修改原生音频策略，该运行***为Android***，实现创建多个Audiorecord线程同时录音，并且新增一个虚拟音频设备的视频内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的PCM数据。
在该一体机设备上运行的Android***上修改原生音频策略，并在HAL层AudioPolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。
在外接的麦克风设备离说话者近，主要用于语音拾取，而设备内置麦克风设备离说话者较远，并且可以调节增益和人声消除参数，侧重于环境音的拾取，以此从硬件设备分布结构上来区分两个麦克风的拾音区域；远场(外接)麦克用于语音录制，拾取的语音强度大，背景噪声相对小，而一体机上内置麦克风拾取的语音相对小，背景噪声相对大。
频域变换模块22：用于对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；
在本发明具体实施过程中，所述对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据，包括：对所述外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，所述频域加窗处理为汉宁窗的加窗运算；对所述加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。
具体的，在获得外接音频数据和内置音频数据，需要对外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，其中，该频域加窗处理为汉宁窗的加窗运算；然后对加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。
具体的计算公式为F1＝FFT(han_win*T1)；F2＝FFT(han_win*T2)；其中，T1为外接音频数据；T2内置音频数据；F1为外接频域音频数据；F2为内置频域音频数据；FFT为傅里叶变换；han_win为汉宁窗的加窗运算系数，以每帧128个数据乘以汉宁窗系数，用来防止后面时频转换时发生频谱混叠。
相关谱计算模块23：用于基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；
在本发明具体实施过程中，所述基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱，包括：基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；基于所述外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；自相关谱计算计算的计算公式为：PSDn＝∑|Fn|2，其中n取值为1或2；在n取值为1时，PSDn为外接频域音频数据的自相关谱；Fn为外接频域音频数据；在n取值为2时，PSDn为内置频域音频数据的自相关谱；Fn为内置频域音频数据；所述互相关谱计算的计算公式为：CPSD＝∑(|F1|×|F2|*)，其中F1为外接频域音频数据；F2为内置频域音频数据；符号*为复数的共轭运算。
具体的，首先根据外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；然后根据外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；其中，自相关谱计算的计算公式为：PSDn＝∑|Fn|2，其中n取值为1或2；在n取值为1时，PSDn为外接频域音频数据的自相关谱；Fn为外接频域音频数据；在n取值为2时，PSDn为内置频域音频数据的自相关谱；Fn为内置频域音频数据；互相关谱计算的计算公式为：CPSD＝∑(|F1|×|F2|*)，其中F1为外接频域音频数据；F2为内置频域音频数据；符号*为复数的共轭运算。
增益计算模块24：用于基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。
在本发明具体实施过程中，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：
其中，CPSD表示外接频域音频数据和内置频域音频数据的互相关谱；PSD1表示外接频域音频数据的自相关谱；PSD2表示内置频域音频数据的自相关谱。
具体的，采用背景噪声的抑制上采用频域相关性函数，该函数如下：
其中，CPSD表示外接频域音频数据和内置频域音频数据的互相关谱；PSD1表示外接频域音频数据的自相关谱；PSD2表示内置频域音频数据的自相关谱；计算频域增益来消除通过无线麦克风所录数据中夹杂的环境噪声。
在本发明实施例中，通过外接麦克风设备，增加终端设备上的麦克风设备，并且，外接麦克风设备用于给用户随身携带，并且，外接麦克风设备由用户随身携带；用过外接麦克风设备与内置麦克风设备同时采集音频信息，然后经过一系列的处理，从而实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质；并且对于外接麦克风设备的要求不高，不需要其携带DSP模块，降低设备成本。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中任意一个实施例的环境声抑制方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例还提供了一种计算机应用程序，其运行在计算机上，该计算机应用程序用于执行上述中任意一个实施例的环境声抑制方法。
此外，图3是本发明实施例中的终端设备的结构组成示意图。
本发明实施例还提供了一种终端设备，如图3所示。所述终端设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述终端设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中对的环境声抑制方法。
在本发明实施例中，通过外接麦克风设备，增加终端设备上的麦克风设备，并且，外接麦克风设备用于给用户随身携带，并且，外接麦克风设备由用户随身携带；用过外接麦克风设备与内置麦克风设备同时采集音频信息，然后经过一系列的处理，从而实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质；并且对于外接麦克风设备的要求不高，不需要其携带DSP模块，降低设备成本。
另外，以上对本发明实施例所提供的一种双MIC输入的环境声抑制方法、装置、存储介质及设备进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种双MIC输入的环境声抑制方法，其特征在于，所述方法包括：
在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；
对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；
基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；
基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。
2.根据权利要求1所述的环境声抑制方法，其特征在于，所述使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，包括：
在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口；
在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的PCM数据。
3.根据权利要求2所述的环境声抑制方法，其特征在于，所述运行***Android***；
所述在所述设备的运行***上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口，包括：
在所述设备的Android***上修改原生音频策略，实现创建多个Audiorecord线程同时录音，并在HAL层AudioPolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。
4.根据权利要求1或2任意一项所述的环境声抑制方法，其特征在于，所述设备内置麦克风设备自带DSP模块，在所述设备内置麦克风设备进行音频采集工作时，通过自带DSP模块进行调节增益和人声音频消除参数处理，获得内置频域音频数据；
所述外接麦克风设备由用户随身携带，用于采集用户的说话时的音频数据，获得外接频域音频数据；
其中，所述外接麦克风设备为有线外接麦克风设备或无线外接麦克风设备。
5.根据权利要求1所述的环境声抑制方法，其特征在于，所述对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据，包括：
对所述外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，所述频域加窗处理为汉宁窗的加窗运算；
对所述加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。
6.根据权利要求1所述的环境声抑制方法，其特征在于，所述基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱，包括：
基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；
基于所述外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；
自相关谱计算计算的计算公式为：PSDn＝∑|Fn|2，其中n取值为1或2；在n取值为1时，PSDn为外接频域音频数据的自相关谱；Fn为外接频域音频数据；在n取值为2时，PSDn为内置频域音频数据的自相关谱；Fn为内置频域音频数据；
所述互相关谱计算的计算公式为：CPSD＝∑(|F1|×|F2|*)，其中F1为外接频域音频数据；F2为内置频域音频数据；符号*为复数的共轭运算。
7.根据权利要求1所述的环境声抑制方法，其特征在于，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：
其中，CPSD表示外接频域音频数据和内置频域音频数据的互相关谱；PSD1表示外接频域音频数据的自相关谱；PSD2表示内置频域音频数据的自相关谱。
8.一种双MIC输入的环境声抑制装置，其特征在于，所述装置包括：
音频采集模块：用于在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；
频域变换模块：用于对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；
相关谱计算模块：用于基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；
增益计算模块：用于基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述的环境声抑制方法。
10.一种终端设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1至7中任意一项所述的环境声抑制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011013186.6A CN112185407A (zh) | 2020-09-24 | 2020-09-24 | 双mic输入的环境声抑制方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011013186.6A CN112185407A (zh) | 2020-09-24 | 2020-09-24 | 双mic输入的环境声抑制方法、装置、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112185407A true CN112185407A (zh) | 2021-01-05 |
Family
ID=73956131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011013186.6A Pending CN112185407A (zh) | 2020-09-24 | 2020-09-24 | 双mic输入的环境声抑制方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112185407A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916567A (zh) * | 2009-11-23 | 2010-12-15 | 瑞声声学科技(深圳)有限公司 | 应用于双麦克风***的语音增强方法 |
| KR101442700B1 (ko) * | 2013-09-03 | 2014-09-23 | 서강대학교산학협력단 | 독립성분분석 적응필터를 이용한 헤드폰 유입잡음 제거방법 및 장치 |
| CN104602162A (zh) * | 2014-12-17 | 2015-05-06 | 惠州Tcl移动通信有限公司 | 用于移动终端的外接降噪装置及其降噪方法 |
| CN105577909A (zh) * | 2015-05-26 | 2016-05-11 | 东莞酷派软件技术有限公司 | 一种消噪方法及装置 |
| CN108269582A (zh) * | 2018-01-24 | 2018-07-10 | 厦门美图之家科技有限公司 | 一种基于双麦克风阵列的定向拾音方法及计算设备 |
| CN109741758A (zh) * | 2019-01-14 | 2019-05-10 | 杭州微纳科技股份有限公司 | 一种双麦克风语音降噪方法 |
-
2020
- 2020-09-24 CN CN202011013186.6A patent/CN112185407A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916567A (zh) * | 2009-11-23 | 2010-12-15 | 瑞声声学科技(深圳)有限公司 | 应用于双麦克风***的语音增强方法 |
| KR101442700B1 (ko) * | 2013-09-03 | 2014-09-23 | 서강대학교산학협력단 | 독립성분분석 적응필터를 이용한 헤드폰 유입잡음 제거방법 및 장치 |
| CN104602162A (zh) * | 2014-12-17 | 2015-05-06 | 惠州Tcl移动通信有限公司 | 用于移动终端的外接降噪装置及其降噪方法 |
| CN105577909A (zh) * | 2015-05-26 | 2016-05-11 | 东莞酷派软件技术有限公司 | 一种消噪方法及装置 |
| CN108269582A (zh) * | 2018-01-24 | 2018-07-10 | 厦门美图之家科技有限公司 | 一种基于双麦克风阵列的定向拾音方法及计算设备 |
| CN109741758A (zh) * | 2019-01-14 | 2019-05-10 | 杭州微纳科技股份有限公司 | 一种双麦克风语音降噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018188282A1 (zh) | 回声消除方法、装置、会议平板及计算机存储介质 | |
| US8219394B2 (en) | Adaptive ambient sound suppression and speech tracking | |
| CN110956969B (zh) | 直播音频处理方法、装置、电子设备和存储介质 | |
| CN108376548B (zh) | 一种基于麦克风阵列的回声消除方法与*** | |
| CN111951819A (zh) | 回声消除方法、装置及存储介质 | |
| US9711164B2 (en) | Noise cancellation method | |
| US10978086B2 (en) | Echo cancellation using a subset of multiple microphones as reference channels | |
| CN110176244A (zh) | 回声消除方法、装置、存储介质和计算机设备 | |
| CN110782914B (zh) | 信号处理方法、装置、终端设备及存储介质 | |
| CN107833579A (zh) | 噪声消除方法、装置及计算机可读存储介质 | |
| US11380312B1 (en) | Residual echo suppression for keyword detection | |
| CN108447496A (zh) | 一种基于麦克风阵列的语音增强方法及装置 | |
| CN109727605B (zh) | 处理声音信号的方法及*** | |
| US9949034B2 (en) | Sound field spatial stabilizer | |
| US20160073209A1 (en) | Maintaining spatial stability utilizing common gain coefficient | |
| CN111583950A (zh) | 一种音频处理方法、装置、电子设备及存储介质 | |
| CN107452398B (zh) | 回声获取方法、电子设备及计算机可读存储介质 | |
| CN110431624A (zh) | 残余回声检测方法、残余回声检测装置、语音处理芯片及电子设备 | |
| CN204117590U (zh) | 语音采集降噪装置以及语音质量评价*** | |
| CN112185407A (zh) | 双mic输入的环境声抑制方法、装置、存储介质及设备 | |
| CN109584898B (zh) | 一种语音信号的处理方法、装置、存储介质及电子设备 | |
| CN114220451A (zh) | 音频消噪方法、电子设备和存储介质 | |
| CN111724808A (zh) | 音频信号处理方法、装置、终端及存储介质 | |
| CN108234792A (zh) | 声音信号处理方法、电子装置及计算机可读存储介质 | |
| CN117153178B (zh) | 音频信号处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 238, room 406, No.1, Yichuang street, Huangpu District, Guangzhou, Guangdong 510000 Applicant after: Guangzhou langguo Electronic Technology Co.,Ltd. Address before: 510000 unit a and B, zone 02, 4th floor, No. 136, Gaopu Road, high tech Development Zone, Tianhe District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU LANGO ELECTRONIC SCIENCE & TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |