CN113810828A - 音频信号处理方法、装置、可读存储介质及耳机 - Google Patents

音频信号处理方法、装置、可读存储介质及耳机 Download PDF

Info

Publication number
CN113810828A
CN113810828A CN202111093716.7A CN202111093716A CN113810828A CN 113810828 A CN113810828 A CN 113810828A CN 202111093716 A CN202111093716 A CN 202111093716A CN 113810828 A CN113810828 A CN 113810828A
Authority
CN
China
Prior art keywords
signal
audio frame
audio
sound signal
environment sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111093716.7A
Other languages
English (en)
Inventor
周岭松
王昭
相非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202111093716.7A priority Critical patent/CN113810828A/zh
Publication of CN113810828A publication Critical patent/CN113810828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本公开涉及一种音频信号处理方法、装置、可读存储介质及耳机。方法包括:获取环境音信号;根据预设的通透滤波器对环境音信号进行滤波处理,得到第一音频信号;提取环境音信号中的人声信号,得到第二音频信号;将第一音频信号和第二音频信号发送给扬声器,控制所述扬声器同步播放所述第一音频信号和第二音频信号。这样,通过提取环境音信号中的人声信号,叠加滤波处理后的环境音信号,通过同步播放,可在不损失语音的前提下,对通透后的环境音信号中的人声部分进行增强,提供通透模式下清晰的人声感知,为用户提供良好的环境通透体验。另外,由于叠加的是人声信号,因此不会对噪声进行增强,使得用户听到的人声更加清晰。

Description

音频信号处理方法、装置、可读存储介质及耳机
技术领域
本公开涉及音频处理领域,尤其涉及一种音频信号处理方法、装置、可读存储介质及耳机。
背景技术
为适应不同场景,现有的很多耳机设有降噪模式和通透模式,降噪模式用于阻挡外界的声音信号,通透模式用于让外界的声音信号进入人耳。当用户戴着耳机,要与其他人进行对话,可以不用摘下耳机,切换到通透模式,则等同于摘下耳机的效果,从而实现与对方的清晰对话。但环境中通常有噪声,我们期望交谈时能听到更多的人声和更少的噪声,因而增设了使人声更清晰的人声增强功能。
因为语音频带范围为300Hz~3400Hz,现阶段的人声增强方法通常对不同频段的声音分别处理:对于300Hz以下的低频噪声,通过施加反向声波来抵消;对于300Hz~3400Hz的语音频段,利用通透滤波器进行滤波,然后通过带通滤波器对降噪后的语音进行滤波和能量放大;最后,反相声波叠加带通放大后的声波,由扬声器播放。但实际环境中,噪声是全频带分布的,在300Hz~3400Hz频段也会包含噪声,放大语音的同时也会放大噪声,实际用户体验只是噪声和人声一起增强了。并且,300Hz以下也存在语音的可能,通过声波抵消,可能会损伤语音。
发明内容
为克服相关技术中存在的问题,本公开提供一种音频信号处理方法、装置、可读存储介质及耳机。
根据本公开实施例的第一方面,提供一种音频信号处理方法,应用于耳机,包括:
获取环境音信号,其中,所述环境音信号为所述耳机周围环境中的声音信号;
根据预设的通透滤波器对所述环境音信号进行滤波处理,得到第一音频信号;
提取所述环境音信号中的人声信号,得到第二音频信号;
将所述第一音频信号和所述第二音频信号发送给扬声器,控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
可选地,所述提取所述环境音信号中的人声信号,包括:
通过维纳滤波提取所述环境音信号中的人声信号。
可选地,所述通过维纳滤波提取所述环境音信号中的人声信号,包括:
通过傅里叶变换将所述环境音信号从时域变换到频域,得到所述环境音信号对应的频域信号;
针对所述频域信号中的每一音频帧,确定所述音频帧对应的维纳滤波系数;
利用所述音频帧对应的维纳滤波系数对所述音频帧进行滤波,得到所述音频帧中的频域人声信号;
对所述频域人声信号进行逆傅里叶变换,得到所述音频帧对应的时域信号中的人声信号。
可选地,所述确定所述音频帧对应的维纳滤波系数,包括:
确定所述音频帧对应的功率谱,并对所述音频帧进行噪声估计,得到所述音频帧中噪声信号对应的功率谱;
根据所述音频帧对应的功率谱、所述音频帧中噪声信号对应的功率谱以及所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的维纳滤波系数。
可选地,所述根据所述音频帧对应的功率谱、所述音频帧中噪声信号对应的功率谱以及所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的维纳滤波系数,包括:
根据所述音频帧对应的功率谱和所述音频帧中噪声信号对应的功率谱,确定所述音频帧对应的后验信噪比;
根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的先验信噪比估计值;
根据所述先验信噪比估计值,生成所述音频帧对应的维纳滤波系数。
可选地,所述根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的先验信噪比估计值,包括:
根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,通过以下公式来确定所述音频帧对应的先验信噪比估计值:
Figure BDA0003268529810000031
其中,
Figure BDA0003268529810000032
为所述环境音信号对应的频域信号中第n个音频帧对应的先验信噪比估计值,n>1;Pdd(n-1)为所述环境音信号对应的频域信号中第n-1个音频帧中噪声信号对应的功率谱;α为权重系数;
Figure BDA0003268529810000033
为所述环境音信号对应的频域信号中第n-1个音频帧中频域人声信号对应的功率谱;γ(n)为所述环境音信号对应的频域信号中第n个音频帧对应的后验信噪比。
可选地,所述提取所述环境音信号中的人声信号,得到第二音频信号,包括:
将所述环境音信号输入到预先训练好的人声提取模型中,得到第二音频信号。
可选地,所述预设的通透滤波器为多个级联的二阶IIR滤波器。
根据本公开实施例的第二方面,提供一种音频信号处理装置,应用于耳机,包括:
获取模块,被配置为获取环境音信号,其中,所述环境音信号为所述耳机周围环境中的声音信号;
滤波模块,被配置为根据预设的通透滤波器对所述获取模块获取到的所述环境音信号进行滤波处理,得到第一音频信号;
提取模块,被配置提取所述获取模块获取到的所述环境音信号中的人声信号,得到第二音频信号;
播放控制模块,被配置为将所述第一音频信号和所述第二音频信号发送给扬声器,控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的音频信号处理方法的步骤。
根据本公开实施例的第四方面,提供一种耳机,包括:
控制器和与所述控制器通信连接的前馈麦克风和扬声器;
所述前馈麦克风,用于采集环境音信号,并将所述环境音信号发送给所述控制器;
所述扬声器,用于根据所述控制器的控制指令播放音频信号;
所述控制器,包括存储器和处理器,所述存储器上存储有能够在处理器上运行的计算机程序;所述处理器用于运行所述计算机程序时,执行本公开第一方面所提供的音频信号处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:根据预设的通透滤波器对环境音信号进行滤波处理,得到第一音频信号,同时提取环境音信号中的人声信号,得到第二音频信号;之后,将第一音频信号和第二音频信号发送给扬声器,控制扬声器同步播放第一音频信号和第二音频信号。这样,通过提取环境音信号中的人声信号,叠加滤波处理后的环境音信号,通过同步播放,可以在不损失语音的前提下,对通透后的环境音信号中的人声部分进行增强,提供通透模式下清晰的人声感知,为用户提供良好的环境通透体验。由此,用户无须摘下耳机,在通透模式下即可清晰地聆听对方说话,并且,也可注意到包括汽笛声、行车声在内的重要环境声,保障人身安全。另外,由于叠加的是人声信号,因此不会对噪声进行增强,使得用户听到的人声更加清晰。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种音频信号处理方法的流程图。
图2是根据一示例性实施例示出的一种空耳时的频响曲线A以及戴上耳机被动降噪后的频响曲线B的示意图。
图3是根据一示例性实施例示出的一种目标曲线C的示意图。
图4是根据一示例性实施例示出的一种目标曲线C和频响曲线D的示意图。
图5是根据一示例性实施例示出的一种通过维纳滤波提取环境音信号中的人声信号的方法的流程图。
图6是根据一示例性实施例示出的一种音频信号处理装置的框图。
图7是根据一示例性实施例示出的一种音频信号处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种音频信号处理方法的流程图,其中,该方法可以应用于耳机。如图1所示,该方法包括以下S101~S104。
在S101中,获取环境音信号。
在本公开中,环境音信号为耳机周围环境中的声音信号。上述耳机包括降噪模式和通透模式,其中,降噪模式用于阻挡外界的声音信号,通透模式用于让外界的声音信号进入人耳。其中,上述音频信号处理方法可以应用于耳机处于通透模式的场景。
示例地,可以通过耳机上的前馈麦克风采集环境音信号。
在S102中,根据预设的通透滤波器对环境音信号进行滤波处理,得到第一音频信号。
在本公开中,用户在佩戴耳机时,由于耳机的被动隔声会带来环境音信号的内外声压级差。在耳机处于通透模式下时,环境音信号在进入耳机后可以通过设置在耳机内的预设的通透滤波器对其进行滤波处理,以弥补由于耳机的被动隔声带来的环境音信号的内外声压级差,让用户体验到接近不佩戴耳机状态下的声音信号的输入体验,也即通透模式开启后,人耳对外界的响应是一种开放式响应。
示例地,上述预设的通透滤波器可以为多个(例如,6个)级联的二阶IIR滤波器,该通透滤波器采用频响曲线D对环境音信号进行滤波处理,以弥补由于耳机的被动隔声带来的环境音信号的内外声压级差。
在S103中,提取环境音信号中的人声信号,得到第二音频信号。
在S104中,将第一音频信号和第二音频信号发送给扬声器,控制扬声器同步播放第一音频信号和第二音频信号。
本公开的实施例提供的技术方案可以包括以下有益效果:根据预设的通透滤波器对环境音信号进行滤波处理,得到第一音频信号,同时提取环境音信号中的人声信号,得到第二音频信号;之后,将第一音频信号和第二音频信号发送给扬声器,控制扬声器同步播放第一音频信号和第二音频信号。这样,通过提取环境音信号中的人声信号,叠加滤波处理后的环境音信号,通过同步播放,可以在不损失语音的前提下,对通透后的环境音信号中的人声部分进行增强,提供通透模式下清晰的人声感知,为用户提供良好的环境通透体验。由此,用户无须摘下耳机,在通透模式下即可清晰地聆听对方说话,并且,也可注意到包括汽笛声、行车声在内的重要环境声,保障人身安全。另外,由于叠加的是人声信号,因此不会对噪声进行增强,使得用户听到的人声更加清晰。
下面针对上述通透滤波器(即多个级联的二阶IIR滤波器的)对环境音信号进行滤波处理时所采用的频响曲线D的确定方式进行详细说明。
具体来说,可以通过人工头采集空耳(即不戴耳机)时的频响曲线A以及戴上耳机被动降噪后的频响曲线B(如图2所示)。通过对比频响曲线A和频响曲线B,得到被动降噪曲线,也即我们需要补偿的目标曲线C(如图3所示)。
通过设计多个级联的二阶IIR滤波器来逼近目标曲线C。具体设计步骤如下:首先,对每个二阶IIR滤波器的系数(包括频率、增益、Q值)进行随机初始化;然后随机更新各二阶IIR滤波器的系数,计算补偿曲线E,比较补偿曲线E与目标曲线C的差距(例如,计算两条曲线之间的余弦距离);如果补偿曲线E与目标曲线C的差距比上一次更新时小,则以当前IIR系数为基准,继续更新各二阶IIR滤波器的系数;如果补偿曲线E与目标曲线C的差距比上一次更新时大,则以上一次更新得到的IIR系数为基准,继续更新各二阶IIR滤波器的系数。按此类推,进行多次迭代,直至补偿曲线E与目标曲线C的差异稳定下来为止(例如,最近10次中差异的最大值与最小值之差小于预设阈值);之后,将最近更新得到的补偿曲线E作为上述频响曲线D。示例地,频响曲线D与目标曲线C如图4所示。
下面针对上述S102中的提取环境音信号中的人声信号的具体实施方式进行详细说明。
在一种实施方式中,可以将环境音信号输入到预先训练好的人声提取模型中,得到第二音频信号。
在本公开中,上述人声提取模型可以通过以下方式训练得到:
首先,获取参考环境音信号和该参考环境音信号中的人声信号;
然后,通过将参考环境音信号作为人声提取模型的输入,将该参考环境音信号中的人声信号作为人声提取模型的目标输出的方式进行模型训练,以得到上述人声提取模型。
示例地,上述人声提取模型可以为卷积神经网络(Convolutional NeuralNetworks,CNN)+长短期记忆网络(Long Short-Term Memory,LSTM),还可以为循环神经网络(Recurrent Neural Network,RNN)等。
在另一种实施方式中,可以通过维纳滤波提取环境音信号中的人声信号。具体来说,可以通过图5中所示的S1031~S1034来实现。
在S1031中,通过傅里叶变换将环境音信号从时域变换到频域,得到环境音信号对应的频域信号。
在S1032中,针对频域信号中的每一音频帧,确定该音频帧对应的维纳滤波系数。
在S1033中,利用该音频帧对应的维纳滤波系数对该音频帧进行滤波,得到该音频帧中的频域人声信号。
示例地,可以利用该音频帧对应的维纳滤波系数通过以下等式(1)来对该音频帧进行滤波,以得到该音频帧中的频域人声信号:
Figure BDA0003268529810000091
其中,Y(n)为上述环境音信号对应的频域信号中第n个音频帧,n=1,2,…,m,m为上述环境音信号对应的频域信号包含的音频帧的总数;
Figure BDA0003268529810000092
为上述环境音信号对应的频域信号中第n个音频帧Y(n)中的频域人声信号;H(n)为上述环境音信号对应的频域信号中第n个音频帧Y(n)对应的维纳滤波系数。
在S1034中,对频域人声信号进行逆傅里叶变换,得到该音频帧对应的时域信号中的人声信号。
下面针对上述S1032中的确定该音频帧对应的维纳滤波系数的具体实施方式进行详细说明。具体来说,可以通过以下步骤(1)和步骤(2)来实现:
(1)确定该音频帧对应的功率谱,并对该音频帧进行噪声估计,得到该音频帧中噪声信号对应的功率谱。
示例地,可以通过语音活动性检测(Voice Active Detection,VAD)、最小值控制的递归平均(Minimum Controlled Regressive Averaging,MCRA)等方法进行音频帧的噪声估计,以得到该音频帧中噪声信号对应的功率谱。
(2)根据该音频帧对应的功率谱、该音频帧中噪声信号赌赢的功率谱以及该音频帧的前一音频帧中噪声信号对应的功率谱,确定该音频帧对应的维纳滤波系数。
具体来说,可以通过以下步骤1)~步骤3)来确定该音频帧对应的维纳滤波系数:
1)根据该音频帧对应的功率谱和该音频帧中噪声信号对应的功率谱,确定该音频帧对应的后验信噪比。
示例地,可以根据该音频帧对应的功率谱和该音频帧中噪声信号对应的功率谱,通过以下等式(2)来确定该音频帧对应的后验信噪比:
Figure BDA0003268529810000101
其中,γ(n)为上述环境音信号对应的频域信号中第n个音频帧对应的后验信噪比;Pyy()为上述环境音信号对应的频域信号中第n个音频帧对应的功率谱;Pdd()为上述环境音信号对应的频域信号中第n个音频帧中噪声信号对应的功率谱。
2)根据后验信噪比和该音频帧的前一音频帧中噪声信号对应的功率谱,确定该音频帧对应的先验信噪比估计值。
示例地,可以根据后验信噪比和该音频帧的前一音频帧中噪声信号对应的功率谱,通过以下等式(3)来确定该音频帧对应的先验信噪比估计值:
Figure BDA0003268529810000102
其中,
Figure BDA0003268529810000103
为上述环境音信号对应的频域信号中第n个音频帧对应的先验信噪比估计值,n>1;Pdd(n-1)为上述环境音信号对应的频域信号中第n-1个音频帧中噪声信号对应的功率谱;α为权重系数;
Figure BDA0003268529810000104
为上述环境音信号对应的频域信号中第n-1个音频帧中频域人声信号对应的功率谱,
Figure BDA0003268529810000105
并且,
Figure BDA0003268529810000106
Figure BDA0003268529810000107
3)根据先验信噪比估计值,生成该音频帧对应的维纳滤波系数。
示例地,可以根据先验信噪比估计值,通过以下等式(4)来生成该音频帧对应的维纳滤波系数:
Figure BDA0003268529810000108
基于同样的发明构思,本公开还提供一种音频信号处理装置。如图6所示,该装置600包括:
获取模块601,被配置为获取环境音信号,其中,所述环境音信号为所述耳机周围环境中的声音信号;
滤波模块602,被配置为根据预设的通透滤波器对所述获取模块获取到的所述环境音信号进行滤波处理,得到第一音频信号;
提取模块603,被配置提取所述获取模块601获取到的所述环境音信号中的人声信号,得到第二音频信号;
播放控制模块604,被配置将所述第一音频信号和所述第二音频信号发送给扬声器,控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
本公开的实施例提供的技术方案可以包括以下有益效果:根据预设的通透滤波器对环境音信号进行滤波处理,得到第一音频信号,同时提取环境音信号中的人声信号,得到第二音频信号;之后,将第一音频信号和第二音频信号发送给扬声器,控制扬声器同步播放第一音频信号和第二音频信号。这样,通过提取环境音信号中的人声信号,叠加滤波处理后的环境音信号,通过同步播放,可以在不损失语音的前提下,对通透后的环境音信号中的人声部分进行增强,提供通透模式下清晰的人声感知,为用户提供良好的环境通透体验。由此,用户无须摘下耳机,在通透模式下即可清晰地聆听对方说话,并且,也可注意到包括汽笛声、行车声在内的重要环境声,保障人身安全。另外,由于叠加的是人声信号,因此不会对噪声进行增强,使得用户听到的人声更加清晰。
可选地,所述提取模块603被配置为通过维纳滤波提取所述环境音信号中的人声信号。
可选地,所述提取模块603包括:
第一变换子模块,被配置为通过傅里叶变换将所述环境音信号从时域变换到频域,得到所述环境音信号对应的频域信号;
第一确定子模块,被配置为针对所述频域信号中的每一音频帧,确定所述音频帧对应的维纳滤波系数;
滤波子模块,被配置为利用所述音频帧对应的维纳滤波系数对所述音频帧进行滤波,得到所述音频帧中的频域人声信号;
第二变换子模块,被配置为对所述频域人声信号进行逆傅里叶变换,得到所述音频帧对应的时域信号中的人声信号。
可选地,所述第一确定子模块包括:
第二确定子模块,被配置为确定所述音频帧对应的功率谱,并对所述音频帧进行噪声估计,得到所述音频帧中噪声信号对应的功率谱;
第三确定子模块,被配置为根据所述音频帧对应的功率谱、所述音频帧中噪声信号对应的功率谱以及所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的维纳滤波系数。
可选地,所述第三确定子模块包括:
第四确定子模块,被配置为根据所述音频帧对应的功率谱和所述音频帧中噪声信号对应的功率谱,确定所述音频帧对应的后验信噪比;
第五确定子模块,被配置为根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的先验信噪比估计值;
生成子模块,被配置为根据所述先验信噪比估计值,生成所述音频帧对应的维纳滤波系数。
可选地,所述第五确定子模块,被配置为根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,通过以下公式来确定所述音频帧对应的先验信噪比估计值:
Figure BDA0003268529810000131
其中,
Figure BDA0003268529810000132
为所述环境音信号对应的频域信号中第n个音频帧对应的先验信噪比估计值,n>1;Pdd(n-1)为所述环境音信号对应的频域信号中第n-1个音频帧中噪声信号对应的功率谱;α为权重系数;
Figure BDA0003268529810000133
为所述环境音信号对应的频域信号中第n-1个音频帧中频域人声信号对应的功率谱;γ(n)为所述环境音信号对应的频域信号中第n个音频帧对应的后验信噪比。
可选地,所述提取模块603被配置为将所述环境音信号输入到预先训练好的人声提取模型中,得到第二音频信号。
可选地,所述预设的通透滤波器为多个级联的二阶IIR滤波器。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的上述音频信号处理方法的步骤。
本公开还提供一种耳机,包括:
控制器和与控制器通信连接的前馈麦克风和扬声器;
前馈麦克风,用于采集环境音信号,并将环境音信号发送给控制器;
扬声器,用于根据控制器的控制指令播放音频信号;
控制器,包括存储器和处理器,存储器上存储有能够在处理器上运行的计算机程序;处理器用于运行计算机程序时,执行本公开第一方面所提供的音频信号处理方法。
图7是根据一示例性实施例示出的一种音频信号处理装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的音频信号处理方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述音频信号处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述音频信号处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的音频信号处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种音频信号处理方法,其特征在于,应用于耳机,包括:
获取环境音信号,其中,所述环境音信号为所述耳机周围环境中的声音信号;
根据预设的通透滤波器对所述环境音信号进行滤波处理,得到第一音频信号;
提取所述环境音信号中的人声信号,得到第二音频信号;
将所述第一音频信号和所述第二音频信号发送给扬声器,控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
2.根据权利要求1所述的方法,其特征在于,所述提取所述环境音信号中的人声信号,包括:
通过维纳滤波提取所述环境音信号中的人声信号。
3.根据权利要求2所述的方法,其特征在于,所述通过维纳滤波提取所述环境音信号中的人声信号,包括:
通过傅里叶变换将所述环境音信号从时域变换到频域,得到所述环境音信号对应的频域信号;
针对所述频域信号中的每一音频帧,确定所述音频帧对应的维纳滤波系数;
利用所述音频帧对应的维纳滤波系数对所述音频帧进行滤波,得到所述音频帧中的频域人声信号;
对所述频域人声信号进行逆傅里叶变换,得到所述音频帧对应的时域信号中的人声信号。
4.根据权利要求3所述的方法,其特征在于,所述确定所述音频帧对应的维纳滤波系数,包括:
确定所述音频帧对应的功率谱,并对所述音频帧进行噪声估计,得到所述音频帧中噪声信号对应的功率谱;
根据所述音频帧对应的功率谱、所述音频帧中噪声信号对应的功率谱以及所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的维纳滤波系数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述音频帧对应的功率谱、所述音频帧中噪声信号对应的功率谱以及所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的维纳滤波系数,包括:
根据所述音频帧对应的功率谱和所述音频帧中噪声信号对应的功率谱,确定所述音频帧对应的后验信噪比;
根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的先验信噪比估计值;
根据所述先验信噪比估计值,生成所述音频帧对应的维纳滤波系数。
6.根据权利要求5所述的方法,其特征在于,所述根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,确定所述音频帧对应的先验信噪比估计值,包括:
根据所述后验信噪比和所述音频帧的前一音频帧中噪声信号对应的功率谱,通过以下公式来确定所述音频帧对应的先验信噪比估计值:
Figure FDA0003268529800000021
其中,
Figure FDA0003268529800000022
为所述环境音信号对应的频域信号中第n个音频帧对应的先验信噪比估计值,n>1;Pdd(n-1)为所述环境音信号对应的频域信号中第n-1个音频帧中噪声信号对应的功率谱;α为权重系数;
Figure FDA0003268529800000023
为所述环境音信号对应的频域信号中第n-1个音频帧中频域人声信号对应的功率谱;γ(n)为所述环境音信号对应的频域信号中第n个音频帧对应的后验信噪比。
7.根据权利要求1所述的方法,其特征在于,所述提取所述环境音信号中的人声信号,得到第二音频信号,包括:
将所述环境音信号输入到预先训练好的人声提取模型中,得到第二音频信号。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述预设的通透滤波器为多个级联的二阶IIR滤波器。
9.一种音频信号处理装置,其特征在于,应用于耳机,包括:
获取模块,被配置为获取环境音信号,其中,所述环境音信号为所述耳机周围环境中的声音信号;
滤波模块,被配置为根据预设的通透滤波器对所述获取模块获取到的所述环境音信号进行滤波处理,得到第一音频信号;
提取模块,被配置提取所述获取模块获取到的所述环境音信号中的人声信号,得到第二音频信号;
播放控制模块,被配置为将所述第一音频信号和所述第二音频信号发送给扬声器,控制所述扬声器同步播放所述第一音频信号和所述第二音频信号。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~8中任一项所述方法的步骤。
11.一种耳机,其特征在于,包括:控制器和与所述控制器通信连接的前馈麦克风和扬声器;
所述前馈麦克风,用于采集环境音信号,并将所述环境音信号发送给所述控制器;
所述扬声器,用于根据所述控制器的控制指令播放音频信号;
所述控制器,包括存储器和处理器,所述存储器上存储有能够在处理器上运行的计算机程序;所述处理器用于运行所述计算机程序时,执行权利要求1~8中任意一项所述的音频信号处理方法。
CN202111093716.7A 2021-09-17 2021-09-17 音频信号处理方法、装置、可读存储介质及耳机 Pending CN113810828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111093716.7A CN113810828A (zh) 2021-09-17 2021-09-17 音频信号处理方法、装置、可读存储介质及耳机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111093716.7A CN113810828A (zh) 2021-09-17 2021-09-17 音频信号处理方法、装置、可读存储介质及耳机

Publications (1)

Publication Number Publication Date
CN113810828A true CN113810828A (zh) 2021-12-17

Family

ID=78939736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111093716.7A Pending CN113810828A (zh) 2021-09-17 2021-09-17 音频信号处理方法、装置、可读存储介质及耳机

Country Status (1)

Country Link
CN (1) CN113810828A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554353A (zh) * 2022-02-24 2022-05-27 北京小米移动软件有限公司 音频处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554353A (zh) * 2022-02-24 2022-05-27 北京小米移动软件有限公司 音频处理方法、装置、设备及存储介质
CN114554353B (zh) * 2022-02-24 2024-01-16 北京小米移动软件有限公司 音频处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114363770B (zh) 通透模式下的滤波方法、装置、耳机以及可读存储介质
CN110931028B (zh) 一种语音处理方法、装置和电子设备
CN111988704B (zh) 声音信号处理方法、装置以及存储介质
CN111986693A (zh) 音频信号的处理方法及装置、终端设备和存储介质
CN109256145B (zh) 基于终端的音频处理方法、装置、终端和可读存储介质
CN114630239A (zh) 降低耳机闭塞效应方法、装置及存储介质
CN113810828A (zh) 音频信号处理方法、装置、可读存储介质及耳机
CN112037825B (zh) 音频信号的处理方法及装置、存储介质
CN113473304B (zh) 啸叫声抑制方法、装置、耳机及存储介质
CN111292761A (zh) 语音增强方法及装置
CN111667842B (zh) 音频信号处理方法及装置
CN115714948A (zh) 一种音频信号处理方法、装置及存储介质
CN115278441A (zh) 语音检测方法、装置、耳机及存储介质
CN114513723A (zh) 啸叫声抑制方法、装置、耳机及存储介质
CN115065921A (zh) 一种防止助听器啸叫的方法及装置
CN111294473B (zh) 信号处理方法及装置
CN113596662A (zh) 啸叫声的抑制方法、啸叫声的抑制装置、耳机及存储介质
CN112637416A (zh) 音量的调节方法、装置和存储介质
CN114040284B (zh) 噪声的处理方法、噪声的处理装置、终端及存储介质
CN114554353B (zh) 音频处理方法、装置、设备及存储介质
CN113825081B (zh) 一种基于掩蔽治疗***的助听方法及装置
CN113825082B (zh) 一种用于缓解助听延迟的方法及装置
CN113113036B (zh) 音频信号处理方法及装置、终端及存储介质
WO2023230782A1 (zh) 一种音效控制方法、装置及存储介质
CN114979889A (zh) 降低耳机闭塞效应的方法、装置、耳机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination