CN103339671A - 谐波扬声器非线性的估计和抑制 - Google Patents

谐波扬声器非线性的估计和抑制 Download PDF

Info

Publication number
CN103339671A
CN103339671A CN2011800667753A CN201180066775A CN103339671A CN 103339671 A CN103339671 A CN 103339671A CN 2011800667753 A CN2011800667753 A CN 2011800667753A CN 201180066775 A CN201180066775 A CN 201180066775A CN 103339671 A CN103339671 A CN 103339671A
Authority
CN
China
Prior art keywords
power
echo
loudspeaker
lsp
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800667753A
Other languages
English (en)
Other versions
CN103339671B (zh
Inventor
安德尔斯·埃里克松
佩尔·阿格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN103339671A publication Critical patent/CN103339671A/zh
Application granted granted Critical
Publication of CN103339671B publication Critical patent/CN103339671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/237Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using two adaptive filters, e.g. for near end and for end echo cancelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

本申请描述了一种谐波回声功率估计器,被配置为估计用户设备中的谐波扬声器非线性产生的回声功率,所述用户设备具有扬声器输入和麦克风输出之间的回声路径。所述估计器包括:频带映射器(40),被配置为将扬声器输出信号频带集合中的每个频带(blsp)映射至扬声器输入信号频带的对应数组(b(blsp,k)),所述集合中的每个频带被映射至对应数组中的多个频带。功率估计器(42)被配置为在每个频带数组中,确定每个输入信号的功率估计
Figure DDA00003613405800011
功率估计组合器(44)被配置为将在每个频带数组中确定的功率估计
Figure DDA00003613405800012
组合为产生谐波扬声器非线性的扬声器输入功率的对应估计
Figure DDA00003613405800013
功率估计转换器(46)被配置为将扬声器输入功率的估计通过回声路径EP转换为谐波扬声器非线性产生的回声的功率估计
Figure DDA00003613405800014

Description

谐波扬声器非线性的估计和抑制
技术领域
本发明涉及通信***的用户设备中的回声消除,具体地,涉及在这种设备中产生的谐波扬声器非线性的估计和抑制。
背景技术
回声消减器是回声消除器的关键组件之一。回声消减器还使得回声消除器有别于仅仅在回声存在时衰减信号的纯回声抑制器。回声消除器的主要优点是在具有来自通信中双方的同时话音(所谓双通话)的情形下改进的性能,以及对低水平近端声音的增加的透明度,这提高了会话的自然性。
回声消减通常使用线性模型来实现,主要因为线性模型在计算上简单便于估计,还因为找到总体上有效的合适非线性模型要困难得多。由于这些原因,回声消减通常不能去除源自回声路径中的非线性的非线性回声。
回声消除器中的另一关键组件是残余回声抑制器,残余回声抑制器将回声消减器的输出中存在的任何残余回声减小至满足相关标准对回声衰减所施加的要求的水平,以及减小至残余回声在近端信号的呈现中不可察觉的水平。然而,由于在近端信号的频率成分与残余回声重叠时,残余回声抑制器执行的抑制也影响期望近端信号,因此残余回声抑制器执行的抑制应当尽可能小,因为该组件引入的(近端信号的)透明度损失与执行的抑制量直接相关。
由非线性导致的扬声器输出中的谐波泛音将被麦克风拾取为非线性回声。这些回声也需要由回声消除器去除。然而,由于回声消减器基于回声路径的线性模型,回声消减器不能减小非线性回声。因此,这些回声必须由残余回声抑制器来去除。为此,残余回声抑制器需要非线性回声的功率的估计。此外,该估计必须精确,因为否则残余回声抑制器需要执行额外抑制(针对最差情况场景的计划)以补偿非线性回声功率估计中的不确定性。然后,这将导致近端信号的回声消除器透明度降低,这是不利的。
对谐波扬声器非线性进行建模的一类方法[1-4]基于使用扬声器输入信号的功率的Volterra模型。然而,这在计算上非常复杂。此外,Volterra模型产生的谐波通常是混叠的,因此需要上/下采样方案来避免混叠影响谐波扬声器非线性的功率估计,这使得基于Volterra的方案甚至更加复杂。
发明内容
本发明的目的是对源自谐波扬声器非线性的回声功率进行计算上简单的估计。
本发明的另一目的是抑制源自谐波扬声器非线性的回声功率。
这些目的是根据所附权利要求来实现的。
根据第一方面,本发明涉及一种估计用户设备中的谐波扬声器非线性产生的回声功率的方法,所述用户设备具有扬声器输入和麦克风输出之间的回声路径。所述方法包括以下步骤:将扬声器输出信号频带集合中的每个频带映射至扬声器输入信号频带的对应数组,所述集合中的每个频带被映射至对应数组中的多个频带。在每个频带数组中,确定每个扬声器输入信号的功率估计。将在每个频带数组中确定的功率估计组合为产生谐波扬声器非线性的扬声器输入功率的对应估计。将扬声器输入功率的估计通过回声路径转换为谐波扬声器非线性产生的回声的功率估计。
根据第二方面,本发明涉及一种基于近端信号的功率估计与回声信号的功率估计之间的比率,使用频率选择性滤波器的回声抑制方法。所述方法包括以下步骤:确定来自回声消减器的残余回声信号的功率估计。根据第一方面,确定谐波扬声器非线性产生的回声的功率估计。通过将残余回声信号的功率估计与谐波扬声器非线性产生的回声的功率估计相加,形成回声信号的功率估计。
根据第三方面,本发明涉及一种谐波回声功率估计器,被配置为估计用户设备中的谐波扬声器非线性产生的回声功率,所述用户设备具有扬声器输入和麦克风输出之间的回声路径。所述谐波回声功率估计器包括以下元件:频带映射器,被配置为将扬声器输出信号频带集合中的每个频带映射至扬声器输入信号频带的对应数组,所述集合中的每个频带被映射至对应数组中的多个频带。功率估计器,被配置为在每个频带数组中,确定每个扬声器输入信号的功率估计。功率估计组合器,被配置为将在每个频带数组中确定的功率估计组合为产生谐波扬声器非线性的扬声器输入功率的对应估计。功率估计转换器,被配置为将扬声器输入功率的估计通过回声路径转换为谐波扬声器非线性产生的回声的功率估计。
根据第四方面,本发明涉及一种回声消除器,具有基于近端信号的功率估计与回声信号的功率估计之间的比率使用频率选择性滤波器的残余回声抑制器。所述回声消除器包括以下元件:功率估计器,被配置为确定来自回声消减器的残余回声信号的功率估计;根据第三方面的谐波回声功率估计器,被配置为确定谐波扬声器非线性产生的回声的功率估计;加法器,被配置为将残余回声信号的功率估计与谐波扬声器非线性产生的回声的功率估计相加。
根据第五方面,本发明涉及一种用户设备,包括根据第四方面的回声消除器。
本发明的优点在于,本发明提供了使用有限数目的参数对源自谐波扬声器非线性的回声功率进行计算上简单的估计。
本发明的另一优点在于,本发明无缝地适于残余回声抑制器中常用的频带化方案,残余回声抑制器典型地是回声消除器中使用非线性回声功率估计的组件。
附图说明
参照以下描述并结合附图,可以最好地理解本发明及其其他目的和优点,附图中:
图1是示意了传统回声消除器的总体原理的框图;
图2A-B是示意了应用于来自回声消减器的残余回声的频率选择性滤波器的典型频率响应的图;
图3是示意了谐波扬声器非线性的现象的图;
图4是示意了根据本发明的回声消除器的实施例的框图;
图5是示意了根据本发明的估计谐波扬声器非线性产生的回声的功率的方法的实施例的流程图;
图6是示意了根据本发明的谐波回声功率估计器的实施例的框图;
图7是示意了根据本发明的回声抑制方法的实施例的流程图;
图8是示意了根据本发明的用户设备的实施例的框图;
图9是示意了根据本发明的谐波回声功率估计器的实施例的框图;以及
图10是示意了根据本发明的回声消除器的实施例的框图。
具体实施方式
图1是示意了传统回声消除器的总体原理的框图。接收信号x(t)传送至扬声器10并在麦克风12处形成不期望的回声信号s(t)。该回声与期望的近端信号υ(t)一起被麦克风拾取,作为麦克风信号y(t)。在扬声器输入与麦克风输出之间形成回声路径EP。回声消减器14使用自适应模型,在回声预测器16中形成回声信号s(t)的估计
Figure BDA00003613405600041
然后,在加法器18中,通过从y(t)减去
Figure BDA00003613405600042
来减小麦克风信号y(t)中的回声。最后,残余回声抑制器20对回声消除器的输出e(t)中存在的任何残余回声
Figure BDA00003613405600043
进行抑制,从而产生回声消除器的最终输出信号eOUT(t)。
残余回声抑制器20典型地被实现为使得使用频率选择性滤波器来抑制e(t)中的残余回声。残余回声抑制器20应用的频率选择性滤波器的频率响应G(t,f)的特性依赖于υ(t)和
Figure BDA00003613405600044
的估计的频谱特性
Figure BDA00003613405600045
Figure BDA00003613405600046
典型地,如果对于特定频率f′有
Figure BDA00003613405600047
即近端信号远强于残余回声信号,则G(t,f′)将接近1(几乎无衰减)。另一方面,如果有
Figure BDA00003613405600048
即近端信号近似等于残余回声信号,则G(t,f′)将典型地被选择为较小(显著衰减)。
一般地,期望从使信号通过到显著抑制信号具有G(t,f)的平滑连续性态。这种性态将消除G(t,f)在时间上的不连续性导致的失真。典型地,这是通过使得G(t,f)与
Figure BDA00003613405600051
Figure BDA00003613405600052
之间的比率成正比来实现的:
G ( t , f ) = F ( P ^ υ ( t , f ) P ^ s ~ ( t , f ) ) - - - ( 1 )
其中F是依赖于实现的函数。图2A-B示意了函数F的示例,函数F表示残余回声抑制器20应用的频率选择性滤波器的频率响应G(t,f)。显然,从平滑性观点看,图2B所示的函数的形状是优选的。
由于除法的计算较为复杂,在许多实时回声消除器实现中,典型地在频带上执行G(t,f)的计算,以最小化计算G(t,f)所需的除法数目。如果使用统一带宽B进行频带化,则G(t,f)可以近似为:
G ( t , f ) ≈ G ( t , b ) = F ( P ^ υ ( t , b ) P ^ s ~ ( t , b ) ) , b = floor { f / B } - - - ( 2 )
因此,利用分段常数函数G(t,b)来近似G(t,f)。
典型的频带化方案将针对0-4000Hz的频率范围统一使用B=250Hz。为了简化这里的讨论,一般采用这种频带化方案,但是本发明绝不限于这种特定频带化方案。因此,B可以比给定示例更大或更小。另一可能性是使B在频率范围内变化。作为示例,与在端点附近相比,B在图2B中图的中部可以更小,以考虑该区域中的F的快速变化。
扬声器中的一种常见非线性产生扬声器输出中的谐波泛音。图3是示意了UE中的这种谐波扬声器非线性的现象的图。该图示出了在给定时间段内在从4000Hz至0Hz的频率中变化的(正弦)基频。对于这种正弦扬声器输入,扬声器输出包含在基频的2,3,4,...倍处的谐波泛音。这些泛音是以非线性方式产生的,因为扬声器输入不包含在这些频率处的任何(或非常低的)功率。图3中线的粗细示意了不同音调的功率。因此,在该示例中,第二泛音强于第一和第三泛音,但是弱于基音。
计算扬声器输出中的谐波的一种可行方法可以基于扬声器输入中的谐波。然而,基于这种方法的方案需要扬声器输入的完整频谱估计以估计非线性扬声器输出,从而使得该方法计算复杂。
再次参照图1,扬声器输出s(t)中的谐波泛音将被麦克风12拾取作为非线性回声。这些回声需要由回声消除器去除。然而,由于回声消减器14基于回声路径EP的线性模型,回声消减器不能减小非线性回声。因此这些必须由残余回声抑制器20来去除。为此,残余回声抑制器需要非线性回声的功率的估计。此外,非线性回声的功率的估计需要精确,因为否则残余回声抑制器需要执行额外抑制以补偿非线性回声功率估计中的不确定性。这将导致近端信号υ(t)的回声消除器透明度降低,这是不利的。
图4是示意了根据本发明的回声消除器的实施例的框图。回声消除器包括:残余回声抑制器50,使用频率选择性滤波器,如上述G(t,b),基于近端信号的功率估计与回声信号的功率估计之间的比率。差别在于此时除了线性回声功率估计之外,回声信号的功率估计还必须包括谐波扬声器非线性产生的回声的功率估计。因此,频率选择性滤波器G(t,b)表示为:
G ( t , b ) = F ( P ^ υ ( t , b ) P ^ s ~ , l ( t , b ) + P ^ s ~ , nl ( t , b ) ) - - - ( 3 )
其中:
Figure BDA00003613405600062
表示近端信号的功率估计,
Figure BDA00003613405600063
表示线性回声功率估计(等式(2)中表示为
Figure BDA00003613405600064
即,来自回声消减器14的残余回声信号的功率估计,以及
表示谐波扬声器非线性产生的回声的功率估计。
返回图4,因此,回声消除器还包括:谐波回声功率估计器30,被配置为确定谐波扬声器非线性产生的回声的功率估计
Figure BDA00003613405600066
自此,将丢弃功率估计的时间依赖性,以避免等式混乱。然而应记住,以下给出的等式中的功率估计依赖于时间以及频带b。
根据以上内容显而易见,本发明的重要方面是麦克风信号中由谐波扬声器非线性导致的非线性回声的功率的估计
Figure BDA00003613405600067
该估计是在谐波回声功率估计器30中以频带化方式执行的,优选地与残余回声抑制器中的频带化结构相匹配。
图5是示意了根据本发明的估计谐波扬声器非线性产生的回声的功率的方法的实施例的流程图。谐波回声功率估计器30被配置为实现该功能。
步骤S1将扬声器输出信号频带集合中的每个频带blsp映射至扬声器输入信号频带的对应数组b(blsp,k),其中所述集合中的每个频带被映射至对应数组中的多个频带。该步骤的目的是确定输入信号x(t)中的哪些频带能够实际产生扬声器输出频带blsp中的泛音。这里,k=1,2,3,...表示泛音编号。附录1中的表1给出了该映射(以及如何实现该映射)的示例。从该表中可以看到,扬声器输出频带blsp可以包括多个输入信号频带(多个k)产生的泛音。因此,典型地,该映射是“一对多”频带,对于较高频带blsp尤其如此。另一方面,对于较低频带,对应数组中的许多频带可能实际上是相同频带。
步骤S2在每个频带数组中,确定每个扬声器输入信号的功率估计
Figure BDA00003613405600071
因此,该步骤确定可以产生扬声器输出频带blsp中的泛音的频带中的每个输入信号的功率估计。
步骤S3将在每个频带数组中确定的功率估计
Figure BDA00003613405600072
组合为产生谐波扬声器非线性的扬声器输入功率的对应估计
Figure BDA00003613405600073
因此,该步骤确定产生扬声器输出频带blsp中的泛音的输入信号分量的总功率估计。
在优选实施例中,组合步骤S3可以基于以下组合:
P ^ x , nl ( b lsp ) = Σ k = 1 N O C ( b lsp , k ) . P ^ x ( b ( b lsp , k ) ) - - - ( 4 )
其中:
Figure BDA00003613405600075
表示扬声器输出信号频带blsp中的扬声器输入功率的估计,
b(blsp,k)表示映射(在附录1中进一步描述),
Figure BDA00003613405600076
表示扬声器输入信号频带b(blsp,k)中确定的功率估计,
C(blsp,k)表示预定系数(在附录2中进一步描述),
NO表示要包括在每个组合中的最大项数。
最大项数NO对应于要考虑的泛音的最大数目,例如,NO位于区间3-9中。已经发现NO=6给出合理的复杂度和存储要求,并显得足以用于展现出谐波非线性的大多数扬声器。因此,需要相对较少的系数以指定性态,同时仍保持对扬声器模型的良好控制。对于不同类型的扬声器,系数的实际值不同。典型地,根据扬声器输入和输出的频谱图估计来确定实际值,其中,输入由扫描正弦波构成。
在一个实施例中,仅对超过预定功率阈值的所确定的功率估计
Figure BDA00003613405600081
进行组合。该功率阈值表示最小电平,其下的频谱分量不产生非线性谐波。该实施例还表明进一步的复杂度降低。该阈值可以通过对不同电平的正弦波进行扫频并观察在哪个电平处停止出现非线性来找到。
在另一实施例中,和中仅包括超过另一预定阈值的项在该实施例中,将利用系数C(blsp,k)来加权的所确定的功率估计与阈值比较,这意味着和中仅保留最重要的项。
步骤S4将扬声器输入功率的估计
Figure BDA00003613405600083
通过回声路径EP转换为谐波扬声器非线性产生的回声的功率估计
Figure BDA00003613405600084
该转换可以通过将扬声器输入功率的估计乘以回声路径EP的频率响应的估计
Figure BDA00003613405600085
的幅度平方来执行,根据:
P ^ s ~ , nl ( b ) = | H ^ ( b ) | 2 P ^ x , nl ( b ) , b = 1 , . . . , N BANDS - - - ( 5 )
其中NBANDS是频带数目。在回声消除器中,
Figure BDA00003613405600087
典型地从回声消减器14的回声路径冲激响应估计器32中的自适应滤波器得到。如果
Figure BDA00003613405600088
的估计不可用,则可以根据扬声器输入和麦克风输出信号的频率特性容易地估计出来。
返回图4,在所示实施例中,谐波回声功率估计器30使用扬声器输入信号x(t)和来自回声消减器14的估计
Figure BDA00003613405600089
来产生非线性回声的功率估计
Figure BDA000036134056000810
如现在参照图6所述。
图6是实现所描述的方法的谐波回声功率估计器30的实施例的框图。
频带映射器40被配置为将扬声器输出信号频带集合中的每个频带blsp映射至扬声器输入信号频带的对应数组b(blsp,k),其中所述集合中的每个频带被映射至对应数组中的多个频带。频带映射器40可以例如实现为预定查找表,如附录1中的表1。
功率估计器42接收映射的扬声器输入信号频带b(blsp,k)和扬声器输入信号x(t),并被配置为在每个频带数组中,确定每个扬声器输入信号的功率估计
Figure BDA00003613405600091
功率估计组合器44连接至功率估计器42,并被配置为将在每个频带数组中确定的功率估计
Figure BDA00003613405600092
组合为产生谐波扬声器非线性的扬声器输入功率的对应估计例如根据等式(4)。预定系数C(blsp,k)可以存储在查找表中。
功率估计转换器46连接至功率估计组合器44,并被配置为将扬声器输入功率的估计
Figure BDA00003613405600094
通过回声路径EP转换为谐波扬声器非线性产生的回声的功率估计
Figure BDA00003613405600095
该转换可以根据等式(5)来执行。例如,可以从回声消减器14获得回声路径EP的频率响应的估计
Figure BDA00003613405600096
如图4所示。
如上所述,在一个实施例中,功率估计组合器44可以被配置为在组合(4)中仅包括超过预定功率阈值的所确定的功率估计。
在另一实施例中,功率估计组合器44可以被配置为在和(4)中仅包括超过预定阈值的项。
功率估计
Figure BDA00003613405600097
被转发至残余回声抑制器50。残余回声抑制器50包括两个功率估计器52和54。以下仅简要描述功率估计器52和54的功能,因为这些元件典型地在传统残余回声抑制器中找到。
功率估计器52接收扬声器输入信号x(t)和回声路径EP的频率响应的估计使用这些实体,其确定功率估计该估计被转发至加法器56,加法器56将其与谐波扬声器非线性所产生的回声的功率估计
Figure BDA000036134056000910
相加。
功率估计器54从回声消减器14接收信号
Figure BDA000036134056000911
并形成近端信号υ(t)的功率估计
来自功率估计器54和加法器56的输出功率估计被转发至由等式3中的函数F表示的频率选择性滤波器58,频率选择性滤波器产生输出信号eOUT(t)。
图7是示意了根据本发明的回声抑制方法的实施例的流程图。步骤S10确定来自回声消减器的残余回声信号的功率估计
Figure BDA00003613405600101
以上参照图5更详细描述的步骤S1-S4确定谐波扬声器非线性产生的回声的功率估计
Figure BDA00003613405600102
步骤S11通过将残余回声信号的功率估计
Figure BDA00003613405600103
与谐波扬声器非线性产生的回声的功率估计
Figure BDA00003613405600104
相加,形成回声信号的功率估计。
图8是示意了根据本发明的用户设备的实施例的框图。根据本发明的回声消除器60通过无线电单元62以及话音编码器/解码器64连接至天线。无线电单元执行传统上/下频率转换、放大和信道解码。话音编码器/解码器64执行传统话音编码/解码。由于元件62、64均为传统单元,不再进一步详细描述。
这里描述的步骤、功能、过程和/或模块可以使用任何传统技术以硬件实现,如离散电路或集成电路技术,包括通用电子电路和专用电路。
备选地,这里描述的至少一些步骤、功能、过程和/或模块可以以软件实现,以由合适处理设备执行,如微处理器、数字信号处理器(DSP)和/或任何合适的可编程逻辑设备,如现场可编程门阵列(FPGA)设备。
还应理解,可以重用UE的通用处理能力。例如,这可以通过对现有软件重新编程或添加新软件组件来实现。
作为实现示例,图9是示意了根据本发明的谐波回声功率估计器30的示例实施例的框图。该实施例基于处理器100,例如微处理器,处理器100执行用于频带映射的软件组件110、用于功率估计的软件组件120、用于组合功率估计的软件组件130、以及用于功率估计转换的软件组件140。这些软件组件存储在存储器150中。处理器100通过***总线与存储器通信。控制I/O总线的输入/输出(I/O)控制器160接收扬声器输入信号x(t)和回声路径EP的频率响应的估计
Figure BDA00003613405600105
处理器100和存储器150连接至I/O总线。在该实施例中,I/O控制器160接收的参数存储在存储器150中,在存储器150中软件组件处理所述参数。软件组件110可以实现上述实施例中的模块40的功能。软件组件120可以实现上述实施例中的模块42的功能。软件组件130可以实现上述实施例中的模块44的功能。软件组件140可以实现上述实施例中的模块46的功能。从软件组件140获得的功率估计
Figure BDA00003613405600111
由I/O控制器160通过I/O总线从存储器150输出。
图10是示意了根据本发明的回声消除器60的实施例的框图。除了参照图9描述的软件组件110-140之外,存储器150还包括:用于回声预测和消减的软件组件200、用于功率相加的软件组件210、以及用于回声抑制的软件组件220。软件组件200可以实现上述实施例中的模块14的功能。软件组件210可以实现上述实施例中的模块56的功能。软件组件220可以实现上述实施例中的模块58的功能。I/O控制器160在I/O总线上接收扬声器输入信号x(t)和麦克风信号y(t),来自回声消除器的输出信号eOUT(t)在I/O总线上被转发至话音编码器。
在图9和10的实施例中,其他任务(如UE中的解调、信道编码/解码和话音编码/解码)假定在UE中的其他地方处理。然而,备选方案是使得存储器150中的其他软件组件也处理这些任务中的全部或部分。
在UE是接收基于因特网协议(IP)的语音分组的计算机的情况下,IP分组典型地转发至I/O控制器160,并且由存储器150中的其他软件组件来提取扬声器输入信号x(t)。
可以使用本发明的典型UE的非限制性示例为:个人计算机(静止或笔记本)、上网本、平板PC、移动因特网设备、智能电话、功能电话。
上述软件组件中的一些或全部可以承载于计算机可读介质上,例如CD、DVD或硬盘,并加载入存储器以由处理器执行。
由于谐波扬声器非线性主要针对窄带类型扬声器输入信号出现,可以检测这些类型的信号以确定何时应当使用所描述的用于扬声器非线性的方法。为此,可以检测这几种类型的信号,如果存在这些类型中的任一种,则使用该方法,否则不使用。这些信号类型例如是谐波信号和非平稳信号。
为了检测包括可能触发非线性的多个窄带分量的谐波信号,可以使用以下倒谱激发的检测方法。计算
Figure BDA00003613405600112
的最低32箱的周期图
Figure BDA00003613405600113
以检测窄带谐波的存在:
P P ^ x ( t , k ) = Periodogram { P ^ x ( t , f ) , f = 1 , . . . , 32 }
仅使用最低32箱来进行周期图计算的原因在于谐波通常对于这些箱是最显著的,并且包括更多箱将导致较低精度的估计。
然后,将
Figure BDA00003613405600122
的平坦度估计为
Figure BDA00003613405600123
中超过
Figure BDA00003613405600124
阈值的箱的数目。如果该数目超过2,则认为信号包括谐波。
用于非平稳信号的该检测方案可以用于捕捉上述技术有时会错过的谐波信号的开端。这些的特征在于信号统计的改变,并被检测为信号中的非平稳。该检测技术将非平稳检测为与平均功率的显著偏离,并且执行如下:
Figure BDA00003613405600125
P x ( t ) = 1 N Σ k = O L - 1 x 2 ( t )
P x aυg ( t ) = 15 16 P x aυg ( t ) + 1 16 P x ( t )
本领域技术人员将理解,在不脱离本发明的范围的前提下,可以对本发明做出各种修改和改变。
附录1
由于泛音必须是基频的整数倍,特定扬声器输出频带中的泛音将源自扬声器输入频带的数组。下表1是针对每个频带基于250Hz的等距离带宽的示例映射。
表1
Figure BDA00003613405600131
作为另一示例,可以使用以下
Figure BDA00003613405600132
代码来确定具有48kHz的采样频率以及使用250Hz/频带和6个泛音的频带结构的类似映射:
f0=0:250:(24000-250);f0=f0′;
f1=249:250:(24000);f1=f1′;
M=1+[floor(f0/2/250)floor(f1/2/250)floor(f0/3/250)floor(f1/3/250)floor(f0/4/250)floor(f1/4/250),...
floor(f0/5/250)floor(f1/5/250)floor(f0/6/250)floor(f1/6/250)floor(f0/7/250)floor(f1/7/250)];
M=M(:,1:2:end);
附录2
通过谐波(相对于基频)的相对幅度(表示为{hk})和描述特定频率产生的非线性强度的增益因子γn来对扬声器中的谐波非线性进行建模。
根据扬声器输出信号,将非线性的估计频谱计算为:
P X Harmonic ( f ) = Σ n = 1 H BANDS A n . γ n . P X ( f n )
其中,向量{An}是根据泛音的扩展(附录1中描述的频率映射)由{hk}确定的。
f1,[0-250[:h1(f1)+...+hk(f1)
f2,[250-500[:h1(f1)+...+hk(f1)
f3,[500-750[:h1(f2)+h2(f1)+...+hk(f1)
f4,[750-1000[:h1(f2)+h2(f2)+h3(f1)+h4(f1)+...+hk(f1)
f5,[1000-1250[:h1(f3)+h2(f2)+h3(f2)+h4(f1)+h5(f1)+...+hk(f1)
f6,[1250-1500[:h1(f3)+h2(f2)+h3(f2)+h4(f2)+h5(f2)+h6(f1)+...+hk(f1)
f7,[1500-1750[:h1(f4)+h2(f3)+h3(f2)+h4(f2)+h5(f2)+h6(f1)+...+hk(f1)
f8,[1750-2000[:h1(f4)+h2(f3)+h3(f2)+h4(f2)+h5(f2)+h6(f2)+h7(f1)+...+hk(f1)
.
.
.
因此:
A 1 = α 1,1 . . . α 1 , N BANDS = h 1 + h 2 + . . . + h k h 1 + h 2 + . . . + h k h 2 + . . . + h k . . . , A 2 = α 2,1 . . . α 2 , N BANDS = 0 0 h 1 h 1 + h 2 h 2 + h 3 . . . , . . .
谐波的相对幅度{hk}和基频增益因子γn应根据扬声器产生的非线性来选择。
等式(4)中的系数C(blsp,k)由这些参数的积形成。
缩写
DSP    数字信号处理器
FFT    快速傅立叶变换
FPGA   现场可编程门阵列
I/O    输入/输出
IP     因特网协议
UE     用户设备
参考文献
[1]A.Stenger,R.Rabenstein,“ADAPTIVE VOLTERRA FILTERS FORNONLINEAR ACOUSTIC ECHO CANCELLATION”,
http://www.ee.bilkent.edu.tr/~signal/Nsip99/papers/146.pdf
[2]G.Budura,C.Botoca,“Nonlinearities Identification using The LMSVolterra Filter”,
http://hermes.etc.upt.ro/docs/cercetare/articole/BudBot05.pdf
[3]Hongyun Dai,Wei-Ping ZhuI,“Compensation of LoudspeakerNonlinearity in Acoustic Echo Cancellation Using Raised-CosineFunction”,EEE TRANSACTIONS ON CIRCUITS ANDSYSTEMS-II:EXPRESS BRIEFS,VOL.53,NO.11,NOVEMBER2006
[4]H.Schurer,C.H.Slump,O.E.Herrmann,“Second Order VolterraInverses for Compensation of Loudspeaker Nonlinearity”,November2009,http://doc.utwente.nl/17422/1/00482982.pdf

Claims (13)

1.一种估计用户设备中的谐波扬声器非线性产生的回声功率的方法,所述用户设备具有扬声器输入和麦克风输出之间的回声路径,所述方法包括以下步骤:
将扬声器输出信号频带集合中的每个频带(blsp)映射(S1)至扬声器输入信号频带的对应数组(b(blsp,k)),所述集合中的每个频带被映射至对应数组中的多个频带;
在每个频带数组中,确定(S2)每个输入信号的功率估计
( P ^ x ( b ( b lsp , k ) ) ) ;
将在每个频带数组中确定的功率估计
Figure FDA00003613405500012
组合(S3)为产生谐波扬声器非线性的扬声器输入功率的对应估计
将扬声器输入功率的估计
Figure FDA00003613405500014
通过回声路径EP转换(S4)为谐波扬声器非线性产生的回声的功率估计
Figure FDA00003613405500015
2.根据权利要求1所述的方法,其中,组合步骤(S3)基于以下组合:
P ^ x , nl ( b lsp ) = Σ k = 1 N O C ( b lsp , k ) . P ^ x ( b ( b lsp , k ) )
其中:
表示扬声器输出信号频带blsp中的扬声器输入功率的估计,
b(blsp,k)表示所述映射,
表示扬声器输入信号频带b(blsp,k)中确定的功率估计,
C(blsp,k)表示预定系数,
NO表示要包括在每个组合中的最大项数。
3.根据权利要求1或2所述的方法,其中,仅对超过预定功率阈值的所确定的功率估计进行组合。
4.根据权利要求2所述的方法,其中,和中仅包括超过预定阈值的项。
5.根据权利要求1、2、3或4所述的方法,其中,转换步骤(S4)将扬声器输入功率的估计乘以回声路径EP的频率响应的估计
Figure FDA00003613405500021
的幅度平方。
6.一种基于近端信号的功率估计与回声信号的功率估计之间的比率,使用频率选择性滤波器的回声抑制方法,包括以下步骤:
确定(S10)来自回声消减器(14)的残余回声信号的功率估计
( P ^ s ~ , l ( b ) ) ;
根据权利要求1-5中任一项,确定(S1-S4)谐波扬声器非线性产生的回声的功率估计
Figure FDA00003613405500023
通过将残余回声信号的功率估计
Figure FDA00003613405500024
与谐波扬声器非线性产生的回声的功率估计
Figure FDA00003613405500025
相加,形成(S11)回声信号的功率估计。
7.一种谐波回声功率估计器,被配置为估计用户设备中的谐波扬声器非线性产生的回声功率,所述用户设备具有扬声器输入和麦克风输出之间的回声路径,所述谐波回声功率估计器包括:
频带映射器(40),被配置为将扬声器输出信号频带集合中的每个频带(blsp)映射至扬声器输入信号频带的对应数组(b(blsp,k)),所述集合中的每个频带被映射至对应数组中的多个频带;
功率估计器(42),被配置为在每个频带数组中,确定每个扬声器输入信号的功率估计 ( P ^ x ( b ( b lsp , k ) ) ) ;
功率估计组合器(44),被配置为将在每个频带数组中确定的功率估计
Figure FDA00003613405500027
组合为产生谐波扬声器非线性的扬声器输入功率的对应估计 ( P ^ x , nl ( b lsp ) ) ;
功率估计转换器(46),被配置为将扬声器输入功率的估计通过回声路径EP转换为谐波扬声器非线性产生的回声的功率估计
Figure FDA00003613405500031
8.根据权利要求7所述的谐波回声功率估计器,其中,功率估计组合器(44)被配置为基于以下来产生组合:
P ^ x , nl ( b lsp ) = Σ k = 1 N O C ( b lsp , k ) . P ^ x ( b ( b lsp , k ) )
其中:
表示扬声器输出信号频带blsp中的扬声器输入功率的估计,
b(blsp,k)表示所述映射,
Figure FDA00003613405500034
表示扬声器输入信号频带b(blsp,k)中确定的功率估计,
C(blsp,k)表示预定系数,
NO表示要包括在组合中的最大项数。
9.根据权利要求7或8所述的谐波回声功率估计器,其中,功率估计组合器(44)被配置为仅将超过预定功率阈值的所确定的功率估计包括在所述组合中。
10.根据权利要求8所述的谐波回声功率估计器,其中,功率估计组合器(44)被配置为仅将超过预定阈值的项包括在和中。
11.根据权利要求7、8、9或10所述的方法,其中,功率估计转换器(46)被配置为将扬声器输入功率的估计乘以回声路径EP的频率响应的估计
Figure FDA00003613405500035
的幅度平方。
12.一种回声消除器,具有基于近端信号的功率估计与回声信号的功率估计之间的比率使用频率选择性滤波器的残余回声抑制器,所述回声消除器包括:
功率估计器(52),被配置为确定来自回声消减器的残余回声信号的功率估计
根据权利要求7-11中任一项所述的谐波回声功率估计器(30),被配置为确定谐波扬声器非线性产生的回声的功率估计
Figure FDA00003613405500037
加法器(56),被配置为将残余回声信号的功率估计
Figure FDA00003613405500038
与谐波扬声器非线性产生的回声的功率估计
Figure FDA00003613405500041
相加。
13.一种用户设备,包括根据权利要求12所述的回声消除器(60)。
CN201180066775.3A 2011-02-03 2011-02-03 谐波扬声器非线性的估计和抑制 Active CN103339671B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2011/050119 WO2012105880A1 (en) 2011-02-03 2011-02-03 Estimation and suppression of harmonic loudspeaker nonlinearities

Publications (2)

Publication Number Publication Date
CN103339671A true CN103339671A (zh) 2013-10-02
CN103339671B CN103339671B (zh) 2016-05-04

Family

ID=46602963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180066775.3A Active CN103339671B (zh) 2011-02-03 2011-02-03 谐波扬声器非线性的估计和抑制

Country Status (7)

Country Link
US (1) US9420390B2 (zh)
EP (1) EP2671223B1 (zh)
CN (1) CN103339671B (zh)
BR (1) BR112013016222B1 (zh)
ES (1) ES2558559T3 (zh)
WO (1) WO2012105880A1 (zh)
ZA (1) ZA201304705B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705799A (zh) * 2017-11-24 2018-02-16 深圳狗尾草智能科技有限公司 聊天机器人回声消除方法及装置
CN107958671A (zh) * 2017-11-22 2018-04-24 广州市六体智能科技有限公司 一种执法记录仪的回声消除装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9065895B2 (en) 2012-02-22 2015-06-23 Broadcom Corporation Non-linear echo cancellation
GB2512022A (en) 2012-12-21 2014-09-24 Microsoft Corp Echo suppression
GB2509493A (en) 2012-12-21 2014-07-09 Microsoft Corp Suppressing Echo in a received audio signal by estimating the echo power in the received audio signal based on an FIR filter estimate
GB2510331A (en) 2012-12-21 2014-08-06 Microsoft Corp Echo suppression in an audio signal
US20150003606A1 (en) * 2013-06-28 2015-01-01 Broadcom Corporation Detecting and quantifying non-linear characteristics of audio signals
GB201321052D0 (en) * 2013-11-29 2014-01-15 Microsoft Corp Detecting nonlinear amplitude processing
US9800734B2 (en) * 2013-12-12 2017-10-24 Koninklijke Philips N.V. Echo cancellation
US20170024495A1 (en) * 2015-07-21 2017-01-26 Positive Grid LLC Method of modeling characteristics of a musical instrument
JP6537997B2 (ja) * 2016-04-12 2019-07-03 日本電信電話株式会社 エコー抑圧装置、その方法、プログラム、及び記録媒体
US10129408B1 (en) * 2016-10-11 2018-11-13 Google Llc Residual echo detection based on non-causality
US9928847B1 (en) * 2017-08-04 2018-03-27 Revolabs, Inc. System and method for acoustic echo cancellation
DE102018129525A1 (de) * 2018-11-23 2020-05-28 Harman Becker Automotive Systems Gmbh Nichtlineare akustische echokompensation
US10964305B2 (en) * 2019-05-20 2021-03-30 Bose Corporation Mitigating impact of double talk for residual echo suppressors
US20230138637A1 (en) 2020-03-23 2023-05-04 Dolby Laboratories Licensing Corporation Echo residual suppression
US20230300524A1 (en) * 2022-03-21 2023-09-21 Qualcomm Incorporated Adaptively adjusting an input current limit for a boost converter

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842516B1 (en) * 1998-07-13 2005-01-11 Telefonaktiebolaget Lm Ericsson (Publ) Digital adaptive filter and acoustic echo canceller using the same
EP1672803A2 (en) * 2004-12-14 2006-06-21 Harman Becker Automotive Systems-Wavemakers, Inc. System for limiting receive audio
WO2007021722A2 (en) * 2005-08-10 2007-02-22 Clarity Technologies, Inc. Method and system for clear signal capture
WO2009095161A1 (en) * 2008-01-31 2009-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for computing filter coefficients for echo suppression
US20090310796A1 (en) * 2006-10-26 2009-12-17 Parrot method of reducing residual acoustic echo after echo suppression in a "hands-free" device
US20100017205A1 (en) * 2008-07-18 2010-01-21 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced intelligibility
CN101778183A (zh) * 2009-01-13 2010-07-14 华为终端有限公司 一种残留回声抑制方法及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4629829A (en) 1984-12-14 1986-12-16 Motorola, Inc. Full duplex speakerphone for radio and landline telephones
KR20040030817A (ko) * 2001-07-20 2004-04-09 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 통신 시스템, 에코 제거 수단 및 에코 제거 방법
JP3753996B2 (ja) 2002-03-20 2006-03-08 日本電信電話株式会社 反響抑圧装置、反響抑圧方法及びプログラム
US20060188089A1 (en) * 2005-02-18 2006-08-24 Diethorn Eric J Reduction in acoustic coupling in communication systems and appliances using multiple microphones
WO2007049644A1 (ja) * 2005-10-26 2007-05-03 Nec Corporation エコー抑圧方法及び装置
GB2448201A (en) * 2007-04-04 2008-10-08 Zarlink Semiconductor Inc Cancelling non-linear echo during full duplex communication in a hands free communication system.
US8213598B2 (en) * 2008-02-26 2012-07-03 Microsoft Corporation Harmonic distortion residual echo suppression
US8634569B2 (en) * 2010-01-08 2014-01-21 Conexant Systems, Inc. Systems and methods for echo cancellation and echo suppression

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842516B1 (en) * 1998-07-13 2005-01-11 Telefonaktiebolaget Lm Ericsson (Publ) Digital adaptive filter and acoustic echo canceller using the same
EP1672803A2 (en) * 2004-12-14 2006-06-21 Harman Becker Automotive Systems-Wavemakers, Inc. System for limiting receive audio
WO2007021722A2 (en) * 2005-08-10 2007-02-22 Clarity Technologies, Inc. Method and system for clear signal capture
US20090310796A1 (en) * 2006-10-26 2009-12-17 Parrot method of reducing residual acoustic echo after echo suppression in a "hands-free" device
WO2009095161A1 (en) * 2008-01-31 2009-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for computing filter coefficients for echo suppression
US20100017205A1 (en) * 2008-07-18 2010-01-21 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced intelligibility
CN101778183A (zh) * 2009-01-13 2010-07-14 华为终端有限公司 一种残留回声抑制方法及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958671A (zh) * 2017-11-22 2018-04-24 广州市六体智能科技有限公司 一种执法记录仪的回声消除装置
CN107705799A (zh) * 2017-11-24 2018-02-16 深圳狗尾草智能科技有限公司 聊天机器人回声消除方法及装置
CN107705799B (zh) * 2017-11-24 2020-12-11 苏州狗尾草智能科技有限公司 聊天机器人回声消除方法及装置

Also Published As

Publication number Publication date
US20130287216A1 (en) 2013-10-31
EP2671223A1 (en) 2013-12-11
WO2012105880A1 (en) 2012-08-09
EP2671223A4 (en) 2014-07-23
ES2558559T3 (es) 2016-02-05
ZA201304705B (en) 2014-09-25
BR112013016222A2 (pt) 2018-05-15
CN103339671B (zh) 2016-05-04
BR112013016222B1 (pt) 2020-12-15
US9420390B2 (en) 2016-08-16
EP2671223B1 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
CN103339671A (zh) 谐波扬声器非线性的估计和抑制
CN107211063B (zh) 非线性回波路径检测
KR102170172B1 (ko) 에코 억제
US8675883B2 (en) Apparatus and associated methodology for suppressing an acoustic echo
US9443528B2 (en) Method and device for eliminating echoes
US8023641B2 (en) Spectral domain, non-linear echo cancellation method in a hands-free device
US10477031B2 (en) System and method for suppression of non-linear acoustic echoes
EP3080975B1 (en) Echo cancellation
US20150003606A1 (en) Detecting and quantifying non-linear characteristics of audio signals
KR20040030817A (ko) 통신 시스템, 에코 제거 수단 및 에코 제거 방법
JP6422885B2 (ja) エコー抑圧
KR102190833B1 (ko) 에코 억제
JP2016503262A (ja) エコー抑圧
CN106297816B (zh) 一种回声消除的非线性处理方法和装置及电子设备
EP2663979B1 (en) Processing audio signals
JP4403776B2 (ja) エコーキャンセラ
JP2010118793A (ja) 伝搬遅延時間推定器、プログラム及び方法、並びにエコーキャンセラ
KR20220157475A (ko) 반향 잔류 억제
EP2223522B1 (en) Non linear acoustic feedback suppression in a telephone device
JP5161838B2 (ja) エコーキャンセラおよび音響エコー消去方法
JP2007259202A (ja) エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP5049256B2 (ja) エコーキャンセラおよびエコー消去方法
JPH11150491A (ja) 回線レベル制御装置及びこれを有するエコーキャンセル装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant