CN101826892B - 回声消除器 - Google Patents
回声消除器 Download PDFInfo
- Publication number
- CN101826892B CN101826892B CN200910261524.5A CN200910261524A CN101826892B CN 101826892 B CN101826892 B CN 101826892B CN 200910261524 A CN200910261524 A CN 200910261524A CN 101826892 B CN101826892 B CN 101826892B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- signal
- echo
- frequency
- fourier transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供一种即使在回声路径急剧变化、回声信号延迟改变的情况下,也不用特别增大装置规模,可迅速追随并消除回声的回声消除器。本发明的回声消除器是具有包含自适应滤波器的模拟回声生成单元的回声消除器,其特征在于,该回声消除器具有:初始延迟估计单元,其形成包含由频率掩蔽效果掩蔽的特定频率分量的参照信号并将其输出到回声路径,然后根据送话信号检测来自参照信号的特定频率分量的回声分量,根据包含特定频率分量的参照信号的形成定时、和送话信号中的特定频率分量的回声分量的检测定时来求出回声路径的初始延迟量;以及延迟赋予单元,其将来自初始延迟估计单元的回声路径的初始延迟量赋予给受话信号并提供给模拟回声生成单元。
Description
技术领域
本发明涉及回声消除器,例如可应用于搭载在个人计算机上的回声消除器。
背景技术
近年,利用例如互联网那样的IP网络来进行声音信号通信的使用VoIP的IP电话得到普及。作为其一例,还利用在个人计算机(PC)上进行动作的被称为软件电话(softphone)的IP电话。在该软件电话中,使用内置于PC中的声音器件(包含A/D转换器和D/A转换器等)来进行声音的输入输出。
参照图2来说明以往的使用声音器件的回声消除器的处理。
在图2中,来自未图示的远端通话者的声音数据经由互联网100被输入到网络终端装置115(例如PC等)内的线路接口114。
然后,声音数据由解码器101解码成声音波形信号(以下称为声音信号)。声音信号被输入到声音输出驱动器102,声音输出驱动器102的输出信号被输入到配备在网络终端装置115内的声卡103的中断缓冲用存储缓存器104。
中断缓冲用存储缓存器104从过去存储的声音信号起依次输出到数字-模拟转换器(以下称为D/A)105,D/A 105将信号转换成模拟信号,并通过扬声器端子116输出到扬声器106和模拟-数字转换器(以下称为A/D)108。
由扬声器106放射的声音信号绕入麦克风107,被输入到A/D 108。输入到A/D 108的信号中的从D/A 105直接输入的信号经由中断缓冲用蓄积缓存器109而作为信号r(k)被输入到声音输入驱动器110内的自适应滤波器111。
另一方面,经由扬声器106输入到A/D 108的信号再经由中断缓冲用存储缓存器109被输入到加法器112。在自适应滤波器111中,将信号r(k)和信号f(k)作为输入来生成抵消信号(模拟回声信号)s(k)。关于该信号s(k)的生成,使用了使信号f(k)最小的自适应算法,例如公知的NLMS算法等,然而只要是使f(k)最小的自适应算法,就能应用各种方法。
在加法器112中,使从扬声器106输入的信号(即,回声信号)与模拟回声信号s(k)抵消,将由此获得的信号f(k)输出到自适应滤波器111和编码器113。并且,在编码器113中,为了将声音信号输出到互联网100,对声音数据进行分组整形并转换,通过线路接口114输出到互联网100。
另外,在网络终端装置115是例如PC等那样除了通信处理以外还执行各种处理的装置的情况下,对回声消除器来说发生不利情况。
这是因为:在例如PC那样的通用装置中,除了通信那样的需要实时性的处理以外,还执行各种应用程序,由于使用了计算资源(例如PCU和存储器等的资源),因而会使声音输出驱动器102和声音输入驱动器110暂时等待处理。
通常,声音处理的等待直接引起声音信号的切断。因此,在现有技术中将声音数据预先存储在中断缓冲用存储缓存器104和109内,即使发生声音处理的等待,但在该期间也将已存储在中断缓冲用存储缓存器104和109内的声音信号输出到D/A 105或A/D 108,可防止声音中断。另外,在不存在要存储到该中断缓冲用存储缓存器104和109内的数据的情况下,不能进行声音数据的输出。
并且,反之声音输出驱动器102和声音输入驱动器109进行动作时,有时由于某种原因而等待中断缓冲用存储缓存器104和109的输出。在该情况下,数据流入到中断缓冲用存储缓存器104和109,然而由于不能进行数据输出,因而导致存储数据累积而使存储量饱和。当在该饱和中输入到中断缓冲用存储缓存器104和109时,该数据不能存储而废弃。
这样的中断缓冲用存储缓存器104和109的数据耗尽或饱和,两者对声音信号来说都表现为声音中断的现象。
而且,这样的声音信号中断、以及中断缓冲用存储缓存器104和109的存储量变动对使用自适应滤波器111的回声消除来说还引起性能退化。其原因如下所述。
通常,用于消除回声的自适应滤波器111(回声消除器)安装成,将解码器101的输出和声音输入驱动器109的输出分别作为自适应滤波器111的输入而进行动作。
因此,对于信号路径,即从声音输出驱动器102开始经由中断缓冲用存储缓存器104、扬声器106和麦克风107到达中断缓冲用存储缓存器109和声音输入驱动器110的路径,2个中断缓冲用存储缓存器104和109的存储量变化(延迟变化)和声音中断(缓存器的耗尽或饱和)成为回声路径的时间变动的要因。
如公知那样,当回声路径是时间不变的前提成立时,自适应滤波器111发挥效果,因而当回声路径有时间变动时,性能大幅退化。
在图2中,现有的回声消除器将D/A 105的输出直接作为信号输入到A/D 108,将来自A/D 108的输出经由中断缓冲用存储缓存器109输入到自适应滤波器111。即,将在中断缓冲用存储缓存器109中受到中断(耗尽)、饱和影响后的信号作为自适应滤波器的参照输入信号r(k)来输入。
并且另一方面,将在中断缓冲用存储缓存器109中反映了中断(耗尽)、饱和影响的回声信号输入到加法器112。
这样,在自适应滤波器111的输入中还受到中断缓冲用存储缓存器109的影响,从而表面上看来可抵消收发的2个路径上的中断缓冲用存储缓存器109的影响,对自适应滤波器111来说,通过消除回声路径的时间变动,从而防止了回声消除能力的退化。
【现有技术文献】
【专利文献】
【专利文献1】日本特开2004-40589号公报
【专利文献2】日本特开2007-189543号公报
【专利文献3】日本特开2000-295461号公报
【非专利文献】
【非专利文献1】小野測器,技術レポ一ト「音質評価とは:5ラウド礻ス計算の基となる考え方」,2009年1月31日检索,http://www.onosokki.co.jp/HP-WK/c_support/newsreport/soundquality/soundquality_2.htm
然而,在图2所示的现有技术中,为了消除回声,有必要从扬声器106连接到麦克风107,有必要使用专用的声卡103。因此,作为装置来说很有可能变得昂价。
并且,在不使用专用声卡也没关系的情况下,有必要使用电线将进行立体声动作的一个信道的扬声器106用输出和另一个信道的麦克风端子连接。因此,具有不能使用本来的立体声的缺点。而且,还有必要变更成从麦克风侧的信号对回声消除器的参照信号进行采样,若由用户执行该动作,这无论是在硬件上还是在软件上都是非常困难的。
这些不利情况起因于回声路径的急剧变化。因此,本申请发明人在专利文献2中提出了这样的技术:使用粗略的参照输入信号和回声信号的特性、即参照输入信号的功率包络和回声信号的包络,在包络之间驱动自适应滤波器,自适应地估计初始延迟,配置回声消除器的抽头,追随于初始延迟的时间变动。
然而,由于使用包络特性,因而会发生这样的情况:由于还没确保在声音信号中包络表征声音波形状况之前的区间数据,因而不能精度良好地计算相关关系。
这是因为,为了计算本来缓慢变动的声音包络而产生不可避免的时间延迟,因而在回声路径上没有征兆地以相当大的频率发生上述的PC等的缓存器那样的跳跃性延迟变化的情况下,赶不上基于包络相关的追随性能,有时不能消除回声。
发明内容
鉴于上述问题,本发明的目的是提供一种回声消除器,其可使用通用声卡,不用进行特别的硬件改造,即使回声延迟根据中断缓冲用存储缓存器的状态而改变,也能迅速追随并消除回声。
根据本发明的回声消除器,由包含自适应滤波器的模拟回声生成单元根据受话信号生成模拟回声信号,回声消除单元从送话信号中减去模拟回声信号,由此从送话信号中消除回声信号,该回声消除器的特征在于,该回声消除器具有:(1)初始延迟估计单元,其形成包含由频率掩蔽效果掩蔽的特定频率分量的参照信号并将该参照信号输出到回声路径,然后根据送话信号检测来自参照信号的特定频率分量的回声分量,根据包含特定频率分量的参照信号的形成定时、和送话信号中的特定频率分量的回声分量的检测定时来求出回声路径的初始延迟量;以及(2)延迟赋予单元,其将来自初始延迟估计单元的回声路径的初始延迟量赋予给受话信号再提供给模拟回声生成单元。
根据本发明,即使在回声路径急剧变化、回声信号延迟改变的情况下,也不用特别增大装置规模,可迅速追随并消除回声。
附图说明
图1是示出第1实施方式的回声消除器和周边结构的结构图。
图2是示出现有的回声消除器的结构的结构图。
图3是示出第1实施方式的初始延迟估计部的内部结构的内部结构图。
图4是说明回声路径的脉冲响应状况的说明图。
图5是说明延迟量判定部估计的延迟量的说明图。
图6是示出第2实施方式的回声消除器和周边结构的结构图。
图7是示出第2实施方式的延迟和自适应滤波器长度估计部的内部结构的内部结构图。
图8是说明延迟和自适应滤波器长度估计部估计的抽头长度的说明图。
图9是示出第3实施方式的回声消除器和周边结构的结构图。
图10是示出第3实施方式的参数估计部的内部结构的内部结构图。
符号说明
1:回声消除器;2:延迟赋予部;3、21:ADF;4:初始延迟估计部;5:声音输出驱动器;6:接收数据中断缓冲用存储缓存器;7:数字/模拟转换器(D/A);8:声卡;9:扬声器输出端子;10:扬声器;11:麦克风;12:麦克风端子;13:模拟/数字转换器(A/D);14:发送数据中断缓冲用存储缓存器;15:声音输入驱动器;16:回声抵消加法器;20:延迟和自适应滤波器长度估计部;30:参数估计部;17:特定频率断续部;170:接收侧时间/频率转换部;171:数据保持部;172:接收侧单分量数字傅立叶变换(DFT)部;173:特定频率分量保持部;174:接收侧频率/时间变换部;175:接收侧单分量逆数字傅立叶变换(逆DFT)部;176:逆DFT归一化部;177:开关;178:纯分量消除加法器;18:发送侧特定频率波形再现部;180:发送侧时间/频率变换部;181:发送侧单分量数字傅立叶变换(DFT)部;182:特定频率分量保持部;183:发送侧单分量逆数字傅立叶变换(逆DFT)部;184:发送侧频率/时间变换部;19:声音检测部(VAD);1a:定时控制部;1b:延迟量判定部;22:延迟量和抽头长度判定部;33:频率决定部。
具体实施方式
(A)第1实施方式
以下,参照附图说明本发明的回声消除器的实施方式。
第1实施方式列举将本发明应用于在例如PC上的软件电话(Softphone)(例如免提通话装置)中设有自适应滤波器来抵消回声的回声消除器的实施方式来进行说明。
(A-1)第1实施方式的结构
(A-1-1)整体结构
第1实施方式的回声消除器例如可以构建为专用板,并且可以通过向DSP(数字信号处理器)写入回声消除程序来实现,还可以由CPU和CPU执行的软件来实现,在功能上可如图1所示。
图1是示出第1实施方式的回声消除器及其周边结构的结构图。
在图1中,回声消除器1经由声音输出驱动器5及声音输入驱动器15与声卡8连接。在图1中,右侧是近端通话者(即利用者)侧,左侧是与未图示的网络(例如互联网等)连接的远端通话者侧。
回声消除器1至少具有:延迟赋予部2,自适应滤波器(ADF)3,初始延迟估计部4,以及回声抵消加法器16。
另外,从接收侧输入端子Rin(以下称为Rin)输入由未图示的解码器所解码的数字声音信号,并从发送侧输出端子Sout(以下称为Sout)将由未图示的编码器所编码的分组通过网络送出到远端通话者。
并且,声卡8至少具有:接收数据中断缓冲用存储缓存器6,数字-模拟转换器(D/A)7,与扬声器10连接的扬声器输出端子9,与麦克风11连接的麦克风端子12,模拟-数字转换器(A/D)13,以及发送数据中断缓冲用存储缓存器14。
初始延迟估计部4从Rin输入接收输入信号x(n),并从发送侧输入端子Sin(以下称为Sin)输入回声信号y1(n),根据这些信号估计回声路径的初始延迟并提供给延迟赋予部2,其详细结构在后面叙述。
这里,回声路径的初始延迟是指,从接收输出端子Rout(以下称为Rout)经由声音输出驱动器5、接收数据中断缓冲用存储缓存器6、D/A 7、扬声器输出端子9、扬声器10、麦克风11、麦克风端子12、A/D 13、发送数据中断缓冲用存储缓存器14以及声音输入驱动器15输入到回声抵消加法器16的路径延迟。
延迟赋予部2根据由初始延迟估计部4所估计的延迟量,对来自Rin的信号x(n)赋予延迟后提供给自适应滤波器3。
自适应滤波器(ADF)3输入由延迟赋予部2赋予了延迟的信号x(n)和从回声抵消加法器16输出的残差信号e(n),逐次生成模拟回声信号y’(n)以使e(n)的功率最小,并将该模拟回声信号y’(n)输出到抵消加法器16。
抵消加法器16在从Sin所输入的发送输入信号y1(n)中减去模拟回声信号y’(n),输出除出了回声分量的残差信号e(n)。
声音输出驱动器5将来自Rout的发送输出信号输出到接收数据中断缓冲用存储缓存器6,并控制接收数据中断缓冲用存储缓存器6的存储量。
接收数据中断缓冲用存储缓存器6接受声音输出驱动器5的控制,将存储了预定存储量的数据从以前的数据起依次输出到D/A 7。
D/A 7将来自接收数据中断缓冲用存储缓存器6的数字数据转换成模拟信号,经由扬声器输出端子9输出到扬声器10。
A/D 13经由麦克风端子12输入麦克风所捕捉的声音信号,将模拟信号转换成数字信号并输出到发送数据中断缓冲用存储缓存器14。
发送数据中断缓冲用存储缓存器14接受声音输入驱动器15的控制,将存储了预定存储量的数据从以前的数据起依次输出到声音输入驱动器15。
声音输入驱动器15将来自发送数据中断缓冲用存储缓存器14的信号输出到Sin,并控制发送数据中断缓冲用存储缓存器14的存储量。
(A-1-2)初始延迟估计部4的内部结构
接下来,说明初始延迟估计部4的详细内部结构。图3是示出初始延迟估计部4的内部结构的内部结构图。
在图3中,第1实施方式的初始延迟估计部4至少具有:声音检测器(VAD)19,特定频率断续部17,定时控制部1a,延迟判定部1b,以及发送侧特定频率波形再现部18。
并且,特定频率断续部17至少具有:接收侧时间/频率变换部170,数据保持部171,接收侧单分量数字傅立叶变换部(以下称为DFT部)172,接收侧特定频率分量保持部173,接收侧频率/时间变换部174,接收侧单分量逆数字傅立叶变换部(逆DFT部)175,逆DFT归一化部176,开关177,以及纯分量消除加法器178。
而且,发送侧特定频率波形再现部18至少具有:发送侧时间/频率转换部180,发送侧单分量数字傅立叶变换部(以下称为DFT部)181,发送侧特定频率分量保持部182,发送侧频率/时间变换部184,以及发送侧单分量逆数字傅立叶变换部(以下称为逆DFT部)183。
如上所述,第1实施方式的初始延迟估计部4求出回声路径的初始延迟,以下说明求出该回声路径的初始延迟的基本概念。
初始延迟估计部4如后所述,鉴于人的听觉特性中的频率掩蔽效果来求出回声路径的初始延迟。
所说的该频率掩蔽效果,简要地说是指这样的效果:在人的听觉中,强频率分量附近的频率分量被掩蔽,听不到所掩蔽的频率分量。另外,关于频率掩蔽效果,详情请见例如非专利文献1。
该频率掩蔽效果还存在很有意思的性质。这是指,如上所述当有某种特别强的频率分量时,以该分量为起点,在高频率分量侧容易发挥掩蔽效果。
这是说,在频率分量不平坦、且有强弱的信号中,其强分量附近的频率稍高的频率分量以听觉感觉上好象没有的方式进行动作。
因此,在第1实施方式的初始延迟估计部4中,鉴于这样的频率掩蔽效果,特定频率断续部17选择单独(tone,音调)频率,该单独频率是从声音信号中的人的声音的第1峰值即1kHz附近与第2峰值即2kHz附近之间所选择的,并且特定频率断续部17利用由于频率掩蔽效果而使人不能检测的该频率分量信号(该信号也称为延迟估计参照信号)。
特定频率断续部17将使通常的可听频率信号(即,可听带的特定频率分量)断续地消失后的信号用作参照信号x_ref(n),输出到Rout。这样,由于将可听带区域的特定的1种频率分量用于初始延迟的估计,因而不需要特别的硬件连接和改造。
另外,作为特定频率分量的延迟估计参照信号从扬声器10被放出,经由声耦合的回声路径进入麦克风11。其结果,与该延迟估计参照信号相当的特定频率分量包含在y1(n)中被输入到Sin。
发送侧特定频率波形再现部18输入来自Sin的回声信号y1(n),再现该回声信号y1(n)内能包含的特定频率,将其提供给延迟量判定部1b。
延迟量判定部1b求出上述的延迟估计参照信号x_ref(n)的信号电平的急降点的时刻txoff,然后检测与回声信号中包含的延迟估计参照信号相当的特定频率分量的信号电平,求出该电平上升检测点的时刻tyton,根据该时刻txoff与时刻tyton的差值求出回声路径的初始延迟量Tid’,将其输出到延迟赋予部2。通过这样,延迟赋予部2对ADF 3的延迟估计参照信号自身补偿初始延迟量Tid’,使ADF 3不会受到初始延迟量变动的干扰。
并且,第1实施方式的初始延迟估计部4在特定频率断续部17内具有纯分量消除加法器178。
该纯分量消除加法器178将以单一频率在数字傅立叶变换或逆数字傅立叶变换中产生的特定频率分量(例如第i频率分量)与声音信号反转相加,仅从声音信号中消除特定频率分量。
通常,为了消除或提取这样的单一频率,需要例如具有庞大阶数的数字带阻FIR滤波器或IIR滤波器。
然而,在第1实施方式中,由于纯分量消除加法器178从声音信号中消除单一频率分量,因而不用配备以往那样的高阶的频带处理滤波器等,只通过简单的复三角函数的乘法运算和时间波形的减法运算,就能理想地消除或提取单独的频率分量,并且,不仅频率选择性能优良,而且运算成本也可比现有技术大幅减少。
(A-2)第1实施方式的动作
下面,参照附图说明第1实施方式的回声消除器中的处理。
首先,从Rin输入的信号x(n)被输入到回声消除器1。并且,从Rout输出的信号经由声音输出驱动器5被提供给接收数据中断缓冲用存储缓存器6。
此时,当通用装置(例如PC等)处于执行优先级比声音处理高的程序的状态时,声音输出驱动器5处于等待状态,不对接收数据中断缓冲用存储缓存器6进行数据x(n)的输出。
其间,预先存储在接收数据中断缓冲用存储缓存器6内的数据被输出到D/A 7。因此,即使没有来自声音输出驱动器5的输出,也对扬声器10输出声音数据,以便表面上看来不欠缺声音。另外,在接收数据中断缓冲用存储缓存器6完全耗尽的情况下,不存在声音数据。
不过,只要恢复声音输出驱动器5的等待状态,声音信号x(n)尽管受到大的延迟,也很快就从扬声器10被输出。也就是说,就现象而言为“声音延迟”或“声音间隔”。
另一方面,当由于某种情况而要等待D/A 7的转换输出时,反之接收数据中断缓冲用存储缓存器6的存储容量不足,当达到饱和状态时,来自声音输出驱动器5的输出数据不能存储而被废弃,已经不会从扬声器10被输出。即成为“声音欠缺”。
如上述那样,在接收数据中断缓冲用存储缓存器6中,进行数据的存储和输出,以便尽量不中断数据的声音信号。即,接收数据中断缓冲用存储缓存器6按照与来自声音输出驱动器5的控制信号对应的存储量进行暂时存储,之后从以前的数据起依次将声音信号输出到D/A 7。
D/A 7将数字声音信号转换成模拟信号,经由扬声器输出端子9输出到扬声器10。扬声器10将声音信号放出到空间。
从扬声器10放射到空间的声音信号的一部分成为回声信号y而漏入麦克风11。输入到麦克风11的信号经由麦克风端子12被输入到A/D 13,被转换成数字信号y(n)。
转换成数字信号的信号y(n)被输出到发送数据中断缓冲用存储缓存器14。发送数据中断缓冲用存储缓存器14进行数据存储,以便不会中断数据的声音信号。
这里,在麦克风11侧有时也发生与在扬声器10侧所说明的相同的状态,先说明麦克风11侧的动作。
当通用装置(例如PC等)要执行优先级比声音处理高的程序时,A/D 13不能对发送数据中断缓冲用存储缓存器14输出数据而是等待。
其间,预先存储在发送数据中断缓冲用存储缓存器14内的数据被输出到声音输入驱动器15,即使没有来自A/D 13的输出,也对声音输入驱动器15输出声音数据,以便表面上看来不欠缺声音。另外,在发送数据中断缓冲用存储缓存器14完全耗尽的情况下,不存在声音数据。
不过,只要恢复声音输入驱动器15的等待状态,声音尽管受到大的延迟,也很快就从声音输入驱动器15被输出。也就是说,就现象而言成为要发送的声音的“声音延迟”或“声音间隔”。
另一方面,当由于某种情况而使声音输入驱动器15等待时,发送数据中断缓冲用存储缓存器14不能向声音输入驱动器15输出数据,因而反之发送数据中断缓冲用存储缓存器14的存储容量不足,当达到饱和状态时,来自A/D 13的输出数据不被存储而被废弃,已经不会被输出到声音输入驱动器15。即为“声音欠缺”。
发送数据中断缓冲用存储缓存器14和接收数据中断缓冲用存储缓存器6的存储量预先由网络终端设计者适当设定,以便尽量不发生这样的声音欠缺和声音延迟。
如上述那样,发送数据中断缓冲用存储缓存器14在为了没有声音欠缺而存储了与来自声音输入驱动器15的控制信号对应的存储量之后,从以前的数据起依次将声音数据输出到声音输入驱动器15。
声音输入驱动器15将回声信号y1(n)输出到Sin。Sin将信号输出到回声抵消加法器16。在回声抵消加法器16中,将自适应滤波器3的输出y’(n)和y1(n)抵消。这里,将k设定为数据顺序,回声抵消加法器16将y’(k)和y1(k)抵消。
回声抵消加法器16的输出e(n)被输出到自适应滤波器3。自适应滤波器3将信号x(n)和残差信号e(n)作为输入,逐次输出模拟回声信号y’(n),以使e(n)的功率最小。该模拟回声信号y’(n)的生成方法可应用各种方法,例如可应用公知的学习同定法等使用系数更新算法的方法,只要是使e(n)的功率最小的算法,就能广泛应用。
来自回声抵消加法器16的输出被输出到Sout,由未图示的编码器编码,向远端通话者输出。
来自Rin的信号x(n)和回声信号y1(n)被输入到初始延迟估计部4。
初始延迟估计部4根据该信号x(n)和回声信号y1(n),按以下估计回声信号路径的初始延迟。使用图3来说明该初始延迟估计部4的动作。
初始延迟估计部4使用x(n)和y1(n)来计算以下说明的回声路径的初始延迟。
首先,来自远端通话者的声音信号x(n)被输入到VAD 19和特定频率断续部17。
在VAD 19中,判定所输入的信号是否是声音。作为该声音检测方法,例如使用式(1)和式(2)来计算|x(n)|的短期平均x_short(k)和长期平均x_long(k),当下述式(3)的条件成立时,视为“有声音”。
x_short(k)=(1.0-δs)×x_short(k-1)+δs×|x(n)|(1)
x_long(k)=(1.0-δl)×x_long(k-1)+δl×|x(n)|…(2)
式中,0<δs≤1.0,0<δl(L的小写)≤1.0。
(条件1)
x_short(k)≥x_long(k)+VAD_m (dB)…(3)
这里,δs、δl是决定平均追随速度的常数。当δs、δl较大时,取代对时间变动敏感地反应而是容易受到背景噪声的影响,当δs、δl较小时,追随粗略分量,对噪声影响变得迟钝。
k表示计算顺序,可以针对式(1)~式(3)采用与采样顺序相同的定时,以便与n所意味的相同。此时,可以使式(1)~式(3)的k与n相同。只要未特别提及,式(1)~(3)以外的k不同于n。
在第1实施方式中,例如,针对δs使用在时间当量上与20ms相当的常数,针对δl使用与5秒相当的常数,VAD_m使用与6dB相当的阈值。
即,式(3)在不进行dB表现的情况下,即使采用通常表记表示为如下也是同样的。
x_short(k)≥x_long(k)×VAD_mlin…(3)
(VAD_mlin是2.0)
在VAD 19中,按上述检测声音,但VAD 19只要能检测信号中的声音,就可以应用任何方法。
声音检测器19当检测出声音时,将声音检测信号V输出到定时控制部1a。定时控制部1a以后述的定时进行开关177的接通/断开。
来自远端的声音信号x(n)被输入到特定频率断续部17。首先,x(n)被输出到数据保持部171和接收侧时间/频率变换部170。
在接收侧时间/频率变换部170中,DFT部172按下述仅取出预定的频率分量。
这里,为了容易理解,假定例示出对单一频率进行处理的情况,说明通常的数字傅立叶变换(DFT)。
数字傅立叶变换是已在许多信号处理技术中使用的方法,是作为在时间轴的信号与频率轴的信号之间进行变换的方法而最众所周知的方法。将时间轴波形变换成频率分量的数字傅立叶变换如式(4)表示,反之将频率轴变换成时间轴的方法是逆数字傅立叶变换,如式(5)表示。
【算式1】
式中,m=0、1、2、…、n-1。
式中,n=0、1、2、…、n-1。
式(4)的右边表示可计算出频率轴上的第m分量,式(5)的右边表示可从右边计算出时间轴的第n采样。这里小写字母j表示是复数运算。式(5)的系数1/N是在逆变换之际时间波形如原先那样再现的常数,图3中,由逆DFT归一化部176进行该动作。
在第1实施方式中,在式(5)中进行了除法运算,由于式(4)和式(5)的轴变换是可逆变换,因而可以通过数字傅立叶变换和逆数字傅立叶变换两者来计算并乘以。即,由于上述变换是可逆变换,因而一旦对进行了数字傅立叶变换的频率分量进行逆数字傅立叶变换,则时间轴的波形恢复为原样。
并且,在第1实施方式中,在式(4)和式(5)中仅限定用于第i分量。在第1实施方式中,其中,仅对第i分量进行数字傅立叶变换,然后进行逆数字傅立叶变换,但在接收侧单分量数字傅立叶变换部172中执行式(6),在接收侧频率/时间变换部174中执行式(7)。
也就是说,接收侧单分量数字傅立叶变换部172针对预定的连续N个采样的数据,与式(5)时不同,仅执行m=0、1、2、…、n-1中的第i频率分量、m=i即x(i)的计算。
【算式2】
在接收侧单分量数字傅立叶变换部172计算出的结果即第i分量的频率分量x(i)保持在特定频率分量保持部173。
这里,针对第i分量的选择方法,i是在人的声音的第i峰值即1kHz附近与第2峰值即2kHz附近之间进行选择的。例如,在第1实施方式中,将1.6kHz设定为第i分量,然而不限于此。并且,在第1实施方式中,将采样频率设定为16kHz,将N设定为10个采样。
特定频率分量保持部173将第i分量的数据x(i)输出到接收侧频率/时间变换部174。然后,接收侧频率/时间变换部174执行式(7)。
【算式3】
式中,n=0、1、2、…、n-1。
在接收侧频率/时间变换部174中,接收侧单分量逆数字傅立叶变换部175仅对来自特定频率分量保持部173的频率分量x(i)进行频率逆变换(逆数字傅立叶变换),再现N个采样的时间波形。
这里,根据式(7)通过频率逆变换而再现的波形是具有第i频率分量的信号,是具有声音信号中包含的数字傅立叶变换中的第i频率分量的纯分量的信号,即第i分量音调波形。
也就是说,在式(6)和式(7)的过程中仅提取声音信号中包含的第i频率分量,恢复为时间波形。
来自接收侧频率/时间变换部174的输出x’(n)被输出到开关177。
在开关177中,根据定时控制部1a的控制,按以下定时进行开闭。
定时控制部1a当从VAD 19被输入了声音检测信号V时,使未图示的计数器递增。然后,定时控制部1a将从声音检测开始在最初的N采样期间闭合开关177的信号Son输出到开关177。在除此以外的情况下,定时控制部1a不输出信号Son。
当开关177从定时控制部1a被输入了信号Son时闭合开关177,开关177使来自接收侧频率/时间变换部174的信号通入到纯分量消除加法器178。在接下来的N采样区间中什么也不输出到开关177。
这里,期望的是,N采样区间被设定为可认为声音是稳定信号的时间长度,期望的是设定为例如10ms~30ms程度的时间长度。
当没有从定时控制部1a向开关177输出信号Son时,断开开关177。
然后,当经过了最初的N采样区间时,定时控制部1a在下一个N采样区间中断开开关177。
定时控制部1a和开关177在检测声音信号期间,依次重复上述动作。
来自开关177的输出x’sw(n)被输入到纯分量消除加法器178。并且,来自数据保持部171的输出xh(n)被输入到纯分量消除加法器178。
然后,纯分量消除加法器178将来自开关177的输出x’sw(n)和来自数据保持部171的输出xh(n)相加。并且,纯分量消除加法器178的输出被输出到Rout。
这里,数据保持部171进行将来自远端通话者的输入信号x(n)保持恒定时间(即N采样时间)来使其延迟的处理。
该恒定时间N等于进行数字傅立叶变换的采样数。这是为了在纯分量消除加法器178中,将声音信号波形自身和第i分量提取波形x’(n)相加时,使它们的定时一致。
并且,纯分量消除加法器178的输出被输出到Rout。输出到Rout的信号如上所述由D/A 7转换成模拟信号,之后从扬声器10被放出,作为声音信号被提供给未图示的近端通话者,并且其一部分通过声耦合而作为回声信号y被输入到麦克风11。
输入到麦克风11的回声信号y由A/D 13进行数字转换,经由发送数据中断缓冲用存储缓存器14和声音输入驱动器15,作为y1(n)被输入到回声消除器1的Sin。
来自Sin的信号被输入到初始延迟估计部4的发送侧特定频率波形再现部18。
输入到发送侧特定频率波形再现部18的回声信号y1(n)与接收侧一样,如式(8)那样由DFT部181仅提取频率的第i分量来再现。
这里,重要的是,第i分量是与在接收侧所选择的第i分量相同的分量。
【算式4】
当由DFT部181所再现的y1(i)被输出到特定频率分量保持部182时,特定频率分量保持部182暂时保持y1(i)。
特定频率分量保持部182的输出与接收侧一样由逆DFT部183进行逆数字傅立叶变换而成为时间波形yt(n)。
【算式5】
由该逆DFT部183进行了逆数字傅立叶变换的yt(n)被输出到延迟量判定部1b。
延迟量判定部1b从定时控制部1a被输入定时信号T,通过定时控制部1a的控制,来估计回声路径的初始延迟。
图4是说明回声路径的脉冲响应状况的说明图。在图4中,回声路径的时间早的部分有振幅小的部分,在时间Tid振幅为最大。然后示出在经过时间Tid后、振幅逐渐减小的散射响应继续了时刻Tds的状况。
延迟量判定部1b将图4所示的初始延迟时间Tid部分控制成具有与延迟赋予部2***的延迟量相当的延迟量,不分配ADF 3的未图示的滤波器系数,使ADF 3不会由于初始延迟的变动而逐一受到干扰。
图5是说明延迟量判定部1b估计的延迟量的说明图。
图5(A)是VAD 19的声音检测信号V的时序图。并且,从定时控制部1a向延迟量判定部1b输入定时信号T,图5(B)示出开关177的开闭定时。
在图5(B)和图5(C)中,在开关177闭合的情况下,延迟量判定部1b从开关177被输入接收侧频率/时间变换部174的输出x’sw(n)。来自该开关177的输出如上所述是具有第i频率分量的音调信号。
另外,在开关177闭合的情况下,在纯分量消除加法器178中,从声音信号中减去第i分量。因此,在纯分量消除加法器178的输出的声音信号中消除了第i频率分量x(i)。
当然,延迟估计参照信号被变换成时间轴,在从扬声器10所放出的结果的回声信号y中也不存在第i频率分量。
然而,在下一个N采样区间中,开关177断开(参照图5(B)、(c)),之后在纯分量消除加法器178中,不从声音信号中减去第i分量,回声信号也存在第i频率分量(参照图5(D))。
因此,延迟量判定部1b检测该回声信号中包含的第i频率分量的存在,按以下求出延迟量。
首先,延迟量判定部1b根据发送侧特定频率波形再现部18的输出yt(n)检测第i频率分量。该检测方法可应用与VAD 19的声音检测方法相同的方法。
然后,延迟量判定部1b根据从开关177输入的信号x’sw(n)检测第i频率分量。该检测方法也可以应用与VAD 19的声音检测方法相同的方法。
然后,延迟量判定部1b将从未检测出来自开关177的信号x’sw(n)输出的时刻txoff(参照图5(C))到检测出来自发送侧特定频率波形再现部18的信号yt(n)的时刻tyton为止的时间Tid’作为延迟量,并输出到延迟赋予部2。
这里,关于求出回声路径的初始延迟量Tid’的方法,延迟量估计部1b可以将来自开关177的信号x’sw(n)的电平或功率的急降时刻与从回声信号所提取的第i频率分量信号的电平或功率的急升时刻之差用作初始延迟Tid’。
并且,作为别的方法,延迟量判定部1b可以将开关177的从闭到开的打开时刻与从回声信号所提取的特定频率信号的电平或功率的急升时刻之差用作初始延迟Tid’。
之后,在延迟赋予部2中,将与延迟量Tid’相当的采样数的延迟提供给信号x(n)再输出到ADF 3。
并且,在ADF 3中,根据由延迟赋予部2赋予了延迟的x(n)、回声信号y1(n)以及残差信号e(n),使用公知的NLMS算法来生成模拟回声信号y’(n)。这里,回声估计算法只要能估计回声,就可以广泛应用各种算法。
(A-3)第1实施方式的效果
如以上那样,根据第1实施方式,使用听觉掩蔽效果,将初始延迟估计用的延迟估计参照信号输出到扬声器,然后从由于频率掩蔽效果而使近端通话者未发觉而再次输入到麦克风的回声信号中,取出来自延迟估计参照信号的特定频率分量的回声分量。
然后,通过根据延迟估计参照信号产生定时或延迟估计参照信号的分量消除定时、以及来自延迟估计参照信号的特定频率分量的检测定时求出回声路径的初始延迟,从而可补偿该延迟量。其结果,可提供自适应滤波器不会受到初始延迟变换的干扰的回声消除器。
并且,根据第1实施方式,即使有初始延迟的变动,初始延迟判定部也能迅速追随回声初始延迟的变化,可向延迟不需要部赋予延迟。因此,可抵消中断缓冲用存储缓存器的存储时间的变动,自适应滤波器可仅估计已变动的初始延迟以外的部分(即时间不变)的回声路径部分,即使有中断缓冲用存储缓存器的变动等变动,也能迅速消除回声信号。
而且,在第1实施方式中,将通过以单一频率的数字傅立叶变换或其逆变换所产生的由预定的单独的第i频率信号构成的时间信号x’(n)在纯分量消除加法器中与声音信号相加,从信号中仅消除特定频率分量,因而不用配备高阶的频带处理滤波器,只需通过简单的复三角函数的乘法运算和时间波形的减法运算,就能消除或提取单独的频率分量,还能大幅减少运算成本。
(B)第2实施方式
下面,参照附图说明本发明的回声消除器的第2实施方式。
例如,例示出应用于免提通话装置用的声回声消除器的情况。在这样的情况下,回声路径的初始延迟部分如上所述大多由于个人计算机动作等机械动作而预先无征兆地变动,延迟量的变化极其急剧。
实际上,除了这样的延迟量变化以外,还有各种回声路径的变动要素。例如,在声回声路径中,有必要考虑正进行通话的近端通话者自身的运动。原因是,通常近端通话者在进行免提通话期间进行转动身体等,受到该影响,回声路径的散射响应时间部分发生变动也并不稀奇。
第2实施方式是鉴于这样的事实而完成的。
(B-1)第2实施方式的结构
图6是示出第2实施方式的回声消除器及其周边结构的结构图。
第2实施方式与第1实施方式的不同点是:取代初始延迟估计部4而具有延迟和自适应滤波器长度估计部20,以及取代ADF 3而具有ADF21。
延迟和自适应滤波器长度估计部20从Rin输入x(n),并从Sin输入回声信号y1(n),估计回声路径的初始延迟,并估计自适应滤波器(ADF)21的有效抽头长度(有效滤波器长度)。
延迟和自适应滤波器长度估计部20每当从远端传来声音信号时,就计算回声路径的初始延迟和自适应滤波器21的有效抽头长度。由此,总是求得正确的回声路径的初始延迟和估计回声路径。
自适应滤波器21预先设有整体的抽头长度(滤波器长度),取得从延迟和自适应滤波器长度估计部20所估计的抽头长度,作为该抽头长度的自适应滤波器进行动作。
图7是示出第2实施方式的延迟和自适应滤波器长度估计部20的内部结构的内部结构图。
第2实施方式的延迟和自适应滤波器长度估计部20与第1实施方式的初始延迟估计部4的不同点是:取代延迟量判定部1b而具有延迟量和抽头长度判定部22。
延迟量和抽头长度判定部22估计第1实施方式的回声路径的初始延迟,并根据延迟估计参照信号产生定时或该延迟估计参照信号的分量消除定时、以及已估计的初始延迟,求出覆盖回声散射时间的自适应滤波器的有效滤波器长度(抽头长度),将该滤波器长度提供给ADF 21。
(B-2)第2实施方式的动作
下面,参照附图说明第2实施方式的回声消除器中的处理动作。
在第2实施方式中,延迟和自适应滤波器长度估计部20具有的延迟量和抽头长度判定部22的处理动作与第1实施方式的动作不同。因此,以下以延迟和自适应滤波器长度估计部20的处理动作为中心进行说明。
另外,在图6和图7中,标注了与图1和图3中所附的标号相同的标号的构成要件的处理动作与第1实施方式相同,故省略。
在图6中,延迟和自适应滤波器长度估计部20与第1实施方式一样,估计回声路径的初始延迟,并将该估计的延迟量Tid’提供给延迟赋予部2。
并且,延迟和自适应滤波器长度估计部20计算ADF 21的抽头长度(即有效滤波器长度)并提供给ADF 21。
以下,特别说明延迟和自适应滤波器长度估计部20的抽头长度估计处理。图8是抽头长度估计的说明图。
在图8中,延迟量和抽头长度估计部22当检测出txoff时,如图8(c)所示,接下来从开关177关闭的时刻txon开始,计算从回声信号中所提取的第i频率分量的信号电平。
作为该信号电平的计算方法,可应用各种方法,例如可以应用对输入采样的绝对值的平均进行计算的方法,并可以应用对VAD 19所说明的那样,使用利用平滑常数的循环式来计算平滑电平的方法。
并且,延迟量和抽头长度估计部22计算从时刻txon到相当于Tid’的时刻采样为止的第i频率分量的信号电平Iv h并将其保持(参照图8(E))。
然后,延迟量和抽头长度估计部22将从时刻txon到相当于Tid’的时刻采样时间点的时刻设定为Tlv_h。并且,延迟量和抽头长度估计部22根据在从时刻txon到Tlv_h为止的期间计算出的电平,检测回声信号的电平下降到满足式(10)的抽头长度终点电平lv_l的时刻Tlv_l。
判定阈值=20×log(lv_l/lv_h)…(10)
在第2实施方式中,将判定阈值设定为“-40(dB)”,然而不限于此。
式(10)表示判定Iv_l相比Iv_h电平下降了40dB的点。即,Iv_l是指:图4所示的回声路径的初始延迟部分结束,达到散射响应部分Tds,而且散射响应的大部分(例如相当于40dB)结束。
然后,延迟量和抽头长度判定部22根据Tlv_h与Tlv_l的时间差(等效采样差),按照式(11)计算有效抽头长度LOC,输出到ADF 21。
LOC=Tlv_l-Tlv_h …(11)
ADF 21根据所输入的抽头长度LOC,使用预先具有余量地安装的整体滤波器长度L中的滤波器长度LOC,进行使用所述NLMS等算法的自适应滤波器动作,进行模拟回声信号y’(n)的生成。
在第2实施方式中,设定为L=512,然而不限于此。因此,选择滤波器长度LOC和整体滤波器长度L的关系如式(12)那样,当根据式(11)计算出的LOC是L以上时,LOC将L限制为上限,之后输出到ADF 21。
LOC≤L …(12)
因此,此时ADF 21作为抽头长度L的自适应滤波器进行动作,进行回声消除。
(B-3)第2实施方式的效果
如以上那样,根据第2实施方式,不仅取得第1实施方式的效果,而且延迟量和抽头长度判定部22还可估计出ADF 21的有效抽头长度,ADF 21使用整体滤波器长度中所估计的抽头长度来生成模拟回声信号,从而可使ADF 21的抽头有效执行功能,可适当减小滤波器长度。
并且,第2实施方式例如在应用于免提通话装置用的声回声消除器的情况下,还能应对实际产生的回声路径的变动要素。也就是说,ADF 21的抽头长度短而收敛速度快,因而纯延迟Tid的抽头由延迟量和抽头长度判定部22补偿,将回声散射时间Tds的有效分量部分以最小限度由ADF21承担,可消除回声。
并且,根据第2实施方式,在有回声路径的初始延迟变动的情况下,或者在由于近端通话者的运动而使回声路径的散射响应部分发生变化的情况下,可在将运算成本抑制得小的状态下,使回声消除器的回声抵消追随速度达到高速,因而可实现功耗小、回声抵消性能优良的回声消除器。
(C)第3实施方式
下面,参照附图说明本发明的回声消除器的第3实施方式。
在第1和第2实施方式中,将时间/频率变换和频率/时间变换所使用的频率作为固定频率而作了说明。
然而,实际上,由于远端通话者的声质各种各样,因而远端通话者的声音频率分量也各种各样,可认为以事先设定的固定频率进行时间/频率变换和频率/时间变换所生成的延迟估计参照信号x_ref(n)不一定能进入到由实际的远端通话者的声音信号的频率分量良好地掩蔽的范围。
因此,在第3实施方式中,可将时间/频率变换和频率/时间变换所使用的频率自动地设定成还能应对上述问题。
(C-1)第3实施方式的结构
图9是示出第3实施方式的回声消除器和周边结构的结构图。
第3实施方式与第2实施方式的不同点是,取代延迟量和自适应滤波器长度估计部20而具有参数估计部30。
图10是示出第3实施方式的参数估计部30的内部结构的内部结构图。
图10的参数估计部30与图7的延迟量和自适应滤波器长度估计部20的内部结构的不同点是,新增加了频率决定部31。由于除此以外的构成要素与第1和第2实施方式相同,因而这里省略详细说明。
频率决定部31从Rin输入信号x(n),并从VAD 19输入声音检测信号V,决定后述的特定频率f1。并且,频率决定部31使用后述的计算方法,将特定频率f1的角速度ω提供给接收侧DFT 172和接收侧逆DFT175、以及发送侧DFT 181和发送侧逆DFT 183。
(C-2)第3实施方式的动作
下面,参照附图说明第3实施方式的回声消除器中的处理动作。
以下,以参数估计部30具有的频率决定部31的处理动作为中心进行说明。由于除此以外的构成要素的处理动作与第1和第2实施方式相同,因而这里省略详细说明。
频率决定部31从VAD 19输入声音信号检测信号V。频率决定部31计算所输入的远端的声音信号中频率分量最强的频率f1。
这里,作为频率f1的计算方法,可应用各种方法,例如可应用专利文献3中记载的方法,可应用计算所输入信号中功率最强的分量的方法。
另外,在专利文献3中,在检测出输入信号中的功率最强的频率分量f1后,进一步估计该检测出的频率分量f1是否相当于呼叫控制信号和FAX信号中的任一方。然而,在第3实施方式中,只要能检测该频率分量f1即可,因而不用估计该频率分量f1是什么样的信号就能应用。
并且,频率决定部31在检测出频率分量f1之后,根据式(13)求出角速度ω。
ω=2πf1+Δω…(13)
在第3实施方式中,为了在非专利文献1的“文献A的5.5临界带宽”中公开的能良好发挥频率掩蔽效果的频率临界带宽内形成参照信号频率,设定为Δω=0.15ω(rad/sec),然而不限于此。
不过,期望的是,根据频率掩蔽效果的有效性,Δω是式(14)的关系。
0<Δω≤0.2ω…(14)
频率决定部31仅在从VAD 19输出表示有声音的声音检测信号V的期间和紧接之后的片刻的期间T_hold,将根据式(13)计算出的ω提供给接收侧DFT 172和接收侧逆DFT 175、以及发送侧DFT 181和发送侧逆DFT 183。
设定该期间T_hold是因为,由于输入到发送侧的回声信号受到回声路径的延迟而被输入,因而对此作了考虑。并且,在第3实施方式中,将T_hold设定为0.5sec,然而不限于此。
因此,ω仅在声音检测期间+T_hold的期间中从频率决定部31被输出。
接收侧DFT 172和接收侧逆DFT 175、以及发送侧DFT 181和发送侧逆DFT 183使用ω并如上所述使用数字傅立叶变换及其逆变换,来分别进行时间/频率变换和频率/时间变换,由于该变换状况在第1实施方式中作了说明,因而这里省略说明。
(C-3)第3实施方式的效果
如以上那样,根据第3实施方式,不仅取得第1和第2实施方式的效果,而且可自动设定时间/频率变换和频率/时间变换所使用的频率,因而利用者即使不依靠与ω选择相关的事先知识和经验进行设备的初始设定,也能自动设定最佳的ω值。
其结果,由于可最佳估计回声路径的初始延迟和自适应滤波器的滤波器长度,因而可提供能追随回声路径的初始延迟变动和散射响应变动的回声消除器。
(D)另一实施方式
在第1~第3实施方式中,为了检测txoff,进行电平检测来计算抵消用音调信号电平的急降点,然而可以取而代之,直接使用来自定时控制部1a的开关177断开的时刻。此时,可省去接收侧的电平计算处理以及基于长期平均和短期平均的x’sw(i)的下降点检测,可进一步减小装置规模和软件规模。
在第3实施方式中,例示出在第2实施方式的延迟和自适应滤波器长度估计部内设置频率决定部的情况,然而即使在第1实施方式的初始延迟估计部内设置频率决定部,也能取得相同效果。
Claims (9)
1.一种回声消除器,由包含自适应滤波器的模拟回声生成单元根据受话信号生成模拟回声信号,回声消除单元从送话信号中减去模拟回声信号,由此从送话信号中消除回声信号,其特征在于,该回声消除器具有:
初始延迟估计单元,其形成包含由频率掩蔽效果所掩蔽的特定频率分量的参照信号并将该参照信号输出到回声路径,然后根据送话信号检测来自上述参照信号的上述特定频率分量的回声分量,根据包含上述特定频率分量的上述参照信号的形成定时、和上述送话信号中的上述特定频率分量的回声分量的检测定时来求出回声路径的初始延迟量;以及
延迟赋予单元,其将来自上述初始延迟估计单元的上述回声路径的初始延迟量赋予给上述受话信号并提供给上述模拟回声生成单元。
2.根据权利要求1所述的回声消除器,其特征在于,上述初始延迟估计单元通过从上述受话信号间断地消除上述特定频率分量,来形成包含上述特定频率分量的上述参照信号。
3.根据权利要求1或2所述的回声消除器,其特征在于,
上述初始延迟估计单元具有特定频率断续部、特定频率波形再现部以及延迟量判定部,
上述特定频率断续部具有:
受话侧数字傅立叶变换部,其根据上述受话信号,对至少1种频率分量进行数字傅立叶变换;
受话侧频率分量保持部,其保持进行了数字傅立叶变换的频率分量;
受话侧逆数字傅立叶变换部,其对由上述受话侧频率分量保持部所保持的至少1种频率分量进行逆数字傅立叶变换;
受话信号保持部,其保持上述受话信号;以及
频率分量消除部,其从由上述受话信号保持部输出的上述受话信号间断地消除由上述受话侧逆数字傅立叶变换部输出的各上述频率分量,
上述特定频率波形再现部具有:
送话侧数字傅立叶变换部,其根据上述送话信号,对至少1种频率分量进行数字傅立叶变换;
频率分量保持部,其保持进行了数字傅立叶变换的频率分量;以及
送话侧逆数字傅立叶变换部,其对由上述频率分量保持部所保持的至少1种频率分量进行逆数字傅立叶变换,
上述延迟量判定部根据来自上述特定频率断续部的输出信号与来自上述特定频率波形再现部的输出信号之间的功率或电平的突变时刻差,求出上述回声路径的初始延迟量。
4.根据权利要求3所述的回声消除器,其特征在于,上述延迟量判定部将来自上述特定频率断续部的输出信号的上述特定频率分量的消除所涉及的功率或电平的急降时刻与来自上述特定频率波形再现部的输出信号的上述特定频率分量的功率或电平的急升时刻之差设定为上述回声路径的初始延迟量。
5.根据权利要求3所述的回声消除器,其特征在于,该回声消除器还具有切换部,该切换部设置在上述受话侧逆数字傅立叶变换部和上述频率分量消除部之间,并按照根据上述受话信号检测出的声音检测结果来进行连接切换,
上述延迟量判定部将上述切换部的切换时刻与来自上述特定频率波形再现部的输出信号的上述特定频率分量的功率或电平的急升时刻之差设定为上述回声路径的初始延迟量。
6.根据权利要求1或2所述的回声消除器,其特征在于,该回声消除器还具有滤波器长度估计单元,该滤波器长度估计单元根据上述初始延迟估计单元的包含上述特定频率分量的上述参照信号的形成定时、和上述初始延迟估计单元求出的上述回声路径的初始延迟量,求出上述自适应滤波器的有效滤波器长度。
7.根据权利要求3所述的回声消除器,其特征在于,该回声消除器还具有频率决定部,该频率决定部根据上述受话信号求出功率或电平的较强频率,使用该较强频率来决定由上述特定频率断续部确定的频率。
8.根据权利要求7所述的回声消除器,其特征在于,上述频率决定部求出针对根据上述受话信号求出的功率或电平的较强频率使频率错开角速度Δω后的角速度ω,并将该角速度ω提供给受话侧数字傅立叶变换部、受话侧逆数字傅立叶变换部、送话侧数字傅立叶变换部以及送话侧逆数字傅立叶变换部。
9.根据权利要求8所述的回声消除器,其特征在于,在上述频率决定部中,上述角速度Δω设定为0<Δω≤0.2ω。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009-049665 | 2009-03-03 | ||
JP2009049665A JP5332733B2 (ja) | 2009-03-03 | 2009-03-03 | エコーキャンセラ |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101826892A CN101826892A (zh) | 2010-09-08 |
CN101826892B true CN101826892B (zh) | 2014-05-07 |
Family
ID=42678274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910261524.5A Expired - Fee Related CN101826892B (zh) | 2009-03-03 | 2009-12-18 | 回声消除器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8433059B2 (zh) |
JP (1) | JP5332733B2 (zh) |
CN (1) | CN101826892B (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012049986A1 (ja) * | 2010-10-12 | 2012-04-19 | 日本電気株式会社 | 信号処理装置、信号処理方法、並びに信号処理プログラム |
US8462936B2 (en) * | 2011-02-28 | 2013-06-11 | Qnx Software Systems Limited | Adaptive delay compensation for acoustic echo cancellation |
JP5960128B2 (ja) * | 2011-05-20 | 2016-08-02 | 株式会社ソシオネクスト | 通話機 |
JP5673375B2 (ja) * | 2011-06-14 | 2015-02-18 | 住友ベークライト株式会社 | 繊維樹脂複合構造体、成形体の製造方法及び成形体 |
EP2798759A4 (en) | 2011-12-20 | 2015-08-19 | Intel Corp | TECHNIQUES FOR TRANSMITTING AND RECEIVING SIMULTANEOUSLY ON THE SAME RADIO FREQUENCY CARRIER |
US9343078B2 (en) * | 2012-01-09 | 2016-05-17 | Intel Corporation | Pre-process (amplitude distortion) and post-process (phase synchronization) for linear AEC system |
CN103391381B (zh) * | 2012-05-10 | 2015-05-20 | 中兴通讯股份有限公司 | 回声消除方法及装置 |
CA3073412C (en) | 2012-10-23 | 2022-05-24 | Interactive Intelligence, Inc. | System and method for acoustic echo cancellation |
US9307318B2 (en) * | 2013-03-07 | 2016-04-05 | Silicon Laboratories Inc. | Audio processor circuits for acoustic echo cancellation and method therefor |
JP6119336B2 (ja) * | 2013-03-18 | 2017-04-26 | 沖電気工業株式会社 | 周波数特性補正装置及びプログラム |
US9530428B2 (en) * | 2013-05-14 | 2016-12-27 | Mitsubishi Electric Corporation | Echo cancellation device |
US9685173B2 (en) * | 2013-09-06 | 2017-06-20 | Nuance Communications, Inc. | Method for non-intrusive acoustic parameter estimation |
US9870784B2 (en) | 2013-09-06 | 2018-01-16 | Nuance Communications, Inc. | Method for voicemail quality detection |
JP6064927B2 (ja) * | 2014-02-10 | 2017-01-25 | ソニー株式会社 | オーディオ機器、音声処理方法、音声処理プログラム、音声出力方法および音声出力プログラム |
WO2015130257A1 (en) | 2014-02-25 | 2015-09-03 | Intel Corporation | Apparatus, system and method of simultaneous transmit and receive (str) wireless communication |
CN104616658A (zh) * | 2015-01-14 | 2015-05-13 | 重庆金美通信有限责任公司 | 一种支持多种语音编码制式的回声抵消实现方法 |
CN105991857A (zh) * | 2015-02-12 | 2016-10-05 | 中兴通讯股份有限公司 | 一种实现参考信号调整的方法及装置 |
US9923592B2 (en) | 2015-12-26 | 2018-03-20 | Intel Corporation | Echo cancellation using minimal complexity in a device |
WO2018006856A1 (zh) * | 2016-07-07 | 2018-01-11 | 腾讯科技(深圳)有限公司 | 一种回声消除的方法及终端、计算机存储介质 |
GB2558529A (en) * | 2016-09-11 | 2018-07-18 | Continental automotive systems inc | Dynamically increased noise suppression based on input noise characteristics |
CN107872242B (zh) * | 2016-09-27 | 2020-04-07 | 北京大学(天津滨海)新一代信息技术研究院 | 一种多抽头射频干扰消除器 |
CN108877825A (zh) * | 2018-06-26 | 2018-11-23 | 珠海宏桥高科技有限公司 | 一种基于语音激励和逻辑控制的网络回声消除装置及方法 |
DE102018210536A1 (de) * | 2018-06-27 | 2020-01-02 | Volkswagen Aktiengesellschaft | Verfahren zur Bestimmung der Filterlänge eines adaptiven Filters und Steuergerät |
US11195539B2 (en) * | 2018-07-27 | 2021-12-07 | Dolby Laboratories Licensing Corporation | Forced gap insertion for pervasive listening |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1691716A (zh) * | 2004-04-23 | 2005-11-02 | 北京三星通信技术研究有限公司 | 回声消除装置 |
WO2008150022A1 (ja) * | 2007-06-08 | 2008-12-11 | Sony Corporation | 音声信号処理装置、遅延時間の設定方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6563803B1 (en) * | 1997-11-26 | 2003-05-13 | Qualcomm Incorporated | Acoustic echo canceller |
JP2000295461A (ja) | 1999-04-09 | 2000-10-20 | Sharp Corp | 画像合成方法およびカラーファクシミリ装置 |
JP2002101022A (ja) * | 2000-09-25 | 2002-04-05 | Oki Electric Ind Co Ltd | デジタル交換機 |
US6807525B1 (en) | 2000-10-31 | 2004-10-19 | Telogy Networks, Inc. | SID frame detection with human auditory perception compensation |
JP3928015B2 (ja) | 2002-07-04 | 2007-06-13 | 株式会社エイビット | ハンズフリー通話装置 |
JP4543896B2 (ja) * | 2004-11-18 | 2010-09-15 | 沖電気工業株式会社 | エコー除去方法、エコーキャンセラ及び電話中継装置 |
US7711107B1 (en) * | 2005-05-12 | 2010-05-04 | Mindspeed Technologies, Inc. | Perceptual masking of residual echo |
US7792281B1 (en) * | 2005-12-13 | 2010-09-07 | Mindspeed Technologies, Inc. | Delay estimation and audio signal identification using perceptually matched spectral evolution |
JP4692291B2 (ja) | 2006-01-13 | 2011-06-01 | 沖電気工業株式会社 | エコーキャンセラ |
JP2007235874A (ja) * | 2006-03-03 | 2007-09-13 | Sanyo Electric Co Ltd | エコー抑制装置及びエコー抑制方法 |
JP4894368B2 (ja) * | 2006-06-16 | 2012-03-14 | 沖電気工業株式会社 | エコーキャンセラ |
JP2008259032A (ja) * | 2007-04-06 | 2008-10-23 | Toshiba Corp | 情報処理装置、およびプログラム |
JP5493817B2 (ja) * | 2009-12-17 | 2014-05-14 | 沖電気工業株式会社 | エコーキャンセラ |
-
2009
- 2009-03-03 JP JP2009049665A patent/JP5332733B2/ja not_active Expired - Fee Related
- 2009-12-18 CN CN200910261524.5A patent/CN101826892B/zh not_active Expired - Fee Related
-
2010
- 2010-01-28 US US12/656,397 patent/US8433059B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1691716A (zh) * | 2004-04-23 | 2005-11-02 | 北京三星通信技术研究有限公司 | 回声消除装置 |
WO2008150022A1 (ja) * | 2007-06-08 | 2008-12-11 | Sony Corporation | 音声信号処理装置、遅延時間の設定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20100226492A1 (en) | 2010-09-09 |
JP5332733B2 (ja) | 2013-11-06 |
US8433059B2 (en) | 2013-04-30 |
CN101826892A (zh) | 2010-09-08 |
JP2010206515A (ja) | 2010-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101826892B (zh) | 回声消除器 | |
US8355511B2 (en) | System and method for envelope-based acoustic echo cancellation | |
CN101964670B (zh) | 回声抑制方法及回声抑制设备 | |
KR101444100B1 (ko) | 혼합 사운드로부터 잡음을 제거하는 방법 및 장치 | |
CN101027719B (zh) | 噪声抑制装置 | |
US9685172B2 (en) | Method and device for suppressing residual echoes based on inverse transmitter receiver distance and delay for speech signals directly incident on a transmitter array | |
US8472616B1 (en) | Self calibration of envelope-based acoustic echo cancellation | |
US8290141B2 (en) | Techniques for comfort noise generation in a communication system | |
CN101719969A (zh) | 判断双端对话的方法、***以及消除回声的方法和*** | |
JPH114288A (ja) | エコーキャンセラ装置 | |
US20090185674A1 (en) | Communication system | |
KR20100133365A (ko) | 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법 | |
WO2014008098A1 (en) | System for estimating a reverberation time | |
CN108140395B (zh) | 舒适噪声生成装置和方法 | |
CN110956975B (zh) | 回声消除方法及装置 | |
EP2752848B1 (en) | Method and apparatus for generating a noise reduced audio signal using a microphone array | |
CN112509595A (zh) | 音频数据处理方法、***及存储介质 | |
CN106297816B (zh) | 一种回声消除的非线性处理方法和装置及电子设备 | |
JP3724705B2 (ja) | 反響抑圧方法・反響抑圧装置 | |
JP4456594B2 (ja) | 音響結合量算出装置、音響結合量算出装置を用いたエコー消去装置及びボイススイッチ装置、通話状態判定装置、これらの方法、これらのプログラム及びその記録媒体 | |
KR101583715B1 (ko) | 셋톱 박스 영상 및 음성 통화 서비스에서 적응적 필터의 반향 경로 예측을 위한 지연 시간 자동 측정 방법 및 장치 | |
JP2015070292A (ja) | 集音・放音装置及び集音・放音プログラム | |
JP2015070291A (ja) | 集音・放音装置、音源分離ユニット及び音源分離プログラム | |
CN102956236A (zh) | 信息处理设备、信息处理方法和程序 | |
JP5183506B2 (ja) | ハウリング防止装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140507 Termination date: 20181218 |
|
CF01 | Termination of patent right due to non-payment of annual fee |