JP5016551B2 - Echo canceller - Google Patents

Echo canceller Download PDF

Info

Publication number
JP5016551B2
JP5016551B2 JP2008124002A JP2008124002A JP5016551B2 JP 5016551 B2 JP5016551 B2 JP 5016551B2 JP 2008124002 A JP2008124002 A JP 2008124002A JP 2008124002 A JP2008124002 A JP 2008124002A JP 5016551 B2 JP5016551 B2 JP 5016551B2
Authority
JP
Japan
Prior art keywords
filter
adaptive filter
sub
signal
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008124002A
Other languages
Japanese (ja)
Other versions
JP2008312199A (en
Inventor
健作 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2008124002A priority Critical patent/JP5016551B2/en
Publication of JP2008312199A publication Critical patent/JP2008312199A/en
Application granted granted Critical
Publication of JP5016551B2 publication Critical patent/JP5016551B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本願発明は、適応フィルタを用いたエコーキャンセラに関し、特に、エコー経路変動とダブルトークとの識別を行うことなく、適応フィルタのフィルタ係数を高速に収束させることができるエコーキャンセラに関する。   The present invention relates to an echo canceller using an adaptive filter, and more particularly to an echo canceller that can converge filter coefficients of an adaptive filter at high speed without discriminating between echo path fluctuations and double talk.

音響エコーキャンセラにおいて音響エコーの低減量が変動する要因は二つある。一つは参照信号として働く遠端話者音声のパワー変動、あと一つは外乱となる近端話者音声の重畳(ダブルトークと呼ばれる) である。このうち、前者の問題は適応アルゴリズムにブロ
ック長制御を適用することによって解決される[非特許文献1]。この適用によって適応フィルタの係数は無音声となる区間においても更新され、音響エコーの素早い低減が可能になる。問題は後者にあって、その解決の難しさは、マイクロホンに入力する近端話者音声と音響エコーの識別が難しいことと、その両入力に対して正反対の制御が必要となることにある。一般には、この両入力の識別は遠端話者音声との相関強度の差を利用して行われる[非特許文献2]。問題は、その相関の強弱が確率現象として現れるために識別誤りが避けられないこと、その正確な識別に時間がかかることである。そこで、この識別を素早く、また正確に行う手法として、識別パラメータを2次元に配置する方法も提案されている[非特許文献3]。しかし、その手順は識別の正確さを期するあまり複雑になっており、また、小さなエコー経路変動の識別に要する時間が長いという問題もある。この識別の難しさに対して、その識別を要しない制御法も解の一つとなり得る。しかし、[非特許文献4], [非特許文献5] では、大きなエコー経路変動に対して対応が遅れるという問題があり、識別を完全に不要とするまでには至っていない[非特許文献5]。さらに、この識別を行わない手法として係数を半固定とした適応フィルタを併用する方法も検討されている[非特許文献6]。これは係数を常時更新する適応フィルタと、係数が半固定のフィルタによって得られる残留エコーの大きさを監視し、前者による残留エコーが小さいと判断される場合に、その係数を半固定フィルタに転送することによって安定したエコー消去量を確保する方法である。問題は、ダブルトークのときに係数が更新されないこと、そのために収束が遅れることである。音響エコーキャンセラではダブルトークは常態であり、ダブルトークのときも適応フィルタの係数が更新されることが望ましい。
There are two factors that cause the acoustic echo reduction amount to fluctuate in the acoustic echo canceller. One is power fluctuation of the far-end speaker voice that works as a reference signal, and the other is superposition of the near-end talker voice that is a disturbance (called double talk). Among these, the former problem is solved by applying block length control to the adaptive algorithm [Non-Patent Document 1]. By this application, the coefficient of the adaptive filter is updated even in a section where there is no sound, and acoustic echo can be reduced quickly. The problem lies in the latter, and the difficulty in solving the problem is that it is difficult to distinguish between the near-end speaker input to the microphone and the acoustic echo, and the opposite control is required for both inputs. In general, both inputs are identified using a difference in correlation strength with the far-end speaker voice [Non-Patent Document 2]. The problem is that since the strength of the correlation appears as a probability phenomenon, identification errors are inevitable, and accurate identification takes time. Therefore, as a method for quickly and accurately performing this identification, a method of arranging identification parameters in two dimensions has been proposed [Non-patent Document 3]. However, the procedure is too complicated for identification accuracy, and there is a problem that it takes a long time to identify small echo path variations. For this difficulty of identification, a control method that does not require identification can be one of the solutions. However, [Non-Patent Document 4] and [Non-Patent Document 5] have a problem in that the response to a large echo path variation is delayed, and the identification has not been made completely unnecessary [Non-Patent Document 5]. . Furthermore, as a technique for not performing this identification, a method using an adaptive filter with a coefficient semi-fixed has been studied [Non-Patent Document 6]. This is to monitor the magnitude of the residual echo obtained by the adaptive filter that constantly updates the coefficient and the filter whose coefficient is semi-fixed, and when it is judged that the former residual echo is small, the coefficient is transferred to the semi-fixed filter. This is a method for ensuring a stable echo cancellation amount. The problem is that the coefficients are not updated during double talk, and therefore convergence is delayed. In an acoustic echo canceller, double talk is normal, and it is desirable that the coefficient of the adaptive filter is updated even during double talk.

なお、[16ビット固定少数点型DSPによる音響エコーキャンセラ]を示したものに[
非特許文献7]があり、[トリクオンタイズドX−NLMSアルゴリズムの収束特性]を示
したものに[非特許文献8]があり、[ノーマライズドリーストミーンEE’アルゴリズム
とその収束条件]を示したものに[非特許文献9]があり、[適応デジタルフィルタのブロック型実行]を示したものに[非特許文献10]があり、[EE’法の収束条件の導出と解析]
を示したものに[非特許文献11]がある。
藤井健作, 大賀寿郎, “音響エコーキャンセラに有用な無音声雑音区間における適応フィルタ係数の更新継続法,” 電子情報通信学会論文誌(A), vol. J78-A, no. 11, pp. 1403- 1409, Nov. (1995). 藤井健作, 大賀寿郎, “エコー経路変動検出を併用するダブルトーク検出法,” 電子情報通信学会論文誌(A), vol. J78-A, no. 3, pp. 314-322(1995). 張若愚,藤井健作, 棟安実治, “ダブルトークとエコー経路変動検出に関する一検討,” 電子情報通信学会技術研究報告, EA2003-146, Jan. (2004). 藤井健作, 大賀寿郎, “加算正規化LMS 法におけるブロック長制御における収束時間の短縮,” 電子情報通信学会論文誌(A), vol. J80-A, no. 1, pp. 27-35, Jan. (1997). 藤井健作,大賀寿郎, “音響エコーキャンセラのための推定誤差を所要値に保つ方法,” 電子情報通信学会論文誌(A), vol. J83-A, no. 2, pp. 141-151, Feb. (2000). 羽田陽一,牧野昭二,田中雅史,島内末廣,小島順治, “音響エコーキャンセラ用デュオフィルタコントロールシステム,” 1995 電子情報通信学会総合大会, A-350, March (1995). J. Sakaguchi, T. Hoshino, K. Fujii and J. Ohga, “Acoustic echo canceller system materialized with a 16-bit fixed point processing type DSP,” IEICE Trans. Fundamentals, vol. E82-A, no. 12, pp. 2818-2821, Dec. 1999. K. Fujii and Y. Tanaka, “Convergence property of triquantized-x NLMS algorithm,” IEICE Trans. Fundamentals, vol. E83-A, no. 12, pp. 2739-2742, Dec. 2000. K. Fujii, M. Muneyasu, T. Hinamoto, and Y. Tanaka, “Normalizedleast mean EE' algorithm and its convergnec condition,” IEICE Trans. Fundamentals, vol. E84-A, no. 4, pp. 984-990, April 2001. G. A. Clark, S. K. Mitra, and S. R. Parker, “Block implementation of adaptive digital filter,” IEEE Trans. Circuits & Syst., vol. CAS-28, no. 6, pp. 584-592, June 1981. 岩松祐輔,藤井健作, 棟安実治, “EE' 法の収束条件の導出と解析,” 電子情報通信学会技術研究報告, EA2006-99, Jan. (2007).
[Acoustic echo canceller using 16-bit fixed-point DSP] [
[Non-patent document 7], and [Non-patent document 8] shows [Convergence characteristics of a tri-quantized X-NLMS algorithm], and [Normalized dolly mean EE 'algorithm and its convergence condition]. There is [Non-patent document 9], and [Non-patent document 10] shows [block type execution of adaptive digital filter], and [derivation and analysis of convergence condition of EE 'method]
There is [Non-patent Document 11].
Kensaku Fujii, Toshiro Oga, “Continued update method of adaptive filter coefficients in silent speech interval, useful for acoustic echo canceller,” IEICE Transactions (A), vol. J78-A, no. 11, pp. 1403 -1409, Nov. (1995). Kensaku Fujii and Toshiro Oga, “Double-talk detection method using echo path variation detection,” IEICE Transactions (A), vol. J78-A, no. 3, pp. 314-322 (1995). Zhang Wakao, Kensaku Fujii, Meiji Muneyasu, “A Study on Double Talk and Echo Path Change Detection,” IEICE Technical Report, EA2003-146, Jan. (2004). Kensaku Fujii, Toshiro Oga, “Reduction of convergence time in block length control in additive normalization LMS method,” IEICE Transactions (A), vol. J80-A, no. 1, pp. 27-35, Jan (1997). Kensaku Fujii, Toshiro Oga, “A method to keep the estimation error for acoustic echo canceller to the required value,” IEICE Transactions (A), vol. J83-A, no. 2, pp. 141-151, Feb (2000). Yoichi Haneda, Shoji Makino, Masafumi Tanaka, Suetsu Shimauchi, Junji Kojima, “Duo Filter Control System for Acoustic Echo Canceller,” 1995 IEICE General Conference, A-350, March (1995). J. Sakaguchi, T. Hoshino, K. Fujii and J. Ohga, “Acoustic echo canceller system materialized with a 16-bit fixed point processing type DSP,” IEICE Trans. Fundamentals, vol. E82-A, no. 12, pp 2818-2821, Dec. 1999. K. Fujii and Y. Tanaka, “Convergence property of triquantized-x NLMS algorithm,” IEICE Trans. Fundamentals, vol. E83-A, no. 12, pp. 2739-2742, Dec. 2000. K. Fujii, M. Muneyasu, T. Hinamoto, and Y. Tanaka, “Normalizedleast mean EE 'algorithm and its convergnec condition,” IEICE Trans. Fundamentals, vol. E84-A, no. 4, pp. 984-990, April 2001. GA Clark, SK Mitra, and SR Parker, “Block implementation of adaptive digital filter,” IEEE Trans. Circuits & Syst., Vol. CAS-28, no. 6, pp. 584-592, June 1981. Yusuke Iwamatsu, Kensaku Fujii, Meiji Muneyasu, “Derivation and analysis of convergence condition of EE method,” IEICE Technical Report, EA2006-99, Jan. (2007).

上述したとおり、エコー経路変動とダブルトークとを識別するタイプのエコーキャンセラにおいて問題となるのは、識別を素早く確実に行うのが困難であること、ダブルトークのときに係数が更新されないこと、そのために収束が遅れることである。音響エコーキャンセラではダブルトークは常態であり、ダブルトークのときも適応フィルタの係数が更新されることが望ましい。   As described above, the problem with the echo canceller of the type that distinguishes between echo path fluctuations and double talk is that it is difficult to quickly and reliably identify, and that the coefficient is not updated at the time of double talk. The convergence is delayed. In an acoustic echo canceller, double talk is normal, and it is desirable that the coefficient of the adaptive filter is updated even during double talk.

本願発明の目的は、このような問題を解決することにある。   The object of the present invention is to solve such problems.

上記課題を解決するために、本願発明に係るエコーキャンセラは、スピーカに供給される供給信号が該スピーカからマイクロホンへ回り込むことによって生成されるエコー信号を、該マイクロホンの出力信号から除去するエコーキャンセラであって、該供給信号を参照信号として入力し、出力信号として疑似エコー信号を生成するフィルタ係数更新可能なFIR型の主適応フィルタと、該マイクロホンの出力信号から該主適応フィルタが生成した疑似エコー信号を差し引くことによって主誤差信号を生成する主減算器と、該供給信号を参照信号として入力して出力信号を生成するフィルタ係数更新可能なFIR型の副適応フィルタと、副誤差信号を生成する副減算器とを備え、該主適応フィルタは、適応アルゴリズムによって、該供給信号と該主誤差信号とに基づいて、該主誤差信号のパワーが最小化されるようにフィルタの係数を更新し、該副適応フィルタは、適応アルゴリズムによって、該供給信号と該副誤差信号とに基づいて、該副誤差信号のパワーが最小化されるようにフィルタの係数を更新し、該副適応フィルタのフィルタタップ数Iは、該主適応フィルタのフィルタタップ数Iよりも小さく、該副減算器は、該マイクロホンの出力信号から、該主適応フィルタの後半タップ出力値と該副適応フィルタのタップ出力値との加算値を差し引くことによって該副誤差信号を生成し、該主適応フィルタの後半タップ出力値は、該主適応フィルタにおいて、入力された参照信号を順次遅延させる遅延ライン上のI番目よりも後段の各信号に、対応するフィルタタップ係数を乗ずることによって得られる乗算値の総和であり、該副適応フィルタのタップ出力値は、該副適応フィルタにおいて、入力された参照信号を順次遅延させる遅延ライン上の各信号に、対応するフィルタタップ係数を乗ずることによって得られる乗算値の総和であり、該主適応フィルタは、そのフィルタ係数更新におけるステップサイズを、該副誤差信号に基づいて更新する。このエコーキャンセラにおいて、例えば、副適応フィルタのフィルタタップ数Iを128とし、主適応フィルタのフィルタタップ数Iを512としてもよい。そしてこの場合は、主適応フィルタの後半タップ出力値を得るために、まず、主適応フィルタにおける129番目から512番目までの各遅延信号に、対応するフィルタタップ係数を乗ずることにより、384個の乗算値を得る。そして、これら384個の乗算値を総和することにより主適応フィルタの後半タップ出力値を得ることができる。また、副適応フィルタのタップ出力値を得るためには、まず、副適応フィルタにおける1番目から128番目までの各遅延信号に、対応するフィルタタップ係数を乗ずることにより、128個の乗算値を得る。そして、これら128個の乗算値を総和することにより副適応フィルタのタップ出力値を得ることができる。 In order to solve the above-mentioned problems, an echo canceller according to the present invention is an echo canceller that removes an echo signal generated by a supply signal supplied to a speaker from the speaker to the microphone from the output signal of the microphone. An FIR type main adaptive filter that inputs the supply signal as a reference signal and generates a pseudo echo signal as an output signal and that can update filter coefficients, and a pseudo echo generated by the main adaptive filter from the output signal of the microphone A main subtractor that generates a main error signal by subtracting the signal, a FIR type sub-adaptive filter that can update the filter coefficient that inputs the supplied signal as a reference signal and generates an output signal, and a sub error signal are generated A sub-subtractor, wherein the main adaptive filter is coupled with the supply signal by an adaptive algorithm. Based on the main error signal, the coefficient of the filter is updated so that the power of the main error signal is minimized, and the sub-adaptive filter is based on the supply signal and the sub-error signal by an adaptive algorithm. The coefficient of the filter is updated so that the power of the sub error signal is minimized, and the number of filter taps I 1 of the sub adaptive filter is smaller than the number of filter taps I of the main adaptive filter, and the sub subtractor Generates the sub error signal by subtracting the added value of the second half tap output value of the main adaptive filter and the tap output value of the sub adaptive filter from the output signal of the microphone, and generates the second half tap of the main adaptive filter. In the main adaptive filter, the output value is obtained by multiplying each signal subsequent to I 1 on the delay line that sequentially delays the input reference signal by the corresponding filter tap coefficient. The tap output value of the sub-adaptive filter is obtained by shifting, and the tap output value of the sub-adaptive filter is a filter tap coefficient corresponding to each signal on the delay line that sequentially delays the input reference signal in the sub-adaptive filter. The main adaptive filter updates the step size in updating the filter coefficient based on the sub error signal. In this echo canceller, for example, the number of filter taps I 1 of the sub adaptive filter 128 may be a 512 filter taps I of the main adaptive filter. In this case, in order to obtain the latter half tap output value of the main adaptive filter, first, 384 multiplications are performed by multiplying each of the 129th to 512th delay signals in the main adaptive filter by the corresponding filter tap coefficient. Get the value. Then, the latter half tap output value of the main adaptive filter can be obtained by summing these 384 multiplied values. In order to obtain the tap output value of the sub-adaptive filter, first, 128 delayed values are obtained by multiplying the first to 128th delay signals in the sub-adaptive filter by the corresponding filter tap coefficients. . The tap output value of the sub-adaptive filter can be obtained by summing these 128 multiplication values.

上記エコーキャンセラにおいて、該主適応フィルタの適応アルゴリズムと該副適応フィルタの適応アルゴリズムとがいずれも学習同定法であってもよい。   In the echo canceller, the adaptation algorithm of the main adaptive filter and the adaptation algorithm of the sub adaptive filter may both be learning identification methods.

また、上記エコーキャンセラにおいて、該主適応フィルタは、そのフィルタ係数更新におけるステップサイズを、所定値と該供給信号ベクトルの加算ノルムPnとの乗算値を、該副誤差信号の平均パワーと該主適応フィルタのフィルタタップ数Iとの乗算値で除した値ρnに更新するようにしてもよい。ここで、所定値は適宜決定すればよいのであるが、所要推定誤差Cが決定されている場合は、その値(C)を2倍した値(2C)を該所定値としてもよい。 Further, in the echo canceller, the main adaptive filter has a step size in updating the filter coefficient, a multiplication value of a predetermined value and an addition norm Pn of the supply signal vector, an average power of the sub error signal, and the main adaptation. You may make it update to the value (rho) n divided by the multiplication value with the filter tap number I of a filter. Here, the predetermined value may be determined as appropriate. However, when the required estimation error C 0 is determined, a value (2C 0 ) obtained by doubling the value (C 0 ) may be used as the predetermined value. .

また、上記エコーキャンセラにおいて、該主適応フィルタの適応アルゴリズムと該副適応フィルタの適応アルゴリズムとが、いずれもブロック実行型の学習同定法であってもよい。   In the echo canceller, both the adaptive algorithm of the main adaptive filter and the adaptive algorithm of the sub adaptive filter may be a block execution type learning identification method.

また、上記エコーキャンセラにおいて、該主適応フィルタは、そのフィルタ係数更新におけるステップサイズを、所定値と該供給信号ベクトルの加算ノルムPnとの乗算値を、該副誤差信号の平均パワーと該主適応フィルタのフィルタタップ数Iとの乗算値で除した値ρnに更新するようにし、該加算ノルムは、該ブロック実行型の学習同定法のブロック長Jにおける加算ノルムであり、該平均パワーは、該ブロック長Jにおける平均パワーであってもよい。ここで、所定値は適宜決定すればよいのであるが、所要推定誤差Cが決定されている場合は、その値(C)を2倍した値(2C)を該所定値としてもよい。 Further, in the echo canceller, the main adaptive filter has a step size in updating the filter coefficient, a multiplication value of a predetermined value and an addition norm Pn of the supply signal vector, an average power of the sub error signal, and the main adaptation. It is updated to a value ρn divided by the product of the filter tap number I of the filter, and the addition norm is an addition norm in the block length J of the block execution type learning identification method, and the average power is The average power in the block length J may be used. Here, the predetermined value may be determined as appropriate. However, when the required estimation error C 0 is determined, a value (2C 0 ) obtained by doubling the value (C 0 ) may be used as the predetermined value. .

また、上記エコーキャンセラにおいて、該副適応フィルタのフィルタタップ数Iが、該主適応フィルタのフィルタタップ数Iの略4分の1であってもよい。例えば、副適応フィルタのフィルタタップ数Iを128とし、主適応フィルタのフィルタタップ数Iを512としてもよい。 In the above echo canceller filter taps I 1 of the sub adaptive filter may be substantially one quarter of the number of filter taps I of the main adaptive filter. For example, the number of filter taps I 1 of the sub adaptive filter 128 may be a 512 filter taps I of the main adaptive filter.

本願のエコーキャンセラによれば、副適応フィルタを別に用意し、そのフィルタ出力を用いて計算される残留エコーのパワーで主適応フィルタのステップサイズを制御することによって、エコー経路変動とダブルトークとを識別することなく、主適応フィルタのフィルタ係数を高速に収束させることができる。   According to the echo canceller of the present application, by separately preparing a sub-adaptive filter and controlling the step size of the main adaptive filter with the power of the residual echo calculated using the filter output, echo path variation and double talk are reduced. The filter coefficients of the main adaptive filter can be converged at high speed without identification.

以下、本願発明の一実施形態たるエコーキャンセラを図面を参照しつつ説明する。
(1. 概要)
ここでは、[非特許文献6] と[非特許文献5] に示されている手法に以下の修正を加えることで、エコー経路変動とダブルトークの識別を要しないエコーキャンセラを実現する。本エコーキャンセラでは[非特許文献5] で提案されている、残留エコーを外乱とみな
してステップサイズを制御する主適応フィルタと、ステップサイズを収束が最も早くなる値に固定した、タップ数が少ない副適応フィルタの二つを用意する。さらに、その副適応フィルタによって得られる残留エコーでステップサイズを制御する。これによってステップサイズは素早く減少する残留エコーで制御されることとなり、前者の適応動作が高速化される。一方、ダブルトークでは残留エコーは後者においても急増し、それによってステップサイズが小さく設定されて係数の乱れは防止される。
(2. 従来の制御法)
図1. は[非特許文献5] で提案されている制御法を適用した音響エコーキャンセラの構造である。本検討は、この制御法を基本とする。また、この構造において適応フィルタの係数はブロック実行型学習同定法[非特許文献10] を用いて
Hereinafter, an echo canceller according to an embodiment of the present invention will be described with reference to the drawings.
(1. Overview)
Here, an echo canceller that does not require discrimination between the echo path variation and the double talk is realized by adding the following modifications to the methods shown in [Non-Patent Document 6] and [Non-Patent Document 5]. In this echo canceller, the main adaptive filter proposed in [Non-patent Document 5] that controls the step size by regarding the residual echo as a disturbance, and the step size is fixed to a value that provides the fastest convergence, and the number of taps is small. Prepare two sub-adaptive filters. Further, the step size is controlled by the residual echo obtained by the sub adaptive filter. As a result, the step size is controlled by a residual echo that rapidly decreases, and the former adaptive operation is speeded up. On the other hand, in the double talk, the residual echo rapidly increases in the latter, thereby setting the step size small and preventing the disturbance of the coefficient.
(2. Conventional control method)
Figure 1 shows the structure of an acoustic echo canceller to which the control method proposed in [Non-Patent Document 5] is applied. This study is based on this control method. In this structure, the coefficient of the adaptive filter is calculated using the block execution type learning identification method [Non-Patent Document 10].

Figure 0005016551
Figure 0005016551

と更新される。ここで、Hn はn番目のブロックにおいて更新される適応フィルタの係数ベクトル、ρn はステップサイズ、j は時刻(sample time index:サンプルタイムインデックス)、J はブロック長、ej は残留エコー、Xj は参照信号ベクトルである。この係数更新アルゴリズムに対してブロック長J とステップサイズρn を制御することにより、推定誤差は参照信号のパワー変動やダブルトークに関係なく係数を常時更新しても所要の値C0 に向かって減少する[非特許文献5]。
(2. 1 ブロック長制御)
[非特許文献5] では、ブロック長J を次のように制御する。すなわち、定数P0 を定め、加算ノルム
And updated. Where Hn is the coefficient vector of the adaptive filter updated in the nth block, ρn is the step size, j is the time (sample time index), J is the block length, ej is the residual echo, and Xj is the reference It is a signal vector. By controlling the block length J and the step size ρn for this coefficient updating algorithm, the estimation error decreases toward the required value C 0 even if the coefficient is constantly updated regardless of the power fluctuation of the reference signal and double talk. [Non-Patent Document 5].
(2.1 Block length control)
[Non-Patent Document 5] controls the block length J as follows. That is, the constant P 0 is determined, and the addition norm

Figure 0005016551
Figure 0005016551

But

Figure 0005016551
Figure 0005016551

となるまでブロック長J を延長してから適応フィルタの係数を更新する。この制御が推
定誤差を所要値C0 に維持する原理は、学習同定法において導かれている、推定誤差を規定する式
The coefficient of the adaptive filter is updated after extending the block length J until. The principle by which this control maintains the estimation error at the required value C 0 is an expression that prescribes the estimation error, which is derived in the learning identification method.

Figure 0005016551
Figure 0005016551

にある。この式は、参照信号対外乱のパワー比が σX 2/Q0 であるときにステップサイ
ズを μ0 と定めれば推定誤差は上式から計算されるC0 まで減少することを示している
。このことは同時に、外乱の平均パワーQ0 が一定でも参照信号の平均パワーσX 2 が変
動すれば推定誤差も反比例して変動することを表している。
It is in. This equation shows that if the step size is set to μ 0 when the power ratio of the reference signal to the disturbance is σ X 2 / Q 0 , the estimation error is reduced to C 0 calculated from the above equation. . This also indicates that even if the average power Q 0 of the disturbance is constant, if the average power σ X 2 of the reference signal varies, the estimation error also varies inversely.

[非特許文献5] では、この参照信号のパワーが変動しても推定誤差を一定に保つ制御
法を見出すために、上式を
In [Non-Patent Document 5], in order to find a control method that keeps the estimation error constant even if the power of the reference signal fluctuates,

Figure 0005016551
Figure 0005016551

と近似している。このように近似しても、ステップサイズを通常選ばれる And approximate. Even with this approximation, the step size is usually chosen.

Figure 0005016551
Figure 0005016551

の範囲に限定すれば、最大でも 1/ 2(3dB) 程度の差しか生じない。[非特許文献5] で
はさらに学習同定法のステップサイズとブロック長J0 との間に
If it is limited to this range, only a maximum of 1/2 (3dB) will occur. In [Non-patent document 5], between the step size of the learning identification method and the block length J 0

Figure 0005016551
Figure 0005016551

なる関係があることを導いている。ここで、この関係を式(5) に代入すれば Leading to a relationship. If this relationship is substituted into equation (5),

Figure 0005016551
Figure 0005016551

が得られる。但し、上式において σX 20I は式(1) のブロック長をJ0 としたときの
加算ノルムPn の平均である。また、I は適応フィルタのタップ数である。この式は、
参照信号のパワーが想定した σX 2 よりも小さくなってもブロック長J0 を延ばし、加算ノルムPn が
Is obtained. However, in the above equation, σ X 2 J 0 I is the average of the addition norms Pn when the block length in equation (1) is J 0 . I is the number of taps of the adaptive filter. This formula is
Even if the power of the reference signal is smaller than the assumed σ X 2 , the block length J 0 is extended, and the addition norm Pn is

Figure 0005016551
Figure 0005016551

に等しくなったときに係数を更新すれば推定誤差は If the coefficient is updated when

Figure 0005016551
Figure 0005016551

あるいは Or

Figure 0005016551
Figure 0005016551

とおいて一定のC0 に維持されることを表している。 In other words, it is maintained at a constant C 0 .

ここで、このブロック長制御を実システムに適用するにあたって以下の注意が必要である。それは、静かな環境の下で音声が採取された場合に無音声となる区間で参照信号のパワーが小さくなり、エコーがマイクロホンに達しないこともあり得ることである。この状態で係数更新を強行すれば適応フィルタの係数は乱れる[非特許文献7], [非特許文献8]。この乱れを防ぐ一つの方法は参照信号の標本値ごとにその大きさを調べ、一定値以下のときは係数更新に利用しない制御を行うことである[非特許文献7], [非特許文献8]。もう一つの方法は、最長ブロック長を定め、その最長ブロック長においても上記関係が満たされないときは、エコーがマイクロホンに達しないと判断して係数を更新しないことである。本ブロック長制御を実際のシステムに適用する際には、このいずれかの方法を適用する必要がある。
(2. 2 ステップサイズ制御)
次に、音響エコーキャンセラによって低減される音響エコーの量が変動するもう一つの要因であるダブルトークの発生時における制御法について説明する。本研究では式(9) に着目し、
Here, the following cautions are necessary when applying this block length control to a real system. That is, when the sound is collected in a quiet environment, the power of the reference signal becomes small in a section where there is no sound, and the echo may not reach the microphone. If the coefficient is updated in this state, the coefficient of the adaptive filter is disturbed [Non-patent document 7] and [Non-patent document 8]. One method for preventing this disturbance is to check the size of each sample value of the reference signal, and to perform control that is not used for coefficient update when the value is below a certain value [Non-Patent Document 7], [Non-Patent Document 8]. ]. Another method is to determine the longest block length, and when the above relationship is not satisfied even in the longest block length, it is determined that the echo does not reach the microphone and the coefficient is not updated. When applying this block length control to an actual system, it is necessary to apply any one of these methods.
(2.2 Step size control)
Next, a control method at the time of occurrence of double talk, which is another factor that varies the amount of acoustic echo reduced by the acoustic echo canceller, will be described. In this study, focusing on equation (9),

Figure 0005016551
Figure 0005016551

と変形する。ここで、ダブルトークが発生し、外乱のパワーがQ0 からQn へと増加したとする。このときも推定誤差をC0 に維持するためにはステップサイズは And deformed. Here, it is assumed that double talk occurs and the power of disturbance increases from Q 0 to Q n. At this time, in order to maintain the estimation error at C 0 , the step size is

Figure 0005016551
Figure 0005016551

と小さくする必要がある。すなわち、このようにステップサイズを制御すれば推定誤差として所要値C0 が維持される。さらに、加算ノルムは実際にはP0 に一致するとは限らない。実際には係数更新を実行するときの加算ノルムはPn となることからステップサイズは It is necessary to make it smaller. That is, if the step size is controlled in this way, the required value C 0 is maintained as an estimation error. Furthermore, the addition norm does not always coincide with P 0 in practice. Actually, the addition norm when executing coefficient update is Pn, so the step size is

Figure 0005016551
Figure 0005016551

と計算する必要がある。 It is necessary to calculate.

問題は、このステップサイズ制御のためには外乱のパワーQn を知る必要があることである。[非特許文献5] では、その外乱のパワーを   The problem is that it is necessary to know the disturbance power Qn for this step size control. [Non-Patent Document 5] shows the power of the disturbance.

Figure 0005016551
Figure 0005016551

と近似している。図1. は、この近似に従ってステップサイズを計算する構造を示してい
る。しかし、この近似は、消し残ったエコーのパワーをQn に含む結果となり、エコー経路変動においてはステップサイズを必要以上に小さく与え、係数の収束を大きく遅らせる結果となる。本検討では、この問題を解決する方
策の一つを提案する。
And approximate. Figure 1 shows the structure for calculating the step size according to this approximation. However, this approximation results in including the unerased echo power in Qn, giving a step size smaller than necessary in the echo path variation, and greatly delaying the convergence of the coefficients. In this study, we propose one way to solve this problem.

また、ブロック長制御と同様、このステップサイズ制御を適用する際にも注意すべき点がある。それは外乱対参照信号の平均パワー比が所要の推定誤差C0 よりも小さくなった場合に上式から計算されるステップサイズが大きくなることである。例えば、加算ノルムが正確にP0 となったときに係数が更新されたとして、ステップサイズは In addition, as with block length control, there are points to be noted when applying this step size control. That is, when the average power ratio of the disturbance to the reference signal becomes smaller than the required estimation error C 0, the step size calculated from the above equation becomes large. For example, if the coefficient is updated when the addition norm is exactly P 0 , the step size is

Figure 0005016551
Figure 0005016551

と計算される。このうち、Qn/σX 2 は外乱対参照信号のパワー比である。従って、その外乱パワーQn が想定した以上に小さくなった場合は、C0σX 2/Qn が極端に大きくな
る可能性がある。例えば、所要推定誤差をC0 = 0.001(−30dB)と設計しているときに外乱対参照信号の平均パワー比が−40dB に減少したとすると、上式から計算され
るステップサイズは20J0 となる。一方、学習同定法において設定されるステップサイズの上限は1であり、ブロック実行型学習同定法においては、その上限はJ0 である。すなわち、ρ>J0 となる場合に適応フィルタの係数は発散する。本制御においては設定ステップサイズに上限を設けておく必要がある。
(3. 提案制御法)
エコー経路変動に際してステップサイズを大きく与え、収束を高速化するためには、外乱のパワーに近似するQn から消し残ったエコーのパワー分を素早く排出する必要がある。ここでは、その排出を高速に行うために、収束を最速化する値にステップサイズを固定した適応フィルタを副適応フィルタとして別に用意し、その副適応フィルタが生成する残留エコー
Is calculated. Among, Qn / σ X 2 is the power ratio of the disturbance versus the reference signal. Therefore, if the disturbance power Qn is smaller than expected, C 0 σ X 2 / Qn may become extremely large. For example, when the required estimation error is designed as C 0 = 0.001 (−30 dB) and the average power ratio of the disturbance to the reference signal is reduced to −40 dB, the step size calculated from the above equation is 20 J 0 . On the other hand, the upper limit of the step size set in the learning identification method is 1, and in the block execution type learning identification method, the upper limit is J 0 . That is, the coefficients of the adaptive filter diverge when ρ> J 0 . In this control, it is necessary to set an upper limit for the set step size.
(3. Proposed control method)
In order to increase the step size and speed up the convergence when changing the echo path, it is necessary to quickly discharge the power of the echo remaining from Qn that approximates the power of the disturbance. Here, in order to perform the discharge at high speed, a separate adaptive filter is prepared as a sub-adaptive filter with the step size fixed to the value that maximizes the convergence, and the residual echo generated by the sub-adaptive filter is generated.

Figure 0005016551
Figure 0005016551

のパワー The power of

Figure 0005016551
Figure 0005016551

を用いてステップサイズを制御する方法を提案する。その構造を図2 に示す。但し、この構造において主適応フィルタのタップは前半と後半に分けられ、副適応フィルタのタップ数は主適応フィルタの前半のタップ数I1 として短く与えることにより、収束をさらに早めるようにしている。また、主適応フィルタの後半のタップ出力uj b を副適応フィルタ
の出力uj C に加えて減算することにより、残留エコー
We propose a method to control the step size using. The structure is shown in Fig.2. However, in this structure, the tap of the main adaptive filter is divided into the first half and the second half, and the number of taps of the sub-adaptive filter is given as the first tap number I 1 of the first half of the main adaptive filter so that the convergence is further accelerated. Moreover, the residual echo is obtained by subtracting the tap output u j b in the latter half of the main adaptive filter in addition to the output u j C of the sub adaptive filter.

Figure 0005016551
Figure 0005016551

が早い時期に飽和することを防いでいる。 Prevents saturation at an early stage.

この構造において、タップ数を少なく設定した副適応フィルタの係数を、収束が最速となるステップサイズで更新すれば、主適応フィルタが生成する残留エコーej よりも、副適応フィルタの残留エコー   In this structure, if the coefficient of the sub-adaptive filter with a small number of taps is updated with the step size that provides the fastest convergence, the residual echo of the sub-adaptive filter will be more than the residual echo ej generated by the main adaptive filter.

Figure 0005016551
Figure 0005016551

の方が早く減少することになる。この特性を利用し、その残留エコー Will decrease faster. Utilizing this characteristic, the residual echo

Figure 0005016551
Figure 0005016551

から  From

Figure 0005016551
Figure 0005016551

を計算してステップサイズを Calculate the step size

Figure 0005016551
Figure 0005016551

と制御すれば、収束の高速化が期待できる。
(3. 1 収束特性の比較)
図3 は収束特性の比較である。但し、このシミュレーションでは以下の条件を設定している。
(1) 未知系のインパルス応答の標本値:指数減衰する正規乱数
(2) 同標本数:512.
(3) 主適応フィルタのタップ数:I=512
(4) 副適応フィルタのタップ数:I1 =128
(5) 参照信号と外乱:白色雑音
(6) 参照信号対外乱のパワー比:−40dB
(7) 係数更新アルゴリズム:ブロック実行型学習同定法
(8) ブロック長:J0 =16(固定)
(9) 副適応フィルタの係数更新ステップサイズ:ρ0 =16(固定)
(10) 主適応フィルタの係数更新ステップサイズの上限:ρ0 =16
(11) 所要推定誤差:C0 =0.001(−30dB)
図3(a) は副適応フィルタを用いない[非特許文献5] の方法で得られた収束特性である。当然ながら、(a) では収束初期において残留エコーが大きいためにステップサイズは小さく設定され、係数の収束は最も遅くなっている。
Can be expected to speed up convergence.
(3.1 Comparison of convergence characteristics)
Figure 3 compares the convergence characteristics. However, the following conditions are set in this simulation.
(1) Sample value of impulse response of unknown system: normal random number with exponential decay
(2) Number of samples: 512.
(3) Number of taps of main adaptive filter: I = 512
(4) Number of taps of the sub-adaptive filter: I 1 = 128
(5) Reference signal and disturbance: white noise
(6) Power ratio of reference signal to disturbance: -40dB
(7) Coefficient update algorithm: Block execution type learning identification method
(8) Block length: J 0 = 16 (fixed)
(9) Sub-adaptive filter coefficient update step size: ρ 0 = 16 (fixed)
(10) Upper limit of coefficient update step size of main adaptive filter: ρ 0 = 16
(11) Required estimation error: C 0 = 0.001 (−30 dB)
FIG. 3 (a) shows the convergence characteristics obtained by the method of [Non-Patent Document 5] without using the sub-adaptive filter. Naturally, in (a), since the residual echo is large in the early stage of convergence, the step size is set small, and the convergence of the coefficient is the slowest.

同図(b) はuj b を用いず、副適応フィルタの出力uj C だけから残留エコーを Figure (b) does not use u j b, but uses only the output u j C of the sub-adaptive filter to generate residual echo.

Figure 0005016551
Figure 0005016551

として生成し、そのパワーでステップサイズを制御したときの収束特性である。この場合、 And the convergence characteristics when the step size is controlled by the power. in this case,

Figure 0005016551
Figure 0005016551

は急速に減少して大きなステップサイズが設定され、その収束初期において収束が早まる。しかし、その後はタップ数が少なく設定されているために Decreases rapidly and a large step size is set, and convergence is accelerated in the early stage of convergence. However, since the number of taps is set low after that

Figure 0005016551
Figure 0005016551

の減少が早くに飽和し、ステップサイズは小さい値に固定される。そのために収束速度は図(b) のように固定される。但し、ステップサイズが小さい値に固定されるために推定誤差は大きく減少する。 Saturates quickly and the step size is fixed to a small value. Therefore, the convergence speed is fixed as shown in Fig. (B). However, since the step size is fixed to a small value, the estimation error is greatly reduced.

同図(c) はこの   Figure (c) shows this

Figure 0005016551
Figure 0005016551

の減少が早くに飽和することを防ぐために主適応フィルタの後半のタップ出力uj b を副
適応フィルタの出力uj C に加えて残留エコーがさらに減少するように構成したときの収
束特性である。この構成によって残留エコー
In order to prevent the decrease of the signal from being saturated early, the tap output u j b in the latter half of the main adaptive filter is added to the output u j C of the sub adaptive filter to further reduce the residual echo. . This configuration causes residual echo

Figure 0005016551
Figure 0005016551

は小さくなることができ、収束がさらに加速される。この結果から収束時間が約1/7
に減少していることが分かる。
Can be reduced and convergence is further accelerated. From this result, the convergence time is about 1/7.
It can be seen that the number has decreased.

最後に、同図(d) は残留エコーのパワーQn と   Finally, Figure (d) shows the residual echo power Qn and

Figure 0005016551
Figure 0005016551

を比較して小さい方を使ってステップサイズを制御した(図2) ときの収束特性である。このときの収束特性は(c) に一致する。それは残留エコーのパワーが These are convergence characteristics when the step size is controlled using the smaller one (Fig. 2). The convergence characteristics at this time coincide with (c). That is the power of residual echo

Figure 0005016551
Figure 0005016551

となるまで主適応フィルタのステップサイズは常に1よりも小さいこと、そのために主適応フィルタの収束が遅れ、また、その収束まで The step size of the main adaptive filter is always smaller than 1, so that the convergence of the main adaptive filter is delayed, and until the convergence

Figure 0005016551
Figure 0005016551

となることがなく、そのためにej が選択されることがないからである。
(3. 2 所要推定誤差と参照信号対外乱パワー比)
本シミュレーションでは所要推定誤差を−30dB とし、参照信号対外乱のパワー比を
−40dB としている。また、ブロック長を16としているので、推定誤差が−30dB まで減少したときに計算されるステップサイズは上限の16に達する。従って、以後はステップサイズは16に固定されるために推定誤差は参照信号対外乱のパワー比−40dB で飽和することになる。また、このステップサイズを上限の16に固定する処理によって主適応フィルタが与える残留エコーej と副適応フィルタが与える残留エコー
This is because ej is not selected for this purpose.
(3.2 Required estimation error and reference signal to disturbance power ratio)
In this simulation, the required estimation error is −30 dB, and the power ratio of the reference signal to the disturbance is −40 dB. Since the block length is 16, the step size calculated when the estimation error is reduced to −30 dB reaches the upper limit of 16. Accordingly, since the step size is fixed at 16 thereafter, the estimation error is saturated at the reference signal to disturbance power ratio of -40 dB. Further, the residual echo ej given by the main adaptive filter and the residual echo given by the sub-adaptive filter by the process of fixing the step size to the upper limit of 16

Figure 0005016551
Figure 0005016551

が一致し、Qn と Match, Qn and

Figure 0005016551
Figure 0005016551

を比較して小さい方を選択する(iv) においても(iii) と同じステップサイズが計算され
ることになる。これによって両収束特性が一致する。
The same step size as in (iii) is calculated even in (iv) in which the smaller one is selected. As a result, both convergence characteristics coincide.

これに対して図4 は所要推定誤差をC0 =0.0001(−40dB) としたときの収束特性である。このように所要推定誤差をC0 =0.0001 と小さくすれば式(9) から計算されるステップサイズはさらに小さくなって収束が図3 の結果よりも遅れる。一方、係数の収束後の推定誤差の大きさに(iii) と(iv) で差が生じている。この原因は残留エコー
のパワーの分散にある。すなわち、副適応フィルタのステップサイズは1 に固定されてお
り、主適応フィルタのステップサイズは制御されている。さらに、所要推定誤差をC0 =0.0001 とおき、参照信号対外乱のパワー比を−40dB とおいているので、そのス
テップサイズは平均を16として制御される。その一方で、ステップサイズの上限を16とおいているので、その制御されたステップサイズの平均は16よりも小さくなる。これによって残留エコーej の方が小さくなり、ステップサイズの計算値は
On the other hand, FIG. 4 shows the convergence characteristics when the required estimation error is C 0 = 0.0001 (−40 dB). Thus, if the required estimation error is reduced to C 0 = 0.0001, the step size calculated from the equation (9) is further reduced, and the convergence is delayed from the result of FIG. On the other hand, there is a difference between (iii) and (iv) in the magnitude of the estimation error after convergence of the coefficients. This is due to the dispersion of the power of the residual echo. That is, the step size of the sub-adaptive filter is fixed at 1, and the step size of the main adaptive filter is controlled. Further, since the required estimation error is set to C 0 = 0.0001 and the power ratio of the reference signal to the disturbance is set to −40 dB, the step size is controlled with an average of 16. On the other hand, since the upper limit of the step size is set to 16, the average of the controlled step sizes is smaller than 16. As a result, the residual echo ej is smaller, and the calculated step size is

Figure 0005016551
Figure 0005016551

とej の小さい方を選択する場合に大きくなる。そのために推定誤差は小さくならず、 And ej are larger when selecting the smaller one. Therefore, the estimation error is not reduced,

Figure 0005016551
Figure 0005016551

だけで制御するときにステップサイズが小さく与えられるので、推定誤差はさらに減少する。この点では(iii) の方が(iv) よりも望ましい制御法と言える。
(4. ダブルトーク時の特性)
最適なステップサイズ制御法を見出す上で、ダブルトークのときにその制御法で確保されるエコー消去量の大きさも判断材料の一つになる。ITU-T G.167 ではダブルトークのときにエコー消去量の15dB までの減少が許容される。この場合、所要推定誤差をC0
0.0316 とおける。図5 はC0 =0.0316、C0 =0.01(エコー消去量20dB
に相当)、C0 =0.001(エコー消去量30dB に相当) とおいた制御法(iv) で得ら
れた収束特性と、ステップサイズを16と固定して得られた収束特性との比較である。この収束特性が理想の収束速度を与える。ここで、制御法を前述で望ましいとした(iii) ではなく(iv) を用いてシミュレーションを行った理由は、所要推定誤差を外乱対参照信号
のパワー比以上と設定する場合においては両者で収束特性が一致するため、どちらを用いても同じ結果が得られるためである。
Since the step size is given small when controlling only, the estimation error is further reduced. In this respect, (iii) is a more desirable control method than (iv).
(4. Characteristics during double talk)
In finding the optimum step size control method, the amount of echo cancellation secured by the control method during double talk is one of the judgment materials. In ITU-T G.167, the echo cancellation amount can be reduced to 15 dB in double talk. In this case, the required estimation error is C 0 =
0.0316. FIG. 5 shows C 0 = 0.0316, C 0 = 0.01 (echo cancellation amount 20 dB).
), C 0 = 0.001 (corresponding to the echo cancellation amount of 30 dB), and the convergence characteristic obtained by the control method (iv) is compared with the convergence characteristic obtained by fixing the step size to 16. is there. This convergence characteristic gives the ideal convergence speed. Here, the reason why the simulation was performed using (iv) instead of (iii), which made the control method desirable as described above, is that when the required estimation error is set to be equal to or greater than the power ratio of the disturbance versus the reference signal, both converge. This is because the same result can be obtained by using either of them because the characteristics match.

この図5 に示す結果によれば、収束に要する時間は提案法(iv) のC0 =0.001 の
場合で、ステップサイズを16と固定した理想の特性の約3.5、C0 =0.01 で約1.5 倍、C0 =0.0316 で約1.2 倍となっている。この結果から、提案法(iv) はITU-T G.167 の規格に従えばエコー経路変動に対して理想特性にかなり近い特性を与えることが分かる。ここでは、この収束の最も遅いC0 =0.001 の場合について、その収束のさらなる高速化について検討を加える。
According to the results shown in FIG. 5, the time required for convergence is the case of C 0 = 0.001 in the proposed method (iv), and the ideal characteristic with the step size fixed at 16 is about 3.5, C 0 = It is about 1.5 times at 0.01 and about 1.2 times at C 0 = 0.0316. From this result, it can be seen that the proposed method (iv) gives a characteristic very close to the ideal characteristic with respect to the echo path variation according to the standard of ITU-T G.167. Here, in the case of C 0 = 0.001 which is the slowest convergence, a further increase in the convergence will be examined.

問題はダブルトークのときの動作である。図6 はステップサイズを16と固定し、推定誤差が−20dB まで減少した時点で参照信号対外乱比が一時的に−10dB と増加したときも係数を更新し続けたときの収束特性である。当然ながら、係数を更新し続けたために推定誤差は−10dB まで増加している。この増加を防ぐためには、このステップサイズ
を16と固定する方法ではダブルトーク発生時点でエコー経路変動とダブルトークを識別し、ダブルトークならば係数更新を停止するか、その残留エコーに含まれる外乱の割合に合わせたステップサイズの制御が必要である。しかし、その割合が見出されるならばエコー経路変動とダブルトークの識別は不要である。ここでの提案は、その識別を不要とする制御法の提案である。
The problem is the operation during double talk. FIG. 6 shows the convergence characteristics when the step size is fixed at 16 and the coefficient is continuously updated even when the reference signal to disturbance ratio temporarily increases to −10 dB when the estimation error decreases to −20 dB. Naturally, the estimation error increases to -10 dB because the coefficient is continuously updated. In order to prevent this increase, the method of fixing the step size to 16 discriminates the echo path fluctuation and the double talk at the time of the occurrence of the double talk, and if double talk, the coefficient update is stopped or the disturbance included in the residual echo. It is necessary to control the step size according to the ratio. However, if the ratio is found, it is not necessary to distinguish between echo path variations and double talk. The proposal here is a proposal of a control method that makes the identification unnecessary.

これに対して図7 は提案法(iv) を適用して得られた収束特性である。但し、所要推定
誤差をC0 =0.001(エコー消去量30dB に相当) とおいている。但し、外乱を図6 と同様、推定誤差が−20dB まで減少した時点で参照信号対外乱比が一時的に−10dB となるように増加させている。明らかに、この提案法(iv) によればダブルトークの区間
においても推定誤差は減少を続け、推定誤差−30dB で飽和している。これは所要推定
誤差を−30dB としたためである。その後、ダブルトークの終了とともに再び推定誤差
が外乱対参照信号のパワー比−40dB まで素早く減少している。このことから、本提案
法によれば係数の収束中にダブルトークが発生する場合にも柔軟に対応できることが分かる。実システムではダブルトークが係数の収束後にしか起こらないという保証はない。このように係数の収束中に起こるダブルトークにも自動的に対処できる本提案法は、この点においてより実用的であると言える。
In contrast, Fig. 7 shows the convergence characteristics obtained by applying the proposed method (iv). However, the required estimation error is C 0 = 0.001 (corresponding to an echo cancellation amount of 30 dB). However, the disturbance is increased so that the reference signal to disturbance ratio is temporarily -10 dB when the estimation error is reduced to -20 dB as in FIG. Obviously, according to the proposed method (iv), the estimation error continues to decrease even in the double talk section, and is saturated with an estimation error of -30 dB. This is because the required estimation error is set to -30 dB. After that, with the end of the double talk, the estimation error quickly decreases again to a power ratio of disturbance to reference signal of −40 dB. From this, it can be seen that the proposed method can flexibly cope with the case where double talk occurs during the convergence of the coefficients. In real systems there is no guarantee that double talk will only occur after convergence of the coefficients. Thus, it can be said that the proposed method that can automatically cope with the double talk that occurs during the convergence of the coefficients is more practical in this respect.

図8 は提案法(iii) について図7と同様の条件で行ったシミュレーションの結果である
。このようにダブルトークが発生したとき、副適応フィルタの係数は大きく乱れ、その係数の乱れ分だけej よりも
FIG. 8 shows the results of a simulation performed for the proposed method (iii) under the same conditions as in FIG. When double talk occurs in this way, the coefficient of the sub-adaptive filter is greatly disturbed, and the disturbance of the coefficient is larger than ej.

Figure 0005016551
Figure 0005016551

の方が大きく増加する。提案法(iv) では Increases significantly. In the proposed method (iv)

Figure 0005016551
Figure 0005016551

とej の小さい方を選択してステップサイズを制御するため、ステップサイズは(iv) よ
りも(iii) で小さくなり、ダブルトークの区間における収束速度は(iv)よりも低下する。このej と
Since the step size is controlled by selecting the smaller one of ej and ej, the step size becomes smaller in (iii) than in (iv), and the convergence speed in the double talk section becomes lower than in (iv). With this ej

Figure 0005016551
Figure 0005016551

の差は係数の収束後のダブルトークにおいても同様に生じる。すなわち、係数の収束後にダブルトークが発生したとき、係数の乱れによって This difference also occurs in double talk after the convergence of coefficients. That is, when double talk occurs after the coefficient converges,

Figure 0005016551
Figure 0005016551

の方がej よりも大きくなり、ステップサイズは小さく設定される。その結果、(iii) では推定誤差がさらに減少することになる。これは一見、望ましい特性のように思える。しかし、ダブルトークにおいて必要なエコー消去量は所要推定誤差C0 として設計されており、これ以上にエコーを低減する必要はない。実システムにとってダブルトークにおけるエコー消去量が設計値以上になることよりも、収束速度の向上の方が有用である。そこで、ここでは(iv) を提案法として以後の考察を行う。
(5. 音声による検証)
ここでは、音声を参照信号として提案法(iv) の有効性を検証する。このように参照信
号を音声とした場合は、その自己相関の影響を小さく抑えるために最短ブロック長は短く設定して係数更新の頻度を高める必要がある。その一方で、ステップサイズ制御に必要となる外乱パワーQn の算定を精度よく行うためにはブロック長を長く選ぶ必要がある。本検証では、外乱パワーQn の算定精度を優先して
(1) 最短ブロック長:J0 =16 とする。
Is larger than ej, and the step size is set smaller. As a result, the estimation error is further reduced in (iii). At first glance, this seems like a desirable property. However, the amount of echo cancellation required in double talk is designed as the required estimation error C 0 , and there is no need to reduce the echo further. For an actual system, it is more useful to improve the convergence speed than the amount of echo cancellation in double talk is more than the design value. Therefore, here we consider (iv) as the proposed method.
(5. Verification by voice)
Here, the effectiveness of the proposed method (iv) is verified using speech as a reference signal. In this way, when the reference signal is speech, it is necessary to increase the frequency of coefficient update by setting the shortest block length short in order to suppress the influence of autocorrelation. On the other hand, in order to accurately calculate the disturbance power Qn required for step size control, it is necessary to select a long block length. In this verification, the calculation accuracy of the disturbance power Qn is given priority.
(1) Shortest block length: J 0 = 16.

次に、適応アルゴリズムを学習同定法とした場合、ステップサイズμはできるだけ1に近い値とすることが望ましい。しかし、音声を参照信号とした場合は、その自己相関の影響を無視できず、とくに学習同定法をブロック実行型とする場合はステップサイズを小さく設定する必要がある。[非特許文献3] によれば、ステップサイズμは0.1程度とする必要がある。ここでは提案法の有効性を
(2) ステップサイズの上限:μ0 =1/8(ρ0 =μ00 =2.0 に相当)として検証す
る。
Next, when the adaptive algorithm is a learning identification method, it is desirable that the step size μ is as close to 1 as possible. However, when speech is used as a reference signal, the influence of the autocorrelation cannot be ignored. In particular, when the learning identification method is a block execution type, it is necessary to set a small step size. According to [Non-Patent Document 3], the step size μ needs to be about 0.1. Here we show the effectiveness of the proposed method
(2) Step Size Limit: verifying (corresponding to ρ 0 = μ 0 J 0 = 2.0) μ 0 = 1/8.

本制御のために設定が必要な残る定数は所要推定誤差C0 、参照信号対外乱の平均パワー比、係数更新を決定する閾値P0 である。本検証ではまず、
(3) 所要推定誤差:C0 =0.001(エコー消去量30dB に相当)
(4) 参照信号:CD-ROM から読み出した音声+白色雑音(対音声のパワー比で−30 に相
当)
(5) 外乱:白色雑音
(6) 参照信号対外乱の平均パワー比:30dB
とする。次に、これらを式(10) の変形式
The remaining constants that need to be set for this control are the required estimation error C 0 , the average power ratio of the reference signal to the disturbance, and the threshold value P 0 that determines the coefficient update. In this verification,
(3) Required estimation error: C 0 = 0.001 (equivalent to an echo cancellation amount of 30 dB)
(4) Reference signal: Audio read from CD-ROM + white noise (corresponding to -30 as the power ratio of audio to audio)
(5) Disturbance: white noise
(6) Average power ratio of reference signal to disturbance: 30dB
And Next, these are transformed into the equation (10)

Figure 0005016551
Figure 0005016551

に代入すれば。上の条件(6) からQ0 =0.001σx 2 となるので If you assign to. From the above condition (6), Q 0 = 0.001σ x 2

Figure 0005016551
Figure 0005016551

と得られる。すなわち、
(7) 更新決定閾値P0 =σx 2
とする。その他の条件は図3 と同じである。
And obtained. That is,
(7) Update decision threshold P 0 = σ x 2 I
And Other conditions are the same as in FIG.

図9 はステップサイズを最速のρ0 =2 に固定した、理想とする収束特性と提案法(iv) で得られる収束特性の比較である。図10 の上段に参照信号として用いた音声波形を示
す。この結果によれば、提案法は収束特性は理想特性と比べてわずかに遅い程度である。その理由は[非特許文献1] に示されているように参照信号を音声とした場合、推定誤差
の減少は遅れてもエコー消去量は素早く増加することにある。すなわち、図11 から分か
るように残留エコー
Figure 9 compares the ideal convergence characteristic with the step size fixed at the fastest ρ 0 = 2 and the convergence characteristic obtained by the proposed method (iv). The upper part of Fig. 10 shows the speech waveform used as the reference signal. According to this result, the proposed method has a slightly slower convergence characteristic than the ideal characteristic. The reason is that when the reference signal is speech as shown in [Non-Patent Document 1], the echo cancellation amount increases quickly even if the estimation error is delayed. That is, as can be seen from Fig. 11, the residual echo

Figure 0005016551
Figure 0005016551

は音声の場合に素早く減少し、そのことによって計算されるステップサイズが大きくなる。 Decreases rapidly in the case of speech, which increases the calculated step size.

図12 は、この残留エコーから計算されるステップサイズである。この結果を見れば収
束の初期においてこそ音声区間でステップサイズが小さく設定されているものの、急速に大きくなっていることが分かる。また、無音声区間において残留エコーが小さくなり、ステップサイズも上限の2となっていることも収束の高速化に効果的となっている。これはブロック長制御によって無音声となる区間においても係数を更新することに利点でもある。
FIG. 12 shows the step size calculated from this residual echo. From this result, it can be seen that the step size is set small in the speech interval at the early stage of convergence, but rapidly increases. In addition, the residual echo is reduced in the non-voice interval and the step size is set to 2 which is the upper limit, which is effective for speeding up the convergence. This also has an advantage in updating the coefficient even in a section where there is no speech by block length control.

図13 は本提案法(iv) がダブルトークに対しても安定して推定誤差を減少させ得ることを確認するシミュレーションの結果である。明らかに、本提案法では推定誤差はダブルトークのときも安定して減少していることが分かる。図10 の下段の波形はダブルトークと
して付加した近端話者音声の波形である。
(6. まとめ)
ここではタップ数の少ない副適応フィルタを別に用意し、そのフィルタ出力を用いて計算される残留エコーのパワーでステップサイズを制御することによって従来の手法[非特
許文献5] よりも収束を高速化できることを示した。また、音声を参照信号とする場合は収束を最速化するステップサイズを与えた場合とほぼ同様の収束特性が得られることをシミュレーションで確認した。これによって音響エコーキャンセラの実現の障害となっていたエコー経路変動とダブルトークの識別問題が解決されたことになる。
FIG. 13 shows the results of a simulation confirming that the proposed method (iv) can stably reduce the estimation error even for double talk. Obviously, in the proposed method, the estimation error decreases stably even in the case of double talk. The lower waveform in Fig. 10 is the waveform of the near-end speaker voice added as a double talk.
(6. Summary)
Here, a sub-adaptive filter with a small number of taps is prepared separately, and the step size is controlled by the power of the residual echo calculated using the filter output, thereby speeding up the convergence faster than the conventional method [Non-Patent Document 5]. I showed that I can do it. In addition, when using speech as a reference signal, it was confirmed by simulation that almost the same convergence characteristic as that obtained when a step size for maximizing convergence was given. This solves the problem of discriminating between echo path fluctuation and double talk, which has been an obstacle to the realization of an acoustic echo canceller.

今後は実際にシステムを構築して本提案法の有効性を実証する予定である。また、この収束のさらなる高速化に向けて提案されている適応アルゴリズム[非特許文献9] を適用
し、その効果もまた確認する予定である。
In the future, we plan to actually construct the system and verify the effectiveness of the proposed method. In addition, an adaptive algorithm [Non-Patent Document 9] proposed for further speeding up the convergence will be applied and its effect will be confirmed.

本願のエコーキャンセラによれば、エコー経路変動とダブルトークとを識別することなく、主適応フィルタのフィルタ係数を高速に収束させることができるので、電気通信装置の技術分野において利用できる。   According to the echo canceller of the present application, the filter coefficients of the main adaptive filter can be converged at high speed without discriminating between the echo path fluctuation and the double talk, and can be used in the technical field of telecommunication devices.

従来の制御法を適用した音響エコーキャンセラの構造図である。It is a structural diagram of an acoustic echo canceller to which a conventional control method is applied. 本発明に係るシステムの構造図である。1 is a structural diagram of a system according to the present invention. 収束特性の比較を示す図である。It is a figure which shows the comparison of a convergence characteristic. 収束特性の比較を示す図である。It is a figure which shows the comparison of a convergence characteristic. ステップサイズを16 と固定したときの収束特性との比較を示す図である。It is a figure which shows the comparison with the convergence characteristic when a step size is fixed at 16. ダブルトークが収束特性に与える影響を示す図である。It is a figure which shows the influence which double talk has on a convergence characteristic. ダブルトークが収束特性に与える影響を示す図である。It is a figure which shows the influence which double talk has on a convergence characteristic. ダブルトークが収束特性に与える影響を示す図である。It is a figure which shows the influence which double talk has on a convergence characteristic. 音声を参照信号としたときの本件発明との比較を示す図である。It is a figure which shows the comparison with this invention when using an audio | voice as a reference signal. 遠端話者音声と近端話者音声の波形図である。It is a wave form diagram of a far-end speaker voice and a near-end talker voice. 音響エコーと残留エコーの波形図である。It is a wave form diagram of an acoustic echo and a residual echo. ステップサイズρの推移を示す図である。It is a figure which shows transition of step size (rho). ダブルトークのときの収束特性を示す図である。It is a figure which shows the convergence characteristic at the time of double talk.

Claims (6)

スピーカに供給される供給信号が該スピーカからマイクロホンへ回り込むことによって生成されるエコー信号を、該マイクロホンの出力信号から除去するエコーキャンセラであって、
該供給信号を参照信号として入力し、出力信号として疑似エコー信号を生成するフィルタ係数更新可能なFIR型の主適応フィルタと、
該マイクロホンの出力信号から該主適応フィルタが生成した疑似エコー信号を差し引くことによって主誤差信号を生成する主減算器と、
該供給信号を参照信号として入力して出力信号を生成するフィルタ係数更新可能なFIR型の副適応フィルタと、
副誤差信号を生成する副減算器とを備え、
該主適応フィルタは、適応アルゴリズムによって、該供給信号と該主誤差信号とに基づいて、該主誤差信号のパワーが最小化されるようにフィルタの係数を更新し、
該副適応フィルタは、適応アルゴリズムによって、該供給信号と該副誤差信号とに基づいて、該副誤差信号のパワーが最小化されるようにフィルタの係数を更新し、
該副適応フィルタのフィルタタップ数Iは、該主適応フィルタのフィルタタップ数Iよりも小さく、
該副減算器は、該マイクロホンの出力信号から、該主適応フィルタの後半タップ出力値と該副適応フィルタのタップ出力値との加算値を差し引くことによって該副誤差信号を生成し、
該主適応フィルタの後半タップ出力値は、該主適応フィルタにおいて、入力された参照信号を順次遅延させる遅延ライン上のI番目よりも後段の各信号に、対応するフィルタタップ係数を乗ずることによって得られる乗算値の総和であり、
該副適応フィルタのタップ出力値は、該副適応フィルタにおいて、入力された参照信号を順次遅延させる遅延ライン上の各信号に、対応するフィルタタップ係数を乗ずることによって得られる乗算値の総和であり、
該主適応フィルタは、そのフィルタ係数更新におけるステップサイズを、該副誤差信号に基づいて更新する、エコーキャンセラ。
An echo canceller that removes an echo signal generated by a supply signal supplied to a speaker from the speaker to the microphone from the output signal of the microphone,
An FIR type main adaptive filter capable of updating the filter coefficient for inputting the supply signal as a reference signal and generating a pseudo echo signal as an output signal;
A main subtractor for generating a main error signal by subtracting the pseudo echo signal generated by the main adaptive filter from the output signal of the microphone;
An FIR type sub-adaptive filter capable of updating a filter coefficient for inputting the supply signal as a reference signal and generating an output signal;
A subtractor for generating a sub error signal,
The main adaptive filter updates the coefficient of the filter based on the supply signal and the main error signal by an adaptive algorithm so that the power of the main error signal is minimized,
The sub-adaptive filter updates the coefficient of the filter by an adaptive algorithm based on the supply signal and the sub-error signal so that the power of the sub-error signal is minimized,
The number of filter taps I 1 of the sub-adaptive filter is smaller than the number of filter taps I of the main adaptive filter,
The sub-subtracter generates the sub-error signal by subtracting the added value of the latter half tap output value of the main adaptive filter and the tap output value of the sub-adaptive filter from the output signal of the microphone,
The latter half tap output value of the main adaptive filter is obtained by multiplying each signal subsequent to I 1 on the delay line for sequentially delaying the input reference signal by the corresponding filter tap coefficient in the main adaptive filter. The sum of the multiplication values obtained,
The tap output value of the sub-adaptive filter is a sum of multiplication values obtained by multiplying each signal on the delay line that sequentially delays the input reference signal by the corresponding filter tap coefficient in the sub-adaptive filter. ,
The main adaptive filter is an echo canceller that updates a step size in updating the filter coefficient based on the sub error signal.
該主適応フィルタの適応アルゴリズムと該副適応フィルタの適応アルゴリズムとがいずれも学習同定法である、請求項1記載のエコーキャンセラ。   The echo canceller according to claim 1, wherein both the adaptation algorithm of the main adaptive filter and the adaptation algorithm of the sub-adaptive filter are learning identification methods. 該主適応フィルタは、そのフィルタ係数更新におけるステップサイズを、所定値と該供給信号ベクトルの加算ノルムとの乗算値を、該副誤差信号の平均パワーと該主適応フィルタのフィルタタップ数Iとの乗算値で除した値に更新する、請求項1又は2記載のエコーキャンセラ。   The main adaptive filter includes a step size in updating the filter coefficient, a multiplication value of a predetermined value and an addition norm of the supply signal vector, an average power of the sub error signal, and a filter tap number I of the main adaptive filter. The echo canceller according to claim 1, wherein the echo canceller is updated to a value divided by the multiplication value. 該主適応フィルタの適応アルゴリズムと該副適応フィルタの適応アルゴリズムとが、いずれもブロック実行型の学習同定法である、請求項1記載のエコーキャンセラ。   The echo canceller according to claim 1, wherein both of the adaptive algorithm of the main adaptive filter and the adaptive algorithm of the sub adaptive filter are block execution type learning identification methods. 該主適応フィルタは、そのフィルタ係数更新におけるステップサイズを、所定値と該供給信号ベクトルの加算ノルムとの乗算値を、該副誤差信号の平均パワーと該主適応フィルタのフィルタタップ数Iとの乗算値で除した値に更新し、
該加算ノルムは、該ブロック実行型の学習同定法のブロック長Jにおける加算ノルムであり、
該平均パワーは、該ブロック長Jにおける平均パワーである、請求項4記載のエコーキャンセラ。
The main adaptive filter includes a step size in updating the filter coefficient, a multiplication value of a predetermined value and an addition norm of the supply signal vector, an average power of the sub error signal, and a filter tap number I of the main adaptive filter. Update to the value divided by the multiplication value,
The addition norm is an addition norm in the block length J of the block execution type learning identification method,
The echo canceller according to claim 4, wherein the average power is an average power in the block length J.
該副適応フィルタのフィルタタップ数Iが、該主適応フィルタのフィルタタップ数Iの略4分の1である、請求項1乃至5のいずれか一の項に記載のエコーキャンセラ。 Number of filter taps I 1 of the sub adaptive filter, is approximately one quarter of the number of filter taps I of the main adaptive filter echo canceller according to any one of claims 1 to 5.
JP2008124002A 2007-05-11 2008-05-09 Echo canceller Active JP5016551B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008124002A JP5016551B2 (en) 2007-05-11 2008-05-09 Echo canceller

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007127349 2007-05-11
JP2007127349 2007-05-11
JP2008124002A JP5016551B2 (en) 2007-05-11 2008-05-09 Echo canceller

Publications (2)

Publication Number Publication Date
JP2008312199A JP2008312199A (en) 2008-12-25
JP5016551B2 true JP5016551B2 (en) 2012-09-05

Family

ID=40239329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008124002A Active JP5016551B2 (en) 2007-05-11 2008-05-09 Echo canceller

Country Status (1)

Country Link
JP (1) JP5016551B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353107A (en) * 2015-11-13 2018-07-31 伯斯有限公司 The double talk detection eliminated for acoustic echo
US11837248B2 (en) 2019-12-18 2023-12-05 Dolby Laboratories Licensing Corporation Filter adaptation step size control for echo cancellation

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5493817B2 (en) 2009-12-17 2014-05-14 沖電気工業株式会社 Echo canceller
US9830900B2 (en) 2011-05-10 2017-11-28 Mitsubishi Electric Corporation Adaptive equalizer, acoustic echo canceller device, and active noise control device
CN111052767B (en) 2017-08-28 2022-04-15 索尼公司 Audio processing device, audio processing method, and information processing device
CN113409806B (en) * 2021-01-28 2023-12-22 合肥工业大学 Zero-attraction echo cancellation method based on arctangent function

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3068996B2 (en) * 1993-12-21 2000-07-24 真作 森 Adaptive filter device and method for generating step gain
JP4068182B2 (en) * 1997-06-30 2008-03-26 株式会社東芝 Adaptive filter
CN1875403B (en) * 2003-09-02 2012-11-28 日本电气株式会社 Signal processing method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108353107A (en) * 2015-11-13 2018-07-31 伯斯有限公司 The double talk detection eliminated for acoustic echo
US11837248B2 (en) 2019-12-18 2023-12-05 Dolby Laboratories Licensing Corporation Filter adaptation step size control for echo cancellation

Also Published As

Publication number Publication date
JP2008312199A (en) 2008-12-25

Similar Documents

Publication Publication Date Title
EP3474280B1 (en) Signal processor for speech signal enhancement
JP5016551B2 (en) Echo canceller
US10356515B2 (en) Signal processor
JP5423966B2 (en) Specific signal cancellation method, specific signal cancellation apparatus, adaptive filter coefficient update method, adaptive filter coefficient update apparatus, and computer program
CN111199748B (en) Echo cancellation method, device, equipment and storage medium
KR20060087541A (en) Signal processing method and apparatus
JP5430990B2 (en) Signal processing method, apparatus and program
Contan et al. Excitation-dependent stepsize control of adaptive volterra filters for acoustic echo cancellation
Cho et al. Stereo acoustic echo cancellation based on maximum likelihood estimation with inter-channel-correlated echo compensation
US8503687B2 (en) System identification device and system identification method
JP4690243B2 (en) Digital filter, periodic noise reduction device, and noise reduction device
WO2009151062A1 (en) Acoustic echo canceller and acoustic echo cancel method
Ohta et al. Acoustic echo cancellation using sub-adaptive filter
EP3667662A1 (en) Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
US8144863B2 (en) Method and apparatus for echo cancellation
JP6356087B2 (en) Echo canceling apparatus, method and program
JP3609611B2 (en) Echo cancellation method and echo canceller
Jyothirmai et al. Echo cancellation in voip using block-based adaptive filter
US11837248B2 (en) Filter adaptation step size control for echo cancellation
JP2002076999A (en) Method and device for identifying system
JP5058052B2 (en) Echo canceller
WO2024009892A1 (en) Echo suppressing device, echo suppressing method, and echo suppressing program
JP2005318571A (en) Echo canceler
CN115641864A (en) Echo processing method and device and computer readable storage medium
JP2004357053A (en) Echo canceler device and echo canceler method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110126

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5016551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250