JP2010527181A - Method and system for reducing acoustic echo in a multi-channel audio communication system - Google Patents
Method and system for reducing acoustic echo in a multi-channel audio communication system Download PDFInfo
- Publication number
- JP2010527181A JP2010527181A JP2010506328A JP2010506328A JP2010527181A JP 2010527181 A JP2010527181 A JP 2010527181A JP 2010506328 A JP2010506328 A JP 2010506328A JP 2010506328 A JP2010506328 A JP 2010506328A JP 2010527181 A JP2010527181 A JP 2010527181A
- Authority
- JP
- Japan
- Prior art keywords
- impulse response
- vector
- location
- approximate
- digital signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
- H03H17/00—Networks using digital techniques
- H03H17/02—Frequency selective networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】本願は、適応リアルタイム音響エコーキャンセル方法およびシステムを対象とする。
【解決手段】本方法は、複数のスピーカ604、及び、第1の場所において生成される音及び該複数のスピーカによって生成される音響エコーを含む複数のマイクロフォンデジタル信号のうちの1つを生成する複数のマイクロフォン606を備えた第1の場所102から第2の場所104に伝送されるマイクロフォンデジタル信号において音響エコーを低減することを対象とする。本方法は、それぞれマイクロフォンとスピーカとの間の1つのエコーパス702に対応する複数の近似インパルス応答を求めることと、それぞれスピーカのうちの1つによって再生されるデジタル信号を多数の近似インパルス応答で畳み込むことに対応する複数の近似音響エコーを求めることとを含み、マイクロフォンデジタル信号のうちの少なくとも1つにおける音響エコーが、対応する近似音響エコーに基づいて低減される。
【選択図】図６The present application is directed to an adaptive real-time acoustic echo cancellation method and system.
The method generates a plurality of speakers 604 and one of a plurality of microphone digital signals including sound generated at a first location and acoustic echo generated by the plurality of speakers. It is intended to reduce acoustic echo in a microphone digital signal transmitted from a first location 102 having a plurality of microphones 606 to a second location 104. The method determines a plurality of approximate impulse responses, each corresponding to one echo path 702 between the microphone and the speaker, and convolves the digital signal reproduced by each one of the speakers with a number of approximate impulse responses. Determining a corresponding plurality of approximate acoustic echoes, wherein acoustic echoes in at least one of the microphone digital signals are reduced based on the corresponding approximate acoustic echoes.
[Selection] Figure 6
Description
本発明は音響エコーキャンセルに関し、詳細には、マルチチャネル音声通信システムにおいて音響エコーを低減するための方法およびシステムに関する。 The present invention relates to acoustic echo cancellation, and in particular to a method and system for reducing acoustic echo in a multi-channel audio communication system.
インターネット、電子プレゼンテーション、ボイスメールおよび音声会議通信システムのような通信媒体への関心が高まりつつあることによって、高忠実度の音声技術および通信技術に対する要求が増大している。
現在、個人および企業が、これらの通信媒体を用いて効率性および生産性を高め、同時にコストおよび複雑性を低減している。
たとえば、音声会議通信システムによれば、ヘッドセットを装着することなく、またはハンドヘルド通信デバイスを使用することなく、第１の場所にいる一人または複数人の個人が、全二重通信線を通じて概ねリアルタイムに、他の場所にいる一人または複数人の個人と同時に会話できるようになる。
Increasing interest in communication media such as the Internet, electronic presentations, voicemail, and audio conferencing communication systems has increased the demand for high fidelity audio and communication technologies.
Currently, individuals and businesses are using these communication media to increase efficiency and productivity while simultaneously reducing cost and complexity.
For example, according to an audio conferencing communication system, one or more individuals in a first location can be substantially real-time through full-duplex communication lines without wearing a headset or using a handheld communication device. In addition, you can talk to one or more individuals at other locations at the same time.
多くの音声会議通信システムにおいて、音声信号が大量のデータを搬送し、広範囲の周波数を利用する。
最新の音声会議通信システムは、感知可能な歪み、背景雑音および他の望ましくない音声アーティファクト(artifact)を含まない、「モノチャネル」とも呼ばれる単一のチャネルを介して音声信号の明瞭な伝送を提供しようと試みる。
１つの一般的なタイプの望ましくない音声アーティファクトは音響エコーである。
音響エコーは、１つの場所においてマイクロフォンおよびスピーカが結合することに起因して、伝送された音声信号が音声会議通信システムを通じてループするときに生じる可能性がある。
図１は、１つの例示的な２地点間モノチャネル音声会議通信システム１００の概略図を示す。
音声会議通信システム１００は、近い部屋１０２および遠い部屋１０４を含む。
近い部屋１０２において生成される声のような音がマイクロフォン１０６によって検出され、遠い部屋１０４において生成される音がマイクロフォン１０８によって検出される。
マイクロフォン１０６および１０８はそれぞれ、音をｘ（ｔ）およびｙ（ｔ）によって表される信号に変換する。
ただし、ｔは時間を表す。
In many audio conferencing communication systems, audio signals carry large amounts of data and utilize a wide range of frequencies.
Modern audio conferencing communication systems provide unambiguous transmission of audio signals over a single channel, also referred to as a “mono-channel”, that does not contain perceptible distortion, background noise, and other undesirable audio artifacts Try to try.
One common type of undesirable speech artifact is acoustic echo.
Acoustic echo can occur when the transmitted audio signal loops through the audio conferencing communication system due to the combination of the microphone and speaker at one location.
FIG. 1 shows a schematic diagram of one exemplary point-to-point mono-channel audio
The audio
A voice-like sound generated in the
However, t represents time.
マイクロフォン１０６は、近い部屋１０２において生成される多くの異なる音を検出する可能性があり、その中にはスピーカ１１４によって出力される音が含まれる。
マイクロフォン１０６によって生成されるアナログ信号は以下の式によって表される。
ｙ（ｔ）＝ｓ（ｔ）＋ｆ（ｘ（ｔ））＋ν（ｔ）
ただし、
ｓ（ｔ）は、近い部屋１０２において生成される音を表すアナログ信号であり、
ν（ｔ）は、マイクロフォンまたは通信チャネル１１０において外乱によって引き起こされる雑音または外来信号を表すアナログ信号であり、たとえば、それはスピーカ１１６から出力される耳障りなブーンといううなり音を生成する場合があり、
ｆ（ｘ（ｔ））は、音響エコーを表すアナログ信号である。
音響エコーｆ（ｘ（ｔ））は、近い部屋１０２における音響的な伝搬遅延、並びに通信チャネル１１０および１１２を介するアナログ信号ｘ（ｔ）のラウンドトリップ伝送遅延の両方に起因する。
アナログ信号ｙ（ｔ）によって生成される音は、遠い部屋１０４内のスピーカ１１６から出力される。
信号ｙ（ｔ）の振幅における増幅または利得、および音響エコーｆ（ｘ（ｔ））の大きさによっては、遠い部屋１０４においてマイクロフォン１０８に話しかけている人が、信号ｓ（ｔ）によって搬送される音のほかに、音響エコーｆ（ｘ（ｔ））によって生成される音の結果としてスピーカ１１６から生じるエコーまたは耳障りな高ピッチのハウリング音を聞く場合がある。
音声会議通信システムの設計者および製造者は、種々の方法で音響エコーを補償しようと試みてきた。
１つの補償技法は、音響エコーを低減するフィルタリングシステムを利用する。
典型的には、フィルタリングシステムは、音声信号受信場所における条件変化に適応する適応フィルタを利用する。
The
The analog signal generated by the
y (t) = s (t) + f (x (t)) + ν (t)
However,
s (t) is an analog signal representing sound generated in the
ν (t) is an analog signal representing noise or extraneous signals caused by disturbances in the microphone or
f (x (t)) is an analog signal representing an acoustic echo.
The acoustic echo f (x (t)) is due to both the acoustic propagation delay in the
The sound generated by the analog signal y (t) is output from the
Depending on the amplification or gain in the amplitude of the signal y (t) and the magnitude of the acoustic echo f (x (t)), a person talking to the
Voice conferencing communication system designers and manufacturers have attempted to compensate for acoustic echo in a variety of ways.
One compensation technique utilizes a filtering system that reduces acoustic echo.
Typically, the filtering system utilizes an adaptive filter that adapts to changing conditions at the audio signal receiving location.
近年になって、音声会議の使用感を向上させることを目指して、マルチチャネル音声通信システムを開発することへの関心が高まってきた。
これらのシステムは、第１の場所および第２の場所において、複数のマイクロフォンおよびスピーカを用いる。
しかしながら、それぞれの場所において複数のマイクロフォンおよびスピーカを用いることによって、数百ミリ秒の通信時間だけ隔てて音響エコーが引き起こされ、それが、マルチチャネル音声会議通信システムを開発することへの障害になっている。
たとえば、設計者および製造者は、スピーカを励振する前に、無相関の励振信号に対して非線形関数を利用する方法を開発した。
しかしながら、この非線形性は最終的に、空間的な音声使用感を劣化させる。
音声会議通信システムの設計者、製造者および使用者は、リアルタイムに音声信号から音響エコーを確実に除去することができ、且つ音声信号受信場所における条件変化に迅速的に適応することができるマルチチャネル音声会議通信方法およびシステムが必要であることを認識している。
In recent years, there has been increased interest in developing multi-channel audio communication systems aimed at improving the usability of audio conferencing.
These systems use multiple microphones and speakers in a first location and a second location.
However, using multiple microphones and speakers at each location causes acoustic echoes separated by a communication time of hundreds of milliseconds, which is an obstacle to developing a multi-channel audio conferencing communication system. ing.
For example, designers and manufacturers have developed a method that utilizes a non-linear function for an uncorrelated excitation signal before exciting the speaker.
However, this non-linearity ultimately degrades the spatial audio experience.
Multi-channel, which enables designers, manufacturers and users of voice conference communication systems to reliably remove acoustic echoes from voice signals in real time and to quickly adapt to changing conditions at the voice signal receiving location Recognizing the need for an audio conference communication method and system.
本発明の種々の実施形態は、適応リアルタイム音響エコーキャンセル方法およびシステムを対象とする。
本発明の１つの方法実施の形態は、第１の場所から第２の場所に伝送される複数のマイクロフォンデジタル信号において音響エコーを低減することを対象とする。
第１の場所は、複数のスピーカおよび複数のマイクロフォンを備え、該複数のマイクロフォンのそれぞれは、第１の場所において生成される音および該複数のスピーカによって生成される音響エコーを含む、複数のマイクロフォンデジタル信号のうちの１つを生成する。
本方法は、近似インパルス応答を求めることを含み、各近似インパルス応答は、複数のマイクロフォンのそれぞれと複数のスピーカのそれぞれとの間の１つのエコーパスに対応する。
本方法は、複数の近似音響エコーを求めることも含み、各近似音響エコーは、複数のスピーカのうちの１つによって再生されるデジタル信号を多数の近似インパルス応答で畳み込むことに対応する。
マイクロフォンデジタル信号のうちの少なくとも１つにおける音響エコーが、対応する近似音響エコーに基づいて低減される。
Various embodiments of the present invention are directed to adaptive real-time acoustic echo cancellation methods and systems.
One method embodiment of the present invention is directed to reducing acoustic echo in a plurality of microphone digital signals transmitted from a first location to a second location.
The first location comprises a plurality of speakers and a plurality of microphones, each of the plurality of microphones including a sound generated at the first location and an acoustic echo generated by the plurality of speakers. Generate one of the digital signals.
The method includes determining approximate impulse responses, each approximate impulse response corresponding to one echo path between each of the plurality of microphones and each of the plurality of speakers.
The method also includes determining a plurality of approximate acoustic echoes, each approximate acoustic echo corresponding to convolving a digital signal reproduced by one of the plurality of speakers with a number of approximate impulse responses.
Acoustic echoes in at least one of the microphone digital signals are reduced based on the corresponding approximate acoustic echoes.
本発明の種々の実施形態は、マルチチャネル音声通信システムにおけるリアルタイム適応音響エコーキャンセル方法を対象とする。
詳細には、これらの方法は、マルチチャネル音声通信システムを介して第１の場所と第２の場所との間で伝送される複数の音声信号内の音響エコーを低減する。
本発明の通信システム実施形態は、電子プレゼンテーション、ボイスメール、音声会議通信システム、または第１の場所と第２の場所との間で音声信号を伝送することができる任意の他のタイプの通信システムとすることができる。
第１の場所および第２の場所において、複数のマイクロフォンおよびスピーカが用いられる。
本発明の方法実施形態は、マイクロフォンとスピーカとの間の音響結合毎に制御状態を計算する。
その制御状態は、以下の４つのタイプの通信、（１）第１の場所からのみ音が伝送される；（２）第２の場所からのみ音が伝送される；（３）第１の場所と第２の場所との間で同時に音が伝送される；および（４）第１の場所と第２の場所との間で音が伝送されない、のうちの１つのタイプを特徴付ける。
その後、その方法は、第１の場所に配置されるマイクロフォンによって検出される信号毎に、制御状態に基づいて近似音響エコーを計算する。
その方法は、第２の場所から第１の場所に伝送されるデジタル信号のそれぞれから、対応する計算された近似音響エコーを減算し、それらの信号が第１の場所において出力される前に、これらの信号の利得を調整する。
Various embodiments of the present invention are directed to a real-time adaptive acoustic echo cancellation method in a multi-channel audio communication system.
In particular, these methods reduce acoustic echoes in multiple audio signals transmitted between a first location and a second location via a multi-channel audio communication system.
The communication system embodiment of the present invention is an electronic presentation, voice mail, audio conferencing communication system, or any other type of communication system capable of transmitting audio signals between a first location and a second location. It can be.
A plurality of microphones and speakers are used at the first location and the second location.
The method embodiment of the present invention calculates the control state for each acoustic coupling between the microphone and the speaker.
The control states are the following four types of communication: (1) Sound is transmitted only from the first location; (2) Sound is transmitted only from the second location; (3) First location And (2) characterize one type of sound transmitted between the first location and the second location; and (4) no sound transmitted between the first location and the second location.
The method then calculates an approximate acoustic echo based on the control state for each signal detected by the microphone located at the first location.
The method subtracts a corresponding calculated approximate acoustic echo from each of the digital signals transmitted from the second location to the first location, and before those signals are output at the first location, Adjust the gain of these signals.
本発明の実施形態は本来は数学的であり、このため、多数の式およびグラフ表示を参照しながら下記で説明される。
音響エコーキャンセルの技術分野の熟練者にとっては、本発明の実施形態を十分に説明すると共に特徴付けるのに数式だけで十分であるかもしれないが、以下の論考に含まれる、さらに図式的で問題志向の例、および制御フロー図による手法は、本発明が種々の経歴を有する読者にとって理解しやすいように、本発明の多くの実施形態のうちの１つだけを例示するように意図される。
本発明の種々の実施形態の説明を理解するのを助けるために、最初のサブセクションにおいて、デジタル信号、インパルス応答および畳み込みの概説が提供される。
第２のサブセクションにおいて、本発明の実施形態が提供される。
Embodiments of the present invention are mathematical in nature and are therefore described below with reference to a number of equations and graphical representations.
For those skilled in the art of acoustic echo cancellation, mathematical formulas alone may be sufficient to fully describe and characterize embodiments of the present invention, but are further schematic and problem-oriented that are included in the discussion below. The example and control flow diagram approaches are intended to illustrate only one of many embodiments of the present invention so that the present invention will be readily understood by readers of various backgrounds.
To help understand the description of the various embodiments of the present invention, an overview of digital signals, impulse responses and convolutions is provided in the first subsection.
In the second subsection, embodiments of the invention are provided.
デジタル信号、インパルス応答および畳み込みの概説：
このセクションは、モノチャネル音声伝送システムにおけるデジタル信号、インパルス応答および畳み込みの概括的な説明を提供するように意図される。
その後、このサブセクションにおいて導入される概念を用いて、次のサブセクションにおいて下記で説明されるマルチチャネル音響エコー実施形態における音声チャネルのそれぞれが説明される。用語「マイクロフォン」は、音を信号に変換する変換器または任意の適切なデバイスを指している。
「スピーカ」は、信号を音に変換することができる任意の適切なデバイスを指している。
Overview of digital signals, impulse response and convolution:
This section is intended to provide a general description of digital signals, impulse responses and convolutions in a mono channel audio transmission system.
Then, using the concepts introduced in this subsection, each of the audio channels in the multi-channel acoustic echo embodiment described below in the next subsection is described. The term “microphone” refers to a transducer or any suitable device that converts sound into a signal.
"Speaker" refers to any suitable device that can convert a signal into sound.
マイクロフォンによって受信される音は、時間依存性の、絶えず変化する電圧を含むアナログ信号に変換される。
デジタルコンピュータを用いてアナログ信号を処理するために、そのアナログ信号は最初に、アナログ信号に含まれる不可欠な情報を最小限に変更したデジタル信号に変換される。
デジタル信号は、電子的に、磁気的に、または光学的に格納することができ、コンピュータプログラム内に符号化される論理演算を用いて処理することができる。
The sound received by the microphone is converted to an analog signal containing a time-dependent, constantly changing voltage.
In order to process an analog signal using a digital computer, the analog signal is first converted into a digital signal with minimal changes to essential information contained in the analog signal.
Digital signals can be stored electronically, magnetically, or optically and can be processed using logical operations encoded in a computer program.
図２Ａ〜図２Ｃは、アナログ信号のデジタル信号への変換を示す。
図２Ａおよび図２Ｂでは、横軸２０２のような横軸は時間を表し、縦軸２０４のような縦軸は、ボルト単位のアナログ信号振幅を表す。
図２Ａは、時間依存性の、絶えず変化するアナログ信号ｘ（ｔ）２０６のプロットである。
アナログ信号ｘ（ｔ）２０６は最初に、離散的なサンプリング時刻において、アナログ信号ｘ（ｔ）の振幅を測定することによってサンプリングされる。
アナログ信号に含まれる不可欠な情報が失われるのを防ぐために、サンプリング時刻間の持続時間は一般的に、連続したサンプリング時刻間でアナログ信号がほとんど変化しないほど十分に短くなるように選択される。
図２Ｂは、図２Ａ内のアナログ信号２０６をサンプリングすることによって得られるサンプリング済み信号２０８のプロットである。
サンプリング時間は数十分の１秒であり、サンプリング済み信号２０８は、サンプリング時刻間で一定の信号振幅を仮定することによって、ステップ関数として近似される。
たとえば、定振幅領域２１０は、サンプリング時刻０．２秒と０．３秒との間で−１．９ボルトの一定値を表す。
2A-2C illustrate the conversion of an analog signal to a digital signal.
2A and 2B, the horizontal axis such as the
FIG. 2A is a plot of a time-dependent, constantly changing analog signal x (t) 206.
The analog signal x (t) 206 is first sampled by measuring the amplitude of the analog signal x (t) at discrete sampling times.
In order to prevent the loss of essential information contained in the analog signal, the duration between sampling times is generally selected to be short enough that the analog signal hardly changes between successive sampling times.
FIG. 2B is a plot of the sampled
The sampling time is tens of seconds, and the sampled
For example,
効率的に、且つ都合よくデジタル信号を処理するために、時間および大きさの両方の値が整数であることが望ましい。
それゆえ、ステップ関数内の各ステップの振幅およびサンプリング時刻を表す整数値を生成するために、各定振幅領域の値に第１の定数を乗算することによって、且つサンプリング時刻に第２の定数を乗算することによって、整数符号化されたデジタル信号が生成される。
整数値化されたサンプリング時刻は「時刻サンプル」と呼ばれ、整数値化された振幅は「デジタル振幅」と呼ばれる。
結果として生成されたデジタル信号は、ｘ［ｎ］によって関数で表すことができる。
ただし、ｎは独立変数であり、時刻サンプル領域を表す。
図２Ｃは、図２Ｂ内のサンプリング済み信号２０８から得られるデジタル信号のプロットである。
図２Ｃでは、横軸２１２は、時刻サンプル領域であり、縦軸２１４は、デジタル信号軸である。
グラフ内の各点は、スケールされたサンプリング時刻におけるデジタル信号のスケールされた振幅を表す量子化された値を表す。
たとえば、座標（２，−１９）の点ｘ［２］２１６は、図２Ｂのステップ２１０を表す。
In order to process digital signals efficiently and conveniently, it is desirable for both time and magnitude values to be integers.
Therefore, to generate an integer value representing the amplitude and sampling time of each step in the step function, the value of each constant amplitude region is multiplied by the first constant, and the second constant is set at the sampling time. By multiplying, an integer-coded digital signal is generated.
The sampling time converted to an integer value is called “time sample”, and the amplitude converted to an integer value is called “digital amplitude”.
The resulting digital signal can be expressed as a function by x [n].
However, n is an independent variable and represents a time sample area.
FIG. 2C is a plot of the digital signal obtained from the sampled
In FIG. 2C, the
Each point in the graph represents a quantized value representing the scaled amplitude of the digital signal at the scaled sampling time.
For example, a point x [2] 216 at coordinates (2, −19) represents
デジタル信号ｘ［ｎ］は、一般的に、一連のインパルスと見なすことができ、各インパルスは固有の成分に対応する。
表記ｘ［ｎ］は、デジタル信号の「成分」と呼ばれるデジタル信号の単一のインパルスを表すために用いることもできる。
ただし、ｎは特定の時刻サンプルを表す。
各成分は、単一の時刻サンプルにおける振幅を表す単一の値を除いて全て０のサンプル値を含む信号であり、それは数学的には以下の式によって表される。
ｘ［ｎ］＝ｄδ［ｎ−ｐ］
ただし、
ｄはインパルスの振幅、すなわち強さを表す整数倍率であり、
ｐは時刻サンプルであり、
δは以下の式によって定義されるδ関数である。
The digital signal x [n] can generally be viewed as a series of impulses, each impulse corresponding to a unique component.
The notation x [n] can also be used to represent a single impulse of a digital signal called a “component” of the digital signal.
Here, n represents a specific time sample.
Each component is a signal that contains all zero sample values except for a single value that represents the amplitude at a single time sample, which is mathematically represented by the following equation:
x [n] = dδ [n−p]
However,
d is an integer magnification representing the amplitude, i.e. strength, of the impulse;
p is a time sample,
δ is a δ function defined by the following equation.
たとえば、図２Ｃでは、成分ｘ［０］２１８は１０δ［ｐ］に等しく、成分ｘ［２］２１６は−１９δ［２−ｐ］に等しい。
言い換えると、デルタ関数δ［ｎ−ｐ］内のｐは時刻サンプルシフトを表し、ｎ−ｐは時刻サンプルｎに対する時刻サンプルを表す。
For example, in FIG. 2C, component x [0] 218 is equal to 10δ [p] and component x [2] 216 is equal to −19δ [2-p].
In other words, p in the delta function δ [n−p] represents a time sample shift, and n−p represents a time sample with respect to time sample n.
デジタルインパルス応答ｈ［ｎ］は、マイクロフォンへの入力が単位インパルスδ［ｎ］であるときにマイクロフォンから出力されるデジタル信号である。
ただし、ｐは「０」であり、ｄは「１」に等しい。
マイクロフォンのインパルス応答は、非常に持続時間が短い音のインパルスをマイクロフォンに加えて、マイクロフォンによって出力される信号を測定することによって求めることができる。
マイクロフォンのインパルス応答は、以下のようにベクトルによって表すこともできる。
The digital impulse response h [n] is a digital signal output from the microphone when the input to the microphone is a unit impulse δ [n].
However, p is “0” and d is equal to “1”.
The impulse response of a microphone can be determined by applying a very short duration sound impulse to the microphone and measuring the signal output by the microphone.
The impulse response of a microphone can also be represented by a vector as follows:
ただし、
ｈｎ［・］はインパルス応答成分であり、
Ｌはインパルス応答を構成する成分の数である。
However,
h n [•] is an impulse response component,
L is the number of components constituting the impulse response.
図３は、インパルスｘ［ｎ］のプロット、およびインパルスｘ［ｎ］に応答して生成される部屋全体のインパルス応答ｈ［ｎ］のプロットである。
インパルス応答ｈ［ｎ］は、スピーカによって生成される音インパルス、および室内で反射され、マイクロフォンによって受信されるインパルスの音を含む。
図３において、インパルスプロット３０２は、仮想的なマイクロフォン３０４に入力されるインパルスｘ［ｎ］を表す。
インパルスｘ［ｎ］３０２は、ｎ＝０における単一の０でない点３０６を除いて全て０を含み、それはｄδ［ｎ−ｐ］によって表される。
この場合、ｄは「１」に等しく、ｐは「０」に等しいので、インパルスはδ［ｎ］によって表すことができる。
インパルス３０２に応答して、マイクロフォン３０４は、インパルス応答プロット３０８によって表されるインパルス応答ｈ［ｎ］を出力する。
インパルス応答３０８は、点３１０〜３１２によって表される３つの０でないデジタル信号を除いて全て０を含む。
１つのインパルスへの実際のデジタルインパルス応答は典型的には、図３に示されるように、そのインパルス内に含まれる数よりも多くの数の０でない成分を含む。
インパルス応答３０８は、３成分ベクトルによって表すことができる。
FIG. 3 is a plot of the impulse x [n] and a plot of the impulse response h [n] of the entire room generated in response to the impulse x [n].
The impulse response h [n] includes the sound impulse generated by the speaker and the sound of the impulse reflected in the room and received by the microphone.
In FIG. 3, an
Impulse x [n] 302 contains all zeros except for a single
In this case, since d is equal to “1” and p is equal to “0”, the impulse can be represented by δ [n].
In response to the
The
The actual digital impulse response to an impulse typically includes a greater number of non-zero components than the number contained in that impulse, as shown in FIG.
典型的には、インパルス応答を求めるために用いられるインパルスは、スピーカによって部屋の中に出力され、マイクロフォンによって検出される。
スピーカ、部屋およびマイクロフォンは「システム」と呼ばれ、関連付けられるインパルス応答は「システムインパルス応答」と呼ぶことができる。
システムのスピーカによって生成されるデジタル信号は、スピーカによって生成される音を表すデジタル信号ｘ［ｎ］をシステムのインパルス応答ｈ［ｎ］で畳み込むことによって求められる。
畳み込み済みのデジタル信号はｘｃ［ｎ］によって表される。
図４Ａ〜図４Ｄは、システムから出力されるデジタル信号ｘｃ［ｎ］を生成するために、仮想的なスピーカによって生成される３成分デジタル信号ｘ［ｎ］をインパルス応答ｈ［ｎ］で畳み込む一実施例をグラフで与える。
図４Ａは、仮想的なシステムによって生成される２成分インパルス応答例ｈ［ｎ］４０２のプロットである。
インパルス応答ｈ［ｎ］は、時間と共に変化しないものと仮定される。
Typically, the impulse used to determine the impulse response is output into the room by a speaker and detected by a microphone.
Speakers, rooms and microphones are referred to as “systems” and the associated impulse responses can be referred to as “system impulse responses”.
The digital signal generated by the system speaker is determined by convolving a digital signal x [n] representing the sound generated by the speaker with the system impulse response h [n].
The convolved digital signal is represented by x c [n].
4A to 4D convolve a three-component digital signal x [n] generated by a virtual speaker with an impulse response h [n] to generate a digital signal x c [n] output from the system. An example is given in a graph.
FIG. 4A is a plot of an example two-component impulse response h [n] 402 generated by a virtual system.
It is assumed that the impulse response h [n] does not change with time.
図４Ｂは、時刻サンプル「０」におけるデジタル信号ｘ［ｎ］の第１の成分のプロットである。
第１の成分は、スケールされたインパルス２δ［０］４０４によって表される。
システムは、インパルス２δ［ｎ］４０４に応答して、時刻サンプル「０」において第１の成分４０６を含むインパルス応答ｈ［ｎ］を出力し、後の時刻サンプル「１」において第２の成分４０８を出力する。
インパルス２δ［ｎ］４０４に対するインパルス応答は基本的に、インパルス倍率「２」を乗算した成分を有する、図４Ａのインパルス応答である。
FIG. 4B is a plot of the first component of the digital signal x [n] at time sample “0”.
The first component is represented by the scaled impulse 2δ [0] 404.
In response to the impulse 2δ [n] 404, the system outputs an impulse response h [n] including the
The impulse response to the impulse 2δ [n] 404 is basically the impulse response of FIG. 4A having a component multiplied by the impulse magnification “2”.
図４Ｃは、後の時刻サンプル「１」においてシステムに入力されるデジタル信号ｘ［ｎ］の第２の成分のプロットである。
第２の成分は、インパルスδ［ｎ−１］４１０によって表される。
システムは、インパルスδ［ｎ−１］４１０に応答して、時刻サンプル「１」において第３の成分４１２を含むインパルス応答を出力し、後の時刻サンプル「２」において第４の成分４１４を出力する。
インパルスδ［ｎ−１］４１０に対するインパルス応答は基本的に、「１」倍だけシフトした成分時刻サンプルを有する、図４Ａのインパルス応答である。
第２の成分４０８および第３の成分４１２は同じ時刻サンプル「１」において生じるので、時刻サンプル「１」における出力である第５の成分４１６を得るために、成分４０８および４１２の振幅は加算される。
FIG. 4C is a plot of the second component of the digital signal x [n] input to the system at a later time sample “1”.
The second component is represented by impulse δ [n−1] 410.
In response to the impulse δ [n−1] 410, the system outputs an impulse response including the
The impulse response for impulse δ [n−1] 410 is basically the impulse response of FIG. 4A with component time samples shifted by “1” times.
Since the
図４Ｄは、時刻サンプル「２」においてシステムに入力されるデジタル信号ｘ［ｎ］の第３の成分のプロットである。
第２の成分は、インパルス−２δ［ｎ−２］４１８によって表される。
システムは、インパルス−２δ［ｎ−２］に応答して、時刻サンプル「２」において第６の成分４２０を含むインパルス応答を出力し、後の時刻サンプル「３」において第７の成分４２２を出力する。
インパルス−２δ［ｎ−２］４１８に対するインパルス応答は基本的に、倍率「−２」を乗算した成分、および「２」倍だけシフトした成分時刻サンプルを有する、図４Ａのインパルス応答である。
第５の成分４１４および第６の成分４２０は同じ時刻サンプル「２」において生じるので、時刻サンプル「２」における出力である第８の成分４２４を与えるために、成分４１４および４２０の振幅は加算される。
FIG. 4D is a plot of the third component of the digital signal x [n] input to the system at time sample “2”.
The second component is represented by impulse-2δ [n-2] 418.
In response to the impulse-2δ [n-2], the system outputs an impulse response including the
The impulse response for impulse-2δ [n-2] 418 is basically the impulse response of FIG. 4A with the component multiplied by the factor “−2” and the component time sample shifted by “2” times.
Since the
３成分入力デジタル信号ｘ［ｎ］を２成分インパルス応答ｈ［ｎ］で畳み込むことによって、４成分デジタル信号ｘｃ［ｎ］が出力されることに留意されたい。
一般的に、Ｎ成分入力デジタル信号ｘ［ｎ］をＬ成分インパルス応答ｈ［ｎ］で畳み込むことによって、Ｎ＋Ｌ−１成分の畳み込み済みデジタル信号ｘｃ［ｎ］が与えられる。
Note that the 4-component digital signal x c [n] is output by convolving the 3-component input digital signal x [n] with the 2-component impulse response h [n].
In general, convolution of an N component input digital signal x [n] with an L component impulse response h [n] gives a convolved digital signal x c [n] of N + L−1 components.
図４Ｄにおける畳み込み済みデジタル信号ｘｃ［ｎ］４２６の成分は、インパルス応答の２成分ベクトル表現と、以下の式によって与えられるデジタル信号ｘ［ｎ］の各成分に対応する２成分ベクトルとのスカラー積またはドット積を計算することによって求めることもできる。 The components of the convolved digital signal x c [n] 426 in FIG. 4D are scalars of a two-component vector representation of the impulse response and a two-component vector corresponding to each component of the digital signal x [n] given by It can also be determined by calculating the product or dot product.
列ベクトル Column vector
および and
内の成分の順序は、時間順序において互いに逆である。
たとえば、列ベクトル
The order of the components within is opposite to each other in time order.
For example, column vector
において、第１の成分ｈ［０］が第２の成分ｈ［１］よりも時間的に前に現れ、一方、列ベクトル The first component h [0] appears before the second component h [1] in time, while the column vector
において、第１の成分ｘ［ｎ］が第２の成分ｘ［ｎ−１］よりも時間的に後に現れる。
負の値を有する時刻サンプルに対応するベクトル
1, the first component x [n] appears later in time than the second component x [n−1].
Vector corresponding to time samples with negative values
の成分は値「０」を割り当てられることに留意されたい。
たとえば、図４Ｄの第１の成分４０６は、以下の式によって計算される。
Note that the components of are assigned the value “0”.
For example, the
ただし、成分ｘ［−１］は値「０」を割り当てられ、上付き文字Ｔは、行列の転置演算を特定する。
第２の成分４１６、第３の成分４２４および第４の成分４２２は以下のように計算される。
However, the component x [−1] is assigned the value “0”, and the superscript T identifies the transpose operation of the matrix.
The
一般的に、畳み込み済みデジタル信号の成分ｘｃ［ｎ］は数学的に以下の式によって求められる。 In general, the component x c [n] of the convolved digital signal is mathematically obtained by the following equation.
ただし、「＊」は畳み込みを表す記号であり、 However, “ * ” is a symbol representing convolution,
である。
畳み込み済み信号成分ｘｃ［ｎ］を計算するために、デジタル信号ｘ［ｎ］の成分のうちの先行して得られたＬ個のデジタル信号成分が用いられ、負の値を有する時刻サンプルに対応するベクトル
It is.
In order to calculate the convolved signal component x c [n], L digital signal components obtained in advance among the components of the digital signal x [n] are used to obtain a time sample having a negative value. Corresponding vector
の成分は値「０」を割り当てられる。
畳み込みは以下のように表すこともできる。
Are assigned the value “0”.
Convolution can also be expressed as:
図５は、プロット５０４内に表示される畳み込み済みデジタル信号を得るために、プロット５０２内に表示されるデジタル信号を５成分インパルス応答で畳み込むことを示す。
プロット５０２および５０４において、横軸５０６のような横軸は時刻サンプル軸であり、縦軸５０８のような縦軸はデジタル数軸である。
プロット５０４内の畳み込み済みデジタル信号サンプル５１０は、図５に示されるように得られ、数学的には以下の式によって表される。
FIG. 5 illustrates convolution of the digital signal displayed in
In
The convolved
上述した畳み込みの例では、インパルス応答は、時間領域内の各時刻サンプルにおいて一定のままであるものと仮定される。
しかしながら、実際には、システムのインパルス応答は多くの場合に、部屋の条件に依存する。
言い換えると、システムのインパルス応答は、部屋の条件が変化するのに応じて、経時的に変化する場合がある。
たとえば、部屋内で音が生成されていないシステムのインパルス応答は、後に部屋内で音が生成される時点の同じシステムのインパルス応答とは異なる。
In the convolution example described above, the impulse response is assumed to remain constant at each time sample in the time domain.
In practice, however, the impulse response of the system often depends on room conditions.
In other words, the impulse response of the system may change over time as room conditions change.
For example, the impulse response of a system in which no sound is generated in a room is different from the impulse response of the same system at the time when sound is subsequently generated in the room.
本発明の実施形態：
本発明の種々の実施形態は、第１の場所と第２の場所との間で伝送される複数の音声信号において音響エコーを低減するための、適応的で、リアルタイムの音響エコーキャンセル方法およびシステムを対象とする。
音響エコーキャンセル方法およびシステムの実施形態の概説が最初に説明され、その後、本発明の多くの実施形態のうちの１つが説明される。
本発明の実施形態は、多数のブロック図、制御フロー図、数式およびグラフ表示を参照しながら説明される。
Embodiments of the invention:
Various embodiments of the present invention provide an adaptive, real-time acoustic echo cancellation method and system for reducing acoustic echo in a plurality of audio signals transmitted between a first location and a second location. Is targeted.
An overview of acoustic echo cancellation method and system embodiments is first described, followed by one of many embodiments of the present invention.
Embodiments of the present invention are described with reference to a number of block diagrams, control flow diagrams, mathematical formulas and graphical representations.
１．混合マルチチャネル音声通信システムにおける音響エコーキャンセルの概説：
図６は、本発明の一実施形態を表す、混合マルチチャネル音声通信システム６００のブロック図を示す。
混合マルチチャネル音声通信システム６００は、マルチチャネルエコー制御ユニット（「ＭＥＣＵ」）６０２と、近い部屋１０２内に配置されるＩ個のスピーカ６０４およびＪ個のマイクロフォン６０６とを備える。
ただし、ＩおよびＪはそれぞれ、スピーカの全数およびマイクロフォンの全数を表す自然数である。
遠い部屋１０４において生成されるデジタル信号ｘ１［ｎ］，...，ｘｌ［ｎ］がＭＥＣＵ６０２に伝送され、近い部屋１０２内に配置されるスピーカ６０４を通じて同時に再生される。
マイクロフォン６０６が、近い部屋１０２内に位置する人々、音声デバイスおよび他の雑音発生源によって生成された音を検出し、且つスピーカ６０４から生じる音によって生成される残響音またはエコーを検出する。
スピーカ６０４とマイクロフォン６０６との間の音響結合が、図７を参照しながら下記で説明される。
マイクロフォン６０６によって検出された音は、Ｊ個のマイクロフォンデジタル信号ｙ１［ｎ］，...，ｙＪ［ｎ］の形でＭＥＣＵ６０２に伝送される。
図８を参照しながら下記でさらに詳細に説明されるＭＥＣＵ６０２は、Ｊ個の処理済みデジタル信号ｒ１［ｎ］，...，ｒＪ［ｎ］を得るために、マイクロフォンデジタル信号ｙ１［ｎ］，...，ｙＪ［ｎ］を処理する。
それらの処理済みデジタル信号は、音響エコーおよび背景雑音が概ねない信号であり、遠い部屋１０４に伝送される。
1. Overview of acoustic echo cancellation in mixed multichannel speech communication systems:
FIG. 6 shows a block diagram of a mixed multi-channel
The mixed multi-channel
However, I and J are natural numbers representing the total number of speakers and the total number of microphones, respectively.
Digital signals x 1 [n],..., X l [n] generated in the
Acoustic coupling between the
The sound detected by the
MECU602 which is described in further detail below with reference to FIG. 8, J-number of processed
These processed digital signals are substantially free of acoustic echo and background noise and are transmitted to the
本発明の以下の説明では、表記｛・｝Ｎは、Ｎ個のデジタル信号から成る集合を表す簡潔な方法として導入される。
ただし、Ｎは集合内の要素の数である。
たとえば、デジタル信号ｘ１［ｎ］，...，ｘＩ［ｎ］は、代わりに、｛ｘｉ［ｎ］｝Ｉによって表すこともできる。
In the following description of the invention, the notation {·} N is introduced as a concise way of representing a set of N digital signals.
Where N is the number of elements in the set.
For example, the digital signals x 1 [n],..., X I [n] can alternatively be represented by {x i [n]} I.
任意の所与の時刻サンプルｎにおいて、近い部屋１０２内に配置される各スピーカと各マイクロフォンとの間に結合が存在する場合がある。
この結合は、「エコーパス」と呼ばれ、第ｉのスピーカおよび第ｊのマイクロフォンの音響結合毎に、時間と共に変化する実数値インパルス応答ベクトル
There may be a coupling between each speaker and each microphone located in the
This coupling is called an “echo path” and is a real-valued impulse response vector that varies with time for each acoustic coupling of the i th speaker and the j th microphone.
が存在する。
ただし、ｉ∈｛１，...，Ｉ｝はスピーカのインデックス (index)であり、ｊ∈｛１，...，Ｊ｝はマイクロフォンのインデックスである。
図７は、本発明の一実施形態を表す、図６に示される、スピーカ６０４とマイクロフォン６０６との間の音響結合を示す。
図７に示されるように、スピーカおよびマイクロフォンを結合するエコーパスのうちの１６個が線によって表されており、これらの１６個のエコーパスのうちの４個が対応するインパルス応答ベクトル
Exists.
Here, i∈ {1,..., I} is a speaker index, and j∈ {1,..., J} is a microphone index.
FIG. 7 illustrates the acoustic coupling between the
As shown in FIG. 7, 16 of the echo paths coupling the loudspeaker and microphone are represented by lines, and 4 of these 16 echo paths are the corresponding impulse response vectors.
をラベル付けされている。
たとえば、時刻サンプルｎにおいて、第２のスピーカ７０４と第１のマイクロフォン７０６との間のエコーパス７０２に関連付けられるインパルス応答ベクトルは
Is labeled.
For example, at time sample n, the impulse response vector associated with the echo path 702 between the
である。
第ｉのスピーカを通じて再生され、第ｊのマイクロフォンによって検出される特定のデジタル信号ｘｉ［ｎ］の残響バージョンまたはエコーは、
It is.
The reverberant version or echo of a particular digital signal x i [n] played through the i th speaker and detected by the j th microphone is
によって表される。
第ｊのマイクロフォンによって検出されるデジタル信号｛ｘｉ［ｎ］｝Ｉに関連付けられる全エコーは以下の式によって与えられる。
Represented by
The total echo associated with the digital signal {x i [n]} I detected by the j th microphone is given by:
図６および図７に示されるように、マイクロフォン６０６はＪ個のマイクロフォンデジタル信号｛ｘｊ［ｎ］｝ＪをＭＥＣＵ６０２に伝送する。
ただし、各マイクロフォンデジタル信号は以下の式によって特徴付けられ、
ｙｊ［ｎ］＝ｓｊ［ｎ］＋ｅｊ［ｎ］
ｓｊ［ｎ］は、近い部屋１０２内に位置する人々、音声デバイスおよび他の雑音発生源によって生成された局所音源信号を表す。
As shown in FIGS. 6 and 7, the
However, each microphone digital signal is characterized by the following equation:
y j [n] = s j [n] + e j [n]
s j [n] represents a local sound source signal generated by people, audio devices, and other noise sources located in the
本発明の方法およびシステム実施形態は、マイクロフォンデジタル信号毎に、局所音源信号｛ｓｊ［ｎ］｝Ｊに対して大きな歪みを引き起こすことなく、対応するマイクロフォンデジタル信号｛ｙｊ［ｎ］｝Ｊから、音響エコー｛ｅｊ［ｎ］｝Ｊを概ねキャンセルすることを対象とする。
図８は、本発明の一実施形態を表す、図６に示されるＭＥＣＵ６０２によって実行される音響エコーキャンセルのブロック図を示す。
ＭＥＣＵ６０２は、入力チャネル８０４〜８０６およびマイクロフォンチャネル８１０〜８０８を推定および追跡ブロック８０２に接続する矢印によって示されるように、デジタル信号｛ｘｉ［ｎ］｝Ｉおよびマイクロフォンデジタル信号｛ｙｊ［ｎ］｝Ｊを受信する推定および追跡ブロック８０２を含む。
推定および追跡ブロック８０２は、近似インパルス応答ベクトルを生成して、
The method and system embodiments of the present invention, for each microphone a digital signal, without causing large distortion to the local source signal {s j [n]} J , corresponding microphone digital signal {y j [n]} J Therefore, the acoustic echo {e j [n]} J is generally cancelled.
FIG. 8 shows a block diagram of acoustic echo cancellation performed by the
The
The estimation and tracking
を生成し、それに応じて、それらは、Ｊ個の適応フィルタにおいてマイクロフォンデジタル信号｛ｙｊ［ｎ］｝Ｊから減算され、それらのフィルタのうちの３つが破線の枠８１２〜８１４によって表される。
しかしながら、時刻サンプルｎ毎に近似インパルス応答ベクトル
Are subtracted from the microphone digital signal {y j [n]} J in J adaptive filters, and three of those filters are represented by dashed boxes 812-814. .
However, the approximate impulse response vector for each time sample n
を生成するのではなく、本発明の方法実施形態は、インパルス応答ベクトル The method embodiment of the present invention does not generate an impulse response vector
が、「コヒーレンス時間」と呼ばれる多数の時刻サンプルＮｃにわたってほとんど変化しないという仮定に基づく。
言い換えると、インパルス応答ベクトル毎に、Ｎｃ個の時刻サンプルにわたる最大偏差は、以下の式によって制限される。
Is based on the assumption that hardly changes over a large number of time samples N c , called “coherence time”.
In other words, for each impulse response vector, the maximum deviation over N c time samples is limited by the following equation:
ただし、Ｅは、インパルスに応答してマイクロフォンによって生成される最大増幅エネルギーまたは利得を表す。
結果として、本発明の方法は、時刻サンプルｎ毎に近似インパルス応答ベクトルの集合
Where E represents the maximum amplified energy or gain generated by the microphone in response to the impulse.
As a result, the method of the present invention produces a set of approximate impulse response vectors for each time sample n.
を求める代わりに、Ｎｄ個の時刻サンプル毎の開始時点において、 At the start of every N d time samples,
によって表される近似インパルス応答ベクトルの集合を計算する。
ただし、Ｎｄ＜＜ＮＣであり、ｍは正の整数である。
Ｎｄ個の時刻サンプルに伴う時間間隔は「決定期間」と呼ばれ、決定期間の開始時点は「決定エポック」と呼ばれる。
A set of approximate impulse response vectors represented by
However, N d << N C and m is a positive integer.
The time interval associated with N d time samples is called the “decision period”, and the starting point of the decision period is called the “decision epoch”.
図９は、本発明の実施形態を表す、近似インパルス応答ベクトルに関連付けられる決定期間および決定エポックのプロットを示す。
図９において、横軸９０２は時間軸を表し、構造９０４〜９０７はデジタル信号を表しており、エコーパスのためのインパルス応答を近似する。
縦方向の各線分は時刻サンプルに関連付けられるデジタル信号またはインパルス応答を表す。
詳細には、構造９０４内の縦方向の線分は、ｎ＋１個の連続したインパルス応答ベクトル
FIG. 9 shows a plot of the decision period and decision epoch associated with the approximate impulse response vector that represents an embodiment of the present invention.
In FIG. 9, the
Each vertical line represents a digital signal or impulse response associated with the time sample.
Specifically, the vertical line segments in
を表し、構造９０５内の縦方向の線分は、ｎ＋１個のマイクロフォンデジタル信号ｙｊ［ｎ］を表し、構造９０６内の縦方向の線分は、ｎ＋１個のデジタル信号ｘｉ［ｎ］を表す。
図８において、決定期間は６時刻サンプルから構成され、それぞれの開始時点は破線９０８〜９１０のうちの１つによって特定される。
本発明の方法実施形態によれば、推定および追跡ブロック８０２は、各決定期間の開始時点において、近似インパルス応答ベクトルの新たな集合
The vertical line segment in
In FIG. 8, the determination period is composed of 6 time samples, and each start time point is specified by one of broken lines 908 to 910.
In accordance with the method embodiment of the present invention, the estimation and tracking
を生成する。
たとえば、決定期間９１２中に、推定および追跡ブロック８０２が、決定期間９１２のための残響デジタル信号
Is generated.
For example, during the
を求めるために用いられる近似インパルス応答ベクトル Approximate impulse response vector used to find
を生成するものと仮定する。
次の決定期間９１４の開始時点９０８において、推定および追跡ブロック８０２は、新たな近似インパルス応答ベクトル
Is generated.
At the start time 908 of the
を生成し、その後、その新たな近似インパルス応答ベクトルを用いて、決定期間９１４の次のＮｄ個の時刻サンプルのための残響デジタル信号
And then using the new approximate impulse response vector, the reverberant digital signal for the next N d time samples of
が求められる。
一般的に、決定期間ｍＮｄの開始時点において、近似インパルス応答ベクトルの集合
Is required.
In general, at the beginning of the decision period mN d, a set of approximate impulse response vector
が、時間間隔［ｍＮｄ，（ｍ＋１）Ｎｄ−１］内の時刻サンプルｎ毎の近似インパルス応答ベクトルとして計算される。 Is calculated as an approximate impulse response vector for each time sample n within the time interval [mN d , (m + 1) N d −1].
図８に戻ると、適応フィルタ８１２〜８１４は、Ｊ個の適応フィルタのうちの最初の２つおよび最後のフィルタを表しており、該フィルタのそれぞれは、近似的な残響デジタル信号 Returning to FIG. 8, adaptive filters 812-814 represent the first two and the last of the J adaptive filters, each of which is an approximate reverberant digital signal.
を得るために、デジタル信号｛ｘｉ［ｎ］｝Ｉを推定および追跡ブロック８０２によって生成される対応する近似インパルス応答ベクトル
To obtain the corresponding approximate impulse response vector generated by the estimation and tracking
で畳み込むことを表す。
たとえば、適応フィルタ８１２は、デジタル信号｛ｘｉ［ｎ］｝Ｉを、近似インパルス応答ベクトル
Represents folding.
For example, the adaptive filter 812 converts the digital signal {x i [n]} I into an approximate impulse response vector.
でそれぞれ畳み込むことを表しており、それは、近似的な残響デジタル信号 Each of which represents an approximate reverberation digital signal.
を与える。
一般的に、第ｊの適応フィルタは、近似的な残響デジタル信号
give.
In general, the jth adaptive filter is an approximate reverberant digital signal.
を得るために、デジタル信号｛ｘｉ［ｎ］｝Ｉを近似インパルス応答ベクトル To obtain a digital signal {x i [n]} I as an approximate impulse response vector
でそれぞれ畳み込むことを表す。 Represents each folding.
Ｊ個の適応フィルタのそれぞれに関連付けられる残響デジタル信号を加算することによって、Ｊ個の近似音響エコーから成る集合 A set of J approximate acoustic echoes by adding the reverberant digital signals associated with each of the J adaptive filters
が生成される。
ただし、各ベクトルは以下の式によって与えられる。
Is generated.
However, each vector is given by the following equation.
Ｊ個の近似音響エコー J approximate acoustic echoes
は、生成されるのに応じて、加算接合部８１６〜８１８のような加算接合部においてマイクロフォンデジタル信号｛ｙｊ［ｎ］｝Ｊのそれぞれから減算され、結果として、Ｊ個の制御済みデジタル信号 Are subtracted from each of the microphone digital signals {y j [n]} J at summing junctions, such as summing junctions 816-818, as a result, resulting in J controlled digital signals.
が生成され、それらの信号の各要素は以下の式によって与えられる。 Are generated and each element of those signals is given by:
その差 The difference
は「残留エコー」と呼ばれる。
推定および追跡ブロック８０２によって実行される本発明の方法実施形態は、残留エコーを低減することを対象とする。
また、推定および追跡ブロック８０２は、制御済みデジタル信号
Is called "residual echo".
The method embodiment of the present invention performed by the estimation and tracking
The estimation and tracking
のそれぞれの非線形処理も制御する。
たとえば、マイクロフォンチャネル８０８〜８１０内に非線形処理ブロック（「ＮＰＢ」）８２０〜８２２が配置されており、それらは、推定および追跡ブロック８０２によって実行されるＪ個の非線形処理のうちの３つを表す。
ＮＰＢは、Ｊ個の処理済みデジタル信号｛ｒｊ［ｎ］｝Ｊを生成するために、対応する制御済みデジタル信号によって搬送される背景雑音および任意の残留エコーを減衰させる。
It also controls each non-linear process.
For example, non-linear processing blocks (“NPB”) 820-822 are located within the microphone channels 808-810, which represent three of the J non-linear processes performed by the estimation and tracking block 802. .
The NPB attenuates background noise and any residual echo carried by the corresponding controlled digital signal in order to produce J processed digital signals {r j [n]} J.
図６を参照しながら上述したように、ＭＥＣＵ６０２はＪ個の処理済みデジタル信号｛ｒｊ［ｎ］｝Ｊを生成し、それらは、音響エコーおよび背景雑音が概ねない遠い部屋１０４に伝送される。
As described above with reference to FIG. 6, the
図６に示されるように、ＭＥＣＵ６０２は、近い部屋１０２の外に配置することができる。
実際に、本発明の特定の実施形態では、ＭＥＣＵ６０２は、隣の部屋に、同じ建物内の一室に、または近い部屋１０２から数十、さらには数千マイルも離れて位置する部屋内に配置することができる。
本発明の他の実施形態では、ＭＥＣＵ６０２は、近い部屋１０２内に配置することができる。
本発明の他の実施形態では、遠い部屋１０４から近い部屋１０２に伝送されるデジタル信号｛ｘｉ［ｎ］｝Ｉ内の音響エコーをキャンセルするために、第２のＭＥＣＵを備えることができる。
As shown in FIG. 6, the
Indeed, in certain embodiments of the present invention, the
In other embodiments of the present invention, the
In another embodiment of the present invention, a second MECU may be provided to cancel the acoustic echo in the digital signal {x i [n]} I transmitted from the
ＩＩ．実施態様：
推定および追跡ブロック８０２は、近い部屋１０２と推定および追跡ブロック８０２との間で伝送される信号のための直流（「ＤＣ」）オフセット除去も含む場合がある。
ＤＣオフセットは、電気的な干渉によって引き起こされることが多い低周波の歪みである。
この電気的な干渉は、一定の電圧を生成し、それにより、スピーカから出力される音の中にクリック音およびポップ音を引き起こす可能性がある。
ＤＣオフセット除去は、以下のように、遠い部屋１０４において生成されるデジタル信号｛ｘｉ［ｎ］｝ＩのそれぞれにおけるＤＣオフセットを補正し、
ｘｉ［ｎ］＝ａｘｉ［ｎ−１］＋．５（１＋ａ）（ｘｉ，ｒｅｃ［ｎ］−ｘｉ，ｒｅｃ［ｎ−１］）
以下のように、近い部屋１０２において生成されるマイクロフォンデジタル信号｛ｙｊ［ｎ］｝ＪのそれぞれにおけるＤＣオフセットを補正する。
ｙｊ［ｎ］＝ａｙｊ［ｎ−１］＋．５（１＋ａ）（ｙｊ，ｍｉｃ［ｎ］−ｙｊ，ｍｉｃ［ｎ−１］）
ただし、ａは約０．９〜０．９９９９の範囲の定数である。
II. Embodiment:
The estimation and tracking
DC offset is a low frequency distortion that is often caused by electrical interference.
This electrical interference generates a constant voltage, which can cause clicks and pops in the sound output from the speaker.
DC offset removal corrects the DC offset in each of the digital signals {x i [n]} I generated in the
x i [n] = ax i [n−1] +. 5 (1 + a) (xi , rec [n] -xi , rec [n-1])
The DC offset in each of the microphone digital signals {y j [n]} J generated in the
y j [n] = ay j [n−1] +. 5 (1 + a) (y j, mic [n] −y j, mic [n−1])
However, a is a constant in the range of about 0.9 to 0.9999.
図１０〜図１６および以下の論考において示される制御フロー図は、マイクロフォンデジタル信号｛ｙｊ［ｎ］｝Ｊ内の音響エコーを低減すると共に、関連付けられる処理済みデジタル信号｛ｒｊ［ｎ］｝Ｊを生成するための多くの方法実施形態のうちの１つの実施形態の説明を提供する。 The control flow diagrams shown in FIGS. 10-16 and the following discussion reduce the acoustic echo in the microphone digital signal {y j [n]} J and the associated processed digital signal {r j [n]}. A description of one of many method embodiments for generating J is provided.
図１０は、近い部屋１０２から遠い部屋１０４まで伝送される複数の音声信号内の音響エコーを低減するための本発明の一実施形態を表す制御フロー図を示す。
図１０のステップ１００１では、下記で記述される式において用いられるパラメータが初期化される。
表１〜表３は、或る特定の用途において用いられる場合があるこれらのパラメータおよび関連付けられる初期値例を示す。
表１〜表３において示される値は、部屋の構成に依存し、それゆえ、変わることがあることに留意されたい。
FIG. 10 shows a control flow diagram representing one embodiment of the present invention for reducing acoustic echo in multiple audio signals transmitted from a
In
Tables 1 through 3 show examples of these parameters and associated initial values that may be used in certain applications.
Note that the values shown in Tables 1 to 3 depend on the room configuration and may therefore vary.
表１は、本発明の方法実施形態の動作中に典型的には変更されないままである定数を示す。
また、表１は、定数のそれぞれに関連付けられる値例も含む。
Table 1 shows constants that typically remain unchanged during operation of the method embodiments of the present invention.
Table 1 also includes example values associated with each of the constants.
表１において示されるパラメータに関連付けられる値は、近い部屋および遠い部屋の種々の条件、および部屋の構成に基づいて調整できることに留意されたい。
パラメータＰは、図１０のステップ１００４を参照しながら下記で説明されるデジタル信号ベクトル
Note that the values associated with the parameters shown in Table 1 can be adjusted based on various conditions of the near and far rooms and the configuration of the rooms.
The parameter P is a digital signal vector described below with reference to step 1004 of FIG.
内のデジタル信号ｙｊ （ｍ）［ｎ］の数である。
パラメータＮは、周波数領域ベクトル
Is the number of digital signals y j (m) [n].
Parameter N is a frequency domain vector
および and
内のデジタル信号の数である。
パラメータβ、η、λ、Ｋ１およびＫ２は、図１０〜図１４を参照しながら下記で説明される式の項に相対的重要度または重みを割り当てるために用いられる値である。
パラメータＧｍａｘおよびＧｍｉｎは、Ｊ個のマイクロフォンのそれぞれに関連付けられる最大利得および最小利得である。
パラメータＭは、図１０を参照しながら下記で説明されるダブルトーク中に用いられる。
The number of digital signals in
The parameters β, η, λ, K 1 and K 2 are values used to assign relative importance or weight to the terms of the equations described below with reference to FIGS.
The parameters G max and G min are the maximum and minimum gains associated with each of the J microphones.
The parameter M is used during the double talk described below with reference to FIG.
表２は、図１１〜図１２を参照しながら下記で説明される方法の反復中に変化する可変パラメータのための初期値を示す。 Table 2 shows initial values for variable parameters that change during the iterations of the method described below with reference to FIGS.
パラメータ Parameters
および and
はそれぞれ、デジタル信号ｘｉ （ｍ）［ｎ］およびｙｊ （ｍ）［ｎ］に関連付けられる短期エネルギー分散(variance)である。
パラメータ
Are the short-term energy variances associated with the digital signals x i (m) [n] and y j (m) [n], respectively.
Parameters
は制御済みデジタル信号 Is a controlled digital signal
内のエネルギーに関連付けられる短期エネルギー分散である。
パラメータ
The short-term energy variance associated with the energy within.
Parameters
および and
はそれぞれ、デジタル信号ｘｉ （ｍ）［ｎ］およびｙｊ （ｍ）［ｎ］に関連付けられる長期エネルギー分散である。
パラメータ
Are the long-term energy variances associated with the digital signals x i (m) [n] and y j (m) [n], respectively.
Parameters
は雑音に関連付けられる長期エネルギー分散である。
パラメータＭｉ，ｘ ２（０）およびＭｊ，ｙ ２（０）は、デジタル信号ｘｉ （ｍ）［ｎ］およびｙｊ （ｍ）［ｎ］に関連付けられる最大二乗エネルギーである。
パラメータＧ（０）は、図１２を参照しながら下記で説明される初期利得適応値である。
Is the long-term energy variance associated with noise.
The parameters M i, x 2 (0) and M j, y 2 (0) are the maximum square energy associated with the digital signals x i (m) [n] and y j (m) [n].
The parameter G (0) is an initial gain adaptation value described below with reference to FIG.
表３は、図１３〜図１４を参照しながら下記で説明される方法の反復中に変化するベクトル Table 3 shows the vectors that change during the iterations of the method described below with reference to FIGS.
および and
の成分のための初期値を示す。 The initial values for the components of
ベクトル vector
はベクトル Is a vector
に関連付けられる初期平均スペクトルであり、ベクトル Is the initial average spectrum associated with the vector
はベクトル Is a vector
に関連付けられる初期平均スペクトルであり、それらは、図１４Ａのステップ１４０２を参照しながら下記で説明される。
ベクトル
, Which are described below with reference to step 1402 of FIG. 14A.
vector
は図１４Ａのステップ１４０５を参照しながら下記で説明される発展信頼領域（evolving trust region）を定義する。
ベクトル
Defines an evolving trust region described below with reference to step 1405 of FIG. 14A.
vector
は図１４Ａのステップ１４０８を参照しながら下記で説明される初期シャドーインパルス応答ベクトルである。
ベクトル
Is the initial shadow impulse response vector described below with reference to step 1408 of FIG. 14A.
vector
は図１４Ａのステップ１４０９を参照しながら下記で説明される初期近似インパルス応答ベクトルである。 Is the initial approximate impulse response vector described below with reference to step 1409 of FIG. 14A.
ステップ１００２においてｆｏｒループが始まると、ステップ１００３〜１０１５が決定エポックｍ毎に繰り返される。
ステップ１００３においてｆｏｒループが始まると、時刻サンプルｎ毎にステップ１００４〜１０１２が繰り返される。
ステップ１００４では、推定および追跡ユニット８０２が遠い部屋１０４から出力されるＩ個のデジタル信号｛ｘｉ （ｍ）［ｎ］｝Ｉ、および近い部屋１０２から出力されるＪ個のデジタル信号｛ｙｊ （ｍ）［ｎ］｝Ｊを受信する。
ステップ１００５では、デジタル信号ベクトルの集合
When the for loop starts in
When the for loop starts in step 1003,
In
In
が形成される。
ただし、各デジタル信号ベクトルは、デジタル信号ｘｉ （ｍ）［ｎ］およびＬ＋Ｐ−１個の先行するデジタル信号ｘｉ （ｍ）［ｎ］から形成される（Ｌ＋Ｐ）成分デジタル信号ベクトル
Is formed.
However, each digital signal vector is an (L + P) component digital signal vector formed from a digital signal x i (m) [n] and L + P−1 preceding digital signals x i (m) [n].
である。
またステップ１００５では、マイクロフォンデジタル信号ベクトルの集合
It is.
Also in
が形成される。
ただし、各マイクロフォンデジタル信号ベクトルは、マイクロフォンデジタル信号ｙｊ （ｍ）［ｎ］およびＰ−１個の先行するデジタル信号ｙｊ （ｍ）［ｎ］から形成されるＰ成分マイクロフォンデジタル信号ベクトル
Is formed.
However, each microphone digital signal vector is a P component microphone digital signal vector formed from a microphone digital signal y j (m) [n] and P−1 preceding digital signals y j (m) [n].
である。
ステップ１００６では、集合
It is.
In
および and
内の各ベクトルに高速フーリエ変換（「ＦＦＴ」）が適用され、それによって対応する周波数領域ベクトルの集合 A fast Fourier transform (“FFT”) is applied to each vector in the, thereby a corresponding set of frequency domain vectors
および
が得られる。
ただし、ベクトル要素は以下の式によって与えられる。
Is obtained.
However, the vector element is given by the following equation.
ＦＦＴおよび対応する逆高速フーリエ変換（「ＩＦＦＴ」）は、時刻サンプル領域において畳み込みを実行するのを避けるために用いられることが多いタイプのフーリエ変換である。
ＦＦＴおよびＩＦＦＴを用いることは、時刻サンプル領域においてデジタル信号を畳み込むことよりも数百倍、さらには数千倍速くなり得る。
デジタル信号処理の分野のための多くの参考文献のうちの１つにすぎないが、多数の異なるＦＦＴ方法およびＩＦＦＴ方法が、A. Oppenhiemer、R. SchaferおよびJ. Buck著「Discrete-Time Signal Processing（第２版）」（Prentice Hall, Inc.,（1999-2000））において記述される。
上記で参照された書籍から、またはこの分野における多くの他の教本、論文および雑誌記事から、さらなる詳細を入手することができる。
ステップ１００７では、制御済みデジタル信号ベクトルの集合
FFT and the corresponding inverse fast Fourier transform (“IFFT”) is a type of Fourier transform that is often used to avoid performing convolution in the time sample domain.
Using FFT and IFFT can be hundreds or even thousands times faster than convolving digital signals in the time sample domain.
Although only one of many references for the field of digital signal processing, a number of different FFT and IFFT methods are described by A. Oppenhiemer, R. Schafer and J. Buck, “Discrete-Time Signal Processing. (Second Edition) ”(Prentice Hall, Inc., (1999-2000)).
Further details can be obtained from the books referenced above or from many other textbooks, papers and journal articles in the field.
In
が計算される。
ただし、各制御済みデジタル信号ベクトルは以下のように計算される。
Is calculated.
However, each controlled digital signal vector is calculated as follows.
ただし、 However,
は長さＮｄの打切り演算子であり、
「
Is a truncation operator of length N d ,
"
」は２つのベクトルの成分毎の乗算を表し、 "Represents the multiplication of each component of two vectors,
であり、 And
は第ｊのマイクロフォンデジタル信号内の周波数領域音響エコーを表す。
３つ組（１，２，３）および（３，１，２）の成分毎の乗算は以下のように表される。
Represents a frequency domain acoustic echo in the jth microphone digital signal.
Multiplication for each component of the triples (1, 2, 3) and (3, 1, 2) is expressed as follows.
ステップ１００８では、ルーチン「制御状態を求める」が呼び出され、該ルーチンは、近い部屋１０２と遠い部屋１０４との間に存在する可能性がある４つのタイプの音声信号伝送を特定する。
４つのタイプの音声信号伝送は、「制御状態」（「ＣＳ」）と呼ばれ、以下のように特定される：（１）近端の部屋１０２からのみ音声信号が出力され、ＳＮＥＯによって表される；（２）遠端の部屋１０４からのみ音声信号が出力され、ＳＦＥＯによって表される；（３）近端の部屋１０２および遠端の部屋１０４の両方から同時に音声信号が出力され、「ダブルトーク」呼ばれ、ＳＤＴよって表される；（４）近端の部屋１０２および遠端の部屋１０４から音声信号が出力されず、ＳＮＳによって表される。
ステップ１００９では、Ｊ個の利得補正された処理済みデジタル信号｛ｒｊ （ｍ）［ｎ］｝Ｊを計算するために、ルーチン「残留エコー抑圧」が呼び出される。
ステップ１０１０では、処理済みデジタル信号｛ｒｊ （ｍ）［ｎ］｝Ｊが遠い部屋１０４に伝送される。
ステップ１０１１では、ｎが（ｍ＋１）Ｎｄ−１以下であるとき、制御がステップ１０１２に移り、そうでない場合には、制御はステップ１０１３に移る。
ステップ１０１２では、時刻サンプルｎが「１」だけインクリメントされ、ステップ１００４〜１０１１が繰り返される。
言い換えると、Ｎｄ決定期間中に、近似インパルス応答ベクトル
In
The four types of audio signal transmissions are called “control states” (“CS”) and are specified as follows: (1) Audio signals are output only from the near-
In
In
In
In
In other words, during the N d determination period, the approximate impulse response vector
は更新されない。
ステップ１０１３では、別の決定エポックｍが入手可能であるとき、制御がステップ１０１４に移り、そうでない場合には、ルーチン「｛ｒｊ［ｎ］｝Ｊを求める」が終了される。
ステップ１０１４では、決定エポックｍが「１」だけインクリメントされる。ステップ１０１５では、ルーチン「
Will not be updated.
At
In
を求める」が呼び出される。
言い換えると、Ｎｄ個の決定エポックを有する新たな決定期間が開始され、近似インパルス応答ベクトルが更新される。
Is called.
In other words, a new decision period begins with N d number of decision epoch, the approximate impulse response vector is updated.
図１１Ａ〜図１１Ｃは、本発明の一実施形態を表す、図１０のステップ１００８において呼び出されるルーチン「制御状態を求める」のための制御フロー図を示す。
図１１Ａのステップ１１０１においてｆｏｒループが始まると、インデックスｉ∈｛１，...，Ｉ｝毎にステップ１１０２〜１１１４が繰り返される。
ステップ１１０２では、ベクトル
11A-11C show a control flow diagram for the routine “find control state” called in
When the for loop starts in
In
に関連付けられる平均二乗エネルギーが以下のように計算され、 The mean square energy associated with is calculated as
その平均二乗エネルギーに関して長期エネルギー分散が以下の式によって再帰的に求められる。 With respect to the mean square energy, the long-term energy variance is recursively determined by the following equation.
ステップ１１０３〜１１０７では、デジタル信号ベクトル
In
に関連付けられる最大二乗エネルギーＭｉ，ｘ ２（ｍ）が求められる。
ステップ１１０３では、最大二乗エネルギーＭｉ，ｘ ２（ｍ−１）が平均二乗エネルギーＥｉ，ｘ ２（ｍ）未満である場合には、制御がステップ１１０４に移り、そうでない場合には、制御はステップ１１０５に移る。
ステップ１１０４では、最大二乗エネルギーは以下の式によって計算され、
The maximum square energy M i, x 2 (m) associated with is determined.
In
In
制御はステップ１１０８に移る。
ステップ１１０５では、平均二乗エネルギーＥｉ，ｘ ２（ｍ）が０．１Ｍｉ，ｘ ２（ｍ−１）よりも大きいとき、制御がステップ１１０６に移り、そうでない場合には、制御はステップ１１０７に移る。
ステップ１１０６では、最大二乗エネルギーが以下の式によって計算され、
Control transfers to step 1108.
In
In
制御はステップ１１０８に移る。
ステップ１１０７では、最大二乗エネルギーＭｉ，ｘ ２（ｍ）が、先行する決定期間からのＭｉ，ｘ ２（ｍ−１）の値を割り当てられる。
ステップ１１０８〜１１１３では、ブール論理値「真」および「偽」がブール変数Ｔ１ｉ、Ｔ２ｉに割り当てられる。
ステップ１１０８では、長期分散
Control transfers to step 1108.
In
In
In
が０．０１Ｍｉ，ｘ ２（ｍ）以上であるとき、制御がステップ１１０９に移り、Ｔ１ｉが「真」に設定され、そうでない場合には、制御はステップ１１１０に移り、Ｔ１ｉは「偽」に設定される。
ステップ１１１１では、平均二乗エネルギーＥｉ，ｘ ２（ｍ）が０．０１Ｍｉ，ｘ ２（ｍ）以上であるとき、制御がステップ１１１２に移り、Ｔ２ｉが「真」に設定され、そうでない場合には、制御はステップ１１１４に移り、Ｔ２ｉは「偽」に設定される。
ステップ１１１４では、ｉがＩよりも大きい場合には、制御が図１１Ｂのステップ１１１６に移り、そうでない場合には、制御はステップ１１１５に移る。
ステップ１１１５では、ｉが「１」だけインクリメントされ、ステップ１１０２〜１１１４が繰り返される。
When is equal to or greater than 0.01M i, x 2 (m) , control is transferred to step 1109 and T1 i is set to “true”; otherwise, control is transferred to step 1110 and T1 i is “ Set to false.
In
In
In
図１１Ｂのステップ１１１６においてｆｏｒループが始まると、インデックスｊ∈｛１，...，Ｊ｝毎にステップ１１１７〜１１３１が繰り返される。
ステップ１１１６では、以下のように、
When the for loop starts in
In
およびシャドーエラーベクトル And shadow error vector
に関して平均エネルギーが計算され、 Average energy is calculated for
以下の式によって、それらの平均二乗エネルギーに関して長期エネルギー分散が再帰的に求められる。 The long-term energy variance is recursively determined with respect to their mean square energy by the following equation.
ステップ１１１８〜１１２２では、デジタル信号ベクトル
In
に関連付けられる最大二乗エネルギーＭｉ，ｙ ２（ｍ）が求められる。
ステップ１１１８では、最大二乗エネルギーＭｉ，ｙ ２（ｍ−１）が平均二乗エネルギーＥｉ，ｙ ２（ｍ）未満であるとき、制御がステップ１１１９に移り、そうでない場合には、制御はステップ１１２０に移る。
ステップ１１１９では、最大二乗エネルギーが、以下の式によって計算され、
Ｍｉ，ｙ ２（ｍ）＝ｍｉｎ{Ｅｉ，ｙ ２（ｍ），１０Ｍｉ，ｙ ２（ｍ−１）}
制御がステップ１１２３に移る。
ステップ１１２０では、平均二乗エネルギーＥｉ，ｙ ２（ｍ）が０．１Ｍｉ，ｙ ２（ｍ−１）よりも大きいときに、制御がステップ１１２１に移り、そうでない場合には、制御はステップ１１２１に移る。
ステップ１１２１では、最大二乗エネルギーが以下の式によって計算され、
Ｍｉ，ｙ ２（ｍ）＝０．９９９Ｍｉ，ｙ ２（ｍ−１）＋０．００１Ｅｉ，ｙ ２（ｍ）
制御がステップ１１２３に移る。
ステップ１１２３〜１１２８では、ブール論理値「真」および「偽」が、ブール変数Ｔ３ｊ、Ｔ４ｊに割り当てられる。
ステップ１１２３では、平均二乗エネルギー
The maximum square energy M i, y 2 (m) associated with is determined.
In
In
M i, y 2 (m) = min {E i, y 2 (m) , 10M i, y 2 (m−1) }
Control transfers to step 1123.
In
In
M i, y 2 (m) = 0.999M i, y 2 (m-1) + 0.001E i, y 2 (m)
Control transfers to step 1123.
In
In
が、 But,
以上であるとき、制御がステップ１１２４に移り、Ｔ３ｊが「真」に設定され、そうでない場合には、制御はステップ１１２５に移り、Ｔ３ｊは「偽」に設定される。
ステップ１１２６では、長期分散
If so, control moves to step 1124 and T3 j is set to “true”; otherwise, control passes to step 1125 and T3 j is set to “false”.
In
が０．０１Ｍｉ，ｙ ２（ｍ）以上であるときに、制御がステップ１１２７に移り、Ｔ４ｊが「真」に設定され、そうでない場合には、制御はステップ１１２８に移り、Ｔ４ｊは「偽」に設定される。
ステップ１１２９では、以下の式に従って、エコーリターンロスエンハンスメント値（「ＥＲＬＥ」）が計算される。
Is greater than 0.01M i, y 2 (m) , control passes to step 1127 and T4 j is set to “true”; otherwise, control passes to step 1128 where T4 j is Set to “false”.
In step 1129, an echo return loss enhancement value (“ERLE”) is calculated according to the following equation:
ただし、 However,
は平均二乗エネルギーＥｉ，ｘ ２（ｍ）および Is the mean square energy E i, x 2 (m) and
にそれぞれ関連付けられる短期分散である。
ＥＲＬＥを用いて、システムが状態ＳＦＥＯにあるときに音響エコーキャンセルの性能を測定することができ、システムが図１３Ａのステップ１３０９において下記で説明されるダブルトークにあるときに近似インパルス応答ベクトルを求めることができる。
ステップ１１３０では、ｊがＪよりも大きいとき、制御が図１１Ｃのステップ１１３２に移り、そうでない場合には、制御はステップ１１３１に移る。
ステップ１１３１では、ｊが「１」だけインクリメントされ、ステップ１１１７〜１１３０が繰り返される。
Are the short-term variances associated with each.
ERLE can be used to measure acoustic echo cancellation performance when the system is in state S FEO and approximate impulse response vectors when the system is in double talk as described below in
In
In
図１１Ｃのステップ１１３２においてｆｏｒループが始まると、ｊ∈｛１，...，Ｊ｝毎にステップ１１３３〜１１４５が繰り返される。
ステップ１１３３においてｆｏｒループが始まると、ｉ∈｛１，...，Ｉ｝毎にステップ１１３４〜１１４３が繰り返される。
ステップ１１３４〜１１４１では、図１１Ａのステップ１１０８〜１１１３および図１１Ｂのステップ１１２３〜１１２８において求められたブール論理値を用いて、エコーパス毎の制御状態ＣＳｉｊが求められる。
ステップ１１３４では、Ｔ１ｉおよびＴ３ｊが「真」であり、且つＴ２ｉおよびＴ４ｊが「偽」であるときに、制御がステップ１１３５に移り、ＣＳｉｊがＳＮＥＯを割り当てられ、そうでない場合には、制御はステップ１１３６に移る。
ステップ１１３６では、Ｔ１ｉおよびＴ４ｊが「真」であり、且つＴ２ｉが「偽」である場合には、制御がステップ１１３７に移り、ＣＳｉｊがＳＮＳを割り当てられ、そうでない場合には、制御はステップ１１３８に移る。
ステップ１１３８では、Ｔ２ｉが「真」であり、且つＴ１ｉ、Ｔ３ｊおよびＴ４ｊが「偽」である場合には、制御がステップ１１３９に移り、ＣＳｉｊがＳＦＥＯを割り当てられ、そうでない場合には、制御はステップ１１４０に移る。
ステップ１１４０では、Ｔ２ｉおよびＴ３ｊが「真」であり、且つＴ１ｉおよびＴ４ｊが「偽」である場合には、制御がステップ１１４１に移り、ＣＳｉｊがＳＤＴを割り当てられ、そうでない場合には、制御はステップ１１４２に移る。
ステップ１１４２では、ｉがＩよりも大きいとき、制御がステップ１１４４に移り、そうでない場合には、制御はステップ１１４３に移る。
ステップ１１４３では、ｉが「１」だけインクリメントされ、ステップ１１３４〜１１４２が繰り返される。
ステップ１１４４において、ｊがＪよりも大きいとき、｛ＣＳｉｊ｝ＩＪおよび｛ＥＲＬＥｊ （ｍ）｝Ｊが返され、そうでない場合には、ステップ１１４５において、ｊが「１」だけインクリメントされ、ステップ１１３３〜１１４４が繰り返される。
When the for loop starts in
When the for loop starts in
In
At
In
In
In
At
In
In
図１２は、本発明の一実施形態を表す、図１０のステップ１００９において呼び出されるルーチン「残留エコー抑圧」のための制御フロー図である。
ステップ１２０１においてｆｏｒループが始まると、インデックスｊ毎にステップ１２０２〜１２０７が繰り返される。
音声伝送の制御状態を用いて、処理済みデジタル信号｛ｒｊ （ｍ）［ｎ］｝Ｊのそれぞれにおける利得が補正される。
たとえば、ダブルトーク中に、または近い部屋１０２においてのみ音声信号が生成されるとき、制御済みデジタル信号
FIG. 12 is a control flow diagram for the routine “residual echo suppression” called in
When the for loop starts in
The gain in each of the processed digital signals {r j (m) [n]} J is corrected using the control state of the voice transmission.
For example, a controlled digital signal when an audio signal is generated during double talk or only in the
によって得られる利得は、遠い部屋１０４においてのみ音声信号が生成されるとき、または音声信号が全く伝送されないときよりも大きい。
制御済みデジタル信号が得ることができる利得の最大量および最小量はそれぞれ、定数ＧｍａｘおよびＧｍｉｎによって表される。
ステップ１２０２〜１２０５は、各処理済みデジタル信号｛ｒｊ （ｍ）［ｎ］｝Ｊのそれぞれにおける利得を調整する。
ステップ１２０２において、ダブルトークであるとき、または近い部屋１０２においてのみ音が生成されるとき、制御がステップ１２０３に移り、そうでない場合には、制御はステップ１２０４に移る。
ステップ１２０３では、以下のように、利得が計算される。
Ｇ（ｍ）＝Ｋ２Ｇ（ｍ−１）＋（１−Ｋ２）Ｇｍａｘ
ただし、Ｋ２は、Ｇ（ｍ−１）に対して、最大利得Ｇｍａｘよりも低い相対的重要度を割り当てる重みである。
ステップ１２０４では、その利得は以下のように計算される。
Ｇ（ｍ）＝Ｋ１Ｇ（ｍ−１）＋（１−Ｋ１）Ｇｍｉｎ
ただし、Ｋ１は、Ｇ（ｍ−１）に対して、最小利得Ｇｍｉｎよりも相対的に高い重要度を割り当てる重みである。
ステップ１２０５において、第ｊの処理済みデジタル信号は以下の式によって求められる。
Is greater than when an audio signal is generated only in the
The maximum and minimum amounts of gain that the controlled digital signal can obtain are represented by the constants G max and G min , respectively.
Steps 1202-1205 adjust the gain in each of each processed digital signal {r j (m) [n]} J.
In
In
G (m) = K 2 G (m-1) + (1-K 2) G max
However, K 2, relative to G (m-1), a weight to assign a lower relative importance than maximum gain G max.
In step 1204, the gain is calculated as follows.
G (m) = K 1 G (m-1) + (1-K 1) G min
However, K 1 is a weight for assigning a relatively higher importance to G (m−1) than the minimum gain G min .
In
ステップ１２０６では、ｊがＪ以下であるとき、制御がステップ１２０７に移り、ｊが「１」だけインクリメントされ、そうでない場合には、処理済みデジタル信号｛ｒｊ （ｍ）［ｎ］｝Ｊが返される。
In
図１３Ａは、本発明の一実施形態を表す、図１０のステップ１０１５において呼び出されるルーチン「
FIG. 13A illustrates a routine “invoked in
を求める」のための制御フロー図である。
ステップ１３０２においてｆｏｒループが始まると、ｉ∈｛１，...，Ｉ｝毎にステップ１３０２〜１３１３が繰り返される。
ステップ１３０２においてｆｏｒループが始まると、ｊ∈｛１，...，Ｊ｝毎にステップ１３０３〜１３１１が繰り返される。
ステップ１３０３では、ＣＳｉｊがＳＦＥＯであるとき、制御がステップ１３０４に移り、そうでない場合には、制御はステップ１３０５に移る。
ステップ１３０４では、ルーチン「
FIG.
When the for loop starts in
When the for loop starts in
In
In
を計算する」が呼び出され、近似インパルス応答ベクトル Is calculated and the approximate impulse response vector
が計算される。
ステップ１３０５において、ＣＳｉｊがＳＮＥＯまたはＳＮＳであるとき、制御がステップ１３０６に移り、そうでない場合には、制御はステップ１３０７に移る。
ステップ１３０６では、先行するインパルス応答
Is calculated.
In
In
内の対応する値にベクトル Vector to the corresponding value in
内の要素を割り当てることによって、インパルス応答ベクトルが更新され、先行する決定期間からのシャドーインパルス応答ベクトル By assigning elements in the impulse response vector is updated and the shadow impulse response vector from the preceding decision period
内の対応する要素にシャドーインパルス応答ベクトル Shadow impulse response vector to the corresponding element in
内の要素を割り当てることによってシャドーインパルス応答ベクトルが更新される。
ステップ１３０７、１３０８および１３０９を用いて、図１３Ｂ〜図１３Ｃを参照しながら下記で説明されるように、ダブルトークの存在を誤って解釈するのを防ぐ。
ステップ１３０７において、「カウント」が「０」に等しくないとき、制御がステップ１３０７に移り、そうでない場合には、制御はステップ１３０９に移る。
ステップ１３０８では、「カウント」が「１」だけデクリメントされ、制御がステップ１３０６に移る。
ステップ１３０９では、集合
The shadow impulse response vector is updated by assigning the elements in
In
In
In
によって表されるインパルス応答データ構造から、ダブルトークのための近似インパルス応答ベクトル Approximate impulse response vector for double talk from the impulse response data structure represented by
が選択される。
ステップ１３１０では、「カウント」が値Ｍを割り当てられる。
値Ｍは１０、１２、１５、１８または任意の他の適切な値とすることができる。
ステップ１３１０では、ｊがＪよりも大きいとき、制御がステップ１３１２に移り、そうでない場合には、制御はステップ１３１１に移る。
ステップ１３１１では、ｉが「１」だけインクリメントされ、ステップ１３０２〜１３１０が繰り返される。
ステップ１３１２では、ｉがＩよりも大きい場合には、近似インパルス応答ベクトルの集合
Is selected.
In
The value M can be 10, 12, 15, 18, or any other suitable value.
In
In
In
が返され、そうでない場合には、制御はステップ１３１３に移り、ｊが「１」だけインクリメントされる。 Is returned, otherwise control passes to step 1313 where j is incremented by "1".
Ｉ×Ｊ個のインパルス応答データ構造が存在し、異なるエコーパス毎に１つのインパルス応答データ構造が存在することに留意されたい。
各データ構造は、最も高い信号対雑音比を有する、Ｋ個の最新の近似インパルス応答を含む。
決定エポックｍの下付き文字は、インパルス応答ベクトルがデータ構造に追加された順序に対応する。
たとえば、ステップ１３０９のデータ構造では、インパルス応答ベクトル
Note that there are I × J impulse response data structures, one impulse response data structure for each different echo path.
Each data structure includes the K most recent approximate impulse responses with the highest signal-to-noise ratio.
The subscript of decision epoch m corresponds to the order in which impulse response vectors were added to the data structure.
For example, in the data structure of
は、そのデータ構造内に最も長く存在しており、インパルス応答ベクトル Is the longest in the data structure and the impulse response vector
は、そのデータ構造に直前に追加された。
ダブルトーク中に信号対雑音比は急激に劣化するので、ダブルトーク中に近似インパルス応答ベクトルは更新されないことに留意されたい。
雑音が増加すると、近似インパルス応答ベクトルが歪む。
この歪みを回避するために、近似インパルス応答ベクトル
Was added just before that data structure.
Note that the approximate impulse response vector is not updated during double talk because the signal-to-noise ratio degrades rapidly during double talk.
As noise increases, the approximate impulse response vector is distorted.
To avoid this distortion, the approximate impulse response vector
は、対応するインパルス応答データ構造から選択される。
本発明の種々の実施形態において、近似インパルス応答ベクトルは、任意の数の異なる判定基準に基づいて選択することができる。
たとえば、本発明の一実施形態では、ステップ１３０９において、いずれのインパルス応答ベクトルが最も大きな対応する
Are selected from the corresponding impulse response data structure.
In various embodiments of the present invention, the approximate impulse response vector can be selected based on any number of different criteria.
For example, in one embodiment of the present invention, in
を有するかに従って、１つの近似インパルス応答ベクトルを選択することができる。
本発明の別の実施形態では、ステップ１３０９において、いずれの近似インパルス応答ベクトルがデータ構造内で最も長く存在しているかに基づいて、対応するデータ構造から近似インパルス応答ベクトルを選択することができ、その近似インパルス応答ベクトルは
One approximate impulse response vector can be selected according to
In another embodiment of the present invention, in
である。 It is.
図１３Ａの制御フロー図において、対応するエコーパスにおいて伝送される雑音を誤ってＳＤＴと解釈するのを防ぐために、ステップ１３０７、１３０８および１３０６がＭ回にわたって繰り返される。
図１３Ｂ〜図１３Ｃは、本発明の一実施形態を表す、４つのタイプの制御状態のための増幅エネルギー対時間の２つのプロットを示す。
図１３Ｂ〜図１３Ｃにおいて、縦軸１３１４のような縦軸は、近い部屋１０２と遠い部屋１０４との間で伝送される信号に関連付けられる増幅エネルギーを表し、横軸１３１５のような横軸は時刻を表し、破線１３１６のような水平な破線は、ダブルトークしきい値エネルギーＥｔｈに対応する。
曲線１３１８および１３２０は、近い部屋１０２と遠い部屋１０４との間で伝送される信号に関連付けられる増幅エネルギーを表す。
ダブルトークしきい値エネルギーＥｔｈより低い増幅エネルギーは、ＳＦＥＯ、ＳＮＥＯまたはＳＮＳ制御状態に対応する。
ピーク１３２２はダブルトークから生じる増幅エネルギーに対応し、それはダブルトークしきい値Ｅｔｈよりも大きい。
しかしながら、ピーク１３２４は、近い部屋１０２または遠い部屋１０４において生成されるエコーパス雑音に対応する。
ダブルトークが実際には発生していない場合であっても、増幅エネルギーがダブルトークしきい値エネルギーＥｔｈを超えているので、この雑音が発生した当初には、ダブルトークが発生したかのように見える。
短い持続時間の雑音をダブルトークと誤って解釈するのを防ぐために、時刻１３２６において、ステップ１３０６、１３０７および１３０５を参照しながら説明された変数「カウント」でカウントダウンが始まり、ダブルトークがＭ回繰り返されたことが確認されるまで、ステップ１３０８においてデータ構造
In the control flow diagram of FIG. 13A, in order to prevent the interpretation and S DT incorrectly noise transmitted in the corresponding echo paths,
FIGS. 13B-13C show two plots of amplified energy versus time for four types of control conditions that represent one embodiment of the present invention.
13B to 13C, the vertical axis such as the
An amplification energy lower than the double talk threshold energy E th corresponds to the S FEO , S NEO or S NS control state.
However,
Even if double talk does not actually occur, the amplified energy exceeds the double talk threshold energy Eth , so that at the beginning of this noise, it appears as if double talk has occurred. Looks like.
In order to prevent misinterpretation of short duration noise as double talk, at
から近似インパルス応答ベクトルを選択するのを防ぐ。
言い換えると、本発明の方法は、Ｍ回の決定期間にわたってダブルトークが生じなかったかのように動作し続ける。
図１３Ｂの時刻１３２８において示されるように、Ｍ回繰り返した後に増幅エネルギーが減少している場合には、ダブルトークのための近似インパルス応答ベクトルを不適切に選択するのが回避されている。
言い換えると、図１３Ｃの時刻１３３０における曲線１３２０において示されるように、Ｍ回繰り返した後に、増幅エネルギーが増加している場合には、ステップ１３０９において、ダブルトークのための近似インパルス応答ベクトルが選択される。
To select an approximate impulse response vector from
In other words, the method of the present invention continues to operate as if double talk did not occur over M decision periods.
As shown at
In other words, if the amplified energy has increased after M iterations, as shown in
図１４〜図１７を参照しながらここで説明される方法はエコーパス毎に繰り返される。
図１４Ａは、本発明の一実施形態を表す、図１４のステップ１３０４において呼び出されるルーチン「
The method described herein with reference to FIGS. 14-17 is repeated for each echo path.
FIG. 14A illustrates a routine “invoked in
を計算する」のための制御フロー図である。
ステップ１４０１では、周波数領域依存ベクトルを得るために、シャドーインパルス応答ベクトル
FIG. 6 is a control flow diagram for “calculating”.
In
にＦＦＴが適用される。 FFT is applied.
ステップ１４０２では、周波数領域シャドーエラーベクトルが以下のように計算される。
In
ただし、ＴｒＰは長さＰの打切り演算子であり、 Where Tr P is a truncation operator of length P,
である。
ステップ１４０３では、シャドーエラーベクトルを得るために、周波数領域シャドーエラーベクトルにＩＦＦＴが適用される。
It is.
In
ステップ１４０４では、シャドーミスマッチベクトル
In
を計算するために、ルーチン「 To calculate the routine "
を求める」が呼び出される。
ステップ１４０５では、以下の再帰式に従って、発展信頼領域ベクトルが求められる。
Is called.
In
パラメータηは重み係数である。
信頼領域ベクトル
The parameter η is a weighting factor.
Trust region vector
を用いて、ステップ１４０６において呼び出されるルーチン「μｉｊ，ｍを求める」においてシャドー更新ステップサイズμｉｊ，ｍが計算される。
また、信頼領域ベクトル
Is used to calculate the shadow update step size μ ij, m in the routine “find μ ij, m ” called in
Trust region vector
を用いて、ステップ１４０７において呼び出されるルーチン「γｉｊ，ｍを求める」において適応ステップサイズγｉｊ，ｍが計算される。
ステップ１４０８では、ステップ１４０４において求められたシャドーミスマッチベクトル
Is used to calculate the adaptive step size γ ij, m in the routine “find γ ij, m ” called in
In
およびステップ１４０６において求められたシャドー更新ステップサイズμｉｊ，ｍを用いて、シャドーインパルス応答ベクトルが再帰的に計算される。
Using the shadow update step size μ ij, m obtained in
ステップ１４０９では、ステップ１４０７において求められた適応ステップサイズγｉｊ，ｍを用いて、以下のように、近似インパルス応答ベクトルが再帰的に計算される。
In
パラメータγｉｊ，ｍは重み係数として用いられる。
ステップ１４１０では、ＥＲＬＥｊ （ｍ）がしきい値Ｃよりも大きいとき、制御がステップ１４１１に移る。
しきい値Ｃは、１０、１２、１５または近似インパルス応答ベクトル
The parameter γ ij, m is used as a weighting factor.
In
Threshold C is 10, 12, 15 or approximate impulse response vector
を重み付けするための任意の他の適切な値とすることができる。
ステップ１４１１では、図１３Ａのステップ１３０９を参照しながら上記で説明されたインパルス応答データ構造
Can be any other suitable value for weighting.
In
が更新される。 Is updated.
インパルス応答ベクトルは、インパルス応答データ構造内に、ｍ１＞ｍ２＞...＞ｍＫ−１＞ｍＫのように決定エポック値が大きくなる順序に配列される。
ただし、決定エポックｍＫは、最も長い時間にわたってデータ構造内に存在している近似インパルス応答ベクトルに対応し、決定エポックｍ１は、直前にデータ構造に追加された近似インパルス応答ベクトルに対応する。
本発明の一実施形態では、データ構造からインパルス応答ベクトル
The impulse response vectors are arranged in the order of increasing determined epoch values in the impulse response data structure, such as m 1 > m 2 >...> M K−1 > m K.
However, the decision epoch m K corresponds to the approximate impulse response vector that exists in the data structure for the longest time, and the decision epoch m 1 corresponds to the approximate impulse response vector added to the data structure immediately before.
In one embodiment of the present invention, an impulse response vector is derived from the data structure.
を除去し、ステップ１４０９において計算されたデータ構造に、直前に計算されたインパルス応答ベクトル
And the data structure calculated in
を追加することによって、ステップ１４１１においてデータ構造を更新することができ、それにより以下のインパルス応答データ構造が与えられる。
To update the data structure in
本発明の他の実施形態では、ステップ１４１１において、各近似インパルス応答ベクトルに関連付けられるＥＲＬＥ値の大きさに従ってデータ構造を更新することができる。
ステップ１４０９において計算された、直前に計算された近似インパルス応答ベクトルの追加に対応すると共に、ステップ１４１０においてＥＲＬＥがしきい値条件を満たすようにするために、たとえば、関連するＥＲＬＥ値が最も小さな近似インパルス応答ベクトルが、そのデータ構造から除去される。
In other embodiments of the invention, the data structure can be updated in
In order to accommodate the addition of the previously calculated approximate impulse response vector calculated in
ステップ１４０６において呼び出されるルーチン「μｉｊ，ｍを求める」によって求められるシャドー更新ステップサイズμｉｊ，ｍは、ステップ１４０８において求められたシャドーインパルス応答ベクトル
The shadow update step size μ ij, m obtained by the routine “find μ ij, m ” called in
が、Ｌ次元探索空間(search space)Ｕ内にある発展「信頼領域」内に存在するのを概ね確実にする。
シャドーインパルス応答ベクトル
Generally exists in an evolutionary “trust region” in the L-dimensional search space U.
Shadow impulse response vector
毎に、探索空間Ｕ内にある１つの別個の信頼領域が存在する。
その信頼領域は、探索空間Ｕ内にある、超円領域、超楕円領域、超立方領域、または任意の他の超次元領域のような多くの異なる超次元形状を有することができる。
For each, there is one separate trust region in the search space U.
The confidence region can have many different superdimensional shapes, such as a supercircular region, a superelliptical region, a hypercubic region, or any other superdimensional region within the search space U.
図１４Ｂを参照しながら説明される本発明の一実施形態では、信頼領域は、探索空間Ｕ内に存在する超楕円領域であると仮定される。
図１４Ｂは、本発明の一実施形態を表す、探索空間Ｕ１４２２内に位置する超楕円領域１４２０の２次元表示を提供する。
図１４Ｂにおいて、領域１４２０および１４２２は２次元において表されるが、実際には、これらの領域は、実際
In one embodiment of the invention described with reference to FIG. 14B, the trust region is assumed to be a hyperelliptic region that exists in the search space U.
FIG. 14B provides a two-dimensional representation of a
In FIG. 14B,
のＬ次元ベクトル部分空間であり、 L-dimensional vector subspace of
の原点を中心にして配置される。
超楕円領域１４２０の形状は、ステップ１４０５において計算される信頼領域ベクトル
It is arranged around the origin of.
The shape of the
によって決定され、この例では、そのベクトルは超楕円領域１４２０の形状を定義する超楕円ベクトルである。
言い換えると、図１４Ｂに示されるように、点によって表される予め求められた６つのシャドーインパルス応答ベクトルが、ベクトル
In this example, the vector is a hyperelliptic vector that defines the shape of the
In other words, as shown in FIG. 14B, six previously determined shadow impulse response vectors represented by points
に関連付けられる超楕円領域１４２０内に存在する。
後続の超楕円体規定ベクトル
Exists in the
Subsequent hyperelliptic rule vector
が求められるとき、関連する領域は探索空間Ｕ１４２２内で向きを変えるが、この新たな向きの楕円領域も概ね楕円形状を保持するので、この超楕円領域１４２０は「発展する」超楕円領域と呼ばれる。
図１５を参照しながら下記で説明されるように、シャドー更新ステップサイズμｉｊ，ｍは超楕円体規定ベクトル
The associated region changes direction in the search space U1422, but this newly oriented elliptical region also retains a generally elliptical shape, so this
As will be described below with reference to FIG. 15, the shadow update step size μ ij, m is a hyperellipsoid defining vector.
の関数であるので、再帰式 Recursive expression
に従って計算された、新たに計算されたシャドーインパルス応答ベクトル A newly calculated shadow impulse response vector calculated according to
は新たな向きの超楕円領域内に入る。
図１４Ｂに示されるように、ベクトル１４２４によって示されるように、シャドーミスマッチベクトル
Falls within the super-elliptical region of the new orientation.
As shown in FIG. 14B, a shadow mismatch vector, as indicated by
の大きさおよび方向が大きいとき、ベクトル１４２６によって示されるように、シャドー更新ステップサイズμｉｊ，ｍがシャドーミスマッチベクトル
Is large, the shadow update step size μ ij, m is the shadow mismatch vector , as indicated by
を小さくし、その方向を変更する。
結果として、シャドーインパルス応答ベクトル
And change its direction.
As a result, the shadow impulse response vector
は新たな向きの超楕円領域１４２８内に入る。
Enters the
本発明の他の実施形態では、シャドーインパルス応答ベクトルを更新するために、単一のシャドー更新ステップサイズμｉｊ，ｍを計算するのではなく、結果として生成されるシャドーインパルス応答ベクトルが信頼領域内に入るように、シャドーインパルス応答ベクトル In another embodiment of the invention, rather than calculating a single shadow update step size μ ij, m to update the shadow impulse response vector, the resulting shadow impulse response vector is within the confidence region. The shadow impulse response vector
に加えられる第２のベクトルを計算することによって、シャドーインパルス応答ベクトルの大きさを変更して信頼領域内に入るようにすることができることに留意されたい。 Note that the magnitude of the shadow impulse response vector can be changed to fall within the confidence region by calculating the second vector applied to.
図１５は、本発明の一実施形態を表す、図１４のステップ１４０４において呼び出されるルーチン「
FIG. 15 illustrates a routine “invoked in
を求める」のための制御フロー図である。
ステップ１５０１では、周波数領域ベクトル
FIG.
In
の平均スペクトルが以下のように計算され、 The average spectrum of is calculated as
周波数領域シャドーエラーベクトル Frequency domain shadow error vector
の平均スペクトルが以下のように計算される。 Is calculated as follows.
ただし、以下の式が成り立つ。 However, the following equation holds.
パラメータβは重み係数である。
ステップ１５０２では、図１１において計算される最大エネルギーを用いて、以下の値が求められる。
The parameter β is a weighting factor.
In
ステップ１５０３〜１５０６では、Ｎ成分周波数領域プレコンディショニングベクトル In steps 1503-1506, N component frequency domain preconditioning vectors
の要素が求められる。
ステップ１５０３においてｆｏｒループが始まると、周波数領域のインデックスｋ毎にステップ１５０４〜１５０６が繰り返される。
ステップ１５０４では、プレコンディショニングベクトル
Elements are required.
When the for loop starts in
In
の要素が以下のように計算される。 The elements of are calculated as follows:
ただし、ｋは０〜Ｎ−１の範囲にある。
ステップ１５０５では、ｋがＮ−１未満であるとき、制御がステップ１５０６に移り、そうでない場合には、制御はステップ１５０７に移る。
ステップ１５０６では、インデックスｋが値「１」だけインクリメントされる。
ステップ１５０７では、ベクトル
However, k is in the range of 0 to N-1.
In
In
In
が以下のように計算される。 Is calculated as follows.
ただし、ＴｒＬはサイズＬの打切り演算子であり、 Where Tr L is a truncation operator of size L,
である。 It is.
図１６は、本発明の一実施形態を表す、図１４のステップ１４０６において呼び出されるルーチン「μｉｊ，ｍを求める」のための制御フロー図である。
ステップ１６０１では、パラメータ
FIG. 16 is a control flow diagram for the routine “find μ ij, m ” called at
In
が以下のように計算される。 Is calculated as follows.
ステップ１６０２では、
In
が値「１」よりも大きいとき、制御がステップ１６０３に移り、そうでない場合には、制御はステップ１６０４に移る。
ステップ１６０３では、μｉｊ，ｍが値
If is greater than the value “1”, control passes to step 1603, otherwise control passes to step 1604.
In
を割り当てられる。
ステップ１６０４では、μｉｊ，ｍが値「０．２」を割り当てられる。
Assigned.
In
図１７は、本発明の一実施形態を表す、図１４のステップ１４０７において呼び出されるルーチン「γｉｊ，ｍを求める」のための制御フロー図である。
ステップ１７０１では、パラメータγ＿ｓｃａｌｅｉｊ （ｍ）が以下のように計算される。
FIG. 17 is a control flow diagram for the routine “find γ ij, m ” called in
In
ステップ１７０２では、
In
であるとき、且つＭ個の時刻サンプル後に、制御がステップ１７０３に移り、そうでない場合には、制御はステップ１７０４に移る。
ステップ１７０３では、パラメータｃｉｊ，ｍが以下のように再帰的に計算される。
ｃｉｊ，ｍ＝ｍａｘ{＝ｃｉｊ，ｍ−１−４０００，４００}
ステップ１７０４では、パラメータｃｉｊ，ｍが以下のように再帰的に計算される。
ｃｉｊ，ｍ＝ｍａｘ{＝ｃｉｊ，ｍ−１＋１，４００００}
ステップ１７０５では、以下の式に従って、γｉｊ，ｍが値を割り当てられる。
And after M time samples, control passes to step 1703, otherwise control passes to step 1704.
In
c ij, m = max {= c ij, m−1 −4000,400}
In
c ij, m = max {= c ij, m−1 +1,40000}
In
ただし、νｉｊ，ｍは図１５のステップ１５０２において計算される。
ステップ１７０６では、γ＿ｓｃａｌｅｉｊ （ｍ）が「１」より大きいとき、制御がステップ１７０７に移る。
ステップ１７０７では、γｉｊ，ｍが以下の値を割り当てられる。
However, ν ij, m is calculated in
In
In
本発明が１つの実施形態に関して説明されてきたが、本発明の方法はこの実施形態には限定されない。
たとえば、本発明の他の実施形態では、音響エコーキャンセルは、マイクロフォンデジタル信号の一部にのみ適用される場合がある。
詳細には、本発明の音響エコーキャンセル方法は、全てのマイクロフォンデジタル信号に適用するのではなく、振幅が或る所定のしきい値よりも高いマイクロフォンデジタル信号にのみ適用することができる。
Although the present invention has been described with respect to one embodiment, the method of the present invention is not limited to this embodiment.
For example, in other embodiments of the present invention, acoustic echo cancellation may be applied only to a portion of the microphone digital signal.
Specifically, the acoustic echo cancellation method of the present invention is not applied to all microphone digital signals, but can be applied only to microphone digital signals whose amplitude is higher than a predetermined threshold value.
これまでの説明は、本発明の完全な理解を提供するために、説明の目的上、特殊な用語を使用した。
しかしながら、本発明を実施するのに、具体的な細部が不要であることは当業者には明らかになるであろう。
本発明の特定の実施形態のこれまでの説明は、例示および説明の目的のために提示された。
それらの実施形態は、本発明を包括的に述べることも、本発明を開示されるのと全く同じ形態に限定することも意図していない。
上記の教示に鑑みて、多くの変更および変形が可能であることは明らかである。
それらの実施形態は、本発明の原理およびその実用的な用途を最もよく説明し、それにより、当業者が、意図される特定の用途に合わせるように種々の変更を加えて、本発明および種々の実施形態を最大限に利用できるようにするために、図示および説明される。
本発明の範囲は、以下の特許請求の範囲およびそれらの均等物によって規定されることが意図されている。
The previous description uses specific terminology for the purpose of explanation in order to provide a thorough understanding of the present invention.
However, it will be apparent to one skilled in the art that the specific details are not required in order to practice the invention.
The foregoing descriptions of specific embodiments of the present invention have been presented for purposes of illustration and description.
These embodiments are not intended to be exhaustive or to limit the invention to the exact form disclosed.
Obviously, many modifications and variations are possible in view of the above teachings.
These embodiments best illustrate the principles of the invention and its practical application, so that those skilled in the art can make various changes to the invention and various modifications to suit the particular application intended. In order to make the best use of the embodiments, they are shown and described.
It is intended that the scope of the invention be defined by the following claims and their equivalents.
１００・・・２地点間モノチャネル音声会議通信システム，
１０２・・・近い部屋，
１０４・・・遠い部屋，
１０６，１０８・・・マイクロフォン，
１１０，１１２・・・通信チャネル，
１１４・・・スピーカ、
６００・・・混合マルチチャネル音声通信システム，
６０２・・・マルチチャネルエコー制御ユニット（ＭＥＣＵ），
６０４・・・スピーカ，
６０６・・・マイクロフォン，
100: Monochannel audio conference communication system between two points,
102 ... Close room,
104 ... distant room,
106, 108 ... microphones,
110, 112 ... communication channel,
114 ... speaker,
600... Mixed multi-channel audio communication system,
602... Multi-channel echo control unit (MECU),
604 ... Speaker,
606 ... Microphone,
Claims (10)
前記第１の場所に配置される複数のスピーカ（６０４）、および、それぞれ前記第１の場所において生成される音および該複数のスピーカによって生成される音響エコーを含む前記複数のマイクロフォンデジタル信号のうちの１つを生成する複数のマイクロフォン（６０６）を設けることと、
前記複数のマイクロフォンのそれぞれと前記複数のスピーカのそれぞれとの間の１つのエコーパス（７０２）に対応する近似インパルス応答を求めることと、
それぞれ前記複数のスピーカのうちの１つによって再生されるデジタル信号を多数の前記近似インパルス応答で畳み込むことに対応する複数の近似音響エコーを求めることと、
前記対応する近似音響エコーに基づいて、前記マイクロフォンデジタル信号のうちの少なくとも１つにおいて前記音響エコーを低減することと
を含む音響エコーを低減する方法。 A method for reducing acoustic echo in a plurality of microphone digital signals transmitted from a first location (102) to a second location (104), comprising:
Among the plurality of microphone digital signals including a plurality of speakers (604) disposed at the first location, and a sound generated at the first location and an acoustic echo generated by the plurality of speakers, respectively. Providing a plurality of microphones (606) for generating one of
Determining an approximate impulse response corresponding to one echo path (702) between each of the plurality of microphones and each of the plurality of speakers;
Determining a plurality of approximate acoustic echoes each corresponding to convolving a digital signal reproduced by one of the plurality of speakers with a number of the approximate impulse responses;
Reducing the acoustic echo in at least one of the microphone digital signals based on the corresponding approximate acoustic echo.
前記第１の場所においてのみ音声信号が生成されるタイプと、
前記第２の場所においてのみ音声信号が生成されるタイプと、
前記第１の場所および前記第２の場所において同時に音声信号が生成されるタイプと、
前記第１の場所または前記第２の場所のいずれにおいても音声信号が生成されないタイプのうちの１つとして、各前記エコーパスに関連付けられる音声伝送のタイプを特定することと
をさらに含む請求項１に記載の方法。 Finding the approximate impulse response is
A type in which an audio signal is generated only in the first location;
A type in which an audio signal is generated only in the second location;
A type in which an audio signal is simultaneously generated in the first location and the second location;
The method of claim 1, further comprising: identifying a type of audio transmission associated with each echo path as one of the types in which no audio signal is generated at either the first location or the second location. The method described.
ｊ∈｛１，Ｋ Ｊ｝はマイクロフォンのインデックス(index)であり、
ｉ∈｛１，Ｋ Ｉ｝はスピーカのインデックスであり、
ＴｒＮｄは決定期間長Ｎｄの打切り演算子であり、
ＩＦＦＴは逆高速フーリエ変換であり、
「
制御済みデジタル信号を求めること
をさらに含む請求項１に記載の方法。 Reducing the acoustic echo in each of the microphone digital signals is to determine a controlled digital signal as follows:
j∈ {1, K J} is the index of the microphone,
i∈ {1, KI} is the index of the speaker,
Tr Nd is a truncation operator with a decision period length N d ,
IFFT is an inverse fast Fourier transform,
"
ＦＦＴは高速フーリエ変換であり、
FFT is a fast Fourier transform,
前記第１の場所と前記第２の場所との間で信号が伝送されないとき、または前記第１の場所から前記第２の場所に信号が伝送されるときに、
前記第１の場所と前記第２の場所との間で信号が同時に伝送されるときに、最も高い信号対雑音比を有するＫ個の最新の近似インパルス応答
前記第２の場所から前記第１の場所にのみ信号が伝送されるときに、
γｉｊ，ｍはインパルス応答ステップサイズである、利用することと
をさらに含む、請求項４に記載の方法。 The approximate impulse response vector
When no signal is transmitted between the first location and the second location, or when a signal is transmitted from the first location to the second location,
K most recent approximate impulse responses with the highest signal-to-noise ratio when signals are transmitted simultaneously between the first location and the second location
When a signal is transmitted only from the second location to the first location,
The method of claim 4, further comprising: using γ ij, m is an impulse response step size.
Ｍ回の決定期間にわたって、
ｃｉｊ，ｍ＝ｍａｘ{＝ｃｉｊ，ｍ−１−４０００，４００}
であり、そうでない場合には、
ｃｉｊ，ｍ＝ｍａｘ{＝ｃｉｊ，ｍ−１＋１，４００００}
である
計算すること
をさらに含む請求項５に記載の方法。 The impulse response step size γ ij, m is
Over M decision periods,
c ij, m = max {= c ij, m−1 −4000,400}
And if not,
c ij, m = max {= c ij, m−1 +1,40000}
The method of claim 5, further comprising: calculating.
設定すること
をさらに含む請求項６に記載の方法。 The impulse response step size γ ij, m is determined when γ_scale ij (m) is larger than “1”.
μｉｊ，ｍはシャドー更新ステップサイズである
利用すること
をさらに含む請求項５に記載の方法。 Recursively calculating the shadow impulse response vector includes
The method of claim 5, further comprising: μ ij, m is a shadow update step size.
ただし、
ｍは決定期間に関連付けられる整数であり、
Ｌはベクトル成分の数であり、
ＩＦＦＴは逆フーリエ変換演算子であり、
ＴｒＬはサイズＬの打切り演算子であり、
λは安定化定数であり、
Ｍｉ，ｘ ２（ｍ）は前記デジタル信号に関連付けられる最大エネルギーであり、
Ｍｊ，ｙ ２（ｍ）は前記マイクロフォンデジタル信号に関連付けられる最大エネルギーである
利用することをさらに含む請求項８に記載の方法。 Calculating the shadow mismatch vector
However,
m is an integer associated with the decision period;
L is the number of vector components,
IFFT is an inverse Fourier transform operator,
Tr L is a truncation operator of size L,
λ is the stabilization constant
M i, x 2 (m) is the maximum energy associated with the digital signal;
9. The method of claim 8, further comprising using Mj, y2 (m) is a maximum energy associated with the microphone digital signal.
μｉｊ，ｍ＝０．２を設定し、
そうでない場合には、
設定すること
をさらに含む請求項８に記載の方法。 The shadow update step size μ ij, m is equal to when μ_scale ij (m) is> 1.
Set μ ij, m = 0.2,
If not,
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/799,266 US8204249B2 (en) | 2007-04-30 | 2007-04-30 | Methods and systems for reducing acoustic echoes in multichannel audio-communication systems |
| US11/799,266 | 2007-04-30 | ||
| PCT/US2008/005662 WO2008137059A2 (en) | 2007-04-30 | 2008-04-30 | Methods and systems for reducing acoustic echoes in multichannel audio-communication systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010527181A true JP2010527181A (en) | 2010-08-05 |
| JP4897921B2 JP4897921B2 (en) | 2012-03-14 |
Family
ID=39887006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010506328A Expired - Fee Related JP4897921B2 (en) | 2007-04-30 | 2008-04-30 | Method and system for reducing acoustic echo in a multi-channel audio communication system |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8204249B2 (en) |
| EP (1) | EP2130298A4 (en) |
| JP (1) | JP4897921B2 (en) |
| KR (1) | KR20100016119A (en) |
| WO (1) | WO2008137059A2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019168730A (en) * | 2013-12-05 | 2019-10-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Estimating room impulse response for acoustic echo cancellation |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8204249B2 (en) * | 2007-04-30 | 2012-06-19 | Hewlett-Packard Development Company, L.P. | Methods and systems for reducing acoustic echoes in multichannel audio-communication systems |
| US8208649B2 (en) * | 2009-04-28 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Methods and systems for robust approximations of impulse responses in multichannel audio-communication systems |
| US9215327B2 (en) * | 2011-06-11 | 2015-12-15 | Clearone Communications, Inc. | Methods and apparatuses for multi-channel acoustic echo cancelation |
| CN103337242B (en) * | 2013-05-29 | 2016-04-13 | 华为技术有限公司 | A kind of sound control method and opertaing device |
| GB201309781D0 (en) | 2013-05-31 | 2013-07-17 | Microsoft Corp | Echo cancellation |
| GB201414352D0 (en) * | 2014-08-13 | 2014-09-24 | Microsoft Corp | Reversed echo canceller |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2691186B2 (en) * | 1988-09-26 | 1997-12-17 | 日本電信電話株式会社 | Echo canceller for multipoint conference |
| US5796819A (en) | 1996-07-24 | 1998-08-18 | Ericsson Inc. | Echo canceller for non-linear circuits |
| US6553122B1 (en) * | 1998-03-05 | 2003-04-22 | Nippon Telegraph And Telephone Corporation | Method and apparatus for multi-channel acoustic echo cancellation and recording medium with the method recorded thereon |
| KR100272131B1 (en) | 1998-04-15 | 2000-11-15 | 윤종용 | Adaptive reverbation cancelling apparatus |
| JP4734714B2 (en) * | 2000-12-22 | 2011-07-27 | ヤマハ株式会社 | Sound collection and reproduction method and apparatus |
| JP3506138B2 (en) | 2001-07-11 | 2004-03-15 | ヤマハ株式会社 | Multi-channel echo cancellation method, multi-channel audio transmission method, stereo echo canceller, stereo audio transmission device, and transfer function calculation device |
| JP4591685B2 (en) * | 2004-03-31 | 2010-12-01 | ヤマハ株式会社 | Double talk state determination method, echo cancellation method, double talk state determination device, echo cancellation device, and program |
| JP4504782B2 (en) | 2004-10-25 | 2010-07-14 | 日本電信電話株式会社 | Echo cancellation method, apparatus for implementing this method, program, and recording medium therefor |
| US8204249B2 (en) * | 2007-04-30 | 2012-06-19 | Hewlett-Packard Development Company, L.P. | Methods and systems for reducing acoustic echoes in multichannel audio-communication systems |
-
2007
- 2007-04-30 US US11/799,266 patent/US8204249B2/en not_active Expired - Fee Related
-
2008
- 2008-04-30 JP JP2010506328A patent/JP4897921B2/en not_active Expired - Fee Related
- 2008-04-30 KR KR1020097022839A patent/KR20100016119A/en not_active Application Discontinuation
- 2008-04-30 WO PCT/US2008/005662 patent/WO2008137059A2/en active Application Filing
- 2008-04-30 EP EP08767500A patent/EP2130298A4/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019168730A (en) * | 2013-12-05 | 2019-10-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Estimating room impulse response for acoustic echo cancellation |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2130298A4 (en) | 2010-04-07 |
| US20080267420A1 (en) | 2008-10-30 |
| KR20100016119A (en) | 2010-02-12 |
| EP2130298A2 (en) | 2009-12-09 |
| JP4897921B2 (en) | 2012-03-14 |
| US8204249B2 (en) | 2012-06-19 |
| WO2008137059A3 (en) | 2008-12-31 |
| WO2008137059A2 (en) | 2008-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5288723B2 (en) | Multi-channel echo compensation | |
| US11297178B2 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
| KR101250124B1 (en) | Apparatus and Method for Computing Control Information for an Echo Suppression Filter and Apparatus and Method for Computing a Delay Value | |
| KR101676393B1 (en) | Acoustic multi-channel cancellation | |
| US9800734B2 (en) | Echo cancellation | |
| US8000482B2 (en) | Microphone array processing system for noisy multipath environments | |
| JP4897921B2 (en) | Method and system for reducing acoustic echo in a multi-channel audio communication system | |
| TWI682672B (en) | Echo cancellation system and method with reduced residual echo | |
| CA2574713A1 (en) | Separation of target acoustic signals in a multi-transducer arrangement | |
| US8320574B2 (en) | Methods and systems for reducing acoustic echoes in communication systems | |
| SE518039C2 (en) | Apparatus and Procedure for Increasing the Understanding of Loudspeaker Output and for Echo Leakage in Phones | |
| JP4544993B2 (en) | Echo processing apparatus for single-channel or multi-channel communication system | |
| JP2004349806A (en) | Multichannel acoustic echo canceling method, apparatus thereof, program thereof, and recording medium thereof | |
| KR100633213B1 (en) | Methods and apparatus for improving adaptive filter performance by inclusion of inaudible information | |
| CN109326297B (en) | Adaptive post-filtering | |
| US20100272274A1 (en) | Methods and systems for robust approximations of impulse reponses in multichannel audio-communication systems | |
| US8045730B1 (en) | Methods and systems for reducing acoustic echoes in communication systems | |
| Garre et al. | An Acoustic Echo Cancellation System based on Adaptive Algorithm | |
| Kotte | Performance Analysis of Adaptive Algorithms based on different parameters Implemented for Acoustic Echo Cancellation in Speech Signals | |
| WO1997007624A1 (en) | Echo cancelling using signal preprocessing in an acoustic environment | |
| Nwe et al. | Acoustic Echo Cancellation Using Adaptive Least Mean Square Algorithm | |
| Isen | Applied Adaptive Filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111128 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4897921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |