JP2006072052A - Method and system for reflected wave removal - Google Patents
Method and system for reflected wave removal Download PDFInfo
- Publication number
- JP2006072052A JP2006072052A JP2004256389A JP2004256389A JP2006072052A JP 2006072052 A JP2006072052 A JP 2006072052A JP 2004256389 A JP2004256389 A JP 2004256389A JP 2004256389 A JP2004256389 A JP 2004256389A JP 2006072052 A JP2006072052 A JP 2006072052A
- Authority
- JP
- Japan
- Prior art keywords
- reflected wave
- autocorrelation function
- received
- wave
- delay time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、受波器によって受信された音波から、その音波に含まれる反射成分を取り除くようにした反射波除去方法などに関するものである。 The present invention relates to a reflected wave removing method and the like in which a reflected component included in a sound wave is removed from a sound wave received by a receiver.
実環境下における音声認識では、周囲の壁からの反射や残響、その他の雑音の影響により音声認識率が極端に低下する。この実環境下において音声認識率を向上させる手法としては、雑音や残響を除去する手法や、雑音に適応させる手法がある。前者としては下記に示す非特許文献１や、非特許文献２に示されるものが代表的である。後者としては、クリーン音声から作成されたＨＭＭを雑音や残響の存在する環境に適応させるＨＭＭ合成分解法（非特許文献３）が挙げられる。
In speech recognition in a real environment, the speech recognition rate is extremely lowered due to the influence of reflection, reverberation from the surrounding walls, and other noises. As a technique for improving the speech recognition rate in this real environment, there are a technique for removing noise and reverberation and a technique for adapting to noise. Typical examples of the former are those shown in Non-Patent
更に、受音した音波から反射波を抽出する手法としては、下記の特許文献１などに示されるようなものが存在する。この特許文献１に示される反射波抽出方法は、正四面体の頂点に設置された複数のマイクと、基準パルスを出力する無指向性スピーカを具備してなるもので、複数のマイクによって集音した信号からインパルスレスポンスを測定し、この測定値に直接音を用いてデコンボリュージョン処理を施し、この処理によって得られた信号から各マイクまでの反射波の時間差を求めて方向別の反射波を抽出できるようにしたものである。
ところで、マイクで受音した音波から、その中に含まれる反射波を除去する場合、その反射波の遅延時間を抽出するだけではなく、どのような反射波がどれくらいの減算率で含まれているかを特定しなければならない。しかしながら、上記特許文献１に記載されるような方法では、反射波の遅延時間のみしか抽出しておらず、どのような減算率の反射波が含まれているかを演算していないため、正確に反射波を除去することができない。また、上記特許文献１に記載されている反射波抽出方法では、マイクを正四面体の４頂点に設置するようにしているが、様々な使用環境下においてマイクをこのような場所に設置するのが困難な場合が多く、実際の運用面においては、任意の位置にマイクを設置できるようにするのが好ましい。
By the way, when removing the reflected wave contained in the sound wave received by the microphone, not only extracting the delay time of the reflected wave but also what kind of reflected wave is included at what subtraction rate Must be identified. However, in the method as described in
そこで、本発明は上記課題に着目してなされたものであり、任意の場所に配置された複数の受波器を用いて、正確に反射波を除去することができる反射波除去方法などを提供することを目的とするものである。 Accordingly, the present invention has been made paying attention to the above-mentioned problems, and provides a reflected wave removal method and the like that can accurately remove a reflected wave by using a plurality of receivers arranged at arbitrary locations. It is intended to do.
本発明は上記課題を解決すべく、受波器によって受信された受信波から反射波を除去する場合、まず、複数の受波器によって受信されたそれぞれの受信波の自己相関関数を算出し、また、少なくとも２以上の自己相関関数の平均である平均自己相関関数を算出する。そして、この平均自己相関関数と特定の受波器によって受信された受信波の自己相関関数の差を求め、ローカルピークを与える遅延時間から、特定の反射経路に対する遅延時間を抽出する。そして、特定の受波器によって受信された受信波から、この受信波に前記遅延時間及び所定の減算率を考慮した反射波を除去するようにしたものである。 In order to solve the above problems, the present invention, when removing a reflected wave from a received wave received by a receiver, first calculates an autocorrelation function of each received wave received by a plurality of receivers, Further, an average autocorrelation function that is an average of at least two autocorrelation functions is calculated. Then, the difference between the average autocorrelation function and the autocorrelation function of the received wave received by the specific receiver is obtained, and the delay time for the specific reflection path is extracted from the delay time giving the local peak. Then, from the received wave received by a specific receiver, a reflected wave in consideration of the delay time and a predetermined subtraction rate is removed from the received wave.
このようにすれば、任意の場所に複数のマイクを設置したとしても、その受音した音波の自己相関関数の平均をとることによって、これを実際の音源における音波の自己相関関数と類似したものとすることができ、この音源における自己相関関数とみなされた平均自己相関関数と、あるマイクで受音した音波の自己相関関数の差をとることによって、ローカルピークを与える部分から反射波の遅延時間を判定することができるようになる。そして、この遅延時間と所定の減算率を考慮した反射波を除去すれば、正確に反射波を除去することができるようになる。 In this way, even if multiple microphones are installed at an arbitrary location, by taking the average of the autocorrelation function of the received sound wave, it is similar to the sound wave autocorrelation function of the actual sound source. By taking the difference between the average autocorrelation function regarded as the autocorrelation function in this sound source and the autocorrelation function of the sound wave received by a certain microphone, the delay of the reflected wave from the portion that gives the local peak The time can be determined. Then, if the reflected wave considering this delay time and a predetermined subtraction rate is removed, the reflected wave can be accurately removed.
また、好ましい態様として、減算率を決定するに際しては、まず、仮に反射波の減算率を定めておき、これと先に抽出された遅延時間とを用いて反射波を除去する。そして、その反射波を除去した後の信号の自己相関関数と音源の音波に対する自己相関関数とみなされた平均自己相関関数との差が所定値内に収まるように減算率を決定していく。 As a preferred mode, when determining the subtraction rate, first, the subtraction rate of the reflected wave is determined, and the reflected wave is removed using this and the previously extracted delay time. Then, the subtraction rate is determined so that the difference between the autocorrelation function of the signal after removing the reflected wave and the average autocorrelation function regarded as the autocorrelation function for the sound wave of the sound source falls within a predetermined value.
このようにすれば、実際の音源の自己相関関数とほぼ同じ自己相関関数となるように減算率を決定するため、最適な減算率を特定して反射波を除去することができるようになる。 In this way, since the subtraction rate is determined so that the autocorrelation function is substantially the same as the autocorrelation function of the actual sound source, the optimum subtraction rate can be specified and the reflected wave can be removed.
更に、次の反射経路の反射波を除去する場合、まず、既に反射波を除去した後の信号を受信波とみなし、先に抽出された反射波の遅延時間を用いて、順次同様にして反射波の減算率を決定していく。 Further, when removing the reflected wave of the next reflection path, first, the signal after removing the reflected wave is regarded as a received wave, and sequentially reflected in the same manner using the delay time of the reflected wave extracted earlier. Determine the wave subtraction rate.
このようにすれば、受信波として既に第１経路の反射波を除去した信号を用いて次の反射経路の反射波を除去するため、第２経路以降の反射波を除去した後においては、短時間の処理で音源の音波に近づけることができるようになる。 In this way, since the reflected wave of the next reflected path is removed using the signal from which the reflected wave of the first path has already been removed as the received wave, the reflected wave after the second path is removed. It becomes possible to approach the sound wave of the sound source by processing time.
そして、このように反射波を除去する場合、遅延時間の短いものから順に反射波を除去するようにする。 And when removing a reflected wave in this way, a reflected wave is removed in an order with a short delay time.
このようにすれば、直接波に最も影響すると考えられる遅延時間の短い反射波から順に除去するので、より早く音源の音波に近づけることができるようになる。 In this way, since the reflected waves having the shortest delay time, which are considered to have the most influence on the direct wave, are removed in order, the sound wave of the sound source can be brought closer to the earliest possible time.
また、平均自己相関関数を算出する場合、少なくとも反射波の除去対象となる受信波に対する自己相関関数を除いた平均自己相関関数を算出する。 Further, when calculating the average autocorrelation function, the average autocorrelation function excluding at least the autocorrelation function with respect to the received wave from which the reflected wave is to be removed is calculated.
このようにすれば、平均自己相関関数に対して自己の自己相関関数の影響を少なくすることができ、これらの差をとることによって遅延時間を正確に抽出することができるようになる。 In this way, the influence of the self autocorrelation function on the average autocorrelation function can be reduced, and the delay time can be accurately extracted by taking these differences.
本発明では、複数の受波器によって受信された受信波の自己相関関数と、これらの自己相関関数の平均である平均自己相関関数との差を求め、ローカルピークを与える遅延時間から、特定の反射経路に対する遅延時間を抽出するとともに、この遅延時間を有する反射波に所定の減算率を積算して反射波を除去するようにしたので、正確に反射波を除去することができるようになる。 In the present invention, a difference between an autocorrelation function of received waves received by a plurality of receivers and an average autocorrelation function that is an average of these autocorrelation functions is obtained, and a specific time is determined from a delay time that gives a local peak. Since the delay time with respect to the reflection path is extracted and the reflected wave is removed by adding a predetermined subtraction rate to the reflected wave having this delay time, the reflected wave can be accurately removed.
（第一の実施の形態）
以下、本発明の反射波除去システム１における一実施の形態について図面を参照して説明する。図１は、複数のマイクＭｍ（ｍ＝１、２…）と音源であるスピーカーＳとの位置関係を示し、そのスピーカーＳから出力された音波の伝搬状態を示したものである。また、図２は、そのマイクＭｍに接続される反射波除去システム１の機能ブロック図を示したものであり、図３は、反射波除去システム１における反射波除去処理のフローチャートを示したものである。なお、本実施の形態においては、スピーカーＳから出力された音波を対象に反射波を除去する場合について説明するが、これに限らず、レーダーや無線通信などにおける受信波から反射波を除去する場合についても適用することができる。
(First embodiment)
Hereinafter, an embodiment of the reflected
図１において、Ｍｍ（ｍ＝１、２、…）は受波器であるマイク、Ｓは音源であるスピーカー、Ｗは壁面を示している。このスピーカーＳから出力された音波は直接マイクＭｍに入力され、また、壁面Ｗを介して反射波としてマイクＭｍに入力される。このマイクＭｍは、所定の距離を隔てて設置され、例えば、スピーカーＳからの音波を適度に受音できる場所、例えば、スピーカーＳから１〜２ｍの距離などに設置される。また、それぞれのマイクＭｍは、密接した位置ではなく、それぞれ若干離れた場所に設置される。なお、この図１においては、マイクＭｍを２カ所に設置するようにしているが、このようなマイクＭｍの個数は限定されるものではなく、できる限り多くの場所に設けるようにするのが良い。 In FIG. 1, M m (m = 1, 2,...) Is a microphone that is a receiver, S is a speaker that is a sound source, and W is a wall surface. The sound wave output from the speaker S is directly input to the microphone M m, also, it is input to the microphone M m as a reflected wave through the wall W. The microphone M m is placed at a predetermined distance, for example, reasonably sound receiving can where sound waves from the speaker S, for example, is installed from the speaker S, such as a distance of 1 to 2 m. Further, each of the microphone M m is not a close position, are disposed slightly away respectively. Note that in this figure 1, the but so as to install the microphone M m at two positions, so that such a number of microphones M m is not limited, provided in many places as possible Is good.
このような構成において、まずマイクＭｍによって受音された音波から反射波を除去する場合の基本原理について説明する。 In such a configuration, it will be described first basic principle of the case of removing the reflected wave from the sound wave that has been received sound by the microphone M m.
まず、実環境下においてスピーカーＳから出力された音声は、周囲の雑音、空間伝達中に受ける歪みや壁面Ｗからの反射の影響を受けてマイクＭｍに受音される。図１において、実線で示される矢印はスピーカーＳからの直接音を示し、破線で示される矢印は壁面Ｗからの反射波を示している。図１において反射波を２本だけ示しているが、実際は多数本存在する。この反射波は、壁面Ｗの様々な面において反射され、異なる経路によってマイクＭｍに受音される。このときマイクＭｍで受音した音声は数１で表される。
First, the sound output from the speaker S in the actual environment is received by the microphone M m under the influence of ambient noise, distortion received during space transmission, and reflection from the wall surface W. In FIG. 1, an arrow indicated by a solid line indicates a direct sound from the speaker S, and an arrow indicated by a broken line indicates a reflected wave from the wall surface W. Although only two reflected waves are shown in FIG. 1, there are actually many reflected waves. This reflected wave is reflected in various aspects of the wall surface W, it is received sound to the microphone M m by different routes. At this time, the sound received by the microphone M m is expressed by
ここでs(t)は音源である元の信号、iはノイズ源の番号、ni(t)はノイズ、hi(t)はノイズ源からマイクＭｍまでのインパルス応答、s(t)とhi(t)の間の演算子及びni(t)とhi(t)の間の演算子は畳み込み演算子を示している。ここでは反射波のみを取り扱うこととするので、数１は数２のように簡略化することができる。
Here, s (t) is an original signal that is a sound source, i is a noise source number, n i (t) is noise, h i (t) is an impulse response from the noise source to the microphone M m , and s (t) And the operator between h i (t) and n i (t) and h i (t) are convolution operators. Since only reflected waves are handled here,
ところで、反射波は元の信号の定数倍（１より小さい）されたものがある時間遅れをもって加算されたものとして定義することができる。このことから反射波を除去するために数３を仮定する。
By the way, the reflected wave can be defined as a signal that is a constant multiple (less than 1) of the original signal and added with a certain time delay. In order to remove the reflected wave from this,
ここで、kは時間軸上の標本番号、s~kは音源における音波の第k標本値、rkはマイクによる受信波の第k標本値、αjは音源からマイクに至る第j経路の距離減衰を表す減算率、djは第j経路の時間遅れ（遅延時間）、Pは除去処理の対象となる反射の数である。但し、反射面では全周波数を均等に反射するものと仮定する。この右辺第２項にある元の信号sは未知なので、実際はマイクＭｍによって受音された音波を用いて数４のように近似する。 Here, k is the sample number on the time axis, s ~ k is the k-th sample value of the sound wave in the sound source, r k is the k-th sample value of the received wave by microphone, alpha j is the j-th path from the sound source to the microphone A subtraction rate representing distance attenuation, dj is a time delay (delay time) of the j-th path, and P is the number of reflections to be removed. However, it is assumed that the reflection surface reflects all frequencies equally. This right original signal s in the second term unknown, actually approximated as Equation 4 using the sound waves received sound by the microphone M m.
そして、この一般式である数４を用いて音源の音波を推定する。 Then, the sound wave of the sound source is estimated using the general formula (4).
次に、このように近似された数４を用いて反射波を除去する場合の処理の概要について説明する。 Next, an outline of processing in the case of removing the reflected wave using Equation 4 thus approximated will be described.
まず、反射波を除去するに際しては、各マイクＭｍで受音した音波（rmk）それぞれについて音声区間の開始点を検出する。そして、検出した開始点を始点として各マイクＭｍの自己相関関数（ρmk）を算出し、複数のマイクＭｍのそれぞれの自己相関関数（ρmk）の極大点を与える時間遅れを算出する。その差を、第j番目の反射経路の時間遅れ（dj）とみなす。一方、全ての自己相関関数（ρmk）の平均を平均自己相関関数（ρ* k）と呼ぶことにし、これを音源における音波（s~k）の自己相関関数（ρs~k）と仮定する。この平均自己相関関数（ρ* k）を最適化の基準として用い、第j番目の反射経路の減算率（αj）を最適推定する。この減算率（αj）を取り除くべき反射の数Ｐだけ推定し、数４に従って反射波を取り除いていく。以下、この処理の内容を図２の機能ブロック図に基づいて詳細に説明する。 First, when removing the reflected wave, the start point of the voice section is detected for each sound wave (r mk ) received by each microphone M m . Then, the autocorrelation function (ρ mk ) of each microphone M m is calculated using the detected start point as the start point, and the time delay that gives the maximum point of each autocorrelation function (ρ mk ) of the plurality of microphones M m is calculated. . The difference is regarded as the time delay (d j ) of the jth reflection path. On the other hand, the average of all autocorrelation functions (ρ mk ) is called the average autocorrelation function (ρ * k ), and this is assumed to be the autocorrelation function (ρ s ~ k ) of the sound wave (s ~ k ) in the sound source. To do. The average autocorrelation function (ρ * k ) is used as an optimization criterion, and the subtraction rate (α j ) of the jth reflection path is optimally estimated. This subtraction rate (α j ) is estimated by the number P of reflections to be removed, and the reflected wave is removed according to Equation 4. Hereinafter, the contents of this processing will be described in detail based on the functional block diagram of FIG.
まず、音声区間検出手段２は、それぞれのマイクＭｍによって受音された音波それぞれについて音声区間の開始点を検出するもので、例えば、２重閾値法を順方向に用いることによって音声区間を検出する。
First, the speech
音波抽出手段３は、この音声区間検出手段２によって検出された音声区間について、各マイクＭｍにおける時間軸上の標本値kの音波（rmk）を収集する。この音波（rmk）にはスピーカーＳから直接入力される音波の他、壁面Ｗによって反射された複数の反射波が含まれている。
The sound
自己相関算出手段４は、この音波抽出手段３によって抽出された各マイクＭｍにおける音波（rmk）の離散的な自己相関関数（ρmk）を算出する。具体的には、各マイクＭｍについて、前記検出した音声区間開始点から５１２点を用いて自己相関関数を計算する。このとき見かけ上の周波数分解能を上げるために４０９６点の高速フーリエ変換（ＦＦＴ）を用い０付加処理を施す。
The autocorrelation calculation unit 4 calculates a discrete autocorrelation function (ρ mk ) of the sound wave (r mk ) in each microphone M m extracted by the sound
平均自己相関算出手段５は、この自己相関算出手段４によって算出された全マイクＭｍについての自己相関関数（ρmk）の平均（ρ* k）を算出する。 The average autocorrelation calculation means 5 calculates the average (ρ * k ) of the autocorrelation function (ρ mk ) for all microphones M m calculated by the autocorrelation calculation means 4.
ここで、あるマイクＭｍで受音した音波（rmk）に（dj）だけ遅れた反射波が含まれていると、その音波（rmk）の自己相関関数（ρmk）には、時間遅れ（dj）の部分に突出した成分が現れる。図４にこの自己相関関数の状態を示す。図４において、（ａ）はマイクＭ1で受音した音波（r1k）の自己相関関数（ρ1k）を示しており、（ｂ）はマイクＭ2で受音した音波（r2k）の自己相関関数（ρ2k）を示している。この図４（ａ）（ｂ）において、突出した部分は反射波に対する時間遅れを示しており、その時間軸上における標本値djがその反射波の遅延時間を示している。また、図４（ｃ）はこれらの自己相関関数（ρ1k、ρ2k）の平均である平均自己相関関数（ρ* k）を示しており、（ｄ）は音源における音波の自己相関関数（ρs~k）を示している。この図４において、全マイクＭｍ（ｍ＝１、２、…）の自己相関関数の平均（ρ* k）をとると、その突出した成分は平坦化され、（ｄ）に示す音源における音波（s~k）の自己相関関数（ρs~k）と平均自己相関関数（ｄ）とは類似したものとなる。このため、第j経路における反射波の遅延時間（dj）を検出する場合においては、この図４（ｃ）に示す平均自己相関関数（ρ* k）を音源における音波の自己相関関数（ρs~k）とみなし、これとあるマイクＭｍ（例えば、Ｍ1）での自己相関関数（ρmk）（例えば、図４（ａ））との差を算出すれば反射波の遅延時間（dj）を算出することができる。そこで、遅延時間抽出手段６は、この平均自己相関関数（ρ* k）と各マイクＭｍの自己相関関数（ρmk）との差を算出し、ローカルピークを与える時間軸上の標本番号kから反射経路jに関する遅延時間djを抽出する。そして、第１経路の反射波を除去するまではj＝１として減算率の処理を行う。 Here, if a reflected wave delayed by (d j ) is included in a sound wave (r mk ) received by a certain microphone M m , the autocorrelation function (ρ mk ) of the sound wave (r mk ) is A prominent component appears in the portion of time delay (d j ). FIG. 4 shows the state of this autocorrelation function. 4A shows the autocorrelation function (ρ 1k ) of the sound wave (r 1k ) received by the microphone M 1 , and FIG. 4B shows the sound wave (r 2k ) received by the microphone M 2 . The autocorrelation function (ρ 2k ) is shown. 4A and 4B, the protruding portion shows a time delay with respect to the reflected wave, and the sample value d j on the time axis shows the delay time of the reflected wave. FIG. 4C shows an average autocorrelation function (ρ * k ) that is an average of these autocorrelation functions (ρ 1k , ρ 2k ), and FIG. ρ s ~ k ). In FIG. 4, when the average (ρ * k ) of the autocorrelation function of all microphones M m (m = 1, 2,...) Is taken, the protruding component is flattened, and the sound wave in the sound source shown in (d). It becomes similar in (s ~ k) autocorrelation function of the (ρ s ~ k) mean autocorrelation function and (d). Therefore, when detecting the delay time (d j ) of the reflected wave in the j-th path, the average autocorrelation function (ρ * k ) shown in FIG. s ~ k ) and calculating the difference between this and an autocorrelation function (ρ mk ) (for example, FIG. 4A) at a certain microphone M m (for example, M 1 ), the delay time of the reflected wave ( d j ) can be calculated. Therefore, the delay time extraction means 6 calculates the difference between the average autocorrelation function (ρ * k ) and the autocorrelation function (ρ mk ) of each microphone M m , and the sample number k on the time axis that gives the local peak. delay time for reflection path j from extracting the d j. Until the reflected wave of the first path is removed, the subtraction rate is processed with j = 1.
減算率決定手段７は、各反射波に対するそれぞれの減算率（αj）を決定する。まず、減算率を決定するに際しては、仮に（αj）の値を定めておき、あるマイクＭｍ（例えば、ｍ＝１）について、それから第ｊ経路による遅延時間（dj）を有する反射波を除いた信号として「rｍｊk＝rｍj-1 k−α１rｍk-kj」を計算する。そして、その離散的な自己相関関数（ρｍj k）の第ｋj項（ρｍj kj）が、｜ρｍj kj−ρ*kj｜<δ（例えば0.001）に収束するように、減算率の最適値（αj）を最急降下法などの最適化手法を用いて定める。 The subtraction rate determining means 7 determines each subtraction rate (α j ) for each reflected wave. First, when determining the subtraction rate, a value of (α j ) is preliminarily determined, and a reflected wave having a delay time (d j ) due to the j-th path for a certain microphone M m (for example, m = 1). “R mjk = r mj−1 k −α 1 r mk−kj ” is calculated as a signal excluding. Then, the subtraction rate of the discrete autocorrelation function (ρ mj k ) is such that the k j term (ρ mj kj ) converges to | ρ mj kj −ρ * kj | <δ (for example, 0.001). The optimum value (α j ) is determined using an optimization method such as the steepest descent method.
反射波除去手段８は、この減算率決定手段７によって決定された減算率（αj）と、先に抽出された遅延時間（dj）とを用い、数４に基づいて受信波から反射波を除去する。
The reflected
これにより第１経路における反射波が除去されたことになる。そして、順次同様にして第２経路における反射波を除くための処理を行うが、第２経路の反射波を除去する処理においては、この第１経路の反射波を除いた音波を実際にマイクＭｍで受音した信号とみなして同様の処理を行う。 As a result, the reflected wave in the first path is removed. Then, the process for removing the reflected wave in the second path is sequentially performed in the same manner. In the process of removing the reflected wave in the second path, the sound wave excluding the reflected wave in the first path is actually used as the microphone M. Similar processing is performed by regarding the signal received at m .
すなわち、第２経路における反射波を除去する場合においては、まず、第１経路による反射波を除いた信号として「rｍ1k＝rｍk−α１rｍk-k1」を計算し、この信号（rｍ1k）をマイクＭｍで受音した信号とみなして減算率を決定する。この第２経路の減算率を決定する際においても、同様に、仮に（α2）の値を定めておき、マイクＭｍについて、それから第２経路による遅延時間（d2）を有する反射波を除いた信号として「rｍ2k＝rｍ1 k−α2rｍk-k2」を計算する。そして、その離散的自己相関関数（ρｍ2 k）の第ｋ2項（ρｍ2 k2）が、｜ρｍ2 k2−ρ*k2｜<δ（例えば0.001）に収束するように、減算率の最適値（α2）を最急降下法などの最適化手法を用いて定める。そして、第３経路以降においても同様の処理を行うようにする。 That is, when the reflected wave in the second path is removed, first, “r m1k = r mk −α 1 r mk−k1 ” is calculated as a signal excluding the reflected wave from the first path, and this signal (r m1k) to determine the subtraction factor is regarded as the received sound signal by the microphone M m. Similarly, when determining the subtraction rate of the second path, a value of (α 2 ) is set in advance, and a reflected wave having a delay time (d 2 ) by the second path is then determined for the microphone M m. “R m2k = r m1 k −α 2 r mk−k2 ” is calculated as the excluded signal. Then, the subtraction rate is optimized so that the k 2 term (ρ m2 k2 ) of the discrete autocorrelation function (ρ m2 k ) converges to | ρ m2 k2 −ρ * k2 | <δ (for example, 0.001). The value (α 2 ) is determined using an optimization method such as the steepest descent method. The same processing is performed after the third route.
このように第j経路毎の反射波を除去する場合、遅延時間の短いものから順に反射波を除去する。このようにするのは、遅延時間の短い反射波はマイク近傍等で反射されたものと推定することができ、直接音に大きく影響を及ぼすと考えられるからである。この反射波の除去処理は、予め定められた回数Ｐに達するまで行われる。なお、この除去処理の回数は、予め定められた回数Ｐに限定されることなく、例えば、平均自己相関関数（ρ* k）と自己相関関数（ρmk）とにおけるローカルピークとの値の差が所定値内に収まるまで続けるようにしても良い。 Thus, when removing the reflected wave for every jth path | route, a reflected wave is removed in an order with a short delay time. This is because a reflected wave with a short delay time can be estimated as being reflected in the vicinity of the microphone or the like, and is considered to greatly affect the direct sound. This reflected wave removal process is performed until a predetermined number of times P is reached. Note that the number of removal processes is not limited to a predetermined number P. For example, the difference in value between the average peak in the average autocorrelation function (ρ * k ) and the autocorrelation function (ρ mk ). May be continued until the value falls within a predetermined value.
次に、この反射波を除去するためのフローについて図３を用いて説明する。 Next, a flow for removing the reflected wave will be described with reference to FIG.
まず、例えば、音声認識の対象となる音声を収集する場合、あらかじめ複数の箇所にマイクＭｍを設置しておき、このマイクＭｍによって音波（rmk）を受信できる状態にしておく。そして、スピーカーＳから音波が出力された場合、各マイクＭｍによってその音波（rmk）を受信し、２重閾値法を順方向に用いることにより音声区間を検出する（ステップＳ１）。そして、その音声区間についての音波（rmk）を音波抽出手段３によって抽出し（ステップＳ２）、各マイクＭｍで受信した音波（rmk）をメモリに記憶しておく。そして、その各マイクＭｍの音波（rmk）のそれぞれについての自己相関関数（ρmk）を算出（ステップＳ３）するとともに、これら算出された複数の自己相関関数（ρmk）についての平均である平均自己相関関数（ρ* k）を算出し（ステップＳ４）、これらを同様にメモリに記憶しておく。 First, for example, to collect a sound as the object of speech recognition, previously installed microphone M m in advance a plurality of locations, should be ready to receive sound waves (r mk) This microphone M m. When a sound wave is output from the speaker S, the sound wave (r mk ) is received by each microphone M m , and a voice interval is detected by using the double threshold method in the forward direction (step S1). Then, the sound wave (r mk ) for the voice section is extracted by the sound wave extraction means 3 (step S2), and the sound wave (r mk ) received by each microphone M m is stored in the memory. Then, with its calculated autocorrelation function ([rho mk) for each sound wave (r mk) of the microphone M m (step S3), and an average of these calculated plurality of autocorrelation function ([rho mk) A certain average autocorrelation function (ρ * k ) is calculated (step S4), and these are similarly stored in the memory.
そして、次に、この平均自己相関関数（ρ* k）と特定のマイク（例えば、マイクＭ1）についての自己相関関数（ρ1k）との差を演算し、ローカルピークを与える音波の時間軸上の標本番号（dj）を遅延時間として全てメモリに記憶しておく（ステップＳ５）。そして、この標本番号（dj）のうち、最も遅延時間の短いものをメモリから読み出し、この最も遅延時間の短い（d1）反射波に、ある減算率（仮に定められた減算率（α1））を積算したものを反射波として除去し、この除去した後の音波（rｍ1k）の自己相関関数（ρｍ1 k）と平均自己相関関数（ρ* k）の差の絶対値が所定値（δ）内に収まるように減算率（α1）を決定する（ステップＳ６）。 Next, the difference between the average autocorrelation function (ρ * k ) and the autocorrelation function (ρ 1k ) for a specific microphone (for example, microphone M 1 ) is calculated, and the time axis of the sound wave that gives the local peak All the upper sample numbers (d j ) are stored in the memory as delay times (step S5). Then, the sample number (d j ) having the shortest delay time is read from the memory, and a reflected wave having the shortest delay time (d 1 ) is added to a certain subtraction rate (a provisional subtraction rate (α 1)). )) Is removed as a reflected wave, and the absolute value of the difference between the autocorrelation function (ρ m1 k ) and the average autocorrelation function (ρ * k ) of the sound wave (r m1k ) after this removal is a predetermined value. The subtraction rate (α 1 ) is determined so as to be within (δ) (step S6).
そして、この決定された減算率（α1）と前記最も遅延時間の短い第１経路の遅延時間（d1）を有する反射波を除去し（ステップＳ７）、その反射波を除去した後の信号（rｍ1k）を用いて、次に遅延時間の短い第２経路の反射波を除去する（ステップＳ８、Ｓ９）。 Then, the reflected wave having the determined subtraction rate (α 1 ) and the delay time (d 1 ) of the first path with the shortest delay time is removed (step S 7), and the signal after removing the reflected wave Using (r m1k ), the reflected wave of the second path with the next shortest delay time is removed (steps S8 and S9).
すなわち、第２経路の反射波を除去する場合においては、第１経路の反射波を除去した後の信号（rｍ1k）を受信波とみなし、先にメモリに記憶されている第２経路の遅延時間（d2）を有する信号であって第１経路の反射波を除去した後の信号（rｍ1 k-di）に対し、ある減算率（仮に定められた減算率（α2））を積算したものを除去する。そして、同様に、この除去した後の信号（rｍ2k）の自己相関関数（ρｍ2 k）と平均自己相関関数（ρ* k）の差の絶対値が所定値（δ）内に収まるように第２経路の減算率（α2）を決定する（ステップＳ６）。 That is, when removing the reflected wave of the second path, the signal (r m1k ) after removing the reflected wave of the first path is regarded as a received wave, and the delay of the second path previously stored in the memory. A certain subtraction rate (a provisional subtraction rate (α 2 )) is added to the signal (r m1 k-di ) that has the time (d 2 ) and has been removed from the reflected wave of the first path Remove what you did. Similarly, the absolute value of the difference between the autocorrelation function (ρ m2 k ) and the average autocorrelation function (ρ * k ) of the signal (r m2k ) after the removal is within the predetermined value (δ). The subtraction rate (α 2 ) of the second path is determined (step S6).
そして、この遅延時間（d2）と減算率（α2）を有する第２経路の反射波を除去し（ステップＳ７）、以下、同様にして、あらかじめ定められた反射の数Ｐだけ順次反射波を除去していく（ステップＳ８）。 Then, the reflected wave of the second path having the delay time (d 2 ) and the subtraction rate (α 2 ) is removed (step S7), and thereafter, the reflected wave is sequentially sequentially reflected by the predetermined number of reflections P. Are removed (step S8).
上述のように、マイクによって受信された音波から反射波を除去する場合、複数のマイクによって受信されたそれぞれの音波の自己相関関数及び平均自己相関関数とを算出し、ある特定のマイクで受信された音波の自己相関関数とこの平均自己相関関数との差から特定の反射経路に対する遅延時間を抽出し、これに所定の減算率を考慮した反射波を除去するようにしたので、任意の場所に複数のマイクを設置したとしても、正確に反射波を除去することができるようになる。 As described above, when removing the reflected wave from the sound wave received by the microphone, the autocorrelation function and the average autocorrelation function of each sound wave received by the plurality of microphones are calculated and received by a specific microphone. The delay time for a specific reflection path is extracted from the difference between the autocorrelation function of the sound wave and the average autocorrelation function, and the reflected wave considering the predetermined subtraction rate is removed. Even if a plurality of microphones are installed, the reflected wave can be accurately removed.
（第二の実施の形態）
次に、第二の実施の形態における反射波除去方法について説明する。上記第一の実施の形態では、平均自己相関関数（ρ* k）を算出する場合、全マイクＭｍの自己相関関数（ρmk）の平均（ρ* k）を算出するようにしているが、マイクＭの本数が少ない場合は、自己の影響を大きく受けてしまい、平均自己相関関数（ρ* k）と自己の自己相関関数（ρmk）との差をとっても遅延時間を正確に抽出することができない。このため、第二の実施の形態では、平均自己相関関数（ρ* k）を算出する場合、反射波の除去対象となるマイク（例えば、Ｍ1）以外のマイク（Ｍm：ｍ＝２、３…）の自己相関関数（ρmk：ｍ＝２、３…）の平均（ρ* k）を算出する。この場合、マイクＭは少なくとも３本以上設ける必要がある。そして、この自己を除いた平均自己相関関数（ρ* k）と、反射波の除去対象となる音波の自己相関関数（ρmk：ｍ＝１）との差の最大値を求めることで、反射の影響を受けている遅延時間の推定精度を向上させる。この算出は、第一の実施の形態と同様に、平均自己相関算出手段５によって行われ、また、以降の処理は第一の実施の形態と同様にして行われる。
(Second embodiment)
Next, the reflected wave removal method in the second embodiment will be described. In the first embodiment, when the average autocorrelation function (ρ * k ) is calculated, the average (ρ * k ) of the autocorrelation functions (ρ mk ) of all microphones M m is calculated. When the number of microphones M is small, the influence of self is greatly influenced, and the delay time is accurately extracted even if the difference between the average autocorrelation function (ρ * k ) and the autocorrelation function (ρ mk ) is taken. I can't. For this reason, in the second embodiment, when calculating the average autocorrelation function (ρ * k ), microphones other than the microphone (for example, M 1 ) from which the reflected wave is to be removed (M m : m = 2, 3)) is calculated as an average (ρ * k ) of autocorrelation functions (ρ mk : m = 2, 3,...). In this case, it is necessary to provide at least three microphones M. Then, by calculating the maximum value of the difference between the average autocorrelation function (ρ * k ) excluding the self and the autocorrelation function (ρ mk : m = 1) of the sound wave to be the reflection wave removal target, The estimation accuracy of the delay time affected by the is improved. This calculation is performed by the average autocorrelation calculation means 5 as in the first embodiment, and the subsequent processing is performed in the same manner as in the first embodiment.
（第一の実施の形態における評価実験）
この手法の有効性を確認するために、壁からの反射のあるリビングルームシミュレータ（白色ノイズによる反射時間＝４４０ｍｓ）で実験を行った。実験にはクリーン音声を流すためのスピーカー（高さ１．２５ｍ）１個と、それを受けるマイク２本（高さ１．２５ｍ）を用いた。それらの設置の仕方により３種類の状況を設定し、実験を行った。図５に３種類の状況を示す。
(Evaluation experiment in the first embodiment)
In order to confirm the effectiveness of this method, an experiment was performed in a living room simulator with reflection from a wall (reflection time due to white noise = 440 ms). In the experiment, one speaker (height 1.25 m) for flowing clean sound and two microphones (height 1.25 m) receiving it were used. Three types of situations were set according to how they were installed, and experiments were conducted. FIG. 5 shows three types of situations.
実験に用いた音声データは、接話マイクを用いて録音した男性による２５発話である。音声データの収録条件を表１に示す。 The voice data used in the experiment is 25 utterances by a man recorded using a close-up microphone. Table 1 shows the audio data recording conditions.
認識で用いた単語数などの条件を表２に示す。 Table 2 shows conditions such as the number of words used in recognition.
提案手法で処理した音声データを音声認識システムＪＵＬＩＡＮを用いて処理前後の認識率を比較した。認識の際のパラメータは、分析フレームのサンプル点数５１０点、フレームシフト幅２５５点、１０個の文仮説が得られるまで探索を続けてそのうち１つを出力し、音響尤度計算時に行うガウシアン・ブルーニングは精度が尤も高いものを用い、７．２ｋHz以上の周波数は遮断し、ビーム幅は１０００とした。 The recognition rate before and after processing of speech data processed by the proposed method was compared using the speech recognition system JULIAN. The parameters for recognition are Gaussian blue, which is the number of sample points in the analysis frame, the frame shift width is 255 points, the search is continued until 10 sentence hypotheses are obtained, and one of them is output. For the ning, the one with the highest accuracy was used, the frequency of 7.2 kHz or higher was cut off, and the beam width was 1000.
クリーン音声の認識率、状況１，２，３それぞれについて処理前と処理後の認識率を表３に示す。
Table 3 shows the recognition rate of clean speech and the recognition rates before and after processing for
表３から、処理前と処理後を比較すると音声認識率は向上していることが確認できる。状況１〜３について、正しく認識できるようになったのは８データ、誤って認識されるようになったのは１データである。処理後の音声認識率と処理前の音声認識率に有意差があることを検定するために符号検定を行ったところ、有意水準５％で有意差が認められた。このことから、提案手法を音声認識に用いることは有効であるといえる。
From Table 3, it can be confirmed that the speech recognition rate is improved by comparing before processing and after processing. Regarding
（第二の実施の形態における評価実験）
第二の実施の形態における提案手法の有効性を確認するために、壁からの反射のあるリビングルームシミュレータ（白色ノイズによる反射時間＝４４０ｍｓ）で実験を行った。実験にはクリーン音声を流すためのスピーカー（高さ１．２５ｍ）１個と、それを受けるマイク３本（高さ１．２５ｍ）を用いた。図６にマイクとスピーカーの配置図を示す。
(Evaluation experiment in the second embodiment)
In order to confirm the effectiveness of the proposed method in the second embodiment, an experiment was performed using a living room simulator with reflection from a wall (reflection time due to white noise = 440 ms). In the experiment, one speaker (height 1.25 m) for flowing clean sound and three microphones (height 1.25 m) receiving it were used. FIG. 6 shows a layout of microphones and speakers.
実験に用いた音声データは、接話マイクを用いて録音した男性２名、女性１名による合計１５３発話である。音声データの収録条件を表４に示す。 The voice data used in the experiment is a total of 153 utterances by two men and one woman recorded using a close-up microphone. Table 4 shows the audio data recording conditions.
認識で用いた単語数などの条件を表５に示す。 Table 5 shows conditions such as the number of words used in recognition.
提案手法で処理した音声データを音声認識システムＪＵＬＩＡＮを用いて処理前後の認識率を比較した。処理前と処理後の各マイク認識率を表６に示す。 The recognition rate before and after processing of speech data processed by the proposed method was compared using the speech recognition system JULIAN. Table 6 shows the microphone recognition rates before and after processing.
実験ではマイクを３本用いているため、多数決を出力とした場合、即ち、２本以上のマイクで正しく認識できたものを成功とみなし、認識率を再計算した結果を表７に示す。 Since three microphones are used in the experiment, Table 7 shows the result of recalculating the recognition rate when the majority decision is output, that is, when two or more microphones were correctly recognized as successful.
１・・・反射波除去システム
２・・・音声区間検出手段
３・・・音波抽出手段
４・・・自己相関算出手段
５・・・平均自己相関算出手段
６・・・遅延時間抽出手段
７・・・減算率決定手段
８・・・反射波除去手段
Ｓ・・・スピーカー
Ｍ・・・マイク
DESCRIPTION OF
Claims (10)
複数の受波器によって受信されたそれぞれの受信波の自己相関関数を算出するステップと、
これら算出された少なくとも２以上の自己相関関数の平均である平均自己相関関数を算出するステップと、
この平均自己相関関数と特定の受波器によって受信された受信波に対する自己相関関数との差を求めることによって特定の反射経路の遅延時間を抽出するステップと、
前記特定の受波器によって受信された受信波から、前記遅延時間及び所定の減算率を積算した反射波を除去するステップとを備えたことを特徴とする反射波除去方法。 In a reflected wave removal method for removing a reflected wave from a received wave received by a receiver,
Calculating an autocorrelation function for each received wave received by the plurality of receivers;
Calculating an average autocorrelation function that is an average of the calculated at least two autocorrelation functions;
Extracting a delay time of a specific reflection path by obtaining a difference between this average autocorrelation function and an autocorrelation function for a received wave received by a specific receiver;
Removing a reflected wave obtained by integrating the delay time and a predetermined subtraction rate from the received wave received by the specific receiver.
反射波を除去した信号の自己相関関数と前記平均自己相関関数との差が所定値内に収まるように次の反射波の減算率を決定し、前記抽出された遅延時間及びこの決定された減算率を用いて反射波を除去するようにしたことを特徴とする反射波除去方法。 The reflected wave removing method according to claim 1, further comprising:
The subtraction rate of the next reflected wave is determined so that the difference between the autocorrelation function of the signal from which the reflected wave is removed and the average autocorrelation function falls within a predetermined value, and the extracted delay time and the determined subtraction are determined. A method for removing reflected waves, wherein reflected waves are removed using a rate.
複数の受波器によって受信されたそれぞれの受信波の自己相関関数を算出する自己相関算出手段と、
これら算出された少なくとも２以上の自己相関関数の平均である平均自己相関関数を算出する平均自己相関算出手段と、
この平均自己相関関数と特定の受波器によって受信された受信波に対する自己相関関数との差を求めることによって特定の反射経路に対する遅延時間を抽出する遅延時間抽出手段と、
前記特定の受波器によって受信された受信波から、前記遅延時間及び所定の減算率を積算した反射波を除去する反射波除去手段とを備えたことを特徴とする反射波除去システム。 In a reflected wave removal system that removes a reflected wave from a received wave received by a receiver,
Autocorrelation calculating means for calculating an autocorrelation function of each received wave received by a plurality of receivers;
Average autocorrelation calculating means for calculating an average autocorrelation function that is an average of at least two calculated autocorrelation functions;
A delay time extracting means for extracting a delay time for a specific reflection path by obtaining a difference between the average autocorrelation function and an autocorrelation function for a received wave received by a specific receiver;
A reflected wave removing system comprising: a reflected wave removing means for removing a reflected wave obtained by integrating the delay time and a predetermined subtraction rate from the received wave received by the specific receiver.
複数の受波器によって受信された受信波の自己相関関数を算出する自己相関算出手段と、
これら算出された複数の自己相関関数の平均である平均自己相関関数を算出する平均自己相関算出手段と、
この平均自己相関関数と特定の受波器によって受信された受信波に対する自己相関関数との差を求めることによって特定の反射経路に対する遅延時間を抽出する遅延時間抽出手段と、
この抽出された遅延時間及び仮に定められた減算率を用いて反射波を除去し、その除去された信号の自己相関関数と前記平均自己相関関数との差が所定値内に収まるように減算率を決定する減算率決定手段と、
この決定された減算率と前記遅延時間を用いて、前記特定の受波器によって受信された受信波から反射波を除去する反射波除去手段とを備えたことを特徴とする反射波除去システム。 In a reflected wave removal system that removes a reflected wave from a received wave received by a receiver,
Autocorrelation calculating means for calculating an autocorrelation function of received waves received by a plurality of receivers;
An average autocorrelation calculating means for calculating an average autocorrelation function that is an average of the plurality of calculated autocorrelation functions;
A delay time extracting means for extracting a delay time for a specific reflection path by obtaining a difference between the average autocorrelation function and an autocorrelation function for a received wave received by a specific receiver;
The reflected wave is removed using the extracted delay time and the provisional subtraction rate, and the subtraction rate is set so that the difference between the autocorrelation function of the removed signal and the average autocorrelation function falls within a predetermined value. Subtraction rate determining means for determining
A reflected wave removing system comprising: a reflected wave removing unit that removes a reflected wave from a received wave received by the specific receiver using the determined subtraction rate and the delay time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004256389A JP2006072052A (en) | 2004-09-03 | 2004-09-03 | Method and system for reflected wave removal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004256389A JP2006072052A (en) | 2004-09-03 | 2004-09-03 | Method and system for reflected wave removal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006072052A true JP2006072052A (en) | 2006-03-16 |
Family
ID=36152746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004256389A Pending JP2006072052A (en) | 2004-09-03 | 2004-09-03 | Method and system for reflected wave removal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006072052A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8645130B2 (en) | 2008-05-08 | 2014-02-04 | Toyota Jidosha Kabushiki Kaisha | Processing unit, speech recognition apparatus, speech recognition system, speech recognition method, storage medium storing speech recognition program |
| CN115942194A (en) * | 2022-12-08 | 2023-04-07 | 中国科学院声学研究所 | Directional processing method and system for hearing rehabilitation treatment device processor |
-
2004
- 2004-09-03 JP JP2004256389A patent/JP2006072052A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8645130B2 (en) | 2008-05-08 | 2014-02-04 | Toyota Jidosha Kabushiki Kaisha | Processing unit, speech recognition apparatus, speech recognition system, speech recognition method, storage medium storing speech recognition program |
| CN115942194A (en) * | 2022-12-08 | 2023-04-07 | 中国科学院声学研究所 | Directional processing method and system for hearing rehabilitation treatment device processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8065115B2 (en) | Method and system for identifying audible noise as wind noise in a hearing aid apparatus | |
| US7246058B2 (en) | Detecting voiced and unvoiced speech using both acoustic and nonacoustic sensors | |
| JP6129316B2 (en) | Apparatus and method for providing information-based multi-channel speech presence probability estimation | |
| US9959886B2 (en) | Spectral comb voice activity detection | |
| CA2390287C (en) | Acoustic source range detection system | |
| JP6450139B2 (en) | Speech recognition apparatus, speech recognition method, and speech recognition program | |
| JP2003195882A (en) | System and method for signal processing | |
| KR101863097B1 (en) | Apparatus and method for keyword recognition | |
| US10726857B2 (en) | Signal processing for speech dereverberation | |
| JP2010197124A (en) | Apparatus, method and program for detecting abnormal noise | |
| JP2010112995A (en) | Call voice processing device, call voice processing method and program | |
| US20120265526A1 (en) | Apparatus and method for voice activity detection | |
| US9407992B2 (en) | Estimation of reverberation decay related applications | |
| JP2006072052A (en) | Method and system for reflected wave removal | |
| JP2009276365A (en) | Processor, voice recognition device, voice recognition system and voice recognition method | |
| JP2000310993A (en) | Voice detector | |
| JP3377167B2 (en) | Public space loudspeaker method and apparatus | |
| JP7000963B2 (en) | Sonar equipment, acoustic signal discrimination method, and program | |
| JP6106618B2 (en) | Speech section detection device, speech recognition device, method thereof, and program | |
| US10811032B2 (en) | Data aided method for robust direction of arrival (DOA) estimation in the presence of spatially-coherent noise interferers | |
| EP4036911A1 (en) | Audio signal processing device, audio signal processing method, and storage medium | |
| CN111226278B (en) | Low complexity voiced speech detection and pitch estimation | |
| KR101649710B1 (en) | Method of enhancing voice quality and apparatus thereof | |
| JP2001296359A (en) | Bistatic processing apparatus | |
| US11483644B1 (en) | Filtering early reflections |