JP4616529B2

JP4616529B2 - Blind signal separation processing device

Info

Publication number: JP4616529B2
Application number: JP2001266095A
Authority: JP
Inventors: 数学丁; 照夫新妻
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2001-09-03
Filing date: 2001-09-03
Publication date: 2011-01-19
Anticipated expiration: 2021-09-03
Also published as: JP2003078423A

Description

【０００１】
【発明の属する技術分野】
本発明は、背景雑音、反射、マルチパス等が存在する実環境において混合された電波、光、音等の被分離信号をブラインド分離処理するブラインド信号分離処理装置に関する。
【０００２】
【従来の技術】
従来、ブラインド信号分離処理では、以下に説明する原理に従って行われている。
【０００３】
今、Ｎ個の信号源からの信号ｓ₁(t),ｓ₂(t),…ｓ_N(t)からなる信号群ｓ(t)を以下に記載するベクトルで表す。
【０００４】
ｓ(t)＝（ｓ₁(t),ｓ₂(t),・・・,ｓ_N(t))^T (1)
ただし、ｓ(t)の平均値は０であり、各信号（ベクトルの成分）は互いに独立であるとする。ここで、記号(…)^Tはベクトルとマトリクスの転置を表すものとする。ブラインド信号分離処理の対象はディジタル化された信号であり、時間は離散値をとる。このため、時間tはサンプリングの順番を表す番号と一致し、
ここでは、 t＝0,1,2・・・ (2)
であるとする。
また、信号ｓ（ｔ）に対する観測信号を、
x(t)＝（x₁(t),x₂(t),・・・,x_N(t))^T (3)
と表す。
【０００５】
ここで、観測信号x(t)の各成分はそれぞれ、0,1,2,・・・,Nのセンサーで観測された各観測信号に対応する。一般には、センサーの個数と信号源の個数とは必ずしも一致しないが、ここでは一致しているものと仮定する。
【０００６】
ブラインド信号分離処理では、s(t)とx(t)との間に、
x(t)＝A(t)*s(t)、 (4)
なる線形関係を仮定する。ただし、A(t)はN×Nの未知の伝達関数を表す行列で、符号「*」は畳み込み積分を表す。
【０００７】
ここでいう「畳み込み」とは、伝搬路で入力信号が遅延されて、所定の係数が乗算された後、加算される操作をいう。図１はその畳み込み混合の簡単な例を示すもので、源信号ｓ_１（ｔ）、ｓ_２（ｔ）は、伝達関数が行列Ａ（ｔ）で表される伝搬路を介して、観測信号ｘ_１（ｔ）、ｘ_２（ｔ）としてセンサー１、センサー２に到達する。ここで、伝搬路の伝達関数Ａ（ｔ）の要素はＡ_１１、Ａ_１２、Ａ_２１、Ａ_２２である。図１には、源信号ｓ_１（ｔ）はＡ_１１及びＡ_２１と、源信号ｓ_２（ｔ）は、Ａ _１２及びＡ _２２と畳み込み積分された後、ｓ_１（ｔ）＊Ａ_１１とｓ_２（ｔ）＊Ａ_１２が加算されて、センサー１で観測される信号ｘ_１（ｔ）が生成され、ｓ_１（ｔ）＊Ａ_２１とｓ_２（ｔ）＊Ａ_２２が加算されてセンサー２で観測される信号ｘ_２が生成された状態が示されている。
【０００８】
行列Ａ（ｔ）や源信号ｓ（ｔ）に関する事前情報を利用せずに、観測した信号ｘ（ｔ）から、その観測信号のみを使って源信号を分離する処理が、ブラインド信号処理と呼ばれている。
【０００９】
分離処理は信号源から発生した信号が観測されるまでの間に受けた伝搬路上の影響をN×Nの行列で表される関数として予測し、その逆行列B(t)を求め、
u(t)＝B(t)*x(t)、 (5)
で求まる各成分の互いに独立な時間領域分離信号u(t)を再構成することにある。
【００１０】
行列A(t)の各成分が実数である場合、式(4)による混合は単純な線形混合であり、実数以外の場合は畳み込み線形混合である。また、信号が伝搬する環境を表すため、行列A(t)の各成分をFIR(Finite Impulse Response）フィルターと仮定する手段がよく使われる。この場合、式(4)は、式(6)を用いて表せる。
【００１１】
【数１】

【００１２】
このような観測データから元の信号源の信号を復元する手段の代表が、このFIRの係数をブラインドで推定し、逆フィルターを構成して分離する手法である。
【００１３】
FIRの係数をブラインドで推定する問題を簡略化するため、式(6)をWindowed Fourier変換（ウインドウフーリエ変換）する。ωを周波数、t_sを窓関数の位置、s(t)、x(t)、A(t)の変換対象をそれぞれ
s^〜(ω,t_s),x^〜(ω,t_s),A^〜(ω)とすると、（８）式が成り立つ。
【００１４】
【数２】

【００１５】
ただし、任意の時間関数f(t)のWindowed Fourier変換f^〜(ω,t_s)の定義は以下の通りである。
【００１６】
【数３】

【００１７】
ここで、Ｍは離散Fourier変換の点数、w(t)は窓関数であり、ΔＴは窓関数の移動時間である。
【００１８】
時間−周波数領域での混合行列A^〜(ω)の要素は以下に記載する（１０）式で表わされる。
【００１９】
【数４】

【００２０】
ここでH_m,n(ω)は伝達関数の振幅を表し、τ_m,nはｎ番目の原信号がｍ番目のセンサーに到達するまでの遅延時間を表す。
【００２１】
以上のように、Windowed Fourier 変換後の任意の周波数成分に対して、式(8)の右辺は単純な複素数の行列の積となっており、ブラインド分離処理が簡略化されることがわかる。
【００２２】
ある周波数ωに対して混合行列A^〜(ω)の推定を行い、分離行列W(ω)を求め、時間−周波数領域での信号を以下の（１１）式に記載するように分離したとする。ここで、分離行列W(ω)は混合行列A^〜(ω)の逆行列である。
【００２３】
【数５】

【００２４】
この結果得られたu ^〜(ω,t_s)をすべての周波数で集め、時系列信号に戻すことによって、信号分離が完了する。
【００２５】
A^〜(ω)の推定に関してはいくつかのアルゴリズムが適用できる（参考文献[1-7]参照）が、大別して２つの手法がある。
【００２６】
１つは確率分布の独立性に基づく分離Infomax（参考文献［２］参照）等がある。もう一つは、時間相関に基づく分離法で、例として、ＴＤＤ（Time Dilayed Deconvolution 参考文献［５，６］参照）等がある。
【００２７】
【発明が解決しようとする課題】
ところで、ブラインド分離手法を実際の環境に応用する場合、以下に説明する２つの問題がある。参考文献［９］、［１０］はその実環境への適用を提案している。
（１）チャネルの入れ違い問題
式（１１）を用いて信号を分離したとき、分離された信号ｕ ^〜（ω，ｔ_s）の各成分の順番はＢＳＳ（Blind Source Separation（ブラインド分離手法））だけでは決まらず、曖昧さが生じる。このため、ある周波数ω₁での分離信号ｕ ^〜（ω₁，ｔ_s）の各成分の順番が、他の周波数ω₂で分離した順番と一致するとは限らない。これが、各周波数における入れ違い（チャネルの入れ違い）問題と呼ばれる現象である。
【００２８】
この入れ違い問題を解決するため、参考文献［９］では、信号の各周波数成分の長スケールでの類似性を利用する方法を提案している。
【００２９】
一方、参考文献［１０］では、信号の各周波数成分と対応する伝達関数のCoherencyを利用する手法が提案されている。
【００３０】
しかし、実際にはいずれの手法も、入れ違い問題の解決には不十分であり、誤った順番の周波数成分が残るという問題がある。また、従来の技術ではこの入れ違い問題を解決する計算処理が複雑であり、膨大な数の信号処理を行わなければならないために処理が遅延し、このため実時間処理が不可能であった。
（２）背景雑音に関する問題
更に、従来技術では、背景雑音がある場合、この処理についての検討も不十分である。背景雑音については、参考文献［１０］によるサブスペース法を利用する手法等があるが、必要とするセンサーの個数が多く実用的ではないという問題があった。
【００３１】
本発明は、上記事情に鑑みて為されたもので、背景雑音が存在しかつ畳み込み混合された実環境での信号（音声、画像、電波などの信号）から、源信号をブラインドで分離することが可能なブラインド信号分離処理装置を提供する。
【００３２】
【課題を解決するための手段】
請求項１に記載のブラインド信号分離処理装置は、複数の信号源から発せられた被分離信号を複数の観測手段で観測してそれらの観測信号のみを使って源信号を分離するブラインド信号分離処理装置において、
前記被分離信号を検出する複数個のセンサーと、
各センサーが検出した被分離信号を保存する被分離信号格納部と、
該被分離信号格納部から信号を取り出して被分離信号を各信号源の信号に分離する処理を行う信号処理部と、
該信号処理部で分離した被分離信号を格納する分離信号格納部とからなり、
前記信号格納部は、
前記被分離信号をウインドウフーリエ変換により離散フーリエ変換して時間−周波数領域の成分に変換するＤＦＦＴ処理部と、
前記ＤＦＦＴ処理後の信号に基づき混合行列を各周波数成分ごとに推定する混合行列推定処理部と、
前記周波数成分ごとに推定した混合行列に基づき各周波数成分ごとに分離行列を算出し、前記分離行列と前記ＤＦＦＴ処理後の信号の積を各周波数成分ごとに算出する信号分離処理部と、
前記信号分離処理部で得られた全ての周波数成分についての分離行列とＤＦＦＴ処理後の信号との積に基づき離散逆フーリエ変換の演算を行って前記被分離信号を分離・再生するＩ−ＤＦＦＴ処理部と、
から構成され、前記混合行列推定処理部は、各周波数成分における混合行列を推定する際の設定初期値として、目的周波数成分と隣接する周波数成分の混合行列の推定値を用いることを特徴とする。
【００３３】
請求項２に記載のブラインド信号分離処理装置は、前記各センサーがマイクロフォンであり、前記被分離信号が複数の音源からの音信号であって、複数の音源からの音信号を各音源の信号に分離することを特徴とする。
【００３６】
【発明の実施の形態】
（本発明の原理）
本発明は、チャネルの入れ違い問題の対策として隣接周波数での分離行列（式（１１）のＷ（ω））のリレー処理を適用する。このリレー処理を行うために、複素数化されたFastICA（参考文献の［７］［８］参照）を利用する。
【００３７】
以下、これらについて説明する。
（１）周波数における分離行列のリレー処理
任意の２つの周波数における混合行列の間の関係は以下の（１２）式を用いて表すことができる。
【００３８】
【数６】

【００３９】
ここで、Ｔ（ω₂，ω₁）は回転行列である。隣接周波数ω₁とω₂を考えれば、ω₂＝ω₁＋Δωの関係がある。Windowed Fourier変換のサンプル数が十分大きい場合、この周波数の差Δωは十分小さく、この両者のCoherencyは非常に高いと考えられる。
【００４０】
すなわち、（１３）式又は（１４）式が成り立つと考えられる。
【００４１】
【数７】

【００４２】
今、周波数ω₁での混合行列の推定結果をＡ^〜（ω₁）と表現することとする。また、この推定値によって分離された信号の順番をＰ₁と表すことにする。そして、周波数ω₂での混合行列を推定するために、周波数ω₂における推定の初期値をＡ^〜 _initial（ω₂）＝Ａ^〜（ω₁）と設定する。推定結果Ａ^〜（ω₁）の精度が十分高ければ、式（１３），（１４）に示されるように、この推定値は周波数ω₂においてもＰ₁と同じ順番を得るための混合行列の真の値に十分近づくことになる。
【００４３】
すなわち、隣接する周波数での混合行列の推定結果を次の周波数での推定の初期値とすることにより、分離信号に関して同じ順番を得るための混合行列の最適推定値が得られる。ここでは、この手法を「隣接周波数における分離行列のリレー処理」ということにする。
（２）FastICAの複素数化
「隣接周波数における分離行列のリレー処理」を適用するためには、推定処理アルゴリズムとしてFastICAを利用する必要がある。ただし、本発明ではFastICAを時間−周波数領域で利用するため、FastICAを複素数化しなければならない。
【００４４】
FastICAを利用することによる効果としては、大きな背景雑音が存在する場合でも、混合行列の推定における演算が安定して収束し、背景雑音に対するロバスト性が得られる。また、上記「隣接周波数における分離行列のリレー処理」による入れ違い問題の対策では、乗法や加法計算を殆ど必要としないため、演算処理部を極めて簡単にできる。
【００４５】
更に、隣接周波数での最終推定値を次の周波数における推定処理の初期値として利用するため収束速度が極めて速い上に、採用したFastICAは、この混合行列の推定速度を更に改善する効果もある。
（実施例）
図２に本発明に係わるブラインド分離処理装置のブロック回路図を示す。その図２において、１は被分離信号（観測信号ともいう）を検出するセンサー（観測手段ともいう）である。ここでは、センサー１の個数はＮ個であり、順番に番号づけられている。各センサー１が検出した被分離信号は被分離信号格納部２に保存される。その被分離信号格納部２に保存されている被分離信号は信号処理部３に入力される。
【００４６】
信号処理部３は被分離信号格納部２に保存されている被分離信号を取り出してこの被分離信号を各信号源の信号に分離する処理を行う。
【００４７】
信号処理部３は、その被分離信号をWindowed FFT（Windowed Fourier変換)で離散フーリエ変換して時間−周波数領域の成分に変換するＤＦＦＴ処理部4と、そのＤＦＦＴ処理後の信号に基づき混合行列を各周波数成分ごとに推定する混合行列推定処理部５と、
周波数成分ごとに推定した混合行列に基づき各周波数成分ごとに分離行列を算出して、分離行列とＤＦＦＴ処理後の信号との積を各周波数成分ごとに算出する信号分離処理部６と、信号分離処理部６により得られた全ての周波数成分についての分離行列とＤＦＦＴ処理後の信号の積に基づき離散逆フーリエ変換の演算を行って被分離信号を分離・再生するＩ−ＤＦＦＴ処理部７とから構成されている。
【００４８】
その混合行列推定処理部５は、各周波数成分における混合行列を推定する際の設定初期値として、目的周波数成分に隣接する周波数成分の混合行列の推定値を用いる。その混合行列推定処理部５における混合行列の推定アルゴリズムは、複素数化されたFastICAのアルゴリズムである。
その信号処理部３で分離された被分離信号は分離信号格納部８に出力され、各信号源からの信号が後段の回路に出力される。
【００４９】
図３は本発明に係わるブラインド分離信号処理装置の作用を説明するためのフローチャートを示し、まず、被分離信号ｘ（ｔ）をWindowedFFTで離散フーリエ変換し、時間一周波数領域の成分ｘ ^〜（ω_k，ｔ_s）を得る（Ｓ．１、Ｓ．２）。次いで、ｋ＝１のときには、Ａ^〜＝Ａ_constと設定する（Ｓ．３）。
【００５０】
次に、各周波数成分毎に複素数化されたFastICAによる混合行列の推定処理を行う。
【００５１】
ここで、最初の周波数成分に関しては、混合行列を推定するための初期値を任意に選択することになる。ここでは、混合行列の初期値として、
Ａ^〜 _initial(ω_k)＝Ａ_constを用いる（Ｓ．４）。
【００５２】
引き続く周波数成分については、その初期値として前の周波数において推定した混合行列の値を利用する「隣接周波数における分離行列のリレー処理」を適用する。
【００５３】
この実施例では、周波数が増加する順番に処理する場合が示されており、混合行列のリレー関係は下記の式（１５）を用いて表すことができる。
【００５４】
【数８】

【００５５】
ただし、ｋは周波数成分ωの順番を示し、周波数成分ωはｋを用いて下記の式（１６）で表される。
【００５６】
【数９】

【００５７】
FastICAを用いた学習過程を通して推定された混合行列Ａ^〜（ω_k）を用い（Ｓ．５）、その逆行列Ａ^〜（ω_k）^-1として得られる分離行列Ｂ^〜（ω_k）を利用することによって（Ｓ．６）、混合信号から元の独立の信号を分離することができる。すなわち、分離信号ｕ^〜（ω_k）を成分ｘ ^〜（ω_k，ｔ_s）と分離行列Ｂ^〜（ω_k）との積を用いて求め（Ｓ．７）、ｋがｋ_max（＝Ｍ−１）よりも大きいか小さいかを判定し（Ｓ．８）、ｋがｋ_maxよりも小さいときには前回求められた推定混合行列Ａ^〜（ω_k）を今回求める推定混合行列Ａ^〜の初期値として設定すると共に、順番ｋに「＋１」を加えて（Ｓ．９）、Ｓ．４に戻り、再び、Ｓ．４からＳ．７までの処理をｋ_max（Ｎ個のセンサ）まで繰り返し、Ｓ．８において、ｋがｋ_maxを越えたときには、分離信号ｕ^〜（ω_k）を離散逆フーリ工変換（Windowed IFET）処理によって（Ｓ．１０）、目的の信号、すなわち、時間領域分離信号ｕ（ｔ）を得て分離信号格納部に保存する（Ｓ．１１）。
【００５８】
図４〜図７は、この実施例に係わるブラインド信号処理装置を音響信号の分離に適用した場合のシミュレーションを示すものである。
【００５９】
ここでは、図４に示すように、独立の信号としては２人の人間２０、２１から発生された音声と背景雑音とを想定している。図１に示す伝搬路に対応する式（１７）に従う混合条件によりセンサ１としてのマイク２２に入力される混合信号を作成している。
Ａ₁₁（ｎ）＝１．０−０．７ｎ^-1＋０．１ｎ^-2
Ａ₁₂（ｎ）＝０．１＋０．８ｎ^-1＋０．３ｎ^-2
Ａ₂₁（ｎ）＝０．０−０．１ｎ^-1＋０．６ｎ^-2 （１７）
Ａ₂₂（ｎ）＝１．０＋０．５ｎ^-1−０．３ｎ^-2
なお、ｎはサンプリングの番号（ｎ^-1は１サンプル後の値、ｎ^-2は２サンプル後の値）を示し、雑音のタイプは白色加法性雑音、信号と背景雑音とのＳＮＲは１５．０ｄＢである。想定した２つマイク間の距離１０．０ｃｍである。更に、FastICAの非線形タイプは、Ｇ（ｙ）＝（ａ＋ｙ）^1/2である。
【００６０】
その図４では、２つのマイク２２により採取した混合音が入力としてブラインド信号分離処理装置に入力される。
【００６１】
図５（ａ）は人間２０による混合前の音声波形を示し、図５（ｂ）は人間２１による混合前の音声波形を示し、図６（ａ）は一方のマイク２２に入力される混合信号の音波形を示し、図６（ｂ）は他方のマイク２２に入力される混合信号の音波形を示し、これは式（１７）に従って作成されたものである。
【００６２】
また、図７（ａ）、（ｂ）はブラインド信号分離処理装置を用いて分離された音声信号波形（シミュレーションによる）を示し、図７（ａ）は一方のマイクに入力された混合信号の分離波形を示し、図７（ｂ）は他方のマイクに入力された混合信号の分離波形を示しており、図６、図７に示すブラインド分離処理前後の波形の比較から明らかなように、背景雑音が存在する環境においても入れ違いの問題を生じることなく独立の音声を忠実に分離することが可能であることが分かる。
【００６３】
なお、明細書中で用いた記号ｕ ^〜、Ｘ ^〜、Ａ^〜、Ｂ^〜、ｓ^〜、ｆ^〜は下記の記号を意味する。
【００６４】
【数１０】

【００６５】
また、なお、発明の詳細な説明に使用した参考文献を表１に示す。
【００６６】
【表１】

【００６７】
【発明の効果】
本発明によれば、背景雑音が存在しかつ畳み込み混合された実環境での信号（音声、画像、電波など）から、源信号をブラインドで分離することが可能である。
【００６８】
また、信号が伝搬路において受ける影響を表す混合行列の推定にFastICAを利用しているので、大きな背景雑音が存在する場合でも混合行列の推定演算が安定して収束し、背景雑音に対する高いロバスト性が得られる。
【００６９】
また、「隣接周波数における分離行列のリレー処理」による入れ違い問題の対策には、乗法や加法計算をほとんど必要としないので、演算処理部を極めて簡単にできる。更に、リレー処理では、最終推定値を次の周波数における推定処理の初期値として利用するので、収束速度が極めて速いという効果もある。
【図面の簡単な説明】
【図１】たたみ込み混合の一例を示す模式図である。
【図２】本発明に係わるブラインド信号分離処理装置のブロック回路図である。
【図３】本発明に係わるブラインド信号分離処理装置の作用を説明するためのフローチャートである。
【図４】音声をブラインド信号分離処理装置で分離する場合の説明図である。
【図５】図４に示す音声源の音声波形を示し、（ａ）は一方の人間の音声波形を示し、（ｂ）は他方の人間の音声波形を示す。
【図６】図４に示すマイクロホンに到達するまでの伝送路において畳み込み混合された音声波形を示し、（ａ）は一方のマイクロホンに入力される混合信号波形を示し、（ｂ）は他方のマイクロホンに入力される混合信号波形を示している。
【図７】図４に示すブラインド信号分離処理装置によって分離された音声信号波形を示し、（ａ）は図５（ａ）に示す音声波形に対応し、（ｂ）は図５（ｂ）に示す音声波形に対応し、ブラインド信号処理装置から分離された音声波形が後段のスピーカー装置にそれぞれ分離出力された状態が示されている。
【符号の説明】
１…センサー
２…被分離信号格納部
３…信号処理部
４…ＤＦＦＴ処理部
５…混合行列推定処理部
６…信号分離処理部
７…Ｉ−ＤＦＦＴ処理部
８…信号格納部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a blind signal separation processing device that performs blind separation processing on separated signals such as radio waves, light, and sound mixed in an actual environment where background noise, reflection, multipath, and the like exist.
[0002]
[Prior art]
Conventionally, blind signal separation processing is performed according to the principle described below.
[0003]
Now, the signal s ₁ from the N signal sources (t), s ₂ (t), represented by a vector describing ... s _N (t) and a signal group s (t) to below.
[0004]
s (t) = (s ₁ (t), s ₂ (t), ..., s _N (t)) ^T (1)
However, it is assumed that the average value of s (t) is 0 and each signal (vector component) is independent of each other. Here, the symbol (...) ^T represents transposition of a vector and a matrix. The object of the blind signal separation process is a digitized signal, and the time takes a discrete value. For this reason, time t coincides with the number representing the sampling order,
Here, t = 0, 1, 2 ... (2)
Suppose that
In addition, the observation signal for the signal s (t) is
x (t) = (x ₁ (t), x ₂ (t), ..., x _N (t)) ^T (3)
It expresses.
[0005]
Here, each component of the observation signal x (t) corresponds to each observation signal observed by

sensors

0, 1, 2,. In general, the number of sensors and the number of signal sources do not necessarily match, but it is assumed here that they match.
[0006]
In blind signal separation processing, between s (t) and x (t),
x (t) = A (t) * s (t), (4)
The following linear relationship is assumed. Here, A (t) is a matrix representing an N × N unknown transfer function, and the sign “*” represents a convolution integral.
[0007]
Here, “convolution” refers to an operation in which an input signal is delayed in a propagation path, multiplied by a predetermined coefficient, and then added. FIG. 1 shows a simple example of the convolution mixing. The source signals s ₁ (t) and s ₂ (t) are transmitted through a propagation path whose transfer function is represented by a matrix A (t). The

sensors

1 and 2 are reached as x ₁ (t) and x ₂ (t). Here, elements of the transfer function A (t) of the channel is _{_{_{A 11, A 12, A 21}}} , A 22. In FIG. 1, the source signal s ₁ (t) is convolved with A ₁₁ and A ₂₁ and the source signal s ₂ (t) is integrated with A ₁₂ and A ₂₂ and then s ₁ (t) * A ₁₁ s ₂ (t) * A ₁₂ is added to generate a signal x ₁ (t) observed by the sensor 1, and s ₁ (t) * A ₂₁ and s ₂ (t) * A ₂₂ are added. state signal x ₂ is generated, which is observed by the sensor 2 is shown.
[0008]
The process of separating the source signal from the observed signal x (t) using only the observed signal without using the prior information on the matrix A (t) and the source signal s (t) is called blind signal processing. It is.
[0009]
The separation process predicts the influence on the propagation path received until the signal generated from the signal source is observed as a function represented by an N × N matrix, and obtains its inverse matrix B (t),
u (t) = B (t) * x (t), (5)
In other words, the time domain separation signal u (t) independent of each other is reconstructed.
[0010]
When each component of the matrix A (t) is a real number, the mixture according to Equation (4) is a simple linear mixture, and when it is not a real number, it is a convolutional linear mixture. In addition, in order to represent an environment in which a signal propagates, means for assuming each component of the matrix A (t) as a FIR (Finite Impulse Response) filter is often used. In this case, equation (4) can be expressed using equation (6).
[0011]
[Expression 1]

[0012]
A representative means for restoring the signal of the original signal source from such observation data is a method of estimating the FIR coefficient blindly and forming an inverse filter to separate them.
[0013]
In order to simplify the problem of estimating the FIR coefficient blindly, Equation (6) is subjected to Windowed Fourier transform (window Fourier transform). frequency omega, the position of the window function to _{t s, s (t),} x (t), respectively converted to A (t)
^{_{s ~ (ω, t s)}} , x ~ (ω, t s), and the ^{A ~ (ω), (8} ) expression holds.
[0014]
[Expression 2]

[0015]
However, Windowed Fourier transform f ^~ of any of the time function ^{f (t) (ω, t} s) the definition of is as follows.
[0016]
[Equation 3]

[0017]
Here, M is the discrete Fourier transform score, w (t) is the window function, and ΔT is the window function moving time.
[0018]
Time - the elements of the mixing matrix A ^~ in the frequency domain ^(omega) is expressed by the following described (10).
[0019]
[Expression 4]

[0020]
Here, H _{m, n} (ω) represents the amplitude of the transfer function, and τ _{m, n} represents the delay time until the nth original signal reaches the mth sensor.
[0021]
As described above, for the arbitrary frequency component after the Windowed Fourier transform, the right side of Equation (8) is a product of a simple complex matrix, which indicates that the blind separation process is simplified.
[0022]
Assume that the mixing matrix A ^to (ω) is estimated for a certain frequency ω, the separation matrix W (ω) is obtained, and the signal in the time-frequency domain is separated as described in the following equation (11). . Here, the separation matrix W (ω) is an inverse matrix of the mixing matrices A ^to (ω).
[0023]
[Equation 5]

[0024]
The resulting u ^{~ (ω,} t _s) collected at all frequencies, by returning to the time-series signal, the signal separation is completed.
[0025]
Several algorithms can be applied to estimate A ^~ (ω) (see Reference [1-7]), but there are roughly two methods.
[0026]
One is separation Infomax (see reference [2]) based on the independence of probability distributions. The other is a separation method based on time correlation, such as TDD (see Time Dilayed Deconvolution References [5, 6]).
[0027]
[Problems to be solved by the invention]
By the way, when the blind separation method is applied to an actual environment, there are two problems described below. References [9] and [10] propose their application in real environments.
(1) When the signal is separated using the channel misplacement problem equation (11), the order of each component of the separated signals u ^to (ω, t _s ) is only BSS (Blind Source Separation (blind separation technique)). Then, ambiguity arises. For this reason, the order of the components of the separated signal u ^to (ω ₁ , t _s ) at a certain frequency ω ₁ does not always match the order of separation at the other frequency ω ₂ . This is a phenomenon called a misplacement (channel misplacement) problem at each frequency.
[0028]
In order to solve this misplacement problem, Reference [9] proposes a method that uses the similarity in the long scale of each frequency component of the signal.
[0029]
On the other hand, the reference [10] proposes a method that uses the coherency of the transfer function corresponding to each frequency component of the signal.
[0030]
However, in actuality, none of the methods is sufficient to solve the misplacement problem, and there is a problem that frequency components in the wrong order remain. Further, in the conventional technique, the calculation process for solving this misplacement problem is complicated, and a large number of signal processes must be performed, so that the process is delayed, so that real-time processing is impossible.
(2) Problems related to background noise Furthermore, in the prior art, when there is background noise, this process is not sufficiently studied. Regarding background noise, there is a method using the subspace method according to the reference [10], but there is a problem that the number of sensors required is large and not practical.
[0031]
The present invention has been made in view of the above circumstances, and blindly separates a source signal from a signal (audio, image, radio wave, etc.) in a real environment in which background noise exists and is convoluted and mixed. Provided is a blind signal separation processing apparatus capable of
[0032]
[Means for Solving the Problems]
The blind signal separation processing apparatus according to claim 1, wherein a separated signal emitted from a plurality of signal sources is observed by a plurality of observation means, and the source signal is separated using only those observation signals. In the device
A plurality of sensors for detecting the separated signal;
A separated signal storage unit for storing the separated signal detected by each sensor;
A signal processing unit that performs processing to extract a signal from the separated signal storage unit and separate the separated signal into signals of respective signal sources;
A separated signal storage unit for storing a signal to be separated separated by the signal processing unit,
The signal storage unit
A FFT processing unit for converting the separated signal into a time-frequency domain component by performing a discrete Fourier transform by window Fourier transform;
A mixing matrix estimation processing unit that estimates a mixing matrix for each frequency component based on the signal after the DFFT processing;
A signal separation processing unit that calculates a separation matrix for each frequency component based on a mixing matrix estimated for each frequency component, and calculates a product of the separation matrix and the signal after the DFFT processing for each frequency component;
I-DFFT processing for performing separation inverse Fourier transform on the basis of the product of the separation matrix for all frequency components obtained by the signal separation processing unit and the signal after DFFT processing to separate and reproduce the separated signal And
Consists, the mixing matrix estimation processing unit, as the initial setting value in estimating the mixing matrix in each frequency component, and wherein the Rukoto using an estimate of the mixing matrix of the frequency components adjacent to the target frequency component .
[0033]
Blind signal separation processing apparatus according to claim 2, wherein each sensor is a microphone, the object separation signal is a sound signal from a plurality of sound sources, the sound signals from a plurality of sound sources to the signal of each sound source separation be characterized by Rukoto.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
(Principle of the present invention)
The present invention applies a relay process of a separation matrix (W (ω) in the equation (11)) at an adjacent frequency as a countermeasure for a channel inconsistency problem. In order to perform this relay processing, FastICA converted into complex numbers (see [7] and [8] in the reference) is used.
[0037]
Hereinafter, these will be described.
(1) Relay processing of separation matrix at frequency The relationship between the mixing matrix at any two frequencies can be expressed using the following equation (12).
[0038]
[Formula 6]

[0039]
Here, T (ω ₂ , ω ₁ ) is a rotation matrix. Considering the adjacent frequencies ω ₁ and ω ₂ , there is a relationship of ω ₂ = ω ₁ + Δω. When the number of samples of the windowed Fourier transform is sufficiently large, this frequency difference Δω is sufficiently small, and the coherency between the two is considered to be very high.
[0040]
That is, it is considered that Expression (13) or Expression (14) holds.
[0041]
[Expression 7]

[0042]
Now, the estimation result of the mixing matrix at the frequency ω ₁ is expressed as A ^to (ω ₁ ). Further, the order of the signals separated by this estimated value is represented as P ₁ . Then, in order to estimate the mixing matrix at the frequency ω ₂ , the initial value of the estimation at the frequency ω ₂ is set as A ^to _initial (ω ₂ ) = A ^to (ω ₁ ). If the accuracy of the estimation results A ^to (ω ₁ ) is sufficiently high, as shown in the equations (13) and (14), this estimation value is a mixture matrix for obtaining the same order as P _{1 at the} frequency ω ₂ . It will be close enough to the true value.
[0043]
That is, by using the estimation result of the mixing matrix at the adjacent frequency as the initial value of the estimation at the next frequency, the optimum estimation value of the mixing matrix for obtaining the same order with respect to the separated signal can be obtained. Here, this method is referred to as “relay matrix relay processing at adjacent frequencies”.
(2) In order to apply FastICA complexization “relay matrix relay processing at adjacent frequencies”, FastICA must be used as an estimation processing algorithm. However, in the present invention, since FastICA is used in the time-frequency domain, FastICA must be complexized.
[0044]
As an effect of using FastICA, even in the presence of large background noise, the calculation in the estimation of the mixing matrix converges stably, and robustness against the background noise is obtained. Further, the countermeasure against the misplacement problem by the above “relay processing of the separation matrix at the adjacent frequency” requires very little multiplication or addition calculation, so that the arithmetic processing unit can be extremely simplified.
[0045]
Further, since the final estimated value at the adjacent frequency is used as the initial value of the estimation process at the next frequency, the convergence speed is extremely fast, and the adopted FastICA has the effect of further improving the estimated speed of the mixing matrix.
(Example)
FIG. 2 is a block circuit diagram of the blind separation processing apparatus according to the present invention. In FIG. 2, reference numeral 1 denotes a sensor (also referred to as observation means) that detects a signal to be separated (also referred to as an observation signal). Here, the number of sensors 1 is N, and they are numbered in order. The separated signal detected by each sensor 1 is stored in the separated signal storage unit 2. The separated signal stored in the separated signal storage unit 2 is input to the signal processing unit 3.
[0046]
The signal processing unit 3 extracts the separated signal stored in the separated signal storage unit 2 and performs a process of separating the separated signal into signals from the signal sources.
[0047]
The signal processing unit 3 performs a discrete Fourier transform on the separated signal by a windowed FFT (Windowed Fourier transform) and converts it into a time-frequency domain component, and a mixing matrix based on the signal after the DFFT processing. A mixing matrix estimation processing unit 5 for estimating each frequency component;
A signal separation processing unit 6 that calculates a separation matrix for each frequency component based on a mixing matrix estimated for each frequency component, and calculates a product of the separation matrix and the signal after DFFT processing for each frequency component; and signal separation From the I-DFFT processing unit 7 that performs discrete inverse Fourier transform based on the product of the separation matrix for all frequency components obtained by the processing unit 6 and the signal after DFFT processing to separate and reproduce the separated signal It is configured.
[0048]
The mixing matrix estimation processing unit 5 uses the estimated value of the mixing matrix of the frequency component adjacent to the target frequency component as a setting initial value when estimating the mixing matrix in each frequency component. The mixing matrix estimation algorithm in the mixing matrix estimation processing unit 5 is a complex FastICA algorithm.
The separated signal separated by the signal processing unit 3 is output to the separated signal storage unit 8, and the signal from each signal source is output to the subsequent circuit.
[0049]
FIG. 3 is a flowchart for explaining the operation of the blind separated signal processing apparatus according to the present invention. First, the signal to be separated x (t) is subjected to discrete Fourier transform by WindowedFFT, and components x ^to (ω _k , t _s ) (S.1, S.2). Then, when k = 1 ^is set as ^{_{A ~ = A const (S.3)}} .
[0050]
Next, the mixing matrix is estimated by FastICA that is complexized for each frequency component.
[0051]
Here, for the first frequency component, an initial value for estimating the mixing matrix is arbitrarily selected. Here, as the initial value of the mixing matrix,
A ^to _initial (ω _k ) = A _const is used (S.4).
[0052]
For subsequent frequency components, “separation matrix relay processing at adjacent frequencies” using the value of the mixing matrix estimated at the previous frequency as its initial value is applied.
[0053]
In this embodiment, the case of processing in the order of increasing frequency is shown, and the relay relationship of the mixing matrix can be expressed using the following equation (15).
[0054]
[Equation 8]

[0055]
However, k shows the order of the frequency component ω, and the frequency component ω is expressed by the following equation (16) using k.
[0056]
[Equation 9]

[0057]
Using the mixing matrix A ^~ (ω _k ) estimated through the learning process using FastICA (S.5) and using the separation matrix B ^~ (ω _k ) obtained as its inverse matrix A ^~ (ω _k ) ^-1 (S.6), the original independent signal can be separated from the mixed signal. That is, the separation signals u ^to (ω _k ) are obtained using the product of the components x ^to (ω _k , t _s ) and the separation matrix B ^to (ω _k ) (S.7), and k is k _max (= M -1) is larger or smaller (S.8), and when k is smaller than k _max, the estimated mixed matrix A ^~ (ω _k ) obtained last time is the initial value of the estimated mixed matrix A ^~ obtained this time. And “+1” is added to the order k (S.9). 4 and again S.I. 4 to S.M. 7 is repeated until k _max (N sensors). 8, when k exceeds k _max , the separation signal u ^to (ω _k ) is subjected to discrete inverse Fourier transform (Windowed IFET) processing (S.10), and the target signal, that is, the time domain separation signal u ( t) is obtained and stored in the separated signal storage unit (S.11).
[0058]
4 to 7 show simulations when the blind signal processing apparatus according to this embodiment is applied to separation of acoustic signals.
[0059]
Here, as shown in FIG. 4, it is assumed that the independent signals are voices generated from two

persons

20 and 21 and background noise. A mixed signal input to the microphone 22 as the sensor 1 is created under the mixing condition according to the equation (17) corresponding to the propagation path shown in FIG.
A ₁₁ (n) = 1.0−0.7n ⁻¹ + 0.1n ⁻²
A ₁₂ (n) = 0.1 + 0.8 n ⁻¹ +0.3 n ⁻²
A ₂₁ (n) = 0.0−0.1n ⁻¹ + 0.6n ⁻² (17)
A ₂₂ (n) = 1.0 + 0.5n ⁻¹ −0.3n ⁻²
Here, n sampling number (n ^-1 is the value after one sample, n ^-2 values after 2 samples) shows the noise of the type white additive noise, the SNR of the signal and the background noise 15. 0 dB. The distance between two assumed microphones is 10.0 cm. Furthermore, the nonlinear type of FastICA is G (y) = (a + y) ^1/2 .
[0060]
In FIG. 4, the mixed sound collected by the two microphones 22 is input as an input to the blind signal separation processing device.
[0061]
5A shows a speech waveform before mixing by the human 20, FIG. 5B shows a speech waveform before mixing by the human 21, and FIG. 6A shows a mixed signal input to one microphone 22. FIG. 6B shows the sound waveform of the mixed signal input to the other microphone 22, which is created according to the equation (17).
[0062]
FIGS. 7A and 7B show the sound signal waveforms separated by the blind signal separation processing apparatus (by simulation), and FIG. 7A shows the separation of the mixed signal input to one microphone. FIG. 7B shows a separated waveform of the mixed signal input to the other microphone. As is clear from the comparison of the waveforms before and after the blind separation processing shown in FIGS. It can be seen that it is possible to faithfully separate independent voices even in an environment where there is an error without causing a misplacement problem.
[0063]
In addition, the symbols u ^to , X ^to , A ^to , B ^to , s ^to , and f ^to used in the specification mean the following symbols.
[0064]
[Expression 10]

[0065]
References used for detailed description of the invention are shown in Table 1.
[0066]
[Table 1]

[0067]
【The invention's effect】
According to the present invention, it is possible to blindly separate a source signal from a signal (sound, image, radio wave, etc.) in a real environment in which background noise exists and is convolution mixed.
[0068]
In addition, because FastICA is used to estimate the mixing matrix that represents the influence of the signal on the propagation path, the estimation of the mixing matrix converges stably even in the presence of large background noise, and it is highly robust against background noise. Is obtained.
[0069]
Further, since the countermeasure for the misplacement problem by the “relay processing of the separation matrix at the adjacent frequency” hardly requires multiplication or addition calculation, the arithmetic processing unit can be extremely simplified. Further, in the relay process, since the final estimated value is used as the initial value of the estimation process at the next frequency, there is an effect that the convergence speed is extremely fast.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing an example of convolutional mixing.
FIG. 2 is a block circuit diagram of a blind signal separation processing apparatus according to the present invention.
FIG. 3 is a flowchart for explaining the operation of the blind signal separation processing device according to the present invention;
FIG. 4 is an explanatory diagram when audio is separated by a blind signal separation processing device.
5 shows the speech waveform of the speech source shown in FIG. 4, where (a) shows the speech waveform of one person and (b) shows the speech waveform of the other person.
6 shows a voice waveform that is convoluted and mixed in the transmission path up to the microphone shown in FIG. 4, wherein (a) shows a mixed signal waveform input to one microphone, and (b) shows the other microphone. 2 shows a mixed signal waveform input to the.
7 shows a speech signal waveform separated by the blind signal separation processing device shown in FIG. 4, wherein (a) corresponds to the speech waveform shown in FIG. 5 (a), and (b) shows in FIG. 5 (b). Corresponding to the audio waveform shown, the audio waveform separated from the blind signal processing device is separately output to the subsequent speaker device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Sensor 2 ... Separated signal storage part 3 ... Signal processing part 4 ... DFFT processing part 5 ... Mixing matrix estimation processing part 6 ... Signal separation processing part 7 ... I-DFFT processing part 8 ... Signal storage part

Claims

複数の信号源から発せられた被分離信号を複数の観測手段で観測してそれらの観測信号のみを使って源信号を分離するブラインド信号分離処理装置において、
前記被分離信号を検出する複数個のセンサーと、
各センサーが検出した被分離信号を保存する被分離信号格納部と、
該被分離信号格納部から信号を取り出して被分離信号を各信号源の信号に分離する処理を行う信号処理部と、
該信号処理部で分離した被分離信号を格納する分離信号格納部とからなり、
前記信号格納部は、
前記被分離信号をウインドウフーリエ変換により離散フーリエ変換して時間−周波数領域の成分に変換するＤＦＦＴ処理部と、
前記ＤＦＦＴ処理後の信号に基づき混合行列を各周波数成分ごとに推定する混合行列推定処理部と、
前記周波数成分ごとに推定した混合行列に基づき各周波数成分ごとに分離行列を算出し、前記分離行列と前記ＤＦＦＴ処理後の信号の積を各周波数成分ごとに算出する信号分離処理部と、
前記信号分離処理部で得られた全ての周波数成分についての分離行列とＤＦＦＴ処理後の信号との積に基づき離散逆フーリエ変換の演算を行って前記被分離信号を分離・再生するＩ−ＤＦＦＴ処理部と、
から構成され、前記混合行列推定処理部は、各周波数成分における混合行列を推定する際の設定初期値として、目的周波数成分と隣接する周波数成分の混合行列の推定値を用いることを特徴とするブラインド信号分離処理装置。In the blind signal separation processing apparatus that separates the source signal using only the observation signals by observing the separated signals emitted from the plurality of signal sources with a plurality of observation means,
A plurality of sensors for detecting the separated signal;
A separated signal storage unit for storing the separated signal detected by each sensor;
A signal processing unit that performs processing to extract a signal from the separated signal storage unit and separate the separated signal into signals of respective signal sources;
A separated signal storage unit for storing a signal to be separated separated by the signal processing unit,
The signal storage unit
A FFT processing unit for converting the separated signal into a time-frequency domain component by performing a discrete Fourier transform by window Fourier transform;
A mixing matrix estimation processing unit that estimates a mixing matrix for each frequency component based on the signal after the DFFT processing;
A signal separation processing unit that calculates a separation matrix for each frequency component based on a mixing matrix estimated for each frequency component, and calculates a product of the separation matrix and the signal after the DFFT processing for each frequency component;
I-DFFT processing for performing separation inverse Fourier transform on the basis of the product of the separation matrix for all frequency components obtained by the signal separation processing unit and the signal after DFFT processing to separate and reproduce the separated signal And
Consists, the mixing matrix estimation processing unit, as the initial setting value in estimating the mixing matrix in each frequency component, and wherein the Rukoto using an estimate of the mixing matrix of the frequency components adjacent to the target frequency component Blind signal separation processing device.

前記各センサーがマイクロフォンであり、前記被分離信号が複数の音源からの音信号で
あって、複数の音源からの音信号を各音源の信号に分離することを特徴とする請求項１に記載のブラインド信号分離処理装置。 Each sensor is a microphone, and the separated signal is a sound signal from a plurality of sound sources.
There, the blind signal separation processing apparatus according to claim 1, characterized that you separate the sound signals from a plurality of sound sources to the signal of each sound source.