JP6128547B2 - 音源分離方法、装置及びプログラム - Google Patents

音源分離方法、装置及びプログラム Download PDF

Info

Publication number
JP6128547B2
JP6128547B2 JP2013023869A JP2013023869A JP6128547B2 JP 6128547 B2 JP6128547 B2 JP 6128547B2 JP 2013023869 A JP2013023869 A JP 2013023869A JP 2013023869 A JP2013023869 A JP 2013023869A JP 6128547 B2 JP6128547 B2 JP 6128547B2
Authority
JP
Japan
Prior art keywords
sound wave
amplitude
pair
sound source
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013023869A
Other languages
English (en)
Other versions
JP2014155075A (ja
Inventor
寧 本多
寧 本多
晃 後藤
後藤  晃
好孝 村山
好孝 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYOEI ENGINEERING CO., LTD
Original Assignee
KYOEI ENGINEERING CO., LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYOEI ENGINEERING CO., LTD filed Critical KYOEI ENGINEERING CO., LTD
Priority to JP2013023869A priority Critical patent/JP6128547B2/ja
Publication of JP2014155075A publication Critical patent/JP2014155075A/ja
Application granted granted Critical
Publication of JP6128547B2 publication Critical patent/JP6128547B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、音波信号に基づき、任意の方向にある音源に向けて指向性を形成する音源分離方法、装置及びプログラムに関する。
目的音源の音波を精度よく分離し、雑音等の目的外音を抑制するには、一般的に、指向性マイクを用いたり、一定以上の間隔でそれらマイクロフォンを複数並べる必要があった。しかしながら、ICレコーダーのような小型の集音機器では、指向性マイクの搭載や間隔を広くとった複数マイクを用いた集音技術の適用は困難である。また、複数の音源から人工的にダウンミックス処理しておいた収録済みの音声について、これら集音技術を適用することによる精度の良い音源分離は困難である。
そこで、音波の収録後、各マイクロフォンから出力される信号間の振幅差や位相差を解析し、解析結果に応じた信号処理を施すことで、目的音源を分離抽出する技術が多数提案されている。近年では、統計的解析、周波数解析、複素解析等が持ち出され、入力信号の波形構造の違いを検出し、その検出結果を音源分離処理に生かしている。
例えば、入力信号を時間軸から周波数軸に変換し、周波数ごとに位相の差分を算出し、この差分を基に目的音源から入力された音波周波数帯を特定し、その周波数帯の音波を強調するように信号処理している(特許文献1参照)。
また、信号処理では、近接配置された2個のマイクロフォンの入力信号に基づいて入力された音波が目的方向にあるかを判断し、2個の入力信号の位相差の差分を補正し、目的方向に存在する音を強調している(特許文献2参照)。2つの入力信号同士を互いに参照させ、得られた信号を利用して逐次フィルタを更新している(特許文献3参照)。
特開2007−318528号公報 特表2009−135593号公報 特開2009−027388号公報
集音機器または集音機器を搭載する機器の小型化は、マイクロフォンの配置間隔の一層の近接化を伴い、そのため、信号間の振幅差や位相差は極小となり、これら振幅差や位相差の明瞭な特定に多大な労力が必要となっている。特に、遠方の音源からの信号においては、振幅差は極小となるため、振幅差や位相差の明確な特定は困難となっている。
近年では、特許文献1乃至3のように、波形構造の周波数解析、複素解析、又は統計的解析を複雑高度化することで、マイクロフォンの近接化に対応している。しかしながら、これら解析の複雑高度化は、周波数領域に変換する場合のフレーム長の長大化、遅延器の多数配置、長いフィルタ長、長いフィルタ係数等を招いてしまう結果となり、演算処理能力の都合上、リアルタイムに指向性を形成することが困難となってきた。演算処理の負荷軽減を図るためにはマイクロフォンの数を増加させればよいが、機器の限られたスペースにより、マイクロフォンの離間距離は更に短くなってしまう。
本発明は、上記のような従来技術の問題点を解決するために成されたものであり、その目的は、任意の方向から到来する音を、複雑高度な解析を必要とせず、少ない演算量で強調又は抑圧して出力することができる音源分離方法、装置及びプログラムを提供することにある。
上記の目的を達成するために、実施形態の音源分離方法は、一対の音波信号に対して、特定方向に指向性を形成する音源分離方法であって、任意のフィルタと、その後段に設けられた任意の数の加算器とを用いる、前記一対の音波信号の振幅比を変更し、方向毎に固有の振幅比に設定する振幅比設定ステップと、前記特定方向における振幅が同一となるように、前記一対の音波信号の前記特定方向の振幅比を変更する振幅変更ステップと、を含み、前記振幅変更ステップを経た前記一対の音波信号の波形間の差分に応じて利得を決定する利得決定ステップと、前記利得を音波信号に乗じて出力する出力ステップと、を含むこと、を特徴とする。
振幅比設定ステップでは、前記一対の音波信号の振幅を、方向によって固有の変化率で変化させると共に、同一方向に由来する振幅を、異なる変化率で変化させても良い。
前記変化率の比を示すポーラパターンは、前記一対の音波信号毎に異なるものであっても良い。
前記振幅の変化率は、強調または減衰を行う特定方向において、その変化率が、他の方向の振幅率と比較して大きいものであっても良い。
前記利得決定ステップは、前記振幅変更ステップを経た合成信号を、交換回路によって前記一対の合成信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する生成ステップと、前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する更新ステップと、逐次更新された係数mを前記一対の合成信号に乗じて出力する出力ステップと、を備えることもできる。
前記一対の音波信号は、一対のマイクロフォンから入力された一対の音波信号であっても良い。
前記一対の音波信号は、音源からマイクロフォンまでの系を模擬した場合の伝達係数により表わされた系が畳み込まれたものであっても良い。
また、上記の目的を達成するために、実施形態の音源分離装置は、一対の音波信号に対して、特定方向に指向性を形成する音源分離装置であって、任意の数のフィルタと、その後段に設けられた任意の数の加算器と、前記一対の音波信号についてその振幅を一定の割合で変更させるフィルタ処理を施し、当該一定の割合とは、特定の振幅比を同一に変更する振幅変更部と、前記一対の音波信号の振幅比のうち特定振幅比を同一振幅に変更する振幅変更部と、前記振幅変更ステップを経た一対の音波信号の波形間の差分に応じて利得を決定する利得決定部と、前記利得を音波信号に乗じて出力する出力部と、を備えること、を特徴とする。
さらに、上記の目的を達成するために、実施形態の音源分離プログラムは、一対の音波信号に対して、特定方向に指向性を形成する音源分離プログラムであって、任意の数のフィルタと、その後段に設けられた任意の数の加算器と、を備えるコンピュータを、前記フィルタと加算器とにより、得られた前記一対の音波信号の振幅比を方向毎に固有な値とする振幅比設定手段と、前記一対の音波信号についてその振幅を一定の割合で変更させるフィルタ処理を施し、当該一定の割合とは、特定の振幅比を同一に変更する振幅変更手段と、前記振幅変更ステップを経た一対の音波信号の波形間の差分に応じて利得を決定する利得決定手段と、前記利得を音波信号に乗じて出力する出力手段と、して機能させることを特徴とする。
本発明によれば、信号間の振幅や差分を特定する煩雑な解析を必要とせずに、演算数を大幅に削減しながらも、任意の方向に対する指向性を精度よく強調できる。
本発明の実施形態に係る音源分離装置の構成を示すブロック図である。 係数決定回路の一例を示すブロック図である。 係数更新回路の一例を示すブロック図である。 音源とマイクロフォンM1、M2との関係を示すモデルである。 音波信号InM1(k)、InM2(k)の指向性を示すポーラプロットである。 音波信号InM1(k)、InM2(k)の270deg〜90degの間の振幅比を示すグラフである。 合成信号InA(k)、InB(k)のポーラプロットである。 合成信号InA(k)、InB(k)の270deg〜90degの間の振幅比を示すグラフである。 合成信号InA(k)、InB(k)の30degの振幅比を1にシフトさせたグラフである。 音波信号InM1(k)、InM2(k)の振幅を50deg方向で差分を無くすように調整したポーラプロットである。 合成信号InA(k)、InB(k)の振幅を50deg方向で差分を無くすように調整したポーラプロットである。 振幅比設定部がない場合の270deg〜90degに応じた係数m(k)を示すグラフである。 振幅比設定部がある場合の270deg〜90degに応じた係数m(k)について、0から1となるよう正規化した(m(k)+1)/2を示すグラフである。 交換回路の有無に応じた係数m(k)の収束速度を示すグラフである。 その他の実施形態に係る音源分離装置の構成を示すブロック図である。 その他の実施形態に係る音源分離装置の構成を示すブロック図である。
以下、本発明に係る音源分離方法及び装置の実施形態について図面を参照しつつ詳細に説明する。
(第1の実施形態)
(構成)
図1は、音源分離装置の構成を示すブロック図である。図1に示すように、音源分離装置は、離間配置される一対のマイクロフォンM1、M2に接続されている。音源分離装置には、マイクロフォンM1、M2から音波信号InM1(k)と音波信号InM2(k)が入力され、音波信号InM1(k)と音波信号InM2(k)を信号処理して方向毎に固有の振幅比を有する一対の合成信号に合成される。音源分離装置は、一対の合成信号の特定方向の振幅比を強調することで、特定方向の音波を他方向から到来する音波と比して相対的に強調する。方向とは、マイクロフォンM1、M2との中点を基準とし、その中点に向かう音波の到来方向、言い換えると音源が配置される方向である。特定方向とは、目的音源の方向である。
この音源分離装置には、マイクロフォンM1、M2の後段に、振幅比設定部1が設けられる。この振幅比設定部1は、音波信号InM1(k)と音波信号InM2(k)とから合成信号InA(k)と合成信号InB(k)とを生成する。合成信号InA(k)は、音波信号InM1(k)の振幅を変化させた信号であり、合成信号InB(k)は、音波信号InM2(k)の振幅を変化させた信号である。この振幅比設定部1は、合成信号InA(k)と合成信号InB(k)が方向によって固有の振幅比を持つように、音波信号InM1(k)と音波信号InM2(k)とをそれぞれ信号処理する。
すなわち、振幅比設定部1は、音波信号InM1(k)と音波信号InM2(k)の振幅を、方向によって固有の変化率で変化させる。さらに、振幅比設定部1は、同一方向に由来する音波信号InM1(k)と音波信号InM2(k)の振幅を、異なる変化率で変化させる。換言すると、振幅比設定部1は、音波信号InM1(k)の振幅変化率を規定するポーラパターンと、音波信号InM2(k)の振幅変化率を規定するポーラパターンを有する。両ポーラパターンは、同一方向において規定する振幅変化率が異なる。さらに、両ポーラパターンが規定する振幅変化率の比は、方向毎に固有となっている。
このポーラパターンは、音波信号InM1(k)と音波信号InM2(k)を、フィルタH1〜H4と加算器1a、1bを通すことにより実現する。
振幅比設定部1は、合成信号InA(k)と合成信号InB(k)とを合成するために、フィルタH1〜H4と加算器1a、1bとを備える。フィルタH1〜H4は、伝達関数H1〜H4により、音波信号InM1(k)と音波信号InM2(k)をフィルタ処理するフィルタである。フィルタH1〜H4は、例えばFIRフィルタやIIRフィルタ等である。
フィルタH1〜H4の伝達関数は、例えば、以下式(1)〜(4)で表される。
H1=X ・・・・(1)
H2=-(X*C195_2 ) / C195_1・・・・(2)
H3=-(X*C105_1 ) / C105_2・・・・(3)
H4=X ・・・・(4)
式中Xは、任意の一定遅延と振幅特性をもつ信号で、変換の基準となる伝達関数である。
C195_1は、195[deg]方向の音源からM1までの伝達関数。
C195_2は、195[deg]方向の音源からM2までの伝達関数。
C105_1は、105[deg]方向の音源からM1までの伝達関数。
C105_2は、105[deg]方向の音源からM2までの伝達関数。
式(1)に示すように、音波信号InM1(k)は、フィルタH1を経て、変換の基準となる関数Xによりフィルタ処理される。
また、式(3)に示すように、音波信号InM2(k)は、フィルタH3を経ることで、音波信号InM1(k)とは、同位相で振幅の正負が反転した関係となる。フィルタH3は、105degの音源からのマイクM1までの伝達関数と、105degの音源からのマイクM2までの伝達関数の逆数を、変換の基準となる関数Xに乗じた値に、さらにマイナスをかけるものである。すなわち、このフィルタH3は、105deg方向の音源から発信された音波が、マイクロフォンM1、M2に到達したときに生じる信号の相違をマイクロフォンM2を基準とした割合を表している。このフィルタH3は、この割合をいずれの方向由来の音波信号InM2(k)に対しても乗じる。
そうすると、このフィルタH3を通った音波信号InM2(k)は、この音波信号InM2(k)が105deg方向の音源由来である場合、音波信号InM1(k)とは、同位相で同振幅を持ちつつも、正負が反転することになる。その他の方向の音源由来である場合には、マイクロフォンM1、M2に達した時に生じる信号の相違とは、ズレた割合が乗じられるため、音波信号InM1(k)と音波信号InM2(k)の振幅が一致しなくなり、そのズレは、105degから離れるに従って大きくなっていく。
振幅比設定部1では、音波信号InM1(k)をフィルタH1でフィルタ処理した信号と、音波信号InM2(k)をフィルタH3でフィルタ処理した信号とを加算器1aで合成し、合成信号InA(k)として出力するように構成される。合成信号InA(k)は、以下の(5)で表される。
合成信号InA(k) = M1*H1 + M2*H3・・・・(5)
音波信号InM1と、音波信号InM2は、フィルタH1とフィルタH3とにより、同位相で振幅の正負が反転した関係となる。式(5)においては、フィルタH1を経た音波信号InM1(k)から、105degからのズレ量に応じた割合で振幅を変更させた音波信号InM2(k)を減じる。そのため、105degにおいては近づけば近づくほど、相殺の程度が大きく、105deg方向から離れると、相殺の程度は小さくなる。つまり、105degを最低振幅として、105degから離れると、振幅を大きくした信号を出力する。
同様に、式(4)に示すように、音波信号InM2(k)は、フィルタH4を経て、変換の基準となる関数Xによりフィルタ処理される。また、式(2)に示すように、音波信号InM1(k)は、フィルタH2を経ることで、音波信号InM2(k)とは、同位相で振幅の正負が反転した関係となる。フィルタH2は、195degの音源からのマイクM2までの伝達関数と、195degの音源からのマイクM1までの伝達関数の逆数を、変換の基準となる関数Xに乗じた値に、さらにマイナスをかけるものである。すなわち、このフィルタH2は、195deg方向の音源から発信された音波が、マイクロフォンM1、M2に到達したときに生じる信号の相違をマイクロフォンM1を基準とした割合を表している。このフィルタH2は、この割合をいずれの方向由来の音波信号InM1(k)に対しても乗じる。
振幅比設定部1では、音波信号InM1(k)をフィルタH2でフィルタ処理した信号と、音波信号InM2(k)をフィルタH4でフィルタ処理した信号とを加算器1bで合成し、合成信号InB(k)として出力するように構成される。合成信号InB(k)は、以下の(6)で表される。
合成信号InB(k) = M1*H2 + M2*H4・・・・(6)
音波信号InM1(k)と、音波信号InM2(k)は、フィルタH2とフィルタH4とにより、同位相で振幅の正負が反転した関係となる。式(6)においては、フィルタH4を経た音波信号InM2(k)から、195degからのズレ量に応じた割合で振幅を変更させた音波信号InM1(k)を減じる。そのため、195degにおいては近づけば近づくほど、相殺の程度が大きく、195deg方向から離れると、相殺の程度は小さくなる。つまり、195degを最低振幅として、195degから離れると、振幅を大きくした信号を出力する。
振幅比設定部1は、フィルタH1〜H4、及び加算器1a、1bにより、方向毎に固有な振幅比を有する合成信号InA(k)及び合成信号InB(k)を生成する。
音源分離装置は、振幅比設定部1の後段に、合成信号InA(k)と合成信号InB(k)における特定方向の振幅比の信号を同一振幅に変更する振幅変更部2を備える。振幅変更部2では、合成信号InA(k)と合成信号InB(k)における特定方向の振幅比を同一振幅に揃える一方、特定方向以外の振幅比については、特定方向から逸れるほど振幅差を付けていく。振幅変更部2は、フィルタD1、フィルタT1を備える。
振幅変更部2では、合成信号InA(k)と合成信号InB(k)とをフィルタ処理することにより、合成信号InA(k)と合成信号InB(k)との特定方向の振幅比を同一にする。振幅変更部2は、合成信号InA(k)にフィルタ処理を施すフィルタD1と、合成信号InB(k)にフィルタ処理を施すフィルタT1とを備える。
フィルタD1、T1の伝達関数D1、T1の一例としては、以下式(7)(8)で表される。
D1= 1 ・・・・(7)
T1= (c11*h2 +
c12*h4)/(c11*h1 + c12*h3)・・・・(8)
c11は、音源S1からマイクロフォンM1までの伝達関数。
c12は、音源S1からマイクロフォンM2までの伝達関数。
この式(7)(8)を満たす伝達関数D1、T1により、合成信号InA(k)と合成信号InB(k)とにおける特定方向の振幅比を同一に変更する。
振幅変更部2を経た合成信号InA(k)及び合成信号InB(k)は、係数決定回路3と、合成回路4への経路とに分配される。本実施形態では、係数決定回路3で決定した係数m(k)に応じた利得gを合成回路4内で決定する。合成回路4では、その利得により、出力信号OutR(k)、出力信号OutL(k)を出力する。
係数決定回路3は、図2に示すように、特性補正回路3a、交換回路3b、及びに係数更新回路3cが直列に接続された回路である。
特性補正回路3aは、周波数特性補正フィルタと位相特性補正回路とを有する。周波数特性補正フィルタは、所望周波数帯の音波信号を抽出する。位相特性補正回路は、音波信号InM1(k)と音波信号InM2(k)に対するマイクロフォンM1、M2の音響特性が与える影響を減少させる。
交換回路3bは、合成信号InA(k)と合成信号InB(k)を1サンプルおきに交互に入れ替えて出力する。すなわち、交換信号InC(k)及び交換信号InD(k)のデータ列は、k=1、2、3、4・・・において、以下のようになる。
InC(k)={InA(1) InB(2) InA(3) InB(4)・・・}
InD(k)={InB(1) InA(2) InB(3) InA(4)・・・}
交換信号InC(k)及び交換信号InD(k)は、係数更新回路3cに入力される。この係数更新回路3cは、交換信号InC(k)と交換信号InD(k)との誤差を計算し、誤差に応じた係数m(k)を決定する。また、係数更新回路3cは、過去の係数m(k−1)を参照して逐次的に係数m(k)を更新する。
同着の交換信号InA(k)と交換信号InB(k)の誤差信号e(k)を以下式(9)のように定義する。
係数更新回路3cは、誤差信号e(k)を係数m(k−1)の関数とし、誤差信号e(k)を含む係数m(k)の隣接二項間漸化式を演算することで、誤差信号e(k)が最小となる係数m(k)を探索する。係数更新回路3cは、この演算処理により、合成信号InA(k)と合成信号InB(k)とに特定方向の振幅差が生じていればいるほど、係数m(k)を減少させる方向で更新し、振幅差がなければ係数m(k)を1に近づけて出力する。
係数m(k)は、合成信号InA(k)及び合成信号InB(k)と共に、合成回路4に入力される。合成回路4は、合成信号InA(k)と合成信号InB(k)に対して、任意の比率で係数m(k)を乗じ、任意の比率で足し合わせて、その結果として出力信号OutL(k)と出力信号OutR(k)を出力する。
係数更新回路3cの一例を更に説明する。図3は、係数更新回路3の一例を示すブロック図である。図3に示すように、係数更新回路3cは、複数の積算器と加算器から構成され、隣接二項間漸化式を体現した回路であり、過去の係数m(k−1)を参照して係数m(k)を漸次更新するものである。長いタップ数を有する適応フィルタは排除されている。
この係数更新回路3cにおいて、交換信号InD(k)を参照信号として用いて誤差信号e(k)を生成する。すなわち、交換信号InC(k)は、積算器5に入力される。積算器5は、交換信号InC(k)に対して1サンプル前の係数m(k−1)の−1倍を掛け合わせる。積算器5の出力側には、加算器6が接続されている。この加算器6には、積算器5から出力された信号と交換信号InD(k)とが入力され、これら信号を加算することで、瞬時誤差信号e(k)を得る。この演算処理による誤差信号e(k)は以下式(10)の通りである。
誤差信号e(k)は、音波信号をμ倍する積算器7に入力される。係数μは、1未満のステップサイズパラメータである。積算器7の出力側には、積算器8が接続される。積算器8には、交換信号InC(k)と積算器を経た信号μe(k)とが入力される。この積算器8は、交換信号InC(k)と信号μe(k)とを乗じ、以下式(11)で表される瞬時二乗誤差の微分信号∂E(m)/∂mを得る。
積算器8には加算器9が接続されている。加算器9は、以下式(12)を演算することで係数m(k)を完成させ、合成信号InA(k)と合成信号InB(k)とから出力信号OutL(k)とOutR(k)を生成する合成回路4に係数m(k)をセットする。
すなわち、加算器9は微分信号∂E(m)/∂mに対して信号β・m(k−1)を加算することで係数m(k)を完成させる。
信号β・m(k−1)は、加算器9の出力側に1サンプル分だけ信号を遅延させる遅延器10と定数βを積算する積算器11とが接続されており、1サンプル前の信号処理により更新された係数m(k−1)に対して積算器11で定数βを乗じることにより生成される。
これにより、係数更新回路3では、以下の漸化式(13)の演算処理が実現し、係数m(k)を生成され、サンプリング毎に漸次更新していく。
(作用)
(振幅比設定部の作用)
図4に、音源とマイクロフォンM1、M2との位置関係を示す。この位置関係を示すモデルは、x軸上に原点を中心にして4cm離したマイクロフォンM1、M2を設置している。原点から1.0mの距離に音源S1を配置している。音源S1は、y軸正方向を0deg、x軸正方向を90degとして角度で特定し、本実施形態では、50degの方向に配置するものとする。
音源S1からの音波信号は、マイクロフォンM1、M2に入力する。このマイクロフォンM1、M2は、無指向性のマイクロフォンである。つまり、図5に示すように、マイクロフォンM1、M2は、円形のポーラパターンを有し、特定方向に対して指向性を有しない。そのため、360゜のいずれに存在する音源から、同一の音圧の音波信号を入力した際には、音波信号InM1(k)、InM2(k)の振幅には差が存在しない。
図6は、音波信号InM1(k)、InM2(k)の振幅比を示した図である。音波信号InM1(k)、InM2(k)の振幅にほとんど差がないため、音波信号InM1(k)、InM2(k)の振幅比は、270deg〜90degの範囲において、音波信号InM1(k)と音波信号InM2(k)の振幅の差は、かなり小さくなる。すなわち、音波信号InM1(k)と音波信号InM2(k)の振幅比は、1:1に近づく。
振幅比設定部1に入力した音波信号InM1(k)、InM2(k)は、フィルタH1〜H4及び加算器により、フィルタリング処理される。図7は、フィルタリング処理され、加算器1aから出力した合成信号InA(k)、加算器1bから出力した合成信号InB(k)とを示した図である。図7に示すように、フィルタリング処理された合成信号InA(k)、合成信号InB(k)は、それぞれ異なるポーラパターンを有する。そのため、合成信号InA(k)、合成信号InB(k)の振幅は、270deg〜90degにおいて異なる。
図8は、合成信号InA(k)と合成信号InB(k)との振幅比を示した図である。図8に示すように、合成信号InA(k)と合成信号InB(k)との振幅比は、270deg〜15degの範囲で1.1〜8.1となる。この範囲において、振幅比は重複することはなく、振幅比は角度毎に固有の値となっている。
同様に、合成信号InA(k)と合成信号InB(k)との振幅比は、15deg〜90degの範囲で0.1〜8.1となる。この範囲において、振幅比は重複することはなく、振幅比は角度毎に固有の値となっている。
(振幅変更部の作用)
振幅変更部2では、合成信号InA(k)及び合成信号InBをフィルタT1,D1でフィルタ処理することにより振幅比を一定の割合で変更させ、特定方向の振幅比の信号を同一にする。例えば、特定方向である50deg方向の振幅比を1となるように、合成信号InB(k)を処理するフィルタT1の値を設定する。
この場合、フィルタT1により、50deg方向の振幅比は1となる。一方、50deg方向以外の振幅比は、50deg方向の振幅比と異なるため1にはならず、50deg方向の振幅比からの差に応じて、1から離れた値となる。図9は、図8の合成信号InA(k)と、合成信号InB(k)の振幅比において、特定方向30degの振幅比が1となるようにシフトしたグラフである。図9に示すように、15deg〜90degの範囲では、特定方向30degの振幅比を1にすることにより、他の方向の振幅比は、30degから離れるごとに、1より離れる。
図10は、音波信号InM1(k)、InM2(k)の50deg方向の振幅差が無くなるように調整した場合の音波信号InM1(k)、InM2(k)のポーラパターンを示した図である。音波信号InM1(k)、InM2(k)のポーラパターンは、50degの方向で重なり合う。この場合、図12に示すように係数m(k)は、特定方向である50degに近ければ近いほど1に近い係数m(k)となる。
一方、図11は、合成信号InA(k)、InB(k)の50deg方向の振幅差が無くなるように調整した場合の合成信号InA(k)、InB(k)のポーラパターンを示した図である。合成信号InA(k)、InB(k)のポーラパターンは、50degの方向で重なり合う。この場合、図13に示すように係数m(k)は、特定方向である50degに近ければ近いほど1に近い係数m(k)となる。特に、振幅比設定部1において、各方向の振幅差を強調することにより、50deg付近と、それ以外で係数m(k)の値に大きな差ができる。つまり、鋭い指向性が得られている。
これにより、出力信号OutL(k)と出力信号OutR(k)には、音源の存在位置が50degの方向に近ければ近いほど、1に近い係数m(k)によって相対的に強調される利得が与えられる。一方、音源の存在位置が50degの方向から離れれば離れるほど、1未満の係数m(k)によって相対的に抑制される利得が与えられる。
(交換回路の作用)
次に、交換回路の意義について説明する。交換回路を経ることによって、係数更新回路は、以下の数式(14)を交互に演算する。
数式(14)において、信号の二乗の項は、ホワイトノイズ等の無相関成分を時間の経過とともに小さくなるように作用する。一方、その隣接項は、相関係数を逐次的に算出する以下の数式(15)の分子部分と同等であり、相関成分の影響を係数mに反映させていくこととなる。
つまり、係数更新回路3cが合成信号InA(k)に対して合成信号InB(k)を近似させようとしたときには、合成信号InA(k)の無相関成分は増幅方向となり、合成信号InB(k)の無相関成分は抑制方向となる。また、合成信号InB(k)に対して合成信号InA(k)を近似させようとしたときには、合成信号InB(k)の無相関成分は増幅方向となり、合成信号InA(k)の無相関成分は抑制方向となる。
そこで、係数更新回路3cの前に交換回路2を設置すると、合成信号InA(k)に対して合成信号InB(k)を近似させて同期加算しようとする働きと、合成信号InB(k)に対して合成信号InA(k)を近似させて同期加算しようとする働きとを交互に繰り返すこととなる。そのため、無相関成分を増幅及び抑制しようとする働きは、交互に打ち消し合うことになり、係数m(k)には相関成分の影響を濃く反映させていくことになる。
尚、図14は、交換回路3bがある場合とない場合での係数m(k)の収束状態を示している。両収束状態は、共にセンター位置に音源を置き、マイクロフォンM1、M2で集音したものである。図14の曲線Fが示すように、交換回路3bがある場合には約1000回目に係数m(k)が1に収束したが、曲線Gが示すように、交換回路2がない場合には、係数m(k)を10000回更新しても未だ1に収束することはなく、その開きは10倍であった。すなわち、交換回路3bが存在する場合には、音源分離が速やかに完了することを示している。
(効果)
以上のように、本実施形態に係る音源分離装置では、マイクロフォンM1、M2に入力される一対の音波信号InM1(k)、InM2(k)から、方向毎に固有な振幅比を有する合成信号InA(k)、及び合成信号InB(k)を合成する。そして、
合成信号InA(k)と合成信号InB(k)における特定方向の振幅比の信号を同一振幅に変更する。この同一振幅比を強調することで、特定方向の音波を他方向から到来する音波と比して相対的に強調するフィルタ処理を施す。そして、フィルタ処理の後、交換回路2に合成信号InA(k)、と合成信号InB(k)を1サンプル毎に交互に入れ替えることで、一対の交換信号InC(k)とInD(k)を生成し、この交換信号InC(k)とInD(k)の片方に係数mを乗じた上で、交換信号InC(k)とInD(k)の誤差信号を生成する。更に、誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する。最後に、逐次更新された係数mを一対の音波信号に乗じて出力する。
例えば、1サンプル前に算出された過去の係数mの−1倍がセットされた積算器5に交換信号の片方を通し、積算器5を経た後に、一対の交換信号を加算する加算器6を通し、加算器6を経た後に、定数μがセットされた積算器7を通し、積算器7を経た後に、過去の係数mが乗算される前の片方の交換信号がセットされた積算器8を通し、積算器8を経た後に、1サンプル前に算出された過去の係数mがセットされた加算器9を通すことで、係数mを1サンプル毎に更新する。
これにより、本実施形態の音源分離装置は、音源S1からの音波信号の振幅比に焦点をあて、煩雑な演算を回避でき、音波信号InM1(k)と音波信号InM2(k)との振幅差が極微小であっても、特定方向に指向性を形成することができる。
更に、その指向性を形成するためにタップ数の多いフィルタ等に依ることはなく、交換回路と漸化式を演算する一つの係数更新回路によって実現できる。従って、演算数を大幅に削減でき、最終的な遅延は数十マイクロ秒〜数ミリ秒以内におさめることが可能となる。
合成信号InA(k)及び合成信号InB(k)は、方向毎の振幅比を個別な値となるような相関性を有していれば良く、それぞれの合成信号は、任意のポーラパターンを有している。ポーラパターンの一例としては、カーディオイド型、双指向性型、鋭指向性型のポーラパターンが挙げられる。さらに、合成信号InA(k)と合成信号InB(k)のポーラパターンが線対称であっても良い。また、合成信号InA(k)と合成信号InB(k)のポーラパターンが、それぞれ異なる形状を有するものでも良い。
本実施形態では、図8に示すように、15degの振幅比が最大となるように、合成信号InA(k)と合成信号InB(k)の振幅を設定したが、振幅比が最大となる角度は任意の方向とすることができる。例えば、特定方向の指向性を高めたい場合は、その方向の振幅比が拡大するように設定することもできる。これにより、特定方向については、特に振幅比が拡大するため、後の利得決定に際して、更に、相対的に強調される利得が与えられる。さらに、振幅比を大きくするだけでなく、特定の角度の振幅比を強調するよう振幅比を設定しても良い。言い換えると、特定方向の振幅比を他の方向の振幅比と区別しやすいものとする。例えば、角度毎の振幅比をグラフにした場合には、特定方向の振幅比をピークとしたグラフとなり、そのピークは急峻となる。このように、特定方向とその他の方向の振幅比の差が大きければ、大きいほど指向性を強くすることができる。
一方、特定方向に対してマイナスの指向性、つまり特定方向の音を減衰させたい場合には、減衰させたい方向の振幅比を、他の振幅比と比較して小さいものとする。これにより、減衰させたい方向の振幅比と、他の方向の振幅比との差は、大きくなるため、後の利得決定回路において、他の方向の音を強調される利得gが与えられ、特定方向に対しては相対的に抑制される利得が与えられる。
また、本実施形態では、270deg〜90degの範囲において、270deg〜15degの範囲と、15deg〜90degの範囲でそれぞれ方向毎に固有の振幅比として設定した。しかしながら、270deg〜90degの範囲で、方向毎に固有の振幅比として設定することもできる。さらに、0deg〜360degの範囲で、方向毎に固有の振幅比として設定しても良い。
本実施形態では、係数決定回路3として、特性補正回路3a、交換回路3b、及びに係数更新回路3cが直列に接続された回路を使用したが、合成信号InA(k)と合成信号InB(k)の波形間の差分に応じて利得を決定する回路であれば、上記実施形態に限定することなく、他の回路や方法で実現可能である。
本実施形態では、合成回路4において、合成信号InA(k)と合成信号InB(k)に対して、任意の比率で係数m(k)を乗じ、任意の比率で足し合わせて利得gを決定する。利得gの一例としては、以下の(1)〜(5)が挙げられる。
(1)そのままの係数m(k)。
(2)g=m(k)^2、g=m(k)^3のように、係数m(k)を指定数乗した値。
(3)g=m(k)+a、g=m(k)−aのように、係数m(k) に指定数を足した値。
(4)g=m(k)*bのように、係数m(k)に一定数bを掛け合わせた値。
(5)g=((m(k)+a)*b)^2のように、(2)〜(4)を組み合わせた値。
また、出力信号OutL(k)と出力信号OutR(k)は、以下の式(16)(17)のように合成することもできる。
出力信号outL=(InM1(k)+outL(k))*g
出力信号outR=(InM2(k)+outR(k))*g・・・・(16)

出力信号outL=outR=(outL+outR)*g+InM1(k)+InM2(k) ・・・・(17)
(その他の実施形態)
以上のように、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、そのほかの様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、実施形態では、音源分離装置がICレコーダやPCや携帯端末等の収録機能を有する機器に搭載されることを前提に説明したが、その他のあらゆる音響機器に搭載することもでき、マイクロフォンに代えて、音波データを記憶したメモリから音波信号InM1及びInM2の提供を受けることができる。例えば、マイクロフォンからリアルタイムに入力された音波信号の他、音源分離装置に接続された一対のマイクロフォンで予め収録されて得られた音波信号、全く別の一対のマイクロフォンで予め収録されて得られた音波信号、コンピュータ等を用いて一対のマイクロフォンで収録された音波に見立てて擬似的に生成された音波信号に対して、特定方向に指向性を形成することを含む。
また、図15に示すように、振幅比設定部1の後段に、合成信号の振幅比を測定する振幅比測定部12を設けることもできる。振幅比測定部12では、予め振幅比設定部1における方向毎の振幅率の比のデータを保持し、新たに入力した一対の音波信号の振幅比により、その音波信号の方向を測定する。
すなわち、予め音波信号InM1(k)及び音波信号InM2(k)が入力した際の振幅比設定部1における方向毎の振幅率の比のデータをメモリ内に記録する。その上で、入力する音波信号とInM1’(k)と音波信号InM2’(k)との合成信号InA’(k)と合成信号InB’(k)との振幅比を測定する。そして、測定した振幅比を、振幅比測定部12内のメモリ内に記憶する振幅比設定部1での音波信号InM1(k)及び音波信号InM2(k)の振幅変化率の比と比較する。
音波信号InM1(k)及び音波信号InM2(k)の振幅変化率の比は、方向毎に固有の値であるために、測定した合成信号InA’(k)と合成信号InB’(k)との振幅比と比較することで、音波信号とInM1’(k)と音波信号InM2’(k)を発生する音源の方向を知ることもできる。
また、図16に示すように、係数更新回路は、交換信号の片方に係数mを乗じた上で、交換信号の誤差信号を生成し、この誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新するようにすれば、上記実施形態に限定することなく、その他の態様で実現可能である。
また、この音源分離装置は、CPUやDSPのソフトウェア処理として実現してもよいし、専用のデジタル回路で構成するようにしてもよい。ソフトウェア処理として実現する場合には、CPU、外部メモリ、RAMを備えるコンピュータにおいて、振幅比設定部1、振幅変更部2、係数決定回路3、合成回路4と同一の処理内容を記述したプログラムをROMやハードディスクやフラッシュメモリ等の外部メモリに記憶させ、RAMに適宜展開し、CPUで其のプログラムに従って演算を行うようにすればよい。
1 振幅比設定部
1a 加算器
1b 加算器
2 振幅変更部
3 係数決定回路
3a 特性補正回路
3b 交換回路
3c 係数更新回路
4 合成回路
5 積算器
6 加算器
7 積算器
8 積算器
9 加算器
10 遅延器
11 積算器
12 振幅比測定部

Claims (19)

  1. 一対の音波信号に対して、特定方向に指向性を形成する音源分離方法であって、
    任意のフィルタと、その後段に設けられた任意の数の加算器とを用いる、
    前記一対の音波信号の振幅比を変更し、方向毎に固有の振幅比に設定する振幅比設定ステップと、
    前記特定方向における振幅が同一となるように、前記一対の音波信号の前記特定方向の振幅比を変更する振幅変更ステップと、
    を含み、
    前記振幅変更ステップを経た前記一対の音波信号の波形間の差分に応じて利得を決定する利得決定ステップと、
    前記利得を音波信号に乗じて出力する出力ステップと、
    含むこと、
    を特徴とする音源分離方法。
  2. 前記振幅比設定ステップでは、
    前記一対の音波信号の振幅を、方向によって固有の変化率で変化させると共に、同一方向に由来する振幅を、異なる変化率で変化させることを特徴とする請求項1に記載の音源分離方法。
  3. 前記変化率の比を示すポーラパターンは、
    前記一対の音波信号毎に異なることを特徴とする請求項2に記載の音源分離方法。
  4. 前記振幅の変化率は、強調または減衰を行う特定方向において、
    その変化率が、他の方向の振幅率と比較して大きいものであることを特徴とする請求項3に記載の音源分離方法。
  5. 前記利得決定ステップは、
    前記振幅変更ステップを経た音波信号を、交換回路によって前記一対の音波信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換ステップと、
    前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する生成ステップと、
    前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する更新ステップと、
    逐次更新された係数mを前記一対の音波信号に乗じて出力する出力ステップと、
    を備えること、
    を特徴とする請求項4に記載の音源分離方法。
  6. 前記一対の音波信号は、一対のマイクロフォンから入力された一対の音波信号であることを特徴とする請求項1乃至5の何れかに記載の音源分離方法。
  7. 前記一対の音波信号は、音源からマイクロフォンまでの系を模擬した場合の伝達係数により表わされた系が畳み込まれたものであることを特徴とする請求項1乃至5の何れかに記載の音源分離方法。
  8. 一対の音波信号に対して、特定方向に指向性を形成する音源分離装置であって、
    任意の数のフィルタと、その後段に設けられた任意の数の加算器と、から成る、
    前記一対の音波信号の振幅比を変更し、方向毎に固有の振幅比に設定する振幅設定部と、
    前記特定方向における振幅が同一となるように、前記一対の音波信号の前記特定方向の振幅比を変更する振幅変更部と、
    を備え、
    前記振幅変更を経た前記一対の音波信号の波形間の差分に応じて利得を決定する利得決定部と、
    前記利得を音波信号に乗じて出力する出力部、
    を備えること、
    を特徴とする音源分離装置。
  9. 前記振幅比設定部では、前記一対の音波信号の振幅を、方向によって固有の変化率で変化させると共に、同一方向に由来する振幅を、異なる変化率で変化させる、ことを特徴とする請求項8に記載の音源分離装置。
  10. 前記変化率の比を示すポーラパターンは、
    前記一対の音波信号毎に異なることを特徴とする請求項9に記載の音源分離装置。
  11. 前記振幅の変化率は、強調または減衰を行う特定方向において、
    その変化率が、他の方向の振幅率と比較して大きいものであることを特徴とする請求項10に記載の音源分離装置。
  12. 前記利得決定部は、
    前記振幅変更部を経た音波信号を、交換回路によって前記一対の音波信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成する交換部と、
    前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成する生成部と、
    前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新する更新部と、
    逐次更新された係数mを前記一対の音波信号に乗じて出力する出力部と、
    を備えること、
    を特徴とする請求項11に記載の音源分離装置。
  13. 前記一対の音波信号は、一対のマイクロフォンから入力された一対の音波信号であることを特徴とする請求項8乃至12の何れかに記載の音源分離装置。
  14. 前記一対の音波信号は、音源からマイクロフォンまでの系を模擬した場合の伝達係数により表わされた系が畳み込まれたものであることを特徴とする請求項8乃至12の何れかに記載の音源分離装置。
  15. 一対の音波信号に対して、特定方向に指向性を形成する音源分離プログラムであって、
    コンピュータを、
    前記一対の音波信号における其々の音波信号の振幅比を変更し、方向毎に固有の振幅比を有する一対の音波信号を生成する振幅比設定手段と、
    前記特定方向における振幅が同一となるように、前記一対の音波信号の前記特定方向の振幅比を変更する振幅変更手段と、
    前記振幅変更手段を経た前記一対の音波信号の波形間の差分に応じて利得を決定する利得決定手段と、
    前記利得を音波信号に乗じて出力する出力手段と、
    して機能させることを特徴とする音源分離プログラム。
  16. 前記振幅比設定手段では、前記一対の音波信号の振幅を、方向によって固有の変化率で変化させると共に、同一方向に由来する振幅を、異なる変化率で変化させる、ことを特徴とする請求項15に記載の音源分離プログラム。
  17. 前記変化率の比を示すポーラパターンは、
    前記一対の音波信号毎に異なることを特徴とする請求項16に記載の音源分離プログラム。
  18. 前記振幅の変化率は、強調または減衰を行う特定方向において、
    その変化率が、他の方向の振幅率と比較して大きいものであることを特徴とする請求項17に記載の音源分離プログラム。
  19. 前記振幅変更手段を経た音波信号を、交換回路によって前記一対の音波信号を1サンプル毎に交互に入れ替えることで、一対の交換信号を生成させ、
    前記交換信号の片方に係数mを乗じた上で、前記交換信号の誤差信号を生成し、
    前記誤差信号を含む係数mの漸化式を演算して係数mを1サンプル毎に更新させ、
    逐次更新された係数mを前記一対の音波信号に乗じて出力させる、
    機能を実現することを特徴とする請求項18に記載の音源分離プログラム。
JP2013023869A 2013-02-08 2013-02-08 音源分離方法、装置及びプログラム Active JP6128547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013023869A JP6128547B2 (ja) 2013-02-08 2013-02-08 音源分離方法、装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013023869A JP6128547B2 (ja) 2013-02-08 2013-02-08 音源分離方法、装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014155075A JP2014155075A (ja) 2014-08-25
JP6128547B2 true JP6128547B2 (ja) 2017-05-17

Family

ID=51576535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013023869A Active JP6128547B2 (ja) 2013-02-08 2013-02-08 音源分離方法、装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6128547B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0739000A (ja) * 1992-12-05 1995-02-07 Kazumoto Suzuki 任意の方向からの音波の選択的抽出法
JP4901542B2 (ja) * 2007-03-20 2012-03-21 三洋電機株式会社 音声信号生成装置及び方法
JP5633145B2 (ja) * 2009-12-22 2014-12-03 ヤマハ株式会社 音信号処理装置

Also Published As

Publication number Publication date
JP2014155075A (ja) 2014-08-25

Similar Documents

Publication Publication Date Title
JP4286637B2 (ja) マイクロホン装置および再生装置
US8611552B1 (en) Direction-aware active noise cancellation system
RU2018119087A (ru) Устройство и способ для формирования отфильтрованного звукового сигнала, реализующего рендеризацию угла места
JP5672770B2 (ja) マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
CN108293170B (zh) 波束成形应用中的自适应无相位失真幅度响应均衡的方法及装置
RU2013130227A (ru) Устройство и способ для пространственно избирательного получения звука с помощью акустической триангуляции
JP6226885B2 (ja) 音源分離方法、装置、及びプログラム
KR102191736B1 (ko) 인공신경망을 이용한 음성향상방법 및 장치
US9538288B2 (en) Sound field correction apparatus, control method thereof, and computer-readable storage medium
JP6371167B2 (ja) 残響抑制装置
JP6226301B2 (ja) 指向性マイクロホン装置、音響信号処理方法およびプログラム
CN105103219A (zh) 降低噪音的方法
JP2017050847A5 (ja)
JP6809936B2 (ja) 雑音抽出装置およびマイクロホン装置
WO2017045512A1 (zh) 一种语音识别的方法、装置、终端及语音识别设备
JP5140785B1 (ja) 指向性制御方法及び装置
TW201312551A (zh) 語音增強方法
JP6128547B2 (ja) 音源分離方法、装置及びプログラム
JP6065029B2 (ja) 収音装置、プログラム及び方法
JPWO2013094102A1 (ja) 音響処理装置および音響処理方法
JP5713933B2 (ja) 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム
JP6221463B2 (ja) 音声信号処理装置及びプログラム
KR20100025140A (ko) 2개의 마이크를 사용한 음원 분리 방법
KR20140077764A (ko) 음향 경로 모델링을 이용한 tdnn 소리 인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170405

R150 Certificate of patent or registration of utility model

Ref document number: 6128547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250