JP7266433B2 - 音源定位装置、音源定位方法、およびプログラム - Google Patents

Description

本発明は、音源定位装置、音源定位方法、およびプログラムに関する。

音声認識では、例えば複数のマイクロホンで構成されるマイクロホンアレイによって音響信号を収音し、収音した音響信号に対して音源定位や音源分離を行う。ここで、音源定位とは、音源の位置を推定する処理である。音源分離とは、複数の音源から各音源の信号を抽出する処理である。そして、音声認識では、音源定位されたデータと音源分離されたデータから特徴量を抽出し、抽出した特徴量に基づいて音声認識を行う。また、マイクロホンアレイを用いる場合、ビームフォーミング法を用いて指定角度での各マイクへの音声到達時間のずれを計算して補正し、各マイクに入力される音響信号の位相差を揃えて和とることで音響ビームを形成する。そして、このビームを空間的にスキャンさせることにより音源位置を推定する。このような音源定位処理では、ステアリングベクトルを計算して、計算したステアリングベクトルを用いて処理を行う（例えば、特許文献１参照）。

また、ステアリングベクトルは、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ ＳＩｇｎａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法による音源定位においても用いられ、伝達関数に基づく音源分離用にも用いられる。ここで、ステアリングベクトルとは、例えばビームフォーミング法では、伝達関数の位相を反転した係数ベクトルである。

特表２０１３－５４５３８２号公報

ビームフォーミング法やＭＵＳＩＣ法を用いて音源定位を行う場合は、離散化した角度毎のステアリングベクトル（ステアリングベクトルデータベース）をあらかじめ用意する必要がある。しかしながら、従来技術では、この離散的した角度毎のステアリングベクトルの演算量が多く、演算に時間を要していた。

本発明は、上記の問題点に鑑みてなされたものであって、ステアリングベクトルの演算量を低減することができる音源定位装置、音源定位方法、およびプログラムを提供することを目的とする。

（１）上記目的を達成するため、本発明の一態様に係る音源定位装置（音処理装置１）は、２つ以上のマイクロホン（２１）を有する収音部（２）と、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をＹ（θ）と表し、｜Ｙ（θ）｜^２ が最大となる角度θが満たす式の方程式の解を求めることで｜Ｙ（θ）｜^２が最大となる角度θを求めることにより、音源の定位を行う音源定位部（１０２）、を備える。

（２）また、本発明の一態様に係る音源定位装置において、Ｍは前記マイクロホンの数であり、ｍ（１からＭの間の整数）は前記マイクロホンが何番目かを表し、θ_ｋ（ｋは１からＫの整数）は離散化した方向を表し、ｅｘｐ（ｉｎθ_ｋ）は角度θ _ｋ に対するｎ次のフーリエ基底関数であり、Ｃ_ｎｍはフーリエ係数であり、前記フーリエ基底関数を記憶する記憶部、を備え、前記音源定位部は、ビームフォーミング法で音源定位を行い、前記ステアリングベクトルにおけるステアリング係数Ｇ_ｍ（θ_ｋ）を次式で計算する、

ようにしてもよい。

（３）また、本発明の一態様に係る音源定位装置において、前記音源定位部は、Ｋ行（２Ｎ＋１）列の前記フーリエ基底関数の行列に、（２Ｎ＋１）行Ｍ列の前記フーリエ係数の行列を乗じることで、前記ステアリング係数Ｇ _ｍ （θ _ｋ ）を成分とするＫ行Ｍ列の行列を算出するようにしてもよい。

（４）また、本発明の一態様に係る音源定位装置において、前記音源定位部は、（Ｍ＋Ｋ）（２Ｎ＋１）が（Ｍ×Ｋ）未満のＮを選択するようにしてもよい。

（５）また、本発明の一態様に係る音源定位装置において、ｘはｅｘｐ（ｉｎθ）であり、ｆ（ｘ）は、ｄ｜Ｙ（θ）｜^２／ｄθであり、Ｙ（θ）はビームフォーミング出力であり、βは係数であり、前記音源定位部は、次式

を解くことで、任意の角度θにおけるビームフォーミング出力Ｙ（θ）が最大となる角度θを求めることで音源定位を行うようにしてもよい。

（６）上記目的を達成するため、本発明の一態様に係る音源定位方法は、２つ以上のマイクロホンを有する収音部を有する音源定位装置における音源定位方法であって、音源定位部が、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎の音源を移動させた場合の前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をＹ（θ）と表し、｜Ｙ（θ）｜^２ が最大となる角度θが満たす式の方程式の解を求めることで｜Ｙ（θ）｜^２が最大となる角度θを求めることにより、音源の定位を行う手順、を含む。

（７）上記目的を達成するため、本発明の一態様に係るプログラムは、２つ以上のマイクロホンを有する収音部を有する音源定位装置のコンピュータに、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をＹ（θ）と表し、｜Ｙ（θ）｜^２ が最大となる角度θが満たす式の方程式の解を求めることで｜Ｙ（θ）｜^２が最大となる角度θを求めることにより、音源の定位を行うステップ、を実行させる。

上述した（１）または（６）あるいは（７）によれば、マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化したので、ステアリングベクトルの演算量を低減することができる。また、（１）または（６）あるいは（７）によれば、任意の角度のステアリングベクトルを計算することができる。

また、上述した（２）、（３）によれば、上述した式を用いてステアリングベクトル係数を計算することで、ステアリングベクトルの演算量を低減することができる。
また、上述した（４）によれば、（Ｍ＋Ｋ）（２Ｎ＋１）が（Ｍ×Ｋ）未満のＮを選択するため、ステアリングベクトルの演算量を従来より低減することができる。
また、上述した（５）によれば、角度θを離散化せずに直接出力が最大となるθを多項式の解として求められることができる。また、上述した（５）によれば、Ｎが小さいときには比較的早く計算でき誤差も小さい。

本実施形態に係る音処理装置の構成例を示すブロック図である。 従来技術におけるビームフォーミングにおける演算回数を説明するための図である。 従来技術の演算回数例を示す図である。 複素フーリエモデル次数Ｎが５次の場合の本実施形態に係る演算回数例を示す図である。 複素フーリエモデル次数Ｎが１０次の場合の本実施形態に係る演算回数例を示す図である。 複素フーリエモデル次数Ｎが２０次の場合の本実施形態に係る演算回数例を示す図である。 複素フーリエモデル次数Ｎが４０次の場合の本実施形態に係る演算回数例を示す図である。 本実施形態に係るマイクロホン数Ｍが８個の場合の演算回数を示す図である。 本実施形態に係るマイクロホン数Ｍが３２個の場合の演算回数を示す図である。 本実施形態に係るマイクロホン数Ｍが１２８個の場合の演算回数を示す図である。 本実施形態に係る音処理装置１の処理のフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。

［音処理装置１］
図１は、本実施形態に係る音処理装置１の構成例を示すブロック図である。図１に示すように、音処理装置１は、取得部１０１、音源定位部１０２、ステアリングベクトル記憶部１０３、音源分離部１０４、発話区間検出部１０５、特徴量抽出部１０６、音響モデル記憶部１０７、音源同定部１０８、および認識結果出力部１０９を備える。音源定位部１０２は、ステアリングベクトル算出部１０２１、およびテーブル記憶部１０２２を備える。
また、音処理装置１には、収音部２が有線または無線で接続されている。

収音部２は、Ｍ（Ｍは２以上の整数）個のマイクロホン２１（２１（１）、・・・２１（Ｍ））から構成されるマイクロホンアレイである。収音部２は、音源が発した音響信号を収音し、収音したＭチャネルの音響信号を取得部１０１に出力する。なお、以下の説明において、Ｍ個のマイクロホンのうち１つを特定しない場合は、単にマイクロホン２１という。

取得部１０１は、収音部２が出力するＭチャネルのアナログの音響信号を取得し、取得したアナログの音響信号を短区間フーリエ変換によって周波数領域に変換する。なお、収音部２の複数のマイクロホンそれぞれが出力する複数の音響信号は、同じサンプリング周波数の信号を用いてサンプリングが行われる。取得部１０１は、デジタルに変換したＭチャネルの音響信号を音源定位部１０２と音源分離部１０４に出力する。

音源定位部１０２は、収音部２が出力するＭチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム（例えば、２０ｍｓ）毎に定める（音源定位）。音源定位部１０２のステアリングベクトル算出部１０２１は、テーブル記憶部１０２２が記憶するテーブルを用いて、例えばビームフォーミング（ＢＦ：Ｂｅａｍ Ｆｏｒｍｉｎｇ）法を用いて任意の角度のステアリングベクトルを算出する。なお、ステアリングベクトルは、方向毎のパワーを示す。なお、ステアリングベクトルの算出方法については後述する。ステアリングベクトル算出部１０２１は、算出したステアリングベクトルをステアリングベクトル記憶部１０３に記憶させる。音源定位部１０２は、算出したステアリングベクトルに基づいて音源毎の音源方向を定める。音源定位部１０２は、音源方向を示す音源方向情報を音源分離部１０４と、発話区間検出部１０５に出力する。なお、テーブル記憶部１０２２が記憶する情報については後述する。

ステアリングベクトル記憶部１０３は、ステアリングベクトルを記憶する。ステアリングベクトル記憶部１０３は、例えば１５度間隔で、音源を移動させたときの、マイクロホン２１毎かつ音源の角度毎のステアリングベクトルを記憶する。記憶するステアリングベクトルは、後述するようにＮ次の複素フーリエ係数でモデル化したものである。

音源分離部１０４は、音源定位部１０２が出力する音源方向情報と、収音部２が出力するＭチャネルの音響信号を取得する。音源分離部１０４は、Ｍチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部１０４は、音源別音響信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ－ｃｏｎｓｔｒａｉｎｅｄ Ｈｉｇｈ－ｏｒｄｅｒ Ｄｅｃｏｒｒｅｌａｔｉｏｎ－ｂａｓｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）法を用いる。音源分離部１０４は、分離した音響信号のスペクトルを求めて発話区間検出部１０５に出力する。

発話区間検出部１０５は、音源定位部１０２が出力する音源方向情報と、音源分離部１０４が出力する音響信号のスペクトルを取得する。発話区間検出部１０５は、取得した分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。例えば、発話区間検出部１０５は、ステアリングスペクトルに対して閾値処理を行うことで、音源検出と発話区間検出を同時に行う。発話区間検出部１０５は、検出した検出結果と方向情報と音響信号のスペクトルとを特徴量抽出部１０６に出力する。

特徴量抽出部１０６は、発話区間検出部１０５が出力する分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算する。特徴量抽出部１０６は、例えば、静的メル尺度対数スペクトル（ＭＳＬＳ：Ｍｅｌ－Ｓｃａｌｅ Ｌｏｇ Ｓｐｅｃｔｒｕｍ）、デルタＭＳＬＳ及び１個のデルタパワーを、所定時間（例えば、１０ｍｓ）毎に算出することで音響特徴量を算出する。なお、ＭＳＬＳは、音響認識の特徴量としてスペクトル特徴量を用い、ＭＦＣＣ（メル周波数ケプストラム係数；Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）を逆離散コサイン変換することによって得られる。特徴量抽出部１０６は、求めた音響特徴量を音源同定部１０８に出力する。

音響モデル記憶部１０７は、音源モデルを格納する。音源モデルは、収音された音響信号を音源同定部１０８が同定するために用いるモデルである。音響モデル記憶部１０７は、同定する音響信号の音響特徴量を音源モデルとして、音源名を示す情報に対応付けて音源毎に格納する。

音源同定部１０８は、特徴量抽出部１０６が出力する音響特徴量を、音響モデル記憶部１０７が格納する音響モデルを参照して音源を同定する。音源同定部１０８は、同定した同定結果を認識結果出力部１０９に出力する。

認識結果出力部１０９は、例えば画像表示部であり、音源同定部１０８が出力する同定結果を表示する。

［一般的なビームフォーミング法による処理］
次に、ビームフォーミング法による処理例の概要を説明する。図２は、従来技術におけるビームフォーミングにおける演算回数を説明するための図である。なお、図２では、添え字を一部省略している。
取得部１０１が周波数領域に変換した観測信号Ｘ_ｍは、次式（１）のように表される。

式（１）において、Ｆ［・］は短区間フーリエ変換を表す。ｘ_ｍ（ｔ、ｉ）は、ｍ番目のマイクロホン２１で観測された信号を表し、ｔは時間であり、ｉはフーリエ変換の区間を表すインデックスである。また、Ｘ_ｍ（ω、ｉ）は、ｘ_ｍ（ｔ、ｉ）の短区間フーリエ係数であり、ωは周波数である。Ｍ個のマイクロホンで観測した場合は、観測されたデータの短区間フーリエ係数を並べて、次式（２）のように観測ベクトルを定義する。

式（２）において、Ｔは行列／ベクトルの転置を表す。
水平方向一次元における音源定位の場合のビームフォーミング法では、離散化した角度をθ_ｋ（ｋ＝１，２，３，…，Ｋ）毎に、ビームフォーミングの出力値Ｙ_ｋを次式（３）で計算する。なお、以下の説明では、インデックスｉを省略して説明する。

式（３）において、Ｇ_ｍ（θ_ｋ、ω）はｍ番目のマイクロホン２１（ｍ）のステアリング係数（ビームフォーミング係数）である。なお、ステアリング係数とは、ステアリングベクトルの係数である。また、ステアリングベクトルとは、マイクロホンに対し角度θ_ｋをなす方向の離散周波数の位相応答を、各マイクロホンに対して並べた列ベクトルである。

ビームフォーミングの出力値Ｙ_ｋは、次式（４）の入力ベクトルｘと、次式（５）のステアリングベクトルｇ_ｋを用いて、次式（６）のように表される。なお、式（４）と式（５）において、Ｔは転置記号である。

式（６）は、行列とベクトルを用いて、次式（７）のように表すことができる。なお、以下の説明において、周波数ωは、各周波数で独立に処理するため，（ω）の記述を省略する。

ここで、平面における入射角度θとすると、ビームフォーマ出力Ｙ_ｋの平均パワーを求めることになる。ビームフォーミング法では、音源方向から到来する音波の位相がそろえられ加算されるため、音源方向から到来する音波が強調される、これにより、音響的なビームが形成される。ビームフォーミング法では、このビームを空間的にスキャンすることにより、方向が真の音源方向と一致したときに、空間スペクトルにピークが現れる。ビームフォーミング法では、このピーク位置により音源の位置（到来方向）を推定する。

しかしながら、式（７）を用いて、ある周波数ある方向について計算するのに、複素数の乗算がＭ回必要になる。したがって、すべての角度について計算すると乗算回数は、ＭＫ回必要である。例えば、音源定位を、方位角を５°の精度で行うためにはｋ＝７２となる。マイクロホンの個数Ｍが３２個の場合、乗算回数は、２３０４（＝７２×３２）回必要である。

［本実施形態による音源定位における演算］
次に、本実施形態による音源定位における演算方法を説明する。なお、以下の説明においても（ω）の記述を省略する。
本実施形態では、ステアリングベクトル算出部１０２１が、各マイクロホン２１についてのステアリング係数（ビームフォーミング係数）Ｇ_ｍ（θ_ｋ）を、次式（８）のようにＮ次の複素フーリエ係数でモデル化する。

式（８）において、Ｃ_ｎｍはビームフォーミングのフーリエ係数（以下、単にフーリエ係数という）であり、ｉは複素数を表す。また、Ｃ_ｎｍとＣ_－ｎｍは互いに共役の関係である。

［係数の求め方］
ここで、例として、入射角度θのみを変数とする１次元のステアリング係数Ｇ（θ_ｋ）に対し、式（８）で与えられる複素振幅モデルを導入した場合の係数（Ｃ_ｎ（ω））の決定方法について説明する。なお以下の説明では、簡略化のためωを省略しＣ_ｎと記述する。
実測した伝達関数の数をＬ、その時の入射角度θ_ｌ（ｌ＝１，２，３，…，Ｌ）とすると次式（９）の連立方程式が得られる。

この連立方程式は、次式（１０）のように、行列とベクトルを利用して記述できる。

式（１０）において、ｇは実測ステアリングベクトル、ｃは係数ベクトル、Ａはモデルのステアリング係数である。各ベクトルは次式（１１）～次式（１３）である。

なお、式（１３）において、ａｌは次式（１４）である。

式（１０）から、求めるべき係数ベクトルｃは、次式（１５）として求めることができる。

式（１５）において、Ａ^＋はＡの疑似逆行列（ムーアペンローズ型疑似逆行列）である。式（１５）により、一般に、変数の数２Ｎ＋１よりも式の数Ｌが多い場合（２Ｎ＋１＞Ｌの場合）、係数は誤差の２乗和が最小となる解として得られる。また、そうでない場合（２Ｎ＋１≦Ｌの場合）は、式（９）の解の中で解のノルムが最小になる解が得られる。

次に、ビームフォーミングの出力値Ｙ_ｋは、次式（１６）のように計算することができる。

なお、式（８）、（１６）では、（ω）の記述を省略しているが、Ｘ_ｍ（ω）、Ｃ_ｍ（ω）である。
式（８）、（１６）は、行列・ベクトルで次式（１７）のように表される。

式（１７）において、左辺はビームフォーミング係数である。ビームフォーミング係数において、行数が方向数Ｋであり、列数がマイクロホン数Ｍである。また、右辺の１項目は、フーリエ基底関数であり、行数が方向数Ｋ（離散化角度数）であり、列数が２Ｎ＋１（フーリエ級数の数）である。また、右辺の２項目は、ビームフォーミングのフーリエ係数であり、行数が２Ｎ＋１（フーリエ級数の数）であり、列数がマイクロホン数Ｍである。

ここで、式（１７）をＧ＝ＳＣとする。
フーリエモデルで計算する場合、ビームフォーミング出力Ｙ_ｋは、Ｙ_ｋ＝Ｇｘ＝ＳＣｘ＝Ｓ（Ｃｘ）のように表すことができる。
Ｓは、式（１７）のように、Ｋ行、２Ｎ＋１列の行列であり、Ｋ（２Ｎ＋１）回の乗算が必要である。また、Ｃは、式（１７）のように、２Ｎ＋１行、Ｍ列の行列であり、（２Ｎ＋１）Ｍ回の乗算が必要である。このため、式（１７）の乗算回数の合計は、（Ｍ＋Ｋ）（２Ｎ＋１）回である。
なお、ｅｘｐ（ｉｎθｋ）自体の計算は、予めテーブルを用意することで参照のみの処理となるため、計算回数から除外した。このｅｘｐ（ｉｎθ_ｋ）のテーブルは、テーブル記憶部１０２２があらかじめ記憶している。

通常のフーリエ係数のモデル次数は、マイクロホン数Ｍや離散化角度数Ｋに対し小さい値のため、計算量を減らすことができる。
例えば，マイクロホン数Ｍ＝３２、離散化角度数Ｋ＝７２、複素フーリエモデル次数Ｎ＝５の場合の演算回数は、１１４４（＝（２Ｎ＋１）（Ｍ＋Ｋ）＝１１＊１０４）回である。上述したように、通常の演算回数は２３０４回であるので、約半分の乗算回数で計算できる。

［演算回数の比較］
次に、従来技術と本実施形態の演算回数の比較例を説明する。
図３は、従来技術の演算回数例を示す図である。横の第１軸がマイクロホン数Ｍであり、横の第２軸が離散化角度数Ｋであり、縦軸が乗算回数である。図３に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００の場合、乗算回数は約４×１０^４回である。

図４～図７は、本実施形態に係る演算回数例を示す図である。図４は、複素フーリエモデル次数Ｎが５次の場合の本実施形態に係る演算回数例を示す図である。図５は、複素フーリエモデル次数Ｎが１０次の場合の本実施形態に係る演算回数例を示す図である。図６は、複素フーリエモデル次数Ｎが２０次の場合の本実施形態に係る演算回数例を示す図である。図７は、複素フーリエモデル次数Ｎが４０次の場合の本実施形態に係る演算回数例を示す図である。なお、図４～図７の各軸は、図３と同じである。

図４に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが５次の場合、乗算回数は約０．５×１０^４回である。従来技術のＭ×Ｋ回と比較して、乗算回数が１／８に低減されている。
図５に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが１０次の場合、乗算回数は約１×１０^４回である。従来技術のＭ×Ｋ回と比較して、乗算回数が１／４に低減されている。

図６に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが２０次の場合、乗算回数は約２×１０^４回である。従来技術のＭ×Ｋ回と比較して、乗算回数が１／２に低減されている。
図７に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが４０次の場合、乗算回数は約４×１０^４回である。この場合の演算回数は、従来技術のＭ×Ｋ回と同等である。なお、複素フーリエモデル次数Ｎ＝４０は、離散角度Ｍを８１点もつのと同じ細かさでモデル化することに相当する。

図３～図７に示したように、複素フーリエモデル次数Ｎが低い場合は、ＭとＫが大きいと計算量の削減効果が高い。一方、複素フーリエモデル次数Ｎが多くなると、計算量削減効果は少ない。

［マイクロホン数と乗算回数の関係］
次に、本実施形態におけるマイクロホン数と乗算回数の関係を説明する。
図８～図１０は、本実施形態におけるマイクロホン数と乗算回数の関係を示す図である。図８は、本実施形態に係るマイクロホン数Ｍが８個の場合の演算回数を示す図である。図９は、本実施形態に係るマイクロホン数Ｍが３２個の場合の演算回数を示す図である。図１０は、本実施形態に係るマイクロホン数Ｍが１２８個の場合の演算回数を示す図である。図８～図１０において、横軸は離散化角度数Ｋであり、縦軸が演算回数である。また、符号ｇ１１は従来技におけるＭＮ回の演算回数である。符号ｇ２１は複素フーリエモデル次数Ｎが５であり、符号ｇ２２は複素フーリエモデル次数Ｎが１０であり、符号ｇ２３は複素フーリエモデル次数Ｎが２０である。
図８～図１０に示すように、マイクロホン数Ｍと離散化角度数Ｋが大きく、複素フーリエモデル次数Ｎが小さい場合に演算回数が従来技術のＭＮ回と比較して低減することができる。

このため、音源定位部１０２は、収音部２が備えるマイクロホン２１の個数Ｍに応じて、次式（１８）を満足するＮを選択するようにしてもよい。

［処理手順］
次に、音処理装置１の処理手順例を説明する。
図１１は、本実施形態に係る音処理装置１の処理のフローチャートである。

（ステップＳ１）収音部２は、音響信号を収音し、収音したＭチャネルの音響信号を取得部１０１に出力する。

（ステップＳ２）音源定位部１０２は、例えばビームフォーミング法を用いてビームフォーミングの出力を算出する。続けて、音源定位部１０２は、算出したビームフォーミングの出力に基づいて音源毎の音源方向を定める。

（ステップＳ３）音源分離部１０４は、Ｍチャネルの音響信号を、音源方向情報が示す音源方向に基づいて、例えばＧＨＤＳＳ法を用いて、音源毎の成分を示す音響信号である音源別音響信号に分離する。

（ステップＳ４）発話区間検出部１０５は、分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。

（ステップＳ５）特徴量抽出部１０６は、発話区間検出部１０５が出力する分離されたスペクトルから、例えばメル周波数ケプストラム係数（ＭＦＣＣ）を音響特徴量として音源毎に計算する。

（ステップＳ６）音源同定部１０８は、特徴量抽出部１０６が出力する音響特徴量を、音響モデル記憶部１０７が記憶する音響モデルを参照して音源を同定する。

なお、上述した例では、音源定位処理においてビームフォーミング法を用いる例を説明したがこれに限らない。音源定位処理に用いる手法は、ＭＵＳＩＣ法等であってもよく、離散的した角度毎のステアリングベクトルを用いる手法であれば、上述したＮ次の複素フーリエ係数でモデル化を適用することができる。

また、Ｎ次の複素フーリエ係数でモデル化において、フーリエ級数展開に限らず、テーラー展開やスプライン補間等、他の手法を用いてもよい。

以上のように、本実施形態では、マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化したので、ステアリングベクトルの演算量を低減することができる。

［任意の角度のビームフォーミング値の算出］
ここで、予め測定した伝達関数が３０度毎であったとする。
例えば、特開２０１０－１７１７８５号公報（以下、特許文献２という）には、少ない数の限られた方向の伝達関数から、中間的な方向の伝達関数を補間により求める手法が開示されている。しかしながら、特許文献２に記載の技術では、元の測定した伝達関数が、全周を整数で等分した角度に限定される。また、特許文献２に記載の技術では、補間で算出できる伝達関数の角度も実測した角度間隔の整数倍でとなる必要がある。そのため、特許文献２に記載の技術では、任意の中間的な角度の伝達関数値を補間で求めることができなかった。

これに対して、本実施形態では、各マイクロホン２１についてのステアリング係数をN次の複素フーリエ係数でモデル化して、テーブル記憶部１０２２にステアリングベクトルデータベースを記憶させるようにした。この結果、本実施形態では、音源定位部１０２が音源定位における音源方向の算出を、離散化した角度毎に出力値を計算することなく直接多項式の解から求めることができる。

ここで、走査ビームフォーミングによる水平方向１次元の音源定位を例に任意の角度の出力値の計算方法を説明する。走査ビームフォーミングによる定位では、離散化した角度をθ_ｋ（ｋ＝１，２，３，…，Ｋ）毎にビームフォーミングの出力値Ｙ_ｋを次式（１９）で計算して｜Ｙ_ｋ｜^２が最大とインデックスｍを求めることで、定位方向をθ_ｍとして出力する。

式（１９）において、θ_ｋに対して離散的（不連続）であるため，｜Ｙ_ｋ｜^２のピークをその微分関数が０となる解から求めることはできない。
これに対し、各マイクロホン２１についてのステアリング係数Ｇ_ｍ（θ_ｋ）をＮ次の複素フーリエ係数でモデル化すると、任意の角度θについて，その出力Ｙ（θ）を次式（２０）のように表すことができる。

式（２０）において、（Σ_ｍ＝１ ^ＭＸ_ｍＣ_ｎｍ（ω））をα_ｎと置くと、式（２０）は式（２１）のように表される。

式（２１）において、｜Ｙ_ｋ｜^２が最大となるθは、次式（２２）を満たす。

このため、式（２２）の方程式の解を求めることで｜Ｙ_ｋ｜^２が最大となるθを求めることができる。
｜Ｙ（θ）｜^２＝Ｙ^＊（θ）Ｙ（θ）であるので、式（２２）は、次式（２３）のように表される。

式（２３）において、Ｙ^＊（θ）は次式（２４）であり、Ｙ^’（θ）は次式（２５）であり、Ｙ^＊’（θ）は次式（２６）である。

このため、式（２３）は、次式（２７）のように表される。

式（２７）において、ｅｘｐ（ｉｎθ）をｘとおき、ｄ｜Ｙ（θ）｜^２／ｄθをｆ（ｘ）とおくと、式（２７）は次式（２８）のように表される。

式（２８）において、和を展開してｘ_ｎの項で整理した係数をβ_ｎとすると、式（２８）は次式（２９）のように表される。

ｆ（ｘ）＝０は、ｘ≠０からｘ^２Ｎｆ（ｘ）＝０の解であるので、次式（３０）から解を求めることができる。

すなわち、角度θを離散化せずに直接最大となる角度θを、多項式の解として求めることができる。
なお、式（２４）は、４Ｎ次の方程式であるため、Ｎ（次数）が小さい場合に比較的高速に計算でき、誤差も少ない。

以上のように、本実施形態によれば、予め測定したステアリングベクトルが３０度毎であっても、式（８）を用いて、実測値の中間値に加え任意の角度のステアリングベクトルを計算することができる。これにより、本実施形態によれば、細かい分解能で定位や分離を行うことができるようになる。本実施形態によれば、例えば、５度おきに計測したステアリングベクトルしかない状態でも、１度おきに定位のデータを得ることができ、より高い精度で音源の到来方向を推定できるようになる。さらに、本実施形態によれば、測定点を少なくしても任意の音源方向のステアリングベクトルを生成できるので、格納するデータ量を従来より低減することができる。

なお、上述した例では、走査ビームフォーミングによる水平方向１次元の音源定位を例に任意の角度の出力値の計算方法を説明したが、次元は二次元、三次元であってもよい。また、音源定位の手法は走査ビームフォーミングに限らず、ＭＵＳＩＣ法等であってもよい。

なお、本発明における音処理装置１の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音処理装置１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１…音処理装置、１０１…取得部、１０２…音源定位部、１０３…ステアリングベクトル記憶部、１０４…音源分離部、１０５…発話区間検出部、１０６…特徴量抽出部、１０７…音響モデル記憶部、１０８…音源同定部、１０９…認識結果出力部１０９を備える。また、音源定位部１０２は、ステアリングベクトル算出部１０２１、２…収音部

Claims (7)

1. ２つ以上のマイクロホンを有する収音部と、
   前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をＹ（θ）と表し、｜Ｙ（θ）｜^２ が最大となる角度θが満たす式の方程式の解を求めることで｜Ｙ（θ）｜^２が最大となる角度θを求めることにより、音源の定位を行う音源定位部、
   を備える音源定位装置。
2. Ｍは前記マイクロホンの数であり、ｍ（１からＭの間の整数）は前記マイクロホンが何番目かを表し、θ_ｋ（ｋは１からＫの整数）は離散化した方向を表し、ｅｘｐ（ｉｎθ_ｋ）は角度θ _ｋ に対するｎ次のフーリエ基底関数であり、Ｃ_ｎｍはフーリエ係数であり、
   前記フーリエ基底関数を記憶する記憶部、を備え、
   前記音源定位部は、
   ビームフォーミング法で音源定位を行い、
   前記ステアリングベクトルにおけるステアリング係数Ｇ_ｍ（θ_ｋ）を次式で計算する、
   

   

   請求項１に記載の音源定位装置。
3. 前記音源定位部は、
   Ｋ行（２Ｎ＋１）列の前記フーリエ基底関数の行列に、（２Ｎ＋１）行Ｍ列の前記フーリエ係数の行列を乗じることで、前記ステアリング係数Ｇ_ｍ（θ_ｋ）を成分とするＫ行Ｍ列の行列を算出する、請求項２に記載の音源定位装置。
4. 前記音源定位部は、
   （Ｍ＋Ｋ）（２Ｎ＋１）が（Ｍ×Ｋ）未満のＮを選択する、請求項２または請求項３に記載の音源定位装置。
5. ｘはｅｘｐ（ｉｎθ）であり、ｆ（ｘ）は、ｄ｜Ｙ（θ）｜^２／ｄθであり、Ｙ（θ）は任意の角度θにおけるビームフォーミング出力であり、βは係数であり、
   前記音源定位部は、次式
   

   

   を解くことで、前記ビームフォーミング出力Ｙ（θ）が最大となる角度θを求めることで音源定位を行う、請求項２から請求項４のいずれか１項に記載の音源定位装置。
6. ２つ以上のマイクロホンを有する収音部を有する音源定位装置における音源定位方法であって、
   音源定位部が、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をＹ（θ）と表し、｜Ｙ（θ）｜^２ が最大となる角度θが満たす式の方程式の解を求めることで｜Ｙ（θ）｜^２が最大となる角度θを求めることにより、音源の定位を行う手順、
   を含む音源定位方法。
7. ２つ以上のマイクロホンを有する収音部を有する音源定位装置のコンピュータに、
   前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、所定の角度毎に音源を移動させた場合の前記マイクロホン毎のステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度についてのビームフォーミング出力をＹ（θ）と表し、｜Ｙ（θ）｜^２ が最大となる角度θが満たす式の方程式の解を求めることで｜Ｙ（θ）｜^２が最大となる角度θを求めることにより、音源の定位を行うステップ、
   を実行させるプログラム。

Images