JP6584930B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

ユーザが発声した特定のキーワードを検出し、推定されたキーワード発声区間の音響信号から発声方向（発話位置）を推定することで、所望の目的音の音源方向（位置特徴の一例）を得る技術が提案されている。また、このようにして得られる音源方向に基づき、他の方向の音を抑圧して目的音を得るための空間フィルタを生成する技術が提案されている。

特表２００５−５２９３７９号公報 特許第４８３７９１７号公報 特開２０１４−０４１３０８号公報

一般に、目的音が環境のどこから発せられるかを事前に知ることはできない。より一般的な状況であっても適切に目的音を得ることができる空間フィルタを生成する方法が求められている。

実施形態の情報処理装置は、検出部と、算出部と、生成部と、を備える。検出部は、Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力される複数の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する。算出部は、複数の入力音響信号と区間とに基づき、目的とする第１音源および第１音源以外の第２音源を内包する空間の音響特性と、第１音源および第２音源のうち１以上と音声入力部との間の位置関係に基づく音響特性と、を含む、Ｍ×Ｍの空間特徴行列を算出する。生成部は、空間特徴行列に基づき、第１音源から出力された音響信号を複数の入力音響信号から取得する空間フィルタを生成する。

本実施形態の情報処理装置の機能構成例を示すブロック図。 検出されたキーワード発声区間の例を示す図。 検出された非音声区間および音声区間の例を示す図。 本実施形態における音声処理の一例を示すフローチャート。 本実施形態における音声処理の他の例を示すフローチャート。 本実施形態にかかる情報処理装置のハードウェア構成例を示す図。

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。本実施形態の情報処理装置は、上記のような空間フィルタを生成する装置である。本実施形態の情報処理装置は、例えば、空間フィルタを用いて目的音以外の雑音を除去する雑音除去装置、雑音を除去した音に基づき音声を認識する音声認識装置、および、認識した音声に基づく処理を行う音声処理装置などにも適用することができる。

まず、使用する主な用語について以下に説明する。
・音響信号：空気など、空間中の媒体を伝わる粗密波を、１つのマイクロフォンで観測し電気信号に変換した信号を示す。本実施形態では、この電気信号をＡＤ（アナログデジタル）変換器でデジタル化して用いる。音響信号は、１次元の時系列として表現する。
・マイクアレイ：マイクロフォンを複数並べた装置であり、空間の複数点で音響信号を観測することができる。各点で観測される音響信号は、同時刻であっても、音源位置や空間の音響特性に依存して異なる。これら音響信号を適切に用いることで、空間フィルタを実現できる。
・空間フィルタ：空間の特定領域（典型的には、マイクアレイから見たときの特定の方向）に存在する音源からの音響信号を、抑圧または強調するために用いる信号処理（信号処理装置）、または、この信号処理の動作を定めるパラメータ（数値の組など）を示す。空間フィルタは、マイクアレイにより観測された複数の音響信号系列を入力とし、抑圧および強調後の音響信号を１または複数系列出力する。
・ビームフォーマ：空間フィルタを設計するための多チャネル信号処理技術を示す。または、多チャネル信号処理技術により形成された空間フィルタによる信号処理を示す。
・（言語）音声（信号）：人から発せられる、言語情報を含む音響信号を示す。
・音声認識：音響信号に含まれる言語音声をテキストに変換する技術を示す。
・（音声）キーワード検出：音響信号を入力とし、特定の語（キーワード）の音声を検出することを示す。
・ＳＮＲ、ＳＮ比（Signal to Noise Ratio）：信号対雑音比、または、音声対雑音比の略である。雑音信号の平均エネルギーを分母、目的信号（音声）の平均エネルギーを分子とした値である。値が大きいほど目的信号のエネルギーが大きいことを表す。
・伝達関数：音源から伝搬し、マイク（観測点）で観測された音響信号の、音源位置と観測位置での信号の関係を表した関数を示す。
・音源空間特徴：音源とマイクアレイとの間の位置関係に基づく音響特性、および、音源とマイクアレイを含む空間の音響特性、の両方を含む特徴量を示す。
・目的音源空間特徴（第１空間特徴）：目的とする音源（目的音源、第１音源）の音源空間特徴を示す。
・非目的音源空間特徴（第２空間特徴）：目的音源以外の音源（非目的音源、第２音源）の音源空間特徴を示す。

次に、本実施形態の概要について説明する。ハンズフリー音声認識技術のための音声集音技術を考える。ハンズフリー音声認識技術は、例えば、装置から遠く離れた位置から、音声による指示だけでその装置を操作するために用いられる。装置を実現する制約上、装置自体にマイクが内蔵されているとする。遠方より発せられた音声は、マイクに伝達するまでに大きく減衰する。このため、マイクが装置ユーザの近くにある場合と比べ、周囲の雑音とのＳＮＲが低下する。また、壁面、床、および、天井の反射音（残響）の影響をより大きく受ける。これらにより音声認識の精度が大きく低下することが知られている。

この問題に対しては、例えば、マイクアレイにより観測された複数信号を用いた多チャネル信号処理（以下、マイクアレイ信号処理）により、雑音および残響抑圧を行う対策が考えられる。このような対策により、ユーザの発した目的音の音響信号をより高品質に得ることが可能となる。これは、マイクアレイ信号処理が適切な空間フィルタを形成すること、すなわち、目的音源の方向（目的音源方向）から到来する音を極力歪めず、目的音以外の位置から発せられた音響信号を可能な限り抑圧することから期待される効果である。

この際、環境のどこから発せられるか事前にはわからない目的音を、様々な位置から発せられる他の雑音と区別し、空間フィルタ形成に必要な位置特徴を得る手段が問題となる。このような手段の１つとして、上述のように、特定のキーワードを検出することで位置特徴の１つである音源方向を得る技術が適用できる。

目的音を得る空間フィルタを形成するためには、システム設計時に予め目的音の方向を定めておく、または、システムが別の方法で推定する必要がある。特定のキーワードを発した際の方向および位置を得る技術を適用すれば、ユーザが特定のキーワードを発声しさえすれば、任意の方向から高精度な音声入力が可能となるはずである。

しかし、実際は、雑音や室内残響の影響により、キーワード発話時の目的音源方向の推定結果に誤差が生じる場合がある。また、仮に方向推定が正確に行われたとしても、空間フィルタの出力精度が低下し、雑音抑圧性能の低下、または、目的音声の歪みが生じる場合がある。

空間フィルタの設計時に最終的に用いる、目的音とマイクアレイ間の伝達関数は、残響のない理想的な環境では、マイクアレイのマイク間の距離と音源方向のみで決まる。このため、音源位置の特徴を音源方向という１値の情報で代表させることが可能となる。しかし、残響がある実環境では、残響の影響により伝達関数が各周波数で異なる影響を受ける。そのため、方向および位置という少数の値でなく、周波数ごとに値を持つ伝達関数そのもので目的音の位置に関わる特徴を表現する必要がある。

ただし、伝達関数そのものを、目的音源と非目的音源からの混合信号から推定するのは一般には困難である。特許文献１では、音声・非音声検出（ＶＡＤ）を用いて、目的音源と雑音の伝達関数を推定して雑音抑圧に用いる技術を提案している。しかし特許文献１の技術は、両音源が排他的に観測できるという特殊な状況を想定している。

そこで、本実施形態は、伝達関数の周波数ごとの詳細な情報を用いた上で、目的音と非目的音が混合して観測される一般的な状況での空間フィルタ設計を可能とする。本実施形態では、目的音または非目的音の位置や空間的音響特徴に関わる、各周波数に対応した半正定値行列の組で表される音源空間特徴（目的音源空間特徴または非目的音源空間特徴）を用いる。

以下、本実施形態の詳細について述べる。
（観測モデルと空間フィルタ）
まず、従来技術と本実施形態について述べるための準備として、想定している音響信号の観測モデルと空間フィルタについて述べる。

今、Ｋ個（Ｋは２以上の整数）の動かない音源を考え、そのｋ番目（１≦ｋ≦Ｋ）の音源の、音源位置での離散時刻ｔの音響信号（音源信号）をｓ_ｋ（ｔ）とし、マイクアレイのＭ個（Ｍは２以上の整数）のマイクのうち、ｍ番目（１≦ｍ≦Ｍ）のマイク位置での観測信号をｘ_ｋ，ｍ（ｔ）とする。なお、音源が動く場合についても同様の手法を適用できる。ｘ_ｋ，ｍ（ｔ）は、以下の（１）式で表される。

ここで、ｈ_ｋ，ｍ（τ）は、音源ｋからマイクｍへのインパルス応答である。インパルス応答の長さはＴ_ＲＩＲとする。ここでは、音源の位置およびマイクアレイの位置を含む音響空間特性は変化しないとする。

（１）式を周波数領域で表わすと、以下の（２）式のようになる。
ここで、ｘ_ｋ，ｍ（ω，ｎ）、ａ_ｋ，ｍ（ω）、ｓ_ｋ（ω，ｎ）は複素数であり、それぞれ、ｘ_ｋ，ｍ（ｔ）、ａ_ｋ，ｍ（ｔ）、ｓ_ｋ（ｔ）を短時間フーリエ変換したものである。ａ_ｋ，ｍ（ω）は、音源ｋとマイクｍとの間の伝達関数と呼ばれ、時不変の複素数である。ｎは短時間フーリエ変換の各フレーム時刻、ωは周波数である。

このとき、短時間フーリエ変換の窓長は、Ｔ_ＲＩＲの長さと同等以上になるのが望ましい。適切なモデル化のためには、Ｔ_ＲＩＲはおおむね残響時間程度は必要なので、一般的なオフィスや家庭のリビングでは、０．５秒程度の点数となる。実際には、より短い窓長で代替することが多く、その場合は（２）式の左辺と右辺で誤差が生じる。

なお、ａ_ｋ，ｍ（ω）は、音源とマイクとの距離に応じた時間遅れや振幅の減衰を含んでいるが、以後説明する信号処理上は、特定のマイクとの相対値であっても問題がない。すなわち、ａ_ｋ，ｍ（ω）／ａ_ｋ，１（ω）をａ_ｋ，ｍ（ω）に置き換えても実用上問題はない。このようなａ_ｋ，ｍ（ω）を音源ごとに並べてベクトルとしたａ_ｋ（ω）＝［ａ_ｋ，１（ω），ａ_ｋ，２（ω），・・・，ａ_ｋ，Ｍ（ω）］^Ｔを、マイクアレイの音源ｋに関するステアリングベクトルと呼ぶ。なおＴはベクトルおよび行列の転置を表す。

ステアリングベクトルは、マイクアレイから見た音源の位置を表す。ステアリングベクトルは、環境（部屋など）の空間音響特性にも大きく影響される。このため、マイクアレイから見た音源の距離および方向が同じであっても、例えば、部屋が異なる、または、同じ部屋でも異なる位置にマイクアレイが置かれる場合には、ステアリングベクトルは異なる値を取る。

一方、実際にマイクｍで観測される混合音ｘ_ｍ（ω，ｎ）は、以下の（３）式のように表される。

（３）式に（２）式を代入し、行列とベクトルで表記すると、観測信号ｘ（ω，ｎ）は、以下の（４）式で表される。

ただし、ｘ（ω，ｎ）＝［ｘ_１（ω，ｎ），ｘ_２（ω，ｎ），・・・，ｘ_Ｍ（ω，ｎ）］^Ｔ、混合行列Ａ（ω）＝［ａ_１（ω），ａ_２（ω），・・・，ａ_Ｋ（ω）］^Ｔ、ｓ（ω，ｎ）＝［ｓ_１（ω，ｎ），ｓ_２（ω，ｎ），・・・，ｓ_Ｋ（ω，ｎ）］^Ｔ、である。

観測信号に対し、空間フィルタ行列Ｗ（ω）を適切に定めれば、元の音源信号の推定値を以下の（５）式により求めることができる。

この際、例えば、混合行列Ａ（ω）が既知であれば、Ｗ（ω）←Ａ（ω）^＋と推定することができる。「＋」は疑似逆行列を表す演算子である。実際は、Ａ（ω）全体が既知であることは少ない。マイクアレイと、雑音源を含むすべての音源との位置関係を事前に知ることが難しいこと、仮にそれらの位置が既知であったとしても、環境の空間音響特性の影響を受けることが理由である。本実施形態を含め、一般的な集音装置は、様々な環境で用いられることを想定しており、空間音響特性を事前に知ることは難しい。そこで、通常、Ｗ（ω）は（４）式の観測信号ｘ（ω，ｎ）などから適応的に推定される。

空間フィルタ行列の各行をＷ（ω）＝［ｗ_１ ^Ｈ（ω），ｗ_２ ^Ｈ（ω），・・・，ｗ_Ｋ ^Ｈ（ω）］^Ｔのように次元数Ｍの行ベクトルで表すと、ｋ番目の音源は以下の（６）式のように推定することができる。なおＨはエルミート転置を表す演算子である。

実際のアプリケーションでは、空間フィルタ行列全体が必要なことは少ないので、目的の音源ｋに対する空間フィルタｗ_ｋ ^Ｈ（ω）を直接計算して用いる。以下では、簡単のため、数式中の周波数は適宜省略する。

（従来の空間フィルタ制御法）
音源ｋに対する空間フィルタｗ_ｋ ^Ｈを求める従来の方法について紹介する。以後、ｋを省略し、空間フィルタをｗ^Ｈと表記する。

仮に目的音源のステアリングベクトルａが既知であったとすると、歪みなし最小分散法（ＭＶＤＲ（Minimum Variance Distortionless Response））を用いて、空間フィルタｗ_ＭＶ ^Ｈは以下の（７）式のように計算できる。

Ｒは以下の（８）式で表される。Ｅ［］は期待値を表す。

Ｒは、以下では観測信号の空間共分散行列と呼ぶ。Ｒは、目的音源や雑音の、マイクアレイを基準とした位置に基づく音響特性、目的音源や雑音を内包する空間の音響特性の両者を含んだ空間的性質を表している。空間共分散行列Ｒは常に半正定値行列の形式となることが知られている。期待値として定義されるＲを正確に求めるためには、長時間の観測信号が必要であるが、実用上は過去の観測信号の移動平均などから適宜推定する。

ステアリングベクトルａとＲが正しい場合、歪みなし最小分散法は、目的音源から到来する信号を歪ませない条件下で、他の雑音を最大限抑圧することができる。一方、ステアリングベクトルに誤差がある場合、歪みなし最小分散法は、目的音源を歪ませる欠点を持つ。同様の空間フィルタは、一般化サイドローブキャンセラなどを用いて実現できるが、歪みなし最小分散法と同じ問題が存在する。

（ステアリングベクトルと音源到来方向推定）
上記の空間フィルタ制御法を実現するためには、音源に対応するステアリングベクトルを推定する必要がある。ここでは、目的音源を含む観測（音響）信号から推定することを考える。

ステアリングベクトルは、周波数帯ごとに定める必要がある。ステアリングベクトルは、マイクアレイ筐体による回り込みや、部屋の残響の影響を受けない場合、マイクアレイの各マイクと目的音源の位置関係によって定まる、信号の到来時間差によってのみ定まる。例えば、位置ｐの音源からの信号の、マイク１からマイクｍへの到来時間差（遅れ）がτ（ｐ，ｍ）秒であるとしたとき、周波数のステアリングベクトルａ（ω，ｐ）は、以下の（９）式のように、周波数と到来時間差のみを用いて容易に記述できる。

この到来時間差は、音源がマイク（アレイ）から十分遠い場合、おおむねマイクアレイから見た音源の方向と対応づけることができる。このため、従来は、周波数ごとにステアリングベクトルを個々に求める代わりに、音源位置の特徴を方向という１〜２値、または、距離も含めた２〜３値に代表させ、方向（位置）推定や到来時間差推定をステアリングベクトルの推定に代替していた。

到来時間差や音源方向推定の方法は、遅延和アレイ法、ＭＵＳＩＣ（Multiple Signal Classification）法、および、ＧＣＣ−ＰＨＡＴ（Generalized Cross-Correlation method with Phase Transform）などが知られている。一部の手法は、周波数ごとに推定を行うため、全周波数について結果が統合されて利用される。

しかし、現実の環境では、上述のように、ステアリングベクトルはマイクアレイ筐体の回り込みや部屋の残響の影響を受け、必ずしも方向（位置）や到来時間差のような少数の値で代表させることはできない。

また、背景雑音（非目的音源）の影響により、方向推定に誤差が生じるという問題もある。方向および位置の代わりに、ステアリングベクトルを直接推定できるとよいが、背景雑音下ではそれも困難である。さらに、（２）式での周波数領域での近似により、ＦＦＴ（Fast Fourier Transform）の窓長が十分でなく、かつ、特に部屋の残響が大きい場合、または、音源が遠方にあり後部残響の影響が大きい場合には、そもそも（２）式のモデルの誤差が大きくなる。その結果、このモデルに基づくこれまでの議論では、十分な精度で音源信号を推定することができない。ＦＦＴ窓長を十分に大きくとればよいとの議論もあるが、ＦＦＴ窓長に対応するインパルス応答の長さＴ_ＲＩＲは環境（部屋など）の空間音響特性に依存するため、事前に知ることは困難である。また、計算的効率の問題から、０．５秒などの長い時間長にするのは現実的ではない場面も多い。

一方、個々の音源からの観測信号から（８）式で示す空間共分散行列を求めておけば、（２）式のモデル化で誤差を生じるような場合であっても、より正確に音源を推定することができることが知られている。また、空間共分散行列は、多数の音源、および、１音源であっても残響の影響により多数の音源と見なせる音源の空間的特徴を、１組の特徴で表現することができる。ＭＵＳＩＣ法などでは、この空間共分散行列の主成分を明示的に求めることにより方向推定を行う。空間フィルタ推定のためには、直接、空間共分散行列を利用する方が、精度が高いことが知られている。

そこで、本実施形態では、目的音源に関して、方向および位置のような代表値、および、各音源のステアリングベクトルでなく、（８）式で示すような空間共分散行列の推定値を、音源の空間特徴として用いる。

（本実施形態の構成例）
ここまで述べたように、本実施形態では、目的音源方向や位置を推定して用いる代わりに、目的音源および非目的音源から到来した信号を含む観測信号から抽出した半正定値行列の組で表される各音源の音源空間特徴を利用して、空間フィルタを制御する。

図１は、本実施形態の情報処理装置の機能構成例を示すブロック図である。図１に示すように情報処理装置１００は、マイクアレイ１０１と、受付部１１１と、検出部１１２と、算出部１１３と、フィルタ制御部１１４と、を備えている。

マイクアレイ１０１は、上述のように、音声を入力するマイクロフォン（音声入力部）を複数並べて構成される。マイクアレイ１０１を用いれば、音源方向を推定したり、空間フィルタを形成することが可能となる。複数のマイクロフォンは整列される必要はない。例えば音源方向の推定が不要な場合等であれば、任意の位置に配置された複数のマイクロフォンを用いてもよい。

受付部１１１は、マイクアレイ１０１を構成する複数のマイクロフォンから複数の音響信号（入力音響信号）の入力を受け付ける。検出部１１２は、複数の音声入力部からそれぞれ入力される複数の入力音響信号に基づき、特定のキーワードが出力された区間（キーワード発声区間）を検出する。

算出部１１３は、複数の入力音響信号とキーワード発声区間とに基づき、半正定値行列の組で表される音源空間特徴（空間特徴行列）を推定（算出）する。音源空間特徴は、上述のように、少なくとも音源とマイクアレイ１０１を含む空間の音響特性を含む特徴量である。算出部１１３は、例えば、半正定値行列の組で表される目的音源空間特徴（第１空間特徴行列）および非目的音源空間特徴（第２空間特徴行列）の少なくとも一方を推定する。

フィルタ制御部１１４は、推定された音源空間特徴（目的音源空間特徴および非目的音源空間特徴の少なくとも一方）に基づき空間フィルタを生成する処理を制御する。例えばフィルタ制御部１１４は、目的音源から出力された音響信号を複数の入力音響信号から取得する空間フィルタを生成する生成部として機能する。フィルタ制御部１１４は、生成した空間フィルタにより取得した、目的音源の音響信号（推定音源信号）を出力する。

このように本実施形態では、目的音源の方向または位置、および、ステアリングベクトルを推定するのではなく、音源空間特徴を推定し、音源空間特徴を用いて空間フィルタを制御する点が従来と異なる。

なお、受付部１１１、検出部１１２、算出部１１３、および、フィルタ制御部１１４は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

（音源空間特徴の推定）
まず音源空間特徴の推定方法について説明する。上述のように、検出部１１２は、入力される複数の入力音響信号に基づいてキーワード発声区間を検出する。検出部１１２は、予め定められた特定のキーワードの音響信号のパターンと比較する方法など、従来から用いられているあらゆる検出方法を適用して、キーワード発声区間を検出することができる。

図２は、検出されたキーワード発声区間の例を示す図である。図２に示すように、観測信号に対し、特定のキーワード２０１（「こんにちは」）の発話開始時刻Ｓｂと発話終了時刻Ｓｅが特定されている。

算出部１１３は、キーワード発声区間の観測信号に関する空間共分散を以下の（１０）式のように算出する。

キーワード発声区間の観測信号は、目的音源とするユーザ（目的ユーザ）の発話音声、および、目的音源以外の背景雑音などを含んでいると予想できる。そのため、この空間共分散Ｒ_Ｓは、両者の空間的特徴を含んでいると考えられる。本実施形態では、音源空間特徴の一例として、空間共分散を用い、目的音源空間特徴の一例として、キーワード発声区間から計算した空間共分散Ｒ_Ｓを用いる。

検出部１１２の特性によっては、推定されたキーワード発声区間が実際のキーワード発声区間と前後する可能性もある。そこで、その特性に合わせ、適宜ＳｂやＳｅに一定時間を増減させるなど、特定の方法でＳｂやＳｅを前後させてもかまわない。

また、目的ユーザの発話以外の音源（非目的音源）に起因する、非目的音源空間特徴も空間フィルタの制御には有用である。算出部１１３は、例えば、目的ユーザの発話を含まないと考えられる、キーワード発声区間以外の観測信号を用いて、非目的音源空間特徴を推定することができる。

なお空間フィルタの制御には、目的音源空間特徴および非目的音源空間特徴のうち、いずれか一方のみが用いられてもよいし、両方が用いられてもよい。算出部１１３は、空間フィルタの制御に必要となる、目的音源空間特徴および非目的音源空間特徴のうち少なくとも一方を推定すればよい。

キーワード発声区間より過去の観測信号を用いることを考えた場合、直前の音声区間は、目的ユーザの発話である可能性もあるので無視し、それより以前の非音声の区間のみを用いてもよい。この場合、例えば検出部１１２が、ＶＡＤ（Voice Activity Detection）技術などを用いて、音声区間、および、非音声区間を検出するように構成してもよい。図３は、検出された非音声区間および音声区間の例を示す図である。

算出部１１３は、検出された非音声区間［Ｕｂ，Ｕｅ］の観測信号を用いて、例えば以下の（１１）式のように、非目的音源空間特徴に対応する空間共分散Ｒ_Ｕを算出できる。

非音声区間は、キーワード発声区間より前（過去）である必要はない。キーワード発声区間より後（未来）の観測信号を用いて、または、過去および未来の両方の観測信号を用いて、非目的音源空間特徴を推定してもよい。

このように、音源空間特徴として空間共分散行列を選択した場合、音源空間特徴は、大きさＭ×Ｍの複素半正定値行列のＬ個の組となる。ＬはＦＦＴ窓長であり、Ｍはマイクアレイ１０１のマイク数である。

（音源空間特徴の効率的な推定）
本実施形態の情報処理装置を、音声ユーザインタフェースに用いる際、ユーザの発話から極力遅延なく空間フィルタを制御することが望ましい。そのために、検出部１１２と算出部１１３が、マイクアレイ１０１の観測信号の入力と同期し、現時刻（第２時刻）と過去の時刻（第１時刻）の観測信号を参照しながら逐次処理を行うことが考えられる。また、この際、装置の制約から、記憶領域の使用量を極力減らしたいとする。

しかし、算出部１１３で必要なキーワード発声区間は、実際のキーワード発声の終端近くになるまで検出することができない。例えば検出部１１２は、早くとも図２の発話終了時刻Ｓｅの直前で、キーワード発声区間の始端の推定時刻（Ｓｂ）を確定する。また、Ｓｅからいくらかの時刻経過後に、キーワード発声区間の終端の推定時刻（Ｓｅ）が確定される。検出部１１２のアルゴリズムによっては、この確定タイミングは前後することもあるが、実際のキーワードの始端から大きく遅れて、Ｓｂが確定される点は同じである。

そのため、（１０）式の通りに目的音源空間特徴の空間共分散を計算しようとすると、想定されるキーワード発話長以上の観測信号を、常時、記憶領域に保存しておかなければならない。また、（１１）式の非目的音源空間特徴を、キーワード発声区間より前の時刻の観測信号から計算しようとすると、さらに長時間の観測信号の保存が必要となる。従って、実装を想定しているハードウェアによっては非現実的である。

そこで、（１０）式の代わりに、以下の（１２）式のように、現時刻ｎの目的音源空間特徴の空間共分散Ｒ_Ｓ（ｎ）を、１時刻過去の空間共分散Ｒ_Ｓ（ｎ−１）を使って計算してもよい。ここで、α_Ｓは０≦α_Ｓ＜１を満たす実数である。α_Ｓを以下では忘却係数と呼ぶ。

（１２）式を用いる場合、１時刻過去の空間共分散Ｒ_Ｓ（ｎ−１）と、現時刻の観測信号のみあればよいので、過去の長期間の信号を保存しておく必要がない。例えばα_Ｓを常に一定値に設定すれば、時刻が進むごとに過去の観測信号の影響は小さくなる。従って、現時刻を含み直前の一定の区間の空間共分散Ｒ_Ｓを計算しているのと同等の結果が期待できる。また、実用上（１０）式から（１２）式への置き換えが問題ないことも確認されている。

キーワード発声区間の長さは、キーワードや発声ごとに変化するが、想定されるキーワードの発話長がより長い場合はα_Ｓを小さく、より短い場合はα_Ｓを大きくすることで調節できる。また、検出部１１２は、キーワードの始端（Ｓｂ）を検出するまでに、発声区間の候補を複数保持しうる。算出部１１３が、現在保持している発声区間候補の始端時刻を用いて、（１２）式のαを動的に変更してもよい。例えば算出部１１３は、検出部１１２で現在保持している候補の始端時刻が想定より過去であればα_Ｓを小さく、逆に想定より未来であればα_Ｓを大きくするなどの処理を行ってもよい。

算出部１１３は、現時刻の観測信号に対するＶＡＤを実施し、ＶＡＤにより「音声でない」と判定された時刻の観測信号を利用して、非目的音源空間特徴を例えば以下の（１３）式のように計算する。ここで、α_Ｕは０≦α_Ｕ＜１を満たす実数である。例えばα_Ｕは、事前に適当な一定値に定められる。

ＶＡＤにより出力される、現時刻の観測信号の「非音声らしさ」を表すスコアを用いてα_Ｕを増減させるなど、動的に（１３）式に相当する計算方法を変更してもよい。

また、ＶＡＤの判定のみを利用すると、目的音声以外の音声が観測される場合、この音声は非目的音源空間特徴の計算から取り除かれる。そこで算出部１１３が、音源方向の推定結果などの他の情報も用いて、キーワード発声区間以外の音源であることを判定してもよい。この場合、（１３）式では、「音声でない」（if not voice）時刻の観測信号の代わりに「目的音声でない」時刻の観測信号が用いられる。これにより、目的音声以外の音声を非目的音源空間特徴の計算で考慮することが可能となる。

（ＳＮ比最大化ビームフォーマを用いる空間フィルタ制御）
フィルタ制御部１１４は、上記のようにして推定した音源空間特徴を用いて、空間フィルタを制御する。１つの例として、ＳＮ比最大化ビームフォーマを用いることが考えられる。各周波数のＳＮ比、ここでは、目的音源信号＋背景雑音と、背景雑音のエネルギー比λは、上述の目的音源に対応する空間共分散Ｒ_Ｓと非目的音源に対応する空間共分散Ｒ_Ｕを用いて、以下の（１４）式のように推定することができる。

このλを最大化するようなｗは、一般化固有値問題を表す以下の（１５）式を満たす、λおよびｗのうち、最大のλ（一般化固有値問題の最大固有値）に対応するｗ（固有ベクトル）である。一般化固有値問題は、従来から用いられているあらゆる解法を用いて解くことができる。

上記のように求めたｗ（ｗ_ＳＮＲＢとする）は、出力信号のゲイン不定性を持つため、例えば以下の（１６）式に示すような、観測信号と出力信号の誤差を最小にする補正フィルタを適用する。

すなわち、ｗ_ＳＮＲＢ←ｂ_ｊｗ_ＳＮＲＢと計算する。なお、Ｒは、（８）式の観測信号の空間共分散であり、観測信号の現時刻を含む区間の期待値として計算される。ｂ_ｊはベクトルｂ（（１６）式の左辺）の任意の要素である（ｊは１以上、ベクトルｂの要素数以下の整数）。このようにして計算した空間フィルタｗ_ＳＮＲＢは、目的音源の音響信号を保持しつつ、非目的音源からの音響信号を抑圧することができる。

（補助関数法独立ベクトル分析を用いる空間フィルタ制御）
空間共分散による音源空間特徴を用いた空間フィルタ制御のもう１つの例として、補助関数法を適用した独立ベクトル分析（補助関数法独立ベクトル分析）を応用した方法を示す。ＳＮ比最大化ビームフォーマの推定では、目的音源に対応する空間共分散Ｒ_Ｓと非目的音源に対応する空間共分散Ｒ_Ｕの両者が必要であった。補助関数法独立ベクトル分析を用いる方法は、事前情報なしで空間フィルタを推定するブラインド音源分離を、別途推定した空間共分散行列を事前情報として用いる拡張した方法である。このため、目的音源と非目的音源のいずれか一方の空間共分散を与えるだけでも空間フィルタを推定することができる。

また、実時間で補助関数法独立ベクトル分析を行う方法と組み合わせることにより、時刻が進むごとに、より高精度な目的音源信号の推定が可能となる点、および、特定キーワードの発話検出後の目的音源および非目的音源の空間的変動に追従できる点が利点である。

非音声の空間共分散を、補助関数法独立ベクトル分析アルゴリズム中の補助変数の更新時に参照することで、補助関数法独立ベクトル分析のＳＮＲ改善性能を改善する手法が知られている。

本実施形態でも同様に、目的音源空間特徴の空間共分散、および、非目的音源空間特徴の空間共分散の両方またはいずれかを、補助関数法独立ベクトル分析アルゴリズム中の補助変数の更新中に参照して用いることで、所望の空間フィルタを形成する。

まず、補助関数法独立ベクトル分析のアルゴリズムの概要を説明する。マイクアレイ１０１のマイク数Ｍと音源数Ｋが同じだとしたとき、（５）式の空間フィルタ行列を求める問題を考える。このとき、以下の（１７）式で示される目的関数を最小化するような空間フィルタ行列を求める（独立ベクトル分析の問題設定）。

ここで、Ｎは参照する観測信号の時間長である。本実施形態の場合は、観測信号を適当な時間長に区切ってＷ（ω）の推定に用いることとする。Ｎは区切られた時間の長さに相当する。ただし、ｙ（ω，ｎ）＝Ｗ（ω）ｘ（ω，ｎ）として、ｙ（ω，ｎ）のｋ番目の要素をｙ_ｋ（ω，ｎ）としたとき、ｙ_ｋ（ｎ）＝［ｙ_ｋ（１，ｎ），ｙ_ｋ（２，ｎ），・・・，ｙ_ｋ（Ｌ，ｎ）］^Ｔとする。

Ｇ（・）は、ベクトルを引数として持つ適当なコントラスト関数で、例えば、以下の（１８）式のような球状コントラスト関数が用いられる。

ｒ_ｋ（ｎ）は（１９）式で表される。

ここで、Ｇ_Ｒ（ｒ）は、ｒが０より大の際にＧ’_Ｒ（ｒ）／ｒが単調減少するような関数である。例えば、Ｇ_Ｒ（ｒ）＝ｒが用いられる。Ｇ’_Ｒ（ｒ）はＧ_Ｒ（ｒ）の導関数とする。

このとき、以下の（２０）式〜（２２）式のような補助変数Ｖ_ｋ（ω）と空間フィルタ行列Ｗ（ω）の更新規則を考える。ただし、ｅ_ｋはｋ番目の要素だけが１で、残りの要素が０の次元数Ｋの列ベクトルである。

（２０）式〜（２２）式を全周波数、および、全音源ｋについて順に計算することを繰り返す。これにより、（１７）式の目的関数が小さくなってゆき、結果として、Ｋ個の音源信号ｋを各フィルタで推定するような空間フィルタ行列を得ることができる。

ＶＡＤにより別途求めた非音声区間から、（１１）式のように計算した空間共分散Ｒ’_Ｕ（ω）を用いて、特定のｋ＝ｋ_Ｓについてのみ、（２０）式の代わりに以下の（２３）式を計算してもよい。これにより、求められた空間フィルタｗ_ｋＳは高精度に音声を強調することが可能となる。ここでβは１≦β＜０を満たす実数である。

同様に、本実施形態では、フィルタ制御部１１４が、目的音源に対応する空間共分散Ｒ_Ｓと非目的音源に対応する空間共分散Ｒ_Ｕを用いて、以下の（２４）式および（２５）式に示すような計算を実行する。

ここで、β＝１とすると、ＳＮ比最大化ビームフォーマと同様の空間フィルタが得られる。０＜β＜１とすると、さらに対象の観測信号を考慮した空間フィルタを得ることができる。このため、Ｒ_ＳやＲ_Ｕの計算に用いた観測信号から環境変動が起きた場合に有用である。

（２４）式および（２５）式に示すように、ｋ＝ｋ_Ｓの場合は（２４）式が（２０）式の代わりに適用される。ｋ≠ｋ_Ｓの場合は（２５）式が（２０）式の代わりに適用される。目的音源空間特徴のみを用いる場合、フィルタ制御部１１４は、ｋ＝ｋ_Ｓの場合は（２４）式を（２０）式の代わりに適用し、ｋ≠ｋ_Ｓの場合は（２０）式を適用してもよい。また、非目的音源空間特徴のみを用いる場合、フィルタ制御部１１４は、ｋ＝ｋ_Ｓの場合は（２０）式を適用し、ｋ≠ｋ_Ｓの場合は（２５）式を（２０）式の代わりに適用してもよい。

フィルタ制御部１１４は、さらに、特許文献３で示されるような、実時間処理向けに補助関数法独立ベクトル分析を拡張した方式に対して、目的音源に対応する空間共分散Ｒ_Ｓと非目的音源に対応する空間共分散Ｒ_Ｕを用いてもよい。

実時間処理向け補助関数法独立ベクトル分析では、（２０）式の代わりに、以下の（２６）式のように、時刻ｎの補助変数Ｖ_ｋ（ω；ｎ）を逐次更新することで、各時刻で適切な空間フィルタ行列Ｗ（ω）を計算することができる。

ここで、（２６）式の代わりに、適切な時刻ｎで以下の（２７）式および（２８）式を適用することで求まる空間フィルタは、高精度に音声を強調することができる。時刻ｎより後では、（２６）式を用いることで、目的ユーザの移動や背景音の変化など、環境変動に適応するように空間フィルタを制御することができる。

またフィルタ制御部１１４は、以下の（２９）式および（３０）式のように、さらに直前の時刻（ｎ−１）の補助変数Ｖ_ｋ（ω；ｎ−１）を加算しながら更新してもよい。ここで、γは０≦γ＜１を満たす実数である。

次に、本実施形態にかかる情報処理装置１００による音声処理について図４を用いて説明する。図４は、本実施形態における音声処理の一例を示すフローチャートである。図４は、目的音源空間特徴を用いる場合の音声処理の例である。

受付部１１１は、マイクアレイ１０１から入力音響信号の入力を受け付ける（ステップＳ１０１）。検出部１１２は、入力された入力音響信号に基づき、特定のキーワード、および、当該キーワードが出力されたキーワード発声区間を検出する（ステップＳ１０２）。

算出部１１３は、複数の入力音響信号とキーワード発声区間とに基づき、目的音源空間特徴を推定する（ステップＳ１０３）。フィルタ制御部１１４は、推定された目的音源空間特徴を用いて、空間フィルタを算出（生成）する（ステップＳ１０４）。例えばフィルタ制御部１１４は、ｋ＝ｋ_Ｓの場合は（２４）式を（２３）式の代わりに適用し、ｋ≠ｋ_Ｓの場合は（２３）式を適用して、空間フィルタを求める。フィルタ制御部１１４は、求めた空間フィルタを適用して、入力音響信号を処理した音源信号を出力する（ステップＳ１０５）。

非目的音源空間特徴のみを用いる場合の音声処理は、ステップＳ１０３およびステップＳ１０４で、目的音源空間特徴の代わりに非目的音源空間特徴を用いて処理すればよい。

次に、目的音源空間特徴および非目的音源空間特徴の両方を用いる場合の音声処理について説明する。図５は、この場合の本実施形態における音声処理の例を示すフローチャートである。

ステップＳ２０１〜ステップＳ２０３は、図４のステップＳ１０１〜ステップＳ１０３と同様である。

算出部１１３は、さらに、非目的音源空間特徴を推定する（ステップＳ２０４）。フィルタ制御部１１４は、推定された目的音源空間特徴および非目的音源空間特徴を用いて、空間フィルタを算出（生成）する（ステップＳ２０５）。例えばＳＮ比最大化ビームフォーマを用いる場合、フィルタ制御部１１４は、上記（１４）式〜（１６）式により空間フィルタを算出する。また例えば補助関数法独立ベクトル分析を用いる場合、フィルタ制御部１１４は、上記（１９）式および（２１）および（２２）式に加え、上記（２４）式および（２５）式、または、（２７）式および（２８）式、または、（２９）式および（３０）式により、空間フィルタを算出する。ステップＳ２０３とステップＳ２０４の実行順序は逆でもよいし、また、同時並列に実行してもかまわない。

ステップＳ２０６は、図４のステップＳ１０５と同様である。

このように、本実施形態にかかる情報処理装置では、音源とマイクアレイを含む空間の音響特性などを含む音源空間特徴を用いて、空間フィルタを算出する。これにより、目的音と非目的音が混合して観測される一般的な状況での空間フィルタ設計が可能となる。本実施形態では、特許文献１のように両音源が排他的に観測できるという特殊な状況を想定する必要がない。従って、より一般的な状況であっても適切に目的音を得ることができる空間フィルタを生成することが可能となる。

次に、本実施形態にかかる情報処理装置のハードウェア構成について図６を用いて説明する。図６は、本実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。

本実施形態にかかる情報処理装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施形態にかかる情報処理装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、本実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 情報処理装置
１０１ マイクアレイ
１１１ 受付部
１１２ 検出部
１１３ 算出部
１１４ フィルタ制御部

Claims (10)

1. Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力されるＭ個の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する検出部と、
   検出された前記区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第１空間特徴行列、および、検出された前記区間の前および後の少なくとも一方の区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第２空間特徴行列を算出する算出部と、
   Ｍ個の前記入力音響信号を入力し、目的とする音源から出力された音響信号を強調して出力する空間フィルタを、前記第１空間特徴行列、前記第２空間特徴行列、および、前記空間フィルタにより表される値を最大化することにより生成する生成部と、
   を備える情報処理装置。
2. 前記生成部は、前記第１空間特徴行列、前記第２空間特徴行列、および、前記空間フィルタにより表されるＳＮ（シグナルノイズ）比を最大化する、ＳＮ比最大化ビームフォーマを用いて、前記空間フィルタを生成する、
   請求項１に記載の情報処理装置。
3. 前記算出部は、第１時刻に入力されるＭ個の前記入力音響信号と、第１時刻の後の第２時刻に入力されるＭ個の前記入力音響信号と、を用いて前記第１空間特徴行列を算出する、
   請求項１に記載の情報処理装置。
4. Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力されるＭ個の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する検出部と、
   検出された前記区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第１空間特徴行列、および、検出された前記区間の前および後の少なくとも一方の区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第２空間特徴行列、の少なくとも一方を算出する算出部と、
   Ｍ個の前記入力音響信号を入力し、目的とする音源から出力された音響信号を強調して出力する空間フィルタを、前記第１空間特徴行列および前記第２空間特徴行列の少なくとも一方を参照して更新される補助変数を用いて目的関数を最小化することにより生成する生成部と、
   を備える情報処理装置。
5. 前記算出部は、検出された前記区間の前および後の少なくとも一方の区間のうち非音声区間に入力されたＭ個の前記入力音響信号の空間共分散行列である前記第２空間特徴行列を算出する、
   請求項４に記載の情報処理装置。
6. 前記生成部は、補助関数法を適用した独立ベクトル分析を用いて、前記空間フィルタを生成する、
   請求項４に記載の情報処理装置。
7. Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力されるＭ個の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する検出ステップと、
   検出された前記区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第１空間特徴行列、および、検出された前記区間の前および後の少なくとも一方の区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第２空間特徴行列を算出する算出ステップと、
   Ｍ個の前記入力音響信号を入力し、目的とする音源から出力された音響信号を強調して出力する空間フィルタを、前記第１空間特徴行列、前記第２空間特徴行列、および、前記空間フィルタにより表される値を最大化することにより生成する生成ステップと、
   を含む情報処理方法。
8. Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力されるＭ個の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する検出ステップと、
   検出された前記区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第１空間特徴行列、および、検出された前記区間の前および後の少なくとも一方の区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第２空間特徴行列、の少なくとも一方を算出する算出ステップと、
   Ｍ個の前記入力音響信号を入力し、目的とする音源から出力された音響信号を強調して出力する空間フィルタを、前記第１空間特徴行列および前記第２空間特徴行列の少なくとも一方を参照して更新される補助変数を用いて目的関数を最小化することにより生成する生成ステップと、
   を含む情報処理方法。
9. コンピュータを、
   Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力されるＭ個の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する検出部と、
   検出された前記区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第１空間特徴行列、および、検出された前記区間の前および後の少なくとも一方の区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第２空間特徴行列を算出する算出部と、
   Ｍ個の前記入力音響信号を入力し、目的とする音源から出力された音響信号を強調して出力する空間フィルタを、前記第１空間特徴行列、前記第２空間特徴行列、および、前記空間フィルタにより表される値を最大化することにより生成する生成部と、
   として機能させるためのプログラム。
10. コンピュータを、
    Ｍ（２以上の整数）個の複数の音声入力部からそれぞれ入力されるＭ個の入力音響信号のうち、少なくとも１つに基づき、キーワードが出力された区間を検出する検出部と、
    検出された前記区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第１空間特徴行列、および、検出された前記区間の前および後の少なくとも一方の区間に入力されたＭ個の前記入力音響信号の空間共分散行列であるＭ×Ｍの第２空間特徴行列、の少なくとも一方を算出する算出部と、
    Ｍ個の前記入力音響信号を入力し、目的とする音源から出力された音響信号を強調して出力する空間フィルタを、前記第１空間特徴行列および前記第２空間特徴行列の少なくとも一方を参照して更新される補助変数を用いて目的関数を最小化することにより生成する生成部と、
    として機能させるためのプログラム。