JP6961545B2 - 音信号処理装置、音信号処理方法、およびプログラム - Google Patents

Description

本発明の実施形態は、音信号処理装置、音信号処理方法、およびプログラムに関する。

複数の音源から発せられた音の音信号に含まれる目的音信号を強調する技術が知られている。例えば、マイクで観測した音信号の特徴量に基づいて算出したＳＮ比最大化ビームフォーマを、音信号に含まれる目的音信号を強調するためのフィルタとして用いる技術が開示されている。特徴量として、話者方向やマイク間の音声到達時間差を表すベクトルを用いている。

従来では、観測した音信号から特徴量を抽出し、特徴量から目的音信号を強調するためのフィルタを算出しており、高精度に目的音信号を強調することが困難な場合があった。

特許第４８９１８０１号公報 特許第５０４４５８１号公報

本発明が解決しようとする課題は、高精度に目的音信号を強調することができる、音信号処理装置、音信号処理方法、およびプログラムを提供することである。

実施形態の音信号処理装置は、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部と、前記強調音信号に基づいて、目的音区間を検出する検出部と、前記目的音区間と前記第１音信号とに基づいて、前記第１音信号における前記目的音区間の第１空間相関行列と、前記第１音信号における前記目的音区間以外の非目的音区間の第２空間相関行列と、を導出する相関導出部と、を備え、前記係数導出部は、前記第１空間相関行列および前記第２空間相関行列に基づいて、前記空間フィルタ係数を導出し、前記検出部は、前記目的音信号に対する非目的音信号のパワーの比が前記第１音信号より大きい第２音信号と、前記強調音信号と、に基づいて、前記目的音区間を検出する。

音信号処理システムの模式図。 音信号処理部の機能的構成の模式図。 音信号処理のフローチャート。 音信号処理システムの模式図。 音信号処理部の機能的構成の模式図。 音信号処理のフローチャート。 音信号処理システムの模式図。 ハードウェア構成の説明図。

以下に添付図面を参照して、本実施の形態の詳細を説明する。

（第１の実施の形態）
図１は、本実施の形態の音信号処理システム１の一例を示す模式図である。

音信号処理システム１は、音信号処理装置１０と、第１マイク１４と、第２マイク１６と、を備える。音信号処理装置１０と、第１マイク１４および第２マイク１６とは、データや信号を授受可能に接続されている。

音信号処理装置１０は、１または複数の音源１２から発せられた音の音信号を処理する。

音源１２は、音の発生源である。音源１２は、例えば、人および人以外の動物などの生物や、楽器などの非生物であるが、これらに限定されない。本実施の形態では、音源１２が人である場合を一例として説明する。このため、本実施の形態では、音が、音声である場合を一例として説明する。なお、音の種類は限定されない。また、以下では、人を、話者と称する場合がある。

本実施の形態では、音信号処理装置１０は、複数の音源１２から発せられた音を含む音信号を処理し、音信号に含まれる目的音信号を強調する。複数の音源１２は、目的音源１２Ａと、非目的音源１２Ｂと、に分類される。目的音源１２Ａは、目的音を発する音源１２である。目的音とは、強調対象の音である。目的音信号とは、目的音を示す信号である。目的音信号は、例えば、スペクトルによって表される。非目的音源１２Ｂは、非目的音を発する音源１２である。非目的音は、目的音以外の音である。

本実施の形態では、二人の話者である目的音源１２Ａと非目的音源１２Ｂが、テーブルＴを挟んで会話する環境を想定する。本実施の形態は、例えば、非目的音源１２Ｂが店員、目的音源１２Ａが顧客であって、これらの話者の会話を示す音信号から、一方の話者である目的音源１２Ａの目的音信号を強調する用途を想定して説明する。なお、音源１２の数や音源１２の配置は、これらに限定されない。また、想定環境は、この環境に限定されない。

第１マイク１４および第２マイク１６は、音を集音する。本実施の形態では、第１マイク１４および第２マイク１６は、音源１２から発せられた音を集音し、音信号を音信号処理装置１０へ出力する。

第１マイク１４は、少なくとも目的音を含む音を集音するためのマイクである。言い換えると、第１マイク１４は、目的音源１２Ａから発せられた目的音を少なくとも集音するためのマイクである。

第１マイク１４は、集音した音を示す音信号として、第３音信号を音信号処理装置１０へ出力する。第３音信号は、非目的音信号と目的音信号とを含む音信号である。非目的音信号とは、非目的音を示す信号である。非目的音信号は、例えば、スペクトルによって表される。第１マイク１４は、音源１２（目的音源１２Ａ、非目的音源１２Ｂ）から発せられた音を集音し、第３音信号を音信号処理装置１０へ出力可能な位置に予め配置されている。本実施の形態では、第１マイク１４は、テーブルＴ上に配置されている場合を想定する。

本実施の形態では、音信号処理システム１は、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）を備える。このため、音信号処理装置１０には、複数の第１マイク１４から、複数の第３音信号が出力される。なお、複数の第３音信号を一つにまとめた音信号を、第１音信号と称して説明する。

第１マイク１４の数は、集音対象の音源１２の数以上であればよい。上述したように、本実施の形態では、音信号処理システム１は、１つの目的音源１２Ａと、１つの非目的音源１２Ｂと、の合計２つの音源１２を想定している。この場合、第１マイク１４の数は、２以上であればよい。本実施の形態では、音信号処理システム１は、４つの第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）を備える場合を一例として説明する。

複数の第１マイク１４は、複数の音源１２の各々からの音到達時間差が互いに異なる。すなわち、複数の第１マイク１４は、上記音到達時間差が互いに異なるように、配置位置を予め調整されている。

第２マイク１６は、少なくとも非目的音を集音するためのマイクである。言い換えると、第２マイク１６は、非目的音源１２Ｂから発せられた非目的音を少なくとも集音するためのマイクである。

第２マイク１６は、集音した音を示す音信号として、第２音信号を音信号処理装置１０へ出力する。第２音信号は、目的音信号に対する非目的音信号のパワーの比が、第１音信号（第３音信号）より大きい音信号である。第２音信号は、目的音信号に対する非目的音信号のパワーの比が、第１音信号（第３音信号）より大きく、且つ、目的音信号のパワーに比べて非目的音信号のパワーの大きい音信号であることが好ましい。

本実施の形態では、第２マイク１６は、第１マイク１４に比べて非目的音源１２Ｂに近い位置に配置されている。例えば、第２マイク１６は、ヘッドセットマイクや、ピンマイクである。本実施の形態では、第２マイク１６は、非目的音源１２Ｂである話者の口元で音声を集音可能となるように、非目的音源１２Ｂに装着されている。

音信号処理装置１０は、ＡＤ変換部１８と、音信号処理部２０と、出力部２２と、を備える。なお、音信号処理装置１０は、少なくとも音信号処理部２０を備えた構成であればよく、ＡＤ変換部１８および出力部２２の少なくとも一方を別体として構成してもよい。

ＡＤ変換部１８は、複数の第１マイク１４から複数の第３音信号を受付ける。また、ＡＤ変換部１８は、第２マイク１６から第２音信号を受付ける。ＡＤ変換部１８は、複数の第３音信号および第２音信号の各々をデジタル信号に変換し、音信号処理部２０へ出力する。

音信号処理部２０は、ＡＤ変換部１８から受付けた複数の第３音信号および第２音信号を用いて、複数の第３音信号を１つにまとめた第１音信号に含まれる目的音信号を強調し、強調音信号を出力部２２へ出力する。

出力部２２は、音信号処理部２０から受付けた強調音信号を出力する装置である。出力部２２は、例えば、スピーカ、通信装置、表示装置、録音装置、記録装置、などである。スピーカは、強調音信号によって表される音を出力する。通信装置は、強調音信号を、ネットワーク等を介して外部装置等へ送信する。表示装置は、強調音信号を示す情報を表示する。録音装置は、強調音信号を記憶する。録音装置は、例えば、ＩＣレコーダやパーソナルコンピュータ等である。記録装置は、強調音信号によって示される音を公知の方法でテキストに変換して記録する装置である。なお、出力部２２は、音信号処理部２０から受付けた強調音信号をアナログ信号に変換した後に出力、送信、記憶、または記録してもよい。

次に、音信号処理部２０について詳細を説明する。

図２は、音信号処理部２０の機能的構成の一例を示す模式図である。

音信号処理部２０は、変換部２０Ａと、変換部２０Ｂと、検出部２０Ｃと、相関導出部２０Ｄと、第１相関記憶部２０Ｅと、第２相関記憶部２０Ｆと、係数導出部２０Ｇと、生成部２０Ｈと、逆変換部２０Ｉと、を備える。

変換部２０Ａ、変換部２０Ｂ、検出部２０Ｃ、相関導出部２０Ｄ、係数導出部２０Ｇ、生成部２０Ｈ、および逆変換部２０Ｉは、例えば、１または複数のプロセッサにより実現される。例えば上述の各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上述の各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上述の各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆは、各種情報を記憶する。第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカード、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの一般的に利用されているあらゆる記憶媒体により構成することができる。また、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆは、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆの各々は、物理的に異なる複数の記憶媒体により実現してもよい。

変換部２０Ａは、ＡＤ変換部１８を介して第２マイク１６から受付けた第２音信号を短時間フーリエ変換（ＳＴＦＴ：Ｓｈｏｒｔ−Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）し、周波数スペクトルＸ_１（ｆ，ｎ）によって表される第２音信号を検出部２０Ｃへ出力する。なお、ｆは、周波数ビンの番号を示し、ｎは、フレームの番号を表す。

例えば、サンプリング周波数を１６ｋＨｚ、フレーム長を２５６サンプル、フレームシフトを１２８サンプルに設定する。この場合、変換部２０Ａは、第２音信号に２５６サンプルのハニング窓をかけた後に、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行うことで、第２音信号を周波数スペクトルに変換する。そして、この周波数スペクトルの低域と高域の対称性を考慮して、該周波数スペクトルにおける、ｆが０以上１２８以下の範囲の１２９点の複素数値を、第２音信号における、第ｎフレームの周波数スペクトルＸ_１（ｆ，ｎ）として算出する。そして、変換部２０Ａは、周波数スペクトルＸ_１（ｆ，ｎ）によって表される第２音信号を検出部２０Ｃへ出力する。

変換部２０Ｂは、ＡＤ変換部１８を介して複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）から受付けた複数の第３音信号の各々を、短時間フーリエ変換（ＳＴＦＴ）し、周波数スペクトルＸ_２，１（ｆ，ｎ）、周波数スペクトルＸ_２，２（ｆ，ｎ）、周波数スペクトルＸ_２，３（ｆ，ｎ）、周波数スペクトルＸ_２，４（ｆ，ｎ）の各々によって表される複数の第３音信号を生成する。

周波数スペクトルＸ_２，１（ｆ，ｎ）は、第１マイク１４Ａから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ_２，２（ｆ，ｎ）は、第１マイク１４Ｂから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ_２，３（ｆ，ｎ）は、第１マイク１４Ｃから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ_２，４（ｆ，ｎ）は、第１マイク１４Ｄから受付けた第３音信号を短時間フーリエ変換したものである。

なお、複数の第３音信号の各々を示す上記複数の周波数スペクトルをまとめた多次元ベクトル（本実施の形態では４次元ベクトル）を、以下では、第１音信号を示す周波数スペクトルＸ_２（ｆ，ｎ）と称して説明する。言い換えると、第１音信号は、周波数スペクトルＸ_２（ｆ，ｎ）によって表される。第１音信号を示す周波数スペクトルＸ_２（ｆ，ｎ）は、下記式（１）で表される。

変換部２０Ｂは、第１音信号を示す周波数スペクトルＸ_２（ｆ，ｎ）を、相関導出部２０Ｄおよび生成部２０Ｈへ出力する。

第１相関記憶部２０Ｅは、第１空間相関行列φ_ｘｘ（ｆ，ｎ）を記憶する。第１空間相関行列φ_ｘｘは、第１音信号における目的音区間の空間相関行列を示す。目的音区間とは、第１音信号における、目的音を含む区間を示す。区間は、時系列方向における、特定の期間を示す。

上述したように、本実施の形態では、第１音信号は、４次元ベクトルを示す周波数スペクトルＸ_２（ｆ，ｎ）によって表される。このため、第１空間相関行列φ_ｘｘ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。

初期状態では、第１相関記憶部２０Ｅは、ゼロ行列（φ_ｘｘ（ｆ，０）＝０）で初期化された第１空間相関行列φ_ｘｘ（ｆ，ｎ）を記憶する。第１空間相関行列φ_ｘｘ（ｆ，ｎ）は、後述する相関導出部２０Ｄによって更新される。

第２相関記憶部２０Ｆは、第２空間相関行列φ_ＮＮ（ｆ，ｎ）を記憶する。第２空間相関行列φ_ＮＮは、第１音信号における非目的音区間の空間相関行列を示す。非目的音区間とは、第１音信号における、目的音区間以外の区間を示す。

第１空間相関行列φ_ｘｘ（ｆ，ｎ）と同様に、本実施の形態では、第２空間相関行列φ_ＮＮ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。

初期状態では、第２相関記憶部２０Ｆは、ゼロ行列（φ_ＮＮ（ｆ，０）＝０）で初期化された第２空間相関行列φ_ＮＮ（ｆ，ｎ）を記憶する。第２空間相関行列φ_ＮＮ（ｆ，ｎ）は、後述する相関導出部２０Ｄの処理によって更新される。

次に、検出部２０Ｃ、相関導出部２０Ｄ、係数導出部２０Ｇ、生成部２０Ｈ、および逆変換部２０Ｉについて説明する。本実施の形態では、音信号処理部２０は、音信号処理開始時に初期処理を行った後に、定常処理を実行する。相関導出部２０Ｄ、係数導出部２０Ｇ、および生成部２０Ｈは、初期処理時と定常処理時で、異なる処理を実行する。

まず、初期処理における、相関導出部２０Ｄ、係数導出部２０Ｇ、および生成部２０Ｈの機能について説明する。

初期処理とは、音信号処理部２０が、音信号処理の開始時に実行する処理である。初期処理では、音信号処理部２０は、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆに記憶されている、ゼロ行列で初期化されている第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を更新することで、これらの空間相関行列に初期値を設定する。

係数導出部２０Ｇは、第１音信号に含まれる目的音信号を強調するための、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。係数導出部２０Ｇは、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。

上述したように、本実施の形態では、第１音信号は、４次元ベクトルを示す周波数スペクトルＸ_２（ｆ，ｎ）によって表される。このため、係数導出部２０Ｇは、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、複素数の４次元ベクトルである空間フィルタ係数Ｆ（ｆ，ｎ）を算出する。空間フィルタ係数Ｆ（Ｆ、ｎ）は、下記式（２）で表される。

但し、初期処理においては、係数導出部２０Ｇは、空間フィルタ係数Ｆ（ｆ，ｎ）＝［０，０，０，１］を、空間フィルタ係数Ｆ（ｆ，ｎ）として導出するものとする。

生成部２０Ｈは、係数導出部２０Ｇで導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、周波数スペクトルＸ_２（ｆ，ｎ）によって表される第１音信号に含まれる目的音信号を強調した、強調音信号を生成する。

詳細には、生成部２０Ｈは、下記式（３）を用いて、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を生成する。

すなわち、生成部２０Ｈは、周波数スペクトルＸ_２（ｆ，ｎ）と、空間フィルタ係数Ｆ（ｆ，ｎ）をエルミート転置した転置行列と、の積を、強調音信号を示す出力スペクトルＹ（ｆ，ｎ）として生成する。なお、初期処理では、生成部２０Ｈは、Ｙ（ｆ，ｎ）＝Ｘ_２，４（ｆ，ｎ）となる強調音信号を出力する。すなわち、初期処理では、生成部２０Ｈは、第１マイク１４Ｄで集音された第３音信号の周波数スペクトルを、強調音信号として出力する。なお、初期処理で強調音信号として用いる第１マイク１４は、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）の内の１つの第１マイク１４であればよく、第１マイク１４Ｄに限定されない。

生成部２０Ｈは、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を、逆変換部２０Ｉおよび検出部２０Ｃへ出力する。

検出部２０Ｃは、強調音信号に基づいて、目的音区間を検出する。本実施の形態では、検出部２０Ｃは、第２音信号と強調音信号に基づいて、目的音区間を検出する。

詳細には、検出部２０Ｃは、周波数スペクトルＸ_１（ｆ，ｎ）によって表される第２音信号と、生成部２０Ｈから受付けた出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号と、に基づいて、目的音区間を検出する。

目的音区間は、目的音源１２Ａが音を発しているか否かをフレーム番号毎に示す関数ｕ_２（ｎ）によって表される。

ｕ_２（ｎ）＝１は、第ｎフレームで目的音源１２Ａが音を発している事を示す。第ｎフレームとは、ｎ番目のフレームを示す。ｕ_２（ｎ）＝０は、第ｎフレームで目的音源１２Ａが音を発していない事を示す。

具体的には、関数ｕ_２は、下記式（４）によって表される。

式（４）中、ｐ_Ｙ（ｎ）およびｐ_Ｘ（ｎ）は、下記式（５）および式（６）によって表される。すなわち、ｐ_Ｙ（ｎ）およびｐ_Ｘ（ｎ）は、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号と、周波数スペクトルＸ_１（ｆ，ｎ）によって表される第２音信号と、の各々のパワーに依存する。

ここで、初期処理の段階では、ｐ_Ｙ（ｎ）には、目的音源１２Ａと非目的音源１２Ｂの双方の音に応じたスペクトルが含まれる。このため、式（４）中、閾値ｔ_１は、目的音源１２Ａまたは非目的音源１２Ｂから音が発せられている場合に、ｔ_１＜Ｐ_Ｙ（ｎ）の関係を満たすように、予め設定する。

また、目的音源１２Ａと非目的音源１２Ｂの内、非目的音源１２Ｂが音を発している場合には、ｐ_Ｘ（ｎ）は、ｐ_ｙ（ｎ）に比べて相対的に大きくなる。このため、式（４）中、閾値ｔ_２は、非目的音源１２Ｂが音を発している場合に、ｐ_Ｘ（ｎ）−ｐ_ｙ（ｎ）≧ｔ_２の関係を満たすように、予め設定する。

これらの設定により、関数ｕ_２（ｎ）は、目的音源１２Ａのみが音を発している第ｎフレームでは値“１”を示す。そして、関数ｕ_２は、目的音源１２Ａが音を発していない第ｎフレームでは値“０”を示す。

このため、検出部２０Ｃは、ｕ_２（ｎ）＝１で表される区間を目的音区間として検出し、ｕ_２（ｎ）＝０で表される区間を非目的音区間として検出する。

相関導出部２０Ｄは、検出部２０Ｃで検出された目的音区間と、変換部２０ＢおよびＡＤ変換部１８を介して第１マイク１４から受付けた第１音信号と、に基づいて、第１空間相関行列φ_ｘｘ（ｆ，ｎ）と、第２空間相関行列φ_ＮＮ（ｆ，ｎ）と、を導出する。そして、相関導出部２０Ｄは、導出した第１空間相関行列φ_ｘｘ（ｆ，ｎ）を第１相関記憶部２０Ｅへ記憶することで、第１空間相関行列φ_ｘｘ（ｆ，ｎ）を更新する。同様に、相関導出部２０Ｄは、導出した第２空間相関行列φ_ＮＮ（ｆ，ｎ）を第２相関記憶部２０Ｆへ記憶することで、第２空間相関行列φ_ＮＮ（ｆ，ｎ）を更新する。

詳細には、相関導出部２０Ｄは、ｕ_２（ｎ）＝１で表される区間（第ｎフレーム）については、下記式（７）により、第１空間相関行列φ_ｘｘ（ｆ，ｎ）を導出および更新し、第２空間相関行列φ_ＮＮ（ｆ，ｎ）は更新しない。

一方、相関導出部２０Ｄは、ｕ_２（ｎ）＝０で表される区間（第ｎフレーム）については、下記式（８）により、第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出および更新し、第１空間相関行列φ_ｘｘ（ｆ，ｎ）は更新しない。

式（７）および式（８）中、αは、０以上１未満の値である。αの値が１に近い値であるほど、過去に導出した第１空間相関行列φ_ｘｘ（ｆ，ｎ）の重みが、最新の第１空間相関行列φ_ｘｘ（ｆ，ｎ）に比べて大きい事を意味する。αの値は、予め設定すればよい。αは、例えば、０．９５などとすればよい。

すなわち、相関導出部２０Ｄは、目的音区間の第１音信号について、過去に導出した第１空間相関行列φ_ｘｘ（ｆ，ｎ）を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の第１空間相関行列φ_ｘｘ（ｆ，ｎ）で補正することによって、新たな第１空間相関行列φ_ｘｘ（ｆ，ｎ）を導出する。なお、目的区間の第１音信号とは、第１音信号における、目的区間の音信号を意味する。

相関導出部２０Ｄは、第１相関記憶部２０Ｅに記憶済の第１空間相関行列φ_ｘｘ（ｆ，ｎ）を、過去に導出した第１空間相関行列φ_ｘｘ（ｆ，ｎ）として用いればよい。第１相関記憶部２０Ｅには、１つの第１空間相関行列φ_ｘｘ（ｆ，ｎ）のみが記憶され、順次、相関導出部２０Ｄによって更新される。

また、相関導出部２０Ｄは、非目的音区間の第１音信号について、過去に導出した第２空間相関行列φ_ＮＮ（ｆ，ｎ）を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の第２空間相関行列φ_ＮＮ（ｆ，ｎ）で補正することによって、新たな第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する。なお、非目的区間の第１音信号とは、第１音信号における、非目的区間の音信号を意味する。

相関導出部２０Ｄは、第２相関記憶部２０Ｆに記憶済の第２空間相関行列φ_ＮＮ（ｆ，ｎ）を、過去に導出した第２空間相関行列φ_ＮＮ（ｆ，ｎ）として用いればよい。第２相関記憶部２０Ｆには、１つの第２空間相関行列φ_ＮＮ（ｆ，ｎ）のみが記憶されるものとし、順次、相関導出部２０Ｄによって更新される。

次に、定常処理における、相関導出部２０Ｄ、係数導出部２０Ｇ、および生成部２０Ｈの機能について説明する。定常処理とは、上記初期処理の後に実行される処理である。

なお、音信号処理部２０は、初期処理を所定時間実行した後に定常処理へ移行してもよいし、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）が所定回数更新されたときに定常処理へ移行してもよい。

まず、定常処理における係数導出部２０Ｇの機能を説明する。初期処理では、係数導出部２０Ｇは、空間フィルタ係数Ｆ（ｆ，ｎ）として、空間フィルタ係数Ｆ（ｆ，ｎ）＝［０，０，０，１］を導出した。

定常処理では、係数導出部２０Ｇは、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。

上述したように、第１音信号は、複数の第１マイク１４から取得した複数の第３音信号からなる。このため、係数導出部２０Ｇは、複数の第１マイク１４から出力された複数の第３信号からなる第１音信号に含まれる目的音信号を強調した強調音信号に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。

詳細には、係数導出部２０Ｇは、相関導出部２０Ｄによって更新された第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。

係数導出部２０Ｇは、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆから第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を読取り、空間フィルタ係数Ｆ（ｆ，ｎ）の導出に用いればよい。

ここで、定常処理の段階で、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆに記憶されている第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）は、相関導出部２０Ｄによって更新済の空間相関行列である。すなわち、これらの空間相関行列は、強調音信号に基づいて検出された目的音区間を用いて、相関導出部２０Ｄによって更新された空間相関行列である。このため、係数導出部２０Ｇは、強調音信号に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出することとなる。

詳細には、係数導出部２０Ｇは、第１空間相関行列φ_ｘｘ（ｆ，ｎ）と第２空間相関行列φ_ＮＮ（ｆ，ｎ）の逆行列との積によって表される行列の、最大固有値に対応する固有ベクトルＦ_ＳＮＲ（ｆ，ｎ）を導出する。そして、係数導出部２０Ｇは、固有ベクトルＦ_ＳＮＲ（ｆ，ｎ）を、空間フィルタ係数Ｆ（ｆ，ｎ）として導出する（Ｆ（ｆ，ｎ）＝Ｆ_ＳＮＲ（ｆ，ｎ））。

固有ベクトルＦ_ＳＮＲ（ｆ，ｎ）は、目的音と非目的音とのパワー比を最大化するＭＡＸ−ＳＮＲ（Ｍａｘｉｍｕｍ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ）ビームフォーマを構成する。

なお、係数導出部２０Ｇは、各周波数ビンのパワーを調整することで音質を改善するポストフィルタｗ（ｆ，ｎ）を追加し、下記式（９）を用いて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出してもよい。

ポストフィルタｗ（ｆ，ｎ）は、下記式（１０）で表される。

次に、生成部２０Ｈについて説明する。定常処理では、生成部２０Ｈは、初期処理時と同様に、係数導出部２０Ｇで導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、周波数スペクトルＸ_２（ｆ，ｎ）によって表される第１音信号に含まれる目的音信号を強調した、強調音信号を生成する。すなわち、生成部２０Ｈは、上記式（３）を用いて、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を生成する。

生成部２０Ｈは、生成した強調音信号を、逆変換部２０Ｉおよび検出部２０Ｃへ出力する。

逆変換部２０Ｉは、生成部２０Ｈから受付けた強調音信号を逆短時間フーリエ変換（ＩＳＴＦＴ：Ｉｎｖｅｒｓｅ Ｓｈｏｒｔ−Ｔｉｍｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）し、出力部２２へ出力する。

すなわち、逆変換部２０Ｉは、目的音源１２Ａから発せられた目的音の目的音信号が強調され非目的音信号が抑圧された強調信号を、時間領域の音波形に変換する。

具体的には、逆変換部２０Ｉは、強調信号を示す出力スペクトルＹ（ｆ，ｎ）の対称性を用いて、出力スペクトルＹ（ｆ，ｎ）から２５６点のスペクトルを生成し、逆フーリエ変換を行う。次に、逆変換部２０Ｉは、合成窓関数を適用し、前フレームの出力波形とフレームシフト分ずらして重畳することにより、音波形を生成すればよい。

次に、検出部２０Ｃについて説明する。初期処理時には、検出部２０Ｃは、目的音区間を検出した。

定常処理時には、検出部２０Ｃは、強調音信号と第２音信号に基づいて、目的音区間と、重複区間と、を検出する。重複区間とは、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている区間を示す。例えば、重複区間とは、複数の話者が発話している区間を示す。

詳細には、検出部２０Ｃは、関数ｕ_２（ｎ）に加えて、関数ｕ_１（ｎ）を検出する。

関数ｕ_１（ｎ）は、第２非目的音区間を示す関数である。詳細には、関数ｕ_１（ｎ）は、非目的音源１２Ｂが音を発しているか否かをフレーム番号毎に示す関数である。第２非目的音区間は、非目的音源１２Ｂが音を発している区間である。

ここで、定常処理の段階では、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号に含まれる、非目的音源１２Ｂから発せられた非目的音によるパワーは、抑圧されている。このため、上記式（５）によって表されるｐ_Ｙ（ｎ）は、近似的に、目的音源１２Ａから発せられた目的音によるパワーとみなすことができる。このため、定常処理の段階では、ｕ_１（ｎ）によって表される第２非目的音区間と、ｕ_２（ｎ）によって表される目的音区間は、下記式（１１）および式（１２）によって表される。

なお、ｕ_２（ｎ）＝１は、第ｎフレームで目的音源１２Ａが音を発している事を示す。ｕ_２（ｎ）＝０は、第ｎフレームで目的音源１２Ａが音を発していない事を示す。また、ｕ_１（ｎ）＝１は、第ｎフレームで非目的音源１２Ｂが音を発している事を示す。ｕ_１（ｎ）＝０は、第ｎフレームで非目的音源１２Ｂが音を発していない事を示す。

このため、式（１１）および式（１２）中における閾値ｔ_３および閾値ｔ_４は、ｕ_１（ｎ）およびｕ_２（ｎ）が上記条件を示す式となるように、予め設定すればよい。

検出部２０Ｃは、ｕ_２（ｎ）＝１であり、且つ、ｕ_１（ｎ）＝０である区間を、目的音区間として検出する。また、検出部２０Ｃは、ｕ_２（ｎ）＝０である区間を、非目的音区間として検出する。また、検出部２０Ｃは、ｕ_２（ｎ）＝１であり且つｕ_１（ｎ）＝１である区間を、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている重複区間として検出する。そして、検出部２０Ｃは、検出結果を、相関導出部２０Ｄへ出力する。本実施の形態では、検出部２０Ｃは、検出結果として、ｕ_１（ｎ）および、ｕ_２（ｎ）を相関導出部２０Ｄへ出力する。

相関導出部２０Ｄは、検出部２０Ｃで検出された目的音区間と、重複区間と、第１音信号と、に基づいて、第１空間相関行列φ_ｘｘ（ｆ，ｎ）と第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する。

相関導出部２０Ｄは、ｕ_２（ｎ）＝１であり且つｕ_１（ｎ）＝０である区間を目的音区間とし、該区間については、下記式（１３）を用いて第１空間相関行列φ_ｘｘ（ｆ，ｎ）を導出し更新する。なお、ｕ_２（ｎ）＝１であり且つｕ_１（ｎ）＝０である目的音区間について、相関導出部２０Ｄは、第２空間相関行列φ_ＮＮ（ｆ，ｎ）の導出および更新を行わない。

一方、相関導出部２０Ｄは、ｕ_２（ｎ）＝０である区間を非目的音区間とし、該区間については、下記式（１４）を用いて、第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出し更新する。なお、ｕ_２（ｎ）＝０である区間について、相関導出部２０Ｄは、第１空間相関行列φ_ｘｘ（ｆ，ｎ）の導出および更新を行わない。

また、相関導出部２０Ｄは、ｕ_２（ｎ）＝１であり且つｕ_１（ｎ）＝１である区間については、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）の双方の導出および更新を行わない。上述したように、ｕ_２（ｎ）＝１であり且つｕ_１（ｎ）＝１である区間は、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている重複区間である。

すなわち、定常処理において、相関導出部２０Ｄは、目的音源１２Ａおよび非目的音源１２Ｂの双方から音が発せられている重複区間については、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）の双方の導出および更新を行わない。

このように、目的音源１２Ａおよび非目的音源１２Ｂの双方が同時に音を発している重複区間については、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）の双方を更新しない構成とする。この構成により、目的音源１２Ａおよび非目的音源１２Ｂの双方が同時に音を発した重複区間を用いることによる、目的音信号の強調精度の低下を抑制することができる。

次に、本実施の形態の音信号処理装置１０が実行する音信号処理の手順を説明する。

図３は、本実施の形態の音信号処理装置１０が実行する音信号処理の手順の一例を示す、フローチャートである。

変換部２０Ｂが、複数の第１マイク１４から受付けた第３信号を短時間フーリエ変換し、周波数スペクトルＸ_２（ｆ，ｎ）によって表される第１音信号を取得する（ステップＳ１００）。変換部２０Ｂは、取得した第１音信号を、相関導出部２０Ｄおよび生成部２０Ｈへ出力する（ステップＳ１０２）。

次に、変換部２０Ａが、第２マイク１６から受付けた第２音信号を短時間フーリエ変換し、周波数スペクトルＸ_１（ｆ，ｎ）によって表される第２音信号を取得する（ステップＳ１０４）。変換部２０Ａは、取得した第２音信号を検出部２０Ｃへ出力する（ステップＳ１０６）。

なお、ステップＳ１００〜ステップＳ１０６の処理は、変換部２０Ａおよび変換部２０Ｂが並列で実行すればよく、図３に示す順に限定されない。また、ステップＳ１００〜ステップＳ１０６の処理は、音信号処理を終了するまで継続して繰返し実行されるものとする。

そして、音信号処理装置１０は、初期処理を実行する（ステップＳ１０８〜ステップＳ１２０）。

詳細には、まず、係数導出部２０Ｇが、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆから、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を読取る（ステップＳ１０８）。上述したように、初期状態では、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）は、ゼロ行列で初期化されている。

次に、係数導出部２０Ｇは、ステップＳ１０８で読取った第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を用いて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する（ステップＳＳ１１０）。上述したように、初期状態では、係数導出部２０Ｇは、空間フィルタ係数Ｆ（ｆ，ｎ）として空間フィルタ係数Ｆ（ｆ，ｎ）＝［０，０，０，１］を導出する。

次に、生成部２０Ｈが、ステップＳ１１０で導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、ステップＳ１１０で取得した、周波数スペクトルＸ_２（ｆ，ｎ）によって表される第１音信号に含まれる目的音信号を強調した強調音信号を生成する（ステップＳ１１２）。

次に、逆変換部２０Ｉが、ステップＳ１１２で生成された、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を逆短時間フーリエ変換し、出力部２２へ出力する（ステップＳ１１４）。

次に、検出部２０Ｃが、ステップＳ１１２で生成された強調音信号と第２音信号を用いて、関数ｕ_２（ｎ）によって表される目的音区間を検出する（ステップＳ１１６）。

次に、相関導出部２０Ｄは、ステップＳ１１６で検出された目的音区間と第１音信号を用いて、第１空間相関行列φ_ｘｘ（ｆ，ｎ）と第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する（ステップＳ１１８）。

次に、相関導出部２０Ｄは、ステップＳ１１８で導出した第１空間相関行列φ_ｘｘ（ｆ，ｎ）と第２空間相関行列φ_ＮＮ（ｆ，ｎ）を、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆの各々へ記憶することで、これらの空間相関行列を更新する（ステップＳ１２０）。

次に、音信号処理部２０が、初期処理から定常処理へ移行するか否かを判断する（ステップＳ１２２）。例えば、音信号処理部２０は、初期処理を所定時間実行した否かを判別することで、定常処理へ移行するか否かを判断する。また、音信号処理部２０は、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）が所定回数更新されたか否かを判別することで、定常処理へ移行するか否かを判別してもよい。

ステップＳ１２２で否定判断すると（ステップＳ１２２：Ｎｏ）、上記ステップＳ１０８へ戻る。一方、ステップＳ１２２で肯定判断すると（ステップＳ１２２：Ｙｅｓ）、音信号処理部２０は、定常処理を実行する（ステップＳ１２４〜ステップＳ１３８）。

定常処理では、係数導出部２０Ｇが、第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆから、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を読取る（ステップＳ１２４）。すなわち、係数導出部２０Ｇは、相関導出部２０Ｄによって更新された最新の第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を読取る。

次に、係数導出部２０Ｇは、ステップＳ１２４で読取った第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する（ステップＳ１２６）。

次に、生成部２０Ｈが、ステップＳ１２６で導出された空間フィルタ係数Ｆ（ｆ，ｎ）を用いて、変換部２０Ｂから受付けた第１音信号に含まれる目的音信号を強調し、強調音信号を生成する（ステップＳ１２８）。

次に、逆変換部２０Ｉが、ステップＳ１２８で生成された強調音信号を逆短時間フーリエ変換し、出力部２２へ出力する（ステップＳ１３０）。

次に、検出部２０Ｃが、第２音信号と、ステップＳ１２８で生成された強調音信号と、を用いて、目的音区間と重複区間を検出する（ステップＳ１３２）。

次に、相関導出部２０Ｄが、ステップＳ１３２で検出された目的音区間と、重複区間と、変換部２０ＢおよびＡＤ変換部１８を介して第１マイク１４から受付けた第１音信号と、に基づいて、第１空間相関行列φ_ｘｘ（ｆ，ｎ）と第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する（ステップＳ１３４）。そして、相関導出部２０Ｄは、導出した第１空間相関行列φ_ｘｘ（ｆ，ｎ）と第２空間相関行列φ_ＮＮ（ｆ，ｎ）を第１相関記憶部２０Ｅおよび第２相関記憶部２０Ｆの各々へ記憶することで、これらの空間相関行列を更新する（ステップＳ１３６）。

次に、音信号処理部２０が、音信号処理を終了するか否かを判断する（ステップＳ１３８）。ステップＳ１３８で否定判断すると（ステップＳ１３８：Ｎｏ）、上記ステップＳ１２４へ戻る。ステップＳ１３８で肯定判断すると（ステップＳ１３８：Ｙｅｓ）、本ルーチンを終了する。

以上説明したように、本実施の形態の音信号処理装置１０は、係数導出部２０Ｇを備える。係数導出部２０Ｇは、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。このため、導出した空間フィルタ係数Ｆ（ｆ，ｎ）を用いて目的音信号を強調した強調音信号を生成することで、高精度に目的音信号を強調することができる。

ここで、従来では、複数の話者が同時に発話すると、目的音の強調精度が低下する場合があった。例えば、話者方向やマイク間の到来時間差を表すベクトルを音信号の特徴量として用い、該特徴量に基づいて、音信号に含まれる目的音信号を強調するためのフィルタを生成する従来方式が知られている。

しかし、このような従来方式では、複数の話者が同時に発話すると、話者の各々の特徴量とは異なる特徴量の分布が得られるため、目的音信号を強調するためのフィルタの精度が低下する場合があった。また、複数の話者が順番に発話する状況の場合についても、相槌などによる同時に発話する区間が発生することから、目的音信号を強調するためのフィルタの精度が低下する場合があった。

一方、本実施の形態の音信号処理装置１０では、目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる目的音信号を強調するための空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。このため、導出した空間フィルタ係数Ｆ（ｆ，ｎ）を第１音信号に適用することで、目的音信号を強調した強調音信号を生成することによって、高精度に目的音信号を強調することができる。

従って、音信号処理装置１０は、高精度に目的音信号を強調することができる。

また、本実施の形態の音信号処理装置１０では、検出部２０Ｃは、目的音信号に対する非目的音信号のパワーの比が第１音信号より大きい第２音信号と、強調音信号と、に基づいて、目的音区間を検出する。このため、検出部２０Ｃは、高精度に目的音区間を検出することができる。そして、係数導出部２０Ｇは、高精度に検出された目的音区間と第１音信号に基づいて導出された、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ（ｆ，ｎ）を導出する。

このため、音信号処理装置１０は、更に高精度に目的音信号を強調することができる。

また、本実施の形態では、検出部２０Ｃが、第２音信号と強調音信号に基づいて、目的音区間を検出する。このため、本実施の形態の音信号処理装置１０は、目的音源１２Ａおよび非目的音源１２Ｂの位置に拘らず、非目的音源１２Ｂの非目的音を抑圧して目的音源１２Ａの目的音信号を強調するように、空間フィルタ係数Ｆ（ｆ，ｎ）を導出することができる。このため、音信号処理装置１０は、第１音信号に含まれる目的音信号を、より高精度に強調するための空間フィルタ係数（ｆ，ｎ）を導出することができる。

また、本実施の形態では、検出部２０Ｃは、強調音信号に基づいて、目的音と非目的音とが重複する重複区間と、目的音区間と、を検出する。そして、相関導出部２０Ｄは、目的音区間と重複区間と第１音信号とに基づいて、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する。

そして、相関導出部２０Ｄは、重複区間については、第１空間相関行列φ_ｘｘ（ｆ，ｎ）および第２空間相関行列φ_ＮＮ（ｆ，ｎ）を導出および更新しない。このため、係数導出部２０Ｇは、重複区間については、空間フィルタ係数Ｆ（ｆ，ｎ）を導出しない。よって、第１音信号における、複数の音源１２から同時に音が発せられる区間についても、本実施の形態の音信号処理装置１０では、高精度に目的音信号を強調することができる。

＜変形例１＞
なお、上記では、検出部２０Ｃは、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号と、周波数スペクトルＸ_１（ｆ，ｎ）によって表される第２音信号と、のパワーに基づいて、目的音区間および重複区間を検出した。

しかし、検出部２０Ｃは、出力スペクトルＹ（ｆ，ｎ）および周波数スペクトルＸ_１（ｆ，ｎ）を用いて、他の方法により、目的音区間および重複区間を検出してもよい。

例えば、出力スペクトルＹ（ｆ，ｎ）および周波数スペクトルＸ_１（ｆ，ｎ）を入力とし、関数ｕ_１（ｎ）および関数ｕ_２（ｎ）を推定するためのモデルを、決定木やk近傍法、サポートベクターマシン、ニューラルネットワークなどにより学習してもよい。

一例として、ニューラルネットワークを用いたモデルの学習について説明する。

この場合、検出部２０Ｃは、モデルを学習するための学習データを収集する。例えば、本実施の形態の音信号処理部２０を学習装置に実装し、音信号処理部２０を用いて上記処理を実行することで、周波数スペクトルＸ_１（ｆ，ｎ）と該周波数スペクトルＸ_１（ｆ，ｎ）から導出した出力スペクトルＹ（ｆ，ｎ）とを含む学習データを、複数記録する。同次に、第１マイク１４Ｄで目的音源１２Ａの目的音を集音して記録する。そして、ユーザによる該目的音の視聴やユーザによる該目的音の波形の目視などにより、各フレームで音を発している音源１２を判定することで、関数ｕ_１（ｎ）および関数ｕ_２（ｎ）の正解データｃ_１（ｎ）およびｃ_２（ｎ）を作成する。

また、検出部２０Ｃは、入力特徴量として、下記式（１５）で表されるベクトルｖ（ｎ）を用いる。

式（１５）で表されるベクトルｖ（ｎ）は、当該フレームと直前のフレームとのスペクトルの絶対値の対数を連結した、５１６次元ベクトルである。このため、目的音区間および重複区間の検出は、ベクトルｖ（ｎ）から正解データを表す二次元ベクトルｃ（ｎ）＝［ｃ_１（ｎ），ｃ_２（ｎ）］の推定に、定式化することができる。

ここで、ニューラルネットワークのモデルの構成を、下記式（１６）〜式（２０）で定義する。

中間層のノード数を１００とすると、行列Ｗ_ｉおよび行列Ｗ_０のサイズは、各々、１００×５１６、２×１００となる。このため、行列Ｗ_１、行列Ｗ_２、行列Ｗ_３のサイズは、何れも、１００×１００となる。

また、式（１６）〜式（２０）における関数ｓｉｇｍｏｉｄ（）は、下記式（２１）で表されるｓｉｇｍｏｉｄ関数を、ベクトルの各要素に適用する演算を表す。

そして、目的関数Ｌを、下記式（２２）で表されるクロスエントロピーで定義する。

そして、検出部２０Ｃは、目的関数Ｌを最大化するパラメータ列Ｗ_ｉ，Ｗ_ｏ，Ｗ_１，Ｗ_２，Ｗ_３を、学習によって求める。

学習の手法には、確率的勾配降下法など、既存の手法を用いればよい。このモデルを用いて導出した関数ｕ_１（ｎ）および関数ｕ_２（ｎ）は、０から１の間の連続値となる。このため、例えば０．５を閾値として、それ以上であれば１（目的音区間）、それ未満であれば０（非目的音区間）に二値化すればよい。

このように、検出部２０Ｃは、出力スペクトルＹ（ｆ，ｎ）および周波数スペクトルＸ_１（ｆ，ｎ）を用いて、第１の実施の形態とは異なる方法により、目的音区間および重複区間を検出してもよい。

（第２の実施の形態）
本実施の形態では、第２マイク１６から取得した第２音声信号を用いずに、第１マイク１４から取得した第１音声信号を用いて、音信号処理を行う形態を説明する。

図４は、本実施の形態の音信号処理システム２の一例を示す模式図である。

音信号処理システム２は、音信号処理装置１１と、複数の第１マイク１４と、を備える。音信号処理装置１１と、複数の第１マイク１４とは、データや信号を授受可能に接続されている。

すなわち、音信号処理システム２は、音信号処理装置１０に代えて音信号処理装置１１を備え、且つ、第２マイク１６を備えない点以外は、第１の実施の形態の音信号処理システム１と同様である。

本実施の形態では、音信号処理システム２は、音源１２として、複数の目的音源１２Ａを想定する。図４には、複数の目的音源１２Ａとして、三人の話者である目的音源１２Ａ１〜目的音源１２Ａ３を一例として示した。目的音源１２Ａは、例えば、人（話者）である。本実施の形態では、矩形形状のテーブルＴの３辺に、各々１人の話者（目的音源１２Ａ１、目的音源１２Ａ２、目的音源１２Ａ３）が座って会話する環境を想定している。なお、本実施の形態では、音信号処理装置１１による音信号処理中、これらの複数の目的音源１２Ａの位置は、大きく移動しない場合を想定している。なお、目的音源１２Ａの数は、３に限定されず、２または４以上であってもよい。

第１の実施の形態と同様に、音信号処理システム２は、複数の第１マイク１４を備える。本実施の形態では、一例として、第１マイク１４Ａ〜第１マイク１４Ｄの４つの第１マイク１４を示した。

第１の実施の形態と同様に、複数の第１マイク１４は、複数の目的音源１２Ａの各々からの音到達時間差が互いに異なる。すなわち、複数の第１マイク１４は、上記音到達時間差が互いに異なるように、配置位置が予め調整されている。

また、音信号処理システム２に設けられる複数の第１マイク１４の数は、本実施の形態の音源１２の数以上であればよい。このため、本実施の形態では、第１マイク１４の数は、３以上であればよい。第１マイク１４の数が多いほど、目的音の強調精度の向上を図ることができる。

一例として、音信号処理システム２は、４つの第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）を備える形態を説明する。

第１の実施の形態と同様に、複数の第１マイク１４の各々から第３信号が出力されることで、音信号処理装置１１には、複数の第３信号が出力される。第１の実施の形態と同様に、複数の第３音信号を一つにまとめた音信号を、第１音信号と称して説明する。

音信号処理装置１１は、ＡＤ変換部１８と、音信号処理部３０と、出力部２２と、を備える。ＡＤ変換部１８および出力部２２は、第１の実施の形態と同様である。音信号処理装置１１は、音信号処理部２０に代えて音信号処理部３０を備える点以外は、第１の実施の形態と同様である。なお、音信号処理装置１１は、少なくとも音信号処理部３０を備えた構成であればよく、ＡＤ変換部１８および出力部２２の少なくとも一方を別体として構成してもよい。

音信号処理部３０は、ＡＤ変換部１８を介して複数の第３音信号を受付ける。音信号処理部３０は、受付けた複数の第３音信号を１つにまとめた第１音信号に含まれる目的音信号を強調し、強調音信号を出力部２２へ出力する。

音信号処理部３０について詳細を説明する。

図５は、音信号処理部３０の機能的構成の一例を示す模式図である。

音信号処理部３０は、変換部３０Ｂと、分離部３０Ｊと、検出部３０Ｃと、相関導出部３０Ｄと、複数の第３相関記憶部３０Ｅと、第４相関記憶部３０Ｆと、複数の加算部３０Ｋと、複数の係数導出部３０Ｇと、複数の生成部３０Ｈと、複数の逆変換部３０Ｉと、を備える。

変換部３０Ｂ、分離部３０Ｊ、検出部３０Ｃ、相関導出部３０Ｄ、複数の係数導出部３０Ｇ、複数の加算部３０Ｋ、複数の生成部３０Ｈ、および複数の逆変換部３０Ｉは、例えば、１または複数のプロセッサにより実現される。例えば上述の各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上述の各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上述の各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆは、各種情報を記憶する。第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆは、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶媒体により構成することができる。また、第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆは、物理的に異なる記憶媒体としてもよいし、物理的に同一の記憶媒体の異なる記憶領域として実現してもよい。さらに、第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆの各々は、物理的に異なる複数の記憶媒体により実現してもよい。

なお、音信号処理部３０には、複数の目的音源１２Ａの各々に対応する、第３相関記憶部３０Ｅ、係数導出部３０Ｇ、加算部３０Ｋ、生成部３０Ｈ、および逆変換部３０Ｉが設けられている。上述したように、本実施の形態では、３つの目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）を想定している。

このため、本実施の形態では、音信号処理部３０には、３つの第３相関記憶部３０Ｅ（第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３）、３つの係数導出部３０Ｇ（係数導出部３０Ｇ１〜係数導出部３０Ｇ２）、３つの加算部３０Ｋ（加算部３０Ｋ１〜加算部３０Ｋ３）、３つの生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）、および３つの逆変換部３０Ｉ（逆変換部３０Ｉ１〜逆変換部３０Ｉ３）が設けられている。

なお、音信号処理システム２で想定する目的音源１２Ａの数は、３つに限定されない。例えば、音信号処理システム２で想定する目的音源１２Ａの数は、１、２、または４以上であってもよい。そして、音信号処理部３０では、第３相関記憶部３０Ｅ、係数導出部３０Ｇ、３つの加算部３０Ｋ、生成部３０Ｈ、および逆変換部３０Ｉの各々を、複数の目的音源１２Ａと同じ数、備えた構成とすればよい。

変換部３０Ｂは、第１の実施の形態の変換部２０Ｂと同様に、ＡＤ変換部１８を介して複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）から受付けた複数の第３音信号の各々を短時間フーリエ変換（ＳＴＦＴ）し、周波数スペクトルＸ_１（ｆ，ｎ）、周波数スペクトルＸ_２（ｆ，ｎ）、周波数スペクトルＸ_３（ｆ，ｎ）、周波数スペクトルＸ_４（ｆ，ｎ）の各々によって表される複数の第３音信号を生成する。

周波数スペクトルＸ_１（ｆ，ｎ）は、第１マイク１４Ａから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ_２（ｆ，ｎ）は、第１マイク１４Ｂから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ_３（ｆ，ｎ）は、第１マイク１４Ｃから受付けた第３音信号を短時間フーリエ変換したものである。周波数スペクトルＸ_４（ｆ，ｎ）は、第１マイク１４Ｄから受付けた第３音信号を短時間フーリエ変換したものである。

なお、本実施の形態では、複数の第３音信号の各々を示す上記複数の周波数スペクトルをまとめた多次元ベクトル（本実施の形態では４次元ベクトル）を、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）と称して説明する。言い換えると、本実施の形態では、第１音信号は、周波数スペクトルＸ（ｆ，ｎ）によって表される。第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）は、下記式（２３）で表される。

変換部３０Ｂは、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）を、分離部３０Ｊおよび複数の生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）の各々へ出力する。

第３相関記憶部３０Ｅは、第３空間相関行列を記憶する。第３空間相関行列は、第１音信号における目的音成分の空間相関行列を示す。

上述したように、音信号処理部３０は、複数の目的音源１２Ａの各々に対応する、３つの第３相関記憶部３０Ｅ（第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３）を備える。

第３相関記憶部３０Ｅ１は、目的音源１２Ａ１に対応する第３相関記憶部３０Ｅである。第３相関記憶部３０Ｅ１は、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）を記憶する。第３空間相関行列φ_ｘｘａ（ｆ，ｎ）は、第１音信号における目的音源１２Ａ１の目的音成分の空間相関行列を示す。目的音源１２Ａ１の目的音成分とは、第１音信号に含まれる、目的音源１２Ａ１から発せられた目的音の成分（すなわちスペクトル）を示す。目的音成分は、後述する分離部３０Ｊによって第１音信号から分離される（詳細後述）。

上述したように、本実施の形態では、第１音信号は、４次元ベクトルを示す周波数スペクトルＸ（ｆ，ｎ）によって表される。このため、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。

同様に、第３相関記憶部３０Ｅ２は、目的音源１２Ａ２に対応する第３相関記憶部３０Ｅである。第３相関記憶部３０Ｅ２は、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）を記憶する。第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）は、第１音信号における目的音源１２Ａ２の目的音成分の空間相関行列を示す。目的音源１２Ａ２の目的音成分とは、第１音信号に含まれる、目的音源１２Ａ２から発せられた目的音の成分を示す。第３空間相関行列φ_ｘｘａ（ｆ，ｎ）と同様に、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。

第３相関記憶部３０Ｅ３は、目的音源１２Ａ３に対応する第３相関記憶部３０Ｅである。第３相関記憶部３０Ｅ３は、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）を記憶する。第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）は、第１音信号における目的音源１２Ａ３の目的音成分の空間相関行列を示す。目的音源１２Ａ３の目的音成分とは、第１音信号に含まれる、目的音源１２Ａ３から発せられた目的音の成分を示す。第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）は、周波数ビン毎の４×４の複素数の行列によって表される。

第４相関記憶部３０Ｆは、第４空間相関行列φ_ＮＮ（ｆ，ｎ）を記憶する。第４空間相関行列φ_ＮＮ（ｆ，ｎ）は、第１音信号における、非目的音成分の空間相関行列を示す。非目的音成分とは、第１音信号に含まれる、目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々から発せられた目的音の成分以外の成分を示す。非目的音成分は、後述する分離部３０Ｊによって第１音信号から分離される（詳細後述）。

初期状態では、第４相関記憶部３０Ｆには、ゼロ行列で初期化（φ_ＮＮ（ｆ，０）＝０）された第４空間相関行列φ_ＮＮ（ｆ，ｎ）が、初期値として予め記憶されている。

一方、初期状態において、第３相関記憶部３０Ｅ１、第３相関記憶部３０Ｅ２、および第３相関記憶部３０Ｅ３には、それぞれ、目的音源１２Ａ１、目的音源１２Ａ２、および目的音源１２Ａ３の各々の位置で発せられた目的音の空間相関行列を示す第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）が、初期値として予め記憶されている。

このような、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、および第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）の各々の初期値は、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）の各々の配置と、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）と、の位置から、シミュレーションによって予め求めればよい。また、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）の初期値は、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々が各音源１２の位置で発した目的音を、予め複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）で集音し、集音により得られた目的音信号から予め導出してもよい。

具体的には、音信号処理部３０は、目的音源１２Ａ１〜目的音源１２Ａ３の各々の位置から発せられた目的音を、テーブルＴ上の複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）で集音することで得られた目的音信号から、各々の第３空間相関行列の初期値を予め導出してもよい。

例えば、目的音源１２Ａ１〜目的音源１２Ａ３の各々の位置にスピーカを配置して白色雑音を再生し、複数の第１マイク１４（第１マイク１４Ａ〜第１マイク１４Ｄ）で集音した音のスペクトルを表す４次元ベクトルを、Ｎａ（ｆ，ｎ），Ｎｂ（ｆ，ｎ），Ｎｃ（ｆ，ｎ）で表すと想定する。この場合、音信号処理部３０は、下記式（２４）〜式（２６）を用いて、各々の第３空間相関行列の初期値を予め導出し、第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３に、それぞれ予め記憶すればよい。

次に、目的音源１２Ａ１に対応する、加算部３０Ｋ１、係数導出部３０Ｇ１、生成部３０Ｈ１、および逆変換部３０Ｉ１について説明する。

加算部３０Ｋ１は、目的音源１２Ａ１に対応する加算部３０Ｋである。加算部３０Ｋ１は、対応する目的音源１２Ａ１以外の目的音源１２Ａ（目的音源１２Ａ２、目的音源１２Ａ３）の第３空間相関行列（第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ））と、第４空間相関行列φ_ＮＮ（ｆ，ｎ）と、を加算し、係数導出部３０Ｇへ出力する。具体的には、加算部３０Ｋ１は、下記式（２７）により、空間相関行列の和を導出し、係数導出部３０Ｇ１へ出力する。

係数導出部３０Ｇ１は、目的音源１２Ａ１に対応する係数導出部３０Ｇである。係数導出部３０Ｇ１は、第１音信号に含まれる、対応する目的音源１２Ａ１の目的音信号を強調するための空間フィルタ係数Ｆ_ａ（ｆ，ｎ）を導出する。詳細には、係数導出部３０Ｇ１は、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）および第４空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数Ｆ_ａ（ｆ，ｎ）を導出する。

具体的には、係数導出部３０Ｇ１は、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）と空間相関行列の和φ_ＳＳ（ｆ，ｎ）の逆行列との積によって表される行列の、最大固有値に対応する固有ベクトルＦ_ＳＮＲ（ｆ，ｎ）を導出する。

そして、係数導出部３０Ｇ１は、この固有ベクトルＦ_ＳＮＲ（ｆ，ｎ）を、目的音源１２Ａに対応する空間フィルタ係数Ｆ_ａ（ｆ，ｎ）として導出する（Ｆａ（ｆ，ｎ）＝Ｆ_ＳＮＲ（ｆ，ｎ））。なお、係数導出部３０Ｇ１は、第１の実施の形態と同様に、ポストフィルタｗ（ｆ，ｎ）を追加し、空間フィルタ係数Ｆ_ａ（ｆ，ｎ）を導出してもよい。

生成部３０Ｈ１は、目的音源１２Ａ１に対応する生成部３０Ｈである。生成部３０Ｈ１は、係数導出部３０Ｇ１で導出された空間フィルタ係数Ｆ_ａ（ｆ，ｎ）を用いて、周波数スペクトルＸ（ｆ，ｎ）によって表される第１音信号に含まれる、目的音源１２Ａ１の目的音信号を強調した強調音信号を生成する。

詳細には、生成部３０Ｈ１は、下記式（２８）を用いて、出力スペクトルＹ_ａ（ｆ，ｎ）によって表される強調音信号を生成する。出力スペクトルＹ_ａ（ｆ，ｎ）によって表される強調音信号は、第１音信号における、目的音源１２Ａの目的音信号を強調した音信号である。

すなわち、生成部３０Ｈ１は、周波数スペクトルＸ（ｆ，ｎ）と、空間フィルタ係数Ｆ_ａ（ｆ，ｎ）をエルミート転置した転置行列と、の積を、強調音信号を示す出力スペクトルＹ_ａ（ｆ，ｎ）として生成する。

生成部３０Ｈ１は、出力スペクトルＹ_ａ（ｆ，ｎ）によって表される強調音信号を、逆変換部３０Ｉ１および検出部３０Ｃへ出力する。すなわち、生成部３０Ｈ１は、目的音源１２Ａの目的音信号の強調された強調音信号を、逆変換部３０Ｉ１および検出部３０Ｃへ出力する。

逆変換部３０Ｉ１は、目的音源１２Ａ１に対応する逆変換部３０Ｉである。逆変換部３０Ｉは、第１の実施の形態の逆変換部２０Ｉと同様に、強調信号を示す出力スペクトルＹ_ａ（ｆ，ｎ）の対称性を用いて、出力スペクトルＹ_ａ（ｆ，ｎ）から２５６点のスペクトルを生成し、逆フーリエ変換を行う。次に、逆変換部３０Ｉ１は、合成窓関数を適用し、前フレームの出力波形とフレームシフト分ずらして重畳することにより、音波形を生成すればよい。そして、逆変換部３０Ｉ１は、生成した音波形によって表される、目的音源１２Ａの強調音信号を、出力部２２へ出力する。

次に、目的音源１２Ａ２に対応する、加算部３０Ｋ２、係数導出部３０Ｇ２、生成部３０Ｈ２、および逆変換部３０Ｉ２について説明する。また、目的音源１２Ａ３に対応する、加算部３０Ｋ３、係数導出部３０Ｇ３、生成部３０Ｈ３、および逆変換部３０Ｉ３について説明する。

加算部３０Ｋ２、加算部３０Ｋ３、係数導出部３０Ｇ２、係数導出部３０Ｇ３、生成部３０Ｈ２、生成部３０Ｈ３、逆変換部３０Ｉ２、および逆変換部３０Ｉ３は、対応する目的音源１２Ａに応じた情報が異なる点以外は、加算部３０Ｋ１、係数導出部３０Ｇ１、生成部３０Ｈ１、および逆変換部３０Ｉ１と同様の処理を行う。

詳細には、加算部３０Ｋ２は、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）と、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）と、第４空間相関行列φ_ＮＮ（ｆ，ｎ）と、の空間相関行列の和φ_ＳＳ（ｆ，ｎ）を導出し、係数導出部３０Ｇ２へ出力する。この和φ_ＳＳ（ｆ，ｎ）は、下記式（２９）で表される。

そして、係数導出部３０Ｇ２は、φ_ＸＸｂ（ｆ，ｎ）と、式（２９）によって表されるφ_ＳＳ（ｆ，ｎ）と、に基づいて、空間フィルタ係数Ｆ_ｂ（ｆ，ｎ）を導出する。このため、生成部３０Ｈ２は、目的音源１２Ａ２の目的音信号の強調された強調音信号（出力スペクトルＹ_ｂ（ｆ，ｎ））を、逆変換部３０Ｉ１および検出部３０Ｃへ出力する。

加算部３０Ｋ３は、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）と、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）と、第４空間相関行列φ_ＮＮ（ｆ，ｎ）と、の空間相関行列の和φ_ＳＳ（ｆ，ｎ）を導出し、係数導出部３０Ｇ３へ出力する。この和φ_ＳＳ（ｆ，ｎ）は、下記式（３０）で表される。

そして、係数導出部３０Ｇ３は、φＸＸｃ（ｆ，ｎ）と、式（２９）によって表されるφ_ＳＳ（ｆ，ｎ）と、に基づいて、空間フィルタ係数Ｆ_ｃ（ｆ，ｎ）を導出する。このため、生成部３０Ｈ３は、目的音源１２Ａ３の目的音信号の強調された強調音信号（出力スペクトルＹ_ｃ（ｆ，ｎ））を、逆変換部３０Ｉ２および検出部３０Ｃへ出力する。

次に、検出部３０Ｃについて説明する。検出部３０Ｃは、強調音信号に基づいて、目的音区間を検出する。本実施の形態では、検出部３０Ｃは、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）にそれぞれ対応する複数の強調音信号を用いて、複数の目的音源１２Ａの各々から発せられた目的音の、目的音区間を検出する。

詳細には、検出部３０Ｃは、生成部３０Ｈ１から、出力スペクトルＹ_ａ（ｆ，ｎ）によって表される、目的音源１２Ａ１の目的音信号を強調した強調音信号を受付ける。また、検出部３０Ｃは、生成部３０Ｈ２から、出力スペクトルＹ_ｂ（ｆ，ｎ）によって表される、目的音源１２Ａ２の目的音信号を強調した強調音信号を受付ける。また、検出部３０Ｃは、生成部３０Ｈ３から、出力スペクトルＹ_ｃ（ｆ，ｎ）によって表される、目的音源１２Ａ３の目的音信号を強調した強調音信号を受付ける。

そして、検出部３０Ｃは、これらの強調音信号（出力スペクトルＹ_ａ（ｆ，ｎ），出力スペクトルＹ_ｂ（ｆ，ｎ），出力スペクトルＹ_ｃ（ｆ，ｎ））に基づいて、目的音源１２Ａ１〜目的音源１２Ａ３の各々の目的音区間を検出する。

第１の実施の形態と同様に、目的音区間は、目的音源１２Ａが音を発しているか否かをフレーム番号毎に示す関数ｕ（ｎ）によって表される。本実施の形態では、目的音源１２Ａ１〜目的音源１２Ａ３の各々の目的音の目的音区間を、関数ｕ_ａ（ｎ）、関数ｕ_ｂ（ｎ）、関数ｕ_ｃ（ｎ）で表す。なお、これらの関数は、値“１”を示す場合、第ｎフレームで目的音源１２Ａが音を発している事を示す。また、値“０”を示す場合、第ｎフレームで目的音源１２Ａが音を発していない事を示す。

検出部３０Ｃは、これらの関数ｕ_ａ（ｎ）、関数ｕ_ｂ（ｎ）、関数ｕ_ｃ（ｎ）を用いて、下記式（３１）〜式（３３）によって表される閾値処理を行うことで、各々の目的音源１２Ａの目的音の目的音区間を検出する。

上記式（３１）〜式（３３）中、ｔは、目的音と非目的音との境界のパワーを表す閾値である。また、式（３１）〜式（３３）中、Ｐ_ａ、Ｐ_ｂ、Ｐ_ｃは、各々、下記式（３４）〜式（３６）で表される。

検出部３０Ｃは、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々の目的音の目的音区間の検出結果を、相関導出部３０Ｄへ出力する。

次に、分離部３０Ｊについて説明する。分離部３０Ｊは、第１音信号を、目的音成分と非目的音成分に分離する。

分離部３０Ｊは、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）を、変換部３０Ｂから受付ける。上述したように、本実施の形態では、第１音信号を示す周波数スペクトルＸ（ｆ，ｎ）は、上記式（２３）で表される。また、本実施の形態では、周波数スペクトルＸ（ｆ，ｎ）は、４つの第１マイク１４Ａ（第１マイク１４Ａ１〜第１マイク１４Ｄ）の各々から受付けた４つの第３音信号の各々を示す周波数スペクトルをまとめた、４次元ベクトルによって表される。

分離部３０Ｊは、周波数スペクトルＸ（ｆ，ｎ）によって表される第１音信号を、目的音成分Ｓ（ｆ，ｎ）と非目的音成分Ｎ（ｆ，ｎ）に分離する。目的音成分Ｓ（ｆ，ｎ）は、下記式（３７）によって表される。非目的音成分Ｎ_ｉ（ｆ，ｎ）は、下記式（３８）によって表される。

そして、分離部３０Ｊは、公知の音区間検出技術を用いて、全ての周波数ｆに対して、第ｎフレームが目的音区間である場合、Ｓ（ｆ，ｎ）＝Ｘ（ｆ，ｎ），Ｎ（ｆ，ｎ）＝［０，０，０，０］を算出する。また、分離部３０Ｊは、全ての周波数ｆに対して、第ｎフレームが非目的音区間である場合、Ｓ（ｆ，ｎ）＝［０，０，０，０］，Ｎ（ｆ，ｎ）＝Ｘ（ｆ，ｎ）とすればよい。

そして、分離部３０Ｊは、第１音信号から分離した、目的音成分Ｓ（ｆ，ｎ）と非目的音成分Ｎ（ｆ，ｎ）を、相関導出部３０Ｄへ出力する。

相関導出部３０Ｄは、目的音区間と、目的音成分と、非目的音成分と、に基づいて、第１音信号における目的音成分の第３空間相関行列と、第１音信号における非目的音成分の第４空間相関行列と、を導出する。

詳細には、相関導出部３０Ｄは、目的音成分Ｓ（ｆ，ｎ）および非目的音成分Ｎ（ｆ，ｎ）を分離部３０Ｊから受付ける。また、相関導出部３０Ｄは、検出部３０Ｃから、目的音区間を示す関数として、関数ｕ_ａ（ｎ）、関数ｕ_ｂ（ｎ）、関数ｕ_ｃ（ｎ）を受付ける。

そして、相関導出部３０Ｄは、目的音成分Ｓ（ｆ，ｎ）、非目的音成分Ｎ（ｆ，ｎ）、関数ｕ_ａ（ｎ）、関数ｕ_ｂ（ｎ）、関数ｕ_ｃ（ｎ）に基づいて、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）、および第４空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する。そして、相関導出部３０Ｄは、導出した第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）、および第４空間相関行列φ_ＮＮ（ｆ，ｎ）を、各々、第３相関記憶部３０Ｅ１、第３相関記憶部３０Ｅ２、第３相関記憶部３０Ｅ３、および第４相関記憶部３０Ｆへ記憶することで、これらの空間相関行列を更新する。

相関導出部３０Ｄは、ｕ_ａ（ｎ）＝１、且つｕ_ｂ（ｎ）＝０、且つｕ_ｃ（ｎ）＝０の区間（第ｎフレーム）については、下記式（３９）により第３空間相関行列φ_ｘｘａ（ｆ，ｎ）を導出して更新し、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）および第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）を更新しない。

また、相関導出部３０Ｄは、ｕ_ａ（ｎ）＝０、且つｕ_ｂ（ｎ）＝１、且つｕ_ｃ（ｎ）＝０の区間（第ｎフレーム）については、下記式（４０）により第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）を導出および更新し、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）および第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）を更新しない。

また、相関導出部３０Ｄは、ｕ_ａ（ｎ）＝０、且つｕ_ｂ（ｎ）＝０、且つｕ_ｃ（ｎ）＝１の区間（第ｎフレーム）については、下記式（４１）により第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）を導出および更新し、第３空間相関行列φ_ｘｘａ（ｆ，ｎ）および第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）を更新しない。

また、相関導出部３０Ｄは、第４空間相関行列φ_ＮＮ（ｆ，ｎ）を下記式（４２）により導出および更新する。

式（３９）〜式（４２）中、αは、０以上１未満の値である。αの値が１に近い値であるほど、過去に導出した空間相関行列の重みが、最新の空間相関行列に比べて大きい事を意味する。αの値は、予め設定すればよい。αは、例えば、０．９５などとすればよい。

すなわち、相関導出部３０Ｄは、過去に導出した第３空間相関行列を、目的音成分Ｓ（ｆ，ｎ）をエルミート転置した転置成分との乗算値によって表される最新の第３空間相関行列で補正することによって、新たな第３空間相関行列を導出する。

なお、相関導出部３０Ｄは、第３相関記憶部３０Ｅ（第３相関記憶部３０Ｅ１〜第３相関記憶部３０Ｅ３）に記憶済の第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）を、過去に導出した第３空間相関行列として用いればよい。また、これらの第３相関記憶部３０Ｅには、各々、１つの第３空間相関行列のみが記憶され、順次、相関導出部３０Ｄによって更新される。

また、相関導出部３０Ｄは、過去に導出した第４空間相関行列φ_ＮＮ（ｆ，ｎ）を、非目的音成分Ｎ（ｆ，ｎ）と非目的音成分Ｎ（ｆ，ｎ）をエルミート転置した転置成分との乗算値によって表される最新の第４空間相関行列φ_ＮＮ（ｆ，ｎ）で補正することによって、新たな第４空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する。

なお、相関導出部３０Ｄは、第４相関記憶部３０Ｆに記憶済の第４空間相関行列φ_ＮＮ（ｆ，ｎ）を、過去に導出した第４空間相関行列φ_ＮＮ（ｆ，ｎ）として用いればよい。また、第４相関記憶部３０Ｆには、１つの第４空間相関行列φ_ＮＮ（ｆ，ｎ）のみが記憶され、順次、相関導出部３０Ｄによって更新される。

次に、本実施の形態の音信号処理装置１１が実行する音信号処理の手順を説明する。

図６は、本実施の形態の音信号処理装置１１が実行する音信号処理の手順の一例を示す、フローチャートである。

変換部３０Ｂが、ＡＤ変換部１８を介して複数の第１マイク１４から受付けた第３信号を短時間フーリエ変換し、周波数スペクトルＸ（ｆ，ｎ）によって表される第１音信号を取得する（ステップＳ２００）。変換部３０Ｂは、取得した第１音信号を、分離部３０Ｊおよび生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）の各々へ出力する（ステップＳ２０２）。

次に、分離部３０Ｊが、第１音信号を、目的音成分Ｓ_ｉ（ｆ，ｎ）と非目的音成分Ｎ_ｉ（ｆ，ｎ）に分離する（ステップＳ２０４）。そして、分離部３０Ｊは、目的音成分Ｓ_ｉ（ｆ，ｎ）と非目的音成分Ｎ_ｉ（ｆ，ｎ）を、相関導出部３０Ｄへ出力する。

次に、音信号処理部３０では、目的音源１２Ａ１〜目的音源１２Ａ３の各々に対応する、加算部３０Ｋ、係数導出部３０Ｇ、生成部３０Ｈ、および逆変換部３０Ｉ１が、ステップＳ２０６〜ステップＳ２１２の処理を実行する。なお、ステップＳ２０６〜ステップＳ２１２の処理は、複数の目的音源１２Ａ（目的音源１２Ａ１〜目的音源１２Ａ３）の各々に対応する機能間で、並列して実行される。

まず、加算部３０Ｋが、対応する目的音源１２Ａ以外の目的音源１２Ａの第３空間相関行列と、第４空間相関行列φ_ＮＮ（ｆ，ｎ）と、を加算し、対応する目的音源１２Ａの係数導出部３０Ｇへ出力する（ステップＳ２２０６）。

係数導出部３０Ｇは、対応する目的音源１２Ａの第３空間相関行列と、第４空間相関行列φ_ＮＮ（ｆ，ｎ）と、を第３相関記憶部３０Ｅおよび第４相関記憶部３０Ｆから読取る（ステップＳ２０８）。

そして、係数導出部３０Ｇは、ステップＳ２０８で読取った第３空間相関行列および第４空間相関行列φ_ＮＮ（ｆ，ｎ）に基づいて、空間フィルタ係数を導出する（ステップＳ２１０）。

次に、生成部３０Ｈが、ステップＳ２１０で導出した空間フィルタ係数を用いて、第１音信号に含まれる、対応する目的音源１２Ａの目的音信号を強調した強調音信号を生成する（ステップＳ２１２）。

そして、逆変換部３０Ｉ１は、ステップＳ２１２で生成された強調音信号を出力部２２へ出力する（ステップＳ２１４）。

目的音源１２Ａ１〜目的音源１２Ａ３の各々に対応する、加算部３０Ｋ、係数導出部３０Ｇ、生成部３０Ｈ、および逆変換部３０Ｉ１が、ステップＳ２０６〜ステップＳ２１２の処理を実行することによって、目的音源１２Ａ１から発せられた目的音信号を強調した強調音信号と、目的音源１２Ａ２から発せられた目的音信号を強調した強調音信号と、目的音源１２Ａ３から発せられた目的音信号を強調した強調音信号と、が検出部３０Ｃおよび逆変換部３０Ｉへ出力される。

このため、逆変換部３０Ｉ１〜逆変換部３０Ｉ３の各々から受付けた強調音信号を出力する出力部２２は、複数の目的音源１２Ａの各々の目的音をそれぞれ強調した、複数の強調音信号を出力することができる。

次に、検出部３０Ｃは、生成部３０Ｈ（生成部３０Ｈ１〜生成部３０Ｈ３）から受付けた複数の強調音信号を用いて、複数の目的音源１２Ａの各々の目的音の、目的音区間を検出する（ステップＳ２１６）。

次に、相関導出部３０Ｄは、ステップＳ２０４で分離された目的音成分Ｓ（ｆ，ｎ）および非目的音成分Ｎ（ｆ，ｎ）と、複数の目的音源１２Ａの各々の目的音の目的音区間を示す関数（ｕ_ａ（ｎ），ｕ_ｂ（ｎ），ｕ_ｃ（ｎ））に基づいて、複数の目的音源１２Ａの各々に対応する第３空間相関行列（第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ））、および第４空間相関行列φ_ＮＮ（ｆ，ｎ）を導出する（ステップＰＳ２１８）。

そして、相関導出部３０Ｄは、導出した第３空間相関行列φ_ｘｘａ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｂ（ｆ，ｎ）、第３空間相関行列φ_ｘｘｃ（ｆ，ｎ）、および第４空間相関行列φ_ＮＮ（ｆ，ｎ）を、各々、第３相関記憶部３０Ｅ１、第３相関記憶部３０Ｅ２、第３相関記憶部３０Ｅ３、および第４相関記憶部３０Ｆへ記憶することで、これらの空間相関行列を更新する（ステップＳ２２０）。

次に、音信号処理部３０が、音信号処理を終了するか否かを判断する（ステップＳ２２２）。ステップＳ２２２で否定判断すると（ステップＳ２２２：Ｎｏ）、上記ステップＳ２００へ戻る。一方、ステップＳ２２２で肯定判断すると（ステップＳ２２２：Ｙｅｓ）、本ルーチンを終了する。

以上説明したように、本実施の形態の音信号処理装置１１は、分離部３０Ｊが、第１音信号を目的音成分と非目的音成分に分離する。検出部３０Ｃは、強調音信号に基づいて、目的音区間を検出する。相関導出部３０Ｄは、目的音区間と、目的音成分と、非目的音成分と、に基づいて、第１音信号における目的音成分の第３空間相関行列と、第１音信号における非目的音成分の第４空間相関行列と、を導出する。そして、係数導出部３０Ｇは、第３空間相関行列および第４空間相関行列に基づいて、空間フィルタ係数を導出する。

このように、本実施の形態の音信号処理装置１１では、第２マイク１６から取得した第２音声信号を用いずに、第１マイク１４から取得した第１音声信号を用いて、空間フィルタ係数を導出する。このため、本実施の形態では、目的音源１２Ａ以外の非目的音源１２Ｂの音を集音するための第２マイク１６を用意することなく、目的音源１２Ａから発せられた目的音信号を高精度に強調することができる。

また、本実施の形態の音信号処理装置１１では、複数の目的音源１２Ａの各々の目的音の目的音信号を、分離して強調することができる。

また、本実施の形態の音信号処理装置１１では、相関導出部３０Ｄが、順次、第３空間相関行列および第４空間相関行列を更新する。このため、第３相関記憶部３０Ｅに初期値として記憶されていた第３空間相関行列が想定する、目的音源１２Ａと第１マイク１４との位置関係にずれが生じた場合であっても、実際の位置関係に応じた空間相関行列に次第に収束するように更新されていくこととなる。

このため、本実施の形態の音信号処理装置１１は、効果的に目的音源１２Ａから発せられた目的音信号を強調し、非目的音信号を抑圧することができる。

また、本実施の形態の音信号処理装置１１は、第１音信号を目的音成分と非目的音成分に分離し、空間相関行列の導出に用いる。このため、音信号処理装置１１は、雑音などの非目的音を効果的に抑圧した強調音信号を生成することができる。よって、音信号処理装置１１は、高精度な強調音信号を提供することができる。

＜変形例２＞
なお、分離部３０Ｊは、上記第２の実施の形態に示した方法とは異なる方法を用いて、第１音信号を目的音成分と非目的音成分に分離してもよい。

例えば、分離部３０Ｊは、周波数ビン毎に目的音か非目的音かの判定を行い、判定結果を用いて、第１音信号を目的音成分と非目的音成分に分離してもよい。

例えば、分離部３０Ｊは、ニューラルネットワークを用いて、第１音信号を目的音成分と非目的音成分に分離する。

この場合、分離部３０Ｊは、ニューラルネットワークを用いて、フレーム毎および周波数ビンごとに、値“０”または値“１”を示す音声マスクＭ_Ｓ（ｆ，ｎ）および非音声マスクＭ_Ｎ（ｆ，ｎ）を推定する。そして、分離部３０Ｊは、下記式（４３）および式（４４）を用いて、目的音成分Ｓ_ｉ（ｆ，ｎ）および非目的音成分Ｎ_ｉ（ｆ，ｎ）を導出する。

分離部３０Ｊは、ニューラルネットワークの入力として、１チャンネルの周波数スペクトルＸｉ（ｆ，ｎ）を用いる。そして、分離部３０Ｊは、各チャンネルの入力に対して、音声マスクＭ_Ｓ（ｆ，ｎ）および非音声マスクＭ_Ｎ（ｆ，ｎ）を推定する。

そして、分離部３０Ｊは、全てのチャンネルの推定結果の多数決等を用いて、チャンネル共通の音声マスクＭ_Ｓ（ｆ，ｎ）および非音声マスクＭ_Ｎ（ｆ，ｎ）を推定すればよい。

分離部３０Ｊは、雑音を含まないクリーンな目的音信号と、目的音を含まない非目的音信号と、を用いたシミュレーションによって、ニューラルネットワークの学習データを予め生成すればよい。

クリーンな目的音信号のスペクトルをＳ_ｔ（ｆ，ｎ）、目的音を含まない非目的音信号のスペクトルをＮ_ｔ（ｆ，ｎ）で表す。すると、雑音などの非目的音を重畳した音のスペクトルＸ_ｔ（ｆ，ｎ）と、音声マスクの正解データＭ_ｔＳ（ｆ，ｎ）および非音声マスクの正解データＭ_ｔＮ（ｆ，ｎ）は、下記式（４５）〜式（４７）により導出される。

式（４６）および式（４７）中、ｔ_Ｓおよびｔ_Ｎは、目的音と非目的音とのパワー比の閾値を示す。

入力特徴量には、下記式（４８）で表されるベクトルｖ（ｎ）を用いる。

式（４８）によって表されるベクトルｖ（ｎ）は、当該フレームと直前のフレームのスペクトルの絶対値の対数を連結した、５１６次元ベクトルである。そして、音声マスクＭ_Ｓ（ｆ，ｎ）および非音声マスクＭ_Ｎ（ｆ，ｎ）の推定は、入力特徴量を示すベクトルｖ（ｎ）から、正解データを表す２５８次元ベクトルｃ（ｎ）を推定する問題として、下記式（４９）に定式化することができる。

このため、ニューラルネットワークのモデルの構成は、下記式（５０）〜式（５４）で定義することができる。

ここで、中間層のノード数を２００と想定する。すると、行列Ｗ_ｉのサイズは２００×５１６となり、行列Ｗ_ｏのサイズは２５８×２００となる。このため、行列Ｗ_１、行列Ｗ_２、および行列Ｗ_３のサイズは、いずれも２００×２００となる。

ここで、目的関数Ｌを、下記式（５５）で表されるクロスエントロピーで定義する。

そして、分離部３０Ｊは、目的関数Ｌを最大化するパラメータ列Ｗ_ｉ，Ｗ_ｏ，Ｗ_１，Ｗ_２，Ｗ_３を学習により導出する。学習の手法には、確率的勾配降下法など、公知の方法を用いればよい。

そして、分離部３０Ｊは、上記方法により生成したモデルを用いて推定した、上記式（５５）におけるｍ_ｉ（ｎ），（ｉ＝１，・・・・，２５８）は、０から１の間の連続値となる。このため、例えば、分離部３０Ｊは、例えば“０．５”を閾値とし、該閾値以上であれば値“１”、該閾値未満であれば“０”に二値化することで、フレーム毎および周波数ビンごと音声マスクＭ_Ｓ（ｆ，ｎ）および非音声マスクＭ_Ｎ（ｆ，ｎ）を推定する。そして、分離部３０Ｊは、上記式（４３）および上記式（４４）を用いて、目的音成分Ｓ_ｉ（ｆ，ｎ）および非目的音成分Ｎ_ｉ（ｆ，ｎ）を導出すればよい。

なお、上記変形例１および上記変形例２では、ニューラルネットワークの構成要素が、３層の中間層を持つ全結合ネットワークである場合を一例として説明した。しかし、ニューラルネットワークの構成要素は、これに限定されない。

例えば、学習データが十分に用意できる場合には、中間層の層数やノード数をさらに増やすことにより、精度向上を図ってもよい。また、バイアス項を用いてもよい。また、活性化関数としては、ｓｉｇｍｏｉｄの他に、ｒｅｌｕやｔａｎｈなどの種々の関数を用いることができる。また、全結合層以外にも、畳み込みニューラルネットワークやリカレントニューラルネットワークなど、種々の構成を利用することが可能である。また、ニューラルネットワークに入力する特徴量として、ＦＦＴパワースペクトルを用いるものとして説明したが、このほかにもメルフィルタバンクやメルケプストラムなど、種々の特徴量やそれらの組み合わせを用いることが可能である。

（第３の実施の形態）
なお、音信号処理装置１０および音信号処理装置１１は、音信号処理システム２に代えて、認識部を備えた構成であってもよい。

図７は、本実施の形態の音信号処理システム３の一例を示す模式図である。

音信号処理システム３は、音信号処理装置１３と、複数の第１マイク１４と、を備える。音信号処理装置１３と、複数の第１マイク１４とは、データや信号を授受可能に接続されている。すなわち、音信号処理システム３は、音信号処理装置１０に代えて音信号処理装置１３を備える。

音信号処理装置１３は、ＡＤ変換部１８と、音信号処理部２０と、認識部２４と、を備える。ＡＤ変換部１８および音信号処理部２０は、第１の実施の形態と同様である。すなわち、音信号処理装置１３は、出力部２２に代えて認識部２４を備えた点以外は、音信号処理装置１０と同様である。

認識部２４は、音信号処理部２０から受付けた強調音信号を認識する。

具体的には、認識部２４は、強調音信号を解析する装置である。認識部２４は、例えば、出力スペクトルＹ（ｆ，ｎ）によって表される強調音信号を公知の解析方法で認識し、認識結果を出力する。この出力は、テキストデータでもよいし、認識された単語ＩＤのような記号化された情報であってもよい。認識部２４には、公知の認識装置を用いればよい。

（適用範囲）
上記実施の形態および変形例で説明した音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、目的音信号を強調する様々な装置やシステムに適用することができる。

詳細には、音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、１または複数の話者が音声を出力する環境において音を集音して処理する各種のシステムや装置に適用することができる。

例えば、音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、会議システム、講義システム、接客対応システム、スマートスピーカ、車載システム、等に適用することができる。

会議システムは、１または複数の話者が発話するスペース内に配置されたマイクで集音された音を処理するシステムである。講義システムは、講義者および受講者の少なくとも一方が発話するスペース内に配置されたマイクで集音された音を処理するシステムである。接客対応システムは、店員と顧客が対話形式で発話するスペース内に配置されたマイクで集音された音を処理するシステムである。スマートスピーカは、対話型の音声操作に対応したＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）アシスタントを利用可能なスピーカである。車載システムは、車両内で乗員の発話した音を集音して処理し、処理結果を車両の駆動制御などに用いるシステムである。

次に、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３のハードウェア構成を説明する。

図８は、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３のハードウェア構成例を示す説明図である。

上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３で実行されるプログラムは、コンピュータを、上記実施の形態および変形例の音信号処理装置１０、音信号処理装置１１、および音信号処理装置１３の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施の形態および変形例を説明したが、これらの実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、１１、１３ 音信号処理装置
１２ 音源
１２Ａ、１２Ａ１、１２Ａ２、１２Ａ３ 目的音源
１２Ｂ 非目的音源
１４、１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ 第１マイク
１６ 第２マイク
２０、３０ 音信号処理部
２０Ｃ 検出部
２０Ｄ 相関導出部
２０Ｇ 係数導出部
２０Ｈ 生成部
２４ 認識部
３０Ｃ 検出部
３０Ｄ 相関導出部
３０Ｇ、３０Ｇ１、３０Ｇ２、３０Ｇ３ 係数導出部
３０Ｈ、３０Ｈ１、３０Ｈ２、３０Ｈ３ 生成部
３０Ｊ 分離部

Claims (14)

1. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部と、
   前記強調音信号に基づいて、目的音区間を検出する検出部と、
   前記目的音区間と前記第１音信号とに基づいて、前記第１音信号における前記目的音区間の第１空間相関行列と、前記第１音信号における前記目的音区間以外の非目的音区間の第２空間相関行列と、を導出する相関導出部と、
   を備え、
   前記係数導出部は、前記第１空間相関行列および前記第２空間相関行列に基づいて、前記空間フィルタ係数を導出し、
   前記検出部は、
   前記目的音信号に対する非目的音信号のパワーの比が前記第１音信号より大きい第２音信号と、前記強調音信号と、に基づいて、前記目的音区間を検出する、
   音信号処理装置。
2. 前記係数導出部は、
   複数のマイクから取得した前記第１音信号に含まれる前記目的音信号を強調した前記強調音信号に基づいて、前記空間フィルタ係数を導出する、
   請求項１に記載の音信号処理装置。
3. 前記検出部は、
   前記強調音信号に基づいて、前記目的音区間と、前記目的音信号と前記非目的音信号が重複する重複区間と、を検出し、
   前記相関導出部は、
   前記目的音区間と前記重複区間と前記第１音信号とに基づいて、前記第１空間相関行列と、前記第２空間相関行列と、を導出する、
   請求項１または請求項２に記載の音信号処理装置。
4. 前記相関導出部は、
   前記目的音区間の前記第１音信号について、過去に導出した前記第１空間相関行列を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の前記第１空間相関行列で補正することによって、新たな前記第１空間相関行列を導出し、
   前記非目的音区間の前記第１音信号について、過去に導出した前記第２空間相関行列を、該第１音信号と該第１音信号をエルミート転置した転置信号との乗算値によって表される最新の前記第２空間相関行列で補正することによって、新たな前記第２空間相関行列を導出する、
   請求項１〜請求項３の何れか１項に記載の音信号処理装置。
5. 前記係数導出部は、
   前記第１空間相関行列と前記第２空間相関行列の逆行列との積の最大固有値に対応する固有ベクトルを、前記空間フィルタ係数として導出する、
   請求項３または請求項４に記載の音信号処理装置。
6. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部と、
   記強調音信号に基づいて、目的音区間を検出する検出部と、
   前記第１音信号を目的音成分と非目的音成分に分離する分離部と、
   前記目的音区間と、前記目的音成分と、前記非目的音成分と、に基づいて、前記第１音信号における前記目的音成分の第３空間相関行列と、前記第１音信号における前記非目的音成分の第４空間相関行列と、を導出する相関導出部と、
   を備え、
   前記係数導出部は、前記第３空間相関行列および前記第４空間相関行列に基づいて、前記空間フィルタ係数を導出する、
   音信号処理装置。
7. 前記相関導出部は、
   過去に導出した前記第３空間相関行列を、前記目的音成分と前記目的音成分をエルミート転置した転置成分との乗算値によって表される最新の前記第３空間相関行列で補正することによって、新たな前記第３空間相関行列を導出し、
   過去に導出した前記第４空間相関行列を、前記非目的音成分と前記非目的音成分をエルミート転置した転置成との乗算値によって表される最新の前記第４空間相関行列で補正することによって、新たな前記第４空間相関行列を導出する、
   請求項６に記載の音信号処理装置。
8. 前記係数導出部は、
   前記第３空間相関行列と前記第４空間相関行列の逆行列との積の最大固有値に対応する固有ベクトルを、前記空間フィルタ係数として導出する、
   請求項７に記載の音信号処理装置。
9. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出ステップと、
   前記強調音信号に基づいて、目的音区間を検出する検出ステップと、
   前記目的音区間と前記第１音信号とに基づいて、前記第１音信号における前記目的音区間の第１空間相関行列と、前記第１音信号における前記目的音区間以外の非目的音区間の第２空間相関行列と、を導出する相関導出ステップと、
   を含み、
   前記係数導出ステップは、前記第１空間相関行列および前記第２空間相関行列に基づいて、前記空間フィルタ係数を導出し、
   前記検出ステップは、
   前記目的音信号に対する非目的音信号のパワーの比が前記第１音信号より大きい第２音信号と、前記強調音信号と、に基づいて、前記目的音区間を検出する、
   音信号処理方法。
10. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出ステップと、
    前記強調音信号に基づいて、目的音区間を検出する検出ステップと、
    前記目的音区間と前記第１音信号とに基づいて、前記第１音信号における前記目的音区間の第１空間相関行列と、前記第１音信号における前記目的音区間以外の非目的音区間の第２空間相関行列と、を導出する相関導出ステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記係数導出ステップは、前記第１空間相関行列および前記第２空間相関行列に基づいて、前記空間フィルタ係数を導出し、
    前記検出ステップは、
    前記目的音信号に対する非目的音信号のパワーの比が前記第１音信号より大きい第２音信号と、前記強調音信号と、に基づいて、前記目的音区間を検出する、
    プログラム。
11. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部と、
    前記空間フィルタ係数を用いて、前記第１音信号に含まれる目的音を強調した前記強調音信号を生成する生成部と、
    前記強調音信号を認識する認識部と、
    前記強調音信号に基づいて、目的音区間を検出する検出部と、
    前記目的音区間と前記第１音信号とに基づいて、前記第１音信号における前記目的音区間の第１空間相関行列と、前記第１音信号における前記目的音区間以外の非目的音区間の第２空間相関行列と、を導出する相関導出部と、
    を備え、
    前記係数導出部は、前記第１空間相関行列および前記第２空間相関行列に基づいて、前記空間フィルタ係数を導出し、
    前記検出部は、
    前記目的音信号に対する非目的音信号のパワーの比が前記第１音信号より大きい第２音信号と、前記強調音信号と、に基づいて、前記目的音区間を検出する、
    音信号処理装置。
12. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出ステップと、
    前記強調音信号に基づいて、目的音区間を検出する検出ステップと、
    前記第１音信号を目的音成分と非目的音成分に分離する分離ステップと、
    前記目的音区間と、前記目的音成分と、前記非目的音成分と、に基づいて、前記第１音信号における前記目的音成分の第３空間相関行列と、前記第１音信号における前記非目的音成分の第４空間相関行列と、を導出する相関導出ステップと、
    を含み、
    前記係数導出ステップは、前記第３空間相関行列および前記第４空間相関行列に基づいて、前記空間フィルタ係数を導出する、
    音信号処理方法。
13. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出ステップと、
    前記強調音信号に基づいて、目的音区間を検出する検出ステップと、
    前記第１音信号を目的音成分と非目的音成分に分離する分離ステップと、
    前記目的音区間と、前記目的音成分と、前記非目的音成分と、に基づいて、前記第１音信号における前記目的音成分の第３空間相関行列と、前記第１音信号における前記非目的音成分の第４空間相関行列と、を導出する相関導出ステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記係数導出ステップは、前記第３空間相関行列および前記第４空間相関行列に基づいて、前記空間フィルタ係数を導出する、
    プログラム。
14. 目的音信号を強調した強調音信号に基づいて、第１音信号に含まれる前記目的音信号を強調するための空間フィルタ係数を導出する係数導出部と、
    前記空間フィルタ係数を用いて、前記第１音信号に含まれる目的音を強調した前記強調音信号を生成する生成部と、
    前記強調音信号を認識する認識部と、
    記強調音信号に基づいて、目的音区間を検出する検出部と、
    前記第１音信号を目的音成分と非目的音成分に分離する分離部と、
    前記目的音区間と、前記目的音成分と、前記非目的音成分と、に基づいて、前記第１音信号における前記目的音成分の第３空間相関行列と、前記第１音信号における前記非目的音成分の第４空間相関行列と、を導出する相関導出部と、
    を備え、
    前記係数導出部は、前記第３空間相関行列および前記第４空間相関行列に基づいて、前記空間フィルタ係数を導出する、
    音信号処理装置。

Images