JP5516169B2 - 音響処理装置およびプログラム - Google Patents

Description

本発明は、音響信号に含まれる雑音成分を抑圧する技術に関する。

目的音成分と雑音成分との混合音の音響信号から雑音成分を抑圧する技術が従来から提案されている。例えば特許文献１には、複数の音響信号の各々における低域成分と各低域成分の平均成分とのうち強度が最小となる成分を選択して各音響信号の高域成分と合成することで、風雑音が抑圧された雑音抑圧信号を生成する技術が開示されている。

特許第４３５６６７０号公報

しかし、特許文献１の技術では、雑音抑圧信号の生成に利用される成分が強度のみを基準として選択されるから、例えば風雑音と比較して目的音成分の強度が小さい場合には目的音成分が除去される可能性がある。また、複数の音響信号の平均成分が雑音抑圧信号の低域成分として選択された場合には、雑音抑圧信号の生成の過程で目的音成分の波形が大幅に変化するから、目的音成分が忠実に再現されないという問題もある。以上の事情を考慮して、本発明は、音響信号の雑音成分を高精度に抑圧することを目的とする。

以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の各要素と後述の各実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。

本発明の音響処理装置は、並列に収音された第１音響信号および第２音響信号の各々について、当該音響信号の周波数毎の成分値の時系列を要素とする観測行列（例えば観測行列Ｖi）の非負行列因子分解で、当該音響信号の相異なる成分の周波数毎の成分値を示す複数の基底（例えば基底Ｃi[1]〜Ｃi[K]）を含む基底行列（例えば基底行列Ｗi）と、当該各基底の重み値の時系列を各々が示す複数の重み系列（例えば重み系列Ｅi[1]〜Ｅi[K]）を含む係数行列（例えば係数行列Ｈi）とを生成する行列分解手段（例えば行列分解部４４）と、第１音響信号の基底行列の複数の基底のうち第２音響信号の基底行列の基底との相関が高い基底を、第１音響信号の雑音成分に対応する雑音基底（例えば雑音基底Ｃi_noise）として特定する雑音特定手段（例えば雑音特定部４６）と、第１音響信号から雑音成分を抑圧した推定目的音成分（例えば推定目的音信号ｑTiのスペクトルＹTi）を基底行列のうち雑音基底以外の各基底と係数行列のうち雑音基底以外に対応する各重み系列とを利用して生成する目的音抽出手段（例えば目的音抽出部５２）と、第１音響信号から目的音成分を抑圧した推定雑音成分（例えば推定雑音信号ｑNiのスペクトルＹNi）を雑音基底と係数行列のうち当該雑音基底に対応する重み系列（例えば重み系列Ｅi_noise）とを利用して生成する雑音抽出手段（例えば雑音抽出部５４）と、目的音成分の調波構造に対応する残留成分（例えば残留成分のスペクトルＲi）を推定雑音成分から抽出する調波成分抽出手段（例えば調波成分抽出部６４）と、推定目的音成分と残留成分とを合成する目的音合成手段（例えば目的音合成部６６）とを具備する。

以上の構成では、第１音響信号および第２音響信号の各々の観測行列が基底行列と係数行列とに分解され、第１音響信号の基底行列の複数の基底のうち第２音響信号の基底行列の基底との相関が高い雑音基底が除外されたうえで推定目的音成分が抽出される。したがって、第１音響信号の目的音成分の強度が雑音成分と比較して低い場合でも雑音成分を高精度に抑圧することが可能である。また、目的音成分の調波構造に対応する残留成分が推定雑音成分から抽出されて推定目的音成分に合成されるから、推定雑音成分に目的音成分の一部（残留成分）が残留した場合でも、目的音成分の欠落を有効に防止できるという利点がある。しかも、調波構造を手掛かりに推定雑音成分から残留成分を抽出するから、残留成分の強度が雑音成分に対して低い場合でも残留成分を高精度に抽出できるという利点がある。なお、本発明の適用の範囲は、２系統の音響信号を処理する構成に限定されない。すなわち、３系統以上の音響信号を処理する構成でも、特定の２系統の音響信号に着目したときに本発明の要件を充足する構成は、本発明の範囲に当然に包含される。

本発明の好適な態様において、調波成分抽出手段は、目的音成分の基本周波数を推定する周波数推定手段（例えば周波数推定部７２）と、推定雑音成分のうち基本周波数の整数倍の周波数の調波成分が強調されるように各係数値が設定された調波係数列を生成する調波係数列生成手段（例えば調波係数列生成部７４）と、調波係数列を推定雑音成分に作用させて残留成分を抽出する調波抽出手段（例えば調波抽出部７８）とを含む。以上の態様においては、周波数推定手段が推定した目的音成分の基本周波数に応じて生成された調波係数列の適用で推定雑音成分から残留成分が抽出される。したがって、音響信号の周波数特性（調波構造）に応じた適切な残留成分を抽出できるという利点がある。
さらに好適な態様において、周波数推定手段は、目的音抽出手段が生成した推定目的音成分の基本周波数を推定する。以上の態様においては、雑音成分が抑圧された推定目的音成分について基本周波数が推定されるから、雑音成分が混在した状態で基本周波数を推定する場合と比較して目的音成分の基本周波数を高精度に推定できるという利点がある。ただし、目的音成分と雑音成分とが混在した第１音響信号または第２音響信号を対象として目的音成分の基本周波数を推定する方法も採用され得る。なお、基本周波数の推定の方法（例えば周波数領域での処理か時間領域での処理か）は任意である。

本発明の好適な態様に係る音響処理装置は、第１音響信号および第２音響信号のスペクトルの時系列を第１解析パラメータ（例えば窓幅ωA，移動量δA）のもとで観測行列として生成する第１周波数分析手段（例えば周波数分析部４２）と、第１解析パラメータとは相違する第２解析パラメータ（例えば窓幅ωB，移動量δB）のもとで推定目的音成分および推定雑音成分のスペクトルを順次に生成する第２周波数分析手段（例えば周波数分析部６２）と、第２解析パラメータに応じた間隔で時間軸上および周波数軸上に配列する解析点（例えば解析点ｐ2）毎に係数値が設定された補正係数列（例えば補正係数列ＧBi）を生成する係数列補正手段（例えば係数列補正部７６）とを具備し、雑音抽出手段は、第１解析パラメータに応じた間隔で時間軸上および周波数軸上に配列する解析点（例えば解析点ｐ1）毎に係数値が設定された雑音係数列（例えば雑音係数列ＧNi）を、雑音基底と当該雑音基底に対応する重み系列とを利用して生成し、雑音係数列を観測行列に作用させて推定雑音成分を生成し、係数列補正手段は、雑音係数列から補正係数列を生成し、調波係数列生成手段は、補正係数列から基本周波数の整数倍の周波数の成分を抽出して調波係数列を生成する。以上の態様においては、推定雑音成分の抽出に利用される雑音係数列が調波係数列の生成に流用されるから、調波係数列の生成に雑音係数列を利用しない構成と比較して残留成分の抽出に必要な処理の負荷が軽減される。また、第１解析パラメータに応じた雑音係数列が第２解析パラメータに応じた補正係数列に補正されたうえで調波係数列の生成（さらには残留成分の抽出）に適用されるから、第１解析パラメータと第２解析パラメータとが相違する場合でも、残留成分の抽出に利用される適切な調波係数列を生成することが可能である。したがって、例えば非負行列因子分解に最適な数値に第１解析パラメータを設定し、基本周波数の推定や残留成分と推定目的音成分との合成に最適な数値に第２解析パラメータを設定することが可能である。

本発明の好適な態様に係る音響処理装置は、第１音響信号と第２音響信号との位相差（例えば位相差ΔＰ[nA]）を算定する位相差算定手段（例えば位相差算定部５８２）を具備し、目的音抽出手段は、位相差算定手段が算定した位相差に応じて各係数値が可変に設定された目的音係数列を、基底行列のうち雑音基底以外の各基底と係数行列のうち雑音基底以外に対応する重み系列とから生成して観測行列に作用させる。例えば、第１音響信号と第２音響信号との位相差が大きい（雑音成分が優勢である）ほど目的音係数列による雑音抑圧の効果が増加するように、目的音係数列の各係数値が位相差に応じて設定される。以上の態様においては、第１音響信号と第２音響信号との位相差が目的音係数列に反映されるから、目的音係数列に位相差を反映させない構成と比較して雑音成分を充分に抑圧した推定目的音成分を生成できるという利点がある。なお、位相差算定手段が算定した位相差を雑音係数列に反映させる構成も採用され得る。すなわち、雑音抽出手段は、第１音響信号と第２音響信号との位相差に応じて各係数値が可変に設定された雑音係数列を、雑音基底と当該雑音基底に対応する重み系列とから生成して観測行列に作用させる。

本発明の好適な態様に係る音響処理装置は、第１音響信号と第２音響信号との強度差（例えば強度差ΔＡ[nA]）を算定する強度差算定手段（例えば強度差算定部５８４）を具備し、目的音抽出手段は、強度差算定手段が算定した強度差（例えば振幅差やパワー差）に応じて各係数値が可変に設定された目的音係数列を、基底行列のうち雑音基底以外の各基底と係数行列のうち雑音基底以外に対応する重み系列とから生成して観測行列に作用させる。例えば、第１音響信号と第２音響信号との強度差が大きい（雑音成分が優勢である）ほど目的音係数列による雑音抑圧の効果が増加するように、目的音係数列の各係数値が強度差に応じて設定される。以上の形態においては、第１音響信号と第２音響信号との強度差が目的音係数列に反映されるから、目的音係数列に強度差を反映させない構成と比較して雑音成分を充分に抑圧した推定目的音成分を生成できるという利点がある。なお、強度差算定手段が算定した強度差を雑音係数列に反映させる構成も採用され得る。すなわち、雑音抽出手段は、第１音響信号と第２音響信号との強度差に応じて各係数値が可変に設定された雑音係数列を、雑音基底と当該雑音基底に対応する重み系列とから生成して観測行列に作用させる。

以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、並列に収音された第１音響信号および第２音響信号の各々について、当該音響信号の周波数毎の成分値の時系列を要素とする観測行列の非負行列因子分解で、当該音響信号の相異なる成分の周波数毎の成分値を示す複数の基底を含む基底行列と、当該各基底の重み値の時系列を各々が示す複数の重み系列を含む係数行列とを生成する行列分解処理と、第１音響信号の基底行列の複数の基底のうち第２音響信号の基底行列の基底との相関が高い基底を、第１音響信号の雑音成分に対応する雑音基底として特定する雑音特定処理と、第１音響信号から雑音成分を抑圧した推定目的音成分を基底行列のうち雑音基底以外の各基底と係数行列のうち雑音基底以外に対応する各重み系列とを利用して生成する目的音抽出処理と、第１音響信号から目的音成分を抑圧した推定雑音成分を雑音基底と係数行列のうち当該雑音基底に対応する重み系列とを利用して生成する雑音抽出処理と、目的音成分の調波構造に対応する残留成分を推定雑音成分から抽出する調波成分抽出処理と、推定目的音成分と残留成分とを合成する目的音合成処理とをコンピュータに実行させる。以上のプログラムによれば、本発明に係る音響処理装置と同様の作用および効果が実現される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明の第１実施形態に係る音響処理装置のブロック図である。 第１処理部のブロック図である。 観測行列の説明図である。 基底行列および係数行列の説明図である。 目的音抽出部および雑音抽出部のブロック図である。 第２処理部のブロック図である。 第２処理部の処理で想定される解析点の説明図である。 調波成分抽出部のブロック図である。 調波成分抽出部の動作の説明図である。 第２実施形態における第１処理部のブロック図である。 第３実施形態における第２処理部のブロック図である。 第４実施形態における調波成分抽出部のブロック図である。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、相異なる位置で並列（同時）に収音されたステレオ形式の音響信号ｓ1および音響信号ｓ2を音響処理装置１００に供給する。各音響信号ｓi（ｉ＝１,２）は、目的音成分と雑音成分との混合音の音圧波形を表す時間領域信号である。図１では、相互に離間して配置された複数の収音機器１２２（例えば無指向性のマイクロホン）が信号供給装置１２として例示されている。ただし、可搬型または内蔵型の記録媒体から各音響信号ｓiを取得して音響処理装置１００に供給する再生装置や、各音響信号ｓiを通信網から受信して音響処理装置１００に供給する通信装置を、信号供給装置１２として採用することも可能である。

音響処理装置１００は、音響信号ｓ1および音響信号ｓ2からステレオ形式の音響信号ｑ1および音響信号ｑ2を生成する。各音響信号ｑiは、音響信号ｓiから雑音成分を抑圧（目的音成分を強調）した時間領域信号である。放音装置１４（例えばステレオスピーカやステレオヘッドホン）は、音響処理装置１００が生成した音響信号ｑ1および音響信号ｑ2に応じた音波を放射する。なお、音響信号ｓiをアナログからデジタルに変換するＡ/Ｄ変換器や音響信号ｑiをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略されている。

図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。音響信号ｓ1および音響信号ｓ2を記憶装置２４に記憶した構成（したがって信号供給装置１２は省略され得る）も好適である。

演算処理装置２２は、記憶装置２４に格納されたプログラムの実行で、音響信号ｓiから音響信号ｑiを生成するための複数の機能（第１処理部３１，第２処理部３２）を実現する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（DSP）が各機能を実現する構成も採用され得る。

図１の第１処理部３１は、目的音成分を強調（雑音成分を抑圧）したステレオ形式の推定目的音信号ｑT1および推定目的音信号ｑT2（T：target）と、雑音成分を強調（目的音成分を抑圧）したステレオ形式の推定雑音信号ｑN1および推定雑音信号ｑN2（N：noise）とを、音響信号ｓ1および音響信号ｓ2から生成する。すなわち、音響信号ｓiが目的音成分（推定目的音信号ｑTi）と雑音成分（推定雑音信号ｑNi）とに分離される。ただし、目的音成分と雑音成分との完全な分離は困難であるから、本来的には推定目的音信号ｑTiに選別されるべき目的音成分の一部（以下「残留成分」という）が推定雑音信号ｑNiに混在する可能性がある。そこで、第２処理部３２は、残留成分を推定雑音信号ｑNiから抽出して推定目的音信号ｑTiに合成することで音響信号ｑi（ｑ1，ｑ2）を生成する。

図２は、第１処理部３１のブロック図である。図２に示すように、第１処理部３１は、周波数分析部４２と行列分解部４４と雑音特定部４６と目的音抽出部５２と雑音抽出部５４と波形合成部５６とを含んで構成される。

周波数分析部４２は、図３に示すように、各音響信号ｓiのスペクトルＳi（Ｓ1，Ｓ2）を時間軸上の単位期間（フレーム）毎に順次に生成する。各単位期間のスペクトルＳiは、周波数軸上の相異なる周波数（ｆ1，ｆ2，……，ｆMA，……）に対応する複数の成分値（パワー）ｘiを配列したパワースペクトルである。すなわち、図３に示すように、時間軸上に間隔ΔtAで配列する時点ｔ（ｔ1，ｔ2，……）と周波数軸上に間隔ΔfAで配列する周波数ｆ（ｆ1，ｆ2，……）とに対応して時間-周波数平面に行列状に配列する解析点（グリッド）ｐ1毎に成分値ｘiが算定される。

各スペクトルＳiの生成には、単位期間の窓幅（フレーム長）ωAおよび移動量（時間軸上のシフト量）δAを解析パラメータとして適用した短時間フーリエ変換が採用される。各解析点ｐ1の時間軸上の間隔ΔtAおよび周波数軸上の間隔ΔfAは、周波数分析部４２による周波数分析の解析パラメータ（窓幅ωA，移動量δA）に応じて可変に設定される。

図３に示すように、各音響信号ｓiのスペクトルＳiは、帯域ＢLa内のスペクトルＸiと帯域ＢHa内のスペクトルＸHiとに区分される。帯域ＢLaは、雑音成分の周波数を包含するように設定される。本実施形態では風雑音を雑音成分として想定する。風雑音は、空気自体が流動して収音機器１２２の振動板に直接に衝突することで発生する雑音成分である。空気の衝突に起因した振動板の振動の周波数は、空気の振動（音圧変化）として振動板に伝播する音波の周波数と比較して低い。具体的には、風雑音の周波数は、例えば１ｋＨｚ以下の低周波成分が支配的となる。以上の傾向を考慮して、帯域ＢLaは、ＭA個（ＭAは自然数）の周波数ｆ1〜ｆMAを含む１ｋＨｚ以下の範囲に設定される。帯域ＢHaは、帯域ＢLaと比較して高域側（例えば１ｋＨｚ以上）の帯域である。

図３に示すように、周波数分析部４２が生成したスペクトルＳiの時系列（スペクトログラム）は、ＮA個の時点ｔ1〜ｔNAを含む解析期間Ｔ0毎に時間軸上で区分される。解析期間Ｔ0は、例えば数十秒程度の長時間に設定される。図３に示すように、帯域ＢLa内のＭA個の周波数ｆ1〜ｆMAと解析期間Ｔ0内のＮA個の時点ｔ1〜ｔNAとに対応する解析点ｐ1の成分値ｘi[1,1]〜ｘi[MA,NA]をＭA行×ＮA列に配列した観測行列Ｖiが、音響信号ｓ1および音響信号ｓ2の各々について解析期間Ｔ0毎に規定される。成分値ｘi[mA,nA]は、帯域ＢLa内のＭA個の周波数ｆ1〜ｆMAのうち第ｍA番目（ｍA＝１〜ＭA）の周波数ｆmAと、解析期間Ｔ0内のＮA個の時点ｔ1〜ｔNAのうち第ｎA番目（ｎA＝１〜ＮA）の時点ｔnAとに対応する解析点ｐ1の成分値ｘiを意味する。

以上の説明から理解されるように、観測行列Ｖiの第ｎA列は、解析期間Ｔ0内の第ｎA番目の時点ｔnAにおけるスペクトルＸiのＭA個の成分値ｘi[1,nA]〜ｘi[MA,nA]の系列に相当し、観測行列Ｖiの第ｍA行は、解析期間Ｔ0内のＮA個の時点ｔ1〜ｔNAにわたる周波数ｆmAの成分値ｘi[mA,t1]〜ｘi[mA,NA]の時系列に相当する。スペクトルＸiの成分値ｘi[mA,nA]はパワー（非負値）を意味するから、観測行列Ｖiは非負行列（負数を含まない行列）である。なお、スペクトルＳi（Ｘi）を振幅スペクトルとした構成も採用され得る。

図２の行列分解部４４は、各観測行列Ｖiの非負行列因子分解（NMF：Non-negative Matrix Factorization）で基底行列Ｗi（Ｗ1，Ｗ2）と係数行列Ｈi（Ｈ1，Ｈ2）とを生成する。図４に示すように、基底行列Ｗiは、成分値ｗi[1,1]〜ｗi[MA,K]を配列したＭA行×Ｋ列の非負行列であり、係数行列Ｈiは、重み値ｈi[1,1]〜ｈi[K,NA]を配列したＫ行×ＮA列の非負行列である（Ｋは自然数）。基底行列Ｗiと係数行列Ｈiとの積が観測行列Ｖiと近似する（Ｖi≒Ｗi・Ｈi）ように基底行列Ｗiと係数行列Ｈiとが生成される。周波数分析部４２が適用する解析パラメータ（窓幅ωA，移動量δA）は、観測行列Ｖiの非負行列因子分解が適切に実行され得る数値に設定される。

図４に示すように、基底行列Ｗiは、Ｋ個の基底（codebook）Ｃi[1]〜Ｃi[K]で構成される。第ｋ列目（ｋ＝１〜Ｋ）の基底Ｃi[k]は、解析期間Ｔ0内の音響信号ｓiを構成するＫ種類の音響成分から選択された１種類の音響成分について周波数ｆ1〜ｆMAでの成分値ｗi[1,k]〜ｗi[MA,k]を配列したパワースペクトルに相当する。他方、係数行列Ｈiは、図４に示すように、Ｋ個の重み系列（excitation）Ｅi[1]〜Ｅi[K]で構成される。第ｋ行目の重み系列Ｅi[k]は、基底行列Ｗiの基底Ｃi[k]が示す音響成分に対する単位期間毎の重み値ｈi[k,1]〜ｈi[k,NA]の時系列（基底Ｃi[k]の各成分値ｗi[mA,k]の時間変化）に相当する。以上の定義から理解されるように、音響信号ｓiの時点ｔnAでのスペクトルＸiは、係数行列Ｈiのうち当該時点ｔnAに対応するＫ個の重み値ｈi[1,nA]〜ｈi[K,nA]を適用したＫ個の基底Ｃi[1]〜Ｃi[K]の加重和で近似される（Ｘi≒ｈi[1,nA]×Ｃi[1]＋ｈi[2,nA]×Ｃi[2]＋……＋ｈi[K,nA]×Ｃi[K]）。

観測行列Ｖiの非負行列因子分解には公知の方法が任意に採用される。例えば、基底行列Ｗiおよび係数行列Ｈiの積と観測行列Ｖiとの相違（例えば距離）が最小化するように基底行列Ｗiと係数行列Ｈiとを逐次的に更新（反復演算）する方法が好適に採用される。反復演算に適用される基底行列Ｗiの初期値（成分値ｗi[mA,k]の初期値）は、例えば乱数に設定される。なお、例えば風雑音のスペクトル（高域ほど減衰する周波数特性）を模擬するように各基底Ｃi[k]のＭA個の成分値ｗi[1,k]〜ｗi[MA,k]の初期値を設定した構成も好適である。

図２の雑音特定部４６は、各基底行列ＷiのＫ個の基底Ｃi[1]〜Ｃi[K]のうち雑音成分（風雑音）に対応する１個の基底Ｃi[k]（以下では「雑音基底Ｃi_noise」と表記する）を特定する。風雑音は、収音機器１２２に衝突する空気の乱流に起因して発生するから、相異なる位置で収音された音響信号ｓ1および音響信号ｓ2の各々に含まれる風雑音の瞬時的な周波数特性は相互に統計的に独立する。ただし、風雑音の長期的な周波数特性は、音声等と比較すると、収音の位置に関わらず同様の特性に維持され易い。すなわち、解析期間Ｔ0のような長期間にわたる風雑音の周波数特性は音響信号ｓ1と音響信号ｓ2とで類似するという傾向がある。

以上の傾向を考慮して、雑音特定部４６は、音響信号ｓ1の基底行列Ｗ1（Ｋ個の基底Ｃ1[1]〜Ｃ1[K]）と音響信号ｓ2の基底行列Ｗ2（Ｋ個の基底Ｃ2[1]〜Ｃ2[K]）との間で相互に相関が高い各基底Ｃi[k]（Ｃ1[k1]，Ｃ2[k2]）を雑音基底Ｃi_noiseとして基底行列Ｗ1および基底行列Ｗ2の各々から特定する。例えば、基底行列Ｗ1の１個の基底Ｃ1[k]と基底行列Ｗ2の１個の基底Ｃ2[k]とを選択する全通りの組合せについて基底Ｃ1[k]と基底Ｃ2[k]との相関の度合を示す指標（相関指標）を算定し、相関指標が示す相関の度合が最大となる組合せの基底Ｃ1[k1]と基底Ｃ2[k2]との各々（変数ｋ1と変数ｋ2との数値の異同は不問）を雑音基底Ｃi_noise（Ｃ1_noise，Ｃ2_noise）として抽出する。基底Ｃ1[k]と基底Ｃ2[k]との相関指標としては、例えば距離（ユークリッド距離）や内積が好適に採用される。

図２の目的音抽出部５２は、音響信号ｓiから目的音成分を抽出した推定目的音信号ｑTiのスペクトルＹTi（ＹT1，ＹT2）を順次に生成する。雑音抽出部５４は、音響信号ｓiから雑音成分を抽出した推定雑音信号ｑNiのスペクトルＹNi（ＹN1，ＹN2）を生成する。図５は、目的音抽出部５２および雑音抽出部５４のブロック図である。

図５に示すように、目的音抽出部５２は、係数列生成部５２２と抽出処理部５２４とを含んで構成される。係数列生成部５２２は、解析期間Ｔ0毎に目的音係数列ＧTi（ＧT1，ＧT2）を生成する。目的音係数列ＧTiは、係数値ｇTi[1,1]〜ｇTi[MA,NA]を配列したＭA行×ＮA列の行列である。目的音係数列ＧTiのうち第ｍA行の第ｎA列に位置する係数値ｇTi[mA,nA]は、時点tnAのスペクトルＸiのうち周波数ｆmAでの成分値ｘi[mA,nA]に対する利得（スペクトルゲイン）に相当し、０以上かつ１以下の範囲内で音響信号ｓiの特性（風雑音の強度）に応じて可変に設定される。すなわち、時点ｔnAでの音響信号ｓiの周波数ｆmAの音響成分において風雑音が優勢であるほど係数値ｇTi[mA,nA]は小さい数値に設定される。

第１実施形態の係数列生成部５２２は、図４に示すように、音響信号ｓiの基底行列Ｗiから雑音基底Ｃi_noiseを除外したＭA行×(K-1)列の行列ＷTiと、雑音基底Ｃi_noiseに対応する重み系列Ｅi_noiseを係数行列Ｈiから除外した(K-1)行×ＮA列の行列ＨTiとから目的音係数列ＧTi（Ｇ1，Ｇ2）を生成する。

具体的には、係数列生成部５２２は、第１に、雑音基底Ｃi_noiseの除外後の行列ＷTiと重み系列Ｅi_noiseの除外後の行列ＨTiとの乗算で行列ＶTiを算定する。図４に示すように、行列ＶTiは、要素値ｖTi[1,1]〜ｖTi[MA,NA]をＭA行×ＮA列に配列した行列である。以上の説明から理解されるように、行列ＶTiの第ｎA列に位置するＭA個の要素値ｖTi[1,nA]〜ｖTi[MA,nA]は、時点ｔnAのスペクトルＸiから風雑音を抑圧したパワースペクトルの推定値に相当する。

第２に、係数列生成部５２２は、以下の数式(A)の演算で目的音係数列ＧTiの係数値ｇTi[mA,nA]を算定する。数式(A)の記号ｖ[mA,nA]は、基底行列Ｗiと係数行列Ｈiとを乗算したＭA行×ＮA列の行列のうち第ｍ行の第ｎ列の要素値（すなわち、スペクトルＸiの成分値ｘi[mA,nA]の推定値）に相当する。要素値ｖTi[mA,nA]を要素値ｖ[mA,nA]で除算するのは、係数値ｇTi[mA,nA]を０以上かつ１以下の数値に正規化するためである。以上のように風雑音の雑音基底Ｃi_noiseおよび重み系列Ｅi_noiseを除外した行列ＶTiから目的音係数列ＧTiが生成されるから、風雑音が優勢であるほど係数値ｇTi[mA,nA]は小さい数値に設定される。
ｇTi[mA,nA]＝ｖTi[mA,nA]／ｖ[mA,nA] ……(A)

図５の抽出処理部５２４は、係数列生成部５２２が生成した目的音係数列ＧTiを音響信号ｓiの観測行列Ｖiに作用させることで、解析期間Ｔ0内のＮA個の時点ｔ1〜ｔNAの各々に対応するＮA個のスペクトルＹTiの時系列（解析期間Ｔ0内のスペクトログラム）を解析期間Ｔ0毎に順次に生成する。時点ｔnAのスペクトルＹTiは、ＭA個の成分値ｙTi[1,nA]〜ｙTi[MA,nA]で構成されるパワースペクトルである。具体的には、成分値ｙTi[mA,nA]は、目的音係数列ＧTiの係数値ｇTi[mA,nA]と観測行列Ｖiの成分値ｘi[mA,nA]との乗算値に設定される（ｙTi[mA,nA]＝ｇTi[mA,nA]×ｘi[mA,nA]）。前述のように風雑音が優勢であるほど係数値ｇTi[mA,nA]は小さい数値に設定されるから、抽出処理部５２４が生成するスペクトルＹTiは、音響信号ｓiのスペクトルＸiから風雑音を抑圧したスペクトルに相当する。

図５の雑音抽出部５４は、目的音抽出部５２と同様に、係数値ｇNi[1,1]〜ｇNi[MA,NA]で構成されるＭA行×ＮA列の雑音係数列ＧNi（ＧN1，ＧN2）を解析期間Ｔ0毎に生成する係数列生成部５４２と、雑音係数列ＧNiを観測行列Ｖiに作用させてＮA個のスペクトルＹNiの時系列（解析期間Ｔ0内のスペクトログラム）を生成する抽出処理部５４４とを含んで構成される。

図４に示すように、係数列生成部５４２は、第１に、雑音特定部４６が特定した雑音基底Ｃi_noiseと当該雑音基底Ｃi_noiseに対応する重み系列Ｅi_noiseとの乗算で、要素値ｖNi[1,1]〜ｖNi[MA,NA]をＭA行×ＮA列に配列した行列ＶNiを算定する。行列ＶNiは、解析期間Ｔ0内の音響信号ｓiの雑音成分のスペクトログラムに相当する。第２に、係数列生成部５４２は、前述の数式(A)と同様の数式(B)の演算で０以上かつ１以下の係数値ｇNi[mA,nA]を算定する。以上の説明から理解されるように、時点ｔnAでの音響信号ｓiの周波数ｆmAの音響成分において風雑音が優勢であるほど係数値ｇNi[mA,nA]は大きい数値に設定される。
ｇNi[mA,nA]＝ｖNi[mA,nA]／ｖ[mA,nA] ……(B)

抽出処理部５４４は、係数列生成部５４２が生成した雑音係数列ＧNiを音響信号ｓiの観測行列Ｖiに作用させることで、解析期間Ｔ0内のＮA個のスペクトルＹNiの時系列（スペクトログラム）を解析期間Ｔ0毎に順次に生成する。スペクトルＹNiは、ＭA個の成分値ｙNi[1,nA]〜ｙNi[MA,nA]で構成されるパワースペクトルである。具体的には、成分値ｙNi[mA,nA]は、雑音係数列ＧNiの係数値ｇNi[mA,nA]と観測行列Ｖiの成分値ｘi[mA,nA]との乗算値に設定される（ｙNi[mA,nA]＝ｇNi[mA,nA]×ｘi[mA,nA]）。前述のように雑音成分（風雑音）が優勢であるほど係数値ｇNi[mA,nA]は大きい数値に設定されるから、抽出処理部５４４が生成するスペクトルＹNiは、音響信号ｓiのスペクトルＸiから風雑音を抽出したスペクトルに相当する。

以上に説明したように、目的音抽出部５２は音響信号ｓiから目的音成分を抽出し、雑音抽出部５４は音響信号ｓiから雑音成分を抽出する。すなわち、目的音抽出部５２および雑音抽出部５４は、音響信号ｓiを目的音成分（ＹT1，ＹT2）と雑音成分（ＹN1，ＹN2）とに分離する要素として機能する。

図２の波形合成部５６は、目的音抽出部５２が単位期間毎に生成したスペクトルＹTi（帯域ＢLa）と周波数分析部４２が生成したスペクトルＸHi（帯域ＢHa）とから時間領域の推定目的音信号ｑTi（ｑT1，ｑT2）を生成する。具体的には、波形合成部５６は、スペクトルＹTiおよびスペクトルＸHiの加算値の振幅スペクトルと音響信号ｓiの位相スペクトルとを適用した逆フーリエ変換で時間領域信号を生成するとともに前後の単位期間で相互に連結することで推定目的音信号ｑTiを生成する。また、波形合成部５６は、雑音抽出部５４が単位期間毎に生成したスペクトルＹNiから時間領域の推定雑音信号ｑNi（ｑN1，ｑN2）を生成する。

図１の第２処理部３２は、前述のように、以上の手順で生成された推定雑音信号ｑNiから残留成分を抽出して推定目的音信号ｑTiに合成する。第１実施形態では、目的音成分が調波構造の音響（典型的には音声）である場合を想定し、推定雑音信号ｑNiのうち調波構造を構成する調波成分（基音成分および倍音成分）を残留成分として推定雑音信号ｑNiから抽出する。図６は、第２処理部３２のブロック図である。図６に示すように、第２処理部３２は、周波数分析部６２と調波成分抽出部６４と目的音合成部６６と波形合成部６８とを含んで構成される。

周波数分析部６２は、推定目的音信号ｑTiのスペクトルＳTi（ＳT1，ＳT2）と推定雑音信号ｑNiのスペクトルＳNi（ＳN1，ＳN2）とを単位期間毎に順次に生成する。推定目的音信号ｑTiのスペクトルＳTiは、複数の成分値（パワー）ｓTiを配列したパワースペクトルである。同様に、推定雑音信号ｑNiのスペクトルＳNiは、複数の成分値ｓNiを配列したパワースペクトルである。図７に示すように、時間軸上に間隔ΔtBで配列する各時点ｔと周波数軸上に間隔ΔfBで配列する各周波数ｆとに対応する解析点ｐ2毎に成分値ｘTiおよび成分値ｘNiが算定される。図６に示すように、推定目的音信号ｑTiのスペクトルＳTiは、帯域ＢLb内のスペクトルＺiと帯域ＢHb内のスペクトルＺHiとに区分される。帯域ＢLbは、ＭB個（ＭBは自然数）の周波数ｆ1〜ｆMBを含む範囲（例えば０．１ｋＨｚから４．４ｋＨｚまでの帯域）に設定され、帯域ＢHbは、帯域ＢLbの高域側（例えば４．４ｋＨｚ以上の帯域）に設定される。

スペクトルＳTiおよびスペクトルＳNiの算定には、単位期間の窓幅ωBおよび移動量（時間軸上のシフト量）δBを解析パラメータとした短時間フーリエ変換が採用される。周波数分析部４２の解析パラメータ（窓幅ωA，移動量δA）が非負行列因子分解に好適な数値という観点から選定されるのに対し、周波数分析部６２の解析パラメータ（窓幅ωB，移動量δA）は、第２処理部３２での残留成分（調波成分）の抽出および合成にとって好適な数値という観点から選定される。以上の相違に起因して、周波数分析部４２の解析パラメータ（窓幅ωA，移動量δA）と周波数分析部６２の解析パラメータ（窓幅ωB，移動量δB）とは相違する。すなわち、第１処理部３１で想定される各解析点ｐ1の時間軸上の間隔ΔtAと第２処理部３２で想定される各解析点ｐ2の間隔ΔtBとは相違し、第１処理部３１で想定される各解析点ｐ1の周波数軸上の間隔ΔfAと第２処理部３２で想定される各解析点ｐ2の間隔ΔfBとは相違する。具体的には、時間分解能は周波数分析部６２が周波数分析部４２を上回り（ΔtB＜ΔtA）、周波数分解能は周波数分析部４２が周波数分析部６２を上回る（ΔfA＜ΔfB）ように、各解析パラメータが選定される。例えば、周波数分析部４２については窓幅ωAが５１２ｍｓに設定されて移動量δAが６４ｍｓに設定されるのに対し、周波数分析部６２については窓幅ωBが２５ｍｓに設定されて移動量δBが５ｍｓに設定される。

図６の調波成分抽出部６４は、雑音成分の推定雑音信号ｑNiから残留成分のスペクトルＲiを順次に抽出する。ＮB個のスペクトルＲiの時系列（残留成分のスペクトログラム）が解析期間Ｔ0毎に順次に生成される。

図８は、調波成分抽出部６４のブロック図である。図８に示すように、調波成分抽出部６４は、周波数推定部７２と調波係数列生成部７４と係数列補正部７６と調波抽出部７８とを含んで構成される。周波数推定部７２は、推定目的音信号ｑTiのスペクトルＺiの解析で各解析期間Ｔ0内のＮB個の単位期間の各々について音響信号ｓiの目的音成分（推定目的音信号ｑTi）の基本周波数Ｆi[nB]（Ｆi[1]〜Ｆi[NB]）を推定する。基本周波数Ｆi[nB]の推定には公知の技術（例えば調波構造の解析やケプストラムの算定）が任意に採用される。

調波係数列生成部７４は、周波数推定部７２が推定した基本周波数Ｆi[nB]と第１処理部３１の係数列生成部５４２が生成した雑音係数列ＧNiとを利用して調波係数列ＧHi（H：harmonics）を生成する。図９に示すように、調波係数列ＧHiは、時間-周波数平面内の相異なる解析点ｐ2に対応する係数値ｇHi[1,1]〜ｇHi[MB,NB]を配列したＭB行×ＮB列の行列である。調波係数列ＧHiの第ｎB列を構成するＭB個の係数値ｇHi[1,nB]〜ｇHi[MB,nB]は、解析期間Ｔ0のうち第ｎB番目の単位期間（時点ｔnB）における目的音成分の調波構造を示す係数列である。

調波係数列生成部７４による調波係数列ＧHiの生成には雑音係数列ＧNiが利用されるが、雑音係数列ＧNiの各係数値ｇNi[mA,nA]に対応する解析点ｐ1と、調波係数列ＧHiの各係数値ｇHi[mB,nB]に対応する解析点ｐ2とは相違する。以上の相違を補償するために、係数列補正部７６は、図９に示すように、第１処理部３１の係数列生成部５４２が生成した雑音係数列ＧNiの補正で解析期間Ｔ0毎に補正係数列ＧBiを生成する。補正係数列ＧBiは、係数値ｇBi[1,1]〜ｇBi[MB,NB]を配列したＭB行×ＮB列の行列である。

具体的には、係数列補正部７６は、雑音係数列ＧNiの各係数値ｇNi[mA,nA]の補間または間引で補正係数列ＧBiの各係数値ｇBi[mB,nB]を生成する。例えば雑音係数列ＧNiの行数ＭAが目標の行数ＭBを上回る場合（ＭA＞ＭB）、係数列補正部７６は、雑音係数列ＧNiの各列を構成するＭA個の係数値ｇNi[1,nA]〜ｇHi[MA,nA]の間引（補間）でＭB個の係数列ｇBi[1,nA]〜ｇBi[MB,nA]を生成する。また、雑音係数列ＧNiの列数ＮAが目標の列数ＮBを下回る場合（ＮA＜ＮB）、係数列補正部７６は、雑音係数列ＧNiの各行を構成するＮA個の係数値ｇNi[mA,1]〜ｇNi[mA,NA]の補間でＮB個の係数列ｇBi[mA,1]〜ｇBi[mA,NB]を生成する。補間や間引には公知の技術（例えば直線補間）が任意に採用される。

図８に示すように、調波係数列生成部７４は、調波構造特定部７４２と係数列合成部７４４とを含んで構成される。調波構造特定部７４２は、音響信号ｓiの目的音成分（残留成分）の調波構造を示す調波係数列Ｄiを生成する。図９に示すように、調波係数列Ｄiは、係数値ｄi[1,1]〜ｄi[MB,NB]を配列したＭB行×ＮB列の行列である。調波係数列Ｄiの第ｎB列を構成するＭB個の係数値ｄi[1,nB]〜ｄi[MB,nB]の数値列は、解析期間Ｔ0内の第ｎB番目の単位期間における目的音成分の調波構造を指定する。具体的には、図９に示すように、ＭB個の係数値ｄi[1,nB]〜ｄi[MB,nB]のうち周波数推定部７２が推定した基本周波数Ｆi[nB]の整数倍の周波数（Ｆ0[nB]，２Ｆ0[nB]，３Ｆ0[nB]，……）に対応する係数値ｄi[mB,nB]が１に設定されるとともに他の係数値ｄi[mB,nB]はゼロに設定される。

図８の係数列合成部７４４は、係数列補正部７６が生成した補正係数列ＧBiと調波構造特定部７４２が生成した調波係数列Ｄiとの合成で調波係数列ＧHiを生成する。具体的には、調波係数列ＧHiの係数値ｇHi[mB,nB]は、図９に示すように、補正係数列ＧBiの係数値ｇBi[mB,nB]と調波係数列Ｄiの係数値ｄi[mB,nB]との乗算値に設定される（ｇHi[mB,nB]＝ｇBi[mB,nB]×ｄi[mB,nB]）。したがって、基本周波数Ｆi[nB]の整数倍の周波数において残留成分が優勢であるほど係数値ｇHi[mB,nB]は大きい数値に設定される。

図８の調波抽出部７８は、係数列合成部７４４が生成した調波係数列ＧHiを推定雑音信号ｑNiのスペクトルＳNiに作用させることで、解析期間Ｔ0内のＮB個のスペクトルＲiの時系列（残留成分のスペクトログラム）を生成する。時点ｔnBのスペクトルＲiは、周波数ｆ1〜ｆMBに対応するＭB個の成分値ｒi[1,nB]〜ｒi[MB,nB]で構成されるパワースペクトルである。調波抽出部７８は、推定雑音信号ｑNiの時点ｔnBのスペクトルＳNiのうち周波数ｆmBの成分値ｓNi[mB,nB]と調波係数列ＧHiの係数値ｇHi[mB,nB]との乗算値をスペクトルＲiの成分値ｒi[mB,nB]として算定する（ｒi[mB,nB]＝ｇHi[mB,nB]×ｓNi[mB,nB]）。したがって、スペクトルＲiは、推定雑音信号ｑNiに混入した残留成分（周波数Ｆi[nB]を基本周波数とする調波成分）のスペクトルの推定値に相当する。以上が調波成分抽出部６４の構成および作用である。

図６の目的音合成部６６は、周波数分析部６２が推定目的音信号ｑTiから生成したスペクトルＺi（帯域ＢLb）と調波成分抽出部６４が生成したスペクトルＲiとの合成（スペクトル加算）で単位期間毎に順次にスペクトルＺRiを生成する。すなわち、スペクトルＺRiは、推定目的音信号ｑTiのうち帯域ＢLb内の目的音成分と推定雑音信号ｑNiに残留した残留成分との混合音のパワースペクトルに相当する。

波形合成部６８は、目的音合成部６６が単位期間毎に生成したスペクトルＺRi（帯域ＢLb）と周波数分析部６２が生成したスペクトルＺHi（帯域ＢHb）とから時間領域の音響信号ｑi（ｑ1，ｑ2）を生成する。波形合成部６８による音響信号ｑiの生成には、波形合成部５６による推定目的音信号ｑTiの生成と同様の方法が採用される。以上の説明から理解されるように、音響信号ｑiの再生音は、推定目的音信号ｑTiの目的音成分と推定雑音信号ｑNiの残留成分との混合音に相当する。

以上に説明したように、第１実施形態では、音響信号ｓiの観測行列Ｖiが基底行列Ｗiと係数行列Ｈiとに分解され、雑音基底Ｃi_noiseを除外した基底行列Ｗi（行列ＷTi）と重み系列Ｅi_noiseを除外した係数行列Ｈi（行列ＨTi）とを利用して目的音係数列ＧTiが生成される。したがって、音響信号ｓiの目的音成分の強度が雑音成分と比較して低い場合でも、高精度に風雑音を抑圧することが可能である。また、基底行列Ｗiのうち雑音基底Ｃi_noise以外の各基底Ｃi[k]と係数行列Ｈiのうち重み系列Ｅi_noise以外の各重み系列Ｅi[k]とは維持されるから、音響信号ｓiの目的音成分の波形が忠実に維持された音響信号ｑiを生成できるという利点もある。

なお、基底行列Ｗiから雑音基底Ｃi_noiseを特定する方法としては、例えば、風雑音の周波数特性を模擬するように事前に作成されたモデルを基底行列Ｗiの各基底Ｃi[k]と比較する構成も採用され得る。しかし、風雑音のモデルを利用する構成では、事前に用意されたモデルとは周波数特性が相違する風雑音を充分に抑圧できない可能性がある。他方、第１実施形態では、基底行列Ｗ1と基底行列Ｗ2との間で相関が高い各基底Ｃi[k]が雑音基底Ｃi_noiseとして特定されるから、風雑音のモデルを利用する構成と比較して、多様な特性の風雑音を充分に抑圧できるという利点がある。

また、第１実施形態では、推定雑音信号ｑNi内に残留する目的音成分（残留成分）が抽出されて推定目的音信号ｑTi（スペクトルＺi）に合成されるから、例えば推定目的音信号ｑTiを放音装置１４から再生する場合と比較して、再生音における目的音成分の欠落を防止することが可能である。しかも、調波構造の解析で残留成分を雑音成分から分離するため、残留成分の強度が雑音成分に対して低い場合でも残留成分を高精度に抽出できるという利点がある。

また、第１実施形態では、解析点ｐ1に対応する雑音係数列ＧNiが第２処理部３２での解析点ｐ2に対応するように補正されたうえで残留成分の抽出に利用される。したがって、第１処理部３１の周波数分析部４２による解析パラメータ（窓幅ωA，移動量δA）と第２処理部３２の周波数分析部６２による解析パラメータ（窓幅ωB，移動量δB）とを個別に選定できるという利点がある。具体的には、前述のように、行列分解部４４による非負行列因子分解に適切な数値という観点から周波数分析部４２の解析パラメータ（窓幅ωA，移動量δA）を選定し、残留成分の抽出および合成に適切な数値という観点から周波数分析部６２の解析パラメータを選定することが可能である。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

信号供給装置１２の２個の収音機器１２２に対して正面方向から到来する目的音成分は、位相差を殆ど発生させずに略同等の強度（振幅）で各収音機器１２２に到達する。他方、風雑音は前述のように空気の乱流に起因するから、同位相かつ同振幅で各収音機器１２２に到達する可能性は低い。したがって、音響信号ｓ1や音響信号ｓ2にて風雑音が優勢となるほど両者間の位相差や強度差が増加するという傾向がある。以上の傾向を考慮して、本実施形態では、音響信号ｓ1と音響信号ｓ2との位相差や強度差に応じて目的音係数列ＧTiの各係数値ｇTi[mA,nA]や雑音係数列ＧNiの各係数値ｇNi[mA,nA]を可変に設定する。

第２実施形態の音響処理装置１００は、図１０に示すように、第１実施形態の第１処理部３１に位相差算定部５８２と強度差算定部５８４とを追加した構成である。音響信号ｓ1および音響信号ｓ2の各々の帯域ＢMの成分が位相差算定部５８２および強度差算定部５８４に供給される。帯域ＢMは、風雑音の周波数と主要な目的音成分の周波数とを包含するように設定される。例えば、帯域ＢMは４kHz以下の範囲（すなわち帯域ＢLaを含む帯域）に設定される。

図１０の位相差算定部５８２は、音響信号ｓ1と音響信号ｓ2との位相差ΔＰ[nA]を単位期間毎（時点ｔnA毎）に順次に算定する。位相差ΔＰ[nA]は、例えば、帯域ＢM内の各周波数での位相差の代表値（例えば平均値）である。同様に、強度差算定部５８４は、音響信号ｓ1と音響信号ｓ2との強度差（例えば振幅差やパワー差）ΔＡ[nA]を単位期間毎に順次に算定する。

目的音抽出部５２の係数列生成部５２２は、位相差算定部５８２が算定した位相差ΔＰ[nA]と強度差算定部５８４が算定した強度差ΔＡ[nA]とに応じて目的音係数列ＧTiの係数値ｇTi[mA,nA]を可変に設定する。具体的には、係数列生成部５２２は、位相差ΔＰ[nA]または強度差ΔＡ[nA]が大きい（時点ｔnAで風雑音が優勢である）ほど、前掲の数式(A)で算定される係数値ｇTi[mA,nA]を小さい数値に補正する。したがって、第２実施形態によれば、第１実施形態と比較して風雑音を充分に抑圧した推定目的音信号ｑTiを生成できるという利点がある。

他方、雑音抽出部５４の係数列生成部５４２は、位相差ΔＰ[nA]と強度差ΔＡ[nA]とに応じて雑音係数列ＧNiの係数値ｇNi[mA,nA]を可変に設定する。具体的には、係数列生成部５４２は、位相差ΔＰ[nA]または強度差ΔＡ[nA]が大きい（時点ｔnAで風雑音が優勢である）ほど、前掲の数式(B)で算定される係数値ｇNi[mA,nA]を大きい数値に補正する。したがって、第２実施形態によれば、第１実施形態と比較して風雑音を充分に強調した推定雑音信号ｑNiを生成できるという利点がある。

＜Ｃ：第３実施形態＞
第３実施形態の音響処理装置１００は、図１１に示すように第２処理部３２に調整部６５を追加した構成である。調整部６５は、推定雑音信号ｑNiのスペクトルＳNiの強度（パワー）を減少させる増幅器（例えば１未満の数値を乗算する乗算器）である。目的音合成部６６は、第１実施形態と同様のスペクトルＺi（帯域ＢLb）およびスペクトルＲiと、調整部６５による処理後（減衰後）のスペクトルＳNiとの合成で単位期間毎に順次にスペクトルＺRiを生成する。すなわち、音響信号ｓiの雑音成分が低音量で再生音に付加される。

第３実施形態でも第１実施形態と同様の効果が実現される。なお、推定目的音信号ｑTiのスペクトルＺiと残留成分のスペクトルＲiとのみを合成してスペクトルＺRiを生成する第１実施形態の構成では、雑音成分を高度に除外することが可能であるが、再生音が聴感的に不自然な印象となる可能性がある。第３実施形態では、推定雑音信号ｑNiのスペクトルＳNiがスペクトルＺRiの合成に適用されるから、聴感的に自然な印象の再生音を生成できるという利点がある。

＜Ｄ：第４実施形態＞
第１実施形態では、基底行列Ｗiと係数行列Ｈiとから生成した目的音係数列ＧTiを目的音抽出部５２が観測行列Ｖiに作用させることでスペクトルＹTiの時系列を生成し、雑音係数列ＧNiを雑音抽出部５４が観測行列Ｖiに作用させることでスペクトルＹNiの時系列を生成した。第４実施形態は、目的音抽出部５２や雑音抽出部５４の動作を簡略化した形態である。

図４を参照して前述したように、基底行列Ｗiから雑音基底Ｃi_noiseを除外した行列ＷTiと係数行列Ｈiから重み系列Ｅi_noiseを除外した行列ＨTiとを乗算した行列ＶTiは、音響信号ｓiから雑音成分を抑圧した場合のスペクトログラムに近似する。そこで、第４実施形態の目的音抽出部５２は、雑音成分の抑圧後のスペクトルＹTiの時系列（スペクトログラム）として行列ＶTiを解析期間Ｔ0毎に順次に生成する。行列ＶTiの第ｎA列に位置するＭA個の要素値ｖTi[1,nA]〜ｖTi[MA,nA]の系列がスペクトルＹTiとして波形合成部５６に供給される。

また、雑音基底Ｃi_noiseと重み系列Ｅi_noiseとを乗算した行列ＶNiは、音響信号ｓiから目的音成分を抑圧した場合のスペクトログラムに近似する。そこで、第４実施形態の雑音抽出部５４は、目的音成分の抑圧後のスペクトルＹNiの時系列（スペクトログラム）として行列ＶNiを解析期間Ｔ0毎に順次に生成する。行列ＶNiの第ｎA列に位置するＭA個の要素値ｖNi[1,nA]〜ｖNi[MA,nA]の系列がスペクトルＹNiとして利用される。

図１２は、第４実施形態における調波成分抽出部６４のブロック図である。図１２に示すように、第４実施形態の調波成分抽出部６４は、第１実施形態の係数列合成部７４４を省略した構成である。係数列補正部７６には、雑音抽出部５４が生成した行列ＶNiが供給される。

行列ＶNiは、各解析点ｐ1に対応した要素値ｖNi[1,1]〜ｖNi[MA,NA]で構成されたＭA行×ＮA列の行列である。係数列補正部７６は、行列ＶNiの各要素値ｖNi[mA,nA]の補正（補間，間引）で行列ＶBiを生成する。行列ＶBiは、周波数分析部６２の解析パラメータ（窓幅ωB，移動量δB）に応じた各解析点ｐ2に対応した要素値ｖBi[1,1]〜ｖBi[MB,NB]で構成される。

調波抽出部７８は、調波構造特定部７４２が生成した調波係数列Ｄiを係数列補正部７６による補正後の行列ＶBiに作用させることで、解析期間Ｔ0内のＮB個のスペクトルＲiの時系列（残留成分のスペクトログラム）を生成する。具体的には、調波抽出部７８は、行列ＶBiの要素値ｖBi[mB,nB]と調波係数列Ｄiの係数値ｄi[mB,nB]との乗算値をスペクトルＲiの成分値ｒi[mB,nB]として算定する。行列ＶBiは、第１処理部３１での分離後の雑音成分のスペクトルの推定値に近似するから、スペクトルＲiは、分離後の雑音成分から目的音成分の残留成分（すなわち基本周波数Ｆi[nB]の整数倍の周波数の調波成分）を抽出したスペクトルの推定値に相当する。したがって、第４実施形態でも第１実施形態と同様の効果が実現される。

＜Ｅ：変形例＞
以上の各形態には多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

（１）変形例１
以上の各形態では、推定目的音信号ｑTiのスペクトルＺiから音響信号ｓiの目的音成分の基本周波数Ｆi[nB]を推定したが、基本周波数Ｆi[nB]の推定の方法は任意である。例えば、推定目的音信号ｑTiの基本周波数Ｆi[nB]を時間領域の処理（例えば自己相関関数を利用した方法）で推定することも可能である。また、目的音成分の抽出前の音響信号ｓi（またはスペクトルＸi）の解析で基本周波数Ｆi[nB]を推定する構成も採用され得る。ただし、雑音成分が混在している段階では基本周波数Ｆi[nB]の推定の精度が低下するから、基本周波数Ｆi[nB]の高精度な推定という観点からは、雑音成分の抑圧後に基本周波数Ｆi[nB]を推定する第１実施形態の構成が有利である。

なお、例えば目的音成分と雑音成分とが混在している音響信号ｓiから基本周波数Ｆiを推定する場合でも、遮断周波数を下回る成分の除去（ローカットフィルタ処理）で雑音成分を減衰させれば基本周波数Ｆi[nB]の高精度な推定も可能である。しかし、雑音成分の周波数が刻々と変化する状況を想定すると、遮断周波数を最適値に選定することは非常に困難である。前述の各実施形態においては、雑音成分の周波数が変化する場合でも雑音成分が有効に抑圧され、抑圧後の推定目的音信号ｑTiを対象として基本周波数Ｆi[nB]が推定されるから、雑音成分の周波数が変化した場合の遮断周波数の選定を問題とせずに基本周波数Ｆi[nB]を高精度に推定できるという利点がある。

（２）変形例２
目的音成分と雑音成分との分離（第１処理部３１）や残留成分の抽出（第２処理部３２）の対象を低域側の帯域（ＢLa，ＢLb）に限定する構成は省略され得る。例えば、音響信号ｓiの全帯域を行列分解部４４や雑音特定部４６による処理の対象とした構成も採用され得る。ただし、風雑音の強度は高域側の帯域（例えば帯域ＢHa）で低下するから、音響信号ｓiの帯域分割を省略した構成では、風雑音の独立した基底Ｃi[k]を非負行列因子分解で高精度に抽出することが困難となる。したがって、抑圧の対象となる雑音成分の周波数帯域が事前に判明している場合には、雑音成分を包含する周波数帯域（帯域ＢLa）のみを行列分解部４４や雑音特定部４６による処理の対象とした前述の構成が格別に好適である。

（３）変形例３
以上の各形態では、音響信号ｓiの解析期間Ｔ0毎に目的音係数列ＧTiおよび雑音係数列ＧNiを生成したが、解析期間Ｔ0の区切は省略される。例えば、音響信号ｓiの全区間にわたる単位期間毎のスペクトルＸiの時系列を１個の観測行列Ｖiとした構成も採用され得る。

（４）変形例４
以上の各形態では、目的音係数列ＧTiの各係数値ｇTi[mA,nA]を音響信号ｓiの各成分値ｘi[mA,nA]に乗算することで推定目的音信号ｑTiを生成したが、目的音係数列ＧTiを音響信号ｓiに作用させる方法は適宜に変更される。例えば、音響信号ｓiの各成分値ｘi[mA,nA]に係数値ｇTi[mA,nA]を加算する構成も採用され得る。また、以上の各形態での例示とは反対に、風雑音が優勢であるほど係数値ｇTi[mA,nA]が大きい数値となるように目的音係数列ＧTiを生成する構成では、成分値ｘi[mA,nB]を係数値ｇTi[mA,nA]で除算または減算する構成が採用され得る。雑音成分の強調用の雑音係数列ＧNiについても同様に、音響信号ｓiに対する適用の方法や風雑音の優劣との関係は適宜に変更される。

（５）変形例５
以上の各形態では、２系統の音響信号ｑi（ｑ1，ｑ2）を生成したが、１系統（モノラル形式）の音響信号ｑ1のみを生成する場合にも以上の各形態が同様に適用され得る。例えば、音響信号ｓ1に対応する１系統のみを対象として目的音成分と雑音成分との分離や残留成分の抽出および付加が実行される。以上の構成では、音響信号ｓ1の基底行列Ｗ1から雑音基底Ｃ1_noiseを特定するために音響信号ｓ2が利用される。

（６）変形例６
演算処理装置２２の処理は、音響信号ｓiの供給に並行して実時間的に実行され、処理毎に逐次的に音響信号ｑiが再生され得る。ただし、事前に用意された音響信号ｓiに対する処理が完了してから音響信号ｑiの再生を開始する構成（バッチ処理）も好適である。

１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３１……第１処理部、３２……第２処理部、４２……周波数分析部、４４……行列分解部、４６……雑音特定部、５２……目的音抽出部、５４……雑音抽出部、５６……波形合成部、５２２……係数列生成部、５２４……抽出処理部、５４２……係数列生成部、５４４……抽出処理部、５８２……位相差算定部、５８４……強度差算定部、６２……周波数分析部、６４……調波成分抽出部、６５……調整部、６６……目的音合成部、６８……波形合成部、７２……周波数推定部、７４……調波係数列生成部、７４２……調波構造特定部、７４４……係数列合成部、７６……係数列補正部、７８……調波抽出部。

Claims (6)

1. 並列に収音された第１音響信号および第２音響信号の各々について、当該音響信号の周波数毎の成分値の時系列を要素とする観測行列の非負行列因子分解で、当該音響信号の相異なる成分の周波数毎の成分値を示す複数の基底を含む基底行列と、当該各基底の重み値の時系列を各々が示す複数の重み系列を含む係数行列とを生成する行列分解手段と、
   前記第１音響信号の前記基底行列の前記複数の基底のうち前記第２音響信号の前記基底行列の基底との相関が高い基底を、前記第１音響信号の雑音成分に対応する雑音基底として特定する雑音特定手段と、
   前記第１音響信号から前記雑音成分を抑圧した推定目的音成分を前記基底行列のうち前記雑音基底以外の各基底と前記係数行列のうち前記雑音基底以外に対応する各重み系列とを利用して生成する目的音抽出手段と、
   前記第１音響信号から目的音成分を抑圧した推定雑音成分を前記雑音基底と前記係数行列のうち当該雑音基底に対応する重み系列とを利用して生成する雑音抽出手段と、
   前記目的音成分の調波構造に対応する残留成分を前記推定雑音成分から抽出する調波成分抽出手段と、
   前記推定目的音成分と前記残留成分とを合成する目的音合成手段と
   を具備する音響処理装置。
2. 前記調波成分抽出手段は、
   前記目的音成分の基本周波数を推定する周波数推定手段と、
   前記推定雑音成分のうち前記基本周波数の整数倍の周波数の調波成分が強調されるように各係数値が設定された調波係数列を生成する調波係数列生成手段と、
   前記調波係数列を前記推定雑音成分に作用させて前記残留成分を抽出する調波抽出手段とを含む
   請求項１の音響処理装置。
3. 前記周波数推定手段は、前記目的音抽出手段が生成した前記推定目的音成分の基本周波数を推定する
   請求項２の音響処理装置。
4. 前記第１音響信号および前記第２音響信号の単位区間毎のスペクトルの時系列を、各単位区間の窓幅と移動量とを含む第１解析パラメータのもとで前記観測行列として生成する第１周波数分析手段と、
   前記第１解析パラメータとは相違する窓幅と移動量とを含む第２解析パラメータのもとで前記推定目的音成分および前記推定雑音成分のスペクトルを単位区間毎に順次に生成する第２周波数分析手段と、
   前記第２解析パラメータに応じた間隔で時間軸上および周波数軸上に配列する解析点毎に係数値が設定された補正係数列を生成する係数列補正手段とを具備し、
   前記雑音抽出手段は、前記第１解析パラメータに応じた間隔で時間軸上および周波数軸上に配列する解析点毎に係数値が設定された雑音係数列を、前記雑音基底と当該雑音基底に対応する重み系列とを利用して生成し、前記雑音係数列を前記観測行列に作用させて前記推定雑音成分を生成し、
   前記係数列補正手段は、前記雑音係数列から前記補正係数列を生成し、
   前記調波係数列生成手段は、前記補正係数列から前記基本周波数の整数倍の周波数の成分を抽出して前記調波係数列を生成する
   請求項２または請求項３の音響処理装置。
5. 前記第１音響信号と前記第２音響信号との位相差を算定する位相差算定手段と、
   前記第１音響信号と前記第２音響信号との強度差を算定する強度差算定手段とを具備し、
   前記目的音抽出手段は、前記第１音響信号と前記第２音響信号との位相差および強度差に応じて各係数値が可変に設定された目的音係数列を、前記基底行列のうち前記雑音基底以外の各基底と前記係数行列のうち前記雑音基底以外に対応する重み系列とから生成して前記観測行列に作用させ、
   前記雑音抽出手段は、前記第１音響信号と前記第２音響信号との位相差および強度差に応じて各係数値が可変に設定された雑音係数列を、前記雑音基底と当該雑音基底に対応する重み系列とから生成して前記観測行列に作用させる
   請求項４の音響処理装置。
6. 並列に収音された第１音響信号および第２音響信号の各々について、当該音響信号の周波数毎の成分値の時系列を要素とする観測行列の非負行列因子分解で、当該音響信号の相異なる成分の周波数毎の成分値を示す複数の基底を含む基底行列と、当該各基底の重み値の時系列を各々が示す複数の重み系列を含む係数行列とを生成する行列分解処理と、
   前記第１音響信号の前記基底行列の前記複数の基底のうち前記第２音響信号の前記基底行列の基底との相関が高い基底を、前記第１音響信号の雑音成分に対応する雑音基底として特定する雑音特定処理と、
   前記第１音響信号から前記雑音成分を抑圧した推定目的音成分を前記基底行列のうち前記雑音基底以外の各基底と前記係数行列のうち前記雑音基底以外に対応する各重み系列とを利用して生成する目的音抽出処理と、
   前記第１音響信号から目的音成分を抑圧した推定雑音成分を前記雑音基底と前記係数行列のうち当該雑音基底に対応する重み系列とを利用して生成する雑音抽出処理と、
   前記目的音成分の調波構造に対応する残留成分を前記推定雑音成分から抽出する調波成分抽出処理と、
   前記推定目的音成分と前記残留成分とを合成する目的音合成処理と
   をコンピュータに実行させるプログラム。

Images