JP2006251712A - 観測データ、特に、複数の音源からの音が混在している音響信号の解析方法 - Google Patents

Abstract

【課題】
大域的な時間構造と周波数構造を同時推定できる枠組を提供する。
【解決手段】
複数の音源からの音が混在している音響信号の観測スペクトルを、複数の音響オブジェクトモデルを重畳してなる重畳オブジェクトモデルでモデリングし、各音響オブジェクトモデルを、周波数ｘ及び時間ｔの２変数を有するモデル関数で表し、モデル関数のモデルパラメータを最適化することで観測スペクトルの特徴を推定する。各音響オブジェクトモデルは、一つの調波構造に対応している。モデル関数は、周波数ｘを変数に含む調波構造関数と時間ｔを変数に含むエンベロープ関数を含む。
【選択図】
図２

Description

本発明は、観測データの解析方法係り、特に、複数の音源からの音が混在している音響信号の解析方法に関する。

複数の音源からの音が混在している多重音響信号の解析はこれまで数多く研究されているが、いまだ懸案の難問の一つである。近年提案されたカルマンフィルタ（非特許文献１）、信号およびスペクトル領域でのモデル近似推定（非特許文献２，３）に基づく手法はこの分野において大きな進歩をもたらした。しかし、本来、多重音解析の問題は周波数方向と時間方向の情報を同時に処理すべきであり、これらの手法は問題を分解してまず周波数次元の情報を抽出してからその情報を時間方向に連結していくアプローチで解決を図っていた。
K. Nishi, S. Ando and S. Aida,"Optimum Harmonics Tracking Filter for Auditory Scene Analysis," Proc. IEEE,ICASSP 96, pp. 573.576, 1996. S. Godsill and M. Davy, "BaysianHarmonic Models for Musical Pitch Estimation and Analysis," Proc.ICASSP2002, Vol. 2, pp. 1769.1772, 2002. M. Goto,"A Predominant-F0Estimation Method for CD Recordings: MAP Estimation Using EM Algorithm forAdaptive Tone Models," Proc. ICASSP2001, Vol. 5, pp. 3365.3368, 2001. H. Kameoka, T. Nishimoto and S. Sagayama, "Separation of Harmonic Structures Based on Tied Gaussian Mixture Model andInformation Criterion for Concur-rent Sounds," Proc. ICASSP2004, AE-P5.9, May2004.

本発明は、局所的な部分情報を統合していくアプローチではなく、大域的な時間構造と周波数構造を同時推定できる枠組を提供することを目的とするものである。

かかる課題を解決するために本発明が採用した技術手段は、観測データを重畳オブジェクトモデルでモデリングし、各オブジェクトモデルを２変数のモデル関数で表し、モデル関数のモデルパラメータを最適化することで観測値の特徴を推定することを特徴とするものである。

一つの好ましい態様では、観測データは、複数の音源からの音が混在している音響信号の観測スペクトルであり、前記モデル関数の変数は周波数ｘ及び時間ｔである。後述する実施の形態では、対数周波数について説明するが、周波数軸は、線形周波数軸を用いてもよい。観測スペクトルの特徴には、各音の周波数情報（基本周波数、倍音の周波数）、時間情報（立ち上がり時刻、時間長）が含まれる。観測スペクトルの特徴には、さらに、調波構造を構成する各周波数成分の周波数成分パワー比、時間方向のパワースペクトルエンベロープが含まれる。

重畳音響オブジェクトモデルは、

で表される。ｐ_k(x,t)は、ｋ番目の音響オブジェクトモデルの一般式である。重畳オブジェクトモデルのパラメータには、各音響オブジェクトモデルを表すモデル関数のパラメータ、及び、各音響オブジェクトモデルの重みが含まれる。

観測データが音響信号の場合において、好ましい態様では、一つの音響オブジェクトモデルは、一つの調波構造に対応している。後述する実施の形態では、調和性を仮定しているが、調波構造に何らかの解析的なパラメトリックモデルが仮定できれば、非調和であってもよい。

本発明における２変数ｘ、ｔを有するモデル関数において、ｋ番目の音響オブジェクトモデルｐ_k(x,t)の一般式は、周波数成分を正規分布（ガウス関数）で表す場合について例示すると、

で表される。

観測データが音響信号の場合において、一つの態様では、モデル関数は、周波数ｘを変数に含む調波構造関数と時間ｔを変数に含むエンベロープ関数を含む。後述する実施形態では、一つの好ましい態様として、ｋ番目の音響オブジェクトモデルｐ(x,t｜Θ_k)を、二つの関数Φ_k(x)とΨ_k(t)の積で表すもの、に基づいて本発明を説明するが、用いる関数はこれには限定されない。後述の実施形態では、調波構造全体に対して共通のエンベロープ関数（ガウス基底関数）を用いる。

調波構造関数は、さらに時間ｔを変数に含んでいてもよい。ｋ番目の音響オブジェクトモデルｐ(x,t｜Θ_k)を、二つの関数Φ_k(x,t)とΨ_k(t)の積で表すものが例示される。このものでは、調波構造関数は時間に依存した関数となり、時間ｔによって周波数ｘの値が変化し得る。ｘ−ｔ平面上に投影したピッチ軌跡を多項式等で表現した場合が例示される。

一つの調波構造に対して共通のエンベロープ関数を用いる。他の態様では、各調波成分に対して独立したエンベロープ関数を用いる。ｋ番目の音響オブジェクトモデルｐ(x,t｜Θ_k)を、二つの関数Φ_k(x,t)とΨ_ｎ,k(t)の積で表す。このものは、パワーエンベロープ関数を調波成分ごとに別々に用意する場合である。より具体的には、例えば、調波ごとに別々の減衰曲線(エンベロープ関数)を持つようなモデル（倍音、３倍音、４倍音、... で別々の曲線で減衰するようにモデリングする）である。

音響オブジェクトを表す２変数ｘ、ｙを有するモデル関数は、後述する実施の形態では、モデル関数がxの関数とtの関数の積に分解できる特殊な場合の解析的な解法を示している。すなわち、前記一般式において、調波成分ごとのエンベロープ関数が相似になる（つまり、Ψ_k ⁿ(t)がnによらず共通になる）という仮定と、ピッチ軌跡が時間軸に平行である（つまり、μ_k(t)= μ_k）という仮定のもとでは、一般式は、

という形になり、xの関数とtの関数に分解できる。

このように、実施形態では、楽音の音響オブジェクトのピッチ軌跡は時間軸に平行であることを仮定しているが、実際には、これらが平行である状況は限られる。音声、また、楽器音でもビブラートやグリッサンドなどの奏法では平行ではなくなるが、特に、対象となる多重音信号が音楽信号の場合には、ピッチ軌跡が時間軸にほぼ平行であるという仮定は大きな問題とはならない。また、楽音の音響オブジェクトのピッチ軌跡は時間軸に平行であることを仮定せずに、多項式等によりピッチ軌跡をモデリングしてもよい。

一つの好ましい態様では、調波構造関数は、基本周波数成分に対応する一つの単峰形分布の代表値である基本周波数推定値と、該基本周波数推定値によって決定される他の単峰形分布の代表値を有し、モデルパラメータは、各単峰形分布の代表値、重み、分散を含む。代表値パラメータは、基本周波数推定値を構成する代表値を含む調波構造モデルの各単峰形分布の各代表値により構成されるが、代表値パラメータにおいては、基本周波数推定値のみが自由パラメータであり、他の代表値は基本周波数推定値によって拘束されるパラメータである。単峰形分布としては数々の分布が知られているが、一つの好ましい態様では、単峰形分布は正規分布（対数正規分布を含む）である。分布の代表値としては、平均、中央値、最頻値が例示されるが、一つの好ましい態様では、分布の代表値は平均である。後述する実施形態では、音響オブジェクトを、拘束つき混合正規分布によりモデル化した調波構造モデルで表しており、拘束つき混合正規分布によりモデル化した調波構造モデルは、基本周波数成分に対応する一つの正規分布の平均μ_ｋである基本周波数推定値と、該基本周波数推定値によって決定される他の正規分布の平均μ_ｋ＋logｎとを有している。重みパラメータｒ_ｋ ^ｎは、音響オブジェクトｋの調波構造を構成する各周波数成分の周波数成分パワー比を表す。分散パラメータσ_ｋは、音響オブジェクトｋの調波構造を構成する各周波数成分の幅を表すが。一つの態様では、既知パラメータとしてモデルに与えてもよい。

一つの好ましい態様では、エンベロープ関数は、時間軸方向に連続状に配置した複数のガウス関数、

であり、モデルパラメータは、各ガウス分布の代表値、重み、分散を含む。代表値は、主として、音響オブジェクトの立ち上がり時刻の推定に用いるパラメータであり、後述する実施の形態では、（先頭の）ガウス分布の平均ｏ_ｋであるが、代表値はこれには限定されない。各ガウス分布の重みｃ_ｋ ^ｙは、時間方向のパワーエンベロープ曲線を決定するパラメータである。各ガウス分布の分散φ_ｋは、音響オブジェクトの時間長を決定するパラメータである。一つの好ましい態様では、各ガウス関数は、先頭のガウス関数の分散パラメータ（一つの好適な例では、標準偏差パラメータ）に基づく所定の等間隔αφ_ｋで配置されている。

他の態様では、エンベロープ関数は、二つのシグモイド関数を組み合わせた関数、

から構成されている。具体的には、エンベロープ関数は、２つのシグモイド関数（同一でも、同一でなくてもよい）の横軸をずらした差のいわゆる二重シグモイド関数であり、パラメータは、o_k ⁽⁰⁾,o_k ⁽¹⁾,a_k,n,b_k,n,A_k,nである。

また、他の態様では、エンベロープ関数は、極値分布関数、

であり、パラメータは、o_k,a_k,n,b_k,n,A_k,nである。

さらに、他の態様では、エンベロープ関数は、Generalized Gaussian Distribution(ＧＤＤ)、

であり、パラメータはo_k,λ_k,nである（但し、pは定数、Γはガンマ関数である）。

モデル関数のパラメータの最適化の手法は、一つの好ましい態様では、ＭＡＰ推定であるが、本発明に適用される最適化手法は、ＭＡＰ推定には限定されず、他の最適化手法であってもよい。また、一つの好ましい態様では、モデルパラメータ最適化の推定アルゴリズムは、ＥＭアルゴリズムである。

本発明は、音響分析システム、音響分析のためのコンピュータプログラム、あるいは当該プログラムを記録した記録媒体としても提供され得る。

本発明の観測データの解析方法は、好ましくは、音響信号に適用されるが、本発明に係る重畳オブジェクトモデルは、２次元平面上に投影されたデータから、投影されたデータの元の情報を復元することに拡張できる。他の態様では、観測データは、複数の対象物を含む画像データである。簡単な例を示すと、対象物は直方体状の物体であり、これを、直方体状の物体とその影とに対応するオブジェクトモデルでモデリングし、対象物の特徴を復元する。観測データが画像データの場合には、ロボットヴィジョン等の情景分析に適用することができる。

本発明によれば、複数の音源からの音が混在している音響信号を重畳オブジェクトモデルでモデリングし、各音響オブジェクト、重畳音響オブジェクトの時間と周波数の大域的な幾何構造を同時推定することができ、精度よく音響信号を解析することができる。

本発明を、一つの好ましい態様である、ガウス基底音響オブジェクトモデルを用いた多重スペクトル分離に基づいて説明する。

[Ａ]音響オブジェクトモデル
[Ａ−１]問題の定式化
図１に示すように、複数の音源からの音が混在している音響信号の観測スペクトルは、複数のピッチ（基本周波数）の時間軌跡に伴う基本波成分および高調波成分が複数重畳した複雑な分布である。このような混合分布を各スペクトルに分離することを考えたとき、短時間分析では、スペクトルの重なり合いが問題となる。本発明では、観測されるスペクトル分布は、一種のマイクロエネルギーパターンのヒストグラムであるとして、時間―周波数平面に、多数のストリップ状の領域に割り当て、各領域が各音響オブジェクトの予測される複数のスペクトル成分を占めるようにする。本明細書では、観測パターンを任意に分解し、分解された各パターンをクラスタと呼ぶ。すなわち、クラスタは分解された観測パターンの分布を意味し、クラスタリングは観測パターンをクラスタに分解することを意味する。もし適切なクラスタリング帰属の度合いが決定されれば、確率的手法によって、観測された複合分布を分離することができる。

時間周波数平面上に分布する楽音のパワースペクトルは、周波数方向の櫛形構造が時間方向に連なった一種のオブジェクト(以後これを音響オブジェクトと呼ぶ)を形成する。図２は、一つの音響オブジェクトを示し、一つの音響オブジェクトは、周波数―時間平面上に割り当てられた複数のオブジェクト要素から構成され、複数のオブジェクト要素は一つの基本周波数成分に対応する一つの要素と、倍音（整数倍でないものも含む）成分に対応する複数の要素とから構成される。本発明では、多数の楽音からなる音楽信号のスペクトル時間パターンを各楽音オブジェクトが重畳したものであると見なし、音響オブジェクト分解を、時間・周波数の２次元に分散した音響エネルギーのファジークラスタリング問題として解析的に定式化する。

各クラスタにおいて一つの音響オブジェクトを幾何的に形作るモデルｐ(x,t｜Θ_k)がパラメータΘ_k（Θ＝{Θ_k |k=1,…K}）で規定できるとし、モデルに基づく目的関数を、

と設定する。ただし、x, t, f(x, t)はそれぞれ対数周波数、時間（フレーム）、ウェーブレット変換により得られた観測スペクトル（パワースペクトル密度）、Ｔ₀, Ｔ₁, Ω₀, Ω₁ はそれぞれ時間と対数周波数の下限と上限を指し、Ｋはクラスタ数、ｋはクラスタのインデックスを表す。

また、ｐ(k|x,t,Θ)は、座標(x, t)におけるk 番目のクラスタにどれくらいの割合でスペクトル成分が帰属するかを表す確率であって、

で与えられる。つまり、ｐ(k|x,t,Θ)f(x, t)は確率的に分離された音響オブジェクトという意味をなす。Ｄ(x,t｜Θ_k)は、k番目のモデルが座標(x, t)においてどれだけ支配的であるかを反映した(擬)距離関数である。より直感的にはモデルと観測スペクトルの積分値がいずれも等しい場合、すなわち、ｐ(x,t｜Θ_k)が、

を満たす場合には、ｐ(k|x,t,Θ)f(x, t)Ｄ(x,t｜Θ_k)は、２つの分布、ｐ(x,t｜Θ_k)とｐ(k|x,t,Θ)f(x,t)、が近くなるほど大きな値を取ることになる。

以上より、観測スペクトルの時系列分布を何らかの幾何モデルで最適近似する問題に帰着することができる。ここで、この目的関数は、Ｄ(x,t｜Θ_k)＝logｐ(x,t｜Θ_k)という特定条件のもとではＥＭアルゴリズムにおけるＱ関数と同形であることに注目されたい。以下では、音響オブジェクトの調波構造と時間連続の両方の性質を同時に反映する２次元分布モデルを定式化する。

[Ａ−２]ガウス基底音響オブジェクトモデル
楽音の音響オブジェクトのピッチ軌跡は時間軸に平行であると仮定すると、図２のようなｋ番目の音響オブジェクトモデルの特定の時刻t における切口は図３のような調波構造Φ_k(x)を反映した関数となる。そこで、調波構造モデル関数Φ_k(x)を時間軸に沿って図４のようなエンベロープ関数Ψ_k(t)を乗じた形として音響オブジェクトモデルを仮定すると、ｋ番目の音響オブジェクトモデルｐ(x,t｜Θ_k)は、二つの関数とパワー（エネルギー）ｗ_ｋの積で表すことができる。

ここで、

とする。

［Ａ−３］調波構造関数Φ_k(x)
モデル関数を構成する調波構造関数の一つの好ましい態様としては、本出願の発明者らが既に提案している調波構造モデル関数を用いることができる。先ず、調波構造モデルについて説明する。短時間スペクトルの解析では、基本周波数成分や調波成分の広がりにより、異なる信号同士の周波数成分が重なり合い、近接する周波数成分の分離や正確な基本周波数あるいは高調波周波数の検出が困難となる。このように広がって観測される周波数成分を各周波数の出現頻度分布あるいは確率分布と見なし、その分布をガウス分布により近似することで、単一の調波構造を有するスペクトルを複数のガウス分布の混合分布としてモデル化する。図３に示すように、スペクトルの拡がり形状をガウス分布で近似することで、周波数値をガウス分布の平均推定、周波数成分のエネルギーを混合ガウス分布の重み推定に対応させることができる。調和性の保持のため、基本周波数成分に対応する1つのガウス分布の平均(基本周波数推定値)のみが自由度をもち、その位置に応じて残りのすべての正規分布の平均の位置は決定される。単一の調波構造をこのような拘束つきの混合ガウス分布によりモデル化したものを本明細書において「調波構造モデル」と呼ぶ。ガウス分布は調波構造モデルに適用できる分布関数の好適な一例であって、その他の単峰性分布関数を用いて調波構造モデルを構成してもよい。平均は分布の代表値の一つの好適な例であって、平均に代えて、中央値、最頻値を用いても良い。

調和性を仮定し、ｎ番目の対数周波数成分が基本対数周波数からlogｎだけ離れているとすると、基本対数周波数がμ_ｋ、ｎ番目の部分対数周波数がμ_ｋ＋logｎと推定される。すなわち、基本周波数推定値をμ_kと置けば、調波構造モデルkの各平均μ_kは、対数周波数領域において、μ_k，μ_ｋ＋log２，μ_ｋ＋logｎ，．．．μ_ｋ＋logＮとなる。各周波数成分の分布をガウス分布で近似することで、一つの調波構造を、ガウス基底の重み付き和でモデリングする。これを定式化すると、調和性を仮定し、１つの周波数成分分布をガウス関数近似することで、調波構造モデルを、

で表す。ただし、μ_kは対数基本周波数推定値、ｒ_ｋ ^ｎ(n=1,…, N、Σｒ_ｋ ^ｎ＝１、ｎは調波構造モデルにおけるガウス基底のインデックスである )はn 次高調波成分パワー比に対応する。

［Ａ−４］エンベロープ関数Ψ_k(t)
エンベロープ関数Ψ_k(t)は、パワースペクトルエンベロープのさまざまな変動に柔軟に対応できる関数であることが望ましい。例えば、音楽信号について言うと、楽器や音楽表現に依存して、アタック、サステイン、リリースは全く異なるであろう。そこで、エンベロープ関数Ψ_k(t)を、複数のガウス基底から表し、各ガウス基底は、エンベロープ形状に関連して、重みｃ_ｋ ^ｙ（ｙ＝0,…, Y-1、Σｃ_ｋ ^ｙ=1、ｙはエンベロープモデルのガウス基底のインデックスである）を有するようにしたガウス基底エンベロープモデルに基づいて構成する。このモデルの特徴は、隣り合うガウス関数同士の間隔を、各ガウス関数の標準偏差パラメータφ_kに基づいて表しており、エンベロープ関数Ψ_k(t)は、

として表される。ただし、Yはガウス基底の数、ｏ_kは先頭のガウス基底の中心であり、音響オブジェクトの立ち上がり時刻の推定に密接に関係し、ｃ_ｋ ^y(y =0,…,Y- 1) はエンベロープ曲線を規定する各ガウス基底の重み値を表す。複数のガウス関数の中心を標準偏差パラメータφ_kと等しい間隔（α＝１の場合で言うと）で配置した特殊な拘束をもったガウス基底関数は、各基底が孤立するのを防いで曲線の滑らかさを保つと同時にφ_kの値あるいは/およびαの値に応じて時間方向に線形伸縮する性質を持ち、さまざまな時間長の音響オブジェクトに広く対応できる。

［Ａ−５］重畳オブジェクトモデル
上述のような一つの調波構造に対応する一つのオブジェクトモデルを重畳させた重畳オブジェクトモデルを用いて、複数の音源からの音が混在している音響信号の観測スペクトルをモデリングする。重畳オブジェクトモデルのモデルパラメータを表１に示す。尚、表１は、好適なモデルパラメータを例示したものであり、本発明に係るモデルパラメータは、表１に示すものには限定されない。

ｋ：各音響オブジェクト（音響ストリーム）モデルのインデックスであり、実際には、音響オブジェクトのインデックスに対応する。混合音の観測スペクトルを、Ｋ個の音響オブジェクトモデルを用いてモデリングする。

ｎ：調波構造モデルにおけるガウス基底のインデックスであり、実際には、調波構造の各周波数成分のインデックスに対応する。一つの調波構造を、Ｎ個のガウス関数を用いてモデリングする。

ｙ：パワーエンベロープモデルにおけるガウス基底のインデックスである。一つのエンベロープ曲線を、Ｙ個のガウス関数を用いてモデリングする。

μ_ｋ：調波構造モデルにおける先頭のガウス基底の平均であり、実際には、基本対数周波数に対応する。

μ_ｋ＋logｎ：調波構造モデルにおけるｎ番目のガウス基底の平均であり、実際には、ｎ番目の対数周波数要素に対応する。

ｗ_ｋ：ｋ番目の音響オブジェクトモデルの重みであり、実際には、ｋ番目の音響オブジェクトの相対的支配を意味する。

ｒ_ｋ ^ｎ：ｋ番目の音響オブジェクトモデルの調波構造モデルにおけるガウス基底の重みであり、実際には、周波数成分パワー比に対応する。

ｃ_ｋ ^ｙ：ｋ番目の音響オブジェクトモデルのパワーエンベロープモデルにおけるガウス基底の重みであり、実際には、パワーエンベロープの時間方向の曲線に対応する。

ｏ_ｋ：ｋ番目の音響オブジェクトモデルのパワーエンベロープモデルにおける先頭のガウス基底の平均であり、一例では、ｋ番目の音響オブジェクトの立ち上がり時刻(onset time)に対応する。

σ_ｋ：ｋ番目の音響オブジェクトモデルの調波構造モデルにおけるガウス基底の標準偏差であり、実際には各周波数成分の幅に対応する。

φ_ｋ：ｋ番目の音響オブジェクトモデルのパワーエンベロープモデルにおけるガウス基底の間隔および標準偏差であり、実際にはｋ番目の音響オブジェクトの時間長に関連する。

[Ｂ]最適パラメータ推定
[Ｂ−１]事前分布の仮定
特定のパラメータに関して柔軟な制約条件を与えたい場合、 事前分布の仮定は効果的である。例えば、ｒ_ｋ ^ｎとｃ_ｋ ^ｙに関して、調波構造の各成分比やパワーエンベロープに関して想定されるある程度常識的な予測値ｒ_ｋ ^ｎ（バー）、ｃ_ｋ ^ｙ（バー）から極端に逸脱し過ぎないようにパラメータ制約を加えることができる（図５参照）。ここでは、ＭＡＰ推定におけるラグランジュの未定乗数の計算を大幅に簡単化できる事前分布（非特許文献３参照）、

を利用する。ただし、ｄ_r、ｄ_c は事前分布の寄与の大きさ、β(d_r)、β(d_c)はそれぞれ正規化係数を表す。事前分布は、ＭＡＰ推定におけるラグランジュの未定乗数の計算を大幅に簡単化できるという有利な点を有する。尚、この分布以外にもディリクレ分布も同じ目的に適用可能である。

[Ｂ−２]ＥＭアルゴリズムを用いたＭＡＰ推定
以上の拘束条件下の混合音響オブジェクトモデルの最適近似パラメータ推定はＥＭアルゴリズムによるＭＡＰ推定(反復計算による補助関数の単調増加)と同型の問題となる。式（１）における目的関数は補助関数に対応しており、式（１）は、

という補助関数に書き直せる。ただし、λ_r ^(k)，λ_c ^(k)，λ_ｗはラグランジュの未定乗数である。尚、式（９）において、f(x,t)を正規化し、重みの総和を１としてもよい（この場合、Ｆ＝１となる）。

局所最適パラメータは以下の反復計算で求められる。
（１）Ｅ−ステップ
前のＭ−ステップで更新されたΘ（バー）にΘ（ハット）を代入して、補助関数Ｒ（Θ，Θ（バー））にΘ（バー）を計算する。このステップは、帰属確率密度ｐ（k,n,y|x,t，Θ）の更新に対応する。
（２）Ｍ−ステップ
帰属確率密度ｐ（k,n,y|x,t，Θ）固定のもとで、Θ（バー）のパラメータを更新して、補助関数Ｒ（Θ，Θ（バー））を最大化する。

[Ｂ−３] Ｍ−ステップにおけるパラメータの更新式
Ｍ−ステップにおける各モデルパラメータの更新式の計算結果を示す。尚、下記の式では、簡潔のため、時間方向（Ｔ_１, Ｔ_２）及び周波数方向（Ω_１, Ω_２）の積分範囲は省略してある。

基本対数周波数μ_ｋの更新式は以下のとおりである。これにより、ｋ番目の音響オブジェクトの基本周波数が推定される。

スペクトル要素の相対パワーｒ_ｋ ^ｎの更新式は以下のとおりである。これにより、ｋ番目の音響オブジェクトの調波構造における、各周波数の周波数成分パワー比が推定される。

調波構造における各周波数成分の幅σ_ｋの更新式は以下のとおりである。ｋ番目の音響オブジェクトの調波構造の各周波数成分の幅が推定される。ここでは、幅は、各周波数成分間で同じとしている。

立ち上がり時刻ｏ_kの更新式は以下のとおりである。ｋ番目の音響オブジェクトの立ち上がり時刻が推定される。

パワーエンベロープ曲線の要素ｃ_ｋ ^ｙの更新式は以下のとおりである。ｋ番目の音響オブジェクトのパワーエンベロープ曲線は、エンベロープ関数を構成する複数のガウス基底の重み付け和によって決定される。

時間長の要素φ_ｋの更新式は以下のとおりである。ｋ番目の音響オブジェクトの時間長が推定される。

重畳音響オブジェクトにおける、ｋ番目の音響オブジェクトのパワー（エネルギー）の更新式は以下のとおりである。

［Ｃ］実験例
［Ｃ−１］実験例１
本発明に係る方法のテストデータとしてＲＷＣ研究用音楽データベースの中から２曲の実音楽信号(16kHz サンプリング周波数)を利用した。 パワースペクトル時系列はガボールウェーブレット変換(フレームシフト20ms，周波数分解能16.7cent，最低周波数50Hz)により出力した。解析区間（時間周波数平面）の時間長は3s(150フレーム)ずつとした。ＥＭアルゴリズムのためのパラメータ（μ_k,o_ｋ｜k=1,…,K）の初期値は、与えられたスペクトル分布から大きい順に70個のピーク（パワースペクトル密度の極大点）を抽出することで決定した。ＥＭアルゴリズムの反復において、音響オブジェクトの総数は閾値処理によって推定した。すなわち、重みパラメータw_k がある一定閾値以下のモデルは無音と判断して除去した。

実際のスペクトルから推定した最適化モデルの具体例および対応する時間−周波数スペクトルの３次元表示及びグレースケール表示を図６に示す。図６（ａ）は、観測スペクトル分布を３次元（対数周波数軸、時間軸、エネルギー強度を表す軸）に表示したものであり、図６（ｃ）は、図６（ａ）に対応する観測スペクトルのスペクトログラム（横軸：時間、縦軸：対数周波数）のグレースケール表示である。図６（ｂ）は、最適パラメータによる重畳音響オブジェクトモデルの３次元（対数周波数軸、時間軸、エネルギー強度を表す軸）に表示したものであり、図６（ａ）に対応している。図６（ｂ）は、図２に示す各音響オブジェクトが重畳したものである。図６（ｄ）は、図６（ｂ）に対応する最適化された重畳音響オブジェクトモデルのグレースケール表示（横軸：時間、縦軸：周波数）である。図６（ｂ）、（ｄ）に示すように、重畳した音響オブジェクトのピッチのみならず、オンセット時刻（立ち上がり時刻）、時間長、オフセット時刻、パワーエンベロープが適切に推定されている。また、最適帰属確率を用いた正弦波合成によって個々の音響オブジェクトを抽出して再構築することも可能である。

［Ｃ−２］実験例２
本発明に係る手法の性能評価基準として付属の参照用ＭＩＤＩデータから音名正解率を算出した。また、比較対象として、フレームごとのモデル推定の情報に基づいてＨＭＭでピッチ軌跡を推定する方法（非特許文献４）を選んだ。利用したテストデータに対し従来法に比べて本発明に係る手法は高い性能を示し(表２)、時間方向と周波数方向を同時にモデリングしたことの効果が確認できた。

本発明は、実環境下の音声認識、複数話者環境下での高性能音声収録、カラオケシステムにおける自動採点や伴奏データ作成のための音楽信号解析に利用可能である。

実際の音楽演奏信号を、時間Ｔ₀からＴ₁、周波数Ω₀からΩ₁、においてウェーブレット変換した観測スペクトルである。 ｋ番目の音響オブジェクトスペクトルのパラメトリックモデル（音響オブジェクトモデル）を説明する図であって、周波数―時間平面上の一つの音響オブジェクト（ｋ番目）を表している。 ガウス基底調波構造モデルを示す。 ガウス基底パワーエンベロープモデルを示す。 重みパラメータｒ_ｋ ^ｎの事前分布を示す図である。 （ａ）観測スペクトル分布の３次元表示（周波数軸、時間軸、エネルギー強度を表す軸）；（ｂ）最適パラメータによる重畳音響オブジェクトモデルの３次元表示（周波数軸、時間軸、エネルギー強度を表す軸）；（ｃ）与えられたスペクトログラムのグレースケール表示（横軸：時間、縦軸：周波数）；（ｄ）最適化モデルのグレースケール表示（横軸：時間、縦軸：周波数）；である。

Claims (23)

1. 観測データを、複数のオブジェクトモデルを重畳してなる重畳オブジェクトモデルでモデリングし、各オブジェクトモデルを２変数のモデル関数で表し、モデル関数のモデルパラメータを最適化することで観測データの特徴を推定することを特徴とする観測データの解析方法。
2. 複数の音源からの音が混在している音響信号の観測スペクトルを、複数の音響オブジェクトモデルを重畳してなる重畳オブジェクトモデルでモデリングし、各音響オブジェクトモデルを、周波数ｘ及び時間ｔの２変数を有するモデル関数で表し、モデル関数のモデルパラメータを最適化することで観測スペクトルの特徴を推定することを特徴とする音響信号の解析方法。
3. 請求項２において、観測スペクトルの特徴には、各音の周波数情報、時間情報が含まれることを特徴とする音響信号の解析方法。
4. 請求項３において、観測スペクトルの特徴には、さらに、調波構造を構成する各周波数成分の周波数成分パワー比、時間方向のパワースペクトルエンベロープが含まれることを特徴とする音響信号の解析方法。
5. 請求項２乃至４いずれかにおいて、各音響オブジェクトモデルは、一つの調波構造に対応していることを特徴とする音響信号の解析方法。
6. 請求項５において、前記モデル関数は、周波数ｘを変数に含む調波構造関数と時間ｔを変数に含むエンベロープ関数を含むことを特徴とする音響信号の解析方法。
7. 請求項６において、調波構造関数は、基本周波数成分に対応する一つの単峰形分布の代表値である基本周波数推定値と、該基本周波数推定値によって決定される他の単峰形分布の代表値を有し、モデルパラメータは、各単峰形分布の代表値、重み、分散を含むことを特徴とする音響信号の解析方法。
8. 請求項７において、単峰形分布はガウス分布であることを特徴とする音響信号の解析方法。
9. 請求項７，８いずれかにおいて、分布の代表値は平均であることを特徴とする音響信号の解析方法。
10. 請求項６乃至９いずれかにおいて、調波構造関数は、さらに時間ｔを変数に含むことを特徴とする音響信号の解析方法。
11. 請求項１０において、観測データの特徴には、ｘ−ｔ平面上のピッチ軌跡が含まれることを特徴とする音響信号の解析方法。
12. 請求項６乃至１１いずれかにおいて、一つの調波構造に対して共通のエンベロープ関数を用いることを特徴とする音響信号の解析方法。
13. 請求項６乃至１１いずれかにおいて、各調波成分に対して独立したエンベロープ関数を用いることを特徴とする音響信号の解析方法。
14. 請求項１２，１３いずれかにおいて、エンベロープ関数は、時間軸方向に連続状に配置した複数のガウス関数であり、モデルパラメータは、各ガウス分布の代表値、重み、分散を含むことを特徴とする音響信号の解析方法。
15. 請求項１４において、各ガウス関数は、先頭のガウス関数の分散パラメータに基づく所定の等間隔で配置されていることを特徴とする音響信号の解析方法。
16. 請求項６、１２乃至１５いずれかにおいて、エンベロープ関数は、二つのシグモイド関数を組み合わせた関数から構成されていることを特徴とする音響信号の解析方法。
17. 請求項６、１２乃至１５いずれかにおいて、エンベロープ関数は、極値分布関数あるいはＧＤＤであることを特徴とする音響信号の解析方法。
18. 請求項２乃至１７いずれかにおいて、重畳オブジェクトモデルのパラメータには、各音響オブジェクトモデルを表すモデル関数のパラメータ、及び、各音響オブジェクトモデルの重みが含まれることを特徴とする音響信号の解析方法。
19. 請求項２乃至１８いずれかにおいて、パラメータの最適化は、ＭＡＰ推定により行うことを特徴とする音響信号の解析方法。
20. 請求項２乃至１８いずれかにおいて、モデルパラメータ最適化の推定アルゴリズムは、ＥＭアルゴリズムであることを特徴とする音響信号の解析方法。
21. 請求項２乃至２０いずれかに記載された方法を、コンピュータに実行させるためのコンピュータプログラム。
22. 請求項２乃至２０いずれかに記載された方法を、コンピュータに実行させるためのコンピュータプログラムを記録させた記録媒体。
23. 複数の音源からの音が混在している音響信号の観測スペクトルを、複数の音響オブジェクトモデルを重畳してなる重畳オブジェクトモデルでモデリングし、各音響オブジェクトモデルを、周波数ｘ及び時間ｔの２変数を有するモデル関数で表し、モデル関数のモデルパラメータを最適化することで観測スペクトルの特徴を推定することを特徴とする音響信号の解析システム。

Images