JP5689844B2 - スペクトル推定装置、その方法及びプログラム - Google Patents
スペクトル推定装置、その方法及びプログラム Download PDFInfo
- Publication number
- JP5689844B2 JP5689844B2 JP2012060159A JP2012060159A JP5689844B2 JP 5689844 B2 JP5689844 B2 JP 5689844B2 JP 2012060159 A JP2012060159 A JP 2012060159A JP 2012060159 A JP2012060159 A JP 2012060159A JP 5689844 B2 JP5689844 B2 JP 5689844B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- state
- spectral
- model
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図3はスペクトル推定装置10の機能ブロック図を、図4はその処理フローを示す。スペクトル推定装置10は、スペクトル状態モデル記憶部101、状態依存スペクトルモデル記憶部102、スペクトル状態推定部104及び事後確率最大化スペクトル推定部106を含む。
スペクトル推定装置10では、対数スペクトルρnがとりうる値を規定する事前確率密度関数p(ρn;Θθ,Θρ)を導入し、対数スペクトルρnの値を、周波数信号xnが与えられた下での事後確率最大化(MAP)推定により求める。すなわち、以下のように求める。
1.E−step:スペクトル状態推定部104が、対数尤度重みwθnを(18)式に従い更新する(s1)。
2.M−step:事後確率最大化スペクトル推定部106が、(15)式を最大化するρn,kを対数スペクトルの推定値ρ^n,kとして更新する(s2)。
f(z)=exp(z)+z+a (19)
本実施形態では、対数スペクトルの事前確率密度関数p(ρn;Θθ,Θρ)を、混合ガウス分布でモデル化する。状態パラメータθnは、各短時間フレームnにおいて、1からNθで番号付されたNθ個の有限状態の何れかの状態iをとるとする。事前確率密度関数p(ρn;Θθ,Θρ)は、以下で定義される。
スペクトル状態モデルΘθは、全ての状態iに関する混合比βiからなり、状態依存スペクトルモデルΘρは、全ての状態i、全ての周波数kに関する平均μi kと共分散行列ξi kとからなる。これらのモデルは、スペクトル推定の対象となる信号に関する学習データを用いて、事前に学習されているとする。混合ガウス分布のモデルパラメータの学習には、EMアルゴリズムを用いる方法などが知られている。
事後確率最大化スペクトル推定部106が、一つのスカラー変数zとそのスカラー変数に関する指数関数exp(z)と一つのスカラー定数aとの和によって規定される非線形方程式(例えば(19)式)に関して、各短時間フレームnにおける周波数k毎の周波数信号xn,kと対数尤度重みwθnと状態依存スペクトルモデルΘρに依存してスカラー定数aを定めるとともに(例えば(21)式)、非線形方程式が0に一致するスカラー変数zの値を求め(例えば(19)式、(22)式)、その求めたスカラー変数zと周波数信号xn,kと対数尤度重みwθnと状態依存スペクトルモデルΘρとに基づき、対数スペクトルの推定値ρ^nを更新する(例えば(20)式)。
このような構成により、スペクトルの分布を高精度に表現可能な対数スペクトルに関する潜在変数依存型ガウス分布をスペクトルの事前確率密度関数として用いて、効率的にスペクトルの値を推定できる。その結果、周波数信号が誤差を含むような場合でも、効率的かつ高精度に、そのスペクトルの推定が可能になる。
第一実施形態の変形例として、EMアルゴリズムのE−stepにおいて、各状態の事後確率p(θn|ρ^n;Θρ)を求める代わりに、最大の事後確率を与える状態を選択する場合の例を説明する。これは、混合ガウス分布や隠れマルコフモデルを用いた推定において、計算量削減のためにしばしば導入される近似計算である。この変形は、より厳密には、第一実施形態ではθnを隠れ変数として扱っていたのに対し、ρnと一緒にθnも事後確率最大化推定で求めることに相当する。すなわち、以下の問題を解くことに相当する。
対数尤度重み設定部104bは推定値i^を受け取り、対数尤度重みwiを
第一実施形態と異なる部分についてのみ説明する。第二実施形態として、状態パラメータθnが連続値をとる場合の実施形態について説明する。
本実施形態では、状態パラメータθnとして、周波数信号に対応するメル周波数ケプストラム係数(Mel-frequency cepstral coefficient、以下「MFCC」という)cnを用いる。MFCCcnは、各次数に対応するNc個の要素cn,mを持つベクトルとして表現されているとする。よって、cn=[cn,1,cn,2,…,cn,Nc]T、ただし下付添え字NcはNcを表す。いま、cn=H(ρn)を信号の対数スペクトルρnをMFCCに変換する関数とする。すると、H(ρn)は、まず、対数スペクトルρnの各要素に対数変換の逆変換(exp(・))を適用し、メルフィルタバンク処理(mfb(・)と表記)を施し、個々のベクトル要素に対数変換(log(・))を適用したのち、離散コサイン変換(D(・))を適応することに対応する。すなわち、H(ρn)は、以下の変換過程で表現される。
本実施形態では、状態パラメータθnの事前確率密度関数p(θn;Θθ)としてMFCCの混合ガウス分布を用いるとする。これは、jをガウス分布の番号とすると、以下でモデル化される。
本実施形態では、状態パラメータであるMFCCcnが既知の場合の対数スペクトルρnの条件付き確率密度関数p(ρn|cn;Θρ)は、上記のcn=H(ρn)の逆変換過程としてモデル化する。一般に、cn=H(sn)は多対一の変換となるため、その逆変換はユニークには定められない。したがって、その定め方には任意性がある。ここでは、一例を挙げる。まず、以下のように、線形回帰を用いて、cn=H(ρn)の疑似逆変換であるρ^n=G(cn)を定義する。
G(c)=Ac+b (35)
ただし、Aは行列(Nk×Nc)、bはベクトル(Nk×1)を表す。行列Aとベクトルbの値は、事前に音響信号のデータベースにより学習されるか、観測信号を用いて学習されるものとする。すなわち、いま学習用のデータベース(もしくは、観測信号)から、複数の周波数信号xnにそれぞれ対応する複数の対数スペクトルρnと、それに対応するMFCCcn=H(ρn)の組合せが与えられているときに、行列Aとベクトルbは、以下のように定められるものとする。
p(e)=N(e;0,Ξ) (37)
これにより、条件付き確率密度関数p(ρn|cn;Θρ)は、以下のように定義される。
p(ρn|cn;Θρ)=N(ρn;G(cn),Ξ) (38)
本実施形態では、第一実施形態の変形例と同様に、対数スペクトルρnと状態パラメータであるMFCCcnの両方をMAP推定により推定する場合を考える。
1.E−step:(44)式により、E{j|c^n}の値を更新する。
2.M−step:(43)式を最大化するcnの値として、c^nを更新する。具体的には、以下の式を計算する。
図9は第二実施形態のスペクトル状態推定部104の機能ブロック図を、図10はその処理フローを示す。
このような構成により、第一実施形態と同様の効果を奏する。
この発明のスペクトル推定装置10を評価する目的で確認実験を行った。このため、非特許文献1に記載されている残響除去法のなかで、残響除去された周波数信号の推定値からスペクトルを推定する処理の部分で第一実施形態及び第二実施形態を用いた実験を行った。
1.残響除去された周波数信号の推定値x^nを観測信号とする。
2.周波数信号の推定値x^nからそのスペクトルの推定値σ^nを最尤法により求める。
3.以下を収束するまで繰り返す。
(a)観測信号とスペクトルの推定値σ^nから残響の予測係数を更新する。
(b)観測信号と残響の予測係数から残響除去した信号の周波数信号の推定値x^nを求める。
(c)周波数信号の推定値x^nからそのスペクトルの推定値σ^nを最尤法により求める。
4.求められた周波数信号の推定値x^nを時間領域信号に変換し、残響除去された信号として出力する。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
上述したスペクトル推定装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置(各種実施形態で図に示した機能ブロック図をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施形態で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
101 スペクトル状態モデル記憶部
102 状態依存スペクトルモデル記憶部
104 スペクトル状態推定部
104a 状態番号推定部
104b 設定部
106 事後確率最大化スペクトル推定部
106a 初期値設定部
106b スカラー定数算出部
106c スカラー変数算出部
106d 対数スペクトル算出部
106e 収束判定部
106f スペクトル算出部
204a 初期値算出部
204b 期待値算出部
204c 状態パラメータ算出部
204e 収束判定部
204f 算出部
Claims (9)
- 各短時間フレームnにおける周波数信号xnのスペクトル値σnを推定するスペクトル推定装置であって、
前記周波数信号xnの対数スペクトルρnの状態を表す状態パラメータθnの事前確率密度関数p(θn;Θθ)に関するモデルパラメータであるスペクトル状態モデルΘθと、前記状態パラメータθnが既知の条件下での前記対数スペクトルρnの条件付き確率密度関数p(ρn|θn;Θρ)に関するモデルパラメータである状態依存スペクトルモデルΘρとを記憶する記憶部と、
前記対数スペクトルρ n の推定値ρ^n、前記スペクトル状態モデルΘθ及び前記状態依存スペクトルモデルΘρを用いて、対数尤度重みwθnを推定するスペクトル状態推定部と、
前記周波数信号xn、前記対数尤度重みwθn及び前記状態依存スペクトルモデルΘρを用いて、目的関数を最大化する対数スペクトルを前記推定値ρ^ n として求める事後確率最大化スペクトル推定部とを含み、
収束条件を満たすまで、前記スペクトル状態推定部及び事後確率最大化スペクトル推定部における処理を繰り返す、
スペクトル推定装置。 - 請求項1記載のスペクトル推定装置であって、
前記事後確率最大化スペクトル推定部が、一つのスカラー変数zとそのスカラー変数に関する指数関数exp(z)と一つのスカラー定数aとの和によって規定される非線形方程式に関して、各短時間フレームnにおける周波数k毎の周波数信号xn,kと前記対数尤度重みwθnと前記状態依存スペクトルモデルΘρに依存して前記スカラー定数aを定めるとともに、前記非線形方程式が0に一致する前記スカラー変数zの値を求め、その求めた前記スカラー変数zと前記周波数信号xn,kと前記対数尤度重みwθnと前記状態依存スペクトルモデルΘρとに基づき、前記推定値ρ^nを更新する、
スペクトル推定装置。 - 請求項1または請求項2記載のスペクトル推定装置であって、
前記状態パラメータθnを前記周波数信号に対応するメル周波数ケプストラム係数cnとし、前記状態パラメータの事前確率密度関数p(cn;Θθ)として前記メル周波数ケプストラム係数cnの混合ガウス分布を用い、jをガウス分布の番号とし、前記スペクトル状態モデルΘθを全てのjに関する混合比γjと平均μjと共分散行列Σjとの集合とし、前記メル周波数ケプストラム係数cnから前記推定値ρ^nへの擬似逆変換を規定する行列A及びベクトルbと、逆変換誤差eがガウス分布に従うと仮定したときの共分散行列Ξとを前記状態依存スペクトルモデルΘρとし、
前記スペクトル状態推定部は、
前記メル周波数ケプストラム係数である状態パラメータの推定値c^nと前記混合比γjと前記平均μjと前記共分散行列Σjとを用いて、期待値E{j|c^n}を
前記推定値ρ^nと前記期待値E{j|c^n}と前記行列Aと前記ベクトルbと前記共分散行列Ξと前記平均μjと前記共分散行列Σjとを用いて、前記状態パラメータである前記メル周波数ケプストラム係数の推定値c^nを
δをディラックデルタ関数とし、前記メル周波数ケプストラム係数である状態パラメータの推定値c^nを用いて、前記メル周波数ケプストラム係数である前記状態パラメータの推定値c^nに対する対数尤度重みwcnを
収束条件を満たすまで、前記期待値算出部及び前記状態パラメータ更新部における処理を繰り返す、
スペクトル推定装置。 - 各短時間フレームnにおける周波数信号xnのスペクトル値σnを推定するスペクトル推定方法であって、
前記周波数信号xnの対数スペクトルρnの状態を表す状態パラメータθnの事前確率密度関数p(θn;Θθ)に関するモデルパラメータであるスペクトル状態モデルΘθと、前記状態パラメータθnが既知の条件下での前記対数スペクトルρnの条件付き確率密度関数p(ρn|θn;Θρ)に関するモデルパラメータである状態依存スペクトルモデルΘρとを記憶しておき、
前記対数スペクトルρ n の推定値ρ^n、前記スペクトル状態モデルΘθ及び前記状態依存スペクトルモデルΘρを用いて、対数尤度重みwθnを推定するスペクトル状態推定ステップと、
前記周波数信号xn、前記対数尤度重みwθn及び前記状態依存スペクトルモデルΘρを用いて、目的関数を最大化する対数スペクトルを前記推定値ρ^ n として求める事後確率最大化スペクトル推定ステップとを含み、
収束条件を満たすまで、前記スペクトル状態推定ステップ及び事後確率最大化スペクトル推定ステップにおける処理を繰り返す、
スペクトル推定方法。 - 請求項5記載のスペクトル推定方法であって、
前記事後確率最大化スペクトル推定ステップが、一つのスカラー変数zとそのスカラー変数に関する指数関数exp(z)と一つのスカラー定数aとの和によって規定される非線形方程式に関して、各短時間フレームnにおける周波数k毎の周波数信号xn,kと前記対数尤度重みwθnと前記状態依存スペクトルモデルΘρに依存して前記スカラー定数aを定めるとともに、前記非線形方程式が0に一致する前記スカラー変数zの値を求め、その求めた前記スカラー変数zと前記周波数信号xn,kと前記対数尤度重みwθnと前記状態依存スペクトルモデルΘρとに基づき、前記推定値ρ^nを更新する、
スペクトル推定方法。 - 請求項5または請求項6記載のスペクトル推定方法であって、
前記状態パラメータθnを前記周波数信号に対応するメル周波数ケプストラム係数cnとし、前記状態パラメータの事前確率密度関数p(cn;Θθ)として前記メル周波数ケプストラム係数cnの混合ガウス分布を用い、jをガウス分布の番号とし、前記スペクトル状態モデルΘθを全てのjに関する混合比γjと平均μjと共分散行列Σjとの集合とし、前記メル周波数ケプストラム係数cnから前記推定値ρ^nへの擬似逆変換を規定する行列A及びベクトルbと、逆変換誤差eがガウス分布に従うと仮定したときの共分散行列Ξとを前記状態依存スペクトルモデルΘρとし、
前記スペクトル状態推定ステップは、
前記メル周波数ケプストラム係数である状態パラメータの推定値c^nと前記混合比γjと前記平均μjと前記共分散行列Σjとを用いて、期待値E{j|c^n}を
前記推定値ρ^nと前記期待値E{j|c^n}と前記行列Aと前記ベクトルbと前記共分散行列Ξと前記平均μjと前記共分散行列Σjとを用いて、前記状態パラメータである前記メル周波数ケプストラム係数の推定値c^nを
δをディラックデルタ関数とし、前記メル周波数ケプストラム係数である状態パラメータの推定値c^nを用いて、前記メル周波数ケプストラム係数である前記状態パラメータの推定値c^nに対する対数尤度重みwcnを
収束条件を満たすまで、前記期待値算出ステップ及び前記状態パラメータ更新ステップにおける処理を繰り返す、
スペクトル推定方法。 - 請求項1から請求項4の何れかに記載のスペクトル推定装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012060159A JP5689844B2 (ja) | 2012-03-16 | 2012-03-16 | スペクトル推定装置、その方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012060159A JP5689844B2 (ja) | 2012-03-16 | 2012-03-16 | スペクトル推定装置、その方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013195511A JP2013195511A (ja) | 2013-09-30 |
JP5689844B2 true JP5689844B2 (ja) | 2015-03-25 |
Family
ID=49394578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012060159A Active JP5689844B2 (ja) | 2012-03-16 | 2012-03-16 | スペクトル推定装置、その方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5689844B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6392450B2 (ja) * | 2015-04-13 | 2018-09-19 | 日本電信電話株式会社 | マッチング装置、判定装置、これらの方法、プログラム及び記録媒体 |
CN113946955B (zh) * | 2021-10-14 | 2023-08-08 | 西安电子科技大学 | 基于融合中心反馈信息的多目标贝叶斯波达方向估计方法 |
CN114444279B (zh) * | 2022-01-14 | 2022-12-16 | 中国人民解放军国防科技大学 | 基于卫星低高精度数据关联参数联合估计的响应预测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0895592A (ja) * | 1994-09-21 | 1996-04-12 | Nippon Telegr & Teleph Corp <Ntt> | パターン認識方法 |
JPH09198084A (ja) * | 1996-01-16 | 1997-07-31 | Nippon Telegr & Teleph Corp <Ntt> | モデル更新を伴う話者認識方法及びその装置 |
JP4977062B2 (ja) * | 2008-02-29 | 2012-07-18 | 日本電信電話株式会社 | 残響除去装置とその方法と、そのプログラムと記録媒体 |
CN101965613B (zh) * | 2008-03-06 | 2013-01-02 | 日本电信电话株式会社 | 信号增强装置及方法 |
-
2012
- 2012-03-16 JP JP2012060159A patent/JP5689844B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013195511A (ja) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9721202B2 (en) | Non-negative matrix factorization regularized by recurrent neural networks for audio processing | |
Deng et al. | Recursive estimation of nonstationary noise using iterative stochastic approximation for robust speech recognition | |
CN110914899A (zh) | 掩模计算装置、簇权重学习装置、掩模计算神经网络学习装置、掩模计算方法、簇权重学习方法和掩模计算神经网络学习方法 | |
Wang et al. | Speaker and noise factorization for robust speech recognition | |
CN104685562B (zh) | 用于从嘈杂输入信号中重构目标信号的方法和设备 | |
US9754608B2 (en) | Noise estimation apparatus, noise estimation method, noise estimation program, and recording medium | |
Deng | Front-end, back-end, and hybrid techniques for noise-robust speech recognition | |
JP2017514249A (ja) | 入力信号を変換する方法 | |
Sadhu et al. | Continual Learning in Automatic Speech Recognition. | |
JP4977062B2 (ja) | 残響除去装置とその方法と、そのプログラムと記録媒体 | |
CN104737229A (zh) | 用于变换输入信号的方法 | |
CN110998723B (zh) | 使用神经网络的信号处理装置及信号处理方法、记录介质 | |
JP2010078650A (ja) | 音声認識装置及びその方法 | |
Mohammadiha et al. | A state-space approach to dynamic nonnegative matrix factorization | |
JP5689844B2 (ja) | スペクトル推定装置、その方法及びプログラム | |
JPWO2009038013A1 (ja) | 雑音除去システム、雑音除去方法および雑音除去プログラム | |
JP5881454B2 (ja) | 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム | |
JPWO2019044401A1 (ja) | Dnn音声合成の教師無し話者適応を実現するコンピュータシステム、そのコンピュータシステムにおいて実行される方法およびプログラム | |
Yao et al. | Noise adaptive speech recognition based on sequential noise parameter estimation | |
JP6711765B2 (ja) | 形成装置、形成方法および形成プログラム | |
Chung et al. | Training and compensation of class-conditioned NMF bases for speech enhancement | |
Wang et al. | An explicit independence constraint for factorised adaptation in speech recognition. | |
JP5172536B2 (ja) | 残響除去装置、残響除去方法、コンピュータプログラムおよび記録媒体 | |
Wang et al. | Improving reverberant VTS for hands-free robust speech recognition | |
Sehr et al. | Model-based dereverberation in the Logmelspec domain for robust distant-talking speech recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5689844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |