JP6734233B2 - 信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラム - Google Patents

Description

本発明は、信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラムに関する。

従来、音声認識システム、補聴器、ＴＶ会議システム、機械制御インターフェース、楽曲の検索及び採譜のための音楽情報処理システム等において、音響信号を収音し、目的の音声信号の成分を抽出する技術が利用されている。

一般的に、雑音や残響のある実環境で音響信号を収音すると、収音目的の音声信号だけでなく、雑音や残響（音響歪み）が重畳された信号が観測される。しかしながら、これらの雑音や残響が信号に重畳されると、本来の音声信号の成分の抽出が困難となり、音声信号の明朗度や聞き取りやすさを大きく低下させてしまう要因となる。この結果、本来の音声信号の性質を抽出することが困難となり、例えば、音声認識システムの認識率が低下する。この認識率の低下を防ぐためには、重畳した音響歪みを取り除く工夫が必要である。

そこで、従来、ガウス混合分布モデル（ＧＭＭ：Gaussian Mixture Model）によって表現された事例モデルを用いて、入力音声を変換した特徴量との類似度を調べ、高い類似度を示した事例モデルを音声信号候補とする信号処理装置が提案されている（例えば、非特許文献１参照）。

従来の信号処理装置は、事前に学習された混合分布モデルによって表現された事例モデルを用いて信号処理を行う。事例モデルは、例えば、各事例に対応したクリーン音声の振幅スペクトルと、フレームごとの特徴量（例えば、メル周波数ケプストラム係数）に対して最大の尤度を与えるガウス混合分布のインデックスの系列（セグメント）を含む。信号処理装置は、入力音声に最も類似するクリーン音声の振幅スペクトルを求めるために、入力音声から生成した特徴量のセグメントを用いて、予め求めた事例モデルの中から、最大の事後確率を与えるセグメントを探索する。

このような従来の信号処理装置によれば、それまでは困難であった、非常に時間変化の多い雑音の除去が可能となることが報告されている。非常に時間変化の多い雑音とは、背景雑音に対して、例えば目覚まし時計のアラーム音などの雑音のことである。

J. Ming and R. Srinivasan, and D. Crookes, "A Corpus-Based Approach to Speech Enhancement From Nonstationary Noise", IEEE Transactions on Audio, Speech, and Language Processing, Vol.19, No.4, pp.822-836, May 2011 G. Hinton, L. Deng, D. Yu, G.E. Dahl, A.-r. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, T.N. Sainath, and B. Kingsbury, "Deep Neural Networks for Acoustic Modeling in Speech Recognition: The shared views of four research groups", IEEE Signal Processing Magazine, pp. 82-97, Nov. 2012.

しかしながら、セグメント探索に用いるメル周波数ケプストラム係数は、振幅スペクトルから得られる単純な特徴量である。このため、入力信号に雑音や残響が含まれる場合には、メル周波数ケプストラム係数も雑音や残響の影響を含むものとなり、従来の信号処理装置におけるセグメント探索は、必ずしも高精度ではなかった。

また、事例モデルは、種々の音響歪み環境を想定して準備するものの、現実的に、全ての音響歪み環境に対応する事例モデルを準備することは困難である。このため、従来の信号処理装置では、入力信号から生成した特徴量のセグメントと高い類似度を有するセグメントを事例モデルの中から探索できない場合があった。

したがって、従来の信号処理装置では、探索に用いる特徴量が雑音や残響の影響を受けるため、入力信号に類似するクリーン音声の特徴量を探索する精度にも限界があった。

本発明は、上記に鑑みてなされたものであって、入力信号に類似するクリーン音声を精度よく探索する信号処理装置、事例モデル生成装置、照合装置、信号処理方法及び信号処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る信号処理装置は、雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、Neural Network（ＮＮ）に基づく音響モデルを用いて出力された事例モデルを記憶する記憶部と、入力信号から特徴量を生成する特徴量生成部と、特徴量を入力とし、ＮＮに基づく音響モデルを用いて出力された出力結果と、記憶部に記憶された事例モデルとを照合し、入力信号に対応するクリーン音声特徴量を求める照合部と、照合部によって求められたクリーン音声特徴量から構成されるフィルタを入力信号に乗算した強調音声を出力する出力部と、を有することを特徴とする。

また、上述した課題を解決し、目的を達成するために、本発明に係る事例モデル生成装置は、学習用の入力信号から特徴量を生成する特徴量生成部と、特徴量を用いてＤＮＮ（Deep Neural Network）に基づくＨＭＭ(Hidden Markov Model)音響モデル音響モデルを学習する学習部と、ＤＮＮに基づくＨＭＭ音響モデルが出力したＨＭＭ状態の尤度を基に、時間フレームごとの特徴量に対して最大の尤度を与えるＨＭＭ状態のインデックスの系列を事例モデルとして計算する最尤ＨＭＭ状態計算部と、を有することを特徴とする。

また、上述した課題を解決し、目的を達成するために、本発明に係る照合装置は、入力信号の特徴量をＤＮＮに基づくＨＭＭ音響モデルに入力し、ＤＮＮに基づくＨＭＭ音響モデルによる出力結果と、雑音又は音響歪みを含む音声或いはクリーン音声をＤＮＮに基づくＨＭＭ音響モデルを用いて学習した事例モデルとを照合し、入力信号に対応するクリーン音声特徴量を求める照合部を有することを特徴とする。

本発明によれば、入力信号に類似するクリーン音声を精度よく探索することができる。

図１は、実施の形態に係る信号処理装置の機能構成の一例を示す図である。 図２は、セグメントの一例を説明するための図である。 図３は、図１に示すマッチング部の処理を説明する図である。 図４は、図１に示す信号処理装置が実行する信号処理方法の処理手順を示すフローチャートである。 図５は、実施の形態に係る事例モデル生成装置の機能構成の一例を示すブロック図である。 図６は、図５に示す事例モデル生成装置による事例モデル生成処理の処理手順を示すフローチャートである。 図７は、プログラムが実行されることにより、信号処理装置或いは事例モデル生成装置が実現されるコンピュータの一例を示す図である。

以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

［実施の形態］
まず、実施の形態に係る信号処理装置について説明する。この信号処理装置は、雑音及び残響（音響歪み）を含む入力信号から音響歪みを除去し、明瞭な強調音声信号を出力する処理を行う装置である。

［信号処理装置の構成］
図１は、実施の形態に係る信号処理装置の機能構成の一例を示す図である。実施の形態１に係る信号処理装置１００は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。

図１に示すように、信号処理装置１００は、事例モデル記憶部１０１（記憶部）、フーリエ変換部１０２、特徴量生成部１０３、マッチング部１０４（照合部）及び音声強調フィルタリング部１０５（出力部）を有する。信号処理装置１００は、ＤＮＮ（ディープニューラルネットワーク）に基づくＨＭＭ(隠れマルコフモデル)音響モデル（以降、ＤＮＮ−ＨＭＭ音響モデルという。）によって表現された事例モデルを用いて系列（セグメント）探索を行う。ＤＮＮ−ＨＭＭ音響モデルは、高い耐雑音性を有する。

事例モデル記憶部１０１は、雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、ＤＮＮ−ＨＭＭ音響モデルを用いて出力された事例モデルＭｓを記憶する。具体的には、事例モデル記憶部１０１は、事例に対応したクリーン音声のデータと、事例モデルＭｓとを記憶する。クリーン音声のデータは、例えば、事例に対応したクリーン音声の振幅スペクトルのことである。また、事例モデルは、時間フレームごとの特徴量に対して最大の尤度を与えるＨＭＭ状態のインデックスであるｓの系列(最尤ＨＭＭ状態系列)で表現される。なお、事例モデルＭｓは、ＨＭＭ状態ｓの事前確率Ｐ（ｓ）も含む。これは、後述するように、マッチング部１０４におけるマッチング処理でＨＭＭ状態ｓの事前確率Ｐ（ｓ）を用いるためである。

ここで、事例モデルＭｓは、事前に事例モデル生成装置２００（後述）によって生成され、事例モデル記憶部１０１に格納される。事例モデル生成装置２００は、音声コーパスなどから得られる大量のクリーン音声と、種々の環境で得られる雑音及び残響データ（雑音信号の波形や、室内インパルス応答等）と、を用い、様々な環境での観測信号を学習用の音声信号として模擬生成し、その模擬観測信号を特徴量領域へ変換したものを、ＤＮＮ−ＨＭＭ音響モデル（詳細は、非特許文献２参照）で学習して事例モデルＭｓを生成する。

ＤＮＮ−ＨＭＭ音響モデルは、入力音声の特徴量から、それに対応するＨＭＭの状態番号を推定する機能を有する。ＨＭＭの一つの状態番号は、「a」、「i」、「u」等の、一つの音素の先頭部分、中間部分、または、後続部分に相当し、通常、３０００〜１００００程度の数で定義されることが多い。このＤＮＮ−ＨＭＭ音響モデルは、入力された音声の特徴量を、複数ノードの中間層で非線形の特徴量に変換後、出力層で３０００〜１００００程度のＨＭＭ状態ｓの尤度を出力する。

このため、事例モデル生成装置２００（後述）で、学習用の音声信号の特徴量から、ＤＮＮ−ＨＭＭ音響モデル（以下、ｇ_ｓと表記する。）を基に、各時間フレームｉに対する最大の尤度を与えるＨＭＭ状態のインデックスの系列(最尤ＨＭＭ状態系列)ｓ_ｉが求められる。該求められたインデックスｓ_ｉの時間系列（セグメント）が、事例モデルＭｓの一つとなる。この事例モデルＭｓは、最尤ＨＭＭ状態系列ｓ_ｉの集合とＤＮＮ−ＨＭＭ音響モデルｇ_ｓとを用いて以下の（１）式に示すように表される。

なお、ｓ_ｉは、ｉ番目のフレームの特徴量ｋ_ｉに対して最大の尤度を与えるＨＭＭ状態のインデックスである。Ｉは学習用の音声信号の総フレーム数を表す。例えば、１時間の学習データを仮定すると、Ｉ＝３．５×１０^５となる。

そして、事例モデルに含まれるセグメントの例を説明する。図２は、セグメントの一例を説明するための図である。例えば、図２に示すセグメントの各セルは、Ｉフレームのうちｉ番目の時間フレームに対応する。各セル内の数字は最大の尤度を与えるＨＭＭ状態のインデックスｓ_ｉを表す。

次に、図１に戻り、フーリエ変換部１０２の説明を行う。フーリエ変換部１０２は、入力信号をフレームごとに振幅スペクトルに変換する。入力信号として、雑音及び残響を含む音声信号がフーリエ変換部１０２に入力される。まず、フーリエ変換部１０２は、入力信号の波形データを短い時間幅で切り出す。例えば、フーリエ変換部１０２は、３０（ｍｓｅｃ）程度の短時間ハミング窓等の窓関数を掛け合わせて入力信号を短い時間幅で切り出す。続いて、フーリエ変換部１０２は、切り出した入力信号に離散フーリエ変換処理を実行し、振幅スペクトルに変換する。なお、振幅スペクトルとは、周波数スペクトルの振幅データのことである。フーリエ変換部１０２は、変換後の振幅スペクトルを、特徴量生成部１０３及び音声強調フィルタリング部１０５に入力する。

特徴量生成部１０３は、フーリエ変換部１０２から出力された振幅スペクトルから特徴量ｙ_ｔを生成する。言い換えると、特徴量生成部１０３は、フーリエ変換部１０２から入力された振幅スペクトルから特徴量ｙ_ｔのセグメントを生成する。なお、ｔは、処理対象のフレームとする。特徴量生成部１０３は、フーリエ変換部１０２から出力された振幅スペクトルの全てを、例えば、メル周波数ケプストラム係数に変換する。これによって、入力信号は、フレームごとに、特徴量ベクトルのセグメントとして表される。

ここで、一般的に使用されているメル周波数ケプストラム係数は、１０〜２０次程度である。信号処理装置１００では、事例モデルＭｓを正確に表すために、一般的に使用されている次数よりも高い次数（例えば、３０〜１００次程度）のメル周波数ケプストラム係数を用いる。このため、特徴量生成部１０３は、フーリエ変換部１０２から出力された振幅スペクトルの全てを、例えば、３０〜１００次程度のメル周波数ケプストラム係数に変換する。なお、特徴量生成部１０３は、メル周波数ケプストラム係数以外の特徴量（例えば、ケプストラム係数等）を用いてもよい。特徴量生成部１０３は、生成した特徴量ｙ_ｔを、マッチング部１０４に入力する。

マッチング部１０４は、特徴量ｙ_ｔを入力とし、ＤＮＮ−ＨＭＭ音響モデルｇ_ｓを用いて出力された出力結果と、事例モデル記憶部１０１に記憶された事例モデルＭｓとを照合（マッチング）し、入力信号に対応するクリーン音声特徴量を求める。マッチング部１０４は、入力された入力音声の特徴量ｙ_ｔのＤＮＮ−ＨＭＭ音響モデルからの出力結果に対し、高い類似度を示した事例モデルＭｓに対応するクリーン音声を収音目的の音声信号候補としていく。

具体的には、マッチング部１０４は、ＤＮＮ−ＨＭＭ音響モデルに入力音声の特徴量ｙ_ｔを入力し、ＤＮＮ−ＨＭＭ音響モデルが出力したＨＭＭ状態ｓの尤度と事例モデル記憶部１０１に記憶された事例モデルの最尤ＨＭＭ状態系列ｓ_ｉとを照合し、高い類似度を示した事例モデルＭｓに対応するクリーン音声特徴量を、入力信号に対応するクリーン音声の特徴量として求める。

言い換えると、マッチング部１０４は、事例モデル記憶部１０１の事例モデルの中から、ＤＮＮ−ＨＭＭ音響モデルから出力されたＨＭＭ状態の尤度に対して最も高い尤度をとるセグメントを探索する。マッチング部１０４は、探索により見つかった事例モデル中のセグメントについての情報を、音声強調フィルタリング部１０５に入力する。なお、マッチング部１０４の処理の詳細については、後述する。

音声強調フィルタリング部１０５は、マッチング部１０４によって求められたクリーン音声特徴量から構成されるフィルタを入力信号に乗算した強調音声信号を出力する。具体的には、音声強調フィルタリング部１０５は、マッチング部１０４が探索した事例モデルＭｓのセグメントの特徴量に対応するクリーン音声の振幅スペクトルを、入力信号に最も類似するクリーン音声の振幅スペクトルとみなし、事例モデル記憶部１０１から、このクリーン音声の振幅スペクトルを読み出す。続いて、音声強調フィルタリング部１０５は、読み出したクリーン音声の振幅スペクトルを用いて音声強調のためのフィルタを作成し、該フィルタを用いて入力信号をフィルタリングする。この結果、音声強調フィルタリング部１０５から、入力信号から音響歪みが除去された強調音声信号が出力される。

［マッチング部の処理］
次に、マッチング部１０４の処理について詳細に説明する。図３は、図１に示すマッチング部１０４の処理を説明する図である。

図３に示すように、マッチング部１０４への入力は、雑音や残響の影響を受けた入力音声の特徴量ｙ_ｔである。ｙ_ｔは、例えば、メル周波数ケプストラム係数や、フィルタバンク係数などである。

音声認識に用いるメル周波数ケプストラム係数の次元数は１３次元程度で、そのΔ及びΔΔ係数も同時に使用されることが多い。このため特徴量ｙ_ｔの合計の次元は、１３次元の３倍の３９次元となる。ＤＮＮ−ＨＭＭ音響モデルへ入力される場合は、該等フレームだけでなく、例えば、その前後５フレームを含む合計１１フレーム分の特徴量が一度に入力されることが多い。その場合には、特徴量ｙ_ｔの次元数は、３９次元の１１倍である４２９次元となる。

また、入力がフィルタバンク係数の場合はさらに次元数が多く、基本の次元数が４０次元、そのΔ及びΔΔを考慮することで４９次元の３倍である１２０次元となる。さらに、該当フレームの前後５フレームを含めた合計１１フレームを考慮することで、合計１３２０次元の特徴量ｙ_ｔとなる。

この特徴量ｙ_ｔがマッチング部１０４におけるＤＮＮ−ＨＭＭ音響モデルに入力される。なお、ＤＮＮ−ＨＭＭ音響モデルの入力層のノード数は、特徴量ｙ_ｔの次元数に等しい。そして、入力された特徴量ｙ_ｔは、例えば２０４８ノード、典型的には、５〜１０層程度の中間層による非線形の特徴量変換を経て，出力層で、例えば、３０００〜１００００ノード程度のＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）が求められる。ｐ（ｙ_ｔ｜ｓ）は具体的には、以下に示す（２）式及び（３）式によって計算される。

ここで，ｚ_ｓ ^Ｌ（ｙ_ｔ）は、特徴量ｙ_ｔが与えられた際の、出力層(ＤＮＮ−ＨＭＭ音響モデルのＬ層目)のｓ番目のノード（ＨＭＭ状態ｓに相当）の活性値である。Ｐ（ｓ）は、ＨＭＭ状態ｓの事前確率である。Ｐ（ｓ）は、事例モデルＭｓに含まれる。ｗ_ｓ，ｒ ^Ｌは最終の中間層（ＤＮＮ−ＨＭＭ音響モデルの（Ｌ−１）層目）のｒ番目のノードから出力層（第Ｌ層）のｓ番目のノードの間の重み係数である。ｆ(・)は、活性化関数（典型的にはシグモイド関数）である。ｂ_ｓ ^Ｌは，出力層（第Ｌ層）のｓ番目のノードのバイアス値である。なお、ＤＮＮ−ＨＭＭ音響モデルによるｙ_ｔからのｐ（ｙ_ｔ｜ｓ）の求め方については、例えば、非特許文献２に詳述されている。

マッチング部１０４は、ＤＮＮ−ＨＭＭ音響モデルの出力層から出力されたＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）と、事例モデル記憶部１０１が記憶する事例モデルＭｓとをマッチングするマッチング処理を行う。そして、マッチング部１０４は、出力層から出力されたＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）と、高い類似度を示した事例モデルＭｓを探索し、該探索した事例モデルＭｓに対応するクリーン音声を収音目的の音声信号候補としていく。

入力信号の特徴量のＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）と一番近い事例モデルＭｓの最尤ＨＭＭ状態系列の探索方法の一例を説明する。例えば、マッチング部１０４は、事例モデル記憶部１０１の事例モデルの中から、ＤＮＮ−ＨＭＭ音響モデルから出力されたＨＭＭ状態の尤度を、最尤ＨＭＭ状態系列であるセグメントのそれぞれに対応させ、出力されたＨＭＭ状態の尤度に対して最も高い尤度をとるセグメントを抽出する。言い換えると、マッチング部１０４は、事例モデル記憶部１０１の事例モデルの中から、ＤＮＮ−ＨＭＭ音響モデルから出力されたＨＭＭの状態番号列を、最尤ＨＭＭ状態系列のそれぞれのセグメントに当てはめ、出力されたＨＭＭの状態番号列に対して最も高い尤度をとるセグメントを抽出する。

また、マッチング部１０４は、入力信号の特徴量のＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）と事例モデルＭｓの中のあるセグメントである最尤ＨＭＭ状態系列との距離、例えば、ユークリッド距離などを基に、事例モデルＭｓを探索してもよい。

そして、マッチング部１０４は、探索した事例モデルＭｓのセグメント、すなわち、入力信号に含まれるクリーン音声に最も類似するクリーン音声系列を与えると思われる事例モデルＭｓのセグメントについての情報を、音声強調フィルタリング部１０５に入力する。これによって、音声強調フィルタリング部１０５は、セグメントに対応する事例モデル記憶部１０１内のクリーン音声の振幅スペクトルを用いて、音声強調のためのフィルタを作成し、該フィルタで入力信号をフィルタリングすることによって、強調音声信号を出力する。

このように、実施の形態に係る信号処理装置１００では、セグメント探索を、ＤＮＮ−ＨＭＭ音響モデルから出力されたＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）を用いて行う。このＤＮＮ−ＨＭＭ音響モデルは、高い耐雑音性を持つ。言い換えると、ＤＮＮ−ＨＭＭ音響モデルは、入力音声の特徴量が雑音や残響の影響を受けていたとしても、高精度でＨＭＭの状態番号を推定することが可能である。したがって、信号処理装置１００では，高い耐雑音性を有するＤＮＮ−ＨＭＭ音響モデルを用いることで，雑音や残響に頑健なセグメント探索、すなわち、雑音や残響の影響を受けにくいセグメント探索を行う。そこで、次に、信号処理装置１００においてＤＮＮ−ＨＭＭ音響モデルを用いた信号処理方法の手順について説明する。

［信号処理装置における信号処理方法］
次に、信号処理装置１００における信号処理方法について説明する。図４は、図１に示す信号処理装置１００が実行する信号処理方法の処理手順を示すフローチャートである。

まず、フーリエ変換部１０２は、入力信号を振幅スペクトルに変換するフーリエ変換処理（ステップＳ１）を行う。特徴量生成部１０３は、フーリエ変換部１０２から出力された振幅スペクトルから、メル周波数ケプストラム係数等の特徴量を生成する特徴量生成処理（ステップＳ２）を行う。

マッチング部１０４は、特徴量生成部１０３が生成した特徴量をＤＮＮ−ＨＭＭ音響モデルに入力し、ＤＮＮ−ＨＭＭ音響モデルから出力されたＨＭＭ状態の尤度と、事例モデル記憶部１０１の事例モデルＭｓの最尤ＨＭＭ状態系列とをマッチングし、高い類似度を示した事例モデルＭｓに対応するクリーン音声を収音目的の音声信号候補とするマッチング処理を行う（ステップＳ３）。

音声強調フィルタリング部１０５は、マッチング部１０４が探索した事例モデルＭｓのセグメントの特徴量に対応するクリーン音声の振幅スペクトルを用いて音声強調のためのフィルタを作成し、該フィルタを入力信号に乗算した強調音声を出力する音声強調フィルタリング処理（ステップＳ４）を行う。

［事例モデル作成装置の構成］
次に、信号処理装置１００の事例モデル記憶部１０１に記憶される事例モデルＭｓを生成する事例モデル生成装置２００について説明する。この事例モデル生成装置２００においても、例えば、学習用の音声信号から生成されたメル周波数ケプストラム係数等の特徴量ｙ_ｔに対し、高い耐雑音性を持つＤＮＮ−ＨＭＭ音響モデルを用いて学習を行い、事例モデルＭｓの生成を行っている。

図５は、事例モデル生成装置２００の機能構成の一例を示すブロック図である。図５に示す事例モデル生成装置２００は、例えば、ＲＯＭ、ＲＡＭ、ＣＰＵ等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。事例モデル生成装置２００は、フーリエ変換部２０１、特徴量生成部２０２、ＤＮＮ−ＨＭＭ音響モデル学習部２０３（学習部）、及び、最尤ＨＭＭ状態計算部２０４を有する。

まず、事例モデル生成装置２００に入力される学習用の音声信号について説明する。事例モデル生成装置２００に入力される信号は、様々な雑音／残響環境の音声信号である。この様々な雑音／残響環境の音声信号の中には、クリーン環境の音声信号が含まれている。具体的には、音声コーパスなどから得られる大量のクリーン音声と、種々の環境で得られる雑音及び残響データ（雑音信号の波形や、室内インパルス応答等）とを用い、さまざまな環境での観測信号を模擬生成した模擬観測信号が、学習用の音声信号として事例モデル生成装置２００に入力される。これらの学習用の音声信号のそれぞれについて以下の処理が行われる。

フーリエ変換部２０１及び特徴量生成部２０２は、図１に示す信号処理装置１００におけるフーリエ変換部１０２及び特徴量生成部１０３とそれぞれ同様の処理を、学習用の音声信号に対して実行する。なお、フーリエ変換部２０１は、入力音声がクリーン音声の場合には、クリーン音声の振幅スペクトルを、事例モデルＭｓの一部として、信号処理装置１００の事例モデル記憶部１０１に格納する。

ＤＮＮ−ＨＭＭ音響モデル学習部２０３は、特徴量生成部２０２が生成した特徴量を用いて、ＤＮＮに基づくＨＭＭ音響モデルを学習する。ＤＮＮ−ＨＭＭ音響モデル学習部２０３は、ＤＮＮに基づくＨＭＭ音響モデルに特徴量を入力して学習を行い、ＤＮＮに基づくＨＭＭ音響モデルが出力したＨＭＭ状態の尤度を取得する。ＤＮＮ−ＨＭＭ音響モデル学習部２０３は、特徴量生成部２０２が生成した特徴量ｙ_ｔを学習データとしてＤＮＮ−ＨＭＭ音響モデルに入力し、ＤＮＮ−ＨＭＭ音響モデルから出力されたＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）を、最尤ＨＭＭ状態計算部２０４に出力する。この際、ＤＮＮ−ＨＭＭ音響モデル学習部２０３は、信号処理装置１００のマッチング部１０４において、（２）式に示すように、ＨＭＭ状態ｓの事前確率Ｐ（ｓ）を用いた計算処理を行うため、ＨＭＭ状態ｓの事前確率Ｐ（ｓ）も生成し、事例モデルの一部として、信号処理装置１００の事例モデル記憶部１０１に格納する。

最尤ＨＭＭ状態計算部２０４は、ＤＮＮ−ＨＭＭ音響モデル学習部２０３が出力したＤＮＮ−ＨＭＭ音響モデルｇ_ｓ、すなわち、ＨＭＭ状態の尤度ｐ（ｙ_ｔ｜ｓ）を基に、時間フレームごとの特徴量に対して最大の尤度を与えるＨＭＭ状態のインデックスであるｓの系列(最尤ＨＭＭ状態系列)を計算する。最尤ＨＭＭ状態計算部２０４は、各時間フレームｉに対する最大の尤度を与えるＨＭＭ状態のインデックスの系列(最尤ＨＭＭ状態系列)ｓ_ｉを求め、該求めたインデックスｓ_ｉの時間系列（セグメント）を、ＤＮＮ−ＨＭＭに基づく事例モデルＭｓとして、信号処理装置１００の事例モデル記憶部１０１に格納する。

［事例モデル生成処理］
次に、事例モデル生成処理について説明する。図６は、図５に示す事例モデル生成装置２００による事例モデル生成処理の処理手順を示すフローチャートである。

事例モデル生成装置２００において、フーリエ変換部２０１及び特徴量生成部２０２は、入力された学習用の音声信号に対し、図４に示すステップＳ１，Ｓ２と同様の手順でステップＳ１１，Ｓ１２の処理を行う。

ＤＮＮ−ＨＭＭ音響モデル学習部２０３は、前段の特徴量生成部２０２から入力された特徴量を用いてＤＮＮ−ＨＭＭ音響モデルの学習処理を行い（ステップＳ１３）。また、ＤＮＮ−ＨＭＭ音響モデル学習部２０３は、ＨＭＭ状態ｓの事前確率Ｐ（ｓ）も計算する。

続いて、最尤ＨＭＭ状態計算部２０４は、ＤＮＮ−ＨＭＭ音響モデルが出力したＨＭＭ状態の尤度を基に、時間フレームごとの特徴量に対して最大の尤度を与えるＨＭＭ状態のインデックスであるｓの系列(最尤ＨＭＭ状態系列)を事例モデルＭｓとして計算する最尤ＨＭＭ状態計算処理を行う（ステップＳ１４）。そして、事例モデル生成装置２００は、この最尤ＨＭＭ状態系列を事例モデルＭｓとして信号処理装置１００の事例モデル記憶部１０１に格納する格納処理を行う（ステップＳ１５）。

このように、事例モデル生成装置２００では、信号処理装置１００に対応させて、ＤＮＮ−ＨＭＭ音響モデルを用いた事例モデルＭｓの生成を行っている。したがって、信号処理装置１００では、高い耐雑音性を反映した事例モデルＭｓを使用したマッチング処理を実行することができる。

［実施の形態の効果］
本実施の形態に係る信号処理装置１００では、ＤＮＮ−ＨＭＭ音響モデルを用いて信号処理を行っている。このＤＮＮ−ＨＭＭ音響モデルは、高い耐雑音性を持つ。具体的には、信号処理装置１００では、入力信号の特徴量をＤＮＮ−ＨＭＭ音響モデルに入力し、ＤＮＮ−ＨＭＭ音響モデルによる出力結果と、事例モデル記憶部１０１に記憶された事例モデルＭｓとを照合して、入力信号に対応するクリーン音声特徴量を求めている。

前述したように、ＤＮＮ−ＨＭＭ音響モデルは、高い耐雑音性を持つ。言い換えると、ＤＮＮ−ＨＭＭ音響モデルは、入力音声の特徴量が雑音や残響の影響を受けていたとしても、高精度でＨＭＭの状態を推定することが可能である。したがって、信号処理装置１００では、高い耐雑音性を有するＤＮＮ−ＨＭＭ音響モデルを用いることで，雑音や残響に頑健なセグメント探索、すなわち、雑音や残響の影響を受けにくいセグメント探索を行うことが可能になる。また、事例モデル生成装置２００では、信号処理装置１００に対応させて、ＤＮＮ−ＨＭＭ音響モデルを用いた事例モデルＭｓの生成を行っている。したがって、信号処理装置１００では、高い耐雑音性を反映した事例モデルＭｓを使用したマッチング処理を実行することができる。

このように、本実施の形態によれば、入力信号に類似するクリーン音声の探索に対する雑音や残響の影響を低減でき、入力信号に類似するクリーン音声を精度よく探索することが可能になる。

［変形例］
本実施の形態では、ＤＮＮ−ＨＭＭ音響モデルを用いた場合を説明した。このＤＮＮ−ＨＭＭ音響モデルは、いわゆるfully-connected feed forward neural networkに基づくものであるが、本実施の形態では、その他の構造のNeural Networkに基づく音響モデルを用いることも可能である。例えば、本実施の形態では、例えば、Convolutional Neural Network（ＣＮＮ：畳み込みニューラルネットワーク）に基づく音響モデル、Recurrent Neural Network（ＲＮＮ：再帰的ニューラルネットワーク）に基づく音響モデル、ＬＳＴＭ(Long Short-Term Memory)に基づくＲＮＮの音響モデルであってもよい。

この場合には、事例モデル記憶部１０１は、雑音又は音響歪みを含む音声或いはクリーン音声を、ＣＮＮに基づく音響モデル、ＲＮＮに基づく音響モデル、または、ＬＳＴＭに基づくＲＮＮ音響モデルのいずれか一つを用いて学習した事例モデルを記憶する。そして、マッチング部１０４は、特徴量を、ＣＮＮに基づく音響モデル、ＲＮＮに基づく音響モデル、または、ＬＳＴＭに基づくＲＮＮ音響モデルのいずれか一つに入力し、いずれか一つのNeural Networkによる出力結果と、事例モデル記憶部１０１に記憶された事例モデルとを照合する。

また、上記の説明では、ＤＮＮ−ＨＭＭ音響モデルまたはその他のＮＮ構造に基づく音響モデルは、事例モデル生成装置にて学習されるものとしたが、これは必須ではなく、例えば非特許文献２に記載の方法で別途学習された既存の音響モデルを事例モデル生成装置にて使用することも可能である。これらの音響モデルは必ずしも上記の模擬観測信号ではなく、雑音や残響を元来含む音声信号で学習されたものでもよい。

また、本実施の形態では、マッチング部１０４は、入力信号を２つに分割し、前半部分と後半部分とのそれぞれについてマッチング処理を行ってもよい。なお、入力信号の分割については、例えば、出願人による特許第６１３９４２９号公報或いは出願人による特許第６１３９４３０号公報を参照されたい。

［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、信号処理装置１００及び事例モデル生成装置２００は、一体の装置であってもよい。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。また、本実施形態において説明した各処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
図７は、プログラムが実行されることにより、信号処理装置１００或いは事例モデル生成装置２００が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０４１に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、信号処理装置１００或いは事例モデル生成装置２００の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０３１に記憶される。例えば、信号処理装置１００或いは事例モデル生成装置２００における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。なお、ハードディスクドライブ１０３１は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

１００，１００Ｐ 信号処理装置
１０１，１０１Ｐ 事例モデル記憶部
１０２，１０２Ｐ フーリエ変換部
１０３，１０３Ｐ 特徴量生成部
１０４，１０４Ｐ マッチング部
１０５，１０５Ｐ 音声強調フィルタリング部
２００，２００Ｐ 事例モデル生成装置

Claims (8)

1. 雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、Neural Networkに基づく音響モデルを用いて出力された事例モデルを記憶する記憶部と、
   入力信号から特徴量を生成する特徴量生成部と、
   前記特徴量を入力とし、前記Neural Networkに基づく音響モデルを用いて出力された出力結果と、前記記憶部に記憶された事例モデルとを照合し、前記入力信号に対応するクリーン音声特徴量を求める照合部と、
   前記照合部によって求められたクリーン音声特徴量から構成されるフィルタを前記入力信号に乗算した強調音声を出力する出力部と、
   を有することを特徴とする信号処理装置。
2. 前記記憶部及び前記照合部は、雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、ＤＮＮ（Deep Neural Network）に基づくＨＭＭ(Hidden Markov Model)音響モデルを用いることを特徴とする請求項１に記載の信号処理装置。
3. 前記記憶部及び前記照合部は、ＣＮＮ（Convolutional Neural Network）に基づく音響モデル、ＲＮＮ（Recurrent Neural Network）に基づく音響モデル、または、ＬＳＴＭ(Long Short-Term Memory)に基づくＲＮＮ音響モデルのいずれか一つを用いることを特徴とする請求項１に記載の信号処理装置。
4. 学習用の入力信号から特徴量を生成する特徴量生成部と、
   前記特徴量を用いてＤＮＮに基づくＨＭＭ音響モデルを学習する学習部と、
   前記ＤＮＮに基づくＨＭＭ音響モデルが出力したＨＭＭ状態の尤度を基に、時間フレームごとの特徴量に対して最大の尤度を与えるＨＭＭ状態のインデックスの系列を事例モデルとして計算する最尤ＨＭＭ状態計算部と、
   を有することを特徴とする事例モデル生成装置。
5. 入力信号の特徴量をＤＮＮに基づくＨＭＭ音響モデルに入力し、前記ＤＮＮに基づくＨＭＭ音響モデルによる出力結果と、雑音又は音響歪みを含む音声或いはクリーン音声をＤＮＮに基づくＨＭＭ音響モデルを用いて学習した事例モデルとを照合し、前記入力信号に対応するクリーン音声特徴量を求める照合部
   を有することを特徴とする照合装置。
6. 信号処理装置で実行される信号処理装置であって、
   前記信号処理装置は、雑音又は音響歪みを含む音声或いはクリーン音声を入力とし、ＤＮＮに基づくＨＭＭ音響モデルを用いて出力された事例モデルを記憶する記憶部を有し、
   入力信号から特徴量を生成する特徴量生成工程と、
   前記特徴量をＤＮＮに基づくＨＭＭ音響モデルに入力し、前記ＤＮＮに基づくＨＭＭ音響モデルによる出力結果と、前記記憶部に記憶された事例モデルとを照合し、前記入力信号に対応するクリーン音声特徴量を求める照合工程と、
   前記照合工程において求められたクリーン音声特徴量から構成されるフィルタを前記入力信号に乗算した強調音声を出力する出力工程と、
   を含んだことを特徴とする信号処理方法。
7. 事例モデル生成装置によって実行される信号処理方法であって、
   学習用の入力信号から特徴量を生成する特徴量生成工程と、
   前記特徴量を用いてＤＮＮに基づくＨＭＭ音響モデルを学習する学習工程と、
   前記ＤＮＮに基づくＨＭＭ音響モデルが出力したＨＭＭ状態の尤度を基に、時間フレームごとの特徴量に対して最大の尤度を与えるＨＭＭ状態のインデックスの系列を事例モデルとして計算する最尤ＨＭＭ状態計算工程と、
   を含んだことを特徴とする信号処理方法。
8. コンピュータを、請求項１〜３のいずれか一つに記載の信号処理装置、請求項４に記載の事例モデル生成装置、及び、請求項５に記載の照合装置のいずれかとして機能させるための信号処理プログラム。