JP2015118361A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】 単一チャネルの音声信号から不要音を分離したり、雑音を除去すること可能にする技術を提供する。
【解決手段】 情報処理装置は、音声信号を時間周波数表現に変換した行列を得る変換手段と、行列を少なくとも非負値の基底行列と非負値のアクティビティ行列に分解する分解手段と、アクティビティ行列の各行を構成するアクティビティベクトルを、その特性によって分類する分類手段と、分類の結果に応じて、音声信号を複数の音声信号に分離する分離手段とを備える。
【選択図】 図１

Description

本発明は、音源分離ないし雑音除去を行う情報処理装置、情報処理方法、及びプログラムに関する。

デジタルビデオカメラや最近ではデジタルカメラにおいても動画撮影ができるようになり、同時に音声が録音される機会が増えてきている。録音されている音声は撮影中に確認することが困難なため、撮影後に音を再生してみると雑音が混じっていたり、他の音が強すぎて聴きたい音が隠れてしまっていることがあった。そのため、目的音と不要な音の成分を分離したり、雑音成分を除去する技術が提案されている。

例えば、音源の方向性の情報を用いて複数のマイクロホン信号を信号処理することにより、目的の音声を強調して取り出す、あるいは非目的音を抑制する技術であるビームフォーマが知られている（非特許文献１を参照）。また、撮影中に混入する風雑音を除去する手法として、並列に収音された複数の音響信号について非負値行列因子分解を行う構成が提案されている（特許文献１を参照）。この構成は、第１音響信号の基底行列の複数の基底のうち第２音響信号の基底行列の基底との相関が高い基底を、第１音響信号の雑音成分に対応する雑音基底として特定し、当該雑音基底に基づき第１音響信号の雑音成分を抑圧する。

特開２０１１−２２７４１７号公報

浅野太著、「音のアレイ信号処理―音源の定位・追跡と分離―」、音響テクノロジーシリーズ１６、コロナ社、2011年2月25日、p．70−105

上記従来の構成は、複数チャンネルの音声信号を入力して信号処理を行う。しかし、デジタルカメラを含む録音装置の中にはマイクロホンが一つしかないものがある。このような録音装置により録音された音声に対しては、上記の複数のマイクロホン信号を用いた構成を適用することができないため、不要な音を分離したり、風雑音のような非定常の雑音を除去することができなかった。

本発明はかかる課題を解決するためになされたものであり、単一チャネルの音声信号から不要音を分離したり、雑音を除去すること可能にする技術を提供することを目的とする。

上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
音声信号を時間周波数表現に変換した行列を得る変換手段と、
前記行列を少なくとも非負値の基底行列と非負値のアクティビティ行列に分解する分解手段と、
前記アクティビティ行列の各行を構成するアクティビティベクトルを、その特性によって分類する分類手段と、
前記分類の結果に応じて、前記音声信号を複数の音声信号に分離する分離手段と
を備える。

本発明によれば、単一チャネルの音声信号から、アクティビティの特性が異なる音源同士を分離することができ、さらに分離した雑音成分を用いて雑音を除去することができる。

音源分離装置の構成を示すブロック図 アクティビティの特性を説明する図 アクティビティの分類を説明する図 アクティビティの分類の閾値を説明する図 音源分離処理の手順を示すフローチャート サブスペクトログラム生成における重み係数を説明する図 操作入力部を備えた音源分離装置の構成を示すブロック図 雑音除去装置の構成を示すブロック図 雑音除去処理の手順を示すフローチャート 雑音除去装置の他の構成を示すブロック図 サンプルから複数のアクティビティベクトルを抽出する例を示す図 アクティビティ分類部の構成例を示すブロック図 雑音除去装置の構成を示すブロック図 スペクトログラム結合を説明する図 雑音除去処理の手順を示すフローチャート

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜実施形態１＞＞
（音源分離装置の構成）
図１は本発明の実施形態１に係る音源分離装置の構成をブロック図で示したものである。本実施形態の音源分離装置１００は、入力部１１０、ＴＦ変換部１２０、ＮＭＦ部１３０、アクティビティ分類部１４０、サブスペクトログラム生成部１５０、逆ＴＦ変換部１６０、出力部１７０を有する。音源分離装置１００は、例えば、コンピュータやデジタルカメラ、録音装置、ボイスレコーダ、組込みシステム等のＣＰＵ（中央演算処理装置）を備えた情報処理装置により実現することができる。図１に示す各機能ブロックは、音源分離装置１００のＣＰＵ（不図示）がコンピュータプログラムに基づきメモリ、信号処理部等の他の構成要素と協働することにより実現される。

●入力部１１０
入力部１１０は、音声信号と雑音信号とが混合した信号の記録されたデータを読み込み、ＴＦ変換部１２０に出力する。以下、音声信号と雑音信号が混合した信号を「混合信号」という。この混合信号は、信号強度すなわち振幅と、経過時間との関係を表す情報として与えられる。

●ＴＦ変換部１２０
ＴＦ変換部１２０は、入力部１１０から入力された混合信号の波形信号を時間周波数表現に変換し（「時間周波数変換」という）、ＮＭＦ部１３０へ出力する。ここで、時間周波数表現とは、信号を、その周波数と経過時間との関係により表したものをいう。例えば、スペクトログラムは時間周波数表現の一つである。スペクトログラムとは、入力された時間波形信号に対して所定時間長ずつ時間区間をずらしながら窓関数を適用して切り出し、切り出した信号に対してＦＦＴ等により周波数変換した周波数スペクトルを時系列に並べたデータである。ここで、ＦＦＴは高速フーリエ変換（Fast Fourier Transform）の略称である。

ＮＭＦ部１３０は、ＴＦ変換部１２０の出力信号に対して、非負値の基底行列と非負値のアクティビティ行列とを含む成分に分解する処理を行う。このような処理として、例えば、ＴＦ変換部１２０から出力されたスペクトログラムの振幅成分に対して非負値行列因子分解（以下、「ＮＭＦ」（Non-Negative Matrix Factorization）という）を行うことができる。ＮＭＦは非負値の行列（ここではスペクトログラムの振幅成分）を非負値の基底行列と非負値のアクティビティ行列の積として近似する手法である。ＮＭＦの処理手順の詳細は、例えば、非特許文献２を参照されたい。以下の説明において、基底行列およびアクティビティ行列はいずれも非負値の行列である。

Daniel D. Lee, "Algorithms for Non-negative Matrix Factorization", In NIPS, 2000, p. 556-562.

数１は、スペクトログラムの振幅成分Ｙを、ＮＭＦにより基底行列とアクティビティ行列の積で近似する式を示している。

ここで、Ｙはスペクトログラムを表し、Ｈは基底行列、Ｕはアクティビティ行列を表す。ＹがＭ＊Ｎ（Ｍ行，Ｎ列）の行列であるとすると、ＨはＭ＊Ｋ（Ｍ行，Ｋ列、Ｋは基底数と呼ばれる）、ＵはＫ＊Ｎ（Ｋ行，Ｎ列）の行列となる。
基底行列ＨはＫ個の基底ベクトルｈ_n（基底スペクトル）からなる。ただし、ｎ＝１,２,３,...,Ｋであり、ｈ_nは周波数スペクトルを表すＭ次元のベクトルである。
（数２）
Ｈ＝［ｈ₁ ... ｈ_K］
アクティビティ行列はＫ個のアクティビティベクトルｕ_n（重みベクトル）からなる。ただし、ｎ＝１,２,３,...,Ｋであり、ｕ_nは基底ベクトルｈ_nの時間変動を表すＮ次元のベクトルである。
（数３）
Ｕ＝［ｕ₁ ... ｕ_K］^T
ここで、Ｔは転置行列を表す。また、基底ベクトルおよびアクティビティベクトルは非負値のベクトルとなる。

●ＮＭＦ部１３０
ＮＭＦ部１３０は、公知のＮＭＦの手法を適用して、スペクトログラムＹから、（数１）の関係を有する基底行列Ｈおよびアクティビティ行列Ｕを算出する。そして、算出した基底行列Ｈおよびアクティビティ行列Ｕと混合信号のスペクトログラムの位相成分とを、アクティビティ分類部１４０及びサブスペクトログラム生成部１５０へ出力する。

●アクティビティ分類部１４０
アクティビティ分類部１４０は、ＮＭＦ部１３０から出力された非負値のアクティビティ行列の各行からなるアクティビティベクトルを、その特性によって少なくとも２つ以上のグループに分類する。アクティビティの特性は、例えばアクティビティの周波数特性によって分類することができる。例えば、雑音除去を目的とする場合、雑音と音声のグループに分類する。

周波数特性を用いたアクティビティベクトルの分類手法について図２を用いて説明する。図２(ａ)は雑音のアクティビティの一例を表し、図２(ｂ)は音声信号のアクティビティの一例を表す。図２(ｃ)は雑音のアクティビティの一部を拡大した図を表し、図２(ｄ)は音声のアクティビティの一部を拡大した図を表す。図２(ｅ)は雑音のアクティビティの周波数特性を表し、図２(ｆ)は音声のアクティビティの周波数特性を表したものである。図２（ｇ）は図２(ｅ)で示される雑音のアクティビティの周波数特性の低域成分の平均値と高域成分の平均値を示し、図２（ｈ）は図２(ｆ)で示される音声のアクティビティの周波数特性の低域成分の平均値と高域成分の平均値を示している。具体的には、図２(ｇ)(ｈ)は雑音のアクティビティの周波数特性の低域成分の平均レベル１００１、高域成分の平均レベル１００２、音声のアクティビティの周波数特性の低域成分の平均レベル１００３、高域成分の平均レベル１００４を示している。なお、周波数特性の低域成分と高域成分との境界となる基準周波数は、アクティビティ分類部１４０に予め設定されている。周波数特性の低域成分の平均レベル１００３は基準周波数未満の周波数特性の平均値であり、高域成分の平均レベル１００４は基準周波数以上の周波数特性の平均値である。図２(ｇ)(ｈ)に示すように一般的に雑音のアクティビティの周波数特性は音声のアクティビティの周波数特性に比べ周波数特性の低域成分と高域成分の大きさの差が小さい。したがって、周波数特性の低域成分の平均値と高域成分の平均値との差分を用いて、差分が小さいアクティビティベクトルを雑音に分類し、差分が大きいものを音声に分類するようにしてもよい。

アクティビティ分類部１４０が雑音と音声とに分類する際の基準となる差分の閾値について、図３を用いて説明する。図３は、混合信号のアクティビティの周波数特性の低域成分の平均値と高域成分の平均値の差分をアクティビティベクトルごとに算出し、差分の大きい順に整列したものである。サブスペクトログラム生成部１５０にはあらかじめ差分の閾値が設定されており、差分が当該閾値を超えるものをと超えないものとにアクティビティを分類する。図３の例では、差分が閾値を超える１〜９番目のアクティビティを音声のアクティビティとし、１０〜２０番目のアクティビティを雑音成分として分類する場合を示している。

この閾値は、例えば、事前に既知の類似データに対してＮＭＦ処理を行っておき、そのアクティビティの特性を学習データとして用いることで決定することができる。閾値の決定手法の具体例を図４を用いて説明する。図４は、事前に計測しておいたサンプルから取得された、雑音および音声のアクティビティベクトルの周波数特性の低域成分と高域成分の平均値の差分をヒストグラムで表したものである。４０１は音声の低域と高域の差分ヒストグラム、４０２は雑音の低域と高域の差分ヒストグラムをそれぞれ表している。音声と雑音のアクティビティの分類の閾値は、例えば、ヒストグラムの分布の境目を閾値として使用すればよい。

●サブスペクトログラム生成部１５０
サブスペクトログラム生成部１５０は、アクティビティ分類部１４０の分類結果と、ＮＭＦ部１３０で算出した基底ベクトル及びアクティビティ行列と、混合信号のスペクトログラムの位相成分からサブスペクトログラムを生成する。ここでサブスペクトログラムとは、混合信号に含まれる音源ごとのスペクトログラムをいい、ここでは、雑音のスペクトログラムと音声のスペクトログラムがこれにあたる。ＮＭＦを用いた音源分離では、基底あるいはアクティビティを音源ごとに分類することによって信号を分離することができる。

例えば、アクティビティを雑音と音声に分類することができたとすると、アクティビティ行列は、以下のように記述することができる。
（数４）
Ｕ＝［Ｕ_S Ｕ_N］^T
ここでＵ_Sは音声に分類されたアクティビティベクトルからなる行列、Ｕ_Nは雑音に分類されたアクティビティベクトルからなる行列を表す。基底ベクトルとアクティビティベクトルとは１対１で対応しているため、基底ベクトルについても以下のように雑音の基底ベクトルからなる行列Ｈ_Sと音声の基底ベクトルからなる行列Ｈ_Nに分けることができる。
（数５）
Ｈ＝［Ｈ_S Ｈ_N］
以上の結果を用いると音源を以下のように音声と雑音のスペクトログラムを算出することができる。

Ｙ_Sは音声のサブスペクトログラム、Ｙ_Nは雑音のサブスペクトログラムを表す。

図３の例を用いると、サブスペクトログラム生成部１５０は閾値を元に、１〜９番目のアクティビティがＵ_Sと対応し、Ｕ_Sと対応する基底Ｈ_Sと積をとることによって音声のサブスペクトログラムの絶対値|Ｙ_S|を生成する。また、１０〜２０番目のアクティビティがＵ_Nと対応し、Ｕ_Nと対応する基底Ｈ_Nと積をとることによって雑音のサブスペクトログラムの絶対値|Ｙ_N|を算出する。それぞれ算出したサブスペクトログラムの絶対値に混合信号のスペクトログラムの位相成分を合わせて、逆ＴＦ変換部１６０へ出力する。

●逆ＴＦ変換部１６０
逆ＴＦ変換部１６０は、サブスペクトログラム生成部１５０で算出された、アクティビティの分類ごとのサブスペクトログラムに対して、ＴＦ変換部１２０で行った時間周波数変換の逆処理によってサブスペクトログラムを音声の波形信号に戻す。例えば、サブスペクトログラムの列ベクトルからなるスペクトルをＩＦＦＴ（Inverse-FFT、逆フーリエ変換）を用いて波形信号に変換し、所定時間長ずつ時間区間をずらしながら重ね合わせて結合すればよい。

●出力部１７０
出力部１７０は、分離された音声信号を出力する。出力部１７０は、例えば、スピーカにより構成され、分離された音声を順に再生する。

（音源分離処理）
続いて音源分離装置１００が実行する信号処理（音源分離処理）のフローを図５を用いて説明する。音源分離処理は、音源分離装置１００のＣＰＵの制御に基づき実行される。

まず、分離したい複数の音が混合した混合信号が入力される（Ｓ１０１）。入力部１１０において入力信号がアナログの場合、Ａ／Ｄ変換が行われＴＦ変換部１２０へ信号が出力される。

続いて、ＴＦ変換部１２０において、混合信号の時間周波数変換処理が行われる（Ｓ１０２）。時間周波数変換された混合信号のスペクトログラムは、ＮＭＦ部１３０へ出力される。

続いて、ＮＭＦ部１３０においてＮＭＦ処理が行われる（Ｓ１０３）。ＮＭＦ部１３０においてＴＦ変換部１２０から入力された混合信号のスペクトログラムの振幅成分からＮＭＦ処理によって基底行列とアクティビティ行列を算出する。算出したアクティビティ行列をアクティビティ分類部１４０へ出力し、基底行列とアクティビティ行列と混合信号のスペクトログラムの位相成分をサブスペクトログラム生成部１５０へ出力する。

続いて、アクティビティ分類部１４０においてＮＭＦ部１３０から出力されたアクティビティの分類が行われる（Ｓ１０４）。このステップでは入力されたアクティビティ行列のアクティビティベクトルの周波数特性に応じてアクティビティベクトルを分類する。アクティビティベクトルの分類結果はサブスペクトログラム生成部１５０に出力される。

続いて、サブスペクトログラム生成部１５０において、アクティビティ分類部１４０の分類結果に基づき分類された音源ごとのスペクトログラムであるサブスペクトログラムを生成する（Ｓ１０５）。例えば、音声と雑音の混合信号の場合、音声のスペクトログラムと雑音のスペクトログラムが生成される。生成されたサブスペクトログラムは逆ＴＦ変換部１６０へ出力される。

続いて、逆ＴＦ変換部１６０において、入力された各サブスペクトログラムを波形信号へ変換する逆ＴＦ変換処理が行われる（Ｓ１０６）。生成された複数の波形信号は出力部１７０へ出力される。

最後に、出力部１７０において分離された信号が再生される（Ｓ１０７）。

以上のように、本実施形態では、音声信号を時間周波数表現に変換した行列を取得し、当該行列を少なくとも非負値の基底行列と非負値のアクティビティ行列に分解する。さらに、アクティビティ行列の各行を構成するアクティビティベクトルを、その特性によって分類し、分類の結果に応じて、音声信号を複数の音声信号に分離する。このため、単一チャネルで録音された音声信号を、音源毎に複数の音声信号に分離することが可能となる。本実施形態では、そのような構成の一具体例として、混合信号のＮＭＦによって算出されたアクティビティベクトルをその周波数特性に基づき分類することで、単一チャンネルでも混合信号を音源ごとに分離することが可能な構成を説明した。

（変形例）
本実施形態において、入力部１１０は、混合信号が記録されたデータを読み込む例を説明したが、マイクロホンで収音された混合信号をＡ／Ｄ変換して出力するように構成してもよい。その場合、一連の処理は、所定の時間長毎に行われる。例えば、ＴＦ変換部１２０において、スペクトログラムの時系列方向のデータ数がＬ（ＬはＬ＞Ｋである実数）になるように時間長を決めるようにする。

前述の例では、処理対象の信号を入力される信号を音声信号と雑音信号の混合信号としたが、本実施形態の手法は、アクティビティの特性の異なる音の組み合わせならどのような信号にも適用可能である。例えば、楽器の演奏などの楽音と雑音やドラムとメロディー等の組み合わせでもよい。この場合、ドラムは音のエネルギーがたたいた瞬間に集中するため、アクティビティベクトルのピーク幅が狭く、メロディーはある程度音程が持続するため、アクティビティベクトルのピーク幅は広くなる傾向にある。そのためアクティビティベクトルのピーク幅を用いることで分類することができる。

本実施形態においてＴＦ変換部１２０は時間周波数変換をスペクトログラムとしたが、例えば、ウェーブレット変換など他の時間周波数変換手法を用いてもよい。時間周波数変換手法としてウェーブレット変換を用いた場合、逆ＴＦ変換部１６０では逆ウェーブレット変換をするようにする。

本実施形態において、ＮＭＦ部１３０は、ＴＦ変換部１２０から入力されたスペクトログラムの振幅成分に対してＮＭＦ処理を行ったが、非負値の基底行列とアクティビティ行列を含む成分を出力する手法であれば、ＮＭＦ処理以外の手法を用いることができる。例えば、非負行列因子デコンボリューション（以下、ＮＭＦＤ：Non-negative Matrix Factor Deconvolution）や複素非負値行列因子分解（以下、複素ＮＭＦ）を用いてもよい。ＮＭＦＤは、例えば、特許文献２に記載されている。複素ＮＭＦについては、例えば、非特許文献３を参照されたい。例えば、複素ＮＭＦを使用した場合、サブスペクトログラム生成部１５０における処理を次のように変更することができる。すなわち、本実施形態では、サブスペクトログラム生成部１５０においてサブスペクトログラムの位相成分に混合信号のスペクトログラムの位相成分を用いた。しかし、複素ＮＭＦの場合、各サブスペクトログラムの位相成分も算出されるため、算出された位相成分を使用するようにしてもよい。

特開２００５−２５８４４０号公報 亀岡弘和ら、「複素NMF： 新しいスパース信号分解表現と基底系学習アルゴリズム」、日本音響学会講演論文集2008、2-8-13、2008年9月、p657-660.

本実施形態においてアクティビティ分類部１４０ではアクティビティの周波数特性の低域成分の平均レベルと高域成分の平均レベルの差を分類の基準としたが、別の指標を分類の基準として用いてもよい。例えば、それぞれのアクティビティベクトルの周波数特性を直線で近似したときの近似直線の傾きを用いて、傾きが小さいものを雑音に分類し、傾きが大きいものを音声に分類するようにしてもよい。例えば、近似直線の傾きが所定の閾値よりも小さいアクティビティベクトルを雑音のアクティビティとして分類することができる。

また、アクティビティ分類部１４０では、アクティビティベクトルの周波数特性を用いて分類を行ったが、その他の特性を用いて分類を行ってもよい。例えば、時間特性を用いて分類してもよい。図２（ａ）（ｂ）からもわかるように、一般的に雑音信号のアクティビティは音声信号のアクティビティに比べピークの出現頻度が多い。そこで、所定時間範囲内、例えば、アクティビティベクトルの２０サンプルごと切り出し、ピークの出現頻度が多いものを雑音に分類し、ピークの出現頻度が低いものを音声に分類してもよい。例えば、ピークの出現頻度が所定の閾値よりも大きいアクティビティベクトルを雑音のアクティビティとして分類することができる。また、図２(ｃ)(ｄ)は、それぞれアクティビティの一部区間を切り出し、時間方向に拡大したものである。雑音のアクティビティのピークの幅は音声のアクティビティのピーク幅に比べ狭いので、ピークの時間幅（半値幅）の平均値を分類の基準としてもよい。例えば、アクティビティベクトルのピークの時間幅の平均値を計測し、当該平均値が所定の閾値よりも小さいアクティビティベクトルを雑音のアクティビティとして分類することができる。

さらに、アクティビティ分類部１４０では、アクティビティベクトルごとにアクティビティベクトルの微分値の絶対値の和を算出し、その値を分類の基準としてもよい。例えば、アクティビティベクトルをｕ₁＝[ｕ₁₁,...,ｕ_1n]とすると、アクティビティベクトルｕ₁の評価値は以下の式（数９）を用いて算出することができる。

ここで、アクティビティベクトルｕ₁は離散値であるため、ｄｔは、ｄｔ＝１,２,３,...の値をとる。アクティビティ分類部１４０は、上記の評価値が所定の閾値よりも大きいものを雑音に分類し、閾値よりも小さいものを音声に分類するようにしてもよい。

また、アクティビティ分類部１４０は、アクティビティベクトルから少なくとも１サンプル以上の間隔をあけてサンプル値を抽出するアクティビティ抽出手段を備えるようにしてもよい。アクティビティ抽出手段から出力されるそれぞれ等間隔で異なるサンプル値を抽出した少なくとも２つ以上のベクトルの比較によってアクティビティを分類してもよい。すなわち、アクティビティベクトルからそれぞれ一定間隔でサンプルを抽出して第１、第２のサンプルベクトルを取得し、当該第１、第２のサンプルベクトルを比較することにより、アクティビティベクトルを分類する。ここで抽出されるサンプルベクトルは、例えば２サンプルの間隔をあけた場合、それぞれアクティビティベクトルの３ｎ＋１、３ｎ＋２、３ｎ＋３番目のサンプル値からなる（ｎ＝０,１,２,３...）。３つのベクトルのうち少なくとも２つのベクトルがサンプルベクトルとして出力される。つまり、サンプルベクトルはアクティビティベクトルを構成するサンプルを所定の間隔で間引いたベクトルということができる。サンプルを抽出する間隔は分類したい音によって変わる。例えば、雑音と音声を分離する場合、あける間隔は１サンプル以上で音声のアクティビティのピーク幅よりも小さい値でなくてはならない。例えば１サンプルの間隔をあけた場合、アクティビティベクトルは奇数番目サンプルと偶数番目サンプルとに分離される。この場合、奇数番目のサンプルベクトルと偶数番目のサンプルベクトルとの比較結果を分類の基準としてもよい。例えば図１１に示すように、奇数番目のサンプルからなる奇数サンプルアクティビティベクトルと、偶数番目のサンプルからなる偶数サンプルアクティビティベクトルとを生成し、これらのベクトルの相関係数（相関値）の値を用いてアクティビティを分類してもよい。例えば、相関係数の値が所定の閾値よりも大きいものを音声に分類し、小さいものを雑音に分類することができる。

また、図１２に示すようにアクティビティ分類部１４０は前述した全ての分類法を備えてもよい。図１２において、アクティビティ分類部１４０は、周波数特性算出部１４１、時間特性算出部１４２、微分算出部１４３、相関係数算出部１４４、総合評価部１４５を備える。周波数特性算出部１４１はアクティビティベクトルの周波数特性を算出し、分類のための評価値を出力する。時間特性算出部１４２はアクティビティベクトルのピーク頻度やピーク幅を検出し、分類のための評価値を出力する。微分算出部１４３はアクティビティベクトルの微分値を算出し、分類のための評価値を出力する。相関係数算出部１４４はアクティビティベクトルから抽出したベクトルの相関を算出し、分類のための評価値を出力する。図１２のように、相関係数算出部１４４は、それぞれアクティビティベクトルを抽出する第１、第２のアクティビティ抽出部と、各アクティビティ抽出部において抽出されたアクティビティベクトルの相関係数を算出する相関係数算出部とを備えている。総合評価部１４５はこれらの時間特性及び周波数特性、微分特性、抽出したアクティビティの相関係数を評価する方法を元に分類した結果を総合的に判断し、アクティビティを分類するようにしてもよい。総合評価部１４５は、例えば、周波数特性算出部１４１、時間特性算出部１４２、微分算出部１４３、及び、抽出ベクトルの相関係数算出部１４４から出力された評価値に対して所定の重み付けを行って分類の基準を算出し、当該基準に従い分類を行うことができる。

本実施形態において、サブスペクトログラム生成部１５０は、閾値を用いてアクティビティベクトルを分離し、それぞれの音源に対するサブスペクトログラムを作成したが、重み係数による分離を行ってもよい。すなわち、アクティビティベクトルの各々について、第１のアクティビティとの関連性を示す第１の重み係数、及び、第２のアクティビティとの関連性を示す第２の重み係数を出力し、当該第１、第２の重み係数に基づいて、音声信号を分離してもよい。例えば、図３のアクティビティ番号の順番に、各アクティビティに対して雑音重みＧｎと音声重みＧｓを設定する。その上で、例えば、図６に示すようにアクティビティの周波数特性の低域成分と高域成分の平均値の差分が大きい音声信号に分類されるアクティビティでは音声重みＧｓを大きく、雑音重みＧｎを小さく設定する。逆に、アクティビティの周波数特性の低域成分と高域成分の平均値の差分が小さい雑音に分類されるアクティビティに対しては、雑音重みＧｎを大きく、音声重みＧｓを小さく設定する。これによって、雑音のサブスペクトログラムでは音声成分が抑制された信号を得ることができ、音声のサブスペクトログラムでは雑音が抑制された信号を得ることができる。雑音および音声のサブスペクトログラムは、以下のように、それぞれの基底ベクトルとアクティビティベクトルの積にそれぞれの重み係数を掛けたものの和をとることで算出する。

また、音源分離装置１００は、図７のようにさらに操作入力部１８０を備えてもよい。操作入力部１８０は、サブスペクトログラム生成部１５０の閾値あるいは重みをユーザの指示入力に応じて切り替えられるようにする。例えば、操作入力部１８０は、ロータリースイッチからなり、ロータリースイッチを一段階まわすと音声に分類されるアクティビティの数が一つ増える（あるいは減る）ようにするとよい。本実施形態の例でいうと１〜９番目のアクティビティが音声に分類されていたが、ロータリースイッチを一段階まわすことで１〜１０番目（あるいは８番目）までのアクティビティを音声に分類するように変更できるようにしてもよい。このように、アクティビティベクトルを分類するための基準を、ユーザからの指示入力に基づいて決定することで、ユーザの目的・用途に応じて適切な音声分離、雑音除去をすることが可能となる。

本実施形態において出力部１７０はスピーカとしたが、分離音声を記録する記録装置等でもよく、例えば、デジタル音声データとして記録されるように構成してもよい。

＜＜実施形態２＞＞
（雑音除去装置の構成）
図８は、本発明の実施形態２に係る雑音除去装置の構成をブロック図で示したものである。本実施形態の雑音除去装置２００は、入力部１１０、ＴＦ変換部１２０、ＮＭＦ部１３０、アクティビティ分類部１４０、サブスペクトログラム生成部１５０、逆ＴＦ変換部１６０、出力部１７０、フィルタ生成部２１０、フィルタ部２２０を有する。入力部１１０、ＴＦ変換部１２０、ＮＭＦ部１３０、アクティビティ分類部１４０、サブスペクトログラム生成部１５０、逆ＴＦ変換部１６０、出力部１７０は実施形態１と同じ構成であるため、それらの詳細な説明は省略する。雑音除去装置２００は、音源分離装置１００と同様にコンピュータ等のＣＰＵを備えた情報処理装置により実現することができる。

フィルタ生成部２１０は、分離された複数の信号からフィルタを生成しフィルタ係数をフィルタ部２２０へ出力する。例えば、分離した雑音信号と目的音信号から、雑音を抑制するウィナーフィルタを生成する。フィルタ生成部２１０は入力された雑音信号と目的音信号をそれぞれＦＦＴによってパワースペクトルを算出する。雑音信号と目的音信号のパワースペクトルを用いて周波数領域のウィナーフィルタＦを生成する。周波数領域のウィナーフィルタＦは以下の式で表すことができる。
（数１２）
Ｆ（ｆ）＝｛Ｓ（ｆ）｝／｛Ｓ（ｆ）＋Ｎ（ｆ）｝
ｆは周波数、Ｓは音声信号のパワースペクトル、Ｎは雑音のパワースペクトルを表す。

フィルタ部２２０は、入力部１１０に入力された信号に対してフィルタ生成部２１０で生成したウィナーフィルタを適用し、出力部１７０へ出力する。このようにして、分離された複数の音声信号のうち、雑音信号等の所定の音声信号を抑圧することで、雑音を低減することができる。

（雑音除去処理）
本実施形態において雑音除去装置２００が実行する信号処理（雑音除去処理）のフローを図９を用いて説明する。雑音除去処理は雑音除去装置２００のＣＰＵの制御に基づき実行される。

Ｓ２０１〜Ｓ２０６、Ｓ２０９での処理内容は、実施形態１のＳ１０１〜Ｓ１０７（図５）と同様である。すなわち、まず、入力部１１０に混合信号が入力される（Ｓ２０１）。入力された混合信号は、ＴＦ変換部１２０においてスペクトログラムに変換される（Ｓ２０２）。続いて、ＮＭＦ部１３０において、ＴＦ変換部１２０から入力されたスペクトログラムに対してＮＭＦ処理が行われ、基底行列とアクティビティ行列が出力される（Ｓ２０３）。続いて、アクティビティ分類部１４０において、アクティビティの周波数特性に応じてそれぞれのアクティビティを雑音のアクティビティと音声のアクティビティに分類される（Ｓ２０４）。続いて、アクティビティ分類部１４０から出力されるアクティビティの分類結果に基づいて、サブスペクトログラム生成部１５０において、雑音のスペクトログラムと音声のスペクトログラムがそれぞれ生成される（Ｓ２０５）。続いて、逆ＴＦ変換部１６０において、サブスペクトログラム生成部１５０から出力された音声のスペクトログラムと雑音のスペクトログラムから音声の波形信号と雑音の波形信号が生成される（Ｓ２０６）。

続いて、フィルタ生成部２１０において、雑音を除去するウィナーフィルタが生成される（Ｓ２０７）。このステップでは、分離された音声信号と雑音信号を周波数変換し、それぞれのパワースペクトルから周波数領域のウィナーフィルタが生成される。生成されたフィルタのフィルタ係数はフィルタ部２２０へ出力される。続いて、フィルタ部２２０において、入力部１１０に入力された混合信号に対してフィルタリング処理が行われる（Ｓ２０８）。このステップでは、フィルタ生成部２１０で生成されたフィルタの係数を用いて混合信号に対してフィルタリングを行い、フィルタリングされた信号を出力部１７０へ出力する。最後に、出力部１７０から音声信号が再生される（Ｓ２０９）。

以上のように、混合信号のＮＭＦによって算出されたアクティビティベクトルの周波数特性に基づき混合信号中の雑音成分と音声成分を推定し、推定結果をもとに雑音を抑制するフィルタを作ることができる。そのフィルタを混合信号に適応することで混合信号中の雑音成分を抑制することができる。

（変形例）
本実施形態では、フィルタ生成部２１０は、逆ＴＦ変換部１６０から出力された音声信号および雑音のパワースペクトルからウィナーフィルタを生成した。しかし、サブスペクトログラム生成部１５０の出力からそれぞれの時間フレームごとのパワースペクトルを算出することが可能であるため、例えば、時間フレームごとにウィナーフィルタを生成するようにしてもよい。その場合、はじめにフィルタ部２２０においてＴＦ変換部１２０と同様に所定の時間長ずつ時間区間をずらしながら窓関数を適用して切り出す。続いて、切り出した信号に生成したウィナーフィルタを適応しフィルタリング処理を行い、当該所定の時間長ずつ時間区間をずらしながら重ね合わせて信号を結合するようにする。このように構成することで、時間の経過に応じてより適切なフィルタリング処理を行うことが可能となる。

また、フィルタ生成部２１０ではウィナーフィルタを生成したが、雑音を抑制するフィルタであればその他のフィルタを生成してもよい。例えば、分離した音声信号に着目し音声信号を強調する櫛形フィルタを生成するようにしてもよい。

本実施形態ではフィルタ部２２０はフィルタ生成部２１０から出力されたフィルタを入力信号に適用したが、スペクトルサブトラクションを用いて雑音除去を行うこともできる。例えば、サブスペクトログラム生成部１５０の雑音のスペクトログラムを用いて入力部１１０に入力された混合信号に対してスペクトルサブトラクションを行うようにするとよい。その場合、例えば、図１０のように、フィルタ部２２０において、ＴＦ変換部１２０でスペクトログラムに変換された混合信号から、サブスペクトログラム生成部１５０から出力される雑音のスペクトログラムが減算（サブトラクション）される。フィルタ部２２０においてスペクトルサブトラクション処理により雑音が除去されたスペクトログラムは、逆ＴＦ変換部１６０へ出力され、波形信号に変換されるようにするとよい。このように構成することで、雑音成分をキャンセルすることが可能となる。

＜＜実施形態３＞＞
（雑音除去装置の構成）
図１３は、本発明の実施形態３に係る雑音除去装置の構成をブロック図で示したものである。本実施形態の雑音除去装置３００は、入力部１１０、ＴＦ変換部１２０、ＮＭＦ部１３０、サブスペクトログラム生成部１５０、逆ＴＦ変換部１６０、出力部１７０、第２ＴＦ変換部３２０、及び、アクティビティ分類部３４０を有する。入力部１１０、ＴＦ変換部１２０、サブスペクトログラム生成部１５０、逆ＴＦ変換部１６０、出力部１７０は実施形態１と同じ構成であるため、それらの詳細な説明は省略する。雑音除去装置２００は、実施形態２と同様にコンピュータ等のＣＰＵを備えた情報処理装置により実現することができる。

本実施形態では、入力部１１０に入力された混合信号は、それぞれ時間周波数変換を行うＴＦ変換部１２０及び第２ＴＦ変換部３２０へ出力される。第２ＴＦ変換部３２０は、ＴＦ変換部１２０とは別の切り出しタイミングで時間周波数変換を行う。例えば切り出す信号の長さをＬ、切り出し位置のずらし幅をＬ／２とする。この場合、ＴＦ変換部１２０において、信号は以下のような区間で切りだされ時間周波数変換が行われる。
（数１３）
［ｍＬ／２，（ｍ＋２）Ｌ／２］ （ｍ＝０,１,２,...）
このとき第２ＴＦ変換部３２０では、例えば、以下のような区間で信号が切り出され時間周波数変換が行われる。
（数１４）
［（２ｍ＋１）Ｌ／４，（２ｍ＋５）Ｌ／４］ （ｍ＝０,１,２,...）
このような変換を実現するために、例えば第２ＴＦ変換部３２０はサンプル数Ｌ／４の遅延器を備え、遅延させた信号を時間周波数変換するようにしてもよい。算出された第２のスペクトログラムはＮＭＦ部１３０へ出力される。

ＮＭＦ部１３０では入力された２つのスペクトログラムに対して同じ基底行列を用いてアクティビティ行列を計算する。図１４を用いてアクティビティ行列の計算方法を説明する。例えばＴＦ変換部１２０から出力されるスペクトログラムを第１のスペクトログラムとすると、第１のスペクトログラムと第２のスペクトログラムを図１４のように時間軸方向に連結し、非負値行列因子分解を行う。このようにすることで第１及び第２のスペクトログラムに対して共通の基底行列を用いてアクティビティ行列を算出することができる。このように計算した場合、第１及び第２のスペクトログラムに対するアクティビティ行列が時間軸方向に連結された状態で出力される。そこで、第１及び第２のスペクトログラムに対応する部分をそれぞれ第１及び第２のアクティビティ行列として、サブスペクトログラム生成部１５０及びアクティビティ分類部３４０へ出力する。

アクティビティ分類部３４０では、入力された第１および第２のアクティビティ行列を比較することでアクティビティを分類する。例えば第１および第２アクティビティ行列の各行成分である第１および第２のアクティビティベクトルの相関係数を算出する。一般に、音声のアクティビティは波形の切り出し位置のずれによらずほぼ同じ形状になるのに対し、雑音のアクティビティは切り出し位置のずれによって異なる形状になることが知られている。そのため算出結果に基づいて相関係数が所定の閾値よりも大きいアクティビティを音声のアクティビティに分類し、相関係数が閾値よりも小さいアクティビティを雑音のアクティビティとして分類することができる。アクティビティ分類部３４０は、第１のアクティビティ行列に対する分類結果をサブスペクトログラム生成部１５０へ出力する。サブスペクトログラム生成部１５０、逆ＴＦ変換部１６０、出力部１７０における処理は実施形態１と同様である。

（雑音除去処理）
本実施形態において雑音除去装置３００が実行する雑音除去処理のフローを図１５を用いて説明する。雑音除去処理は雑音除去装置３００のＣＰＵの制御に基づき実行される。

ステップＳ１１０、Ｓ１２０、Ｓ１５０、Ｓ１６０、Ｓ１７０での処理内容は、実施形態１のＳ１０１、Ｓ１０２、Ｓ１０５〜Ｓ１０７（図５）とほぼ同様のため、詳細な説明は省略する。まず、入力部１１０に混合信号が入力される（Ｓ１１０）。入力された混合信号は、ＴＦ変換部１２０においてスペクトログラムに変換される（Ｓ１２０）。

次に、第２ＴＦ変換部３２０において第２ＴＦ変換処理が行われる（Ｓ３２０）。入力部１１０より入力された信号に対してＴＦ変換部１２０とは切り出し位置をずらし、時間周波数変換を行ったスペクトログラムをＮＭＦ部１３０へ出力する。

続いてＮＭＦ部１３０においてＮＭＦ処理を行う(Ｓ１３０)。すなわち、ＮＭＦ部１３０は、ＴＦ変換部１２０および第２ＴＦ変換部３２０から入力されたスペクトログラムの振幅成分を時間軸方向に並べ、非負値行列因子分解することにより、共通の基底行列と第１及び第２のアクティビティ行列を算出する。ＮＭＦ部１３０は、算出した第１及び第２のアクティビティ行列をアクティビティ分類部３４０へ出力する。また、ＮＭＦ部１３０は、基底行列およびＴＦ変換部１２０から入力されたスペクトログラムの位相成分、第１のアクティビティ行列をサブスペクトログラム生成部１５０へ出力する。

続いてアクティビティ分類部３４０においてアクティビティの分類が行われる（Ｓ３４０）。ＮＭＦ部１３０から入力された第１及び第２のアクティビティ行列の各行の成分からなるアクティビティベクトルについて相関係数を計算する。算出された相関係数に基づき相関性の高いアクティビティを音声アクティビティとして分類し、相関性の低いアクティビティを雑音アクティビティとして分類し、結果をサブスペクトログラム生成部１５０へ出力する。

以上のように、本実施形態では、時間をずらして生成された２つのスペクトログラムにつきＮＭＦによって算出されたアクティビティベクトルの相関性に基づきアクティビティベクトルを分類する。このため、本実施形態の構成によれば、単一チャンネルでも混合信号を音源ごとに分離することができる。

（変形例）
本実施形態においてＮＭＦ部１３０では、時間軸方向に連結したスペクトログラムを用いて、基底行列を共通とする第１及び第２のアクティビティ行列を算出したが、別の方法を用いてもよい。例えば、第１のスペクトログラムに対して非負値行列因子分解を行い基底行列を算出し、その基底行列を教師基底として第２のスペクトログラムに対して非負値行列因子分解を行うことで、基底行列を共通とする第１及び第２のアクティビティ行列を算出してもよい。

また、本実施形態においてアクティビティ分類部３４０はＴＦ変換部１２０の出力に対して音源分離あるいは雑音除去を実施するため第１のアクティビティ行列に対する分類結果を出力した。しかし、第２ＴＦ変換部３２０の出力に対して、又は、ＴＦ変換部１２０と第２ＴＦ変換部３２０の両方の出力それぞれに対して、音源分離あるいは雑音除去を実施することもできる。その場合、第２のアクティビティ行列に対する分類結果を出力するようにしてもよいし、第１及び第２のアクティビティ行列に対する分類結果を両方とも出力してもよい。

＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１０ 入力部、１２０ ＴＦ変換部、１３０ ＮＭＦ部、１４０ アクティビティ分類部、１５０ サブスペクトログラム生成部、１６０ 逆ＴＦ変換部、１７０ 出力部

Claims (25)

1. 音声信号を時間周波数表現に変換した行列を得る変換手段と、
   前記行列を少なくとも非負値の基底行列と非負値のアクティビティ行列に分解する分解手段と、
   前記アクティビティ行列の各行を構成するアクティビティベクトルを、その特性によって分類する分類手段と、
   前記分類の結果に応じて、前記音声信号を複数の音声信号に分離する分離手段と
   を備えることを特徴とする情報処理装置。
2. 前記分類手段は、前記アクティビティベクトルを、その周波数特性によって分類することを特徴とする請求項１に記載の情報処理装置。
3. 前記分類手段は、前記アクティビティベクトルを、その周波数特性の低域成分の平均値と高域成分の平均値との差の大きさによって分類することを特徴とする請求項２に記載の情報処理装置。
4. 前記分類手段は、前記差が所定の閾値よりも小さいアクティビティベクトルを雑音のアクティビティとして分類することを特徴とする請求項３に記載の情報処理装置。
5. 前記分類手段は、前記アクティビティベクトルを、その周波数特性の近似直線の傾きによって分類することを特徴とする請求項２に記載の情報処理装置。
6. 前記分類手段は、前記傾きが所定の閾値よりも小さいアクティビティベクトルを雑音のアクティビティとして分類することを特徴とする請求項５に記載の情報処理装置。
7. 前記分類手段は、前記アクティビティベクトルを、その所定時間範囲内におけるピークの出現頻度によって分類することを特徴とする請求項１に記載の情報処理装置。
8. 前記分類手段は、前記ピークの出現頻度が所定の閾値よりも大きいアクティビティベクトルを雑音のアクティビティとして分類することを特徴とする請求項７に記載の情報処理装置。
9. 前記分類手段は、前記アクティビティベクトルを、そのピークの時間幅の平均値によって分類することを特徴とする請求項１に記載の情報処理装置。
10. 前記分類手段は、前記平均値が所定の閾値よりも小さいアクティビティベクトルを雑音のアクティビティとして分類することを特徴とする請求項９に記載の情報処理装置。
11. 前記分類手段は、前記アクティビティベクトルを、当該アクティビティベクトルの微分値の絶対値の和によって分類することを特徴とする請求項１に記載の情報処理装置。
12. 前記分類手段は、前記微分値の絶対値の和が所定の閾値よりも大きいものを雑音のアクティビティとして分類することを特徴とする請求項１１に記載の情報処理装置。
13. 前記分類手段は、前記アクティビティベクトルからそれぞれ一定間隔でサンプルを抽出して第１、第２のサンプルベクトルを取得し、当該第１、第２のサンプルベクトルを比較することにより、当該アクティビティベクトルを分類することを特徴とする請求項１に記載の情報処理装置。
14. 前記分類手段は、前記第１、第２のサンプルベクトルの相関係数を算出し、当該相関係数が所定の閾値よりも小さいアクティビティベクトルを雑音のアクティビティベクトルとして分類することを特徴とする請求項１３に記載の情報処理装置。
15. 前記変換手段は、前記音声信号から第１、第２の切り出しタイミングで切り出した信号をそれぞれ時間周波数表現に変換した第１、第２の行列を取得し、
    前記分解手段は、前記第１、第２の行列のそれぞれを、少なくとも前記基底行列と前記アクティビティ行列に分解し、
    前記分類手段は、前記第１、第２の行列に対応する第１、第２の前記アクティビティ行列を比較することにより、前記アクティビティベクトルを分類する
    ことを特徴とする請求項１に記載の情報処理装置。
16. 前記分解手段は、前記第１、第２の行列について前記基底行列が等しくなるように、前記第１、第２の行列を分解することを特徴とする請求項１５に記載の情報処理装置。
17. 前記分類手段は、前記第１、第２のアクティビティ行列の各行を構成する第１、第２のベクトルの相関係数を算出し、当該相関係数が所定の閾値よりも小さいものを雑音のアクティビティベクトルとして分類することを特徴とする請求項１５又は１６に記載の情報処理装置。
18. 事前に与えられた学習データに基づいて前記閾値を決定する決定手段を更に備えることを特徴とする請求項４、６、８、１０、１２、１４、１７のいずれか１項に記載の情報処理装置。
19. 前記分類手段が前記アクティビティベクトルを分類するための基準を、ユーザからの指示入力に基づいて決定する決定手段を更に備えることを特徴とする請求項１から１７のいずれか１項に記載の情報処理装置。
20. 前記分類手段は、前記アクティビティベクトルの各々について、第１のアクティビティとの関連性を示す第１の重み係数、及び、第２のアクティビティとの関連性を示す第２の重み係数を出力し、
    前記分離手段は、前記アクティビティベクトルの各々について出力された前記第１の重み係数及び前記第２の重み係数に基づいて、前記音声信号を複数の音声信号に分離する
    ことを特徴とする請求項１から１９のいずれか１項に記載の情報処理装置。
21. 前記分離手段により分離された複数の音声信号のうち、所定の音声信号を抑圧するフィルタ手段をさらに備えることを特徴とする請求項１から２０のいずれか１項に記載の情報処理装置。
22. 前記フィルタ手段は、雑音を除去するウィナーフィルタであることを特徴とする請求項２１に記載の情報処理装置。
23. 前記フィルタ手段は、前記分離手段により分離された雑音のアクティビティに対応する音声信号を、入力された音声信号からスペクトルサブトラクションによって除去することを特徴とする請求項２１又は２２に記載の情報処理装置。
24. 情報処理装置の各手段が実行する情報処理方法であって、
    変換手段が、音声信号を時間周波数表現に変換した行列を得る変換工程と、
    分解手段が、前記行列を少なくとも非負値の基底行列と非負値のアクティビティ行列に分解する分解工程と、
    分類手段が、前記アクティビティ行列の各行を構成するアクティビティベクトルを、その特性によって分類する分類工程と、
    分離手段が、前記分類の結果に応じて、前記音声信号を複数の音声信号に分離する分離工程と
    を備えることを特徴とする情報処理方法。
25. コンピュータを請求項１から２３のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。

Images