以下、この発明による音声信号処理装置および方法の実施形態を、図を参照しながら説明する。
以下の説明においては、前述もした左チャンネル音声信号SLと、右チャンネル音声信号SRとからなるステレオ音声信号から、音源分離する場合について説明する。
例えば、左チャンネル音声信号SLと、右チャンネル音声信号SRとに、音源1〜5の音声信号S1〜S5が、次の(式1)および(式2)に示すような割合で、レベル差が付けられて振り分けられて混合されているものとする。
SL=S1+0.9S2+0.7S3+0.4S4 ・・・(式1)
SR=S5+0.4S2+0.7S3+0.9S4 ・・・(式2)
この(式1)および(式2)を比べると、各音源1〜5の音声信号S1〜S5は、上記のようにレベル差を持って、左チャンネル音声信号SLと右チャンネル音声信号SRとに分配されている。したがって、この分配比率によって、音源を再度、左チャンネル音声信号SLおよび/または右チャンネル音声信号SRとから振り分けることができれば、元の音源は分離できる。
以下の実施形態においては、各音源が一般的には異なるスペクトラム成分を有していることを利用して、左右2チャンネルステレオ音声信号のそれぞれを十分な解像度を有するFFT処理により周波数領域に変換し、多数個の周波数分割スペクトル成分に分割する。そして、それぞれのチャンネルの音声信号についての、対応する各周波数分割スペクトル同士のレベル比またはレベル差を求める。そして、(式1),(式2)において、分離したい音源の音声信号についての分配比に対応するレベル比またはレベル差となっている周波数分割スペクトルを検出して、当該検出した周波数分割スペクトル成分を分離する。これにより、他の音源からの影響の少ない音源分離を可能にしている。
この発明による音声信号の処理装置の実施形態を説明する前に、この発明の実施形態の音声信号の処理装置の実施形態を理解するために参考となる例を、第1〜第4の実施形態として説明する。
[第1の実施形態の音声信号処理装置の構成]
図1は、第1の実施形態の音声信号処理装置を示すブロック図である。
2チャンネルステレオ信号のうちの左チャンネル音声信号SLは、直交変換手段の例としてのFFT(Fast Fourier Transform;高速フーリエ変換)部11に供給される。このFFT部11では、信号SLがアナログ信号の時にはデジタル信号に変換された後、FFT処理(高速フーリエ変換)されて、時系列音声信号が周波数領域データに変換される。なお、信号SLがデジタル信号であるときには、FFT部11でのアナログ−デジタル変換は不要であることはいうまでもない。
一方、2チャンネルステレオ信号のうちの右チャンネル音声信号SRは、直交変換手段の例としてのFFT部12に供給される。そして、このFFT部12で、信号SRがアナログ信号のときにはデジタル信号に変換された後、FFT処理(高速フーリエ変換)されて、時系列音声信号が周波数領域データに変換される。なお、信号SRがデジタル信号であるときには、FFT部12でのアナログ−デジタル変換は不要であることはいうまでもない。
この例のFFT部11および12は、同様の構成を備え、各時系列信号SL,SRを、互いに異なる複数個の周波数の周波数分割スペクトル成分に分割する。ここで、周波数分割スペクトルとして得る周波数分割数は、音源の分離度の精度に応じた多数とされ、例えば500以上、好ましくは4000以上の周波数分割数とされる。この周波数分割数は、FFT部におけるポイント数に相当する。
各FFT部11およびFFT部12からの周波数分割スペクトル出力F1およびF2は、それぞれ周波数分割スペクトル比較処理部13と、周波数分割スペクトル制御処理部14とに供給される。
周波数分割スペクトル比較処理部13は、FFT部11およびFFT部12からの周波数分割スペクトル成分F1,F2の、同じ周波数同士のレベル比を算出し、算出したレベル比を周波数分割スペクトル制御処理部14に出力する。
周波数分割スペクトル制御処理部14は、周波数分割スペクトル比較処理部13からのレベル比の情報を受けて、当該レベル比が所定のものとなっている周波数分割スペクトル成分のみを、FFT部11およびFFT部12の出力の少なくとも一方から抽出する。そして、周波数分割スペクトル制御処理部14は、その抽出結果出力Fexを逆FFT部15に出力する。なお、この例では、周波数分割スペクトル制御処理部14は、レベル比が所定のものとなっている周波数分割スペクトル成分をFFT部11およびFFT部12の出力の両方から抽出して、抽出結果出力Fexとして逆FFT部15に出力する。
周波数分割スペクトル制御処理部14では、予め、使用者により、分離すべき音源に応じて、どのようなレベル比の周波数分割スペクトル成分を抽出するかが設定されている。したがって、周波数分割スペクトル制御処理部14からは、使用者が分離したいとして設定されたレベル比で左右2チャンネルに振り分けられている音源の音声信号の周波数分割スペクトル成分のみが抽出されることになる。
逆FFT部15は、周波数分割スペクトル制御処理部14からの抽出結果出力Fexの周波数分割スペクトル成分を元の時系列信号に変換し、その変換出力信号を、使用者が分離したいとして設定した音源の音声信号SOとして出力する。なお、出力音声信号をアナログ信号とする場合には、逆FFT部15の出力側にD/A変換器が設けられて、アナログ音声信号に変換される。以下の実施形態においても同様である。
[周波数分割スペクトル比較処理部13の構成]
周波数分割スペクトル比較処理部13は、この例では、機能的には、図2に示すような構成を備える。すなわち、周波数分割スペクトル比較処理部13は、レベル検出部21,22と、レベル比算出部23,24と、セレクタ25とからなる。
レベル検出部21は、FFT部11からの周波数分割スペクトル成分F1のそれぞれの周波数成分のレベルを検出し、その検出出力D1を出力する。また、レベル検出部22は、FFT部12からの周波数分割スペクトル成分F2のそれぞれの周波数成分のレベルを検出し、その検出出力D2を出力する。この例では、各周波数分割スペクトルのレベルは、振幅スペクトルを検出する。なお、各周波数分割スペクトルのレベルとして、パワースペクトルを検出するようにしてもよい。
そして、レベル比算出部23は、D1/D2を算出する。また、レベル比算出部24は、その逆数のD2/D1を算出する。レベル比算出部23およびレベル比算出部24で算出されたレベル比は、セレクタ25に供給され、このセレクタ25から、その一方のレベル比が、出力レベル比rとして取り出される。
セレクタ25には、分離すべきものとして使用者により設定された音源およびそのレベル比に応じて、レベル比算出部23の出力と、レベル比算出部24の出力のいずれを選択すべきかを選択制御するための選択制御信号SELが供給される。このセレクタ25から得られる出力レベル比rは、周波数分割スペクトル制御処理部14に供給される。
この例においては、周波数分割スペクトル制御処理部14において、分離すべき音源のレベル比として用いられる値は、常に、レベル比r≦1とされている。つまり、周波数分割スペクトル制御処理部14に入力されるレベル比rは、レベルの小さい方の周波数分割スペクトルのレベルを、レベルが大きい方の周波数分割スペクトルのレベルで割ったものとされている。
このため、周波数分割スペクトル制御処理部14では、左チャンネルの音声信号SLの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部23からのレベル比算出出力が使用される。逆に、右チャンネルの音声信号SRの方に、より多く含まれるように分配されている音源の信号を分離する場合には、レベル比算出部24からのレベル比算出出力が使用されている。
例えば、使用者が、分離すべき音源のレベル比として、左チャンネルおよび右チャンネルの信号の分配率の値PL,PR(PL,PRは1以下の値)をそれぞれ設定入力するように定められているものとしたときを考える。この場合、設定された分配率の値PL,PRが、PR/PL≦1であるときには、選択制御信号SELは、セレクタ25からレベル比算出部23の出力(D2/D1)を、出力レベル比rとして選択する選択制御信号とされる。また、設定された分配率の値PL,PRが、PR/PL>1であるときには、選択制御信号SELは、セレクタ25からレベル比算出部24の出力(D1/D2)を、出力レベル比rとして選択する選択制御信号とされる。
なお、使用者により設定された分配率の値PL,PRが互いに等しい(レベル比r=1)ときには、セレクタ25では、レベル比算出部23の出力とレベル比算出部24の出力とのいずれを選択してもよい。
[周波数分割スペクトル制御処理部14の構成]
周波数分割スペクトル制御処理部14は、この例では、機能的には、図3に示すような構成を備える。すなわち、周波数分割スペクトル制御処理部14は、乗算係数発生部31と、音源分離部32とからなる。そして、音源分離部32は、乗算部33および34と、加算部35とからなる。
乗算部33には、FFT部11からの周波数分割スペクトル成分が供給されると共に、乗算係数発生部31からの乗算係数wが供給され、両者の乗算結果が、この乗算部33から加算部35に供給される。また、乗算部34には、FFT部12からの周波数分割スペクトル成分が供給されると共に、乗算係数発生部31からの乗算係数wが供給され、両者の乗算結果が、この乗算部34から加算部35に供給される。そして、加算部35の出力は、周波数分割スペクトル制御処理部14の出力Fexとされる。
乗算係数発生部31は、周波数分割スペクトル比較処理部13のセレクタ25からの出力レベル比rの出力を受けて、当該レベル比rに応じた乗算係数wを発生する。乗算係数発生部31は、例えば、レベル比rを変数とした乗算係数wに関する関数発生回路により構成される。乗算係数発生部31に使用する関数として、どのような関数が選ばれるかは、分離すべき音源に応じて使用者により設定された分配率の値PL,PRによる。
乗算係数発生部31に供給されるレベル比rは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部31からの乗算係数wも、周波数分割スペクトルの各周波数成分単位で変化することになる。
したがって、乗算部33では、FFT部11からの各周波数分割スペクトルのレベルが、乗算係数wにより制御され、また、乗算部34では、FFT部12からの各周波数分割スペクトルのレベルが、乗算係数wにより制御される。
図4に、乗算係数発生部31としての関数発生回路に用いられる関数の例を示す。例えば、前記(式1)および(式2)で示された左右2チャンネルの音声信号SLおよびSRから、左右チャンネルの音像間の中央に定位する音源の音声信号S3を分離する場合には、乗算係数発生部31としては、図4(a)に示されるような特性の関数発生回路が用いられる。
図4(a)の関数の特性は、左右チャンネルのレベル比rが1、あるいは1に近い場合、つまり、左右チャンネルが同レベルあるいは同レベルに近い周波数分割スペクトル成分では、乗算係数wは1あるいは1近傍となる。そして、この場合には、左右チャンネルのレベル比rが約0.6以下の領域では、乗算係数wは0となっている。
したがって、セレクタ25からのレベル比rが1、または1近傍となっている周波数分割スペクトル成分に対する乗算係数wは1、あるいは1に近い値となる。このため、乗算部33および34からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、セレクタ25からのレベル比rが、約0.6以下の値となっている周波数分割スペクトル成分に対する乗算係数wは0となるので、乗算部33および34からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部33および34からは、多数個の周波数分割スペクトル成分のうち、左右同レベルおよびその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。そして、左右チャンネルのレベル差が大きい周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRに同レベルで分配された音源の音声信号S3の周波数分割スペクトル成分のみが加算部35から得られることになる。
また、例えば、前記(式1)および(式2)で示された左右2チャンネルの音声信号SLおよびSRから、左右チャンネルの一方側にのみ定位する音源の音声信号S1またはS5を分離する場合には、乗算係数発生部31としては、図4(b)に示されるような特性の関数発生回路が用いられる。
この場合において、この実施形態においては、音声信号S1を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=1:0を設定入力する。あるいは、PL=1、PR=0のように設定入力する。このように使用者が設定すると、セレクタ25には、レベル比算出部23からのレベル比を選択するように制御する選択制御信号SELが与えられる。
一方、音声信号S5を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=0:1を設定入力する。あるいは、PL=0、PR=1のように設定入力する。このように使用者が設定すると、セレクタ25には、レベル比算出部24からのレベル比を選択するように制御する選択制御信号SELが与えられる。
図4(b)の関数の特性は、左右チャンネルのレベル比rが0、あるいは0近傍の周波数分割スペクトル成分では、乗算係数wは1あるいは1近傍の値となり、左右チャンネルのレベル比rが約0.4以上の領域では、乗算係数wは0となっている。
したがって、セレクタ25からのレベル比rが0、または0近傍となっている周波数分割スペクトル成分に対する乗算係数wは1、あるいは1に近い値となる。このため、乗算部33および34からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、セレクタ25からのレベル比rが、約0.4以上の値となっている周波数分割スペクトル成分に対する乗算係数wは0となるので、乗算部33および34からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部33および34からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルの一方が他方に比べて非常に大きいレベルとなっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。そして、左右チャンネルのレベル差が少ない周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRの一方にしか分配されていない音源の音声信号S1またはS5の周波数分割スペクトル成分のみが加算部35から得られることになる。
また、例えば、前記(式1)および(式2)で示された左右2チャンネルの音声信号SLおよびSRから、左右チャンネルに所定のレベル差を持って配分されている音源の音声信号S2またはS4を分離する場合には、乗算係数発生部31としては、図4(c)に示されるような特性の関数発生回路が用いられる。
すなわち、音声信号S2は、D2/D1(=SR/SL)=0.4/0.9=0.44のレベル比で、左右チャンネルに分配されている。また、音声信号S4は、D1/D2(=SL/SR)=0.4/0.9=0.44のレベル比で、左右チャンネルに分配されている。
この場合において、この実施形態においては、音声信号S2を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=0.9:0.4を設定入力する。あるいは、PL=0.9、PR=0.4のように設定入力する。このように使用者が設定すると、PR/PL<1であるので、セレクタ25には、レベル比算出部23からのレベル比を選択するように制御する選択制御信号SELが与えられる。
一方、音声信号S4を分離する場合には、使用者は、分離する音源に対する左右分配率PL:PR=0.4:0.9を設定入力する。あるいは、PL=0.4、PR=0.9のように設定入力する。このように使用者が設定すると、PR/PL>1であるので、セレクタ25には、レベル比算出部24からのレベル比を選択するように制御する選択制御信号SELが与えられる。
図4(c)の関数の特性は、左右チャンネルのレベル比rが、D2/D1(=PR/PL)=0.4/0.9=0.44では1、あるいはレベル比rが0.44に近い周波数分割スペクトル成分では、乗算係数wは1あるいは1近傍となる。そして、左右チャンネルのレベル比rが約0.44近傍以外の領域では、乗算係数wは0となっている。
したがって、セレクタ25からのレベル比rが0.44、または0.44近傍となっている周波数分割スペクトル成分に対する乗算係数wは1、あるいは1に近い値となる。このため、乗算部33および34からは、当該周波数分割スペクトル成分が、ほぼそのままのレベルで出力される。
一方、セレクタ25からのレベル比rが、約0.44近傍以下の値および約0.44近傍以上の値となっている周波数分割スペクトル成分に対する乗算係数wは0となる。したがって、乗算部33および34からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部33および34からは、多数個の周波数分割スペクトル成分のうち、左右チャンネルのレベル比が0.44またはその近傍となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。そして、左右チャンネルのレベル比rが、約0.44近傍以下の値および約0.44近傍以上の値となっている周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。
この結果、左右2チャンネルの音声信号SL,SRに、レベル比が0.44で分配された音源の音声信号S2またはS4の周波数分割スペクトル成分のみが加算部35から得られることになる。
以上のようにして、この実施形態によれば、左右2チャンネルに、所定の分配比率で分配された音源の音声信号を、その分配比率に基づいて、当該2チャンネルの音声信号から分離することができる。
この場合に、上述の実施形態では、分離したい音源の音声信号は、2チャンネルの音声信号の両方から抽出するようにしたが、必ずしも両チャンネルから分離抽出する必要はなく、一方のチャンネルのみから分離抽出するようにしてもよい。
また、上述の実施形態では、2系統の音声信号に対して分配された音源の信号のレベル比に基づいて、当該2系統の音声信号から前記音源の信号を分離するようにした。しかし、前記音源の信号の、2系統の音声信号に対するレベル差に基づいて、当該音源の信号を当該2系統の音声信号の少なくとも一方から分離抽出するようにすることもできる。
なお、以上の説明では、各音源が(式1)、(式2)に従って左右チャンネルに分配された左右2チャンネルステレオ信号を例にして説明した。しかし、意図的に分配されない通常のステレオ音楽信号においても、図4に示した関数の選択特性に従って該当する音源を分離することができる。
また、例えば、他の例では図4(d),(e)等の様に、関数を変えることにより、分離するレベル比範囲を変える、広くする、狭くするなど、異なる音源選択性を持たせることもできる。
音源のスペクトラム構成に関しても、多くのステレオ音楽信号は異なるスペクトラムを持つ音源から構成されるが、それらの音源についても、上述と同様にして分離することが可能となる。
また、スペクトラム重複部が多い音源同士に関しても、FFT部11,12における周波数分解能を上げることにより、例えば4000ポイント以上のFFT回路を用いることにより、音源分離の質を更に向上させることができる。
[第2の実施形態の音声信号処理装置の構成]
上述した第1の実施形態では、2系統の音声信号、上述の例では、左右2チャンネルステレオ信号SL,SRから、所定のレベル比あるいはレベル差を持って分配された1つの音源の音声信号を、少なくとも前記2系統の音声信号の一方から分離抽出するようにした。
以下に説明する第2の実施形態では、2系統の音声信号から1つの音源の音声信号のみを分離抽出するのではなく、2系統の音声信号に所定のレベル比あるいはレベル差を持って分配されている複数個の音源の音声信号を、同時に、分離抽出するように構成する。
図5は、この第2の実施形態の音声信号処理装置の構成例を示すもので、図1の第1の実施形態に対応する部分には、同一符号を付してある。ただし、この例では、周波数分割スペクトル比較処理部13および周波数分割スペクトル制御処理部14の構成が、複数個の音源の音声信号を分離するための構成とされて図1に示した第1の実施形態とは異なる。また、逆FFT部は、分離抽出する出力数だけ設けられる。
図6は、この第2の実施形態における周波数分割スペクトル比較処理部13と、周波数分割スペクトル制御処理部14の部分の内部構成例を示すものである。
この第2の実施形態における周波数分割スペクトル比較処理部13は、前述した第1の実施形態と同様にして、レベル検出部21および22、レベル比算出部23および24を備えている。そして、これらレベル比算出部23および24において、FFT部11および12からの各周波数分割スペクトル成分のレベル比D2/D1およびD1/D2を検出する。そして、この例においては、各レベル比算出部23および24からのレベル比検出出力は、分離する音源の数に等しい数の複数個のセレクタ251,252、・・・25nにそれぞれ供給される。
これら複数個のセレクタ251,252、・・・25nのそれぞれには、分離したい音源の音声信号の左右2チャンネルへの分配率に応じて、レベル比算出部23および24からのレベル比検出出力の一方を選択するための選択制御信号SEL1、SEL2、・・・、SELnが供給される。すなわち、前述したように、選択制御信号SEL1、SEL2、・・・、SELnは、分離したい音源の音声信号がより多く分配されているチャンネル側のレベルが分母となるレベル比をセレクタ251,252、・・・25nのそれぞれが選択するような信号とされる。
周波数分割スペクトル制御処理部14は、分離する音源の数に等しい数の複数個の乗算係数発生部311,312,・・・,31nおよび音源分離部321,322,・・・,32nを備える。そして、周波数分割スペクトル比較処理部13の複数個のセレクタ251,252、・・・25nのそれぞれからのレベル比r1、r2、・・・、rnが、乗算係数発生部311,312,・・・,31nの対応するものにそれぞれ供給される。
乗算係数発生部311,312,・・・,31nのそれぞれには、前述の第1の実施形態と同様に、分離したい音源の音声信号の左右2チャンネル音声信号への分配比に対応した、レベル比に対する乗算係数の関数(前述の図4の関数例参照)が設定とされる。
したがって、これら乗算係数発生部311,312,・・・,31nのそれぞれからは、セレクタ251,252、・・・25nのそれぞれからのレベル比r1、r2、・・・、rnのそれぞれに応じた乗算係数であって、分離する音源の音声信号に応じた乗算係数w1、w2、・・・、wnが発生する。これら乗算係数発生部311,312,・・・,31nからの乗算係数w1、w2、・・・、wnのそれぞれは、音源分離部321,322,・・・,32nのそれぞれに供給される。
音源分離部321,322,・・・,32nのそれぞれは、前述の音源分離部32と同様に、出力F1およびF2のそれぞれと、乗算係数とを乗算する乗算部33および34と、両乗算部33,34の出力を加算する加算部35とを備える構成を有している。
音源分離部321,322,・・・,32nのそれぞれの乗算部33,34からは、それぞれ分離したい音源の音声信号の左右2チャンネル音声信号への分配比、あるいはその近傍のレベル比となっている周波数分割スペクトル成分が、ほぼそのままのレベルで出力される。そして、乗算部33,34からの、その他の周波数分割スペクトル成分は、小レベルあるいはレベル0とされる。この結果、音源分離部321,322,・・・,32nのそれぞれからは、それぞれ分離を希望する音源の周波数分割スペクトル成分の抽出出力Fex1、Fex2、・・・、Fexnが得られる。
そして、音源分離部321,322,・・・,32nからの抽出出力Fex1、Fex2、・・・、Fexnのそれぞれが、対応する逆FFT部151,152、・・・、15nに供給される。この逆FFT部151,152、・・・、15nで、抽出出力Fex1、Fex2、・・・、Fexnのそれぞれが、元の時系列信号としての音声信号に戻され、分離された音源の音声信号出力SO1,SO2,・・・,SOnとして出力される。
[第3の実施形態の音声信号処理装置の構成]
この第3の実施形態は、左右2チャンネルの音声信号の、それぞれのチャンネルの音声信号SL,SRから、同じ音源の音声信号あるいは異なる音源の音声信号を分離抽出する場合の例である。
図7は、この第3の実施形態の音声信号処理装置の構成例を示すブロック図である。この例においても、FFT部11および12からの周波数分割スペクトル成分からなる出力F1およびF2は、周波数分割スペクトル比較処理部13および周波数分割スペクトル制御処理部14に供給される。
そして、周波数分割スペクトル制御処理部14からは、後述するように、左チャンネルの音声信号SLから抽出された所定の音源の音声信号の周波数分割スペクトル成分出力FexLと、右チャンネルの音声信号SRから抽出された所定の音源の音声信号の周波数分割スペクトル成分出力FexRとが得られ、それぞれ逆FFT部15Lおよび15Rに供給されて、元の時系列の音声信号に戻され、この逆FFT部15Lおよび15Rから所定の音源の出力音声信号SOLおよびSORとして導出される。
この第3の実施形態における周波数分割スペクトル比較処理部13は、前述した第1の実施形態と同様にして、レベル検出部21および22、レベル比算出部23および24を備えている。そして、周波数分割スペクトル比較処理部13は、FFT部11および12からの各周波数分割スペクトル成分のレベル比D2/D1およびD1/D2を検出する。そして、この例においては、各レベル比算出部23および24からのレベル比検出出力は、左チャンネル用のセレクタ25Lと、右チャンネル用のセレクタ25Rとに、それぞれ供給される。
これらセレクタ25L、25Rのそれぞれには、左右2チャンネルのそれぞれから分離したい音源の音声信号の左右2チャンネルへの分配率に応じて、レベル比算出部23および24からのレベル比検出出力の一方を選択するための選択制御信号SELL、SELRが供給される。すなわち、前述と同様に、選択制御信号SELL、SELRは、分離したい音源の音声信号がより多く分配されているチャンネル側のレベルが分母となるレベル比を、セレクタ25L、25Rのそれぞれが選択するような信号とされる。
周波数分割スペクトル制御処理部14は、左チャンネル用の乗算係数発生部31Lおよび右チャンネル用の乗算係数発生部31Rと、左チャンネル用の乗算部32Lおよび右チャンネル用の乗算部32Rを備えて構成される。そして、周波数分割スペクトル比較処理部13のセレクタ25Lからのレベル比rLが乗算係数発生部31Lに供給され、また、セレクタ25Rからのレベル比rRが乗算係数発生部31Rに供給される。
乗算係数発生部31L、31Rのそれぞれには、前述の第1の実施形態と同様に、分離したい音源の音声信号の左右2チャンネル音声信号への分配比に対応した、レベル比に対する乗算係数の関数(前述の図4の関数例参照)が設定とされる。
したがって、これら乗算係数発生部31L、31Rのそれぞれからは、セレクタ25L、25Rのそれぞれからのレベル比rL、rRのそれぞれに応じた乗算係数であって、分離する音源の音声信号に応じた乗算係数wL、wRが、乗算部32L、32Rのそれぞれに供給される。
これにより、乗算部32L,32Rのそれぞれからは、それぞれ分離したい音源の音声信号の左右2チャンネル音声信号への分配比、あるいはその近傍のレベル比となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力され、その他の周波数分割スペクトル成分は、小レベルあるいはレベル0とされる。この結果、乗算部32L、32Rのそれぞれからは、それぞれ分離を希望する音源の周波数分割スペクトル成分の抽出出力FexL、FexRが得られる。
そして、乗算部32L、32Rからの抽出出力FexL、FexRのそれぞれが、対応する逆FFT部15L、15Rに供給されて、元の時系列信号としての音声信号に戻され、分離された音源の音声信号出力SOL、SORとして出力される。
この第3の実施形態において、乗算係数発生部31L、31Rに設定される関数は、左右2チャンネルから分離しようとする音源が異なるものに応じたものとされるだけでなく、左右2チャンネルに所定のレベル比あるいはレベル差で分配された同じ音源の音声信号を、分離するための関数とすることもできる。
後者の場合には、セレクタ25Lおよび25Rは、レベル比算出部23,24のうちの同じレベル比を選択して出力すると共に、乗算係数発生部31Lおよび31Rも同じ関数を用いるようにすれば良い。これにより、例えば、前述した左右2チャンネルのステレオ信号SL,SRについての(式1)および(式2)における信号S2やS4を、左右チャンネルのそれぞれの音声信号SL,SRから分離抽出して、出力SOL,SORとして導出することができる。
この場合において、乗算係数発生部31L,31Rに設定するレベル比対乗算係数の関数の特性としては、同一の音源を分離する際に、全く同じ特性とするのではなく、例えば図8(a),(b)に示すように、関数の特性曲線を相似形とすると共に、レベル比rに対する乗算係数wの大きさを異ならせるようにすることもできる。
このようにすれば、例えば左右チャンネルにレベル差を持って分配されていた音源の音声信号を、左右チャンネルの音声信号SL,SRから分離した音声信号SOL,SORとして、同一のレベルで出力することができるようになる。
[第4の実施形態の音声信号処理装置の構成;自動採譜装置]
図9は、図7の実施形態の変形例としての第4の実施形態を示すものである。この第4の実施形態は、音声信号処理装置を自動採譜装置の構成とするものである。
すなわち、図9の実施形態においては、図7における逆FFT部15L,15Rの代わりに、周波数分割スペクトル最大レベル検出部16L,16Rを、周波数分割スペクトル制御処理部14の出力側に設ける。
この実施形態では、分離された音源はそのスペクトル構成から、振幅レベルが最大レベルとなる周波数分割スペクトル成分が、その音源の基音であると判断される。このことに基づいて、周波数分割スペクトル最大レベル検出部16L,16Rは、周波数分割スペクトル制御処理部14からの出力FexL、FexRのうちから、前記振幅レベルが最大レベルとなる周波数分割スペクトル成分の周波数を検出する。そして、その検出した周波数f1、f2とレベルV1、V2をデータとして出力する。
そして、図示は、省略したが、周波数分割スペクトル最大レベル検出部16L,16Rからの周波数f1、f2とレベルV1,V2とを、例えば音高検出装置に供給して音高を検出する。そして、その検出した音高を記録媒体に記録したり、あるいは、譜面に記入する装置(採譜装置)を用いて譜面に記入したりすることができる。
以上のようにして、この第4の実施形態によれば、ステレオ音声信号から、まず音源を分離し、次に分離された音源のスペクトルを解析することにより、音源の音高を検出する。そして、当該検出した音高に基づいて、自動採譜をすることができるので、複数の音源が混ざったステレオ音源から、自動採譜を可能とするシステムを実現することができる。
なお、図9の例では、左チャンネルと右チャンネルのそれぞれから音源を分離して、自動採譜を行なうようにした。しかし、図5および図6を用いて説明した第2の実施形態のように、2チャンネルの音声信号のそれぞれから、複数個の音源の周波数分割スペクトル成分を抽出する例においても、自動採譜装置を実現することができる。すなわち、図5において、逆FFT部151,152,・・・,15nのすべてを、周波数分割スペクトル最大レベル検出部に置き換え、その出力として最大レベルの周波数分割スペクトルの周波数およびレベルをそれぞれ得るようにする。また、これと共に、それら周波数およびレベル出力を、音高検出装置を介して採譜装置に供給するようにする。
また、この第4の実施形態の自動採譜装置は、第1の実施形態の場合に適用することもできるものである。また、後述する、音源分離を行なう音声信号処理装置の実施形態の場合にも適用可能であることは言うまでもない。
[第5の実施形態の音声信号処理装置の構成]
この第5の実施形態は、この発明による音声信号処理装置の実施形態である。この第5の実施形態は、2チャンネルの音声信号から使用者が分離したい音源を動的に変更することができるようにする場合である。
この第5の実施形態は、第3の実施形態に適用した場合である。すなわち、2チャンネルの音声信号SL,SRのそれぞれから別々の音源(同じ音源でもよい)の音声信号を分離するようにする場合において、それぞれ分離する音源を使用者が動的に選択変更できるようにした場合である。
図10に示すこの第5の実施形態においては、周波数分割スペクトル制御処理部14は、左チャンネル用の乗算係数発生部として、複数個の乗算係数発生部31L1,31L2,・・・,31Lnを設ける。また、周波数分割スペクトル制御処理部14は、それら複数個の乗算係数発生部31L1,31L2,・・・,31Lnのいずれか一つからの乗算係数を選択して、当該選択した乗算係数を、乗算係数wLとして乗算部32Lに供給するスイッチ回路36Lを備える。
また、同様にして、周波数分割スペクトル制御処理部14は、右チャンネル用の乗算係数発生部として、複数個の乗算係数発生部31R1,31R2,・・・,31Rnを設ける。そして、周波数分割スペクトル制御処理部14は、それら複数個の乗算係数発生部31R1,31R2,・・・,31Rnのいずれか一つからの乗算係数を選択して、当該選択した乗算係数を、乗算係数wRとして乗算部32Rに供給するスイッチ回路36Rを備える。
複数個の乗算係数発生部31L1,31L2,・・・,31Lnおよび31R1,31R2,・・・,31Rnのそれぞれには、例えば、左右チャンネルのレベル比が種々の値となる音源を分離するために用いるレベル比対乗算係数の関数が、設定される。
また、周波数分割スペクトル比較処理部13には、レベル比算出部23,24のレベル比算出出力を受けて、いずれか一方のレベル比算出出力を、乗算係数発生部31L1,31L2,・・・,31Ln,31R1,31R2,・・・,31Rnのそれぞれに供給する選択分配回路250が設けられる。
そして、この第5の実施形態においては、分離音源選択信号発生部17が設けられる。この分離音源選択信号発生部17は、後述するように選択操作手段を通じた、使用者による、分離する音源の選択操作に応じた信号Maを受けて、選択分配回路250に供給する選択信号SELTを発生する。また、分離音源選択信号発生部17は、スイッチ回路36Lをスイッチ制御する信号SWLおよびスイッチ回路36Rをスイッチ制御する信号SWRを発生する。
図示は省略するが、この例の音声信号処理装置は、例えば選択操作つまみやボタン、タッチパネル付きLCDなどの表示部を通じたグラフィカル・ユーザ・インターフェースを通じて、使用者からの分離する音源の選択操作を受け付けるようにする。このとき、選択操作対象となるのは、乗算係数発生部31L1,31L2,・・・,31Ln,31R1,31R2,・・・,31Rnに設定された関数により分離可能な複数個の音源である。
例えば、分離可能な複数の音源としては、左チャンネルの音像定位位置から右チャンネルの音像定位位置の間において、音像定位位置を徐々に変更するようなものとすることができる。
この場合において、使用者は、左チャンネルおよび右チャンネルのそれぞれについて、独立に分離する音源を指定することができるようにされている。
例えば、左チャンネルの乗算係数発生部31L1からの乗算係数によって左チャンネルの音声信号SLから分離可能な音源が、使用者によって、前記選択操作つまみやボタン、あるいはグラフィカル・ユーザ・インターフェースを通じて選択されたときには、その選択操作に応じた信号Maを受けた分離音源選択信号発生部17は、当該信号Maに対応したスイッチ制御信号SWLおよび選択信号SELTを発生する。
そして、このとき、スイッチ回路36Lは、分離音源選択信号発生部17からのスイッチ制御信号SWLにより、乗算係数発生部31L1を選択する状態に切り換えられる。また、選択分配回路250は、選択信号SELTにより、レベル比算出部23,24の一方(レベル比が1以下になる方)が選択されて、乗算係数発生部31L1に供給される。
これにより、乗算部32Lからは、選択指定された通りの音源の周波数分割スペクトル成分FexLが得られ、逆FFT部15Lにより、元の時系列の音声信号に戻されて出力SOLとして出力される。
右チャンネルにおいても、同様にして、使用者により選択設定された、分離したい音源の音声信号が抽出される。
なお、図10の第5の実施形態は、2チャンネルの音声信号のそれぞれから、所定の音源の音声信号をそれぞれ分離抽出する場合(第3の実施形態に適用した場合)であるが、第5の実施形態は、第1の実施形態や第2の実施形態にも適用可能である。
すなわち、例えば第1の実施形態に適用する場合には、図3において、乗算係数発生部31の代わりに複数個の乗算係数発生部を設ける。また、それらの複数個の乗算係数発生部と、音源分離部32との間に、複数個の乗算係数発生部の1つからの乗算係数を音源分離部32に供給するようにするスイッチ回路を設ける。さらに、使用者の選択操作信号Maを受け付け、スイッチ回路をスイッチ制御すると共に、乗算係数発生部にレベル比算出部23,24の出力のうちの適切な方のレベルを供給するように制御する信号を発生する分離音源選択信号発生部を設けるようにする。
また、例えば第2の実施形態に適用する場合には、図6において、乗算係数発生部311,312,・・・,31nのそれぞれの代わりに複数個の乗算係数発生部を設ける。さらに、それらの複数個の乗算係数発生部と、音源分離部321,322,・・・,32nのそれぞれとの間に、複数個の乗算係数発生部の1つからの乗算係数を音源分離部321,322,・・・,32nのそれぞれに供給するようにする複数個のスイッチ回路を設ける。さらに、また、使用者の選択操作信号Maを受け付け、各スイッチ回路をスイッチ制御するスイッチ制御信号を発生する。そして、乗算係数発生部のそれぞれにレベル比算出部23,24の出力のうちの適切な方のレベルを供給するように制御する信号を発生する分離音源選択信号発生部を設けるようにする。
[第6の実施形態の音声信号処理装置の構成]
以上の実施形態においては、2チャンネルの音声信号に、各音源の音声信号が分配されるときの位相は、2チャンネルで同相としたが、逆相で音源の音声信号が分配される場合もある。一例として、次の(式3)および(式4)のように、6個の音源MS1〜MS6からの音声信号S1〜S6が左右2チャンネルに分配されたステレオ音声信号SL,SRを考える。
SL=S1+0.9S2+0.7S3+0.4S4+0.7S6 ・・・(式3)
SR=S5+0.4S2+0.7S3+0.9S4−0.7S6 ・・・(式4)
すなわち、音源MS3の音声信号S3と、音源MS6の音声信号S6とは、左右チャンネルに、それぞれ同レベルで分配されている。しかし、音源MS3の音声信号S3は、左右チャンネルに同相で分配されているのに対して、MS6の音声信号S6は、左右チャンネルに逆相で分配されている。
このため、上述の実施の形態と同様にして、位相を考慮せず、レベル比あるいはレベル差のみを用いて音源MS3の音声信号S3または音源MS6の音声信号S6のいずれかを分離抽出しようとしても、いずれか一方を分離抽出することはできない。音声信号S3とS6とは、同レベルで左右チャンネルに分配されているからである。
そこで、この第6の実施形態では、上述と同様にしてレベル比あるいはレベル差を用いて音声成分を分離した後、位相差を用いて更なる分離をすることにより、音源MS3の音声信号S3と音源MS6の音声信号S6をも分離して出力することができるようにする。
図11は、この第6の実施形態の音声信号処理装置の構成例を示すブロック図である。この第6の実施形態の音声信号処理装置における周波数分割スペクトル比較処理部103は、レベル比較処理部1031と、位相比較処理部1032とを備える。
また、この第6の実施形態における周波数分割スペクトル制御処理部104は、第1周波数分割スペクトル制御処理部1041と、位相差に基づいた音源分離処理を実行するための第2周波数分割スペクトル制御処理部1042とを備える。
図12は、この第6の実施形態における周波数分割スペクトル比較処理部103と、周波数分割スペクトル制御処理部104の部分の詳細構成例を示すブロック図である。すなわち、周波数分割スペクトル比較処理部103のレベル比較処理部1031は、前述した第1の実施形態の周波数分割スペクトル比較処理部13と同様の構成の備え、レベル検出部21,22と、レベル比算出部23,24と、セレクタ25とからなる。
そして、周波数分割スペクトル制御処理部104の第1周波数分割スペクトル制御処理部1041も、前述の第1の実施形態の周波数分割スペクトル制御処理部14とほぼ同様の構成を備える。すなわち、周波数分割スペクトル制御処理部1041は、乗算係数発生部31と、乗算部33および34とからなる音源分離部32の構成とされている。ただし周波数分割スペクトル制御処理部1041は、加算部35は有しない。
そして、図11および図12に示すように、レベル比較処理部1031からのレベル比出力rは、第1の実施形態と全く同様にして、第1周波数分割スペクトル制御処理部1041の乗算係数発生部31に供給される。そして、この乗算係数発生部31から当該乗算係数発生部31に設定された関数に応じた乗算係数wrが発生し、乗算部33,34に供給される。
乗算部33には、FFT部11からの周波数分割スペクトル成分が供給されており、当該周波数分割スペクトル成分と乗算係数wrとの乗算結果が、この乗算部33から得られる。また、乗算部34には、FFT部12からの周波数分割スペクトル成分が供給されており、当該周波数分割スペクトル成分と乗算係数wrとの乗算結果が、この乗算部34から得られる。
すなわち、乗算部33,34からは、FFT部11,12からの周波数分割スペクトル成分のそれぞれが、乗算係数発生部31からの乗算係数wrに応じてレベル制御された状態の出力が得られる。
前述したように、乗算係数発生部31は、レベル比rを変数とした乗算係数wrに関する関数発生回路により構成される。乗算係数発生部31に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の左右2チャンネルの音声信号への分配率による。
例えば、乗算係数発生部31には、図4に示したような特性の、乗算係数wrのレベル比に関する関数が設定される。例えば、左右2チャンネルに同レベルで分配される音源の音声信号を分離抽出する場合には、前述したように、図4(a)に示した特定の関数が、乗算係数発生部31に設定される。
この第6の実施形態では、乗算部33,34の出力は、それぞれ周波数分割スペクトル比較処理部103の位相比較処理部1032に供給されると共に、周波数分割スペクトル制御処理部104の第2周波数分割スペクトル制御処理部1042に供給される。
位相比較処理部1032は、図12に示すように、乗算部33,34の出力の位相差φを検出する位相差検出部26からなり、その位相差φの情報を第2周波数分割スペクトル制御処理部1042に供給する。
第2周波数分割スペクトル制御処理部1042は、2個の乗算係数発生部301および305と、乗算部302,303および乗算部306,307と、加算部304および308とからなる。
そして、乗算部302には、第1周波数分割スペクトル制御処理部1041の乗算部33の出力が供給されると共に、乗算係数発生部301からの乗算係数wp1が供給され、両者の乗算結果が、この乗算部302から加算部304に供給される。また、乗算部303には、第1周波数分割スペクトル制御処理部1041の乗算部34の出力が供給されると共に、乗算係数発生部301からの乗算係数wp1が供給され、両者の乗算結果が、この乗算部303から加算部304に供給される。そして、加算部304の出力は、周波数分割スペクトル制御処理部104の第1の出力Fex1とされる。
また、乗算部306には、第1周波数分割スペクトル制御処理部1041の乗算部33の出力が供給されると共に、乗算係数発生部305からの乗算係数wp2が供給され、両者の乗算結果が、この乗算部306から加算部308に供給される。また、乗算部307には、第1周波数分割スペクトル制御処理部1041の乗算部34の出力が供給されると共に、乗算係数発生部305からの乗算係数wp2が供給され、両者の乗算結果が、この乗算部307から加算部308に供給される。そして、加算部308の出力は、周波数分割スペクトル制御処理部104の第2の出力Fex2とされる。
乗算係数発生部301および305は、位相差検出部26からの位相差φの情報を受けて、当該位相差φに応じた乗算係数wp1およびwp2を発生する。乗算係数発生部301および305は、位相差φを変数とした乗算係数wpに関する関数発生回路により構成される。乗算係数発生部301および305に使用する関数として、どのような関数が選ばれるかは、分離すべき音源の前記2チャンネルに対する位相差に応じて、使用者により設定される。
乗算係数発生部301および305に供給される位相差φは、周波数分割スペクトルの各周波数成分単位で変化するものであるので、乗算係数発生部301および305からの乗算係数wp1およびwp2も、周波数分割スペクトルの各周波数成分単位で変化する。
したがって、乗算部302および乗算部306では、乗算部33からの各周波数分割スペクトルのレベルが、乗算係数wp1およびwp2により制御される。また、乗算部303および乗算部307では、乗算部34からの各周波数分割スペクトルのレベルが、乗算係数wp1およびwp2により制御される。
図13に、乗算係数発生部301および305としての関数発生回路に用いられる関数の例を示す。
図13(a)の関数の特性は、左右チャンネルの位相差φが0、あるいは0に近い場合、つまり、左右チャンネルが同相あるいは同相に近い周波数分割スペクトル成分では、乗算係数wpは1あるいは1近傍となる。また、左右チャンネルの位相差φが約π/4以上の領域では、乗算係数wpは0となっている。
例えば乗算係数発生部301に、この図13(a)の特性の関数が設定されている場合において、位相差検出部26からの位相差φが0、または0近傍となっている周波数分割スペクトル成分に対する乗算係数wpは1、あるいは1に近い値となる。したがって、乗算部302、303からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部26からの位相差φが、約π/4以上の値となっている周波数分割スペクトル成分に対する乗算係数wpは0となるので、乗算部302,303からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部302,303からは、多数個の周波数分割スペクトル成分のうち、左右同相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。左右チャンネルの位相差が大きい周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRに同相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部304から得られることになる。
つまり、この図13(a)の特性の関数は、左右2チャンネルに同相で分配されている音源の信号を抽出する際に用いられる。
また、図13(b)の関数の特性は、左右チャンネルの位相差φがπ、あるいはπに近い場合、つまり、左右チャンネルが逆相あるいは逆相に近い周波数分割スペクトル成分では、乗算係数wpは1あるいは1近傍となる。また、左右チャンネルの位相差φが約3π/4以下の領域では、乗算係数wpは0となっている。
例えば乗算係数発生部301に、この図13(b)の特性の関数が設定されている場合において、位相差検出部26からの位相差φがπ、またはπ近傍となっている周波数分割スペクトル成分に対する乗算係数wpは1、あるいは1に近い値となる。したがって、乗算部302、303からは、当該周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。一方、位相差検出部26からの位相差φが、約3π/4以下の値となっている周波数分割スペクトル成分に対する乗算係数wpは0となるので、乗算部302,303からは、当該周波数分割スペクトル成分は、出力レベルが0とされて、出力されなくなる。
すなわち、乗算部302,303からは、多数個の周波数分割スペクトル成分のうち、左右逆相およびその近傍の位相差となっている周波数分割スペクトル成分は、ほぼそのままのレベルで出力される。そして、左右チャンネルの位相差が小さい周波数分割スペクトル成分は、出力レベルが0とされて出力されなくなる。この結果、左右2チャンネルの音声信号SL,SRに逆相で分配された音源の音声信号の周波数分割スペクトル成分のみが加算部304から得られることになる。
つまり、この図13(b)の特性の関数は、左右2チャンネルに逆相で分配されている音源の信号を抽出する際に用いられる。
同様にして、図13(c)の特性の関数は、左右チャンネルの位相差φが約π/2、あるいは約π/2に近い場合の周波数分割スペクトル成分では、乗算係数wpは1あるいは1近傍となり、その他の位相差φの領域では、乗算係数wpは0となっている。したがって、この図13(c)の特性の関数は、左右2チャンネルに、互いに約π/2だけ異なる位相で分配されている音源の信号を抽出する際に用いられる。
その他、乗算係数発生部301および305には、分離する音源の音声信号の2チャンネルへ分配する際の位相差に応じて、図13(d)や(e)に示すような特性の関数を設定することもできる。
以上のようにして、周波数分割スペクトル制御処理部104から得られる第1の出力Fex1および第2の出力Fex2は、逆FFT部1501および1502にそれぞれ供給されて、元の時系列の音声信号に戻される。この時系列の音声信号は、第1および第2の出力信号SO10およびSO20として導出される。これら第1および第2の出力信号SO10およびSO20をアナログ信号として導出する場合には、逆FFT部1501および1502の出力段にD/A変換器が設けられる。
この第6の実施形態において、例えば、前記(式3)および(式4)で示された左右2チャンネルの音声信号SLおよびSRから、同レベルであるが、同相で左右チャンネルに分配された音源MS3の音声信号S3と、逆相で左右チャンネルに分配された音源MS6の音声信号S6とを、出力Fex1およびFex2として分離する場合には、乗算係数発生部31には、図4(a)に示したような特定の関数が設定され、また、乗算係数発生部301には、図13(a)に示すような特性となる関数が設定され、さらに乗算係数発生部305には、図13(b)に示すような特性となる関数が設定される。
すると、図11および図12に示すように、周波数分割スペクトル制御処理部104の第1周波数分割スペクトル制御処理部1041の乗算部33からは、左チャンネルの音声信号SLをFFTした信号(周波数分割スペクトル)のうちの、(S3+S6)なる周波数分割スペクトル成分が得られ、また、乗算部34からは、右チャンネルの音声信号SRをFFTした信号(周波数分割スペクトル)のうちの、(S3−S6)なる周波数分割スペクトル成分が得られる。つまり、信号S3とS6とは、左右チャンネルに同レベルで分配されているので、第1周波数分割スペクトル制御処理部1041では、分離できずに出力されることになる。
しかし、この第6の実施形態では、信号S3とS6とが逆相で左右チャンネルに分配されていることを利用して、次のようにして、当該信号S3と、S6とが分離される。
すなわち、乗算部33および34の出力は、周波数分割スペクトル比較処理部103の位相比較処理部1032を構成する位相差検出部26に供給されて、両出力の位相差φが検出される。そして、この位相差検出部26で検出された位相差φの情報は、乗算係数発生部301に供給されるとともに、乗算係数発生部305に供給される。
乗算係数発生部301では、図13(a)に示すような特性の関数が設定されていることから、乗算部302,303では、左右チャンネルに同相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分(S3+S6)と、周波数分割スペクトル成分(S3−S6)のうちの、同相関係にある音源MS3の音声信号S3の周波数分割スペクトル成分のみが乗算部302および303のそれぞれから得られ、加算部304に供給される。
したがって、加算部304からは、音源MS3の音声信号S3の周波数分割スペクトル成分が、出力信号Fex1として導出され、逆FFT部1501に供給される。そして、分離された音声信号S3は、逆FFT部1501で時系列信号に戻され、出力信号SO10として出力される。
一方、乗算係数発生部305では、図13(b)に示すような特性の関数が設定されていることから、乗算部306,307では、左右チャンネルに逆相で分配されている音源の音声信号を抽出する。すなわち、周波数分割スペクトル成分(S3+S6)と、周波数分割スペクトル成分(S3−S6)のうちの、逆相関係にある音源MS6の音声信号S6の周波数分割スペクトル成分のみが乗算部306および307のそれぞれから得られ、加算部308に供給される。
したがって、加算部308からは、音源MS6の音声信号S6の周波数分割スペクトル成分が、出力信号Fex2として導出され、逆FFT部1502に供給される。そして、分離された音声信号S6は、逆FFT部1502で時系列信号に戻され、出力信号SO20として出力される。
なお、図11および図12に示した実施形態では、第2周波数分割スペクトル制御処理部1042では、第1周波数分割スペクトル制御処理部1041においてレベル比を用いては分離できない2つの信号、上述の例では、同相の信号S3と、逆相の信号S6とを、それぞれ乗算係数および乗算部を用いて、それぞれ分離するようにしたが、それらレベル比を用いては分離できない2つの信号の一方を、位相差φと乗算係数を用いて、分離したら、当該分離した信号を、第1周波数分割スペクトル制御処理部1041からの信号の和(乗算部33の出力と乗算部34の出力を加算した信号)から減算することにより、前記2つの信号の他方の信号を、分離するようにすることもできる。
なお、図11、図12の実施形態では、2個の分離音源信号を得るようにしたが、出力する分離音源信号は、1個でもよい。また、第2の実施形態のように、より多数個の音源の音声信号を同時に分離する場合にも、この第6の実施形態を適用することができるのは言うまでもない。
また、図11、図12の実施形態は、2系統の周波数分割スペクトルのレベル比に基づいて、2系統の音声信号に同レベルで分配されている音源成分を抽出した後、その抽出結果の2系統の周波数分割スペクトルについての位相差に基づいて、所望の音源分離を行なうようにしたが、例えば入力音声信号が、(S3+S6)および(S3−S6)のような、2系統の音声信号の場合には、位相差のみに基づいて、音源分離を行なうことができることは言うまでもない。
また、第4の実施形態として説明した自動採譜装置にも、この第6の実施形態は適用可能である。
[第7の実施形態の音声信号処理装置]
図14は、第7の実施形態の音声信号処理装置の構成例を示すブロック図である。この図14の例においては、左右2チャンネルの音声信号SL、SRの一方、図の例では、左チャンネルの音声信号SLから、デジタルフィルタを用いて、左右チャンネルに所定のレベル比あるいはレベル差で分配された音源の音声信号を分離するようにする。
すなわち、左チャンネルの音声信号(この例ではデジタル信号)SLは、タイミング調整用の遅延部41を通じてデジタルフィルタ42に供給される。このデジタルフィルタ42には、後述するようにして、分離したい音源の音声信号の、左右チャンネルに対するレベル比に基づいて形成されるフィルタ係数が供給されて、前記分離したい音源の音声信号が、このデジタルフィルタ42から抽出されるようにされる。
前記フィルタ係数は、次のようにして形成される。先ず、左右チャンネルの音声信号SLおよびSR(デジタル信号)は、FFT部43およびFFT部44にそれぞれに供給されて、FFT処理されて時系列音声信号が周波数領域データに変換され、FFT部43およびFFT部44のそれぞれから、周波数が互いに異なる多数個の周波数分割スペクトル成分が出力される。
FFT部43および44のそれぞれからの周波数分割スペクトル成分のそれぞれは、レベル検出部45,46に供給されて、その振幅スペクトルあるいはパワースペクトルが検出されることにより、そのレベルが検出される。そして、レベル検出部45,46の各々で検出されたレベル値D1,D2は、レベル比算出部47に供給され、そのレベル比D1/D2またはD2/D1の一方が算出される。
このレベル比算出部47で算出されたレベル比の値は、重み付け係数発生部48に供給される。この重み付け係数発生部48は、前述の実施形態の乗算係数発生部に対応するものであり、分離したい音源の音声信号の、左右2チャンネルの音声信号に対する混合レベル比およびその近傍のレベル比では大きな値の重み付け係数を出力し、その他のレベル比では小さな重み付け係数を出力する。この重み付け係数は、FFT部43,44の出力である周波数分割スペクトル成分の各周波数ごとに得られる。
この重み付け係数発生部48からの周波数領域の重み付け係数は、フィルタ係数生成部49に供給され、時間軸領域のフィルタ係数に変換される。このフィルタ係数生成部49は、周波数領域の重み付け係数を、逆FFTを行なうことにより、デジタルフィルタ42に供給するフィルタ係数を得る。
そして、このフィルタ係数生成部49からのフィルタ係数が、デジタルフィルタ42に供給されて、デジタルフィルタ42から、重み付け係数発生部48に設定された関数に応じた音源の音声信号成分が分離抽出されて、出力SOとされる。なお、遅延部41は、デジタルフィルタ42に供給されるフィルタ係数が生成されるまでの処理遅延時間を調整するためのものである。
図14の例は、レベル比のみを考慮したものであるが、位相差のみ、またレベル比と位相差を合わせて考慮する構成とすることもできる。すなわち、例えばレベル比と位相差とを合わせて考慮する場合には、図示は省略するが、FFT部43および44の出力を位相差検出部にも供給すると共に、検出した位相差をも、重み付け係数発生部に供給する。この例の場合の重み付け係数発生部は、分離する音源の左右2チャンネルの音声信号に対するレベル差のみではなく、位相差をも変数として重み付け係数を発生する関数発生回路の構成とされる。
つまり、この場合の重み付け係数発生部は、分離しようとする音源の音声信号の、左右2チャンネルにおけるレベル比およびその近傍のレベル比のときであって、前記、分離しようとする音源の音声信号の、左右2チャンネルにおける位相差およびその近傍の位相差のときには、大きい重み付け係数を発生し、その他では小さい係数を発生するような関数に設定される。
そして、その重み付け係数発生部からの重み付け係数が逆FFTされることにより、デジタルフィルタ42のフィルタ係数とされるものである。
なお、図14では、左チャンネルのみから希望する音源の音声信号を分離するようにしたが、右チャンネルの音声信号についても、フィルタ係数を発生する系を、別個に同様に設けることにより、同様に所定の音源の音声信号を分離することができる。
[その他の実施形態の音声信号処理装置]
上述の実施形態において、入力音声信号をFFTする場合、楽音のように長い時系列信号をそのままFFT処理することは困難なので、所定分析区間に区分けして、当該分析区間ごとの区分データを得ることによりFFT処理を行なう。
しかしながら、時系列データを単純に一定の長さだけ取り出し、音源分離処理を行った後、逆FFT変換して結合した場合、その結合点において波形の不連続点を発生し、音として聞いた場合、ノイズを発生すると言う問題がある。
そこで、第8の実施形態では、区分データを取り出すのに、図15に示すように、区間1、区間2、区間3、区間4、・・・の長さを、それぞれ同じ長さの単位区間とするが、隣り合う区間では、前記単位区間の長さの例えば1/2の区間分を、互いに重複するように各区間を設定して、各区間の区分データを取り出すようにする。なお、図15において、x0、x1、x2、x3、・・・、xnは、デジタル音声信号のサンプルデータを示している。
このようにして処理すると、上述の実施形態のようにして音源分離処理され、逆FFT 変換された時系列データ(y0、y1、y2、y3、・・・、yn)も、図16に示す出力区分データ1,2のように、重複区間を持つことになる。
そして、この第8の実施形態では、図16に示すように、重複区間を持って隣り合う出力区分データ、例えば出力区分データ1,2の重複区間に対して、図16に示すような三角窓の特性となる窓関数1、2の処理を行ない、各出力区分データ1,2の重複区間における同時刻データ同士を加算することにより、図16に示すような出力合成データを得るようにする。これにより、波形の不連続点の無い、すなわちノイズの無い、分離された出力音声信号が得られる。
さらに、第9の実施形態では、区分データを取り出すのに、図17に示すように、隣り合う区分データの一定区間として、区間1、区間2、区間3、区間4のように、互いに重複して取り出すようにすると同時に、これらの各区間の区分データを、FFT処理する前に、図17に示すような三角窓の窓関数1,2,3,4の、窓関数処理を行なう。
そして、この図17に示すような窓関数処理を行なった後、FFT変換処理を行なうようにする。そして、しかるべき音源分離処理された信号を、逆FFT変換すると、図18に示すような出力区分データ1、2が得られる。この出力区分データは、既に重複部において窓関数処理されたデータになっているので、出力部では、各重複区分データ部を加算するだけで、波形の不連続点のないノイズの無い、分離された音声信号を得ることが可能となる。
なお、上述の窓関数としては、三角窓の他、ハニング窓またはハミング窓、あるいはブラックマン窓、などを用いることができる。
また、上述の実施形態では、時間離散信号を直交変換することにより、周波数領域の信号に変換し、ステレオチャンネル間の周波数分割スペクトルを比較するようにしたが、原理的には時間領域で信号を多数のバンドバスフィルタにより細分化し、各周波数バンドについて同様の処理を行なうように構成するようにしてもよい。ただし、上述の実施形態のように、FFT処理をする方が、周波数分解能を上げることが容易であり、分離する音源の分離度を向上させることができるので、実用性が大きい。
なお、上述の実施形態では、この発明が適用される2系統の音声信号として、2チャンネルステレオ信号について説明したが、この発明は、音源の音声信号が所定のレベル比あるいはレベル差で分配される2つの音声信号であれば、どのような2系統の音声信号であっても適用可能である。位相差についても同様である。
また、上述の実施形態では、2系統の音声信号についての周波数分割スペクトルのレベル比を求め、乗算係数発生部は、レベル比対乗算係数の関数を用いるようにしたが、2系統の音声信号についての周波数分割スペクトルのレベル差を求め、乗算係数発生部は、当該レベル差対乗算係数の関数を用いるようにしてもよい。
また、時系列信号を周波数領域の信号に変換する直交変換手段としては、FFT処理手段に限られるものではなく、周波数分割スペクトルのレベルや位相を比較することができるものであれば、どのようなものであってもよい。
10…音声信号処理装置、11,12…FFT部、13…周波数分割スペクトル比較処理部、14…周波数分割スペクトル制御処理部、15…逆FFT部、21,22…レベル検出部、23,24…レベル比算出部、25…セレクタ、31…乗算係数発生部、32…音源分離部、33,34…乗算部、35…加算部、16L,16R…周波数分割スペクトル最大レベル検出部、1032…位相比較処理部