JP3511360B2

JP3511360B2 - 音楽音響信号分離方法、その装置およびそのプログラム記録媒体

Info

Publication number: JP3511360B2
Application number: JP05698698A
Authority: JP
Inventors: 邦夫柏野; 洋村瀬
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-03-09
Filing date: 1998-03-09
Publication date: 2004-03-29
Anticipated expiration: 2018-03-09
Also published as: JPH11259066A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数のパート
（旋律）を含む音楽演奏の音響信号に対して、ある旋律
だけを抽出するか、またはある旋律だけを除去すること
によって、たとえば歌唱だけを抽出したり、原楽曲から
カラオケを作成したりすることなどを目的とする、音楽
音響信号を分離する方法、その装置およびプログラム記
録媒体に関する。

【０００２】

【従来の技術】従来、音楽音響信号分離方法として、
「音楽演奏に含まれる旋律の分離抽出および分離除去方
法」（特願平９−３２７０７６）で、複数の旋律（パー
ト）を含む音楽演奏の音響信号に対して、ある旋律だけ
を抽出するか、またはある旋律だけを除去することによ
って、たとえば歌唱だけを抽出したり、原楽曲からカラ
オケを作成したりすることなどを目的とする装置を提案
した。

【０００３】この提案した方法は図２に示すように周波
数成分抽出手段１で音楽演奏の音響信号に対し、周波数
解析を行って、周波数軸方向のローカルピークを時間方
向に接続することによって周波数成分を抽出し、各周波
数成分の各時刻における瞬時周波数を取得する。周波数
成分選択手段２は、周波数成分抽出手段１で抽出した周
波数成分の各時刻における瞬時周波数と、別の手段で与
えられる各単音の時刻および周波数とを参照することに
よって、抽出または除去の対象となる単音を構成する周
波数成分を選択する。波形加算合成手段３は、周波数成
分選択手段２で選択された周波数成分の時刻、振幅、位
相の情報に基づいて合成される区分的な正弦波を、各時
刻において同時に存在する周波数成分の数だけ加算する
ことによって出力音響信号波形を生成する。

【０００４】周波数成分抽出手段１では、図５に示すよ
うにまず装置への入力となる音楽演奏の音響信号波形を
読み込む（ステップ１０１）、次に、読み込んだ波形に
対し周波数解析を行って、スペクトログラムを得る（ス
テップ１０２）。スペクトログラムは、音響信号に含ま
れるパワーを横軸時間、縦軸周波数の平面上に表現した
ものである。スペクトログラムは、例えば高速フーリエ
変換の手法を用いて得る。続いて、ステップ１０２で得
たスペクトログラムに対して、周波数成分を抽出する。
周波数成分とは、スペクトログラム上における一連のロ
ーカルピークのことである。周波数成分抽出は、スペク
トログラムをまず周波数方向に走査してパワーのローカ
ルピークを検出し（ステップ１０３）、このローカルピ
ークの時間方向の連続性を検出して、連続するローカル
ピークを接続する（ステップ１０４）ことによって行
う。

【０００５】一般に、高速フーリエ変換の手法では、周
波数方向の分解能は分析時間窓の長さ（ポイント数）す
なわち時間分解能によって決まり、音楽演奏を対象とし
た場合、十分な時間分解能を得ようとすると、十分な周
波数分解能が得られない。例えば、標本化周波数４８ｋ
Ｈｚのとき、４０ミリ秒の時間分解能を得ようとすれ
ば、分析フレーム長を２０４８サンプルかそれより短い
時間区間としなければならないが、このとき周波数分解
能は高々約２３Ｈｚとなる。ところが、音楽では半音の
周波数差が約６％であるから、例えば、歌唱の代表的音
域である２２０ＨｚのＡの音と２３３ＨｚのＡ＃の音と
を区別するためには１３Ｈｚの周波数分解能が必要であ
り、上記分析では周波数分解能が不足する。しかし、ス
テップ１０４で検出された周波数成分をその連続性を用
いることにより精密な周波数の値を推定する（ステップ
１０５）。

【０００６】これは例えば次のように行うことができ
る。この方法は、まず位相の連続性を用いて各時刻にお
ける位相を近似し、その時間微分として周波数を求める
ものである。なお、このようにして求めた周波数値を瞬
時周波数と呼ぶ。ｋ番目の分析フレームと、これと時間
的に隣接したｋ＋１番目の分析フレームを考え、それぞ
れのフレームにおいて検出されたローカルピーク成分
の、フーリエ変換によって得られる周波数値ωと位相値
θをそれぞれωｋ，ωｋ＋１，θｋ，θｋ＋１とする。
位相は連続的に変化しているはずなので、低次の多項式
で位相の時問変化を表現することを考える。そこで、時
刻ｔにおける位相θ（ｔ）を３次式で近似することにす
れば、次式のようになる。

【０００７】 θ（ｔ）＝θ_k＋ω_kｔ＋αｔ² ＋βｔ³ …（１）ここで、αとβは、次式によって求めることができる。ただしＴは隣接フレーム間の時間間隔であり、Ｍは次の
ｘ′に最も近い整数である。

【０００８】ｘ′＝（１／２π）（θ_k−θ_k+1 ＋（ω
_k+1 ＋ω_k）Ｔ／２）この計算で得られたθ（ｔ）を時間微分することによっ
て瞬時周波数値ω（ｔ）が計算できる。瞬時周波数の計
算では、フーリエ変換のフレーム長に依存して決まる周
波数分解能の影響を直接には受けないため、上記の時間
分解能と周波数分解能の関係によって分解能が不足する
という間題点は解消することができる。

【０００９】しかし、上記の計算では、実際には演算精
度等の点から、常に信頼性の高い瞬時周波数値ω（ｔ）
が計算できるとは限らない。このような場含には、ω
（ｔ）の時系列に対してローパスフィルタあるいはメジ
アンフィルタ（一定区間ごとにその中央値を出力する）
等の演算を行うことができる。メジアンフィルタを用い
る場合、例えば、サンプリング周波数４８ｋＨｚ、フレ
ーム長２０４８サンプル、隣接フレーム間の時間差３２
サンプル（直前のフレームと２０１６サンプルは同一）
の場合で、対象フレームの前後１０フレーム分について
計算されたω（ｔ）の中間値を対象フレームの瞬時周波
数値として用いると、後続の再合成処理等において良好
な結果が得られる。

【００１０】上記のような計算を行った結果得られた瞬
時周波数値ω（ｔ）と振幅値とをバッファに格納し（ス
テップ１０６）、ステップ１０１に戻って、入力された
全ての音響信号を処理し終わるまで、逐次各フレームの
処理を行う。周波数成分選択手段２では、図６に示すよ
うにはじめに、周波数成分抽出手段１で得た周波数成分
抽出結果を読み込み（ステップ２０１）、それぞれの周
波数成分を一つずつ選択しながら処理を行う。まず、選
択した周波数成分が、別途装置に与えられている処理対
象の旋律に含まれる単音の情報、対応する楽譜情報に該
当しているかどうかを検査する（ステップ２０２）。す
なわち周波数成分の時刻と瞬時周波数とが、処理対象の
単音の時間区間と周波数とに一致するかどうかを調べ
る。もしこれらが一致していれば、その成分は基本周波
数成分であると判定できるのでステップ２０３に進む。
もし一致していなければ、ステップ２０１に戻る。基本
周波数成分と判定された成分は、まずその成分自身を選
択し（ステップ２０３）、次にその成分の高調波成分
（すなわち瞬時周波数値がその成分の瞬時周波数値のほ
ぼ整数倍となっている成分）を選択する（ステップ２０
４）、選択された成分を周波数成分バッファに格納し
（ステップ２０５）、ステップ２０１に戻る。

【００１１】なおステップ２０２の検査に当って、入力
音楽の音響信号に対する楽譜の音符記号から各時刻に発
生（入力）する音の周波数と継続時間とを予め求めてお
き、これを入力音響信号に同期させて入力させればよ
い。波形加算合成手段３では、図７に示すようにまず、
周波数成分抽出手段１で生成された周波数成分のうちで
未処理のものを検索し（ステップ３０１）、未処理の単
音がなければ処理を終了する。未処理の周波数成分があ
れば、周波数成分選択手段２の出力を参照して、その成
分が合成に用いるべき成分であるかどうかを判定する
（ステップ３０２）。もし、与えられた単音を分離抽出
したい場合には、周波数成分選択手段２の出力に含まれ
る成分のみを合成に用いるので、ステップ３０３に進
む。もし、与えられた単音を分離除去したい場合には、
周波数成分選択手段２の出力に含まれる成分を合成に用
いないので、ステップ３０１に戻る。ステップ３０２に
おいて合成に用いられると判定された成分については、
その成分の時刻、位相、および振幅の情報を用いて正弦
波波形を計算する（ステップ３０３）。なおステップ３
０２において、合成に用いるか用いないかの二値的な判
断をするのではなく、抽出または除外する程度に応じて
０から１までの範囲の値をとる係数を計算して、ステッ
プ３０３で用いる振幅値に積算してもよい。ステップ３
０３の計算結果を波形バッファに加算格納し（ステップ
３０４）、ステッブ３０１に戻る。

【００１２】この提案した方法では、音程やリズムの変
動が大きい場合には、分離の対象となる単音の音高やタ
イミングの情報と、実際の周波数成分との対応づけが難
しいため、分離が十分に行えない場合があるという欠点
があった。

【００１３】

【発明が解決しようとする課題】この発明は、音程やリ
ズムの変動が大きい場合であっても適用することのでき
る、音楽音響信号分離方法、その装置、プログラム記録
媒体を提供し、公知の方法に比較して、高い品質で音楽
音響信号分離処理を行うことを目的としている。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、この発明は、周波数成分抽出過程で、音楽音響信号
に含まれている周波数成分を抽出し、パート譜情報から
得られる、音符の音高とタイミングに関する情報を利用
して、前記のパート譜に対応する実際の基本周波数の時
間変化を基本周波数軌跡追跡過程で追跡し、上記周波数
成分抽出過程で抽出した周波数成分に対して、上記基本
周波数軌跡追跡過程で追跡した基本周波数軌跡の情報を
用いて、出力に用いるべき周波数成分とその時間範囲と
を周波数成分選択過程で選択し、上記周波数成分選択過
程で選択された周波数成分の時刻、振幅、位相の情報に
基づいて波形加算合成過程で波形を合成加算することに
よって出力音響信号波形を生成することを特徴とする。

【００１５】特に、前記「音楽演奏に含まれる旋律の分
離抽出および分離除去方法」（特願平９−３２７０７
６）の方法に比べて、特にパート譜情報から得られる、
音符の音高とタイミングに関する情報を利用して、実際
の音に対応づけた情報を生成し、つまり前記のパート譜
に対応する実際の基本周波数の時間変化を追跡して前記
基本周波数の対応付け情報を得る基本周波数軌跡追跡過
程を備える点に特徴がある。なお音符の音高とタイミン
グに関する情報は楽譜情報のみならず、これと同等の、
例えばＭＩＤＩデータに含まれる情報を用いてよいこと
は明らかである。

【００１６】

【発明の実施の形態】次に、この発明の実施形態につい
て図面を用いて説明する。図１は、この発明方法を適用
した音楽音響信号分離装置の一実施形態を示すブロック
図である。この実施形態の音楽音響信号分離装置は、周
波数成分抽出手段１と、基本周波数軌跡追跡手段２と、
周波数成分選択手段３と、波形加算合成手段４とで構成
され、音楽音響信号とパート譜情報をそれぞれ端子１１
と１２から入力とし、入力音響信号から入力楽譜情報に
対応した旋律のみを抽出した音響信号、または入力音響
信号から入力楽譜情報に対応した旋律のみを除去した音
響信号を出力端子１３から出力する。

【００１７】周波数成分抽出手段１は、図２の周波数成
分抽出手段１と同様のものである。基本周波数軌跡追跡
手段５は、端子１２から入力されたパート譜情報から得
られる、音符の音高とタイミングに関する情報を利用し
て、前記のパート譜に対応する実際の基本周波数の時間
変化を追跡する。この追跡手法は後で詳細に説明する。

【００１８】周波数成分選択手段６は、周波数成分抽出
手段１で抽出した周波数成分の各時刻における瞬時周波
数と、基本周波数軌跡追跡手段５で追跡した基本周波数
軌跡とを参照することによって、抽出または除去の対象
となる単音を構成する周波数成分を選択する。波形加算
合成手段３は、図２の正弦波加算合成手段３と同様のも
のである。

【００１９】次に、上述した基本周波数軌跡追跡手段５
における各処理の流れを具体的に説明する。基本周波数
軌跡追跡手段５では、はじめに、端子１２からパート譜
情報を読み込む。この発明では、基本的には、パート譜
以外の成分を選択することによりそのパートを除去する
ことができる（逆に、パート譜の成分を選択すればその
パートを抽出できる）。しかし普通、音楽演奏は音程も
リズムも必ずしもパート譜通りなわけではない。そこで
この発明では、「基本周波数調整モデル」による基本周
波数遷移と、ＤＰ（ＤｙｎａｍｉｃＰｒｏｇｒａｍｍ
ｉｎｇ：動的計画法）による時間軸伸縮を組み合わせて
基本周波数の内部モデルを作り、これと入力の周波数成
分とを対応づける。この方法を図３に示す。

【００２０】例えば、歌唱に対する基本周波数調整モデ
ルは、以下のように組み立てられる。まず、歌手の基本
周波数の制御を、２次減衰振動系でモデル化する。すな
わち、発声しようとする目標基本周波数の対数値をｘ
（ｔ）としたとき、実際に発声される基本周波数の対数
値ｙ（ｔ）が次式に従うと仮定する。ｍｄ²ｙ（ｔ）／ｄｔ²＝−ｋ｛ｙ（ｔ）−ｘ（ｔ）｝−ｐｄｙ（ｔ）／ｄｔ（１）ここでｍ，ｋ，ｐは物理系からの類推によって仮定した
係数である。式（１）をラプラス変換して整理すれば、
Ｙ（ｓ）は、Ｘ（ｓ）に対する２次系Ｈ（ｓ）の応答と
みなせる。ここでＨ（ｓ）＝ω²／（ｓ²＋２γｓ＋ω²）（２）である。ただしω²＝ｋ／ｍ，γ＝ｐ／２ｍである。Ｈ
（ｓ）をステップ関数で駆動したときの応答で、通常の
歌唱における基本周波数軌跡を近似でき、また正弦波や
ランプ関数に対する応答で、ビブラートやポルタメント
が近似できると考えられる。なお、基本周波数軌跡を２
次系の応答で近似する考え方は、既に、スピーチにおい
て藤崎らが提案しているが、この基本周波数調整モデル
は、歌唱が対象であることから、目標周波数値に近づけ
るような制御としてモデル化している点が異なってい
る。このようにしてあるパートの楽譜情報３−１中の音
符の音高とタイミングに関する情報から、ステップ的に
変化する周波数と時間の関係３−２が得られ、これが式
（１）に従って減衰振動系でモデル化されて、周波数の
精緻化がなされた基本周波数調整モデル３−３が得られ
る。

【００２１】次に、この基本周波数調整モデル３−３に
対し時間軸方向の精緻化を行う。すなわち、入力信号に
対する周波数成分の抽出結果３−４を参照しながら、基
本周波数の調整モデル３−３が、入力信号に含まれる周
波数成分３−４中の対応するものに最も適合するよう
に、ＤＰの手法を用いて時間軸を非線型伸縮させて基本
周波数の内部モデル３−５を得る。

【００２２】以上の処理により、周波数・時間の両方向
にゆらぎのある演奏に対して、基本周波数成分を追跡す
ることができる。基本周波数軌跡追跡手段５で求めた内
部モデル（基本周波数軌跡）３−５を周波数成分抽出手
段１の抽出瞬時周波数３−４から除去することを周波数
成分選択手段６で行うと、その結果３−６が得られる。

【００２３】これを波形加算合成手段３で各時刻におい
て同時に存在する周波数成分を区分的な正弦波に合成す
ると音響信号波形３−７となる。なお、歌唱以外の楽器
に対する基本周波数の内部モデルも、各楽器の発音形態
等を考慮することにより、同様に構築できる。

【００２４】

【発明の効果】次に、この発明を適用した装置の動作実
験例を示す。この実験は、著作権フリー音楽の１曲（サ
ウンドワークスナッシュスタジオ・ボーカルコレクショ
ンＩ−１１５）を題材とした。ＣＤでオリジナルカラオ
ケが提供されているので、これに、別途収録した女声歌
唱をミキシングしたものを装置への入力とした。

【００２５】パート譜情報として装置に与えたのは、通
常の楽譜に準じて、各音符の音高（半音単位）、音価
（四分、八分など音符の種類）、休符の音価、速度記号
（１分間あたりの四分音符数）、および歌詞で、その一
部を図４に示す。このうち速度記号は、ＤＰによる時間
軸伸縮の初期値として用いた。また歌詞は、歌詞の無声
部と有声部において基本周波数調整モデルの初期値を制
御するために用いた。即ち二つの音符が有声で連続する
場合、後の音符に対する基本周波数の初期値は、前の音
符の周波数値を用い、無声区間を含んで連続する場合に
は基本周波数の初期値をリセットする。

【００２６】入力信号のサンプリング周波数は４４．１
ｋＨｚ、量子化精度は１６ｂｉｔ、２チャネルステレオ
入力とした。ただし２チャネルの処理は、ただ同じ処理
を２回繰り返しているだけであり、音源位置等の情報は
全く使用していない。この実験の結果、聴感上は、歌唱
の高調波成分のうちの消え残ったものが聞こえ、また異
音も聞こえるが、カラオケやマイナスワン等の用途には
おおむね使用できる程度の出力が得られることが分かっ
た。

【００２７】特に、実験結果を、この発明によらない場
合、図２に示した基本周波数軌跡の追跡を行わず、基本
周波数の階段状の変化を仮定した場合と比較すると、図
２に示した手法の場合には、歌唱の各音節の立上り部分
で消え残りが発生して聴感上の品質はかなり悪化した。
この例のように、市販ＣＤを用いて、この発明を適用し
た装置を動作させたところ、提案されている方法より
も、聴感上品質の高い出力音響信号が得られることが確
かめられた。

【００２８】この種の装置の定量的評価は簡単ではない
が、いま、装置から出力される歌唱を除去した音響信号
の、歌唱をミキシングする前のオリジナルカラオケの音
響信号に対するスペクトル歪み率Ｄを計算した。この発
明方法によればＤ＝１４．６％となった。ただしＤは５
１２サンプルのハニング窓をかけて２５６サンプルずつ
窓を移動させた振幅スペクトルを用いて、次のように定
義した。

【００２９】Ｄ＝ 100・Σ_t，_f｛S(t,f)−R(t,f)｝²
／Σ_t，_fR(t,f)² ［％］Ｓ（ｔ，ｆ）は離散時刻ｔ、離散周波数ｆにおける装置
の出力の振幅スペクトル、Ｒ（ｔ，ｆ）はオリジナルカ
ラオケの振幅スペクトルである。簡易的なカラオケ作成
方法として、左右チャネルの差分演算に基づく方法が知
られている。先の実験対象の曲について差分法によるス
ペクトル歪み率を計算してみると、Ｄ＝４４．１［％］
となった。これより、差分法よりスペクトル歪み率が著
しく小さいことが理解される。

【００３０】以上、説明したように、この発明によれ
ば、楽譜情報をもとに実際の基本周波数軌跡を推定し、
また時間軸の精密な対応をとることによって、音程やリ
ズムの変動が大きい場合であっても、提案されている方
法（図２）に比較して、高い品質で音楽音響信号分離処
理を行うことができるという利点がある。特に周波数抽
出手段１において図５を参照して示したように位相補間
瞬時周波数計算処理（１０５）を行うと、これと、基本
周波数軌跡追跡手段５の処理とよくマッチして音節の立
上り部分が消え残りが発生したりすることなく、聴感上
の品質がよくなるとが確認されている。

【図面の簡単な説明】

【図１】この発明による音楽音響信号分離装置の一実施
形態の機能的構成を示すブロック図。

【図２】先に提案した音楽音響信号分離装置の機能的構
成を示すブロック図。

【図３】図１中の基本周波数軌跡追跡手段５の処理の流
れを示す図。

【図４】この発明の実験に用いたパート譜情報の一部を
示す図。

【図５】図２中の周波数成分抽出手段１の処理手順の例
を示す流れ図。

【図６】図２中の周波数成分選択手段２の処理手順の例
を示す流れ図。

【図７】図２中の正弦波加算手段３の処理手順の例を示
す流れ図。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−286689（ＪＰ，Ａ) 特開平８−227296（ＪＰ，Ａ) 特開平７−319488（ＪＰ，Ａ) 実開平５−60100（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10G 3/04 G10H 1/00 - 1/00 102 G10K 15/04 302

Claims

(57)【特許請求の範囲】

【請求項１】複数の楽器音や歌唱など複数パートが混
在する音楽音響信号から、あるパートの音を分離除去し
たり、あるパートの音だけを分離抽出したりする音楽音
響信号分離方法において、上記音楽音響信号に含まれて
いる周波数成分を抽出する周波数成分抽出過程と、分離対象のパート譜から得られる音高とタイミングに関
する情報の、２次減衰振動系モデルに対する応答をとる
ことにより上記パート譜に対応する基本周波数軌跡を近
似する過程と、上記近似された基本周波数軌跡が上記周波数成分抽出過
程で抽出した周波数成分中の対応するものと適合するよ
うに、上記基本周波数軌跡の時間軸を伸縮させて上記音
楽音響信号に即した基本周波数軌跡を得る過程と、上記周波数成分抽出過程で抽出した周波数成分が上記音
楽音響信号に即した基本周波数軌跡に対応するかどうか
を調べ、対応していればその周波数成分及びその瞬時周
波数の整数倍に近い瞬時周波数の周波数成分を選択する
周波数成分選択過程と、上記周波数成分選択過程で選択された周波数成分、ある
いは上記周波数成分抽出過程で抽出された周波数成分の
うち上記選択された周波数成分以外の周波数成分の時
刻、振幅、位相、瞬時周波数の情報に基づいて波形を合
成加算することによって出力音響信号波形を生成する波
形加算合成過程と、を備えることを特徴とする音楽音響信号分離方法。
【請求項２】上記周波数成分抽出過程は、上記音楽音
響信号を分析フレームごとに短時間フーリエ分析して位
相を求める過程と、位相の連続性に基づき、上記求めた位相の時間変化を低
次の多項式で近似する過程と、その近似位相を時間微分
して周波数値の時系列を求める過程と、この周波数値の時系列に対しフィルタリング演算を行っ
て瞬時周波数を得る過程とを有することを特徴とする請
求項 1 記載の音楽音響信号分離方法。
【請求項３】入力された音楽音響信号に含まれている
周波数成分を抽出する周波数成分抽出手段と、分離対象のパート譜から得られる音高とタイミングの、
２次減衰振動系モデルに対する応答をとることにより上
記パート譜に対応する基本周波数軌跡を近似し、その近
似された基本周波数軌跡が上記基本周波数成分抽出手段
で抽出した周波数成分中の対応するものと適合するよう
に、上記基本周波数軌跡の時間軸を伸縮させて、上記音
楽音響信号に即した基本周波数軌跡を生成する基本周波
数軌跡追跡手段と、上記周波数成分抽出手段で抽出した周波数成分が上記音
楽音響信号に即した基本周波数軌跡に対応するかどうか
を調べ、対応していれば、その周波数成分及びその瞬時
周波数の整数倍に近い瞬時周波数の周波数成分を選択す
る周波数成分選択手段と、上記周波数成分選択手段で選択された周波数成分、ある
いは上記周波数成分抽出手段で抽出された周波数成分の
うち上記選択された周波数成分以外の周波数成分の時
刻、振幅、位相、瞬時周波数の情報に基づいて、波形を
合成／加算することによって出力音響信号波形を生成す
る波形加算合成手段と、を具備する音楽音響信号分離装置。
【請求項４】請求項 1 又は２に記載した音楽音響信号
分離方法の各過程をコンピュータに実行させるプログラ
ムを記録したコンピュータ読み取り可能な記録媒体。