JP3508981B2 - 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 - Google Patents
音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法Info
- Publication number
- JP3508981B2 JP3508981B2 JP32707697A JP32707697A JP3508981B2 JP 3508981 B2 JP3508981 B2 JP 3508981B2 JP 32707697 A JP32707697 A JP 32707697A JP 32707697 A JP32707697 A JP 32707697A JP 3508981 B2 JP3508981 B2 JP 3508981B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- time
- frequency component
- melody
- separating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
ート)を含む音楽演奏の音響信号に対して、ある旋律だ
けを抽出するか、またはある旋律だけを除去することに
よって、たとえば歌唱だけを抽出したり、原楽曲からカ
ラオケを作成したりすることなどを目的とする、音楽演
奏に含まれる旋律を分離抽出および分離除去する方法に
関する。
出および分離除去方法に関しては、周波数成分を画面上
に表示し、これを手動で選択して、選択した周波数成分
に由来する単音の音響信号を出力する方法が知られてい
る。しかし、この方法では、一般の楽器演奏にしばしば
見られるように、同時に数多くの単音が発音している場
合には、各単音に由来するパワースペクトルが複雑に混
ざり合い、どの周波数成分がどの単音に由来するもので
あるかの判別は人手をもってしても極めて困難である
(図4にこれを示す)ため、周波数成分の選択において
は、専門家が試行錯誤を繰り返して選択を行うほかはな
く、一般の利用者が容易に実行できるものではないとい
う欠点があった。
号を生成する方法としては、短時間フーリエ分析によっ
て得られた瞬時周波数値と振幅値を用いて時間的に区分
された正弦波を生成し、これを加算して原波形を得る、
いわゆる加算合成の方法が知られている。しかし、この
方法では、瞬時周波数の計算に隣接する分析区間の情報
のみを用いているため、短時間フーリエ分析によって十
分な精度で瞬時周波数値を得ることは困難である。した
がって瞬時周波数の推定誤差が生じ、これが異音の原因
となって、高品質(高音質)の処理の妨げになることが
多いという欠点があった。
ない一般の利用者の利用に供する場合や、高音質の処理
が必要な場合にあっては、十分な、音楽演奏に含まれる
旋律の分離抽出および分離除去処理が期待し難い。
は限らない一般の利用者の利用に供する場合や、高音質
の処理が必要な場合であっても適用することのできる音
楽演奏に含まれる旋律の分離抽出方法および分離除去方
法を提供し、公知の方法に比較して一般の利用者が容易
に利用できる形で、かつ高い品質で音楽演奏に含まれる
旋律の分離抽出および分離除去処理を行うことを目的と
している。
に、この発明は、音楽演奏の音響信号に含まれている周
波数成分を抽出する周波数成分抽出過程と、上記周波数
成分抽出過程で抽出した周波数成分に対して、また別の
手段で与えられる、分離抽出または分離除去したい旋律
を構成する各単音の音高、発音開始時刻、および発音終
了時刻の情報を用いて、出力に用いるべき周波数成分と
その時間範囲とを選択する周波数成分選択過程と、上記
周波数成分選択過程で選択された周波数成分の時刻、振
幅、位相の情報に基づいて波形を合成加算することによ
って出力音響信号波形を生成する波形加算合成過程を有
することを特徴とする。
て図面を用いて説明する。図1は、この発明方法を適用
した音楽演奏に含まれる旋律の分離抽出および分離除去
装置の一実施形態の機能構成を示すブロック図である。
この実施形態の音楽演奏に含まれる旋律の分離抽出およ
び分離除去装置は、周波数成分抽出手段1と、周波数成
分選択手段2と、波形加算合成手段3で構成され、音楽
音響信号を周波数成分抽出手段1に入力し、楽譜情報を
周波数成分選択手段2に入力し、入力音響信号から入力
楽譜情報に対応した旋律のみを抽出した音響信号、また
は入力音響信号から入力楽譜情報に対応した旋律のみを
除去した音響信号を出力する。
信号に対し、周波数解析を行って、周波数軸方向のロー
カルピークを時間方向に接続することによって周波数成
分を抽出し、各周波数成分の各時刻における瞬時周波数
を取得する。周波数成分選択手段2は、周波数成分抽出
手段1で抽出した周波数成分の各時刻における瞬時周波
数と、別の手段で与えられる各単音の時刻および周波数
とを参照することによって、抽出または除去の対象とな
る単音を構成する周波数成分を選択する。
段2で選択された周波数成分の時刻、振幅、位相の情報
に基づいて合成される区分的な正弦波を、各時刻におい
て同時に存在する周波数成分の数だけ加算することによ
って出力音響信号波形を生成する。次に、上述した各手
段1,2,3における各処理の流れを、図6から図8に
示す流れ図を参照して具体的に説明する。
入力となる音楽演奏の音響信号波形を読み込む(ステッ
プ101)、音響信号波形の例を図2に示す。図2は、
T社発売の市販CDに収録されている、女性歌手の歌謡
曲の音響信号の一部である。上段が左チャンネル、下段
が右チャンネルの波形を示す。次に、読み込んだ波形に
対し周波数解析を行って、スペクトログラムを得る(ス
テップ102)。スペクトログラムは、音響信号に含ま
れるパワーを横軸時間、縦軸周波数の平面上に表現した
ものである。スペクトログラムの例を図3に示す。図3
は、高速フーリエ変換の手法を用いて得たものである。
続いて、ステップ102で得たスペクトログラムに対し
て、周波数成分を抽出する。周波数成分とは、スペクト
ログラム上における一連のローカルピークのことであ
る。周波数成分抽出は、スペクトログラムをまず周波数
方向に走査してパワーのローカルピークを検出し(ステ
ップ103)、このローカルピークの時間方向の連続性
を検出して、連続するローカルピークを接続する(ステ
ップ104)ことによって行う。抽出された周波数成分
の例を図4に示す。図4では、周波数成分が数多くの線
分で表されている。線分の太さがパワー値を示す。
波数方向の分解能は分析時間窓の長さ(ポイント数)す
なわち時間分解能によって決まり、音楽演奏を対象とし
た場合、十分な時間分解能を得ようとすると、十分な周
波数分解能が得られない。例えば、標本化周波数48k
Hzのとき、40ミリ秒の時間分解能を得ようとすれ
ば、分析フレーム長を2048サンプルかそれより短い
時間区間としなければならないが、このとき周波数分解
能は高々約23Hzとなる。ところが、音楽では半音の
周波数差が約6%であるから、例えば、歌唱の代表的音
域である220HzのAの音と233HzのA#の音と
を区別するためには13Hzの周波数分解能が必要であ
り、上記分析では周波数分解能が不足する。しかし、ス
テップ104で検出された周波数成分の連続性を用いる
と、より精密な周波数の値を推定することができる(ス
テップ105)。
る。この方法は、まず位相の連続性を用いて各時刻にお
ける位相を近似し、その時間微分として周波数を求める
ものである。なお、このようにして求めた周波数値を瞬
時周波数と呼ぶ。k番目の分析フレームと、これと時間
的に隣接したk+1番目の分析フレームを考え、それぞ
れのフレームにおいて検出されたローカルピーク成分
の、フーリエ変換によって得られる周波数値ωと位相値
θをそれぞれωk,ωk+1,θk,θk+1とする。
位相は連続的に変化しているはずなので、低次の多項式
で位相の時問変化を表現することを考える。そこで、時
刻tにおける位相θ(t)を3次式で近似することにす
れば、次式のようになる。
x′に最も近い整数である。
+ωk )T/2) この計算で得られたθ(t)を時間微分することによっ
て瞬時周波数値ω(t)が計算できる。瞬時周波数の計
算では、フーリエ変換のフレーム長に依存して決まる周
波数分解能の影響を直接には受けないため、上記の時間
分解能と周波数分解能の関係によって分解能が不足する
という間題点は解消することができる。
度等の点から、常に信頼性の高い瞬時周波数値ω(t)
が計算できるとは限らない。このような場含には、ω
(t)の時系列に対してローパスフィルタあるいはメジ
アンフィルタ(一定区間ごとにその中央値を出力する)
等の演算を行うことができる。メジアンフィルタを用い
る場合、例えば、サンプリング周波数48kHz、フレ
ーム長2048サンプル、隣接フレーム間の時間差32
サンプル(直前のフレームと2016サンプルは同一)
の場合で、対象フレームの前後10フレーム分について
計算されたω(t)の中間値を対象フレームの瞬時周波
数値として用いると、後続の再合成処理等において良好
な結果が得られる。
時周波数値ω(t)と振幅値とをバッファに格納し(ス
テップ106)、ステップ101に戻って、入力された
全ての音響信号を処理し終わるまで、逐次各フレームの
処理を行う。周波数成分選択手段2では、はじめに、周
波数成分抽出手段1で得た周波数成分抽出結果を読み込
み(ステップ201)、それぞれの周波数成分を一つず
つ選択しながら処理を行う。まず、選択した周波数成分
が、別途装置に与えられている処理対象の旋律に含まれ
る単音の情報、対応する楽譜情報に該当しているかどう
かを検査する(ステップ202)。すなわち周波数成分
の時刻と瞬時周波数とが、処理対象の単音の時間区間と
周波数とに一致するかどうかを調べる。もしこれらが一
致していれば、その成分は基本周波数成分であると判定
できるのでステップ203に進む。もし一致していなけ
れば、ステップ201に戻る。基本周波数成分と判定さ
れた成分は、まずその成分自身を選択し(ステップ20
3)、次にその成分の高調波成分(すなわち瞬時周波数
値がその成分の瞬時周波数値のほぼ整数倍となっている
成分)を選択する(ステップ204)、選択された成分
を周波数成分バッファに格納し(ステップ205)、ス
テップ201に戻る。
音楽の音響信号に対する楽譜の音符記号から各時刻に発
生(入力)する音の周波数と継続時間とを予め求めてお
き、これを入力音響信号に同期させて入力させればよ
い。これらのことについては
加算合成手段3では、まず、周波数成分抽出手段1で生
成された周波数成分のうちで未処理のものを検索し(ス
テップ301)、未処理の単音がなければ処理を終了す
る。未処理の周波数成分があれば、周波数成分選択手段
2の出力を参照して、その成分が合成に用いるべき成分
であるかどうかを判定する(ステップ302)。もし、
与えられた単音を分離抽出したい場合には、周波数成分
選択手段2の出力に含まれる成分のみを合成に用いるの
で、ステップ303に進む。もし、与えられた単音を分
離除去したい場合には、周波数成分選択手段2の出力に
含まれる成分を合成に用いないので、ステップ301に
戻る。ステップ302において合成に用いられると判定
された成分については、その成分の時刻、位相、および
振幅の情報を用いて正弦波波形を計算する(ステップ3
03)。なおステップ302において、合成に用いるか
用いないかの二値的な判断をするのではなく、抽出また
は除外する程度に応じて0から1までの範囲の値をとる
係数を計算して、ステップ303で用いる振幅値に積算
してもよい。ステップ303の計算結果を波形バッファ
に加算格納し(ステップ304)、ステッブ301に戻
る。
の特徴は図1中の周波数成分抽出手段1の抽出方法と、
これら抽出された周波数成分から周波数成分選択手段2
における周波数成分選択方法とにあり、つまりこれらの
方法により、音楽演奏音響信号から分離したい旋律を分
離する方法に1つの発明があり、更に、その分離した周
波数成分を、波形加算合成手段3の音響信号波形生成方
法により、音響信号として出力する分離抽出方法が他の
発明を構成し、また音楽演奏音響信号から前記分離方法
の発明により除去したい旋律を分離し、その残りの周波
数成分を波形加算合成手段3の方法により合成加算して
音響信号として出力する分離除去方法がもう1つの発明
を構成するものである。
律を構成する各単音のみならず和音の各音高、発音開始
時刻、発音終了時刻の情報を用いてもよい。
験例を示す。この実験では、T社から発売されている市
販のCD(女性ボーカルによる歌謡曲)の音響信号を入
力とした。入力音響信号波形を図2に示す。この実験で
は、この入力音響信号に対し、抽出する旋律の情報とし
て、別途次のような形式のデータを用意した。これは、
各行の最初の数字が単音の開始時刻[秒]、次の数字が
単音の終了時刻[秒]、最後の数字が音高番号(中央ド
を60とし半音ごとに1だけ異なる数字を与えた番号)
である。この実験においては、このデータを簡単なプロ
グラム(音響信号波形を画面に表示し、ある指定した時
間区間を再生することのできる時刻指定プログラム)を
用いて作成した。
力された周波数成分である、各周波数成分が線分で示さ
れている。用意した旋律データの一部は下記の通りであ
る。 図4は、周波数成分選択過程2によって選択された周波
数成分である。この例では、女性ボーカルのみを分離抽
出している。この選択された周波数成分を用いて、女性
ボーカルのみの音響信号を再生することができる。
発明を適用した装置を動作させたところ、公知の方法よ
りも容易に、聴感上品質の高い出力音響信号が得られる
ことが確かめられた。以上、説明したように、この発明
によれば、楽譜情報を利用し、また高精度の瞬時周波数
抽出を行うことによって、専門家とは限らない一般の利
用者の利用に供する場合や、高音質の処理が必要な場合
であっても、公知の方法に比較して一般の利用者が容易
に利用できる形で、かつ高い品質で音楽演奏に含まれる
旋律の分離抽出および分離除去処理を行うことができる
という利点がある。
る旋陣の分離抽出および分離除去装置の一実施形態の機
能構成を示すブロック図。
た結果を示す図。
処理を行った結果を示す図。
分選択手段によって選択を行った結果、選択された周波
数成分(この例では歌唱に相当)のみを示す図。
Claims (4)
- 【請求項1】 音楽演奏の音響信号に含まれている周波
数成分を抽出する周波数成分抽出過程と、 上記周波数成分抽出過程で抽出した周波数成分に対し、
分離したい旋律を構成する各音の音高、発音開始時刻、
および発音終了時刻の情報を用いて分離すべき周波数成
分とその時刻とを選択する周波数成分選択過程と、 を有し、上記周波数成分選択過程で選択したもの又は上
記音響信号中の上記選択したもの以外のものを用いて音
響信号波形を合成する旋律の分離方法であって、 上記周波数成分抽出過程は、上記音響信号を分析フレー
ムごとに短時間フーリエ分析して位相を求める過程と、
位相の連続性に基づき、上記求めた位相の時間変化を低
次の多項式で近似する過程と、その近似位相を時間微分
して周波数値の時系列を求める過程と、この周波数値の
時系列に対しフィルタリング演算を行って瞬時周波数値
を得る過程とを有する音楽演奏に含まれる 旋律の分離方
法。 - 【請求項2】 上記周波数成分選択過程は、上記発音開
始時刻および発音終了時刻情報で決まる音の時間区間
と、上記音高情報で決まる周波数に、上記抽出した周波
数成分の時刻と瞬時周波数値とが対応しているかを検査
し、対応していればその瞬時周波数値の成分およびその
周波数の整数倍に近い瞬時周波数値の成分を、単音を構
成する成分として選択することを特徴とする請求項1記
載の音楽演奏に含まれる旋律の分離方法。 - 【請求項3】 音楽演奏の音響信号から請求項1又は2
の旋律分離方法で選択された周波数成分の時刻と、その
時刻におけるその周波数成分の瞬時周波数値、振幅、位
相情報に基づいて波形を合成加算して音響信号波形を生
成する波形加算合成過程を有する音楽演奏に含まれる旋
律の分離抽出方法。 - 【請求項4】 音楽演奏の音響信号から請求項1又は2
の旋律分離方法で選択された周波数成分以外の周波数成
分の時刻と、その時刻におけるその周波数成分の瞬時周
波数値、振幅、位相情報に基づいて波形を合成加算して
音響信号波形を生成する波形加算合成過程とを有する音
楽演奏に含まれる旋律の分離除去方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32707697A JP3508981B2 (ja) | 1997-11-12 | 1997-11-12 | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32707697A JP3508981B2 (ja) | 1997-11-12 | 1997-11-12 | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11143460A JPH11143460A (ja) | 1999-05-28 |
JP3508981B2 true JP3508981B2 (ja) | 2004-03-22 |
Family
ID=18195030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32707697A Expired - Fee Related JP3508981B2 (ja) | 1997-11-12 | 1997-11-12 | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3508981B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6747201B2 (en) | 2001-09-26 | 2004-06-08 | The Regents Of The University Of Michigan | Method and system for extracting melodic patterns in a musical piece and computer-readable storage medium having a program for executing the method |
US7567900B2 (en) | 2003-06-11 | 2009-07-28 | Panasonic Corporation | Harmonic structure based acoustic speech interval detection method and device |
JP4534883B2 (ja) * | 2005-07-11 | 2010-09-01 | カシオ計算機株式会社 | 楽音制御装置および楽音制御処理のプログラム |
JP5383056B2 (ja) * | 2007-02-14 | 2014-01-08 | 本田技研工業株式会社 | 音データ記録再生装置および音データ記録再生方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0560100U (ja) * | 1992-01-27 | 1993-08-06 | クラリオン株式会社 | 音響再生装置 |
JPH07319488A (ja) * | 1994-05-19 | 1995-12-08 | Sanyo Electric Co Ltd | ステレオ信号処理回路 |
JP3613859B2 (ja) * | 1995-11-21 | 2005-01-26 | ヤマハ株式会社 | カラオケ装置 |
JP3176273B2 (ja) * | 1995-02-13 | 2001-06-11 | ヤマハ株式会社 | 音声信号処理装置 |
-
1997
- 1997-11-12 JP JP32707697A patent/JP3508981B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11143460A (ja) | 1999-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Piszczalski et al. | Automatic music transcription | |
US6336092B1 (en) | Targeted vocal transformation | |
Bonada et al. | Synthesis of the singing voice by performance sampling and spectral models | |
EP2264696B1 (en) | Voice converter with extraction and modification of attribute data | |
US6856923B2 (en) | Method for analyzing music using sounds instruments | |
JPH0997091A (ja) | 予め記録された背景音楽のピッチ変化方法およびカラオケシステム | |
JP2002202790A (ja) | 歌唱合成装置 | |
US6584442B1 (en) | Method and apparatus for compressing and generating waveform | |
JP3265962B2 (ja) | 音程変換装置 | |
JP3033061B2 (ja) | 音声雑音分離装置 | |
JP3511360B2 (ja) | 音楽音響信号分離方法、その装置およびそのプログラム記録媒体 | |
JP3508981B2 (ja) | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 | |
JP3176273B2 (ja) | 音声信号処理装置 | |
JP4757971B2 (ja) | ハーモニー音付加装置 | |
JP3832266B2 (ja) | 演奏データ作成方法および演奏データ作成装置 | |
JP3613859B2 (ja) | カラオケ装置 | |
JP3502268B2 (ja) | 音声信号処理装置及び音声信号処理方法 | |
JP3540159B2 (ja) | 音声変換装置及び音声変換方法 | |
JP3447221B2 (ja) | 音声変換装置、音声変換方法、および音声変換プログラムを記録した記録媒体 | |
JP3949828B2 (ja) | 音声変換装置及び音声変換方法 | |
JP2000003197A (ja) | 音声変換装置、音声変換方法、および音声変換プログラムを記録した記録媒体 | |
JP3540609B2 (ja) | 音声変換装置及び音声変換方法 | |
JP3294192B2 (ja) | 音声変換装置及び音声変換方法 | |
JP3540160B2 (ja) | 音声変換装置及び音声変換方法 | |
JP3447220B2 (ja) | 音声変換装置及び音声変換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20031218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100109 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110109 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110109 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |