JP3508981B2 - 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 - Google Patents
音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法Info
- Publication number
- JP3508981B2 JP3508981B2 JP32707697A JP32707697A JP3508981B2 JP 3508981 B2 JP3508981 B2 JP 3508981B2 JP 32707697 A JP32707697 A JP 32707697A JP 32707697 A JP32707697 A JP 32707697A JP 3508981 B2 JP3508981 B2 JP 3508981B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- time
- frequency component
- melody
- separating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、複数の旋律（パ
ート）を含む音楽演奏の音響信号に対して、ある旋律だ
けを抽出するか、またはある旋律だけを除去することに
よって、たとえば歌唱だけを抽出したり、原楽曲からカ
ラオケを作成したりすることなどを目的とする、音楽演
奏に含まれる旋律を分離抽出および分離除去する方法に
関する。
ート）を含む音楽演奏の音響信号に対して、ある旋律だ
けを抽出するか、またはある旋律だけを除去することに
よって、たとえば歌唱だけを抽出したり、原楽曲からカ
ラオケを作成したりすることなどを目的とする、音楽演
奏に含まれる旋律を分離抽出および分離除去する方法に
関する。
【０００２】
【従来の技術】従来、音楽演奏に含まれる旋律の分離抽
出および分離除去方法に関しては、周波数成分を画面上
に表示し、これを手動で選択して、選択した周波数成分
に由来する単音の音響信号を出力する方法が知られてい
る。しかし、この方法では、一般の楽器演奏にしばしば
見られるように、同時に数多くの単音が発音している場
合には、各単音に由来するパワースペクトルが複雑に混
ざり合い、どの周波数成分がどの単音に由来するもので
あるかの判別は人手をもってしても極めて困難である
（図４にこれを示す）ため、周波数成分の選択において
は、専門家が試行錯誤を繰り返して選択を行うほかはな
く、一般の利用者が容易に実行できるものではないとい
う欠点があった。
出および分離除去方法に関しては、周波数成分を画面上
に表示し、これを手動で選択して、選択した周波数成分
に由来する単音の音響信号を出力する方法が知られてい
る。しかし、この方法では、一般の楽器演奏にしばしば
見られるように、同時に数多くの単音が発音している場
合には、各単音に由来するパワースペクトルが複雑に混
ざり合い、どの周波数成分がどの単音に由来するもので
あるかの判別は人手をもってしても極めて困難である
（図４にこれを示す）ため、周波数成分の選択において
は、専門家が試行錯誤を繰り返して選択を行うほかはな
く、一般の利用者が容易に実行できるものではないとい
う欠点があった。
【０００３】また、周波数成分の情報を元にして音響信
号を生成する方法としては、短時間フーリエ分析によっ
て得られた瞬時周波数値と振幅値を用いて時間的に区分
された正弦波を生成し、これを加算して原波形を得る、
いわゆる加算合成の方法が知られている。しかし、この
方法では、瞬時周波数の計算に隣接する分析区間の情報
のみを用いているため、短時間フーリエ分析によって十
分な精度で瞬時周波数値を得ることは困難である。した
がって瞬時周波数の推定誤差が生じ、これが異音の原因
となって、高品質（高音質）の処理の妨げになることが
多いという欠点があった。
号を生成する方法としては、短時間フーリエ分析によっ
て得られた瞬時周波数値と振幅値を用いて時間的に区分
された正弦波を生成し、これを加算して原波形を得る、
いわゆる加算合成の方法が知られている。しかし、この
方法では、瞬時周波数の計算に隣接する分析区間の情報
のみを用いているため、短時間フーリエ分析によって十
分な精度で瞬時周波数値を得ることは困難である。した
がって瞬時周波数の推定誤差が生じ、これが異音の原因
となって、高品質（高音質）の処理の妨げになることが
多いという欠点があった。
【０００４】従って、上記の各方法は、専門家とは限ら
ない一般の利用者の利用に供する場合や、高音質の処理
が必要な場合にあっては、十分な、音楽演奏に含まれる
旋律の分離抽出および分離除去処理が期待し難い。
ない一般の利用者の利用に供する場合や、高音質の処理
が必要な場合にあっては、十分な、音楽演奏に含まれる
旋律の分離抽出および分離除去処理が期待し難い。
【０００５】
【発明が解決しようとする課題】この発明は、専門家と
は限らない一般の利用者の利用に供する場合や、高音質
の処理が必要な場合であっても適用することのできる音
楽演奏に含まれる旋律の分離抽出方法および分離除去方
法を提供し、公知の方法に比較して一般の利用者が容易
に利用できる形で、かつ高い品質で音楽演奏に含まれる
旋律の分離抽出および分離除去処理を行うことを目的と
している。
は限らない一般の利用者の利用に供する場合や、高音質
の処理が必要な場合であっても適用することのできる音
楽演奏に含まれる旋律の分離抽出方法および分離除去方
法を提供し、公知の方法に比較して一般の利用者が容易
に利用できる形で、かつ高い品質で音楽演奏に含まれる
旋律の分離抽出および分離除去処理を行うことを目的と
している。
【０００６】
【課題を解決するための手段】上記目的を達成するため
に、この発明は、音楽演奏の音響信号に含まれている周
波数成分を抽出する周波数成分抽出過程と、上記周波数
成分抽出過程で抽出した周波数成分に対して、また別の
手段で与えられる、分離抽出または分離除去したい旋律
を構成する各単音の音高、発音開始時刻、および発音終
了時刻の情報を用いて、出力に用いるべき周波数成分と
その時間範囲とを選択する周波数成分選択過程と、上記
周波数成分選択過程で選択された周波数成分の時刻、振
幅、位相の情報に基づいて波形を合成加算することによ
って出力音響信号波形を生成する波形加算合成過程を有
することを特徴とする。
に、この発明は、音楽演奏の音響信号に含まれている周
波数成分を抽出する周波数成分抽出過程と、上記周波数
成分抽出過程で抽出した周波数成分に対して、また別の
手段で与えられる、分離抽出または分離除去したい旋律
を構成する各単音の音高、発音開始時刻、および発音終
了時刻の情報を用いて、出力に用いるべき周波数成分と
その時間範囲とを選択する周波数成分選択過程と、上記
周波数成分選択過程で選択された周波数成分の時刻、振
幅、位相の情報に基づいて波形を合成加算することによ
って出力音響信号波形を生成する波形加算合成過程を有
することを特徴とする。
【０００７】
【発明の実施の形態】次に、この発明の実施形態につい
て図面を用いて説明する。図１は、この発明方法を適用
した音楽演奏に含まれる旋律の分離抽出および分離除去
装置の一実施形態の機能構成を示すブロック図である。
この実施形態の音楽演奏に含まれる旋律の分離抽出およ
び分離除去装置は、周波数成分抽出手段１と、周波数成
分選択手段２と、波形加算合成手段３で構成され、音楽
音響信号を周波数成分抽出手段１に入力し、楽譜情報を
周波数成分選択手段２に入力し、入力音響信号から入力
楽譜情報に対応した旋律のみを抽出した音響信号、また
は入力音響信号から入力楽譜情報に対応した旋律のみを
除去した音響信号を出力する。
て図面を用いて説明する。図１は、この発明方法を適用
した音楽演奏に含まれる旋律の分離抽出および分離除去
装置の一実施形態の機能構成を示すブロック図である。
この実施形態の音楽演奏に含まれる旋律の分離抽出およ
び分離除去装置は、周波数成分抽出手段１と、周波数成
分選択手段２と、波形加算合成手段３で構成され、音楽
音響信号を周波数成分抽出手段１に入力し、楽譜情報を
周波数成分選択手段２に入力し、入力音響信号から入力
楽譜情報に対応した旋律のみを抽出した音響信号、また
は入力音響信号から入力楽譜情報に対応した旋律のみを
除去した音響信号を出力する。
【０００８】周波数成分抽出手段１は、音楽演奏の音響
信号に対し、周波数解析を行って、周波数軸方向のロー
カルピークを時間方向に接続することによって周波数成
分を抽出し、各周波数成分の各時刻における瞬時周波数
を取得する。周波数成分選択手段２は、周波数成分抽出
手段１で抽出した周波数成分の各時刻における瞬時周波
数と、別の手段で与えられる各単音の時刻および周波数
とを参照することによって、抽出または除去の対象とな
る単音を構成する周波数成分を選択する。
信号に対し、周波数解析を行って、周波数軸方向のロー
カルピークを時間方向に接続することによって周波数成
分を抽出し、各周波数成分の各時刻における瞬時周波数
を取得する。周波数成分選択手段２は、周波数成分抽出
手段１で抽出した周波数成分の各時刻における瞬時周波
数と、別の手段で与えられる各単音の時刻および周波数
とを参照することによって、抽出または除去の対象とな
る単音を構成する周波数成分を選択する。
【０００９】波形加算合成手段３は、周波数成分選択手
段２で選択された周波数成分の時刻、振幅、位相の情報
に基づいて合成される区分的な正弦波を、各時刻におい
て同時に存在する周波数成分の数だけ加算することによ
って出力音響信号波形を生成する。次に、上述した各手
段１，２，３における各処理の流れを、図６から図８に
示す流れ図を参照して具体的に説明する。
段２で選択された周波数成分の時刻、振幅、位相の情報
に基づいて合成される区分的な正弦波を、各時刻におい
て同時に存在する周波数成分の数だけ加算することによ
って出力音響信号波形を生成する。次に、上述した各手
段１，２，３における各処理の流れを、図６から図８に
示す流れ図を参照して具体的に説明する。
【００１０】周波数成分抽出手段１では、まず装置への
入力となる音楽演奏の音響信号波形を読み込む（ステッ
プ１０１）、音響信号波形の例を図２に示す。図２は、
Ｔ社発売の市販ＣＤに収録されている、女性歌手の歌謡
曲の音響信号の一部である。上段が左チャンネル、下段
が右チャンネルの波形を示す。次に、読み込んだ波形に
対し周波数解析を行って、スペクトログラムを得る（ス
テップ１０２）。スペクトログラムは、音響信号に含ま
れるパワーを横軸時間、縦軸周波数の平面上に表現した
ものである。スペクトログラムの例を図３に示す。図３
は、高速フーリエ変換の手法を用いて得たものである。
続いて、ステップ１０２で得たスペクトログラムに対し
て、周波数成分を抽出する。周波数成分とは、スペクト
ログラム上における一連のローカルピークのことであ
る。周波数成分抽出は、スペクトログラムをまず周波数
方向に走査してパワーのローカルピークを検出し（ステ
ップ１０３）、このローカルピークの時間方向の連続性
を検出して、連続するローカルピークを接続する（ステ
ップ１０４）ことによって行う。抽出された周波数成分
の例を図４に示す。図４では、周波数成分が数多くの線
分で表されている。線分の太さがパワー値を示す。
入力となる音楽演奏の音響信号波形を読み込む（ステッ
プ１０１）、音響信号波形の例を図２に示す。図２は、
Ｔ社発売の市販ＣＤに収録されている、女性歌手の歌謡
曲の音響信号の一部である。上段が左チャンネル、下段
が右チャンネルの波形を示す。次に、読み込んだ波形に
対し周波数解析を行って、スペクトログラムを得る（ス
テップ１０２）。スペクトログラムは、音響信号に含ま
れるパワーを横軸時間、縦軸周波数の平面上に表現した
ものである。スペクトログラムの例を図３に示す。図３
は、高速フーリエ変換の手法を用いて得たものである。
続いて、ステップ１０２で得たスペクトログラムに対し
て、周波数成分を抽出する。周波数成分とは、スペクト
ログラム上における一連のローカルピークのことであ
る。周波数成分抽出は、スペクトログラムをまず周波数
方向に走査してパワーのローカルピークを検出し（ステ
ップ１０３）、このローカルピークの時間方向の連続性
を検出して、連続するローカルピークを接続する（ステ
ップ１０４）ことによって行う。抽出された周波数成分
の例を図４に示す。図４では、周波数成分が数多くの線
分で表されている。線分の太さがパワー値を示す。
【００１１】一般に、高速フーリエ変換の手法では、周
波数方向の分解能は分析時間窓の長さ（ポイント数）す
なわち時間分解能によって決まり、音楽演奏を対象とし
た場合、十分な時間分解能を得ようとすると、十分な周
波数分解能が得られない。例えば、標本化周波数４８ｋ
Ｈｚのとき、４０ミリ秒の時間分解能を得ようとすれ
ば、分析フレーム長を２０４８サンプルかそれより短い
時間区間としなければならないが、このとき周波数分解
能は高々約２３Ｈｚとなる。ところが、音楽では半音の
周波数差が約６％であるから、例えば、歌唱の代表的音
域である２２０ＨｚのＡの音と２３３ＨｚのＡ＃の音と
を区別するためには１３Ｈｚの周波数分解能が必要であ
り、上記分析では周波数分解能が不足する。しかし、ス
テップ１０４で検出された周波数成分の連続性を用いる
と、より精密な周波数の値を推定することができる（ス
テップ１０５）。
波数方向の分解能は分析時間窓の長さ（ポイント数）す
なわち時間分解能によって決まり、音楽演奏を対象とし
た場合、十分な時間分解能を得ようとすると、十分な周
波数分解能が得られない。例えば、標本化周波数４８ｋ
Ｈｚのとき、４０ミリ秒の時間分解能を得ようとすれ
ば、分析フレーム長を２０４８サンプルかそれより短い
時間区間としなければならないが、このとき周波数分解
能は高々約２３Ｈｚとなる。ところが、音楽では半音の
周波数差が約６％であるから、例えば、歌唱の代表的音
域である２２０ＨｚのＡの音と２３３ＨｚのＡ＃の音と
を区別するためには１３Ｈｚの周波数分解能が必要であ
り、上記分析では周波数分解能が不足する。しかし、ス
テップ１０４で検出された周波数成分の連続性を用いる
と、より精密な周波数の値を推定することができる（ス
テップ１０５）。
【００１２】これは例えば次のように行うことができ
る。この方法は、まず位相の連続性を用いて各時刻にお
ける位相を近似し、その時間微分として周波数を求める
ものである。なお、このようにして求めた周波数値を瞬
時周波数と呼ぶ。ｋ番目の分析フレームと、これと時間
的に隣接したｋ＋１番目の分析フレームを考え、それぞ
れのフレームにおいて検出されたローカルピーク成分
の、フーリエ変換によって得られる周波数値ωと位相値
θをそれぞれωｋ，ωｋ＋１，θｋ，θｋ＋１とする。
位相は連続的に変化しているはずなので、低次の多項式
で位相の時問変化を表現することを考える。そこで、時
刻ｔにおける位相θ（ｔ）を３次式で近似することにす
れば、次式のようになる。
る。この方法は、まず位相の連続性を用いて各時刻にお
ける位相を近似し、その時間微分として周波数を求める
ものである。なお、このようにして求めた周波数値を瞬
時周波数と呼ぶ。ｋ番目の分析フレームと、これと時間
的に隣接したｋ＋１番目の分析フレームを考え、それぞ
れのフレームにおいて検出されたローカルピーク成分
の、フーリエ変換によって得られる周波数値ωと位相値
θをそれぞれωｋ，ωｋ＋１，θｋ，θｋ＋１とする。
位相は連続的に変化しているはずなので、低次の多項式
で位相の時問変化を表現することを考える。そこで、時
刻ｔにおける位相θ（ｔ）を３次式で近似することにす
れば、次式のようになる。
【００１３】
θ（ｔ）＝θk ＋ωk ｔ＋αｔ2 ＋βｔ3 …（１）
ここで、αとβは、次式によって求めることができる。
ただしＴは隣接フレーム間の時間間隔であり、Ｍは次の
ｘ′に最も近い整数である。
ｘ′に最も近い整数である。
【００１４】ｘ′＝(1/2) π（θk −θk+1 ＋（ωk+1
＋ωk ）Ｔ／２） この計算で得られたθ（ｔ）を時間微分することによっ
て瞬時周波数値ω（ｔ）が計算できる。瞬時周波数の計
算では、フーリエ変換のフレーム長に依存して決まる周
波数分解能の影響を直接には受けないため、上記の時間
分解能と周波数分解能の関係によって分解能が不足する
という間題点は解消することができる。
＋ωk ）Ｔ／２） この計算で得られたθ（ｔ）を時間微分することによっ
て瞬時周波数値ω（ｔ）が計算できる。瞬時周波数の計
算では、フーリエ変換のフレーム長に依存して決まる周
波数分解能の影響を直接には受けないため、上記の時間
分解能と周波数分解能の関係によって分解能が不足する
という間題点は解消することができる。
【００１５】しかし、上記の計算では、実際には演算精
度等の点から、常に信頼性の高い瞬時周波数値ω（ｔ）
が計算できるとは限らない。このような場含には、ω
（ｔ）の時系列に対してローパスフィルタあるいはメジ
アンフィルタ（一定区間ごとにその中央値を出力する）
等の演算を行うことができる。メジアンフィルタを用い
る場合、例えば、サンプリング周波数４８ｋＨｚ、フレ
ーム長２０４８サンプル、隣接フレーム間の時間差３２
サンプル（直前のフレームと２０１６サンプルは同一）
の場合で、対象フレームの前後１０フレーム分について
計算されたω（ｔ）の中間値を対象フレームの瞬時周波
数値として用いると、後続の再合成処理等において良好
な結果が得られる。
度等の点から、常に信頼性の高い瞬時周波数値ω（ｔ）
が計算できるとは限らない。このような場含には、ω
（ｔ）の時系列に対してローパスフィルタあるいはメジ
アンフィルタ（一定区間ごとにその中央値を出力する）
等の演算を行うことができる。メジアンフィルタを用い
る場合、例えば、サンプリング周波数４８ｋＨｚ、フレ
ーム長２０４８サンプル、隣接フレーム間の時間差３２
サンプル（直前のフレームと２０１６サンプルは同一）
の場合で、対象フレームの前後１０フレーム分について
計算されたω（ｔ）の中間値を対象フレームの瞬時周波
数値として用いると、後続の再合成処理等において良好
な結果が得られる。
【００１６】上記のような計算を行った結果得られた瞬
時周波数値ω（ｔ）と振幅値とをバッファに格納し（ス
テップ１０６）、ステップ１０１に戻って、入力された
全ての音響信号を処理し終わるまで、逐次各フレームの
処理を行う。周波数成分選択手段２では、はじめに、周
波数成分抽出手段１で得た周波数成分抽出結果を読み込
み（ステップ２０１）、それぞれの周波数成分を一つず
つ選択しながら処理を行う。まず、選択した周波数成分
が、別途装置に与えられている処理対象の旋律に含まれ
る単音の情報、対応する楽譜情報に該当しているかどう
かを検査する（ステップ２０２）。すなわち周波数成分
の時刻と瞬時周波数とが、処理対象の単音の時間区間と
周波数とに一致するかどうかを調べる。もしこれらが一
致していれば、その成分は基本周波数成分であると判定
できるのでステップ２０３に進む。もし一致していなけ
れば、ステップ２０１に戻る。基本周波数成分と判定さ
れた成分は、まずその成分自身を選択し（ステップ２０
３）、次にその成分の高調波成分（すなわち瞬時周波数
値がその成分の瞬時周波数値のほぼ整数倍となっている
成分）を選択する（ステップ２０４）、選択された成分
を周波数成分バッファに格納し（ステップ２０５）、ス
テップ２０１に戻る。
時周波数値ω（ｔ）と振幅値とをバッファに格納し（ス
テップ１０６）、ステップ１０１に戻って、入力された
全ての音響信号を処理し終わるまで、逐次各フレームの
処理を行う。周波数成分選択手段２では、はじめに、周
波数成分抽出手段１で得た周波数成分抽出結果を読み込
み（ステップ２０１）、それぞれの周波数成分を一つず
つ選択しながら処理を行う。まず、選択した周波数成分
が、別途装置に与えられている処理対象の旋律に含まれ
る単音の情報、対応する楽譜情報に該当しているかどう
かを検査する（ステップ２０２）。すなわち周波数成分
の時刻と瞬時周波数とが、処理対象の単音の時間区間と
周波数とに一致するかどうかを調べる。もしこれらが一
致していれば、その成分は基本周波数成分であると判定
できるのでステップ２０３に進む。もし一致していなけ
れば、ステップ２０１に戻る。基本周波数成分と判定さ
れた成分は、まずその成分自身を選択し（ステップ２０
３）、次にその成分の高調波成分（すなわち瞬時周波数
値がその成分の瞬時周波数値のほぼ整数倍となっている
成分）を選択する（ステップ２０４）、選択された成分
を周波数成分バッファに格納し（ステップ２０５）、ス
テップ２０１に戻る。
【００１７】なおステップ２０２の検査に当って、入力
音楽の音響信号に対する楽譜の音符記号から各時刻に発
生（入力）する音の周波数と継続時間とを予め求めてお
き、これを入力音響信号に同期させて入力させればよ
い。これらのことについては
音楽の音響信号に対する楽譜の音符記号から各時刻に発
生（入力）する音の周波数と継続時間とを予め求めてお
き、これを入力音響信号に同期させて入力させればよ
い。これらのことについては
【発明の効果】の項で説明する実験で更に述べる。波形
加算合成手段３では、まず、周波数成分抽出手段１で生
成された周波数成分のうちで未処理のものを検索し（ス
テップ３０１）、未処理の単音がなければ処理を終了す
る。未処理の周波数成分があれば、周波数成分選択手段
２の出力を参照して、その成分が合成に用いるべき成分
であるかどうかを判定する（ステップ３０２）。もし、
与えられた単音を分離抽出したい場合には、周波数成分
選択手段２の出力に含まれる成分のみを合成に用いるの
で、ステップ３０３に進む。もし、与えられた単音を分
離除去したい場合には、周波数成分選択手段２の出力に
含まれる成分を合成に用いないので、ステップ３０１に
戻る。ステップ３０２において合成に用いられると判定
された成分については、その成分の時刻、位相、および
振幅の情報を用いて正弦波波形を計算する（ステップ３
０３）。なおステップ３０２において、合成に用いるか
用いないかの二値的な判断をするのではなく、抽出また
は除外する程度に応じて０から１までの範囲の値をとる
係数を計算して、ステップ３０３で用いる振幅値に積算
してもよい。ステップ３０３の計算結果を波形バッファ
に加算格納し（ステップ３０４）、ステッブ３０１に戻
る。
加算合成手段３では、まず、周波数成分抽出手段１で生
成された周波数成分のうちで未処理のものを検索し（ス
テップ３０１）、未処理の単音がなければ処理を終了す
る。未処理の周波数成分があれば、周波数成分選択手段
２の出力を参照して、その成分が合成に用いるべき成分
であるかどうかを判定する（ステップ３０２）。もし、
与えられた単音を分離抽出したい場合には、周波数成分
選択手段２の出力に含まれる成分のみを合成に用いるの
で、ステップ３０３に進む。もし、与えられた単音を分
離除去したい場合には、周波数成分選択手段２の出力に
含まれる成分を合成に用いないので、ステップ３０１に
戻る。ステップ３０２において合成に用いられると判定
された成分については、その成分の時刻、位相、および
振幅の情報を用いて正弦波波形を計算する（ステップ３
０３）。なおステップ３０２において、合成に用いるか
用いないかの二値的な判断をするのではなく、抽出また
は除外する程度に応じて０から１までの範囲の値をとる
係数を計算して、ステップ３０３で用いる振幅値に積算
してもよい。ステップ３０３の計算結果を波形バッファ
に加算格納し（ステップ３０４）、ステッブ３０１に戻
る。
【００１８】上述の説明から明らかなように、この発明
の特徴は図１中の周波数成分抽出手段１の抽出方法と、
これら抽出された周波数成分から周波数成分選択手段２
における周波数成分選択方法とにあり、つまりこれらの
方法により、音楽演奏音響信号から分離したい旋律を分
離する方法に１つの発明があり、更に、その分離した周
波数成分を、波形加算合成手段３の音響信号波形生成方
法により、音響信号として出力する分離抽出方法が他の
発明を構成し、また音楽演奏音響信号から前記分離方法
の発明により除去したい旋律を分離し、その残りの周波
数成分を波形加算合成手段３の方法により合成加算して
音響信号として出力する分離除去方法がもう１つの発明
を構成するものである。
の特徴は図１中の周波数成分抽出手段１の抽出方法と、
これら抽出された周波数成分から周波数成分選択手段２
における周波数成分選択方法とにあり、つまりこれらの
方法により、音楽演奏音響信号から分離したい旋律を分
離する方法に１つの発明があり、更に、その分離した周
波数成分を、波形加算合成手段３の音響信号波形生成方
法により、音響信号として出力する分離抽出方法が他の
発明を構成し、また音楽演奏音響信号から前記分離方法
の発明により除去したい旋律を分離し、その残りの周波
数成分を波形加算合成手段３の方法により合成加算して
音響信号として出力する分離除去方法がもう１つの発明
を構成するものである。
【００１９】なお周波数成分選択過程で、分離したい旋
律を構成する各単音のみならず和音の各音高、発音開始
時刻、発音終了時刻の情報を用いてもよい。
律を構成する各単音のみならず和音の各音高、発音開始
時刻、発音終了時刻の情報を用いてもよい。
【００２０】
【発明の効果】次に、この発明を適用した装置の動作実
験例を示す。この実験では、Ｔ社から発売されている市
販のＣＤ（女性ボーカルによる歌謡曲）の音響信号を入
力とした。入力音響信号波形を図２に示す。この実験で
は、この入力音響信号に対し、抽出する旋律の情報とし
て、別途次のような形式のデータを用意した。これは、
各行の最初の数字が単音の開始時刻［秒］、次の数字が
単音の終了時刻［秒］、最後の数字が音高番号（中央ド
を６０とし半音ごとに１だけ異なる数字を与えた番号）
である。この実験においては、このデータを簡単なプロ
グラム（音響信号波形を画面に表示し、ある指定した時
間区間を再生することのできる時刻指定プログラム）を
用いて作成した。
験例を示す。この実験では、Ｔ社から発売されている市
販のＣＤ（女性ボーカルによる歌謡曲）の音響信号を入
力とした。入力音響信号波形を図２に示す。この実験で
は、この入力音響信号に対し、抽出する旋律の情報とし
て、別途次のような形式のデータを用意した。これは、
各行の最初の数字が単音の開始時刻［秒］、次の数字が
単音の終了時刻［秒］、最後の数字が音高番号（中央ド
を６０とし半音ごとに１だけ異なる数字を与えた番号）
である。この実験においては、このデータを簡単なプロ
グラム（音響信号波形を画面に表示し、ある指定した時
間区間を再生することのできる時刻指定プログラム）を
用いて作成した。
【００２１】図３は、周波数成分抽出過程１によって出
力された周波数成分である、各周波数成分が線分で示さ
れている。用意した旋律データの一部は下記の通りであ
る。 図４は、周波数成分選択過程２によって選択された周波
数成分である。この例では、女性ボーカルのみを分離抽
出している。この選択された周波数成分を用いて、女性
ボーカルのみの音響信号を再生することができる。
力された周波数成分である、各周波数成分が線分で示さ
れている。用意した旋律データの一部は下記の通りであ
る。 図４は、周波数成分選択過程２によって選択された周波
数成分である。この例では、女性ボーカルのみを分離抽
出している。この選択された周波数成分を用いて、女性
ボーカルのみの音響信号を再生することができる。
【００２２】この例のように、市販ＣＤを用いて、この
発明を適用した装置を動作させたところ、公知の方法よ
りも容易に、聴感上品質の高い出力音響信号が得られる
ことが確かめられた。以上、説明したように、この発明
によれば、楽譜情報を利用し、また高精度の瞬時周波数
抽出を行うことによって、専門家とは限らない一般の利
用者の利用に供する場合や、高音質の処理が必要な場合
であっても、公知の方法に比較して一般の利用者が容易
に利用できる形で、かつ高い品質で音楽演奏に含まれる
旋律の分離抽出および分離除去処理を行うことができる
という利点がある。
発明を適用した装置を動作させたところ、公知の方法よ
りも容易に、聴感上品質の高い出力音響信号が得られる
ことが確かめられた。以上、説明したように、この発明
によれば、楽譜情報を利用し、また高精度の瞬時周波数
抽出を行うことによって、専門家とは限らない一般の利
用者の利用に供する場合や、高音質の処理が必要な場合
であっても、公知の方法に比較して一般の利用者が容易
に利用できる形で、かつ高い品質で音楽演奏に含まれる
旋律の分離抽出および分離除去処理を行うことができる
という利点がある。
【図１】この発明の方法を適用した、音楽演奏に含まれ
る旋陣の分離抽出および分離除去装置の一実施形態の機
能構成を示すブロック図。
る旋陣の分離抽出および分離除去装置の一実施形態の機
能構成を示すブロック図。
【図２】音響信号波形の一例の一部を示す図。
【図３】図２の音響信号に対して周波数解析処理を行っ
た結果を示す図。
た結果を示す図。
【図４】図３の周波数解析結果に対して周波数成分抽出
処理を行った結果を示す図。
処理を行った結果を示す図。
【図５】図４の周波数成分抽出結果に対して、周波数成
分選択手段によって選択を行った結果、選択された周波
数成分（この例では歌唱に相当）のみを示す図。
分選択手段によって選択を行った結果、選択された周波
数成分（この例では歌唱に相当）のみを示す図。
【図６】周波数成分抽出手段の処理手順を示す流れ図。
【図７】周波数成分選択手段の処理手順を示す流れ図。
【図８】波形加算合成手段の処理手順を示す流れ図。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平８−286689（ＪＰ，Ａ)
特開 平８−227296（ＪＰ，Ａ)
特開 平７−319488（ＪＰ，Ａ)
実開 平５−60100（ＪＰ，Ｕ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G10H 1/00 - 1/00 102
G10K 15/04 302
G10G 1/00 - 3/04
Claims (4)
- 【請求項１】 音楽演奏の音響信号に含まれている周波
数成分を抽出する周波数成分抽出過程と、 上記周波数成分抽出過程で抽出した周波数成分に対し、
分離したい旋律を構成する各音の音高、発音開始時刻、
および発音終了時刻の情報を用いて分離すべき周波数成
分とその時刻とを選択する周波数成分選択過程と、 を有し、上記周波数成分選択過程で選択したもの又は上
記音響信号中の上記選択したもの以外のものを用いて音
響信号波形を合成する旋律の分離方法であって、 上記周波数成分抽出過程は、上記音響信号を分析フレー
ムごとに短時間フーリエ分析して位相を求める過程と、
位相の連続性に基づき、上記求めた位相の時間変化を低
次の多項式で近似する過程と、その近似位相を時間微分
して周波数値の時系列を求める過程と、この周波数値の
時系列に対しフィルタリング演算を行って瞬時周波数値
を得る過程とを有する音楽演奏に含まれる 旋律の分離方
法。 - 【請求項２】 上記周波数成分選択過程は、上記発音開
始時刻および発音終了時刻情報で決まる音の時間区間
と、上記音高情報で決まる周波数に、上記抽出した周波
数成分の時刻と瞬時周波数値とが対応しているかを検査
し、対応していればその瞬時周波数値の成分およびその
周波数の整数倍に近い瞬時周波数値の成分を、単音を構
成する成分として選択することを特徴とする請求項１記
載の音楽演奏に含まれる旋律の分離方法。 - 【請求項３】 音楽演奏の音響信号から請求項１又は２
の旋律分離方法で選択された周波数成分の時刻と、その
時刻におけるその周波数成分の瞬時周波数値、振幅、位
相情報に基づいて波形を合成加算して音響信号波形を生
成する波形加算合成過程を有する音楽演奏に含まれる旋
律の分離抽出方法。 - 【請求項４】 音楽演奏の音響信号から請求項１又は２
の旋律分離方法で選択された周波数成分以外の周波数成
分の時刻と、その時刻におけるその周波数成分の瞬時周
波数値、振幅、位相情報に基づいて波形を合成加算して
音響信号波形を生成する波形加算合成過程とを有する音
楽演奏に含まれる旋律の分離除去方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32707697A JP3508981B2 (ja) | 1997-11-12 | 1997-11-12 | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32707697A JP3508981B2 (ja) | 1997-11-12 | 1997-11-12 | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11143460A JPH11143460A (ja) | 1999-05-28 |
| JP3508981B2 true JP3508981B2 (ja) | 2004-03-22 |
Family
ID=18195030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32707697A Expired - Fee Related JP3508981B2 (ja) | 1997-11-12 | 1997-11-12 | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3508981B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6747201B2 (en) | 2001-09-26 | 2004-06-08 | The Regents Of The University Of Michigan | Method and system for extracting melodic patterns in a musical piece and computer-readable storage medium having a program for executing the method |
| US7567900B2 (en) | 2003-06-11 | 2009-07-28 | Panasonic Corporation | Harmonic structure based acoustic speech interval detection method and device |
| JP4534883B2 (ja) * | 2005-07-11 | 2010-09-01 | カシオ計算機株式会社 | 楽音制御装置および楽音制御処理のプログラム |
| JP5383056B2 (ja) * | 2007-02-14 | 2014-01-08 | 本田技研工業株式会社 | 音データ記録再生装置および音データ記録再生方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0560100U (ja) * | 1992-01-27 | 1993-08-06 | クラリオン株式会社 | 音響再生装置 |
| JPH07319488A (ja) * | 1994-05-19 | 1995-12-08 | Sanyo Electric Co Ltd | ステレオ信号処理回路 |
| JP3613859B2 (ja) * | 1995-11-21 | 2005-01-26 | ヤマハ株式会社 | カラオケ装置 |
| JP3176273B2 (ja) * | 1995-02-13 | 2001-06-11 | ヤマハ株式会社 | 音声信号処理装置 |
-
1997
- 1997-11-12 JP JP32707697A patent/JP3508981B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11143460A (ja) | 1999-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Piszczalski et al. | Automatic music transcription | |
| US6336092B1 (en) | Targeted vocal transformation | |
| Bonada et al. | Synthesis of the singing voice by performance sampling and spectral models | |
| EP2264696B1 (en) | Voice converter with extraction and modification of attribute data | |
| US6856923B2 (en) | Method for analyzing music using sounds instruments | |
| JPH0997091A (ja) | 予め記録された背景音楽のピッチ変化方法およびカラオケシステム | |
| JP2002202790A (ja) | 歌唱合成装置 | |
| US6584442B1 (en) | Method and apparatus for compressing and generating waveform | |
| JP3265962B2 (ja) | 音程変換装置 | |
| JP3033061B2 (ja) | 音声雑音分離装置 | |
| JP3511360B2 (ja) | 音楽音響信号分離方法、その装置およびそのプログラム記録媒体 | |
| JP3508981B2 (ja) | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 | |
| JP3176273B2 (ja) | 音声信号処理装置 | |
| JP4757971B2 (ja) | ハーモニー音付加装置 | |
| JP3832266B2 (ja) | 演奏データ作成方法および演奏データ作成装置 | |
| JP3613859B2 (ja) | カラオケ装置 | |
| JP3502268B2 (ja) | 音声信号処理装置及び音声信号処理方法 | |
| JP3540159B2 (ja) | 音声変換装置及び音声変換方法 | |
| JP3447221B2 (ja) | 音声変換装置、音声変換方法、および音声変換プログラムを記録した記録媒体 | |
| JP3949828B2 (ja) | 音声変換装置及び音声変換方法 | |
| JP2000003197A (ja) | 音声変換装置、音声変換方法、および音声変換プログラムを記録した記録媒体 | |
| JP3540609B2 (ja) | 音声変換装置及び音声変換方法 | |
| JP3294192B2 (ja) | 音声変換装置及び音声変換方法 | |
| JP3540160B2 (ja) | 音声変換装置及び音声変換方法 | |
| JP3447220B2 (ja) | 音声変換装置及び音声変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20031218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100109 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110109 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110109 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |