JP3775319B2 - 音楽波形のタイムストレッチ装置および方法 - Google Patents
音楽波形のタイムストレッチ装置および方法 Download PDFInfo
- Publication number
- JP3775319B2 JP3775319B2 JP2002078271A JP2002078271A JP3775319B2 JP 3775319 B2 JP3775319 B2 JP 3775319B2 JP 2002078271 A JP2002078271 A JP 2002078271A JP 2002078271 A JP2002078271 A JP 2002078271A JP 3775319 B2 JP3775319 B2 JP 3775319B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- time
- start timing
- beat
- sine wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【発明の属する技術分野】
本発明は、演奏時間の圧縮伸張を、音楽波形の音色やピッチを変化させることなく行う、音楽波形のタイムストレッチに関するものである。
例えば、コマーシャル用に演奏された所定の音楽波形を、その音色やピッチを変化させることなく、その演奏時間を任意の時間に正確に合わせ込む必要がある場合に用いることができる。
あるいは、演奏テンポの変更を、音楽波形の音色やピッチを変化させることなく自由に行いたい場合に用いることができる。
【0002】
【従来の技術】
従来、音楽波形の再生時間だけを、音色やピッチをほぼそのままに、自由に変化させる技術、言い替えれば、テンポのみを変化させる技術として、音楽波形のタイムストレッチ技術が知られている。
従来のタイムストレッチ技術としては、ビート(拍子)抽出型、ボコーダ型が知られている。
【0003】
ビート抽出型のタイムストレッチは、音楽波形の急峻な立ち上がりを検出して音符に分割し、各音符の時間間隔を縮めたり伸ばしたりすることによって、音楽波形全体の再生時間を変化させるものである。周波数スペクトルの時間変化が大きいリズム系、パーカッシブな音楽のタイムストレッチに関しては、ある程度の品質が得られる。
しかし、この方法は、原音楽波形そのものを音符単位で時間移動しているだけであるので、定常波形部分は途中で打ち切られたり、定常波形部分に無音区間が埋め込まれたりするので、ボーカルやアンサンブル系の音楽に不向きである。
【0004】
一方、ボコーダ型のタイムストレッチは、音楽波形を周波数分析して得られた主要な周波数成分について、時間軸を縮めたり伸ばしたりした後に、各周波数成分を加算するというものである。ボーカルやアンサンブル系の音楽に関しては、ある程度の品質が得られる。
しかし、全ての周波数成分を全て処理することは困難であるので、多数の倍音周波数成分や、非倍音周波数成分などが含まれたリズム系の音楽には不向きである。
ところが、通常の音楽波形は、リズムやメロディ、さらには、ボーカルも含まれる場合もあるので、いずれを用いてタイムストレッチしても、思うような品質を得ることができないという問題があった。
同様に、ソロ楽器であっても、ピアノのように、アタック音(ハンマー音など)の後に緩やかな減衰振動を伴うような楽音の演奏波形を高品位にタイムストレッチすることは困難であった。
【0005】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、音楽波形の高品位な時間軸圧縮伸張を実現できる音楽波形のタイムストレッチ装置および音楽波形のタイムストレッチ方法を提供することを目的とするものである。
【0006】
【課題を解決するための手段】
本発明は、請求項1に記載の発明においては、音楽波形のタイムストレッチ装置において、原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力手段と、前記残差波形の振幅に基づいて第1のビート開始タイミングを抽出するビート開始タイミング抽出手段と、前記第1のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第2のビート開始タイミングを決定するとともに、前記残差波形を、前記第1のビート開始タイミング毎に分割し、分割された前記残差波形を前記第2のビート開始タイミングの位置に再配置する残差波形のタイムストレッチ手段と、前記スペクトルのピーク点データを前記第1のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第2のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチ手段と、前記残差波形のタイムストレッチ手段の出力および前記正弦波合成波形のタイムストレッチ手段の出力とを加算する加算手段を有するものである。
したがって、音楽波形の2種類の音楽成分別にその音楽成分に適した時間軸圧縮伸張を行った上で、両者を同期して合成することが可能となり、音楽波形を高品位に時間軸圧縮伸張することができる。
【0007】
請求項2に記載の発明においては、音楽波形のタイムストレッチ装置において実行されるタイムストレッチ方法であって、原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力ステップと、該短時間スペクトル分析結果の入力ステップにより入力された残差波形の振幅に基づいて第1のビート開始タイミングを抽出するビート開始タイミング抽出ステップと、前記第1のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第2のビート開始タイミングを決定するとともに、前記短時間スペクトル分析結果の入力ステップにより入力された残差波形を、前記第1のビート開始タイミング毎に分割し、分割された前記残差波形を前記第2のビート開始タイミングの位置に再配置する残差波形のタイムストレッチステップと、前記短時間スペクトル分析結果の入力ステップにより入力されたスペクトルのピーク点データを前記第1のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第2のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチステップと、前記残差波形のタイムストレッチステップの出力および前記正弦波合成波形のタイムストレッチステップの出力とを加算する加算ステップを有するものである。
したがって、請求項1に記載の発明と同様の作用を奏する。CPUやDSPを用いて実現することができる。
【0008】
【発明の実施の形態】
本発明は、原音楽波形を、上述したビート法に適した音楽成分および上述したボコーダ法に適した音楽成分に分離し、後で加算可能な形で個別にタイムストレッチ(時間軸圧縮伸張)を行うものである。
具体的には、音楽波形の分析合成ツールを用いて行う。例えば、音楽波形に含まれる基音周波数成分、倍音周波数成分、非倍音周波数成分に対応する線スペクトル成分を抽出する。
通常、分析窓(ウインドウ)を用いたフーリエ変換(短時間フーリエ変換、STFFT:Short-Time Fast Fourier Transform)による短時間スペクトル分析を行う。この短時間スペクトル分析自体は、特開2000−10567号公報等で知られている。
【0009】
音楽波形の分析としては、音楽波形をサンプリングし、1フレーム(分析フレーム)サイズの複数サンプルポイントに対して窓関数を掛け算し、その出力レベルから周波数成分を分析する。この1回の処理を1フレームの処理単位として、上述した分析窓を1ホップサイズだけ移動させて、順次、次のフレームに対して同様の処理を行う。
1つのフレームと次のフレームとは、ホップサイズ分だけ時間がずれている。ホップサイズは、サンプルポイント数で表現される。これを時間に換算したものをフレームタイムと定義すると、(フレームタイム)=(ホップサイズ)/(サンプリング周波数)である。通常、ホップサイズは、ウインドウサイズよりも小さくするので、フレーム期間および分析窓は複数サンプルポイントにわたってオーバラップすることになる。
【0010】
各フレームにおける分析結果から、周波数成分のピーク点を順次検出する。
ここで、各周波数成分のピーク点は、周波数データ(fx)、位相データ(各周波数成分の基準位相2πfxtに対する位相差px)、および振幅データ、という3つのデータを有している。
各フレーム単位で、各周波数成分の振幅データからピークを成す周波数位置を検出することにより、ピーク点を抽出する。ピークを成すものを全て検出してもよいが、処理量を減らすため、ピークの振幅が所定の閾値以下のものを切り捨ててもよい。あらかじめ複数のフレームにわたってピーク点の軌跡を追跡することにより、所定のフレーム数以上継続するピーク点のみを出力するなど、これらのクリーニング処理をしてピーク点を出力してもよい。
【0011】
次に、各ピーク点軌跡に対応する正弦波信号の周波数、位相、振幅を、各フレーム単位で得られたスペクトルのピーク点データに基づいて設定し、複数フレームにわたって、この正弦波信号の周波数、位相、振幅を制御する。得られた複数の正弦波信号を、複数フレームにわたって加算合成することにより、正弦波合成された合成音楽波形が生成される。
原音楽波形からこの合成音楽波形を減算すれば、ピーク点データSTFDATAからは正弦波合成できない音楽波形が出力される。この波形は、残差波形と呼ばれている。
場合によって、最初のスペクトル分析で得られた残差波形を更にスペクトル分析して、正弦波合成波形の精度を上げることが行われる。この場合でも、前回よりも小さくなるが残差波形が残る。
【0012】
図1は、本発明のタイムストレッチ装置のブロック構成図である。
図中、1はSTFFT分析部、2はビート抽出部、3は正弦波合成できない波形のタイムストレッチ部、4は正弦波合成できる波形のタイムストレッチ部、5は加算器である。
STFFT(Short-Time Fast Fourier Transform)分析部1は、対象とする原音楽波形を短時間高速フーリエ変換し、ピーク点データSTFDATAと、ピーク点データに基づいて正弦波合成できなかった波形(Xesidual:残差波形)とを出力する。
【0013】
図2は、ピアノ演奏波形の波形図である。
図2(a)は原音楽波形、図2(b)は残差波形、図2(c)は残差波形のエンベロープ波形を示す波形図である。
各波形図において横軸は時間、縦軸は波形振幅である。各波形図の時間軸は同じになるように合わせているが、波形振幅のスケールは異なっている。
ビートに対してA,B,C,……の符号を付している。
図3は、ピアノ演奏波形をSTFFT分析したときのピーク点データを示す分析図である。横軸はフレーム番号で表した時間、縦軸は周波数である。原音楽波形が、図2(a)に示した音楽波形の場合のピーク点データSTFDATAを、クリーニング処理したものを示す。
【0014】
図3に示すように、各フレームにおいて、ピーク点が複数個検出される。これらのピーク点は、元のサンプリング波形の基音周波数成分、倍音周波数成分、非倍音成分、ノイズ成分等に対応して検出されるようになる。このため、ピーク点は、フレーム毎に離散した点状であるが、フレーム間で短い連続性を有するもの、フレーム間で長い連続性を有するものなど、種々のピーク点の態様がある。
図3では、ある程度の長さの軌跡をなすピーク点について図示している。
また、残差波形Xesidualは図2(b)のようになる。図2(a)に示したピアノの演奏波形であれば、残差波形Xesidualは、アタックのカチッという打弦音である。したがって、アタックタイミング毎に大きな残差波形Xesidualがある。残差波形Xesidualは、リズム+ボーカルの音楽波形であれば、パーカッシブなリズム音、ボーカルの子音、あるいは、ノイズである。
【0015】
図1に示したビート抽出部2は、残差波形から、原音楽波形のビート(拍子)開始タイミングを抽出する。抽出方法は任意でよいが、以下の例では、エンベロープレベルを検出する方法を示す。
まず、図2(c)のような残差波形のエンベロープを計算する。次に、所定のスレッショルドレベルVthと残差波形のエンベロープとの交点を、波形のアタックポイントとし、そこから時間の過去側へ数msの所定時間Δだけ戻した時点a,b,c,……をビートの切れ目(ビート開始タイミング)とする。
【0016】
スレッショルドレベルVthは、所定値か、残差波形のエンベロープのピーク値の所定数分の1の値とすればよい。音楽波形の立上りはノイズ成分が多く不確定であるので、スレッショルドレベルVthをあまり下げることはできない。これに対し、上述した方法では、スレッショルドレベルVthをあまり下げなくてもビートの切れ目を精度良く検出できる。
ビート開始タイミングの抽出は、この他にも、残差波形をノイズ除去フィルタを通してからその振幅レベルをゼロクロス検出する方法などがある。
【0017】
正弦波合成できない波形のタイムストレッチ部3は、ビート抽出部2から出力される、原音楽波形(正確には、その残差波形)のビート開始タイミングの情報を入力する。
このビート開始タイミングの間隔(ビート周期)を、ユーザ操作により設定される任意のタイムストレッチ率に比例して変化させることにより、タイムストレッチ後の新たなビート周期を決定し、ビート開始タイミングを再配置する。
同時に、残差波形を、原音楽波形のビート抽出部2から出力されるビート開始タイミング毎に分割し、分割された残差波形の先頭が、再配置後のビート開始タイミングの位置になるように、分割された残差波形を再配置することにより、タイムストレッチされた残差波形を生成する。
なおタイムストレッチ率は、ビート開始タイミングの間隔を単位として、時間的に変化させることができる。
【0018】
図4は、正弦波合成できない残差波形のタイムストレッチ処理の説明図である。
図4(a)はタイムストレッチ前の残差波形、図4(b)はタイムストレッチ後の残差波形である。横軸は時間、縦軸は振幅である。
図示の例では、説明を簡単化するために、タイムストレッチ率を一定値「2倍」とした具体例について説明する。
まず、原音楽波形のビート開始タイミングa,b,c,d,e,f,…を、2倍のタイムストレッチ率に応じて再配置して、再配置後のビート開始タイミングa’,b’,c’,d’,e’,f’,…を決定する。
一方、残差波形Xesidualを、元のビート開始タイミングごとに、ビート周期Ta,Tb,Tc,……の期間に分割し、分割された残差波形を再配置後のビート開始タイミングa,b,c,d,e,f,…で区切られた、ビート周期Ta',Tb',Tc',……の区間の先頭、すなわち、再配置後のビート開始タイミングの位置に再配置する。
【0019】
単に再配置しただけでは、再配置後の隣接する残差波形の間がゼロレベルのままである。ゼロレベルのままでもよいが、この残差波形の間の区間を何らかの方法で埋めることもできる。
埋める方法は何でもよい。例えば、ビート抽出部2において作成されたエンベロープの情報から、あるスレッショルドレベル(上述したスレッショルドレベルVthとは独立して決められる)以下に減衰した区間では、ホワイトノイズ等のノイズ信号にクロスフェードし、かつ、滑らかに減衰させればよい。
あるいは、上述したスレッショルドレベル以下に減衰した区間を繰り返しループさせ、かつ、滑らかに減衰させればよい。
逆に、タイムストレッチ率を1未満にしたときに、そのままでは、切り出された残差波形が重なることになってしまう。この場合は、ビートの切れ目で、前の残差波形を切り捨ててから、後の残差波形につなげばよい。もともと残差波形の振幅レベルは小さいので切り捨ての影響は小さい。
【0020】
一方、正弦波合成できる波形のタイムストレッチ部4は、STFFT分析部1から出力されたピーク点データを、ビート抽出部2から出力される原音楽波形のビート開始タイミングの情報を用いて、残差波形のビート開始タイミング毎に分割する。次に、正弦波合成できない波形のタイムストレッチ部3から出力される再配置後のビート開始タイミングの情報を用いて、分割された各期間のスペクトルのピーク点データを、再配置後のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成することにより、再配置された正弦波合成波形を出力する。
【0021】
なお、再配置は、タイムストレッチ率に比例したものであるから、残差波形のビート開始タイミング毎に分割することなく、対象とする原音楽波形全体を一括して再配置することも可能である。しかし、この場合、再配置後の正弦波合成波形と再配置後の残差波形とが、わずかなタイミングの計算誤差によって時間経過とともにずれてゆくおそれがある。
これに対し、原音楽波形のビート開始タイミング毎に分割することによって、再配置後の残差波形と、再配置後のビート開始タイミングごとに正確に同期させることができる。
【0022】
正弦波合成は、処理タイミングにおける正弦波信号の周波数、位相、振幅の値を、再配置されたフレームポイントにおける値に基づいて補間演算する。
まず、ピーク点の周波数データのタイムストレッチについて説明する。
図5は、正弦波合成できる波形のタイムストレッチ処理の第1の説明図である。
図5(a)はタイムストレッチ前のピーク点の軌跡、図5(b)はタイムストレッチ後のピーク点の軌跡を示す線図である。横軸はフレームポイントのフレームで表した時間、縦軸は周波数である。
説明を簡単にするために、3本のピーク点軌跡のみを模式的に示している。また、タイムストレッチ率の値は一定で、「2倍」としている。原音楽波形のビート開始タイミングおよび再配置後のビート開始タイミングは、フレームポイント上にあるものとして説明する。
【0023】
図5(a)に示すように、ピーク点データSTFDATAが計算されたときの原フレームポイントを、各ビート開始タイミングa,b,c,…から、ビート周期Ta,Tb,Tc,……の期間毎に分割し、図5(b)に示すように、再配置後の各ビート開始タイミングa’,b’,…からの再配置後のビート周期Ta’,Tb’,……にわたって再配置する。このようにして得られた新たなピーク点データSTFDATAに基づいて正弦波合成を行う。
再配置後のフレームポイント間は、線形補間(一次補間)する。補間は、前値ホールドや、2次以上の補間公式を用いてもよい。
なお、ピーク開始タイミングa,b,c,…は、残差波形から抽出されたものであるので、必ずしもフレームポイント上にあるとは限らない。しかし、このような場合でも、再配置後のビート周期Ta’,Tb’,……にわたって補間することができる。
再配置後のピーク点の振幅データについても、上述した周波数データと同様に再配置して補間すればよい。
【0024】
位相データについては、位相データの再配置をして、さらに、位相の変化量を補正する。すなわち、ビート開始タイミングa,b,c,…から、ビート開始タイミングで区切られた期間Ta,Tb,Tc,……の位相データを、再配置後のビート開始タイミングa’,b’,…から、再配置後のビート開始タイミングで区切られた期間Ta’,Tb’,……にわたって再配置するとともに、再配置によってタイムストレッチされた割合Ta’/Ta,Tb’/Tb,……(原理的には、タイムストレッチ率に等しいので、以下、タイムストレッチ率というが、両者の間には計算誤差による微差がある)を、初期位相からの位相の変化量に乗算して補正する。
この補正は、期間の増減に比例して、位相変化量が変化するために行う。
【0025】
図6は、正弦波合成できる波形のタイムストレッチ処理の第2の説明図である。図6(a)は原音楽波形のピーク位相を模式的に示し、図6(b)はタイムストレッチ後のピーク位相を模式的に示す説明図である。
図5に示した、3本のピーク点軌跡に対応する位相データを、ビート開始タイミングaからビート開始タイミングbの直前までの期間Taについて、模式的に示している。タイムストレッチ率の値は「2倍」としている。初期位相を各ピーク点軌跡とも0としているが、初期位相が互いに異なっていてもよい。
ここでいう位相データは、各ピーク軌跡に対応する正弦波信号自体の位相を意味する。すなわち、ある周波数fxの周波数成分の軌跡の位相は、(基準位相+位相差)=2πfxt+pxである。時間tの進行とともに正弦波信号の位相が回転する。
【0026】
図6(a)に示す位相データを、ビート開始タイミングa,b,…で区切られた期間Ta,Tb,……毎に、タイムストレッチ率に従って期間Ta’,Tb’,……に再配置する。このままでは、周波数データが1/2になる。
そこで、さらに、初期位相(ビート開始タイミングaにおける位相)からの位相変化量を、縦軸方向にタイムストレッチ率に従い、拡大あるいは縮小することによって、図6(b)に示された位相データが得られる。
このとき、位相は初期位相からの位相変化量がタイムストレッチ率に従い、拡大あるいは縮小している。しかし、位相の微分値に相当する周波数は、図5(b)に示した周波数と一致する。
このように、位相データについては、再配置をし、さらに、位相の変化量をタイムストレッチ率に比例して補正すればよい。
【0027】
上述した説明では、タイムストレッチ率を整数値としたが、補間をするので、整数値でなくても正弦波合成する上で問題とならない。
一方、タイムストレッチ率を1未満にしたときは、再配置後のピーク点同士の間隔がフレームポイントの間隔(ホップサイズ)よりも短くなるが、補間をするので、正弦波合成する上で問題とならない。
図1に示した加算器5は、再配置された残差波形および再配置され正弦波合成波形を加算して所望のタイムストレッチ率の音楽波形を生成する。タイムストレッチ率が1を超えるときは原音楽波形の伸張となり、タイムストレッチ率が1未満のときは原音楽波形の圧縮となる。
【0028】
上述した説明では、ピアノ演奏音楽波形を実例にしたので、音符の開始(ノートオンタイミング)を区切りとして再配置が行われることになる。リズムやボーカルが混在している一般音楽波形については、リズムを演奏する楽器あるいは音声のアタック部分に発生する残差波形からビートが抽出されて、このアタック部分を区切りとして再配置されることになる。
ホップサイズは、楽曲のテンポや構成などに応じて変えてもよい。テンポの速い曲や、短時間に押鍵,離鍵が繰り返されるような楽曲では小さくする。ホップサイズを楽曲の演奏部分毎に変えて、最適化を図ってもよい。
また、ビート抽出のための閾値等の判定基準は、例えば経験的,実験的に定め、対象楽器,楽曲,演奏者,演奏環境などによって調整する。
タイムストレッチの対象とする音楽波形は、マイクロホンで拾ったものがリアルタイムにサンプリングされA/D変換されたものでもよいし、一旦記録装置にアナログ記録された後に読み出され、サンプリングされA/D変換されたものでもよい。また、音楽波形があらかじめサンプリングされA/D変換されて記録装置に一旦デジタル記録された後に、読み出されたものでもよい。
【0029】
図1に示した、各ブロックの機能は、CPU(Central Processing Unit)に記憶装置に記憶されたプログラムを実行させることによって実現できる。あるいは、全部あるいは一部のブロックを、信号処理プロセッサDSP(Digital Signal Processor)にプログラムを実行させることによって実現してもよい。
STFFT部1は、楽音分析や、楽音合成のために使用される汎用性のある処理であるので、本発明のタイムストレッチ装置に対して外付けの処理装置から分析結果を入力してもよい。
ビート抽出部2は、音楽波形のエンベロープ検出技術を用いればよい。
正弦波合成できない波形のタイムストレッチ部3は、バッファメモリを用いて信号処理をすればよい。
正弦波合成できる波形のタイムストレッチ部4は、ピーク点データをバッファメモリに入れて再配置し補間値を計算した後に、正弦波波形サンプル値が記憶されたROM(Read Only Memory)を読み出す。その際、出力正弦波信号の周波数、位相、振幅を再配置後のピーク点データに基づいて制御し、複数のピーク点軌跡に対応した出力正弦波信号を加算合成すればよい。
【0030】
【発明の効果】
本発明は、上述した説明から明らかなように、対象とする音楽波形が、リズムやメロディ、ボーカル等が混在するようなものであっても、高品位な時間軸圧縮伸張を実現できるという効果がある。
音楽波形がどのような楽器音色であるのか、どのようなジャンルの音楽であるのかによる影響を受けにくく、高品位のタイムストレッチを実現できるという効果がある。
【図面の簡単な説明】
【図1】 本発明のタイムストレッチ装置のブロック構成図である。
【図2】 ピアノ演奏波形の波形図である。
【図3】 ピアノ演奏波形のピーク点データを示す分析図である。
【図4】 正弦波合成できない波形のタイムストレッチ処理の説明図である。
【図5】 正弦波合成できる波形のタイムストレッチ処理の第1の説明図である。
【図6】 正弦波合成できる波形のタイムストレッチ処理の第2の説明図である。
【符号の説明】
1…STFFT分析部、2…ビート抽出部、3…正弦波合成できない波形のタイムストレッチ部、4…正弦波合成できる波形のタイムストレッチ部、5…加算器
Claims (2)
- 原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力手段と、
前記残差波形の振幅に基づいて第1のビート開始タイミングを抽出するビート開始タイミング抽出手段と、
前記第1のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第2のビート開始タイミングを決定するとともに、前記残差波形を、前記第1のビート開始タイミング毎に分割し、分割された前記残差波形を前記第2のビート開始タイミングの位置に再配置する残差波形のタイムストレッチ手段と、
前記スペクトルのピーク点データを前記第1のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第2のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチ手段と、
前記残差波形のタイムストレッチ手段の出力および前記正弦波合成波形のタイムストレッチ手段の出力とを加算する加算手段、
を有することを特徴とする音楽波形のタイムストレッチ装置。 - 音楽波形のタイムストレッチ装置において実行されるタイムストレッチ方法であって、
原音楽波形に対して所定の時間間隔で短時間スペクトル分析が行われて得られた、スペクトルのピーク点データと、該スペクトルのピーク点データからは正弦波合成できない残差波形とを入力する短時間スペクトル分析結果の入力ステップと、
該短時間スペクトル分析結果の入力ステップにより入力された残差波形の振幅に基づいて第1のビート開始タイミングを抽出するビート開始タイミング抽出ステップと、
前記第1のビート開始タイミングを、所定のタイムストレッチ率に応じて再配置して第2のビート開始タイミングを決定するとともに、前記短時間スペクトル分析結果の入力ステップにより入力された残差波形を、前記第1のビート開始タイミング毎に分割し、分割された前記残差波形を前記第2のビート開始タイミングの位置に再配置する残差波形のタイムストレッチステップと、
前記短時間スペクトル分析結果の入力ステップにより入力されたスペクトルのピーク点データを前記第1のビート開始タイミング毎に分割し、分割された各区間の前記スペクトルのピーク点データを、前記第2のビート開始タイミングで区切られた期間にわたって再配置した上で正弦波合成する正弦波合成波形のタイムストレッチステップと、
前記残差波形のタイムストレッチステップの出力および前記正弦波合成波形のタイムストレッチステップの出力とを加算する加算ステップ、
を有することを特徴とする音楽波形のタイムストレッチ方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002078271A JP3775319B2 (ja) | 2002-03-20 | 2002-03-20 | 音楽波形のタイムストレッチ装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002078271A JP3775319B2 (ja) | 2002-03-20 | 2002-03-20 | 音楽波形のタイムストレッチ装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003280664A JP2003280664A (ja) | 2003-10-02 |
JP3775319B2 true JP3775319B2 (ja) | 2006-05-17 |
Family
ID=29228313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002078271A Expired - Fee Related JP3775319B2 (ja) | 2002-03-20 | 2002-03-20 | 音楽波形のタイムストレッチ装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3775319B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5125527B2 (ja) | 2008-01-15 | 2013-01-23 | ティアック株式会社 | 多重録音装置 |
JP5181685B2 (ja) | 2008-01-15 | 2013-04-10 | ティアック株式会社 | 多重録音装置 |
CN101983403B (zh) | 2008-07-29 | 2013-05-22 | 雅马哈株式会社 | 演奏相关信息输出装置、具有演奏相关信息输出装置的***、以及电子乐器 |
CN101983513B (zh) | 2008-07-30 | 2014-08-27 | 雅马哈株式会社 | 音频信号处理装置、音频信号处理***以及音频信号处理方法 |
JP5359203B2 (ja) * | 2008-11-10 | 2013-12-04 | ヤマハ株式会社 | 楽曲処理装置およびプログラム |
JP5782677B2 (ja) | 2010-03-31 | 2015-09-24 | ヤマハ株式会社 | コンテンツ再生装置および音声処理システム |
EP2573761B1 (en) | 2011-09-25 | 2018-02-14 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
JP5494677B2 (ja) | 2012-01-06 | 2014-05-21 | ヤマハ株式会社 | 演奏装置及び演奏プログラム |
EP3394851B1 (en) * | 2015-12-23 | 2023-04-05 | Harmonix Music Systems, Inc. | Apparatus, systems, and methods for music generation |
-
2002
- 2002-03-20 JP JP2002078271A patent/JP3775319B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003280664A (ja) | 2003-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4207902B2 (ja) | 音声合成装置およびプログラム | |
EP2680255B1 (en) | Automatic performance technique using audio waveform data | |
JP4645241B2 (ja) | 音声処理装置およびプログラム | |
US7396992B2 (en) | Tone synthesis apparatus and method | |
EP2682939B1 (en) | Automatic performance technique using audio waveform data | |
JP2001188544A (ja) | オーディオ波形再生装置 | |
JP3775319B2 (ja) | 音楽波形のタイムストレッチ装置および方法 | |
JP3654079B2 (ja) | 波形生成方法及び装置 | |
JP3654083B2 (ja) | 波形生成方法及び装置 | |
Jensen | The timbre model | |
JP3797283B2 (ja) | 演奏音制御方法及び装置 | |
JP3654080B2 (ja) | 波形生成方法及び装置 | |
JP3654082B2 (ja) | 波形生成方法及び装置 | |
JP3654084B2 (ja) | 波形生成方法及び装置 | |
JP2003162282A (ja) | 演奏情報生成方法、演奏情報生成装置およびプログラム | |
JP3804522B2 (ja) | 波形圧縮方法及び波形生成方法 | |
JP3613191B2 (ja) | 波形生成方法及び装置 | |
JP3788096B2 (ja) | 波形圧縮方法及び波形生成方法 | |
JPH11143460A (ja) | 音楽演奏に含まれる旋律の分離方法、分離抽出方法および分離除去方法 | |
JP3674527B2 (ja) | 波形生成方法及び装置 | |
JP3933161B2 (ja) | 波形生成方法及び装置 | |
JP3829707B2 (ja) | 波形生成装置及び方法 | |
JP3829733B2 (ja) | 波形生成装置及び方法 | |
JP2004287350A (ja) | 音声変換装置、音声効果付与装置、及びプログラム | |
JP3933162B2 (ja) | 波形生成方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3775319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090303 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |