JP5588129B2 - 同期再生装置、同期再生方法および同期再生プログラム - Google Patents

Description

本発明は、同期再生装置、同期再生方法および同期再生プログラムに関する。

従来、音楽を自動的にリミックスする技術が知られている。たとえば、特許文献１は、リミックス対象となる前後２楽曲において、後ろの楽曲のＢＰＭ(Beat Per Minute)情報を前の楽曲のＢＰＭ情報と一致させることで非熟練ユーザが楽曲をリミックスできる再生装置を提案している。

特許文献２は、楽曲のテンポを推定するために楽曲信号周波数成分の帯域通過フィルタリングによって得られた拍子候補に対して振動器をマッチングさせ、テンポを自動抽出する技術を提案している。また、特許文献２には、場合によっては振動器の振動数を２の累乗することで検出テンポ精度を上げて行うリミックスが提案されている。また、楽曲自動リミックスを備えた再生装置として、特許文献３記載の装置などが挙げられる。特許文献３には音響的特徴に基づいて楽曲リミックスを行う際に楽曲間エフェクトを挿入する再生装置が記載されている。

また、非特許文献４、５記載の技術は聴取者の違和感を軽減させるために、最適テンポ調整係数と呼ばれる係数を用いて楽曲における信号伸縮量を軽減させ、テンポ変化を制御させている。非特許文献４、５では以下の式によって信号の伸縮度合を定量化している。

ここで、ｆ_ｏｐｔ（ｘ，ｙ）は楽曲ｘ、ｙのテンポを一致させるために用いられる係数であり、以下のように定義できる。

式（２）における「調整対象となるテンポ」には、調整対象となる楽曲固有のテンポのみならず、調整対象となる楽曲のリミックスのために選ばれたテンポも含まれる。たとえば、楽曲ｘのテンポを楽曲ｙのテンポに一致させるための係数をｆ_{＿ｏｐｔｘ}（ｘ，ｙ）と表し、楽曲ｙのテンポを楽曲ｘのテンポに一致させるための係数をｆ_{＿ｏｐｔｙ}（ｘ，ｙ）と表すことができる。その場合に、楽曲ｘの固有のテンポをＴ_＿ｘ、楽曲ｙの固有のテンポをＴ_＿ｙとすれば、一例として楽曲ｙの固有のテンポを楽曲ｘの固有のテンポに一致させるための係数ｆ_{＿ｏｐｔｙ}（ｘ，ｙ）は、式（２）’で表すことができる。

また、非特許文献６には、楽曲のテンポを徐々に調整できる技術が記載されている。

特開２００１−２４３６９２号公報 特表２００４−５２７７８６号公報 特開２００６−３３７９１４号公報

石先広海、帆足啓一郎、滝嶋康弘、「音質劣化を考慮した音楽自動リミックス手法」、研究報告 エンタテインメントコンピューティング（EC）、2008年3月、Vol.2008、No.26 石先広海、帆足啓一郎、滝嶋康弘、「自動DJミックス再生における信号伸縮率を用いた楽曲順序決定方法」、情報処理学会 第71回全国大会、講演論文集第二分冊、pp.41-42. Roucos, S. and Wilgus, A. M., "High quality time-scale modification for speech", IEEE Int. Conf. Acoust., Speech, Signal Processing, Tampa, FL, March 1985, pp.493-496

しかしながら、特許文献１〜３記載の技術では、自動リミックスの際にテンポ変化がどの程度違和感を与えるのかを定量化しておらず、実際にテンポを変化させた際に聴取者が違和感を覚えるのかを推し量ることができない。また、非特許文献４、５では式（１）で、原曲のテンポからどの程度テンポを変化させたかという指標に基づいてテンポ変化を定量化しているが、式（１）では聴取者のテンポ変化に対する違和感を考慮することが困難である。なお、テンポ変化の許容範囲や、テンポを遅くする場合と速くする場合とで聴取者による違和感の感じ方が異なることが実験により判明している。非特許文献６は、楽曲のテンポを徐々に調整するための一般的技術にすぎない。

本発明は、このような事情に鑑みてなされたものであり、複数の音声データについて違和感の少ない同期再生を可能にする同期再生装置、同期再生方法および同期再生プログラムを提供することを目的とする。

（１）上記の目的を達成するため、本発明の同期再生装置は、周期性を有する２つの音声データを同期させて再生する同期再生装置であって、テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの音声データを再生するときの同期テンポを算出するテンポ算出部と、前記２つの音声データを前記算出された同期テンポで再生する再生部と、を備えることを特徴としている。これにより、２つの音声データについてテンポ変化による違和感の少ない同期再生を可能にする。

（２）また、本発明の同期再生装置は、前記テンポ算出部が、前記２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを一致させるように同期テンポを算出することを特徴としている。これにより、与える違和感を最小にして２つの音声データを同期して再生することができる。

（３）また、本発明の同期再生装置は、音声データの再生テンポを速くしたときにユーザが違和感を覚える第１のテンポ変化量および音声データの再生テンポを遅くしたときに前記ユーザが違和感を覚える第２のテンポ変化量の少なくともいずれか一方を、前記テンポ変化に対して感じる違和感を定量化した情報として取得する情報管理部を更に備えることを特徴としている。これにより、ユーザの感覚をユーザ固有の情報として取り入れて同期再生のテンポに反映させることができる。

（４）また、本発明の同期再生装置は、前記情報管理部が、音声データを再生するテンポの変化開始時刻から前記ユーザからの入力時刻までの音声データの再生のテンポ変化量を計測することで、前記第１のテンポ変化量または第２のテンポ変化量を取得することを特徴としている。これにより、あらかじめテンポ変化量に対するユーザの違和感を定量的に評価することができる。その結果、音声データについて違和感の少ない同期再生を可能にできる。

（５）また、本発明の同期再生装置は、前記情報管理部が、前記第１のテンポ変化量または前記第２のテンポ変化量からテンポを速くする際にテンポに乗ずる係数の重みづけまたはテンポを遅くする際にテンポに乗ずる係数の重みづけを算出することを特徴としている。これにより、テンポ変化による違和感の定量的な評価を音声データの同期再生時に反映させて、違和感の少ない同期再生を可能にできる。

（６）また、本発明の同期再生装置は、前記テンポ算出部が、前記２つの音声データのうち、一方の音声データの固有のテンポをＴ_＿ｘ、他方の音声データの固有のテンポをＴ_＿ｙとし、前記第１のテンポ変化量および前記第２のテンポ変化量から決まる所定の関係を有する重みづけ係数をａ、ｂとしたとき、以下の数式により同期テンポＴ_＿ａｉｍを算出することを特徴としている。

これにより、２つの曲のいずれの同期再生に対しても違和感の少ない同期テンポを算出することができる。

（７）また、本発明の同期再生装置は、周期性を有する複数の音声データを同期させて再生する同期再生装置であって、あらかじめ設定されたパラメータに基づいて前記複数の音声データを同期再生し、前記同期再生を聴取するユーザによるフィードバック情報の入力を受け付けて、前記フィードバック情報に基づいて前記同期再生のテンポを調整することを特徴としている。このように同期再生のパラメータをフィードバックすることで、最適なテンポを得ることができる。

（８）また、本発明の同期再生装置は、周期性を有する複数の音声データを同期させて再生する同期再生装置であって、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する総和算出部と、前記総和が最小となるように音声データの順序を決定する順序決定部とを備えることを特徴としている。これにより、同期再生時にテンポ変化による違和感を少なくするように音声データの順序を決定することができる。

（９）また、本発明の同期再生装置は、上記の同期再生装置であって、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する総和算出部と、前記総和が最小となるように音声データの順序を決定する順序決定部とを更に備え、前記決定された再生順序で、与える違和感が少ないテンポで同期させて複数の音声データを連続で再生することを特徴としている。これにより、同期再生時の違和感の少ない順序で、音声データを違和感の少ない同期テンポでリミックス再生することができる。

（１０）また、本発明の同期再生方法は、２つの音声データを同期させて再生する同期再生方法であって、テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの音声データを再生するときの同期テンポを算出するステップと、前記２つの音声データを前記算出された同期テンポで再生するステップと、を含むことを特徴としている。これにより、２つの音声データについてテンポ変化による違和感の少ない同期再生を可能にする。

（１１）また、本発明の同期再生方法は、周期性を有する複数の音声データを同期させて再生する同期再生方法であって、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出するステップと、前記総和が最小となるように音声データの順序を決定するステップとを含むことを特徴としている。これにより、同期再生時に違和感を少なくするように音声データの順序を決定することができる。

（１２）また、本発明の同期再生方法は、上記の同期再生方法であって、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出するステップと、前記総和が最小となるように音声データの順序を決定するステップとを更に含み、前記決定された再生順序で、与える違和感が少ないテンポで同期させて複数の音声データを連続で再生することを特徴としている。これにより、同期再生時の違和感の少ない順序で、音声データを違和感の少ない同期テンポでリミックス再生することができる。

（１３）また、本発明の同期再生プログラムは、２つの音声データを同期させて再生する同期再生プログラムであって、テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの音声データを再生するときの同期テンポを算出する処理と、前記２つの音声データを前記算出された同期テンポで再生する処理と、を実行させることを特徴としている。これにより、２つの音声データについてテンポ変化による違和感の少ない同期再生を可能にする。

（１４）また、本発明の同期再生プログラムは、周期性を有する複数の音声データを同期させて再生する同期再生プログラムであって、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する処理と、前記総和が最小となるように音声データの順序を決定する処理とをコンピュータに実行させることを特徴としている。これにより、同期再生時に違和感を少なくするように音声データの順序を決定することができる。

（１５）また、本発明の同期再生プログラムは、上記の同期再生プログラムであって、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する処理と、前記総和が最小となるように音声データの順序を決定する処理とを更にコンピュータに実行させ、前記決定された再生順序で、与える違和感が少ないテンポで同期させて複数の音声データを連続で再生することを特徴としている。これにより、同期再生時の違和感の少ない順序で、音声データを違和感の少ない同期テンポでリミックス再生することができる。

本発明によれば、複数の音声データについて違和感の少ない同期再生を可能にする。

第１の実施形態に係る同期再生装置の構成を示すブロック図である。 第１の実施形態に係る同期再生装置の動作を示すフローチャートである。 サンプル楽曲のテンポ変化の設定画面を示す図である。 サンプル楽曲のテンポ変化の一例を示すグラフである。 サンプル楽曲のテンポ変化の一例を示すグラフである。 第２の実施形態に係る同期再生装置の構成を示すブロック図である。 第３の実施形態に係る同期再生装置の構成を示すブロック図である。 第３の実施形態に係る同期再生装置の動作を示すフローチャートである。 第３の実施形態に係る同期再生装置の動作を示すフローチャートである。

本発明は、同期再生時のテンポ変化とテンポ変化が与える違和感との相関を定量化し、信号伸縮量を決定することで、個人の特性に対応してユーザの違和感を軽減させた自動リミックスを可能にしている。たとえばユーザ入力から得られたパラメータを用い、違和感の定量化式に基づいて楽曲の速度を制御している。

以下に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。なお、本発明は、周期性を有する音声データの同期再生に対して適用可能であるが、以下の例では、周期性を有する音声データの一例として楽曲データを対象として説明する。

［第１の実施形態］
（同期再生装置の構成）
図１は、同期再生装置１００の構成を示すブロック図である。同期再生装置１００は、周期性を有する２つの楽曲データ（音声データ）を同期させて再生する。図１に示すように、同期再生装置１００は、入力部１０１、サンプル取得部１０２、音声データベース１０３、テンポ調整部１０４、設定部１０５、再生部１０６、情報管理部１０７、音声データ取得部１０８およびテンポ算出部１０９を備えている。

入力部１０１は、ユーザから、サンプル音源の再生や楽曲データの同期再生の指示を受け付ける。また、サンプル音源のテンポ変化に対して、ユーザから違和感を覚えた時刻に入力を受け付ける。この入力時刻をｔ_{＿ｉｎｐｕｔ}とすると、違和感限界テンポ調整係数Ｆは以下の式（３）により表現できる。

なお、テンポを変化させる時間単位をｔ_＿ａｄｊ、テンポ調整係数の変化量をΔｆと表している。オリジナルのテンポから徐々にテンポが速くなるもしくは遅くなる時刻を、テンポ変化開始時刻としてｔ_＿ａｄと表している。また、celingは少数切り上げを表している。

このような違和感限界テンポ調整係数Ｆを利用し、たとえば、Ｆを超えるテンポ調整が必要な場合には楽曲再生時にリミックスを適用しないこととしてもよいし、第三の音源を挿入することとしてもよい。

また、入力部１０１は、楽曲再生をしながらのキーの押下により、楽曲のテンポ調整に関してＧＵＩを介した設定も受け付ける。この設定に関しては、後述する。入力部１０１は、順序決定を行うために楽曲群を指定する入力を受け付ける。

サンプル取得部１０２は、音声データベースからユーザに提示するための楽曲データを取得する。あらかじめサンプルとして準備された楽曲や音源を、違和感を定量化する際に再生する楽曲データとして利用できる。

音声データベース１０３は、サンプル用の楽曲データおよびテンポ調整を適用するための楽曲データを格納する。いずれの楽曲データも固有のテンポを有している。音声データベース１０３は、楽曲ファイル、タイトル、アーティスト情報、識別ＩＤなどの情報も格納する。楽曲データベース１０３に格納されるファイルを、ネットワーク経由で取得することも可能である。

設定部１０５は、ユーザからの入力に応じて楽曲データのテンポ調整の設定を調整する。テンポ変化開始時刻ｔ_＿ａｄはオリジナルのテンポから徐々にテンポが速くなるもしくは遅くなる時刻であり、任意に設定できる。たとえば、テンポ変化開始時刻をサンプルの音声データの再生開始から１０秒と設定できる。また、テンポ変化開始時刻からのテンポ変化率も任意に設定できる。たとえば、３秒毎にテンポ調整係数ｆを±０．０５ずつ変動させることで階段状に速度を上昇もしくは下降させることもできる。サンプルの楽曲データとしては、基本的にテンポを速くするものと、テンポを遅くするものの２つを別々に生成する。ただし、一方だけを作成するか、両者それぞれを複数作成することとしてもよい。

テンポ調整部１０４は、サンプル曲の再生時に、サンプル取得部１０２によって得られたサンプルの楽曲データのテンポ調整を行い、再生テンポを速くする音源とテンポを遅くする音源とを生成する。たとえば、サンプルの楽曲データが有する固有のテンポに対して、一定の割合で再生テンポを速くする（または遅くする）ことができる。たとえば、テンポ調整処理におけるパラメータとして、テンポ変化開始時刻ｔ_＿ａｄ＝１０（ｓｅｃ）、ｔ_＿ａｄｊ＝３（ｓｅｃ）、Δｆ＝０．０５と設定してテンポを調整できる。なお、このようなパラメータは必ずしも事前に固定されている必要はなく、ＧＵＩなどを介してユーザにより随時変更可能としてもよい。

また、テンポ調整部１０４は、同期再生時（リミックス時）には、テンポ算出部１０９によって得られた、楽曲データごとのテンポ調整係数を用いて、再生する楽曲のテンポを調整する。その場合、同期テンポＴ_＿ａｉｍが式（２）における「調整目標となるテンポ」である。「調整対象となるテンポ」としては、楽曲データに固有のテンポやリミックスに最適なものとしてあらかじめ選ばれたテンポが挙げられる。

再生部１０６は、サンプルの楽曲データおよび同期再生用の楽曲データを調整されたテンポで再生する。同期再生時には、２つの楽曲データを算出された同期テンポで再生する。たとえば、テンポ調整された楽曲のビート位置を同期させ、クロスフェードさせてリミックス再生（同期再生）を行う。

情報管理部１０７は、ユーザ入力モジュールによって得られた違和感限界テンポ調整係数Ｆから、以下に示す式（５）を用いて式（４）の係数を決定する。ただし、ｆ_ｏｐｔ（ｘ，ｙ）の詳細については後述する。

情報管理部１０７は、ユーザの入力を入力部１０１が受け付けることにより、楽曲データの再生テンポを速くしてユーザが違和感を覚えるまでの第１のテンポ変化量と楽曲データの再生テンポを遅くしてユーザが違和感を覚えるまでの第２のテンポ変化量とを、テンポ変化に対して感じる違和感を定量化した情報として取得する。この情報は、ユーザ固有の情報でもある。すなわち、情報管理部１０７は、音声データを再生するテンポの変化開始時刻からユーザからの入力時刻までの音声データの再生のテンポ変化量を計測することで、第１のテンポ変化量および第２のテンポ変化量を取得する。

そして、情報管理部１０７は、違和感時刻と違和感限界テンポ調整係数等のデータを対応付けて記憶する。たとえば、テンポを遅くした場合の違和感時刻、テンポを速くした場合の違和感時刻を、それぞれの時刻における違和感限界テンポ調整係数Ｆ_{＿ｓｌｏｗ}、Ｆ_{＿ｆａｓｔ}とともに記憶する。そして、違和感限界テンポ調整係数Ｆに基づいて、違和感を定量化し、再生時のテンポ変化の最適化を行う。

このように、Ｆ_{＿ｓｌｏｗ}、Ｆ_{＿ｆａｓｔ}を用いて上記の式（４）に示すテンポ変化量Ｖの重み付けａ、ｂを変更することできる。これにより、ユーザ個人の違和感を考慮したテンポ変化量を決定できる。すなわち、実際に再生された音声データに対して、ユーザが違和感を覚えた時刻に入力を受け付けることで、フィードバック情報を得てテンポ調整のパラメータを更新できる。このように、情報管理部１０７は、第１のテンポ変化量および第２のテンポ変化量からテンポを速くする際にテンポに乗ずる係数の重みづけおよびテンポを遅くする際にテンポに乗ずる係数の重みづけを算出する。

なお、情報管理部１０７は、あらかじめ複数の聴取者から集められた違和感限界テンポ調整係数Ｆ_{＿ｓｌｏｗ}、Ｆ_{＿ｆａｓｔ}または重みづけ係数ａ、ｂを取得し、得られた重みづけ係数ａ、ｂを管理してもよい。また、ユーザから入力があるまでは、あらかじめ同期再生装置１００に設定された重みづけ係数ａ、ｂを管理することとしてもよい。

音声データ取得部１０８は、テンポ調整を適用するための楽曲データを音声データベース１０３から取得する。すなわち、音声データ取得部１０８は、リミックス対象となる楽曲ファイルおよびそのテンポ情報を取得する。楽曲ファイルにあらかじめテンポ情報が付与されていない場合、テンポ情報の付与処理ツールによりテンポ情報を付与させることもできる。

たとえば、同期再生の対象となる２楽曲のタイトル、識別ＩＤを入力した際に、入力に対応する楽曲を音声データベース１０３から抽出するようにしてもよい。なお、入力情報は、タイトル、識別ＩＤに限らず、楽曲データを特定できる情報であればよい。また、入力する楽曲の数は２楽曲に限られない。

テンポ算出部１０９は、テンポ変化に対して感じる違和感を定量化した情報を参照し、ユーザの違和感が少ないテンポを、２つの音声データを再生するときの同期テンポとして算出する。たとえばテンポ算出部１０９は、２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを一致させるように同期テンポを算出する。以下にその例を説明する。

（同期テンポの算出）
まず、変数ａ、ｂに基づいて最適化された式（４）に基づいて、テンポ調整係数ｆ_ｏｐｔ（ｘ，ｙ）を計算する。たとえば、式（４）において、ｆ_ｏｐｔ（ｘ，ｙ）＞１の場合と，ｆ_ｏｐｔ（ｘ，ｙ）＜１の場合のＶ値が一致するようにテンポ合致数値Ｔ_＿ａｉｍを設定するとした場合、Ｔ_＿ａｉｍは２次方程式の解となり、式（６）のように表せる。なお、Ｔ_＿ｘ、Ｔ_＿ｙはミックス対象となる楽曲ｘ、ｙのテンポ（すなわちＢＰＭ）を表し、Ｔ_＿ｘ＜Ｔ_＿ｙの関係を満たしているものとする。

このようにして得られたテンポ合致数値Ｔ_＿ａｉｍで楽曲を同期再生することで、違和感の度合が最も少なくなるようなテンポ変化を提供できる。Ｔ_＿ａｉｍを用いれば、楽曲ｘ、ｙのテンポ調整係数は式（７）により表せる。

式（６）、（７）を用いて、再生する楽曲のテンポを調整し、その楽曲を同期再生することで、楽曲テンポの変化に対するユーザの違和感を軽減できる。なお、既にａ、ｂが取得されている場合には、ａ、ｂの算出を省きテンポ調整係数を計算すればよい。

また、上記の式（７）は、事前に最適なテンポを選ばない場合のものであるが、事前に最適なテンポＴ_{＿ｏｐｔｘ}、Ｔ_{＿ｏｐｔｙ}を選んでもよい。その場合には、テンポ調整係数は式（７）’により表せる。たとえば、楽曲に固有の最適なテンポはＴ_{＿ｏｐｔｘ}＝２^ｃ×Ｔ_＿ｙ（Ｃ＝−２，−１，０，１，２）を満たす数値のうち、Ｔ_＿ｘに最も近いもの、またはＴ_{＿ｏｐｔｙ}＝２^ｃ０×Ｔ_＿ｘ（Ｃ０＝−２，−１，０，１，２）を満たす数値のうち、Ｔ_＿ｘに最も近いものとして決定することができる。なお、テンポ調整係数として式（７）と式（７）’によるｆ_{＿ｏｐｔｘ}、ｆ_{＿ｏｐｔｙ}の組合せのうちのいずれかを用いてもよい。

なお、上記の例では、２つの音声データの再生テンポを変化させることを前提としているが、一方の楽曲のテンポのみを変えてもよい。その場合には、式（４）によって求められた違和感の程度が小さい方の楽曲のテンポを変え、他方の楽曲のテンポは変えない。

（同期再生装置１００の動作）
図２は、同期再生装置１００の動作を示すフローチャートである。図２に示すように、まず、同期再生装置１００は、サンプルの楽曲データを取得する（ステップＳ１）。次に、サンプルの楽曲データを設定に従ってテンポ調整し、テンポを変化させながら楽曲を再生する（ステップＳ２）。そして、違和感を覚えたときにユーザによりなされる入力を受け付ける（ステップＳ３）。ステップＳ２、Ｓ３については、テンポを速くする再生とテンポを遅くする再生をそれぞれ行うことが好ましい。

次に、テンポ調整を最適化するために、得られたユーザの入力時刻からテンポ調整係数ｆ_ｏｐｔ（ｘ，ｙ）に対する重みづけａ、ｂを算出する（ステップＳ４）。そして、同期再生のための楽曲データを取得する（ステップＳ５）。取得された楽曲データに対して算出された重みづけａ、ｂによりテンポ調整係数ｆ_ｏｐｔ（ｘ，ｙ）を算出し（ステップＳ６）、テンポを調整して楽曲データを再生する（ステップＳ７）。このようにして、２つの楽曲データについて個々のユーザに応じて違和感の少ない同期再生を行うことができる。

（テンポ変化のパラメータ設定）
次に、サンプル楽曲を再生する際に行われるテンポ変化のパラメータ設定を説明する。図３は、サンプル楽曲のテンポ変化の設定画面を示す図である。図３に示すように、たとえば、テンポ変化開始時刻ｔ_＿ａｄ＝１０、ｔ_＿ａｄｊ＝３、Δｆ＝＋０．０５として、テンポを速めた音源を利用するとき、ユーザが楽曲開始から２０秒時点で違和感を覚えて入力をした場合には、式（３）により、Ｆ＝１．２０として保持される。なお、Ｆが得られていない場合、事前に多くのユーザから違和感を覚えたテンポ変化時間を取得し、あらかじめ平均的な値を算出し、Ｆとして設定してもよい。

（サンプル楽曲のテンポ変化）
次に、サンプル楽曲のテンポ変化について説明する。図４Ａおよび図４Ｂは、サンプル楽曲のテンポ変化の一例を示すグラフである。図４Ａおよび図４Ｂに示すように、サンプル楽曲に固有のテンポをＢＰＭ_０とすると、これに対して一定の変化率でテンポを変化させることができる。図４Ａに示す例では、固有のテンポから楽曲再生のテンポを速くしている。また、図４Ｂに示す例では、固有のテンポから楽曲再生のテンポを遅くしている。ユーザ入力時刻ｔ_{＿ｉｎｐｕｔ}とテンポ変化開始時刻ｔ_＿ａｄとの差が、ユーザが違和感を覚えるまでのテンポ変化に対応しており、図４Ａおよび図４Ｂに示す例では、テンポが遅くなる場合の方が速くなる場合より違和感を覚えやすい傾向があることが分かる。

［第２の実施形態］
（同期再生装置の構成）
上記の実施形態では、サンプルの楽曲データを再生してテンポ変化に対して感じる違和感を定量化した情報を得ているが、必ずしもサンプルの楽曲データを再生する必要はない。図５は、サンプルの楽曲データを用いない同期再生装置の構成を示すブロック図である。図５に示すように、同期再生装置２００は、入力部１０１、音声データベース１０３、テンポ調整部１０４、再生部１０６、情報管理部１０７、音声データ取得部１０８およびテンポ算出部１０９を備えている。各部の機能は同期再生装置１００と同様である。このような構成により、中間値等のあらかじめ設定した値を用いてリミックス音源を生成し、実際に再生された音源に対して違和感を覚えた場合に時刻等の入力を行うことで、サンプル音源の再生を省略できる。なお、あらかじめ多くのユーザから違和感を覚えた時刻やパラメータの入力を受け付け、その平均値を初期設定値として利用してもよい。

［第３の実施形態］
（同期再生装置の構成）
上記の実施形態では、同期再生時の違和感の低減にテンポ変化に対して感じる違和感を定量化した情報を利用しているが、楽曲の再生順序についてもテンポ変化に対して感じる違和感を定量化した情報を利用し、違和感を低減することができる。すなわち、テンポ調整係数ｆ_ｏｐｔ（ｘ，ｙ）を利用して、音質劣化の最も少ない組合せを計算し、再生楽曲の順序（プレイリスト）を決定できる。

図６は、同期再生装置の構成を示すブロック図である。図６に示すように、同期再生装置３００は、入力部１０１、サンプル取得部１０２、音声データベース１０３、テンポ調整部１０４、設定部１０５、再生部１０６、情報管理部１０７、音声データ取得部１０８、テンポ算出部１０９、総和算出部３０１、順序決定部３０２を備えている。入力部１０１、サンプル取得部１０２、音声データベース１０３、テンポ調整部１０４、設定部１０５、再生部１０６、情報管理部１０７、音声データ取得部１０８、テンポ算出部１０９の各部の機能は、同期再生装置１００と同様である。

総和算出部３０１は、連続して再生される２つの音声データのうち、一方の音声データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の音声データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する。

順序決定部３０２は、総和が最小となるように音声データの順序を決定する。すなわち、順序決定部３０２は、対象となる楽曲群のうち２つの楽曲を同期再生させる場合に違和感が少なくなるように楽曲順序を決定する。なお、順序情報をプレイリストとして、外部出力し、記憶することも可能である。

（同期再生装置の動作）
次に、順序決定プロセスの一例を説明する。図７および図８は、同期再生装置３００の動作を示すフローチャートである。まず、以下の式で表される順序決定対象となる楽曲群Ｌから２曲を選択する（ステップＴ１）。

順序決定対象となる楽曲群が式（８）で表せるとき、楽曲Ａｘと楽曲Ａｙのテンポ調整係数をそれぞれ、ｆ_ｏｐｔｘ（ｘ，ｙ）、ｆ_ｏｐｔｙ（ｘ，ｙ）として式（７）を用いることで計算することができる。ｆ_ｏｐｔｘ（ｘ，ｙ）、ｆ_ｏｐｔｙ（ｘ，ｙ）に対して、ν_ｘ（ｘ，ｙ）、ν_ｙ（ｘ，ｙ）を以下の式で定義する。

楽曲Ａｙと楽曲Ａｘとをテンポ調整する場合のテンポ調整係数ｆ_ｏｐｔｘ（ｘ，ｙ）、ｆ_ｏｐｔｙ（ｘ，ｙ）を算出する（ステップＴ２）。次に、１＜ｆ_ｏｐｔｘ（ｘ，ｙ）であるか否かを判定する（ステップＴ３）。１＜ｆ_ｏｐｔｘ（ｘ，ｙ）でない場合には、ｆ_ｏｐｔｘ（ｘ，ｙ）＜１か否かを判定する（ステップＴ４）。ｆ_ｏｐｔｘ（ｘ，ｙ）＜１でない場合には、ｆ_ｏｐｔｘ（ｘ，ｙ）＝１と判定し、ν_ｘ（ｘ，ｙ）を０とし（ステップＴ５）、ステップＴ８へ進む。一方、ステップＴ４において、ｆ_ｏｐｔｘ（ｘ，ｙ）＜１であると判定された場合には、ν_ｘ（ｘ，ｙ）をｂ・ａｂｓ（１−１／ｆ_ｏｐｔｘ（ｘ，ｙ））とし（ステップＴ６）、ステップＴ８へ進む。また、ステップＴ３において、１＜ｆ_ｏｐｔx（ｘ，ｙ）であると判定された場合には、ν_ｘ（ｘ，ｙ）をａ・ａｂｓ（１−ｆ_ｏｐｔｘ（ｘ，ｙ））とし（ステップＴ７）、ステップＴ８へ進む。

次に、１＜ｆ_ｏｐｔｙ（ｘ，ｙ）であるか否かを判定する（ステップＴ８）。１＜ｆ_ｏｐｔｙ（ｘ，ｙ）でない場合には、ｆ_ｏｐｔｙ（ｘ，ｙ）＜１か否かを判定する（ステップＴ９）。ｆ_ｏｐｔｙ（ｘ，ｙ）＜１でない場合には、ｆ_ｏｐｔｙ（ｘ，ｙ）＝1と判定し、ν_ｙ（ｘ，ｙ）を０とし（ステップＴ１０）、ステップＴ１３へ進む。一方、ステップＴ９において、ｆ_ｏｐｔｙ（ｘ，ｙ）＜１であると判定された場合には、ν_ｙ（ｘ，ｙ）をｂ・ａｂｓ（１−１／ｆ_ｏｐｔｙ（ｘ，ｙ））とし（ステップＴ１１）、ステップＴ１３へ進む。また、ステップＴ８において、１＜ｆ_ｏｐｔｙ（ｘ，ｙ）であると判定された場合には、ν_ｙ（ｘ，ｙ）をａ・ａｂｓ（１−ｆ_ｏｐｔｙ（ｘ，ｙ））とし（ステップＴ１２）、ステップＴ１３へ進む。

次に、得られたν_ｘ（ｘ，ｙ）およびν_ｙ（ｘ，ｙ）からその和であるＶ（ｘ，ｙ）を算出する（ステップＴ１３）。そして、順序決定対象となる楽曲群のすべての２曲の組み合わせについて上記の計算を終えたか否かを判定し（ステップＴ１４）、終えていない場合には、ステップＴ１に戻る。一方、すべての組み合わせについて計算を終えた場合にはステップＴ１３に進む。

次に、楽曲群Ｌから作成可能なプレイリスト群Ｐ、および各プレイリストｐ_ｚを算出する（ステップＴ１５）。式（１２）はプレイリスト群Ｐ、式（１３）は各プレイリストｐ_ｚを示している。

そして、一つのプレイリストｐ_ｚを抽出し（ステップＴ１６）、Ｖｓ（ｉ）を曲順に総和して式（１４）のＳｃｏｒｅ（ｐ_ｚ）を算出する（ステップＴ１７）。Ｖｓ（ｉ）は、Ｖ（ｍ_ｉ，ｍ_ｉ＋１）とＶ（ｍ_ｉ＋１，ｍ_ｉ）（ｉ＝１，２，・・・，ｎ−１）のうち値の小さいものを表している。

次に全てのプレイリストについてＳｃｏｒｅ（ｐ_ｚ）の算出が終わったか否かを判定し（ステップＴ１８）、算出が終わっていない場合にはステップＴ１４に戻る。算出が終わった場合にはあ、総和Ｓｃｏｒｅ（ｐ_ｚ）が最小となるプレイリストｐ_ｚを決定する（ステップＴ１９）。このようにして、テンポ調整度スコアＳｃｏｒｅ（ｐ_ｚ）が最小となるようなプレイリストｐ_ｚを求める。これにより、テンポ変化による違和感を少なくするプレイリストｐ_ｚを作成できる。そして、決定されたプレイリストｐｚの曲順で楽曲データを再生し（ステップＴ２０）、終了する。

このようにして、楽曲群Ｌに対してビートを合わせたリミックスを行い、ユーザ違和感をより軽減することが可能なプレイリストを自動で作成できる。なお、既にａ、ｂが取得されている場合には、ａ、ｂを算出するプロセスを省略できる。このようにして、前後楽曲の両方をテンポ調整する場合、音質劣化が最小となるプレイリストを自動で生成することができる。

また、複数楽曲をリミックスする際に、第１の実施形態に記載の方法を用いることで、実際にテンポ・ビート位置を合わせたリミックスにおいて、複数楽曲全体での違和感を個人に特化して軽減することができる。

なお、本実施形態でも、必ずしもサンプル楽曲を用意する必要はなく、たとえば、同期再生装置２００のように、最初は中間値を用いてリミックスを生成し、実際に再生された音源に対して違和感を覚えた時刻の入力等を行い、サンプル音源生成を省略できる。また、あらかじめ多くのユーザから違和感を覚えた時刻やパラメータの入力を受け付け、平均値を初期設定値として利用してもよい。また、同期再生の際には、必ずしも第１または第２の実施形態により同期再生させる必要はなく、本実施形態の方法で楽曲の順序を決定し、公知の方法で同期再生してもよい。

１００、２００、３００ 同期再生装置
１０１ 入力部
１０２ サンプル取得部
１０３ 音声データベース
１０４ テンポ調整部
１０５ 設定部
１０６ 再生部
１０７ 情報管理部
１０８ 音声データ取得部
１０９ テンポ算出部
３０１ 総和算出部
３０２ 順序決定部

Claims (11)

1. ２つの楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生装置であって、
   テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの楽曲データを再生するときの同期テンポを算出するテンポ算出部と、
   前記２つの楽曲データを前記算出された同期テンポで再生する再生部と、を備え、
   前記テンポ算出部は、前記２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを一致させるように同期テンポを算出することを特徴とする同期再生装置。
2. 楽曲データの再生テンポを速くしたときにユーザが違和感を覚える第１のテンポ変化量および楽曲データの再生テンポを遅くしたときに前記ユーザが違和感を覚える第２のテンポ変化量を、前記テンポ変化に対して感じる違和感を定量化した情報として取得する情報管理部を更に備えることを特徴とする請求項１記載の同期再生装置。
3. ２つの楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生装置であって、
   テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの楽曲データを再生するときの同期テンポを算出するテンポ算出部と、
   前記２つの楽曲データを前記算出された同期テンポで再生する再生部と、
   楽曲データの再生テンポを速くしたときにユーザが違和感を覚える第１のテンポ変化量および楽曲データの再生テンポを遅くしたときに前記ユーザが違和感を覚える第２のテンポ変化量の少なくともいずれか一方を、前記テンポ変化に対して感じる違和感を定量化した情報として取得する情報管理部と、を備え、
   前記情報管理部は、楽曲データを再生するテンポの変化開始時刻から前記ユーザからの入力時刻までの楽曲データの再生のテンポ変化量を計測することで、前記第１のテンポ変化量または第２のテンポ変化量を取得することを特徴とする同期再生装置。
4. 前記情報管理部は、前記第１のテンポ変化量または前記第２のテンポ変化量からテンポを速くする際にテンポに乗ずる係数の重みづけまたはテンポを遅くする際にテンポに乗ずる係数の重みづけを算出することを特徴とする請求項３記載の同期再生装置。
5. ２つの楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生装置であって、
   テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの楽曲データを再生するときの同期テンポを算出するテンポ算出部と、
   前記２つの楽曲データを前記算出された同期テンポで再生する再生部と、
   楽曲データの再生テンポを速くしたときにユーザが違和感を覚える第１のテンポ変化量および楽曲データの再生テンポを遅くしたときに前記ユーザが違和感を覚える第２のテンポ変化量を、前記テンポ変化に対して感じる違和感を定量化した情報として取得する情報管理部と、を備え、
   前記テンポ算出部は、前記２つの楽曲データのうち、一方の楽曲データの固有のテンポをＴ＿ｘ、他方の楽曲データの固有のテンポをＴ＿ｙとし、前記第１のテンポ変化量および前記第２のテンポ変化量から決まる所定の関係を有する重みづけ係数をａ、ｂとしたとき、以下の数式により同期テンポＴ＿ａｉｍを算出することを特徴とする同期再生装置。
   

   
6. 複数の楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生装置であって、
   連続して再生される２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する総和算出部と、
   前記総和が最小となるように楽曲データの順序を決定する順序決定部とを備えることを特徴とする同期再生装置。
7. 請求項１から請求項５のいずれかに記載の同期再生装置であって、
   連続して再生される２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する総和算出部と、
   前記総和が最小となるように楽曲データの順序を決定する順序決定部とを更に備え、
   前記決定された再生順序で、与える違和感が少ないテンポで同期させて複数の楽曲データを連続で再生することを特徴とする同期再生装置。
8. ２つの楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生方法であって、
   テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを一致させるように前記２つの楽曲データを再生するときの同期テンポを算出するステップと、
   前記２つの楽曲データを前記算出された同期テンポで再生するステップと、を含むことを特徴とする同期再生方法。
9. 複数の楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生方法であって、
   連続して再生される２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出するステップと、
   前記総和が最小となるように楽曲データの順序を決定するステップとを含むことを特徴とする同期再生方法。
10. ２つの楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生プログラムであって、
    テンポ変化に対して感じる違和感を定量化した情報を参照し、前記２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを一致させるように前記２つの楽曲データを再生するときの同期テンポを算出する処理と、
    前記２つの楽曲データを前記算出された同期テンポで再生する処理と、をコンピュータに実行させることを特徴とする同期再生プログラム。
11. 複数の楽曲データの連続再生における同期再生時にテンポが同期するように調整した上で順に再生する同期再生プログラムであって、
    連続して再生される２つの楽曲データのうち、一方の楽曲データの再生テンポを速くしたときにテンポ変化量が与える違和感の程度と、他方の楽曲データの再生テンポを遅くしたときにテンポ変化量が与える違和感の程度とを合計した総和を算出する処理と、
    前記総和が最小となるように楽曲データの順序を決定する処理とをコンピュータに実行させることを特徴とする同期再生プログラム。
    

Images