JP2008250008A - 楽音処理装置およびプログラム - Google Patents

Abstract

【課題】利用者による拍点の指定を不要とする。
【解決手段】記憶回路２０は、伴奏音の態様を指定する複数の伴奏態様データＤAを記憶する。特徴量抽出部３２は、楽曲の楽音を示す楽音信号Ｖから特徴量Ｆを順次に抽出する。拍点検出部５２は、楽音信号Ｖから拍点Ｐを検出する。区間画定部５４は、拍点検出部５２が検出した拍点Ｐに基づいて複数の単位区間Ｔを画定する。選択部６２は、記憶回路２０が記憶する複数の伴奏態様データＤAのうち単位区間Ｔ内の楽音信号Ｖの特徴量Ｆに応じた伴奏態様データＤAを単位区間Ｔごとに順次に選択する。出力部７０は、選択部６２が選択した伴奏態様データＤAの識別子ＡIDを含む単位データＵを各単位区間Ｔについて出力する。
【選択図】図１

Description

本発明は、楽曲の楽調を反映した音楽データを生成する技術に関する。

楽曲の伴奏音の態様を指定する複数の自動伴奏データを選択的に利用して所望の伴奏音を自動的に生成する技術が従来から提案されている。例えば特許文献１には、利用者が指定した拍点の態様（リズム）に応じて自動伴奏データを選択し、鍵盤に対する押鍵の内容に基づいて検出されたコードとともに出力する技術が開示されている。
特開平１０−２２２１６６号公報

しかし、特許文献１の技術においては、楽曲の楽調に合致した拍点の態様を指定するという煩雑な作業が利用者に要求されるという問題がある。また、音楽に不慣れな利用者が拍点の態様を指定した場合には、楽曲の楽調を適正に反映した自動伴奏データが選択されない場合もある。以上の事情を背景として、本発明は、利用者による拍点の指定を不要とするという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明に係る楽音処理装置は、伴奏音の態様を指定する複数の伴奏態様データを記憶する記憶手段（例えば図１の記憶回路２０）と、楽曲の楽音を示す楽音信号から特徴量を順次に抽出する特徴量抽出手段と、楽音信号から拍点を検出する拍点検出手段と、拍点検出手段が検出した拍点に基づいて複数の単位区間を画定する区間画定手段と、記憶手段が記憶する複数の伴奏態様データのうち特徴量抽出手段が単位区間内の楽音信号について特定した特徴量に応じた伴奏態様データを単位区間ごとに順次に選択する選択手段と、選択手段が選択した伴奏態様データまたは当該伴奏態様データの識別子を含む単位データを各単位区間について出力する出力手段とを具備する。以上の構成によれば、拍点検出手段が楽音信号から拍点を検出するから、拍点を指定する利用者の労力は軽減される。

本発明の好適な態様に係る楽音処理装置は、楽音信号に対応した音高（例えばコード名やベース音）を単位区間ごとに特定する音高特定手段を具備し、出力手段は、選択手段が選択した伴奏態様データまたは当該伴奏態様データの識別子と音高特定手段が特定した音高とを含む単位データを出力する。以上の態様によれば、楽音信号に対応した音高を含む単位データが出力されるから、単位データに基づいて発生される楽音（伴奏音）を楽音信号の楽調に近似されることが可能である。
さらに好適な態様において、音高特定手段は、各単位区間のコードを特定するコード特定手段と、各単位区間のベース音を特定するベース特定手段とを含み、出力手段は、コード特定手段が特定したコードとベース特定手段が特定したベース音とを単位データに含めて出力する。本態様によれば、楽音信号の楽調を充分に反映した伴奏音を示す単位データを生成できる。

本発明の好適な態様において、拍点検出手段は、楽音信号のうち別種の楽器の演奏音に対応した複数の周波数帯域の各々に属する成分が発生する時点を拍点として検出する。以上の態様によれば、例えばひとつの周波数帯域に属する成分が発生する時点を拍点とする構成と比較して、拍点を高精度に検出することが可能となる。

本発明の好適な態様において、選択手段は、複数の伴奏態様データの各々が示す伴奏音の特徴量を特定する伴奏処理手段と、伴奏処理手段が特定した特徴量と単位区間内の楽音信号の特徴量とを比較する比較手段とを含み、比較手段による比較の結果に基づいて、単位区間内の楽音信号に類似する伴奏音の伴奏態様データを選択する。以上の態様によれば、伴奏態様データの各々が示す伴奏音の特徴量と楽音信号の特徴量との比較の結果に基づいて伴奏態様データが選択されるから、例えば伴奏態様データが指定する伴奏音のタイミングと楽音信号の楽音のタイミングとの比較の結果のみに基づいて伴奏態様データを選択する構成と比較して、楽音信号に楽調が類似する伴奏音の単位データを生成することが可能である。
さらに好適な態様において、伴奏処理手段は、伴奏態様データが指定する各伴奏音と拍点検出手段が検出した拍点とが時間軸上で対応するように、伴奏態様データが指定する伴奏音の時間軸上の位置を調整する（例えば図６の伸縮処理）。本態様によれば、伴奏態様データが指定する各伴奏音と拍点検出手段が検出した拍点とが時間軸上で対応するように伴奏態様データが調整されるから、伴奏態様データの伴奏音の特徴量と楽音信号の特徴量とを精緻に対比することが可能である。

本発明の好適な態様に係る楽音処理装置は、楽曲のうち演奏が反復される反復区間を検出する構成判定手段を具備し、選択手段は、構成判定手段が検出した各反復区間について同じ伴奏態様データを選択する。以上の態様においては、反復区間について選択手段が伴奏態様データを選択する処理が軽減されるとともに、各反復区間の音楽的な統一性が維持されるという利点がある。

本発明に係る楽音処理装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、楽曲の楽音を示す楽音信号から特徴量を順次に抽出する特徴量抽出処理と、楽音信号から拍点を検出する拍点検出処理と、拍点検出処理で検出した拍点に基づいて複数の単位区間を画定する区間画定処理と、伴奏音の態様を指定する複数の伴奏態様データのうち特徴量抽出処理で単位区間内の楽音信号について特定した特徴量に応じた伴奏態様データを単位区間ごとに順次に選択する選択処理と、選択処理で選択した伴奏態様データまたは当該伴奏態様データの識別子を含む単位データを各単位区間について出力する出力処理とをコンピュータに実行させる。以上のプログラムによっても、本発明に係る楽音処理装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

本発明は、楽音を処理する方法としても特定される。本発明の楽音処理方法は、伴奏音の態様を指定する複数の伴奏態様データを記憶する記憶手段を利用した方法であって、楽曲の楽音を示す楽音信号から特徴量を順次に抽出する特徴量抽出過程と、楽音信号から拍点を検出する拍点検出過程と、拍点検出過程で検出した拍点に基づいて複数の単位区間を画定する区間画定過程と、記憶手段が記憶する複数の伴奏態様データのうち特徴量抽出過程で単位区間内の楽音信号について特定した特徴量に応じた伴奏態様データを単位区間ごとに順次に選択する選択過程と、選択過程にて選択した伴奏態様データまたは当該伴奏態様データの識別子を含む単位データを各単位区間について出力する出力過程とを含む。以上の方法によれば、本発明に係る楽音処理装置と同様の作用および効果が奏される。

＜Ａ：楽音処理装置の構成＞
図１は、本発明のひとつの形態に係る楽音処理装置の構成を示すブロック図である。同図に示すように、楽音処理装置１００には、信号生成装置１２と出力処理装置１４とが接続される。

信号生成装置１２は、楽曲の楽音（演奏音）の時間的な波形を示す楽音信号Ｖを生成する手段である。楽曲の楽音を収録した記録媒体（例えば音楽ＣＤ）から順次にデータを取得して楽音信号Ｖを生成および出力する再生装置が信号生成装置１２として好適に採用される。信号生成装置１２が生成した楽音信号Ｖは楽音処理装置１００に供給される。

楽音処理装置１００は、楽音信号Ｖから楽音データＤOUTを生成および出力する。楽音データＤOUTは、楽音信号Ｖが示す楽曲に類似する伴奏音を時系列に指定するデータ列である。すなわち、本形態の楽音処理装置１００は、楽音信号Ｖを楽音データＤOUTに符号化する装置として機能する。

楽音処理装置１００が生成した楽音データＤOUTは出力処理装置１４に供給される。出力処理装置１４は、楽音データＤOUTに応じた音波を出力する装置である。出力処理装置１４は、楽音処理装置１００に対して直接的に接続されてもよいし、インターネットなどの通信網を介して間接的に楽音処理装置１００に接続されてもよい。また、出力処理装置１４と楽音処理装置１００とを一体の装置としてもよい。

図１に示すように、楽音処理装置１００は、記憶回路２０と制御回路３０とを具備する。記憶回路２０は、制御回路３０が実行するプログラムや制御回路３０が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置など任意の記憶装置が記憶回路２０として採用される。制御回路３０は、プログラムを実行することで図１の各要素（機能体）として機能するＣＰＵなどの演算処理装置である。なお、制御回路３０は、楽音信号Ｖの処理に専用されるＤＳＰなどの電子回路によっても実現される。また、図１に例示した制御回路３０の各要素が複数の集積回路に分散して配置された構成としてもよい。

図１の特徴量抽出部３２は、楽音信号Ｖを時間軸上で区分した複数のフレームの各々についてＮ種類の特徴量Ｆ（ＦS，ＦW）を抽出する手段である（Ｎは自然数）。相前後するフレームは時間軸上で重複する。本形態の特徴量抽出部３２は、周波数分析部３２１とスペクトル特徴量抽出部３２３と波形特徴量抽出部３２５とを含む。

周波数分析部３２１は、楽音信号Ｖの各フレームについてＦＦＴ（Fast Fourier Transform）処理を含む周波数分析を実行することで各フレームのパワースペクトルＱを特定する。スペクトル特徴量抽出部３２３は、周波数分析部３２１が特定したパワースペクトルＱの特徴量ＦSを抽出する。例えば図２に示すように、スペクトル特徴量抽出部３２３は、パワースペクトルＱにてピークが現れる各周波数と当該ピークの強度との組合せ（以下「周波数ビン」という）Ｓ1を特徴量ＦSとして抽出する。また、スペクトル特徴量抽出部３２３は、ＨＰＣＰ（Harmonics Pitch Class Profile）をパワースペクトルＱから抽出する。ＨＰＣＰは、図２に示すように、１オクターブを構成する１２個の半音階（Ｃ，Ｃ#，Ｄ，……，Ａ#，Ｂ）の各々の強度を示す特徴量ＦSである。

図１の波形特徴量抽出部３２５は、楽音信号Ｖの時間軸上における波形の特徴量ＦWをフレームごとに抽出する。波形特徴量抽出部３２５は、例えば図３に示すように、楽音信号Ｖの包絡線Ｗ1の強度（瞬時値）Ｗ2をフレームごとに算定し、強度Ｗ2の時系列を微分することで各フレームにおける勾配Ｗ3を特徴量ＦWとして算定する。なお、勾配Ｗ3に代えて各フレームの強度Ｗ2の移動平均を算定してもよい。

特徴量抽出部３２が抽出したＮ種類の特徴量Ｆ（ＦS，ＦW）は図１の特徴量記憶部３４に格納される。図４は、特徴量記憶部３４に特徴量Ｆが記憶された様子を示す概念図である。同図に示すように、楽曲の全体にわたる楽音信号Ｖの各フレームについて抽出されたＮ種類の特徴量Ｆ1〜ＦNが特徴量記憶部３４に保持される。ただし、楽曲の一部のフレームの特徴量Ｆのみが特徴量記憶部３４に保持される構成であってもよい。

図１の拍点検出部５２は、楽音信号Ｖの特徴量Ｆから楽曲の拍点を検出する手段である。さらに詳述すると、拍点検出部５２は、打楽器の演奏音が発生した時点を拍点として検出する。本形態においては、ハイハットシンバル（HH）とスネアドラム（SD）とベースドラム（BD）の演奏音に基づいて拍点Ｐを検出する。

図５は、拍点検出部５２が拍点を検出する動作の具体例を示す概念図である。同図に示すように、拍点検出部５２は、楽曲内の各楽音の顕著なアタック部Ａ（Ａ1，Ａ2，……）を特定する。例えば、図３に例示した勾配Ｗ3（特徴量ＦW）が急峻に増大する複数のフレームのうち、通常の楽曲における拍点の間隔（例えば４拍子で30BPM(Beat Per Minute)〜240BPMに相当する１秒〜８秒の範囲）を周期とするフレームがアタック部Ａとして選択される。

さらに、拍点検出部５２は、アタック部Ａに相当する各フレームのパワースペクトルＱ（特徴量ＦSに含まれる周波数ビンＳ1）を解析することで拍点を確定する。さらに詳述すると、拍点検出部５２は、複数のアタック部Ａのうち予め選定された複数の周波数帯域にて発生するアタック部Ａを拍点として検出する。複数の周波数帯域の各々は別種の打楽器の音域に相当する。

図５には、楽音信号ＶのスペクトログラムＧ0が模式的に図示されている。図５のアタック部Ａ3およびＡ7に対応する各フレームでは、スネアドラムの音域に相当する周波数帯域ＢSD内の強度が高い。したがって、拍点検出部５２は、アタック部Ａ3およびＡ7がスネアドラムの演奏に起因していると判定する。同様に、拍点検出部５２は、周波数帯域ＢBD（ベースドラムの音域を含む帯域）の強度が高いアタック部Ａ1およびＡ5はベースドラムの演奏に起因していると判定し、周波数帯域ＢHH（ハイハットシンバルの音域を含む帯域）の強度が高いアタック部Ａ1〜Ａ7はハイハットシンバルの演奏に起因していると判定する。

一方、楽曲の小節に含まれる各拍点の順番と各拍点で演奏される打楽器の種類との間には音楽的な傾向がある。例えば４拍子の楽曲においては、第２拍と第４拍とにスネアドラムが演奏される傾向があり、１拍目と３拍目とにベースドラムが演奏される傾向があるといった具合である。拍点検出部５２は、以上のような音楽的な傾向を条件として複数のアタック部Ａのなかから拍点Ｐを確定する。例えば、図５においてスネアドラムの演奏に対応するアタック部Ａ3およびＡ7に着目すると、拍点検出部５２は、アタック部Ａ3を小節の第２番目の拍点Ｐと確定するとともにアタック部Ａ7を小節の第４番目の拍点Ｐと確定する。同様に、拍点検出部５２は、アタック部Ａ1を第１番目の拍点Ｐと確定するとともにアタック部Ａ5を第３番目の拍点Ｐと確定する。さらに、拍点検出部５２は、相前後する拍点Ｐの間隔の逆数を瞬時的なテンポTMP0として順次に特定する。

図１の区間画定部５４は、拍点検出部５２が検出した拍点Ｐに基づいて楽曲を複数の単位区間Ｔに区分する手段である。例えば、拍点検出部５２が検出した所定個の拍点Ｐを含む区間が単位区間Ｔとして画定される。本形態の区間画定部５４は、図５に示すように、第１拍目から第４拍目までの４個の拍点Ｐを含む１小節を単位区間Ｔとして画定する。

図１の音高特定部４２は、楽音信号Ｖの各単位区間Ｔについて特徴量Ｆに応じた音高（コード名およびベース音）を特定する手段である。本形態の音高特定部４２はコード特定部４２１とベース特定部４２３とを含む。コード特定部４２１は、各単位区間Ｔの楽音信号Ｖが示す楽音に対応したコード名（和音）Ｎ1を特定する。例えば、コード特定部４２１は、特徴量記憶部３４に格納されたＨＰＣＰ（特徴量ＦS）を単位区間Ｔ内の複数のフレームにわたって平均化し、ＨＰＣＰとコード名Ｎ1とを対応付けるテーブルを参酌することで、ＨＰＣＰに対応したコード名Ｎ1を特定する。なお、ＨＰＣＰを利用したコード名Ｎ1の特定については本出願人の先願である特開２０００−２９８４７５号公報に開示されている。

ベース特定部４２３は、各単位区間Ｔの楽音信号Ｖが示す楽音に対応したベース音Ｎ2を特定する。例えば、ベース特定部４２３は、特徴量ＦSの周波数ビンＳ1が示すパワースペクトルＱにおいて強度が閾値を上回る複数のピークのうち最も低周波側のピークの周波数をベース音Ｎ2として特定する。なお、ベース特定部４２３がベース音Ｎ2を特定する方法は任意である。例えば、楽音信号Ｖのうち１kHz以下の成分のみを選択的に抽出するフィルタ処理を実行したうえで零交差点の周期（ピッチ）を算定することでベース音Ｎ2を特定してもよい。

音高特定部４２が単位区間Ｔごとに算定したコード名Ｎ1およびベース音Ｎ2は音高記憶部４４に格納される。半導体記憶装置や磁気記憶装置が特徴量記憶部３４や音高記憶部４４として採用される。特徴量記憶部３４と音高記憶部４４とは、ひとつの記憶装置に設定された別個の記憶領域であってもよいし、各々が別個の記憶装置であってもよい。また、特徴量記憶部３４および音高記憶部４４の少なくとも一方は、記憶回路２０に設定された記憶領域であってもよい。

図１の記憶回路２０には、各々が別個の楽曲に対応する複数の伴奏態様データＤAが記憶される。ひとつの伴奏態様データＤAは、楽曲の１小節内の伴奏音の態様を指定するデータである。伴奏音の態様（伴奏音を演奏する楽器の種類や各伴奏音の発生の時点）は伴奏態様データＤAごとに相違する。ひとつの伴奏態様データＤAは、図１に示すように、当該伴奏態様データＤAに固有に付与された識別子ＡIDと、各々が別個の打楽器の演奏の時点を指定する複数のトラックＴRとで構成される。本形態の伴奏態様データＤAは、ハイハットシンバルに対応するトラックＴR_HHと、スネアドラムに対応するトラックＴR_SDと、ベースドラムに対応するトラックＴR_BDとを含む。ひとつのトラックＴRは、打楽器の演奏を指示するイベントデータＥと、各イベント（演奏）の間隔を指定する時間データΔとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）データである。

図１の選択部６２は、特徴量抽出部３２が単位区間Ｔ内の楽音信号Ｖについて特定した特徴量Ｆに基づいて、記憶回路２０に格納された複数の伴奏態様データＤAの何れかを単位区間Ｔごとに順次に選択する手段である。本形態の選択部６２は伴奏処理部６４と比較部６６とを含む。

図６は、伴奏処理部６４および比較部６６の動作を説明するための概念図である。同図においては、選択部６２による処理の対象となる単位区間Ｔ内の楽音信号ＶのスペクトログラムＧ0が図示されている。図６に示すように、伴奏処理部６４は、記憶回路２０に格納された複数の伴奏態様データＤAの各々について伸縮処理と伴奏音特定処理とを実行する。

伸縮処理は、伴奏態様データＤAが指定する各伴奏音の時点と、拍点検出部５２が単位区間Ｔについて検出した各拍点Ｐとが時間軸上で合致するように、伴奏態様データＤAが指定する各伴奏音の時間軸上における位置を調整する処理である。伴奏処理部６４は、例えば、単位区間Ｔ内の各拍点Ｐについて拍点検出部５２が検出したテンポTMP0の平均と伴奏態様データＤAが指定する伴奏音のテンポTMPとの相対比（TMP0／TMP）を伴奏態様データＤAの各時間データΔに乗算する。

伴奏音特定処理は、伴奏態様データＤAが指定する伴奏音の特徴量ＦAを特定する処理である。伴奏処理部６４は、第１に、伴奏態様データＤAが指定する伴奏音についてスペクトログラムＧA（パワースペクトルの時系列）を特定する。例えば、伴奏処理部６４は、伴奏態様データＤAが指定する伴奏音の音源として想定される複数の打楽器の各々について演奏音のスペクトログラムｇを保持する。そして、ひとつの打楽器の演奏音の発生が伴奏態様データＤAによって指示される時点には当該打楽器のスペクトログラムｇを配置し、複数の打楽器の伴奏音の発生が伴奏態様データＤAによって指示される時点には各打楽器のスペクトログラムｇの加算を配置することでスペクトログラムＧAを特定する。第２に、伴奏処理部６４は、特徴量抽出部３２と同様の処理によって、スペクトログラムＧAからＮ種類の特徴量ＦAをフレームごとに抽出する。なお、特徴量ＦAの抽出のために特徴量抽出部３２を共用してもよい。また、以上においては伴奏態様データＤAからスペクトログラムＧAおよび特徴量ＦAを特定する構成を例示したが、スペクトログラムＧAや特徴量ＦAを伴奏態様データＤAとして記憶回路２０に格納してもよい。

比較部６６は、図６に示すように、記憶回路２０に格納された複数の伴奏態様データＤAの各々について、楽音信号Ｖの単位区間Ｔ内の特徴量Ｆと当該伴奏態様データＤAから伴奏処理部６４が特定した特徴量ＦAとを比較することで類否指標値Ｃを算定する。類否指標値Ｃは、楽音信号Ｖの特徴量Ｆと伴奏処理部６４が特定した特徴量ＦAとの類否（図６のスペクトログラムＧ0とスペクトログラムＧAとの類否）の指標となる数値である。例えば、楽音信号Ｖから抽出されたＮ種類の特徴量Ｆを座標値としてＮ次元空間に特定される点と、伴奏態様データＤAから抽出されたＮ種類の特徴量ＦAを座標値としてＮ次元空間に特定される点とのユークリッド距離が類否指標値Ｃとして算定される。したがって、類否指標値Ｃが小さいほど、楽音信号Ｖの特徴量Ｆと特徴量ＦAとの類似度が高いといえる。もっとも、特徴量Ｆと特徴量ＦAとの類似度が高いほど増大する性質の類否指標値Ｃを算定する構成も採用される。

なお、楽音信号Ｖには伴奏音以外の楽音が含まれるのに対して伴奏態様データＤAには伴奏音の指定のみが含まれる。したがって、楽音信号Ｖのうち伴奏音以外の成分については特徴量ＦAとの類否に対する影響が低減されるように類否指標値Ｃを算定することが望ましい。例えば、楽音信号Ｖから抽出された特徴量Ｆのうち伴奏音以外の楽音が支配的となる成分（例えばパワースペクトルＱのうち伴奏音以外の楽音が主に存在する周波数帯域内の特徴量Ｆ）については除去したうえで類否指標値Ｃを算定する構成が採用される。

選択部６２は、比較部６６の算定した類否指標値Ｃが最小となる伴奏態様データＤA（楽音信号Ｖに最も類似した伴奏音を指定する伴奏態様データＤA）を選択し、当該伴奏態様データＤAに含まれる識別子ＡIDを記憶回路２０から取得して単位区間Ｔごとに順次に出力部７０に出力する。すなわち、楽音信号Ｖの楽調に近似する伴奏音の伴奏態様データＤAについて識別子ＡIDが出力される。

図１の出力部７０は、区間画定部５４が画定した単位区間Ｔごとに単位データＵを生成して出力する。ひとつの単位区間Ｔに対応した単位データＵは、図１に示すように、当該単位区間Ｔについて選択部６２が選択した伴奏態様データＤAの識別子ＡIDと、当該単位区間Ｔについて音高特定部４２が特定したコード名Ｎ1およびベース音Ｎ2とを含む。各単位区間Ｔごとの単位データＵの時系列が楽音データＤOUTとして出力処理装置１４に供給される。

出力処理装置１４は、制御回路１４１と記憶回路１４３と音源回路１４５と出力装置１４７とを具備する。記憶回路１４３は、楽音処理装置１００から供給される楽音データＤOUTを順次に記憶するとともに、各々が別個の伴奏態様データＤAに対応する複数の演奏データＤBを記憶する。演奏データＤBは、伴奏態様データＤAと同様に１小節内の演奏の態様を指定するデータである。

図７は、ひとつの演奏データＤBの構造を示す概念図である。図７に示すように、ひとつの伴奏態様データＤAに対応する演奏データＤBは、当該伴奏態様データＤAと共通の識別子ＡIDと、各々が別個のパートに対応した複数のトラックＴRとを含む。本形態の演奏データＤBは、伴奏態様データＤAと共通のトラックＴR（ＴR_HH，ＴR_SD，ＴR_BD）に加えて、コードの演奏の態様を指定するトラックＴR_CDと、ベース音の演奏の態様を指定するトラックＴR_BSとを含む。トラックＴR_CDは、コードの演奏を指示するイベントデータＥと各イベントの間隔を指定する時間データΔとが時系列に配列されたデータ列である。トラックＴR_CDのイベントデータＥはコード名の指定を含まない。同様に、トラックＴR_BSは、ベース音の演奏を指示するイベントデータＥ（ベース音の指定は含まない）と時間データΔとのデータ列である。

図１の制御回路１４１は、楽音データＤOUTの各単位データＵに含まれるコード名Ｎ1とベース音Ｎ2とを演奏データＤBに付与することで演奏データＤCを生成する。すなわち、楽音データＤOUTの各単位データＵを配列の順番で記憶回路１４３から順次に取得し、記憶回路１４３に格納された複数の演奏データＤBのうち当該単位データＵ内の識別子ＡIDを含む演奏データＤBを選択する。そして、制御回路１４１は、単位データＵに含まれるコード名Ｎ1を演奏データＤB内のトラックＴR_CDの各イベントデータＥに付加するとともに、単位データＵに含まれるベース音Ｎ2を演奏データＤB内のトラックＴR_BSの各イベントデータＥに付加することで演奏データＤCを生成する。さらに、制御回路１４１は、演奏データＤCの各トラックＴRのイベントデータＥを、当該トラックＴR内の時間データΔで指定される時点で音源回路１４５に順次に出力する。

音源回路１４５は、制御回路１４１から供給される各イベントデータＥに対応した楽音の波形を示す信号を生成して出力装置１４７に出力するＭＩＤＩ音源である。出力装置１４７は、音源回路１４５が出力する信号に応じた音波を放射する。出力装置１４７から出力される楽音は、楽音信号Ｖの楽調に近似する伴奏音（打楽器音、コードおよびベース音）となる。

以上に説明したように本形態によれば、信号生成装置１２が出力する楽音信号Ｖが、データ量の少ない楽音データＤOUTに符号化される。そして、楽音信号Ｖから楽音データＤOUTへの符号化に際して拍点Ｐの位置が特徴量Ｆから自動的に検出されるため、楽音信号Ｖについて拍点Ｐを指定する利用者の労力が軽減されるという利点がある。また、単位区間Ｔ（例えば１小節）を単位として単位データＵの生成（伴奏態様データＤAの選択およびコード名Ｎ1やベース音Ｎ2の付加）が実行されるから、例えば楽音信号Ｖの拍点Ｐごとに符号化を実行する構成と比較して、音楽的な統一感のある演奏音の単位データＵを生成できるという利点がある。

＜Ｂ：変形例＞
以上の形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下に例示する任意の２以上の態様を組合せた構成も採用される。

（１）変形例１
以上の形態においては、所定の間隔のフレームごとに楽音信号Ｖの特徴量Ｆ（ＦS，ＦW）が抽出される構成を例示したが、特徴量Ｆを抽出する時期は適宜に変更される。伴奏態様データＤAの選別には楽音信号Ｖのうち伴奏音の特徴量Ｆが特に重要である（伴奏音以外の楽音の特徴量Ｆを抽出する必要性は低い）から、楽音信号Ｖのうち伴奏音の発生が推定される区間についてのみ特徴量Ｆを抽出する構成が好適である。

ひとつの態様における波形特徴量抽出部３２５は、図３に示すように、楽音信号Ｖの音量が急激に増大した時点（伴奏音が発生した時点）ｔを楽音信号Ｖの特徴量ＦWから順次に特定する。周波数分析部３２１は、波形特徴量抽出部３２５が特定した各時点ｔから所定の時間長にわたる区間のみについてパワースペクトルＱを算定する。以上の構成によれば、周波数分析部３２１やスペクトル特徴量抽出部３２３の処理量が軽減されるという利点がある。また、楽音信号Ｖのうち拍点検出部５２が検出した拍点Ｐの間隔に相当する区間を単位として特徴量抽出部３２が特徴量Ｆを算定する構成とすれば、拍点Ｐごとの特徴量Ｆを算定することが可能となる。

（２）変形例２
楽音信号Ｖが示す楽曲の構成を考慮して伴奏態様データＤAを選択する構成も採用される。図８は、変形例に係る楽音処理装置１００の構成を示すブロック図である。同図の構成判定部８２は、楽曲内において同等の演奏が反復される反復区間を検出する手段である。図９は、構成判定部８２による処理の内容を示す概念図である。同図に示すように、構成判定部８２は、楽曲を区分した複数の区間（例えば単位区間Ｔ）から２個の区間を選択する全通りの組合せについて音楽的な類似度を特徴量Ｆに基づいて算定する。図９においては、ひとつの楽曲の始点から終点までの単位区間Ｔの配列が縦軸と横軸とに図示されている。類似度が所定の閾値を上回る２個の区間の組合せに相当する地点には黒点が表記されている。図９の直線Ｌ上の黒点は、ひとつの共通する区間について算定される類似度が最大（一致）となることを意味している。図９のような結果が算定された場合、構成判定部８２は、区間ａと区間ｂとが反復区間（相互に類似する区間）であると判定する。

選択部６２は、構成判定部８２が検出した反復区間内については同じ伴奏態様データＤAを選択する。すなわち、図９の場合においては、区間ａ内の第ｉ番目（ｉは自然数）の単位区間Ｔと区間ｂ内の第ｉ番目の単位区間Ｔとで共通の伴奏態様データＤAが選択される。以上の構成によれば、区間ａの反復である区間ｂについては図６の処理を実行せずに伴奏態様データＤAを選択できるから、選択部６２の処理量が軽減されるという利点がある。また、単位区間Ｔごとに図６の処理を実行する構成においては、反復区間であるにも拘わらず別個の伴奏態様データＤAが選択される可能性がある。これに対して図８の構成によれば、反復区間については自動的に同じ伴奏音が生成されるから、音楽的な統一性を確保することが可能である。

また、図８の特性検証部８４は、音高特定部４２が特定したコード名Ｎ1およびベース音Ｎ2や拍点検出部５２が検出した拍点Ｐ（または区間画定部５４が画定した単位区間Ｔ）や選択部６２が選択した伴奏態様データＤAの音楽的な適否を検証して各々の動作に反映させる手段である。例えば、特性検証部８４は、複数の単位区間Ｔにわたるコード名Ｎ1が音楽的に適切であるか否かを判定し、何れかの単位区間Ｔのコード名Ｎ1が不適切であると判定した場合には当該単位区間Ｔのコード名Ｎ1をコード特定部４２１に修正させる。すなわち、多数の単位区間Ｔのうちひとつの単位区間Ｔのみにおいてコード名Ｎ1が「Ｃm」と判定されて他の全部の単位区間Ｔにおいてコード名Ｎ1が「Ｃ」と判定された場合、特性検証部８４は、コード名Ｎ1が「Ｃm」と判定された単位区間Ｔについてコード名Ｎ1の修正（Ｃm→Ｃ）をコード特定部４２１に指示する。また、コード特定部４２１が特定したコード名Ｎ1とベース特定部４２３が特定したベース音Ｎ2とが音楽的に調和しない場合、特性検証部８４は、コード名Ｎ1またはベース音Ｎ2の修正を音高特定部４２に指示する。以上の構成によれば、音楽的な不調和が抑制された伴奏音を生成することが可能となる。

（３）変形例３
打楽器の演奏音に対応したピークがパワースペクトルＱの低周波側に発生する場合がある。したがって、ピークの発生する最低の周波数をベース音Ｎ2として特定する以上の形態においては、打楽器の演奏音がベース音Ｎ2と誤認される可能性がある。一方、ベース特定部４２３が本来的に特定すべきベース音Ｎ2は、打楽器と比較して演奏音が長時間にわたって継続し、かつ、基音の整数倍の周波数に倍音が現れる倍音構造（調波構造）の有声音である。そこで、好適な態様におけるベース特定部４２３は、低周波側のピークに対応した楽音のうち、所定値を上回る時間長にわたって継続するとともに倍音構造が認識される楽音をベース音Ｎ2として特定する。以上の構成によれば、ベース音Ｎ2と打楽器の演奏音とが混在する楽曲においてもベース音Ｎ2を高精度に特定することが可能である。もっとも、ベース特定部４２３がベース音Ｎ2を特定する方法は本発明において任意である。

（４）変形例４
コード特定部４２１が特徴量Ｆに基づいてコード名Ｎ1を特定する方法は本発明において任意である。また、コードを構成する各楽音の配列の順番（ボイシング）をコード特定部４２１が特定する構成も採用される。例えば、コード特定部４２１は、コードを構成する各楽音の高低をパワースペクトルＱの形状（特徴量ＦS）から認定し、各楽音を高低の順番に配列したコードのコード名Ｎ1を特定する。また、ベース特定部４２３が特定したベース音Ｎ2に基づいてコード特定部４２１がコード名Ｎ1を特定する構成も採用される。例えば、コード特定部４２１は、ベース音Ｎ2を最も低い音階として含む分数コード（オンコード）のコード名Ｎ1を特定する。

（５）変形例５
以上の形態においては、記憶回路２０に格納された全部の伴奏態様データＤAについて特徴量ＦAの抽出（伸縮処理および伴奏音特定処理）が実行される構成を例示したが、特定の伴奏態様データＤAについて選択的に特徴量ＦAを抽出する構成も採用される。例えば、記憶回路２０内の複数の伴奏態様データＤAを楽曲のジャンルに応じて分類し、楽音信号Ｖから特定されるジャンルまたは利用者が指定するジャンルに対応した伴奏態様データＤAのみを選択の候補として楽音信号Ｖと対比する構成も採用される。また、楽音信号Ｖの伴奏音と相違することが明白であると判断できる伴奏態様データＤA（例えば、伴奏音のテンポが楽音信号Ｖと大幅に相違する伴奏態様データＤA）については選択の候補から除外する構成も採用される。以上の形態によれば、絞込みで除外された伴奏態様データＤAについて特徴量ＦAの抽出を省略できるから、選択部６２の処理量が軽減されるという利点がある。

（６）変形例６
以上の形態においては、伴奏態様データＤAの識別子ＡIDを単位データＵに含めて楽音処理装置１００から出力する構成を例示したが、単位データＵの内容は適宜に変更される。例えば、伴奏態様データＤAをコード名Ｎ1やベース音Ｎ2とともに単位データＵとして出力する構成によれば、演奏データＤBのうち打楽器のトラックＴR（ＴR_HH，ＴR_SD，ＴR_BD）を出力処理装置１４が保持する必要がないという利点がある。

また、打楽器のトラックＴRにコードのトラックＴR_CDとベース音のトラックＴR_BSとを追加したデータ（図７の演奏データＤB）を伴奏態様データＤAとして記憶回路２０に格納した構成も採用される。出力部７０は、伴奏態様データＤAのうちコードのトラックＴR_CDのイベントデータＥにコード名Ｎ1を挿入するとともにベース音のトラックＴR_BSのイベントデータＥにベース音Ｎ2を挿入することで演奏データＤCを生成して出力処理装置１４に出力する。以上の構成によれば、出力処理装置１４において演奏データＤBを保持する必要がないという利点がある。

さらに、各単位区間Ｔの単位データＵに当該単位区間Ｔの楽音信号Ｖを付加したファイルを楽音処理装置１００から順次に出力処理装置１４に送信してもよい。この構成によれば、出力処理装置１４側において、単位データＵに基づいて伴奏音を再生できるだけでなく、当該伴奏音に対応した楽音信号Ｖを各種の楽曲を作成するための素材として利用することが可能である。

なお、図１のように識別子ＡIDを単位データＵに含めて出力する構成によれば、各トラックＴRのデータを単位データＵに含めて出力する構成と比較して、楽音処理装置１００から出力処理装置１４に伝送されるデータ量が削減されるという利点がある。したがって、例えば楽音処理装置１００と出力処理装置１４とが通信網を介して接続された構成においては、通信トラヒックを軽減するという観点から、識別子ＡIDを含む単位データＵ（トラックＴRを含まない単位データＵ）が出力処理装置１４に伝送される構成が特に好適である。

（７）変形例７
楽音信号Ｖから抽出される特徴量Ｆ（または伴奏態様データＤAから抽出される特徴量ＦA）の種類は以上の例示に限定されない。例えば、パワースペクトルＱを近似する直線の勾配やパワースペクトルＱの重心（セントロイド）、メルケプストラム係数（MFCC： Mel Frequency Cepstrum Coefficients）、パワースペクトルＱのピークにおける強度の平均値とピーク以外における強度の平均値との相対比など各種の特徴量Ｆをスペクトル特徴量抽出部３２３は抽出し得る。すなわち、音高特定部４２によるコード名Ｎ1およびベース音Ｎ2の特定と、拍点検出部５２による拍点Ｐの検出（区間画定部５４による単位区間Ｔの画定）と、選択部６２による伴奏態様データＤAの選択（楽音信号Ｖが示す伴奏音と伴奏態様データＤAが示す伴奏音との比較）とに使用され得る総ての特徴量Ｆが適用される。

（８）変形例８
拍点Ｐを検出する方法は適宜に変更される。例えば、以上の形態においては各拍点Ｐで演奏される打楽器の種類の傾向に基づいて拍点Ｐが検出される構成を例示したが、複数のアタック部Ａのうち打楽器に対応した特定の周波数帯域（例えば図５の帯域ＢSD）内の成分の強度が高いアタック部Ａを拍点Ｐとして特定してもよい。また、打楽器の演奏音は瞬間的である（継続しない）から、複数のアタック部Ａのうち演奏音が継続しないアタック部Ａを拍点Ｐとして特定する構成も採用される。

（９）変形例９
信号生成装置１２と楽音処理装置１００とが一体の装置を構成してもよい。また、楽音信号Ｖの供給元は信号生成装置１２に限定されない。例えば、マイクロホンが採取したアナログ信号をＡ/Ｄ変換した楽音信号Ｖが楽音処理装置１００に供給される構成や、インターネットなどの通信網を経由して楽音信号Ｖが楽音処理装置１００に供給される構成も採用される。

本発明のひとつの形態に係る楽音処理装置の構成を示すブロック図である。 スペクトル特徴量抽出部の動作を説明するための概念図である。 波形特徴量抽出部の動作を説明するための概念図である。 特徴量記憶部が特徴量を記憶する様子を示す概念図である。 拍点検出部が拍点を検出する動作の具体例を示す概念図である。 伴奏処理部および比較部の動作を説明するための概念図である。 演奏データＤBの構造を示す概念図である。 変形例に係る楽音処理装置の構成を示すブロック図である。 構成判定部の動作を説明するための概念図である。

符号の説明

１００……楽音処理装置、１２……信号生成装置、１４……出力処理装置、１４１……制御回路、１４３……記憶回路、１４５……音源回路、１４７……出力装置、２０……記憶回路、３０……制御回路、３２……特徴量抽出部、３２１……周波数分析部、３２３……スペクトル特徴量抽出部、３２５……波形特徴量抽出部、３４……特徴量記憶部、４２……音高特定部、４２１……コード特定部、４２３……ベース特定部、４４……音高記憶部、５２……拍点検出部、５４……区間画定部、６２……選択部、６４……伴奏処理部、６６……比較部、７０……出力部。

Claims (8)

1. 伴奏音の態様を指定する複数の伴奏態様データを記憶する記憶手段と、
   楽曲の楽音を示す楽音信号から特徴量を順次に抽出する特徴量抽出手段と、
   前記楽音信号から拍点を検出する拍点検出手段と、
   前記拍点検出手段が検出した拍点に基づいて複数の単位区間を画定する区間画定手段と、
   前記記憶手段が記憶する複数の伴奏態様データのうち前記特徴量抽出手段が前記単位区間内の楽音信号について特定した特徴量に応じた伴奏態様データを単位区間ごとに順次に選択する選択手段と、
   前記選択手段が選択した伴奏態様データまたは当該伴奏態様データの識別子を含む単位データを前記各単位区間について出力する出力手段と
   を具備する楽音処理装置。
2. 前記楽音信号に対応した音高を単位区間ごとに特定する音高特定手段を具備し、
   前記出力手段は、前記選択手段が選択した伴奏態様データまたは当該伴奏態様データの識別子と前記音高特定手段が特定した音高とを含む単位データを出力する
   請求項１の楽音処理装置。
3. 前記音高特定手段は、
   前記各単位区間のコードを特定するコード特定手段と、
   前記各単位区間のベース音を特定するベース特定手段とを含み、
   前記出力手段は、前記コード特定手段が特定したコードと前記ベース特定手段が特定したベース音とを単位データに含めて出力する
   請求項１または請求項２の楽音処理装置。
4. 前記拍点検出手段は、前記楽音信号のうち別種の楽器の演奏音に対応した複数の周波数帯域の各々に属する成分が発生する時点を拍点として検出する
   請求項１から請求項３の何れかの楽音処理装置。
5. 前記選択手段は、
   前記複数の伴奏態様データの各々が示す伴奏音の特徴量を特定する伴奏処理手段と、
   前記伴奏処理手段が特定した特徴量と前記単位区間内の楽音信号の特徴量とを比較する比較手段と
   を含み、前記比較手段による比較の結果に基づいて、前記単位区間内の楽音信号に類似する伴奏音の伴奏態様データを選択する
   請求項１から請求項４の何れかの楽音処理装置。
6. 前記伴奏処理手段は、伴奏態様データが指定する各伴奏音と前記拍点検出手段が検出した拍点とが時間軸上で対応するように、前記伴奏態様データが指定する伴奏音の時間軸上の位置を調整する
   請求項５の楽音処理装置。
7. 前記楽曲のうち演奏が反復される反復区間を検出する構成判定手段を具備し、
   前記選択手段は、前記構成判定手段が検出した各反復区間について同じ伴奏態様データを選択する
   請求項１から請求項６の何れかの楽音処理装置。
8. コンピュータに、
   楽曲の楽音を示す楽音信号から特徴量を順次に抽出する特徴量抽出処理と、
   前記楽音信号から拍点を検出する拍点検出処理と、
   前記拍点検出処理で検出した拍点に基づいて複数の単位区間を画定する区間画定処理と、
   伴奏音の態様を指定する複数の伴奏態様データのうち前記特徴量抽出処理で前記単位区間内の楽音信号について特定した特徴量に応じた伴奏態様データを単位区間ごとに順次に選択する選択処理と、
   前記選択処理で選択した伴奏態様データまたは当該伴奏態様データの識別子を含む単位データを前記各単位区間について出力する出力処理と
   を実行させるプログラム。
   

Images