JP2005182091A - 演奏信号処理装置及びプログラム - Google Patents

Abstract

【課題】 簡単な操作にて音量に周期的変化を与えて、曲データに自然な表情付けを行えるようにする。
【解決手段】 表情付け区間、すなわち指定区間の指定を受け付け、表情付けの種類として「音量の変化処理」が選択された場合は、「変化パターンの選択」、「組み合わせ波形の設定」において、周期、レベル変化量、変化カーブ種及びスタートの方向等が設定され、その設定値に沿った音量変化パターンが生成される。そして、設定された音量変化パターンに合わせて、指定区間の音符の音量値（ベロシティ）が修正設定される。
【選択図】 図９

Description

本発明は、曲データの編集が可能な演奏信号処理装置及びプログラムに関する。

従来、ＭＩＤＩ（Musical Instrument Digital Interface）データや歌詞データ等を含む自動演奏データ（以下、「曲データ」と称する）は、音符の情報のみで構成される場合やベロシティ等の楽音特性データが一律である場合は、機械的で無表情であるため、感情を込め楽曲らしさを出すべく、これに表情付けを行うようにした演奏信号処理装置が知られている。この装置では、既成の曲データを記憶媒体から読み出したり、ＤＴＭ（デスクトップミュージック）でユーザが創作、入力したりして、当該曲データの楽音特性（ベロシティ、エクスプレッション等）の変更を行うようにして、より自然な演奏、美しい演奏、生々しい演奏を実現することができる。

また、従来、楽曲に表現力豊かに表情付けを行うには、ユーザは曲データの一音一音に楽音特性を設定する必要があり、その作業は音楽や楽器の特性の熟知を要するだけでなく、繁雑で時間を要するものであった。

一方、知識や経験が少なくても表情付けを行うための手法として、予め作成した制御データテンプレートを選択してこれを曲データ中に入力し、その後制御データテンプレートの形状や時間方向の長さを修正するようにした制御データ入力方法も知られている（下記特許文献１）。
特開平９−６３４６号公報

しかしながら、上記制御データ入力方法では、曲データの個々の部分毎に最適な制御データテンプレートをユーザが選択して入力しなければならず、その操作は容易でない。また、個々の部分ではともかく、楽曲全体としてみた場合は、上記従来の手法は自然な表情を付けるのには必ずしも適していなかった。

また、クレシェンドやデクレシェンドほど明確ではない音量の微妙な変化を楽曲に付加したい場合がある。これは例えば指揮者や奏者に委ねられることがある効果であるが、自然なうねりのような音量変化が付与されることで、楽曲に生々しい表情が与えられるものである。しかしながら、単にクレシェンド等を付加するだけでは機械的で、自然な表情が得られにくい。その一方、自然なうねりを出すための音量変化の設定を個々の音符について行う場合は、煩雑で、ユーザの負担が大きい。

幅広いユーザが簡単に使用できるようにするためには、装置側で判断できる部分は極力自動的に行えた方が好都合である。このように、従来の技術では、自然な表情付けを簡単な操作で行う上で、改善の余地があった。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、簡単な操作にて音量に周期的変化を与えて、曲データに自然な表情付けを行うことができる演奏信号処理装置及びプログラムを提供することにある。

上記目的を達成するために本発明の請求項１の演奏信号処理装置は、曲データの編集が可能な演奏信号処理装置において、曲データを入力する曲データ入力手段と、前記曲データ入力手段により入力された曲データのうち編集を行う区間を指定する区間指定手段と、ユーザの指示に応じて周期を設定する周期設定手段と、前記周期設定手段により設定された周期でレベル値が周期的に変化する音量変化パターンを形成するパターン形成手段と、前記入力された曲データのうち前記区間指定手段により指定された区間の時間軸と前記パターン形成手段により形成された音量変化パターンの時間軸とを対応付ける時間軸対応付け手段と、前記入力された曲データの前記指定された区間に含まれる発音指示情報の各々について、各発音指示情報に含まれる音量情報の値を、当該各発音指示情報の時間位置に対応する、前記音量変化パターンのレベル値に基づいて設定する音量設定手段とを有することを特徴とする。

上記目的を達成するために本発明の請求項６の演奏信号処理プログラムは、曲データの編集を行うための、コンピュータに実行させる演奏信号処理プログラムであって、編集対象となる曲データを記憶手段に記憶させる記憶モジュールと、前記記憶手段に記憶された曲データのうち編集を行う区間を指定する区間指定モジュールと、ユーザの指示に応じて周期を設定する周期設定モジュールと、前記周期設定モジュールにより設定された周期でレベル値が周期的に変化する音量変化パターンを形成するパターン形成モジュールと、前記入力された曲データのうち前記区間指定モジュールにより指定された区間の時間軸と前記パターン形成モジュールにより形成された音量変化パターンの時間軸とを対応付ける時間軸対応付けモジュールと、前記入力された曲データの前記指定された区間に含まれる発音指示情報の各々について、各発音指示情報に含まれる音量情報の値を、当該各発音指示情報の時間位置に対応する、前記音量変化パターンのレベル値に基づいて設定する音量設定モジュールとを有することを特徴とする。

なお、請求項６記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体は、本発明を構成する。

本発明の請求項１、６によれば、簡単な操作にて音量に周期的変化を与えて、曲データに自然な表情付けを行うことができる。

本発明の請求項２によれば、自然なうねりのような変化を表現でき、より自然な表情付けを行うことができる。

本発明の請求項３によれば、小節長に関連した適当な区間単位で音量特性を設定でき、音楽的に自然な音量変化を容易に付すことができる。

本発明の請求項４によれば、複雑な作業をすることなく強起の場合に容易に対応することができる。

本発明の請求項５によれば、例えば、弱起の場合にも容易に対応でき、フレーズの進行に適した表情付けを可能として実用性を高めることができる。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る演奏信号処理装置の全体構成を示すブロック図である。本演奏信号処理装置は、例えば、ＤＴＭ（デスクトップミュージック）を行えるパーソナルコンピュータとして構成される。

本演奏信号処理装置は、押鍵検出回路３、スイッチ検出回路４、ＲＯＭ６、ＲＡＭ７、タイマ８、表示制御回路９、フロッピディスクドライブ（ＦＤＤ）１０、ハードディスクドライブ（ＨＤＤ）１１、ＣＤ−ＲＯＭ（コンパクトディスク−リード・オンリ・メモリ）ドライブ１２、ＭＩＤＩインターフェイス（ＭＩＤＩＩ／Ｆ）１３、通信インターフェイス（通信Ｉ／Ｆ）１４、音源回路１５、効果回路１６及びマウス情報検出回路２０が、バス１８を介してＣＰＵ５にそれぞれ接続されて構成される。

さらに、押鍵検出回路３には鍵盤１が接続され、スイッチ検出回路４にはパネルスイッチ２が接続されている。マウス情報検出回路２０にはスイッチを有する平面移動自在のマウス２１が接続され、表示制御回路９には例えばＬＣＤ若しくはＣＲＴで構成される表示装置１９が接続されている。ＣＰＵ５にはタイマ８が接続され、ＭＩＤＩＩ／Ｆ１３には他のＭＩＤＩ機器１００が接続されている。通信Ｉ／Ｆ１４には通信ネットワーク１０１を介してサーバコンピュータ１０２が接続され、音源回路１５には効果回路１６及びサウンドシステム１７が直列に接続されている。

押鍵検出回路３は鍵盤１の各鍵（不図示）の押鍵状態を検出する。パネルスイッチ２は、各種情報を入力するための複数のスイッチ（不図示）を備える。スイッチ検出回路４は、パネルスイッチ２の各スイッチの押下状態を検出する。ＣＰＵ５は、本装置全体の制御を司る。ＲＯＭ６は、ＣＰＵ５が実行する制御プログラムやテーブルデータ等を記憶する。ＲＡＭ７は、自動演奏データ、楽譜表示用画像データ、テキストデータ等の各種入力情報及び演算結果等を一時的に記憶する。タイマ８は、タイマ割り込み処理における割り込み時間や各種時間を計時する。表示制御回路９は、表示装置１９に楽譜等の各種情報を表示させる。

ＦＤＤ１０は、記憶媒体であるフロッピディスク（ＦＤ）２４をドライブする。ＦＤ２４には、上記制御プログラム、各種アプリケーションプログラム、及び各種データ等が格納される。外部記憶装置であるＨＤＤ１１は、上記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶する。ＣＤ−ＲＯＭドライブ１２は、上記制御プログラムを含む各種アプリケーションプログラムや各種データ等が格納されているＣＤ−ＲＯＭ（不図示）をドライブする。

ＭＩＤＩＩ／Ｆ１３は、他のＭＩＤＩ機器１００等の外部装置からのＭＩＤＩ（Musical Instrument Digital Interface）信号を入力したり、ＭＩＤＩ信号を外部装置に出力したりする。通信Ｉ／Ｆ１４は、通信ネットワーク１０１を介して、例えばサーバコンピュータ１０２とデータの送受信を行う。音源回路１５は、ＦＤＤ１０、ＣＤ−ＲＯＭドライブ１２またはＭＩＤＩＩ／Ｆ１３等から入力された自動演奏データ等の曲データを楽音信号に変換する。効果回路１６は、音源回路１５から入力される楽音信号に各種効果を付与し、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１７は、効果回路１６から入力される楽音信号等を音響に変換する。マウス情報検出回路２０は、マウス２１の移動情報やスイッチオン／オフ等の操作情報を検出する。

なお、本実施の形態では、音源回路１５は、その名称の通り、すべてハードウェアで構成したが、これに限らず、一部ソフトウェアで構成し、残りの部分をハードウェアで構成してもよいし、また、すべてソフトウェアで構成するようにしてもよい。

ＨＤＤ１１には、前述のようにＣＰＵ５が実行する制御プログラムを記憶することができる。ＲＯＭ６に制御プログラムが記憶されていない場合には、このＨＤＤ１１内のハードディスクに制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等を容易に行うことができる。

ＣＤ−ＲＯＭドライブ１２によりＣＤ−ＲＯＭから読み出された制御プログラムや各種データは、ＨＤＤ１１内のハードディスクにストアされる。これにより、制御プログラムの新規インストールやバージョンアップ等を容易に行うことができる。なお、このＣＤ−ＲＯＭドライブ１２以外にも、外部記憶装置として、光磁気ディスク（ＭＯ）装置等、様々な形態のメディアを利用するための他の装置を設けるようにしてもよい。

なお、ＭＩＤＩＩ／Ｆ１３は、専用のものに限らず、ＲＳ−２３２ＣやＵＳＢ（ユニバーサル・シリアル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインターフェイスより構成してもよい。この場合、ＭＩＤＩメッセージ以外のデータをも同時に送受信してもよい。

通信Ｉ／Ｆ１４は、上述のように、ＬＡＮ（ローカルエリアネットワーク）やインターネット、電話回線等の通信ネットワーク１０１に接続されており、該通信ネットワーク１０１を介して、サーバコンピュータ１０２と接続される。ＨＤＤ１１内のハードディスクに上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１４は、サーバコンピュータ１０２からプログラムやパラメータをダウンロードするために用いられる。クライアントとなるコンピュータ（本実施の形態では演奏信号処理装置）は、通信Ｉ／Ｆ１４及び通信ネットワーク１０１を介してサーバコンピュータ１０２へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバコンピュータ１０２は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク１０１を介してコンピュータへと配信し、コンピュータが通信Ｉ／Ｆ１０１を介して、これらプログラムやパラメータを受信してＨＤＤ１１内のハードディスクに蓄積することにより、ダウンロードが完了する。

この他、外部コンピュータ等との間でデータのやりとりを直接行うためのインターフェイスを備えるようにしてもよい。

本実施の形態では、曲データはＭＩＤＩデータや歌詞データ等を含む自動演奏データであり、既成の曲データは、上述したように、ＦＤＤ１０、ＣＤ−ＲＯＭドライブ１２、ＭＩＤＩＩ／Ｆ１３、通信Ｉ／Ｆ１４を介して読み出し乃至入力される。また、曲データはユーザが創作して鍵盤１やマウス２１等で入力することもできる。読み出しあるいは入力された曲データは、ＲＡＭ７に格納されると共に表示装置１９に表示され、後述する楽音発生処理（再生等）、表情付け処理、各種編集処理の対象となる。

図２は、本実施の形態におけるメインルーチンのフローチャートを示す図である。本処理は電源のオン時に開始される。

まず、初期化を実行、すなわち所定プログラムの実行を開始し、ＲＡＭ７等、各種レジスタをクリアして初期設定を行う（ステップＳ２０１）。次いで、後述する図３、図４のパネル処理、すなわちパネルスイッチ２やマウス２１の操作を受け付け、機器の設定や曲データの編集等の指示を実行する（ステップＳ２０２）。次いで、楽音処理を実行する（ステップＳ２０３）。例えば、再生処理を実行している場合は、曲データを読み出し、設定された効果処理を付加し、増幅して出力する。その後、前記ステップＳ２０２に戻る。

図３及び図４は、図２のステップＳ２０２で実行されるパネル処理のフローチャートを示す図である。

まず、パネル入力があったか否か、すなわちパネルスイッチ２やマウス２１による何らかの操作があったか否かを判別する（ステップＳ３０１）。その判別の結果、パネル入力がなかった場合は直ちに本処理を終了する一方、パネル入力があった場合は、それが表情付け処理の指示であるか否かを判別する（ステップＳ３０２）。なお、本処理の実行に際し（本装置またはソフトウェアの立ち上げ時に）、初期設定で前回に終了した時点における設定が読み出されるので、処理対象とする曲データは新たな設定を特にしなくとも準備されている。

前記ステップＳ３０２の判別の結果、パネル入力が表情付け処理の指示でない場合は、それが演奏関連指示であるか否かを判別する（図４のステップＳ３０３）。その判別の結果、パネル入力が演奏関連指示でない場合は、パネル入力が曲の変更指定であるか否かを判別する（ステップＳ３０４）。

前記ステップＳ３０３の判別の結果、パネル入力が演奏関連指示である場合は、それが再生指示であるか否かを判別する（ステップＳ３０５）。その判別の結果、演奏関連指示が再生指示である場合は、現在表示されている曲データの再生を開始して（ステップＳ３０６）、本処理を終了する一方、演奏関連指示が再生指示でない場合は、ステップＳ３０７に進む。

ステップＳ３０７では、演奏関連指示が停止指示であるか否かを判別する。その判別の結果、演奏関連指示が停止指示である場合は、演奏再生を停止して（ステップＳ３０８）、本処理を終了する一方、演奏関連指示が停止指示でない場合は、その他の指示の処理を実行、例えば、進み処理（再生ポイントを徐々に進める（早送り））、戻し処理（再生ポイントを徐々に戻す（早戻し））、先頭処理（曲の先頭に再生ポイントを戻す）を実行して（ステップＳ３０９）、本処理を終了する。

前記ステップＳ３０４の判別の結果、パネル入力が曲の変更指定である場合は、再生や編集の処理対象としたい曲の指定を受け付けて変更を行い（ステップＳ３１０）、変更後の曲データを読み出し、入力して、種々の情報を表示し（ステップＳ３１１）、本処理を終了する。一方、前記ステップＳ３０４の判別の結果、パネル入力が曲の変更指定でない場合は、その他の指示の処理を実行、例えば、曲データの表情付け処理以外のエディットや各種編集処理を行って（ステップＳ３１２）、本処理を終了する。

前記ステップＳ３０２の判別の結果、パネル入力が表情付け処理の指示である場合は、ステップＳ３１３〜Ｓ３２５で表情付け処理を実行する。すなわち、まず、曲データの分割方法を表示し（ステップＳ３１３）、分割方法の選択を受け付け（ステップＳ３１４）、受け付けた方法にて曲データの分割処理を実行する（ステップＳ３１５）。ここで、曲データの分割方法には、大別して「マニュアル分割」、「自動分割」、「均等分割」がある。

「マニュアル分割」は、ユーザが曲データの表示をみて、または曲の再生を聞いて、分割位置を手作業で指定する手法である。例えば、曲データがユーザ自身が創作したものである場合は、起承転結等、曲の構成もわかっており、どこで分割するのが最も適当かはユーザにとって判断が容易であるから、「マニュアル分割」を選択するのが適当である。

「自動分割」は、装置側（ＣＰＵ５）が判断して分割位置を自動的に指定する手法である。例えば、フレーズの区切りと判断できる位置を分割位置とする。フレーズの区切りの判断手法には、次のようなものがある。

ａ：所定以上の休符長を発見したら、その休符直後を新たな分割区分とし、休符を分割位置とする。

ｂ：音程の跳躍やリズムの変化、拍子の変化、テンポの変化、音数の変化、音調平均の変化等、音符の規則性を評価基準としてフレーズの区切りを認識する。

ｃ：同じメロディが繰り返される場合は同じメロディが再び現れたところで新たな分割区分とし、従って、各メロディ間を分割位置とする。

これらの手法と一部重複するが、「コンピュータと音楽の世界：共立出版：長嶋洋一、橋本周司、平賀譲、平田圭二偏」で紹介されるＧＴＴＭ（ａ Ｇｅｎｅｒａｔｉｖｅ Ｔｈｅｏｒｙ ｏｆ Ｔｏｎａｌ Ｍｕｓｉｃ）（第４章第６節：竹内好宏）による構造解析を用いて分割位置を自動的に判断する手法もある。このＧＴＴＭは、人間の音楽知覚・認知過程をもとに音楽を階層的な構造に解析するものであり、音楽の知覚・認知に必要な、グループ構造、拍子構造、タイムスパン還元、延長的還元の４つの構成要素によって解析される。

これらの「自動分割」の手法は単独で適用してもよいし、併用してもよい。また、曲データに歌詞データが含まれている場合は、例えば、歌詞の切れ目を基準にする等、歌詞を解析することにより分割位置を指定してもよい。

「均等分割」は、曲データを等分割に分割する手法である。「均等分割」では、曲データ全体を一律に複数に等分割する手法のほか、イントロとエンディング等の特定の区分だけは指定した小節数とし、他の部分は等分割するという手法もある。また、「均等分割」は小節数で行ってもよいし、音符数で行ってもよい。

ユーザは、これらの各種分割方法の中から適用したい分割方法を具体的に選択、指定する。分割処理により、曲データは複数（例えば、数区分〜１０数区分程度）に分割される。

分割処理の実行後は、分割やり直しの指示があればそれを受け付ける。そして、ステップＳ３１６では、分割やり直しの指示があったか否かを判別する。その判別の結果、分割やり直しの指示があった場合は、前記ステップＳ３１３に戻って、分割方法の選択及び分割処理を再度実行する一方、分割やり直しの指示がない場合は、ステップＳ３１７に進む。なお、前記ステップＳ３１５で分割された結果、一部の分割位置のみがユーザの意にそぐわない場合は、その位置を特定してマニュアル操作にて分割位置を変更するようにしてもよい。

ステップＳ３１７では、変更する楽音特性のリストを表示する。楽音特性としては、例えば、ベロシティ、エクスプレッション、発音のタイミングのほか、各種コントロールチェンジ（ビブラート、エフェクト（リバーブ、コーラス、ディレイ等）、音色の変化等）の値を対象とすることができる。次に、変更対象とする楽音特性の選択を受け付け（ステップＳ３１８）、楽音特性の選択のやり直しの指示があったか否かを判別する（ステップＳ３１９）。その判別の結果、楽音特性の選択のやり直しの指示があった場合は、前記ステップＳ３１７に戻って楽音特性の表示及び選択受け付けを再度実行する一方、楽音特性の選択のやり直しの指示がない場合は、ステップＳ３２０に進む。

ステップＳ３２０では、上記分割された曲データの各区分に適応する抑揚データの候補を抽出して表示する。ここで、抑揚データについて説明する。

図５は、曲データの分割態様及び抑揚データの一例を示す図である。同図（ａ）は分割処理前の曲データ、同図（ｂ）は分割処理後の曲データ、同図（ｃ）は複数の区分で成る抑揚データをそれぞれ示す。同図では、曲データが６区分に分割された場合を例示している。

抑揚データは、楽曲に抑揚を付与するためのデータで、同図（ｃ）に示すように、各区分毎にパラメータの時間的変化を規定するものである。このパラメータは、前記ステップＳ３１８で受け付け、指定された楽音特性の時間的変化を規定するものであり、後述する楽音特性変更処理（ステップＳ３２４）で楽音特性を制御するのに用いられるものである。複数の区分（同図（ｃ）では６個の区分を例示）で成る抑揚データは、複数パターンが予めＲＯＭ６等に格納されている。なお、抑揚データはＨＤＤ１１に格納するようにしてもよいし、ＦＤＤ１０、ＣＤ−ＲＯＭ１２、あるいは通信Ｉ／Ｆ１４を介して抑揚データを追加、更新できるようにしてもよい。なお、抑揚データは、区分数が６個のパターンに限らず、種々の区分数のパターンが存在する。

前記ステップＳ３２０では、上記それぞれ指定された曲データの分割方法、曲データの分割区分の数、及び変更する楽音特性に基づいて、ＲＯＭ６に格納された複数の抑揚データの中から最適な抑揚データが少なくとも１つ抽出され、候補として表示装置１９に表示される。

すなわち、曲データに適応する抑揚データは、まず曲データの分割方法及び分割区分の数によって異なる。例えば、ユーザによる「マニュアル分割」または「自動分割」により、同図（ｂ）に示すように、イントロ、Ａメロ、Ａメロ’、Ｂメロ、Ａメロ’’エンディングというように曲データが分割された場合は、このようなメロディ構成に合致する区分パターンの抑揚データが抽出されることになる。これらの場合は、区分数が曲データの区分数（６個）に合致した抑揚データのみが抽出の対象となる。これにより、抑揚データに基づく後述する楽音特性の制御が適切且つ容易になる。また、「均等分割」の場合は、「均等分割」により分割された曲データに適するものとして区分数及び区分パターンが予め設定された抑揚データが抽出対象とされる。

これに加えて、曲データに適応する抑揚データは、変更する楽音特性によっても異なる。従って、分割方法及び分割区分数が同じでも、変更する楽音特性が例えばベロシティであるか、エクスプレッションであるか等によって、適応する抑揚データが異なることになる。なお、より簡単な構成とする場合は、楽音特性を考慮せず、曲データの分割方法及び曲データの分割区分数のみに基づいて抑揚データを抽出するようにしてもよい。

次に、ステップＳ３２１では、抑揚データの特定を受け付ける。すなわち、上記のようにして抽出された抑揚データは複数の場合もあり、その場合は、ユーザは、抑揚データの候補の中から１つの抑揚データを特定する。なお、候補が１つしかない場合は、確認メッセージ等を表示して確認の受け付けを行うようにしてもよい。

次に、ステップＳ３２２では、抑揚データ特定のやり直しの指示があったか否かを判別する。その判別の結果、抑揚データ特定のやり直しの指示があった場合は、前記ステップＳ３２０に戻って、抑揚データの候補の表示及び特定の受け付けを再度実行する一方、抑揚データ特定のやり直しの指示がない場合は、ステップＳ３２３に進む。なお、前記ステップＳ３２１で特定された抑揚データの区分のうち、一部の区分のみがユーザの意にそぐわない場合は、その一部の区分を特定してマニュアル操作にてその区分のみを他の区分と入れ替えるようにしてもよい。この場合、「他の区分」は他のパターン中の区分を流用できるようにしてもよい。また、入れ替え専用に用意したものでもよいが、その場合は、「他の区分」のバリエーションは多数容易しておくのが好ましい。また、前記ステップＳ３２０では全ての候補を表示するようにしたが、とりあえず１つの候補のみを表示しておいて、区分毎にマニュアル操作にて他の区分と入れ替える作業を行うようにしてもよい。

続くステップＳ３２３では、楽音特性変更処理の開始指示があったか否かを判別する。その判別の結果、楽音特性変更処理の開始指示がない場合は、前記ステップＳ３１３に戻る。なお、ステップＳ３２３で楽音特性変更処理の開始指示がない場合において、ステップＳ３１３、Ｓ３１７、Ｓ３２０のいずれに戻るかをユーザが指定できるようにしてもよい。ステップＳ３２３の判別の結果、楽音特性変更処理の開始指示があった場合は、ステップＳ３２４に進む。

ステップＳ３２４では、楽音特性変更処理、すなわち曲データに抑揚データを適用して曲データの楽音データの特性を個別的に変更する処理を実行する。この楽音特性変更処理には、曲データと抑揚データとの区分毎の対応付けと抑揚データの伸張とを行う処理ステップと、伸張された抑揚データに基づく曲データの楽音特性変更の処理ステップとがある。

まず、区分毎の対応付けでは、例えば図５に示すように、分割された曲データの６個の区分（同図（ｂ））と抽出特定された抑揚データの６個の区分（同図（ｃ））とを順番に従って対応付ける。例えば、同図（ｂ）のイントロには同図（ｃ）のイントロが対応することになる。次に抑揚データの伸張では、抑揚データの各区分毎に、それに対応する曲データの区分に合うように、時間的に抑揚データが伸張される。

図６、図７は、互いに対応する曲データの区分と抑揚データの区分の１組を例示した図である。図６は抑揚データの伸張前を示し、図７は伸張後を示す。図６（ａ）は曲データにおける１つの区分内のノートイベントデータを示し、同図（ｂ）は曲データにおいて事前に設定されているベロシティを示す。このベロシティの設定は、曲データにおいて元々なされている場合だけでなく、前回の楽音特性変更処理でなされている場合もある。同図（ｂ）の例では、各ノートイベントデータ共、ベロシティが一律である。同図（ｃ）は、抑揚データの１つの区分内でのパラメータの時間的変化を示している。これらは図７（ａ）、（ｂ）、（ｃ）でも同様である。

区分毎の対応付け処理がなされただけでは、図６に示すように、曲データの区分と抑揚データの区分との時間的長さが必ずしも一致しない。そこで、抑揚データの伸張処理では、曲データの区分と抑揚データの区分との開始及び終了の両タイミングが合うように抑揚データの区分を伸張する。その結果、図７に示すように、抑揚データの時間方向の長さが曲データのものと一致する。

なお、本実施の形態では抑揚データの区分が曲データの区分よりも常に短いことを前提として抑揚データの伸張処理を行うことを述べたが、両者の時間的長さが逆転する場合は、抑揚データを時間的に短縮すればよい。

残る楽音特性変更の処理では、前記ステップＳ３１８で特定した曲データの楽音特性を変更する。上述したように、楽音特性にはベロシティ、エクスプレッション、発音のタイミング等があるが、図６、図７で例示したのに倣い、楽音特性としてベロシティを例にとって説明する。

図８は、互いに対応する曲データの区分と抑揚データの区分の１組を例示した図である。同図（ａ）、（ｂ）、（ｃ）は、図７（ａ）、（ｂ）、（ｃ）に対応しており、伸張処理後の抑揚データに基づいて曲データのベロシティを変更した場合を示している。本例では、ノートイベントのノートオン時点における抑揚データが示すパラメータの値に応じて各ノートイベントのベロシティが変更される。例えば、図８（ａ）に示す２番目のノートイベントＮＥ２のベロシティは、そのノートオン時点ｔ２（同図（ｃ））における抑揚データが示すパラメータの値Ｖ２に応じて設定され、その結果、図８（ｂ）に示すように、ノートイベントＮＥ２のベロシティが元のベロシティ（図７（ｂ））から変移する。このように、各ノートイベントＮＥ毎にベロシティの設定、変更がなされる。

なお、楽音特性変更の処理の手法は、ノートオン時点におけるパラメータ値に応じて変更する手法に限られない。例えば、ノートオフ時点におけるパラメータ値を採用してもよいし、ノートオン時点とノートオフ時点の両パラメータ値の平均値を採用してもよい。あるいは、ノートオン時点からノートオフ時点までの最大値、最小値または中央値等を採用してもよい。また、ノートオン時点の値を初期値とし、ノートオフ時点の値を目標値としたＬＰＦ処理を施した結果としてのノートオフ時点での値等、特定の演算処理を施した後の値を採用してもよい。

また、ベロシティに代えて、各種コントロールチェンジの値を楽音特性変更処理の対象にできるのは上述の通りであるが、コントロールチェンジの値に適用する場合は、抑揚データのパラメータの時間的変化が図６〜図８に示すような折れ線状では好ましくない。そこで、この場合は、適当なカーブとなるように、ＬＰＦをかける等の適当な演算処理を施した上で適用するのが望ましい。なお、抑揚データが示すパラメータは、アナログデータ、デジタルデータのいずれであってもよい。

これらが図３のステップＳ３２４における楽音特性変更処理であるが、この処理は曲データの全区分について同様になされる。これにより、曲データに表情付けがなされる。なお、同処理は、ユーザが欲する区分についてのみ行えるようにしてもよい。また、曲データには通常、複数の楽音特性が付随するが、変更処理を欲する全ての楽音特性について前記ステップＳ３１３〜Ｓ３２５の処理を行えばよい。

続くステップＳ３２５では、前記ステップＳ３２４で楽音特性が変更された後の曲データを表情付け処理済み曲データとして登録する。この登録は、ＲＡＭ７に格納されることでなされる。その際、表情付け処理済み曲データを元の曲データに上書きするようにしてもよいし、元の曲データとは別個に格納するようにしてもよいが、これらはユーザが任意に選択できるようにするのが好ましい。その後、本処理を終了する。

本実施の形態によれば、分割された曲データに適応する抑揚データが抽出、特定され、曲データの各区分に合うように抑揚データの各区分が時間的にそれぞれ伸張され、伸張された抑揚データで規定されるパラメータの時間的変化に基づいて曲データの各区分の楽音特性が変更制御されることで、曲データに感情を込め楽曲らしさを出す「表情付け」がなされる。従って、楽音特性が半自動的に適当に制御されるので、ユーザは一音一音に楽音特性を設定する必要がなくなり、音楽や楽器の特性の熟知を必要とせず、繁雑な作業から解放され、幅広いユーザが簡単に表情付けを行うことが可能となる。特に、「自動分割」、「均等分割」では、分割処理が半自動的に行われるので、ユーザの負担が減少するだけでなく、「自動分割」では、曲データのメロディ構成等に適した態様で分割されることから、一層適切な楽音特性の制御がなされる。また、「マニュアル分割」では、ユーザの意思に忠実でより高度の表情付けを望む場合に応えることができる。よって、簡単な操作にて曲データに自然な表情付けを行うことができる。また、分割方法を状況に応じて選択できるので、使い勝手を向上することができる。

しかも、楽音特性の制御は、抑揚データの各区分に対応する曲データの各区分毎に行われるので、各区分毎に、最適な表情付けが行われる。よって、曲データの各区分に適した表情付けを曲データ全体について簡単な操作にて適切に行うことができる。

なお、本実施の形態では、曲データの分割処理で分割された区分数に完全に合致する抑揚データのみが抽出の対象となるようにしたが、これに限るものではない。例えば、抑揚データにおいて、メロディ構成が近似しているが区分数が曲データとは僅かに異なる場合があり得る。その場合は、区分数の合致条件を緩和し、１〜２個程度の相違であれば抽出の対象に含めるようにしてもよい。ただし、最終的には曲データと抑揚データとの区分数の対応はとる必要がある。

この状況では、分割方法を複数併用してもよい。例えば「自動分割」で分割していた場合は、「マニュアル分割」をさらに併用してユーザによりマニュアルで区分数を変更すればよい。しかし、操作を簡単にするため「マニュアル分割」を避けたい場合もある。そこで、曲データの区分数が抑揚データのそれよりも少ないときは、「自動分割」に「均等分割」を併用し、「自動分割」で分割された区分のうち最も長い区分についてはさらに「均等分割」を行えばよい。逆に曲データの区分数が抑揚データのそれよりも多いときは、上述したフレーズの区切りと判断するための条件を厳しく設定して「自動分割」をやり直せばよい。例えば、指定する休符長を長くする等である。

（第２の実施の形態）
本発明の第２の実施の形態では、パネル処理が第１の実施の形態と異なり、その他は第１の実施の形態と同様である。従って、図１、図２、図９〜図１６を用いて本第２の実施の形態を説明する。

図９、図１０は、第２の実施の形態において図２のステップＳ２０２で実行されるパネル処理のフローチャートを示す図である。

まず、ステップＳ９０１〜Ｓ９１２では、図３、図４のステップＳ３０１〜Ｓ３１２と同様の処理を実行する。前記ステップＳ９０２の判別の結果、パネル入力が表情付け処理の指示である場合は、ステップＳ９１３〜Ｓ９２２で表情付け処理を実行する。

すなわち、まず、ステップＳ９１３で、表情付けメニューを表示装置１９に表示させる。表情付けメニューでは、表情付けの種類、及び曲データにおける表情付けを施すべき時間的区間（以下、「指定区間」と称する）を指定することができる。表情付けの種類を示す項目には、少なくとも音量の変化処理が含まれる。指定区間は、曲データの一部であっても全体であってもよい。通常は、小節単位で指定される。

次に、表情付け区間、すなわち指定区間と、表情付けの種類の選択、指定を受け付け（ステップＳ９１４）、表情付けの種類として「音量の変化処理」が選択されたか否かを判別する（ステップＳ９１５）。その判別の結果、「音量の変化処理」が選択された場合は、ステップＳ９１６に進み、音量変化パターンの選択メニューを表示装置１９に表示させ、次に、表示した選択メニューにて、音量変化パターンの形状の受け付けを行う（ステップＳ９１７）。

図１１は、表示装置１９に表示される音量変化パターンの選択メニューの一例を示す図である。音量変化パターンは、周期的に変化する波形状のパターンであり、後述するように、このパターンに応じて曲データの指定区間の音量が変更、設定される。

同図に示すように、上記選択メニューには、大項目として「変化パターンの選択」、「組み合わせ波形の設定」及び「スタート位置」がある。「変化パターンの選択」では、周期、レベル変化量、変化カーブ種及びスタートの方向（上／下）の設定が可能である。

図１２は、設定される音量変化パターンの一例を示す図である。図１３は、変化カーブ種の例を示す図である。

「変化パターンの選択」において、周期の設定では、１周期の小節数Ｎを設定する。例えば図１１では「４」に設定されている。レベル変化量の設定では、基準レベルＰを１００％とした場合における最低値ＭＩＮ及び最高値ＭＡＸを設定する（図１２参照）。例えば図１１では８０〜１４０％に設定されている。変化カーブ種の設定では、直線または各種曲線が設定される。図１３（ａ）、（ｂ）、（ｃ）に示すように、変化カーブ種としては線ＳＡ、ＳＢ、ＳＣが設けられており、これらの中から所望の変化カーブ種を選択する。例えば図１１では線ＳＡ（直線）が設定されている。スタートの方向（上／下）の設定では、音量変化パターンの始点からレベルが上方に移行するのか下方に移行するのかを設定する。例えば図１１では「上がる」に設定され、上方に移行することが設定されている。

次の大項目の「組み合わせ波形の設定」では、図１１に示すように、組み合わせ波形の有無のほか、組み合わせ波形が「有」の場合は、組み合わせ波形についての周期、レベル変化量、変化カーブ種及びスタートの方向（上／下）の設定が可能である。なお「組み合わせ波形」の音量変化パターンは、「変化パターンの選択」において最初に設定された元の音量変化パターンに対して組み合わされる音量変化パターンのことであり、複数設定することも可能である。

「組み合わせ波形の設定」において、組み合わせ波形の有無では「有」または「無」が設定される。例えば図１１では「有」が設定されている。なお、「無」である場合は、上記「変化パターンの選択」で設定した元の音量変化パターンがそのまま最終的な音量変化パターンとされる。その他、周期、レベル変化量、変化カーブ種及びスタートの方向（上／下）の設定は上記元の音量変化パターンの場合と同様であり、例えば図１１では、周期＝小節数１、レベル変化量＝１００〜１２０％、変化カーブ種＝線ＳＡ、スタートの方向＝「上がる」にそれぞれ設定されている。

次の大項目の「スタート位置」では、図１１に示すように、時間的にずらす位置が「＋」または「−」と音符種類とによって選択可能である。なお、後述するように、音量変化パターンの始点の指定区間に対する時間的位置は、指定区間における小節線を基準に設定され、「スタート位置」によるずらし量の設定がない「０」の場合は、音量変化パターンの始点が小節線に一致する。

時間的位置の指定は、図１４に示すようなボックス３０を表示装置１９に表示させて行う。例えば、ボックス３０をマウスポインタでクリックすると、「＋」または「−」と２分音符や８分音符等の音符種類とを組み合わせたものが複数表示される。ユーザは、これらの中から所望のものをクリックで選択する。例えば図１１に示すように、「＋」と８分音符との組み合わせが選択されると、８分音符分の長さだけ音量変化パターンの始点を遅い方向にずらすことができる。

図９に戻り、続くステップＳ９１８では、前記ステップＳ９１７で受け付けた設定値に沿った音量変化パターンを生成する。

図１５は、生成された音量変化パターン及び組み合わせによる複合的な音量変化パターンの一例を示す図である。図１１のような「変化パターンの選択」及び「組み合わせ波形の設定」を行った場合、「元の音量変化パターン」は図１５（ａ）に示すようになり、「組み合わせ波形」の音量変化パターンは同図（ｂ）示すようになる。そして、「元の音量変化パターン」と「組み合わせ波形」の音量変化パターンとを合成すると、同図（ｃ）に示すように、複合的な音量変化パターンが最終的な音量変化パターンとして生成される。これにより、自然なうねりのような変化を表現することができる。なお、自然なうねりを実現する観点からは、組み合わせる音量変化パターンは、周期が互いに異なっているのが望ましい。

次に、指定区間における小節線を基準に音量変化パターンの位置調整を行って、音量変化パターンを指定区間に対応させる（ステップＳ９１９）。

図１６は、楽譜と音量変化パターンの対応の一例を示す図である。

同図（ａ）は、フレーズが小節の先頭から始まる強起の楽譜例を示し、同図（ｃ）は、フレーズが小節の途中から始まる弱起の楽譜例を示す。例えば、同図（ｂ）に示すような音量変化パターンの始点をＳＴとすると、同図（ａ）の楽譜に対し、始点ＳＴが１小節目の先頭の小節線に設定される。

一方、「スタート位置」のずらしの設定があった場合でも、まずは同図（ｄ）に示すように、音量変化パターンの始点ＳＴは、同図（ｃ）の楽譜に対し、小節線に設定される。しかし、「スタート位置」の設定が、例えば「−」及び「付点４分音符」の組み合わせであった場合は、同図（ｅ）に示すように、８分音符３個分だけ早い方向へずらせた位置に始点ＳＴが設定される。これにより、弱起の場合にも容易に対応することができる。

なお、弱起の曲の場合でもフレーズの切れ目より小節線の方が表情付けにとって重要である場合もあるので、その場合は、弱起の曲であってもスタート位置のずらしを設定しないようにすればよい。

次に、ステップＳ９２０で、対応させて設定された音量変化パターンに合わせて、指定区間の音符の音量値（ベロシティ）を修正設定する。そして、修正設定した値によって、曲データを更新、記録して（ステップＳ９２１）、本処理を終了する。

なお、音量値の修正設定では、音量変化パターンに対して完全にベロシティ値の高さを合わせてしまうようにするが、既に設定されているベロシティ値を、音量変化パターンで規定される値に応じた割合で修正するようにしてもよい。

一方、前記ステップＳ９１５の判別の結果、「音量の変化処理」が選択されなかった場合は、その他の種類の表情付けを行い（ステップＳ９２２）、本処理を終了する。

本実施の形態によれば、周期的に変化する波形状の音量変化パターンが形成され、形成された音量変化パターンに基づいて、曲データの音量特性を修正するようにしたので、簡単な操作で音量に周期的変化を与え、クレシェンドやデクレシェンドほど明確ではない音量の微妙な変化を付加することができ、曲データに自然な表情付けを行うことができる。また、２種類以上の音量変化パターンを組み合わせた複合的な音量変化パターンを形成するようにしたので、自然なうねりのような変化を表現でき、より自然な表情付けを行うことができる。

また、指定区間に対する音量変化パターンの時間的位置は、小節線を基準に設定することで、複雑な作業をすることなく強起の場合に容易に対応することができると共に、時間的位置を任意にシフト可能にしたので、例えば、弱起の場合にも容易に対応でき、フレーズの進行に適した表情付けを可能として実用性を高めることができる。

また、音量変化パターンの変化カーブ種として直線だけでなく曲線も設けたので、より生々しい自然な変化を与えることができる。

なお、音量変化パターンの周期は、小節数で設定し、小節長の倍数に関係する長さに形成されるようにして、音楽的に自然な音量変化を容易に付すことができるようにしたが、これに限るものではない。例えば、１小節の半分の長さに設定できるようにしてもよい。

なお、音量変化パターンは各種値を設定して演算により生成するようにしたが、予め音量変化パターンテーブルを設けておき、該テーブルから所望の音量変化パターンを読み出すようにしてもよい。

なお、本実施の形態では、楽譜記号には現れないような微妙な抑揚の再現について考えたが、楽譜記号に現れるような明確な抑揚も同時に再現するようにしてもよい。その場合には、楽譜記号から求められるクレッシェンドやデクレッシェンドの方を、音量変化パターンによる周期的な抑揚よりも強調して再現するようにすれば、全体として楽譜上のクレッシェンド等による抑揚が聞き取れるが、それでもなお、一定感のない自然な変化を与えることができるようになる。

なお、音楽には楽譜に記載されていない必然的な抑揚がある。例えば、音階進行に従った抑揚とか、フレーズ終止では音量を弱めにする、等である。そのような様々な音量変化を音量変化パターンによる音量変化と併用することで、より自然な表情の再現が可能になる。

なお、上述した各実施の形態の機能を実現するためのソフトウェアのプログラムを記録した記憶媒体を、本演奏信号処理装置に供給し、コンピュータ（ＣＰＵ５やＭＰＵ）が記憶媒体に格納されたプログラムを読み出し実行することによっても、本発明の目的が達成されることはいうまでもない。

この場合、記憶媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。

プログラムを供給するための記憶媒体としては、たとえば、前記ＨＤＤ１１のハードディスク、ＣＤ−ＲＯＭ１２のディスク、ＭＯ、ＭＤ、ＦＤ２４、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどの可搬型の記憶媒体を用いることができる。プログラムは、上記各実施の形態のように可搬型の記憶媒体からＲＡＭ７に直接転送されるようにするほか、上記記憶媒体からＨＤＤ１１内のハードディスクに転送されるようにするようにしてもよい。また、他のＭＩＤＩ機器１００や通信ネットワーク１０１を介してサーバコンピュータ１０２からプログラムが供給されるようにしてもよい。

また、コンピュータが読み出したプログラムを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現されるようにしてもよい。

さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ５などが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現されるようにしてもよい。

本発明の第１の実施の形態に係る演奏信号処理装置の全体構成を示すブロック図である。 同形態におけるメインルーチンのフローチャートを示す図である。 図２のステップＳ２０２で実行されるパネル処理のフローチャートを示す図である。 図２のステップＳ２０２で実行されるパネル処理の図３の続きのフローチャートを示す図である。 曲データの分割態様及び抑揚データの一例を示す図である。 互いに対応する曲データの区分と抑揚データの区分の１組を例示した図である（抑揚データの伸張前）。 互いに対応する曲データの区分と抑揚データの区分の１組を例示した図である（抑揚データの伸張後）。 互いに対応する曲データの区分と抑揚データの区分の１組を例示した図である（ベロシティ変更後）。 本発明の第２の実施の形態において図２のステップＳ２０２で実行されるパネル処理のフローチャートを示す図である。 図２のステップＳ２０２で実行される図９の続きのパネル処理のフローチャートを示す図である。 表示装置に表示される音量変化パターンの選択メニューの一例を示す図である。 設定される音量変化パターンの一例を示す図である。 変化カーブ種の例を示す図である。 時間的位置の指定の手法を示す図である。 生成された音量変化パターン及び組み合わせによる複合的な音量変化パターンの一例を示す図である。 楽譜と音量変化パターンの対応の一例を示す図である。

符号の説明

２ パネルスイッチ、 ３ 押鍵検出回路、 ５ ＣＰＵ、 ７ ＲＡＭ、 ９ 表示制御回路、 １１ ハードディスクドライブ（ＨＤＤ）、 １５ 音源回路、 １６ 効果回路、 １７ サウンドシステム、 １９ 表示装置、 ２０ マウス情報検出回路、 ２１ マウス

Claims (6)

1. 曲データの編集が可能な演奏信号処理装置において、
   曲データを入力する曲データ入力手段と、
   前記曲データ入力手段により入力された曲データのうち編集を行う区間を指定する区間指定手段と、
   ユーザの指示に応じて周期を設定する周期設定手段と、
   前記周期設定手段により設定された周期でレベル値が周期的に変化する音量変化パターンを形成するパターン形成手段と、
   前記入力された曲データのうち前記区間指定手段により指定された区間の時間軸と前記パターン形成手段により形成された音量変化パターンの時間軸とを対応付ける時間軸対応付け手段と、
   前記入力された曲データの前記指定された区間に含まれる発音指示情報の各々について、各発音指示情報に含まれる音量情報の値を、当該各発音指示情報の時間位置に対応する、前記音量変化パターンのレベル値に基づいて設定する音量設定手段とを有することを特徴とする演奏信号処理装置。
2. 前記パターン形成手段は、周期の異なる複数の音量変化パターンを合成することを特徴とする請求項１記載の演奏信号処理装置。
3. 前記音量変化パターンの１周期は、小節長の倍数に関係する長さであることを特徴とする請求項１または２記載の演奏信号処理装置。
4. 前記音量変化パターンは、前記曲データの前記区間に対する時間位置が、前記区間における小節線を基準に設定されることを特徴とする請求項１〜３のいずれか１項に記載の演奏信号処理装置。
5. 前記時間軸対応付け手段は、前記区間の始点に対する相対的な時間位置を指定すると共に、該指定された時間位置を前記音量変化パターンの適用開始位置として、前記区間の時間軸と前記音量変化パターンの時間軸とを対応付けることを特徴とする請求項１〜３のいずれか１項に記載の演奏信号処理装置。
6. 曲データの編集を行うための、コンピュータに実行させる演奏信号処理プログラムであって、
   編集対象となる曲データを記憶手段に記憶させる記憶モジュールと、
   前記記憶手段に記憶された曲データのうち編集を行う区間を指定する区間指定モジュールと、
   ユーザの指示に応じて周期を設定する周期設定モジュールと、
   前記周期設定モジュールにより設定された周期でレベル値が周期的に変化する音量変化パターンを形成するパターン形成モジュールと、
   前記入力された曲データのうち前記区間指定モジュールにより指定された区間の時間軸と前記パターン形成モジュールにより形成された音量変化パターンの時間軸とを対応付ける時間軸対応付けモジュールと、
   前記入力された曲データの前記指定された区間に含まれる発音指示情報の各々について、各発音指示情報に含まれる音量情報の値を、当該各発音指示情報の時間位置に対応する、前記音量変化パターンのレベル値に基づいて設定する音量設定モジュールとを有することを特徴とする演奏信号処理プログラム。

Images