JP3915807B2 - 奏法自動判定装置及びプログラム - Google Patents

Description

この発明は、演奏データの特徴に基づき新たに適用すべき音楽的表現の判定を行う奏法自動判定装置及びプログラムに関する。特にリアルタイム演奏時において、所謂タンギング奏法を表現した演奏を自動的に行うことのできるようにした奏法自動判定装置及びプログラムに関する。

最近では、演奏者による演奏操作子の操作に伴い発生される演奏データ、あるいは予め用意された演奏データに基づいて電子的に楽音を発生する電子楽器が普及している。こうした電子楽器で用いられる演奏データは楽譜上の各音符や音楽記号に対応するＭＩＤＩデータなどとして構成されるが、一連の音符列の各音高をノートオン情報やノートオフ情報などの音高情報のみで構成すると、例えば該演奏データを再生することにより行われる楽音の自動演奏などでは機械的な無表情な演奏が行われることになってしまい、音楽的に不自然である。そこで、従来から、演奏データに基づく自動演奏をより音楽的に自然な演奏、美しい演奏、生々しい演奏とするために、演奏データ中の特徴に基づいて奏法等に応じた様々な音楽的な表現の判定を行い、該判定した奏法を自動的に付加しながら自動演奏を行うことのできるようにした奏法自動判定装置が知られている。こうした奏法自動判定装置の１例としては、例えば下記に示す特許文献１に記載の装置がある。従来知られた奏法自動判定装置においては、演奏データ中の特徴に基づき様々な音楽的な表情や楽器により特徴付けられる奏法（若しくはアーティキュレーション）を自動的に判定し、演奏データに付加する。例えば、演奏データの中からスタッカートやレガートなどの奏法を行うのに適した箇所を自動的に判定し、該検索箇所の演奏データに対してスタッカートやレガート（スラーとも呼ぶ）などの奏法を実現することの可能な演奏情報を新たに付加している。
特開2003-271139号公報

ところで、従来の奏法自動判定装置では、相前後して発生される少なくとも２つの音に対し適用すべき奏法の判定を行う場合に、後続する１音である２音目に関する演奏データを本来の演奏時間到来前に先行取得しておき、これに基づいて相前後して発生される少なくとも２つの音に適用すべき奏法の判定を行っていた（所謂プレイバック）。そのため、リアルタイム演奏時においては、特に管楽器の演奏時に特徴的に表れる所謂タンギング奏法（あるいは弦楽器の演奏時に特徴的に表れる弓返しなど）を適用することが困難である、という問題点があった。すなわち、リアルタイム演奏時においては、該当する演奏データがプレイバックされることなく、演奏進行に応じてリアルタイムに供給される。そうした場合に、例えばレガート奏法（スラー奏法）のような相前後する少なくとも２音をつなげて発音する奏法は、１音目の演奏終了前に２音目の演奏データ（詳しくはノートオンイベント）が得られるので、２音目の始まりには１音目の終わりと２音目の始まりをつなげたジョイント系の奏法であるレガート奏法を適用することができる。ところが、タンギング奏法のような1瞬だけ２音間が区切られて発音される奏法では、１音目の演奏が終了する時点では未だ２音目に関する演奏データ（詳しくはノートオンイベント）が得られないことから、２音目の始まりに通常の奏法を適用するか、タンギング奏法を適用するかの判定を行うことができない。そのため、２音間が区切られている場合には、１音目の終わりと２音目の始まりにはそれぞれ無音へ続くリリース系の奏法と無音から立ちあがるアタック系の奏法とからなる通常の奏法が適用されていた。このように、従来においてはタンギング奏法を適用できる場合であったとしても、タンギング奏法を適用することができずに通常の奏法が適用されてしまうこととなり、タンギング奏法が表現されることがなかった。

本発明は上述の点に鑑みてなされたもので、相前後して発生される少なくとも２つの音の間の所定の時間関係を示す時間に基づき、リアルタイムに演奏される現在の楽音に対して適用すべき奏法を判別することにより、リアルタイム演奏時に自動的にタンギング奏法を表現しながら演奏することのできるようにした奏法自動判定装置及びプログラムを提供しようとするものである。

本発明に係る奏法自動判定装置は、演奏進行に応じてリアルタイムに演奏イベント情報を供給する供給手段と、１音のアタック部分の奏法を複数記憶する記憶手段と、時間情報を含む奏法判定条件を設定する条件設定手段と、前記リアルタイムに供給された演奏イベント情報に基づき、相前後して発生される少なくとも２つの音の間の時間間隔を測定する時間測定手段と、前記設定された奏法判定条件に含まれる時間情報と前記測定した時間とを比較し、該比較に基づきリアルタイムに演奏される現在の楽音に対して奏法を前記記憶手段に含まれる奏法に基づき判別する奏法判別手段とを具える。

本発明によると、供給手段により演奏進行に応じてリアルタイムに演奏イベント情報が供給されると、時間測定手段は前記リアルタイムに供給された演奏イベント情報に基づき、相前後して発生される少なくとも２つの音の間の時間間隔を測定する。奏法判別手段は、条件設定手段により設定された時間情報を含む奏法判定条件と前記測定した時間とを比較し、該比較に基づきリアルタイムに演奏される現在の楽音に対して奏法を、記憶手段に含まれるアタック部分の複数の奏法に基づき判別する。このように、リアルタイムに供給された演奏イベント情報から相前後する少なくとも２つの音の間の時間間隔を測定することに基づき、リアルタイムに演奏される現在の楽音に対して適用すべきアタック部分の奏法の判別を行うようにしたことによって、タンギング奏法のような1瞬だけ２音間が区切られて発音される奏法であっても、これを区別して選択することができることとなり、リアルタイム演奏時においても自動的にタンギング奏法を表現しながら演奏することができるようになる。

本発明は、装置の発明として構成し、実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

本発明によれば、リアルタイムに供給される演奏イベント情報から相前後して発生される少なくとも２つの音の間の所定の時間関係を示す時間に基づき、リアルタイムに演奏される現在の楽音に対して適用すべき奏法を判別するようにしたことで、リアルタイム演奏時においても自動的にタンギング奏法を表現しながら演奏を行うことができるようになる、という効果が得られる。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る奏法自動判定装置を適用した電子楽器のハードウエア構成例を示すブロック図である。ここに示す電子楽器は、演奏者による演奏操作子５の操作に伴い演奏進行に応じてリアルタイムに供給される演奏データ（詳しくは演奏イベント情報）に基づいて電子的な楽音を発生させたり、あるいは演奏進行順にリアルタイムに供給される複数の演奏イベント情報を含む演奏データに基づいて曲（又は伴奏）などの楽音を連続的に発生させることのできる演奏機能を有している。また、こうした演奏機能の実行時において、演奏者による演奏操作子５の操作に伴う演奏進行に応じてリアルタイムに供給される演奏データ、あるいは演奏進行順に順次に供給される演奏データの特徴に基づき新たに適用すべき音楽的表現の判定（奏法判定）を行い、該判定に従って特に所謂タンギング奏法と呼ばれる奏法を付加しながら演奏を行うことのできるようにした奏法付加機能を有する。ここで、所謂タンギング奏法と呼ばれる奏法は例えばサックスなどの管楽器の演奏時に特徴的に表れる奏法であって、演奏者がサックスの吹き口を一旦舌で止めることにより音を切った瞬間に指を変えて音を変更する奏法であり、一瞬だけ音が途切れるようにして発音されるものである。なお、これに似たものとして、バイオリンなどの弦楽器の演奏時に行われる弓返しがある。そこで、この明細書においては、弓返しなどによる一瞬だけ音が途切れるようにして発音される音楽的表現などを含め、こうした奏法を便宜的にタンギング奏法と呼ぶことにする。

図１に示した電子楽器はコンピュータを用いて構成されており、そこにおいて、前記演奏機能を実現する「演奏処理」（図示せず）及び前記奏法付加機能を実現する「奏法自動判定処理」（後述する図４参照）は、コンピュータが各々の処理を実現する所定のプログラム（ソフトウエア）を実行することにより実施される。勿論、これらの各処理はコンピュータソフトウエアの形態に限らず、ＤＳＰ（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよい。

本実施例に示す電子楽器は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータの制御の下に各種の処理が実行されるようになっている。ＣＰＵ１は、この電子楽器全体の動作を制御するものである。このＣＰＵ１に対して、通信バス１Ｄ（例えば、データ及びアドレスバスなど）を介してＲＯＭ２、ＲＡＭ３、外部記憶装置４、演奏操作子５、パネル操作子６、表示器７、音源８、インタフェース９がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。すなわち、タイマ１Ａは時間間隔を計数したり、所定の演奏データに従って楽曲を演奏する際の演奏テンポを設定したりするためのテンポクロックパルスを発生する。このテンポクロックパルスの周波数は、パネル操作子６の中の例えばテンポ設定スイッチ等によって調整される。このようなタイマ１ＡからのテンポクロックパルスはＣＰＵ１に対して処理タイミング命令として与えられたり、あるいはＣＰＵ１に対してインタラプト命令として与えられる。ＣＰＵ１は、これらの命令に従って各種処理を実行する。各種処理としては、より自然な演奏や生々しい演奏を行うための様々な楽器毎の特有な奏法として、タンギング奏法を適用するか否かを判定する「奏法自動判定処理」（図４参照）等がある。なお、この実施例に示す電子楽器は上記した以外のハードウェアを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。

ＲＯＭ２は、ＣＰＵ１により実行される各種プログラム、あるいは波形メモリとして様々な楽器毎の特有な奏法に対応する波形データ（例えば、後述する図２（ｂ）に示す奏法モジュール）などの各種データを格納するものである。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。外部記憶装置４は、自動演奏の元となる演奏データや奏法に対応する波形データなどの各種データや、ＣＰＵ１により実行あるいは参照される「奏法自動判定処理」（図４参照）などの各種制御プログラム等を記憶する。前記ＲＯＭ２に制御プログラムが記憶されていない場合、この外部記憶装置４（例えばハードディスク）に制御プログラムを記憶させておき、それを前記ＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置４はハードディスク（ＨＤ）に限られず、フレキシブルディスク（ＦＤ）、コンパクトディスク（ＣＤ−ＲＯＭ・ＣＤ−ＲＡＭ）、光磁気ディスク（ＭＯ）、あるいはＤＶＤ（Digital Versatile Disk）等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。

演奏操作子５は楽音の音高を選択するための複数の鍵を備えた、例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子５は演奏者自身の手弾きによる楽音のリアルタイム演奏のために使用できるのは勿論のこと、自動演奏対象とする予め用意されている演奏データを選択するなどの入力手段として使用することもできる。勿論、演奏操作子５は鍵盤等の形態に限らず、楽音の音高を選択するための弦を備えたネック等のような形態のものなど、どのようなものであってもよいことは言うまでもない。パネル操作子（スイッチ等）６は、例えば自動演奏対象とする演奏データを選択するための演奏データ選択スイッチ、タンギング奏法を適用する判定条件（奏法判定条件）を入力する「判定条件入力画面」（図示せず）を呼び出すための判定条件入力スイッチ等、各種の操作子を含んで構成される。勿論、演奏データに基づいて自動演奏を行う際に用いる音高、音色、効果等を選択・設定・制御するために用いられる数値データ入力用のテンキーや文字データ入力用のキーボード、あるいは表示器７に表示された各種画面の位置を指定するポインタを操作するマウスなどの各種操作子を含んでいてもよい。表示器７は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイであって、上記スイッチ操作に応じた各種画面を表示するのは勿論のこと、演奏データや波形データなどの各種情報あるいはＣＰＵ１の制御状態などを表示することもできる。

音源８は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス１Ｄを経由して与えられた演奏データを入力し、この演奏データに基づいて楽音を合成して楽音信号を発生する。すなわち、演奏データ内の奏法指定情報（奏法イベント）に対応する波形データがＲＯＭ２や外部記憶装置４などから読み出されると、該読み出された波形データはバスラインを介して音源８に与えられて適宜バッファ記憶される。そして、音源８ではバッファ記憶された波形データを所定の出力サンプリング周波数にしたがって出力する。この音源８から発生された楽音信号は、図示しない効果回路（例えばＤＳＰ（Digital Signal Processor））などにより所定のディジタル信号処理が施され、該信号処理された楽音信号はサウンドシステム８Ａに与えられて発音される。

インタフェース９は該電子楽器と外部の演奏データ生成機器（図示せず）などとの間で各種情報を送受するための、例えばＭＩＤＩインタフェースや通信インタフェースなどである。ＭＩＤＩインタフェースは、外部の演奏データ生成機器（この場合には、他のＭＩＤＩ機器等）からＭＩＤＩ規格の演奏データを当該電子楽器へ供給したり、あるいは当該電子楽器からＭＩＤＩ規格の演奏データを他のＭＩＤＩ機器等へ出力するためのインタフェースである。他のＭＩＤＩ機器はユーザによる操作に応じてＭＩＤＩ形式のデータを発生する機器であればよく、鍵盤型、ギター型、管楽器型、打楽器型、身振り型等どのようなタイプの操作子を具えた（若しくは、操作形態からなる）機器であってもよい。通信インタフェースは、例えばＬＡＮやインターネット、電話回線等の有線あるいは無線の通信ネットワーク（図示せず）に接続されており、概通信ネットワークを介して、外部の演奏データ生成機器（この場合には、サーバコンピュータ等）と接続され、当該サーバコンピュータから制御プログラムや演奏データなどの各種情報を該電子楽器に取り込むためのインタフェースである。すなわち、ＲＯＭ２や外部記憶装置４等に制御プログラムや演奏データなどの各種情報が記憶されていない場合に、サーバコンピュータから各種情報をダウンロードするために用いられる。クライアントとなる電子楽器は、通信インターフェース及び通信ネットワークを介してサーバコンピュータへと制御プログラムや演奏データなどの各種情報のダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求された各種情報を通信ネットワークを介して本電子楽器へと配信し、本電子楽器が通信インタフェースを介して各種情報を受信して外部記憶装置４等に蓄積することにより、ダウンロードが完了する。

なお、上記インタフェース９をＭＩＤＩインタフェースで構成した場合、該ＭＩＤＩインタフェースは専用のＭＩＤＩインタフェースを用いるものに限らず、ＲＳ２３２−Ｃ、ＵＳＢ（ユニバーサル・シリアル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインタフェースを用いてＭＩＤＩインタフェースを構成するようにしてもよい。この場合、ＭＩＤＩイベントデータ以外のデータをも同時に送受信するようにしてもよい。ＭＩＤＩインタフェースとして上記したような汎用のインタフェースを用いる場合には、他のＭＩＤＩ機器はＭＩＤＩイベントデータ以外のデータも送受信できるようにしてよい。勿論、音楽情報に関するデータフォーマットはＭＩＤＩ形式のデータに限らず、他の形式であってもよく、その場合はＭＩＤＩインタフェースと他のＭＩＤＩ機器はそれにあった構成とする。

ここで、上述したＲＯＭ２や外部記憶装置４などに記憶される演奏データ及び波形データについて、図２を用いてそれぞれ簡単に説明する。まず、演奏データについて説明する。図２（ａ）は、演奏データの一実施例を説明するための概念図である。

演奏データはＳＭＦ（Standard MIDI File）等のＭＩＤＩ形式のファイルで格納される、例えば１曲分の楽音全体を表わすデータである。該演奏データは、タイミングデータとイベントデータとの組み合わせからなる。イベントデータは、楽音の発音を指示するノートオンイベントや楽音の消音を指示するノートオフイベント、あるいは奏法を指示する奏法指定イベント等の演奏イベント情報に関するデータである。このイベントデータは、タイミングデータと組み合わされて使用される。本実施例でのタイミングデータとは、イベントデータから次のイベントデータまでの時間間隔を示す時間データ（すなわち、デュレーションデータ）であるがこれに限らず、ある特定の時間からの相対時間、あるいは絶対時間そのものを用いる等どのようなフォーマットでもよい。なお、通常のＳＭＦでは、時刻を示すものは秒などの時刻ではなく、例えば４分音符を４８０等分したものを１ティックとし、その数で表現する。要するに、演奏データの形式としては、イベントの発生時刻を曲や小節内における絶対時間で表した『イベント＋絶対時間』形式のもの、イベントの発生時刻を１つ前のイベントからの時間で表した『イベント＋相対時間』形式のもの、音符の音高と符長あるいは休符と休符長で演奏データを表した『音高（休符）＋符長』形式のもの、演奏の最小分解能毎にメモリの領域を確保し、演奏イベント情報の発生する時刻に対応するメモリ領域にイベントを記憶した『ベタ方式』形式のものなど、どのような形式のものでもよい。なお、演奏データは複数トラック分のイベントデータが混在して記録されているもの、つまりイベントデータをその割り当てられたトラックにかかわらず出力順に１列に並べて記憶しているものに限らず、各イベントデータを各トラック毎に独立して記憶するように演奏データを構成してもよいことは言うまでもない。なお、演奏データは上記イベントデータやタイミングデータの他に、各種音源コントロールデータ（例えばボリュームなどを制御するデータ）などを含んでいてよい。

次に、波形データについて説明する。図２（ｂ）は、波形データの一実施例を説明するための概念図である。ただし、ここでは様々な楽器毎の特有な奏法に対応する波形データとして、アタック部、リリース部、ボディ部などの一音についての一部区間において各奏法に対応した波形全体（これを奏法モジュールと呼ぶ）を記憶しておき、これを時系列的に複数組み合わせることで一音の楽音を形成することで、自然楽器固有の各種奏法若しくはアーティキュレーションによる音色変化を忠実に表現した奏法などのリアルな再現とその制御を目的としたＡＥＭ（Articulation Element Modeling）と称する楽音波形制御技術を用いた音源（所謂ＡＥＭ音源）に用いるのに適した波形データを例に示した。

上述したＲＯＭ２や外部記憶装置４においては、楽器毎の種々の奏法に対応する波形を再生する多数のオリジナルの奏法波形データとそれに関連するデータ群を「奏法モジュール」として記憶している。１つの「奏法モジュール」とは、奏法波形合成システムにおいて１つのかたまりとして処理できる奏法波形の単位である。別の言い方をすると、「奏法モジュール」とは、１つのイベントとして処理できる奏法波形の単位である。「奏法モジュール」は、奏法波形データと奏法パラメータとの組み合わせからなるデータである。図２（ｂ）から理解できるように、種々有る奏法モジュールの奏法波形データの中には、例えば演奏音の奏法的特徴に応じて、アタック部やボディ部あるいはリリース部等の１音の部分的区間に対応して定義されているものもあれば（アタック系、ボディ系、リリース系の各奏法モジュール）、また、スラーのような音と音のつなぎの区間であるジョイント部に対応して定義されているものもある（ジョイント系奏法モジュール）。

こうした各奏法モジュールは、奏法の特徴若しくは演奏の時間的部位又は区間等に基づき、大きくいくつかの種類に分類することができる。その例を示すと、次の５種類を挙げることができる。
１）「ノーマルヘッド（略称ＮＨ）」： （無音状態からの）音の立ち上がり部分（つまり「アタック」部）を受け持つアタック系奏法モジュール。
２）「ノーマルフィニッシュ（略称ＮＦ）」： （無音状態への）音の立ち下がり部分（つまり「リリース」部）を受け持つリリース系奏法モジュール。
３）「スラージョイント（略称ＳＪ）」： ２つの音を（無音状態を経由せずに）スラーで接続する部分（つまり「ジョイント」部）を受け持つジョイント系奏法モジュール。
４）「ノーマルボディ（略称ＮＢ）」： ビブラートのかからない、音の立ち上がり以降から立ち下がり以前までの部分（つまり「ボディ」部）を受け持つボディ系奏法モジュール。
５）「ジョイントヘッド（略称ＪＨ）」： 通常のアタックとは異なる特殊な奏法であるタンギング奏法を実現した音の立ち上がり部分を受け持つアタック系奏法モジュール。
なお、上記５種類の分類法は本明細書での説明のための一例にすぎず、他の分類法を採用してもよいし、更に多くの種類が存在してもよい。また、奏法モジュールは、奏者、楽器の種類、演奏ジャンル等のオリジナル音源別にも分類されるのは勿論である。

この実施例において、１つの奏法モジュールに対応する１つの奏法波形データはそのままデータベースに記憶されているのではなく、複数の波形構成要素の集合からなるものとしてデータベースに記憶されている。この波形構成要素を、以下、「ベクトル」という。１つの奏法モジュールに対応するベクトルの種類には、一例として下記のようなものがある。なお、調和成分及び調和外成分とは、対象たるオリジナルの奏法波形をピッチ調和成分からなる波形ととそれ以外の残りの波形成分とに分離することで定義されるものである。
１．調和成分の波形（Timbre）ベクトル： 調和成分の波形構成要素のうち、ピッチと振幅をノーマライズした波形形状のみの特徴を抽出したもの。
２．調和成分の振幅（Amplitude）ベクトル： 調和成分の波形構成要素のうち、振幅エンベロープ特性を抽出したもの。
３．調和成分のピッチ（Pitch）ベクトル： 調和成分の波形構成要素のうち、ピッチ特性を抽出したもの（例えば或る基準ピッチを基準にした時間的ピッチ変動特性を示すもの）。
４．調和外成分の波形（Timbre）ベクトル： 調和外成分の波形構成要素のうち、振幅をノーマライズした波形形状（ノイズ的波形）のみの特徴を抽出したもの。
５．調和外成分の振幅（Amplitude）ベクトル： 調和外成分の波形構成要素のうち、振幅エンベロープ特性を抽出したもの。
上記のほかに、更に別の種類のベクトル（例えば、波形の時間軸の進行を示す時間ベクトル）が含まれていてもよいが、便宜上、本実施例ではその説明を省略する。

なお、奏法波形の合成に際しては、これらのベクトルデータに対して制御データに応じた加工処理を適宜施して時間軸上に配置することで、奏法波形の各構成要素に対応する波形若しくはエンベロープを演奏音の再生時間軸に沿ってそれぞれ構築し、このようにして時間軸上に配置された各ベクトルデータに基づいて所定の波形合成処理を行うことで、奏法波形を生成する。例えば、調和波形ベクトルに調和ピッチベクトルに応じたピッチ及びその時間変化特性を付与すると共に調和振幅ベクトルに応じた振幅及びその時間変化特性を付与することで調和成分の波形を合成し、調和外波形ベクトルに調和外振幅ベクトルに応じた振幅及びその時間変化特性を付与することで調和外成分の波形を合成し、調和成分の波形と調和外成分の波形とを加算合成することで、最終的な所定の奏法的特徴を示す演奏音波形つまり奏法波形を生成することができる。

各奏法モジュールは、図２（ｂ）に示すような奏法波形データと共に奏法パラメータを含むデータである。奏法パラメータは、当該奏法モジュールに係る波形の時間やレベルなどを制御するためのパラメータである。奏法パラメータには、各奏法モジュールの性格に応じて適宜異なる１又は複数種類のパラメータが含まれていてよい。例えば、「ノーマルヘッド」や「ジョイントヘッド」の場合には、発音開始直後の絶対音高や音量などの種類の奏法パラメータが含まれていてよいし、「ノーマルボディ」の場合には、当該奏法モジュールの絶対音高、ノーマルボディの終了時刻−開始時刻、ノーマルボディ開始時のダイナミクス、ノーマルボディ終了時のダイナミクスなどの種類の奏法パラメータが含まれていてよい。この「奏法パラメータ」は、ＲＯＭ２等によって予め記憶されていてもよいし、あるいはユーザの入力操作によって入力するようにしたり、あるいは既存のパラメータをユーザの操作によって適宜変更できるようになっていたりしてもよい。また、奏法波形の再生に際して、奏法パラメータが与えられなかったような場合には標準的な奏法パラメータを自動的に付加するようにしてもよい。また、処理の過程で、適宜のパラメータが自動的に生成されて付加されるようになっていてもよい。

図１に示した電子楽器においては、演奏者による演奏操作子の操作に伴い発生される演奏データ、あるいは予め用意された演奏データに基づいて曲（又は伴奏）などの楽音を連続的に発生させることのできる演奏機能を有すると共に、該演奏機能の実行時において、リアルタイムに供給される演奏データの特徴に基づき新たに適用すべき音楽的表現の判定（奏法判定）を行い、該判定に従って特に所謂タンギング奏法と呼ばれる奏法を付加しながら演奏を行うことのできるようにした奏法付加機能を有する。そこで、これらの各機能の概要について、図３を用いて説明する。図３は、当該電子楽器が有する奏法自動判定機能と演奏機能とを説明するための機能ブロック図である。図３において、図中の矢印はデータの流れを表すものである。

判定条件指定部Ｊ１は、判定条件入力スイッチ操作に応じて「判定条件入力画面」（図示せず）を表示器７上に表示し、奏法を付加するための判定条件の入力を受け付ける。演奏機能の開始に伴い、まず奏法自動判定部Ｊ２に対して、演奏者による演奏操作子５の操作に応じて、あるいは予め指定された演奏データから演奏進行順に応じて、リアルタイムに演奏イベント情報が順次に供給される。供給される演奏データは少なくとも演奏イベント情報、つまりノートオンイベントやノートオフイベント（これらを総称してノートデータと呼ぶ）や奏法指定イベントなどの演奏イベント情報を含み、該演奏イベント情報が演奏進行順にリアルタイムに供給されることでリアルタイム演奏は実現される。奏法自動判定部Ｊ２では「奏法自動判定処理」（後述する図４参照）を実行し、供給された演奏イベント情報に対して奏法を自動的に付加する。すなわち、奏法自動判定部Ｊ２では判定条件指定部Ｊ１からの判定条件に従って、演奏イベント情報において奏法指定がなされていない音符（ノート）に対してのみ新たに所定の奏法（判定奏法）を付加するか否かを判定する。そして、奏法自動判定部Ｊ２は新たに奏法を付加すると判定した場合、該判定奏法を演奏イベント情報に付加して楽音合成部Ｊ４に送る。楽音合成部Ｊ４では奏法自動判定部Ｊ２が出力した判定奏法付きの新たな演奏イベント情報に基づいて、奏法波形記憶部（波形メモリ）Ｊ３から該当する奏法を実現する波形データを読み出し楽音合成を行い、楽音を出力する。すなわち、判定奏法に従い奏法を切り替えながら楽音合成を行う。このようにして、音源８が例えばＡＥＭ音源のような奏法対応機能を持つ音源である場合には、上記判定の結果得られた奏法指定情報を音源に渡すことで高品位の奏法表現を実現することができる。他方、音源８が奏法対応機能を持たない音源である場合には、上記奏法指定情報のかわりに、波形を切り替えたり、ＥＧその他の形状等を適切に指定した音源制御情報を音源に渡すことで、奏法表現を実現することは言うまでもない。

上述したように、演奏データを一連の音符列の時間、音長、音高情報のみで構成すると機械的な無表情な演奏が再生されることとなり、こうした演奏は音楽的に非常に不自然である。本発明に係る奏法自動判定装置は、リアルタイムに供給される演奏データに対してタンギング奏法に関する演奏情報を自動的に付加することで、リアルタイム演奏をより楽器らしさが表われた演奏とすることができよい。そこで、リアルタイムに供給される演奏データに対して自動的にタンギング奏法を付加する「奏法自動判定処理」について、図４に従って説明する。図４は、該電子楽器におけるＣＰＵ１で実行する「奏法自動判定処理」の一実施例を示したフローチャートである。該「奏法自動判定処理」は、例えばパネル操作子６における「自動表情付け開始スイッチ」の操作に伴って、ＣＰＵ１で実行される処理である。

まず、ステップＳ１では、供給された演奏イベント情報がノートオンイベントであるか否かを判定する。ノートオンイベントでなく、ノートオフイベントである場合には（ステップＳ１のＮＯ）、現在ノートのノートオフ時刻を取得し、これを記録しておく（ステップＳ３）。ノートオンイベントである場合には（ステップＳ１のＹＥＳ）、既にヘッド奏法が指定されているか否かを判定する（ステップＳ２）。すなわち、新たな１音（これを現在ノートと呼ぶ）を生成する際に、アタック部の奏法（ヘッド奏法）を指定する奏法指定イベントが既に指定済みであるかを判定する。既にヘッド奏法が指定されている場合には（ステップＳ２のＹＥＳ）、新たな奏法を自動的に付加する必要がないので指定されたヘッド奏法を付加すべき奏法と判定し（ステップＳ９）、ステップＳ１１の処理へジャンプする。この場合には、供給された奏法指定イベントをそのまま楽音合成部Ｊ４に対して送ることになる。未だヘッド奏法が指定されていない場合には（ステップＳ２のＮＯ）、現在ノートのノートオン時刻を取得する（ステップＳ４）。そして、ステップＳ５では、該取得した現在ノートのノートオン時刻から記録済みのノートオフ時刻を減算することによって、１つ前のノートと現在ノート間の休符長を計算する（ステップＳ５）。すなわち、１つ前のノート１音の演奏終了から現在ノート１音の演奏開始までの時間を求める。

ステップＳ６では、求めた休符長が「０」より小さいか否かを判定する。休符長が「０」より小さく負であると判定した場合（ステップＳ６のＹＥＳ）、つまり相前後する２音が重なっている場合には、該ノート１音は１つ前のノート１音とスラーで接続される連続した音であるとして、アタック系奏法の奏法モジュールを用いることなく、ジョイント系奏法の奏法モジュールであるスラージョイント奏法を用いるよう判定を行う（ステップＳ７）。一方、休符長が「０」より小さくないと判定した場合（ステップＳ６のＮＯ）、つまり相前後する２音が重なっていない場合には、休符長がジョイントヘッド判定時間よりも短いか否かを判定する（ステップＳ８）。ここで、ジョイントヘッド判定時間は予め設定されている奏者、楽器の種類、演奏ジャンル毎に異なる時間長であって、ユーザが適宜に「判定条件入力画面」を用いて設定又は変更することができるようになっているパラメータである。休符長がジョイントヘッド判定時間よりも短い時間長でないと判定した場合には（ステップＳ８のＮＯ）、該ノート１音はタンギング奏法を適用しない音であるとしてアタック系奏法として用いる奏法モジュールをノーマルヘッド奏法と判定する（ステップＳ９）。一方、休符長がジョイントヘッド判定時間よりも短い時間長であると判定した場合には（ステップＳ８のＹＥＳ）、該ノート１音はタンギング奏法を適用する音であるとしてアタック系奏法として用いる奏法モジュールをジョイントヘッド奏法と判定する（ステップＳ１０）。ステップＳ１１では、記録済みのノートオフ時刻を初期化する。この実施例においては、初期化として記録済みのノートオフ時刻に対してＭＡＸ値を設定すればよい。

ここで、上述した「奏法自動判定処理」（図４参照）により行われる奏法判定の結果に基づいて、最終的に生成される波形について図５を用いて説明する。図５は、直前ノートとそれに続く現在ノートまでの休符長毎に対応して生成される音の波形を示す概念図である。この実施例では、図の左側に判定条件と休符長との時間的な関係を示し、図の右側に判定奏法に基づき生成される波形をエンベロープ波形で示した。

直前ノート１音のノートオフ時刻から現在ノートのノートオン時刻までの時間長（つまり休符長：図中において長方形で音符長を示した先行する直前ノートの最後から後続する現在ノートの始まりまで）がジョイントヘッド判定時間よりも長い場合には、ノーマルヘッド奏法が選択される（図４のステップＳ９参照）。したがって、この場合には図５（ａ）に示すように各ノートをノーマルヘッド（ＮＨ）とノーマルボディ（ＮＢ）とノーマルフィニッシュ（ＮＦ）とを組み合わせたものにより表わし、それぞれのノートをジョイント系奏法モジュールで接続していない独立した音の波形として表わすことになる。連続するノート間の休符長が０よりも小さい場合には、スラージョイント奏法が選択される（図４のステップＳ７参照）。したがって、この場合には図５（ｂ）に示すように先行するノートのノーマルフィニッシュと後続するノートのノーマルヘッドがスラージョイント（ＳＪ）に置きかえられたものにより連続するノートの波形を表わすことになる。連続するノート間の休符長がジョイントヘッド判定時間よりも短い場合には、アタック系奏法としてジョイントヘッドが選択される（図４のステップＳ１０参照）。したがって、この場合には図５（ｃ）に示すように、従来通りに直前ノートをノーマルヘッド（ＮＨ）とノーマルボディ（ＮＢ）とノーマルフィニッシュ（ＮＦ）とを組み合わせた独立した１音の波形として表す一方で、後続する現在ノートをジョイントヘッド（ＪＨ）とノーマルボディ（ＮＢ）とノーマルフィニッシュ（ＮＦ）とを組み合わせたタンギング奏法を表現した独立する１音の波形として表わすことになる。
なお、図５（ｂ）において演奏進行が図示した現在ノートのノートオン時刻からさらに進行した場合、上記した奏法自動判定処理では図示した直前ノートのノートオフ時刻を取得するが（図４のステップＳ３参照）、該取得した直前ノートのノートオフ時刻は無視してそれ以降の処理を続けて次に続くノートとの奏法判定を行うようにするとよい。

このように、演奏データ中において奏法が付与されていない連続するノート間の休符長がジョイントヘッド判定時間よりも長いような場合には、ノーマルフィニッシュで終端された前ノートに続くノートの始端をノーマルヘッドで始まらせ、それぞれのノート間を独立した音として表わす。一方、連続するノート間の休符長がジョイントヘッド判定時間よりも短いような場合には、ノーマルフィニッシュで終端された前ノートに続くノートの始端をジョイントヘッドで始まらせ、それぞれのノート間を独立した音として表わす。さらに、連続するノート間の休符長が「０」より小さいような場合には、スラージョイントを用いて各ノートを連続する波形として表わす。このようにして、アタック系奏法モジュールと、ボディ系奏法モジュールと、リリース系奏法モジュール（あるいはジョイント系奏法モジュール）とを組み合わせることによって１音全体（あるいは連続する音）の楽音を合成する。

以上のようにして、リアルタイム演奏時において、処理対象とする現在ノートのノートイベントに対して時間的に直前に位置する直前ノートのノートオフ時刻と、現在ノートのノートオン時刻との時間関係を比較することによって、タンギング奏法（ジョイントヘッド）を適用するか通常のアタックからなる奏法（ノーマルヘッド）を適用するかを判定することができるようになる。また、タンギング奏法を実現するジョイントヘッドを通常のアタックからなるノーマルヘッドとは別に用意したことで、現在ノートと直前ノートとの音程差や時間差等の異なるジョイントヘッドデータを用いることで、よりリアルなタンギング奏法を表現することができる。

なお、上述した各実施例においては、ソフトウエア音源として単音発音するモノモードを例に説明したが複数音を発音するポリモードであってもよいことは言うまでもない。また、ポリモードで構成された演奏データを複数のモノフォニックなシーケンスに分解し、それぞれのシーケンスを複数の奏法自動判定機能で処理させるようにしてよい。その場合、分解の結果を表示器７上に表示させ、ユーザが確認及び修正できるようにすると便利である。

なお、波形データは上述したような「奏法モジュール」を用いることに限らず、ＰＣＭ、ＤＰＣＭ、ＡＤＰＣＭのようなサンプリングされた波形サンプルデータを用いてもよいことは言うまでもない。すなわち、音源８における楽音信号発生方式は、いかなるものを用いてもよい。例えば、発生すべき楽音の音高に対応して変化するアドレスデータに応じて波形メモリに記憶した楽音波形サンプル値データを順次読み出す波形メモリ読み出し方式、又は上記アドレスデータを位相角パラメータデータとして所定の周波数変調演算を実行して楽音波形サンプル値データを求めるＦＭ方式、あるいは上記アドレスデータを位相角パラメータデータとして所定の振幅変調演算を実行して楽音波形サンプル値データを求めるＡＭ方式等の公知の方式を適宜採用してよい。このように、音源回路８の方式は波形メモリ方式、ＦＭ方式、物理モデル方式、高調波合成方式、フォルマント合成方式、ＶＣＯ＋ＶＣＦ＋ＶＣＡのアナログシンセサイザ方式、アナログシミュレーション方式等、どのような方式であってもよい。また、専用のハードウェアを用いて音源８を構成するものに限らず、ＤＳＰとマイクロプログラム、あるいはＣＰＵとソフトウェアを用いて音源回路８を構成するようにしてもよい。さらに、１つの回路を時分割で使用することによって複数の発音チャンネルを形成するようなものでもよいし、１つの発音チャンネルが１つの回路で形成されるようなものであってもよい。

なお、この奏法自動判定装置を電子楽器に適用する場合、電子楽器は鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子、表示器、音源等を１つの電子楽器本体に内蔵したものに限らず、それぞれが別々に構成され、ＭＩＤＩインタフェースや各種ネットワーク等の通信手段を用いて各機器を接続するように構成されたものにも同様に適用できることはいうまでもない。また、パソコンとアプリケーションソフトウェアという構成であってもよく、この場合処理プログラムを磁気ディスク、光ディスクあるいは半導体メモリ等の記憶メディアから供給したり、ネットワークを介して供給するものであってもよい。さらに、カラオケ装置や自動演奏ピアノのような自動演奏装置、ゲーム装置、携帯電話等の携帯型通信端末などに適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバコンピュータ側に持たせ、端末とサーバコンピュータとからなるシステム全体として所定の機能を実現するようにしてもよい。すなわち、本発明に従う所定のソフトウエア又はハードウエアを用いることによって、演奏データを分析した結果に基づいて、リアルタイム演奏時においてタンギング奏法を自動的に付加しながら楽音を発生することのできるようにしたものであればどのようなものであってもよい。

この発明に係る奏法自動判定装置を適用した電子楽器のハードウエア構成例を示すブロック図である。 各種データを説明するための概念図であり、図２（ａ）は演奏データの一実施例を説明するための概念図、図２（ｂ）は波形データの一実施例を説明するための概念図である。 当該電子楽器が有する奏法自動判定機能と演奏機能とを説明するための機能ブロック図である。 奏法自動判定処理の一実施例を示したフローチャートである。 直近のノートとそれに続く現在ノートまでの休符長毎に対応して生成される音の波形を示す概念図である。

符号の説明

１…ＣＰＵ、１Ａ…タイマ、２…ＲＯＭ、３…ＲＡＭ、４…外部記憶装置、５…演奏操作子（鍵盤等）、６…パネル操作子、７…表示器、８…音源、８Ａ…サウンドシステム、９…インタフェース、１Ｄ…通信バス、Ｊ１…判定条件指定部、Ｊ２…奏法自動判定部、Ｊ３…奏法波形記憶部、Ｊ４…楽音合成部

Claims (5)

1. 演奏進行に応じてリアルタイムに演奏イベント情報を供給する供給手段と、
   １音のアタック部分の奏法を複数記憶する記憶手段と、
   時間情報を含む奏法判定条件を設定する条件設定手段と、
   前記リアルタイムに供給された演奏イベント情報に基づき、相前後して発生される少なくとも２つの音の間の時間間隔を測定する時間測定手段と、
   前記設定された奏法判定条件に含まれる時間情報と前記測定した時間とを比較し、該比較に基づきリアルタイムに演奏される現在の楽音に対して奏法を前記記憶手段に含まれる奏法に基づき判別する奏法判別手段と
   を具えた奏法自動判定装置。
2. 前記リアルタイムに供給される演奏イベント情報のうちノートオフイベントの供給時間を一時的に保持する保持手段を具えてなり、
   前記時間測定手段は、演奏イベント情報として前記供給手段からリアルタイムに供給されたノートオンイベントの供給時間から前記保持手段に保持したノートオフイベントの供給時間までを測定することを特徴とする請求項１に記載の奏法自動判定装置。
3. 前記奏法判別手段は、前記リアルタイムに供給される演奏イベント情報に所定の奏法を指示する奏法指示イベントが含まれていない場合に、リアルタイムに演奏される現在の楽音に対して適用すべき奏法の判別を行うことを特徴とする請求項１又は２に記載の奏法自動判定装置。
4. 前記奏法判別手段は、リアルタイムに演奏される現在の楽音に対した奏法として、少なくともタンギング奏法を選択することを特徴とする請求項１乃至３のいずれかに記載の奏法自動判定装置。
5. コンピュータに、
   １音のアタック部分の奏法を複数記憶する手順と、
   演奏進行に応じてリアルタイムに演奏イベント情報を供給する手順と、
   時間情報を含む奏法判定条件を設定する手順と、
   前記リアルタイムに供給された演奏イベント情報に基づき、相前後して発生される少なくとも２つの音の間の時間間隔を測定する手順と、
   前記設定された奏法判定条件に含まれる時間情報と前記測定した時間とを比較し、該比較に基づきリアルタイムに演奏される現在の楽音に対して奏法を、前記記憶された複数の奏法に基づき判別する手順と
   を実行させるためのプログラム。

Images