JP3636041B2 - 発音制御システム - Google Patents
発音制御システム Download PDFInfo
- Publication number
- JP3636041B2 JP3636041B2 JP2000211771A JP2000211771A JP3636041B2 JP 3636041 B2 JP3636041 B2 JP 3636041B2 JP 2000211771 A JP2000211771 A JP 2000211771A JP 2000211771 A JP2000211771 A JP 2000211771A JP 3636041 B2 JP3636041 B2 JP 3636041B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- performance
- control
- sound
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、楽曲の演奏、特にアンサンブル演奏をするための発音制御システムに関する。
【０００２】
【従来の技術】
電子楽器の演奏に用いられる演奏装置として最もポピュラーなものはキーボードである。キーボードは、５〜６オクターブのキー（鍵）を有し、どのキーを押鍵するかで音高や音色を選択することができ、押鍵の強さで音の強弱を制御できるなど高度な演奏が可能であるが、演奏に熟練を要し、習熟に時間がかかるものである。
【０００３】
また、ＭＩＤＩシーケンスデータなどの自動演奏データをテンポクロックに従って読み出し、これを音源に入力することにより自動演奏を行う自動演奏機能を備えた電子楽器もあるが、このような自動演奏機能は、プレイボタンを押すなどのスタート操作をすれば楽曲が自動的に演奏され、それ以後利用者が操作する余地がなく、利用者が演奏に参加したり演奏を制御することができなかった。
【０００４】
【発明が解決しようとする課題】
このように、電子楽器を用いて楽曲を演奏する場合、キーボードを操作して自分で演奏しようとすれば熟練を要するため容易ではなく、電子楽器に自動演奏を行わせた場合には、利用者が殆ど演奏に参加できず利用者が自分も演奏に参加しているという実感を得られないものであり、容易な操作で利用者が演奏に参加できるものがなかった。特に、複数の演奏者が一緒に合奏するアンサンブルの場合、それぞれの演奏者の技量がそろっていないとよい演奏ができないという問題点があった。
【０００５】
この発明は、容易な操作で曲の演奏に参加することができ、音楽の演奏の敷居を下げることができる発音制御システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、それぞれ別の利用者が操作する複数の操作ユニットと、複数パートの楽曲を自動演奏する制御装置と、からなる発音制御システムであって、
各操作ユニットは、利用者の身体の運動態様または姿勢状態を検出するセンサ手段と、該センサ手段の検出内容を操作データとして無線送信する送信手段と、を備え、
前記制御装置は、前記複数の操作ユニットから操作データを受信する受信手段と、各操作ユニットをそれぞれ別々のパートにアサインし、各操作ユニットから受信した操作データに基づいて前記各操作ユニットをアサインしたパートの少なくともテンポまたは音量を制御する演奏制御手段と、を備えたことを特徴とする。
【０００７】
操作ユニットは、身体の各部の運動態様または姿勢状態を検出する。検出対象とする身体の部位は、腕，足，手指などどこでもよい。運動態様を検出する場合、この検出対象とした身体部位の揺動や屈伸などの運動を検出する。検出する運動態様は、屈伸や揺動に限定されずどのようなものでもよい。この運動を身体の部位に取り付けられたセンサ手段、または手などの身体部位で操作されるセンサ手段で検出する。センサ手段としては、キースイッチや衝撃パッドなど身体の運動によって身体の所定部位が一次的に接触するセンサ手段を用いてもよいが、好ましくは身体の所定部位に取り付けられるセンサ手段、または手などの身体部位で操作されることにより身体と一緒に運動するセンサ手段が好ましい。このようなセンサ手段として加速度センサ、速度センサ、衝撃センサなどを用いることができる。
【０００８】
また、姿勢状態は、身体部位がどの方向を向いているかや関節がどの角度に曲げられているかなどのスタティックな状態をいい、この姿勢態様を検出する場合、身体の部位に取り付けられたセンサ手段、または手などの身体部位で操作されるセンサ手段で検出される。このセンサ手段としては、ジャイロセンサや角度センサなどを用いることができる。
【０００９】
楽曲の自動演奏は、所定の音色・音高、音量を所定のタイミングに所定の音長だけ発音し、この楽音の発音を所定のテンポで次々と行っていくものである。この発明（自動演奏制御モード）では、操作データに基づいて上記音色，音高（ピッチ）、音質、音量、タイミング、音長、テンポなどの演奏要素のうち少なくとも１つを制御する。たとえば、発音する楽音の音高と音長（音符の種類）は自動演奏データのものを用い、演奏のテンポを揺動やタッピングなどの運動態様に基づいて決定し、その音量を揺動やタッピングの大きさに基づいて制御する方式や、発音する楽音の音高は自動演奏データのものを用い、発音タイミングを操作データのローカルピークとするなどである。また、基本的な音高は自動演奏データのものを用い、その微妙なピッチ変動を操作データで制御するようにしてもよい。いずれにしても、一部の演奏要素を自動演奏データから読み出し、残りの一部の演奏要素を利用者（操作ユニット）に開放することにより、利用者はその一部の演奏要素を操作ユニットを介して制御することで演奏に参加することができ、音楽の演奏の敷居を下げることができる。
【００１０】
この発明では、自動演奏を行う制御装置に対して複数の操作ユニットがそれぞれ操作データを送信してくる。複数の操作ユニットは、その操作ユニットを操作する利用者の操作に応じてそれぞれ別々の操作データを出力する。自動演奏データが複数のパートからなる場合、各操作ユニットをそれぞれ別のパートにアサインすることで、各パートの一部の演奏要素がそれぞれ別の操作ユニットで制御されることになり、複数の利用者が参加して、容易な操作でアンサンブル的な要素を含む演奏することができる。
【００１３】
請求項２の発明は、請求項１の発明において、操作データに基づいて、各パートの少なくともテンポまたは音量が制御された自動演奏データを記録する記録手段を備えたことを特徴とする。
請求項３の発明は、上記発明において、前記演奏制御手段は、前記記録手段によって記録された自動演奏データに基づいて楽曲を自動演奏することを特徴とする。
【００１４】
操作ユニットによって一部の演奏要素が制御された自動演奏データは、音源装置に出力され、音源装置が楽音を発生する。この発明では、さらに、この一部の演奏要素が制御された自動演奏データを記録し、利用者によって修正された自動演奏データとして保存する。そしてさらに、請求項３の発明では、演奏制御手段が、この利用者によって修正された自動演奏データを、再度操作ユニットによって一部の演奏要素が制御される自動演奏データとして読み出す。これにより、１回の自動演奏によって一部パートずつ演奏要素を制御し、複数回の自動演奏によって全パートの演奏要素を制御するようにすることができる。また、１回の自動演奏によって一部の演奏要素を制御し、複数回の演奏によって所望の複数の演奏要素を制御するようにすることもできる。
【００１６】
請求項４の発明は、複数の利用者が操作する複数の操作ユニットと、複数の音高の楽音を発音する音源装置を備えた制御装置と、からなる発音制御システムであって、
各操作ユニットは、利用者の身体の運動態様または姿勢状態を検出するセンサ手段と、該センサ手段の検出内容を操作データとして無線送信する送信手段と、を備え、
前記制御装置は、前記複数の操作ユニットから操作データを受信する受信手段と、各操作ユニットをそれぞれ異なる音高にアサインし、各操作ユニットから受信した操作データに基づいて前記各操作ユニットをアサインした音高の楽音の発音および消音のタイミングを制御する発音制御手段と、を備えたことを特徴とする。
請求項５の発明は、上記発明において、前記発音制御手段は、楽曲の各音符の音高および発音タイミングを含む自動演奏データを所定のテンポで読み出し、各音符の音高および発音タイミングを指示する演奏ガイド情報を発生することを特徴とする。
【００１７】
この発明では、各操作ユニットに対してそれぞれ異なる音高の楽音を割り当てる。たとえば、各操作ユニットの揺動が検出されたとき、対比する音高の楽音を発音するなどの制御を行う。各操作ユニットをそれぞれ異なる利用者が操作するようにすれば、各利用者がそれぞれ異なる１または数音のベルを担当して曲を演奏するいわゆるハンドベルのような演奏が可能になる。
この場合において、演奏しようとする曲の曲データを制御装置が読み出し、発音すべき音高に対応する操作ユニットに対して操作ガイド情報を発生することにより、各利用者が自分がこれに応じて操作ユニットを操作することで容易に曲の演奏が可能になる。
また、ハンドベルの場合には、１人が２つないし３つのベルを担当する場合があるが、この発明の場合、１つの操作ユニットに複数の音高を割り当てることによって１人が１つの操作ユニットを持っていても、１人が複数のベルを担当することと同じような演奏形態にすることが可能になる。この場合、操作ユニットの操作に対応して複数割り当てられている音高のうちどの音高の楽音を発音するかは、曲データで曲の進行を監視し、操作ユニットの操作に応じて今回どの音高を発音すべきかを決定するようにすればよい。
【００１９】
【発明の実施の形態】
図面を参照してこの発明の実施形態である発音制御システムについて説明する。図１は、発音制御システムの全体の概略的な構成を示す図である。この発音制御システムは、操作ユニットである複数のハンドコントローラ１、通信ユニット２、パーソナルコンピュータで構成される演奏制御装置３、音源装置４、アンプ５、スピーカ６を有している。複数のハンドコントローラ１には、それぞれ別々のＩＤ番号（＝１〜２４）が設定される。ハンドコントローラ１は、バトン形の形状を有し、利用者が揺動操作する。この揺動操作による加速度を内蔵の加速度センサ１７（図２参照）が検出する。検出された加速度が操作データとしてハンドコントローラ１から通信ユニット２に無線送信される。通信ユニット２は、複数のハンドコントローラ１から無線送信される操作データを受信し、演奏制御装置３にこれを転送する。演奏制御装置３は、入力された操作データを解析して音源装置４による楽音の発音を制御する。音源装置４は、楽音波形の形成および形成した楽音波形に対してエフェクトを付与する機能を備えており、演奏制御装置３による発音制御は、楽音波形の形成の制御および形成した楽音波形に対して付与されるエフェクトの制御の両方を含む。
【００２０】
上記複数のハンドコントローラ１の基本的な利用形態は、各ハンドコントローラ１をそれぞれ別々の利用者が揺動操作して演奏制御を行うというものである。制御装置である演奏制御装置３が曲データに基づいて複数パートの曲を自動演奏する。この複数パートの各パートをそれぞれ別々のハンドコントローラ１にアサインし、各ハンドコントローラ１の揺動操作よって演奏を制御する。演奏の制御は、揺動のテンポ（揺動ピークが検出される間隔）に基づいて演奏テンポを制御し、揺動加速度（または速度）の大きさに基づいて音量を制御するなどである。このように各パートが別々の利用者（ハンドコントローラ１）によって制御されることにより、利用者に簡略な合奏（アンサンブル）演奏を楽しませることができる。また、各ハンドコントローラに別々の音高を割り当てて、いわゆるハンドベルのような合奏をすることも可能である。この場合、あるハンドコントローラ１が揺動操作されると、そのハンドコントローラ１にアサインされている音高の楽音をその揺動の加速度の大きさに応じた音量で発生する。各利用者が曲に合わせて自分の担当する音高（音符）のタイミングにハンドコントローラ１を揺動操作することにより、曲が進行する。
【００２１】
図２において、ハンドコントローラ１は、中央部が細くなったバトン形をしており、筐体は、最も細くなっている中央を境界に上側筐体１０と下側筐体１１に分離することができる。下側筐体１１の底部からはコード状のアンテナ１８が引き出されている。内部には、後述の受信回路、ＣＰＵ、スイッチ群などが実装された回路基板１３が設けられている。
【００２２】
回路基板１３の上側筐体１０側には、４色のＬＥＤ１４（１４ａ〜１４ｄ）、スイッチ群１５（１５ａ〜１５ｄ）、２桁の７セグメント表示器１６、３軸の加速度センサ１７などが実装されている。ＬＥＤ１４ａ，１４ｂ，１４ｃ，１４ｄは、それぞれ青色発光，緑色発光，赤色発光，橙色発光のＬＥＤである。上側筐体１０を下側筐体１１から外すと、回路基板１３の上側が露出し、スイッチ群１５を操作することができる。スイッチ１５ａは電源スイッチ、スイッチ１５ｂは単音発音モード選択スイッチ、１５ｃは自動演奏制御モード選択スイッチ、１５ｄはＥＮＴＥＲスイッチである。スイッチ１５ｂ，１５ｃでモードを選択し、ＥＮＴＥＲスイッチ１５ｄをオンすると、選択されたモードがモード選択データとして送信される。ただし、演奏制御装置３には、ＩＤ番号＝１が設定されているハンドコントローラが送信したモード選択データのみが入力される。
【００２３】
モード選択スイッチで選択されるモードのうち、単音発音モードとは、ハンドコントローラ１の揺動操作による加速度のローカルピーク点で所定の楽音を発音させるモードであり、複数のハンドコントローラ１にそれぞれ異なる音高の楽音をアサインしておき、ハンドベルのような合奏をするモードである。
また、自動演奏制御モードとは、演奏制御装置３が、記憶装置に記憶している自動演奏データを音源装置４に順次出力する自動演奏処理動作のテンポや音量をハンドコントローラ１の揺動操作によって制御するモードであり、複数パートからなる曲データの各パートを複数のハンドコントローラ１によって別々に制御する。この実施形態では、ハンドコントローラ１の揺動操作のローカルピークの間隔（周期）によって自動演奏のテンポを制御し、揺動の速度や大きさによって自動演奏の音量や音質などを制御する。
【００２４】
図３はハンドコントローラ１の制御部のブロック図である。制御部２０は、ＣＰＵ、メモリ、インタフェースなどを１チップに内蔵したマイクロコンピュータで構成されており、このハンドコントローラ１の動作を制御する。この制御部２０には、３軸の加速度センサ１７、スイッチ群１５、ＩＤ設定スイッチ２１、モデム２３、変調回路２４、復調回路２７、ＬＥＤ表示回路２２などが接続されている。
【００２５】
加速度センサ１７は、半導体センサであり、４００Ｈｚ程度のサンプリング周波数に応答でき、分解能が８ｂｉｔ程度のものを使用する。ハンドコントローラ１の揺動により加速度センサ１７が揺動すると、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向それぞれについて８ｂｉｔの加速度データを出力する。加速度センサ１７は、Ｘ軸，Ｙ軸，Ｚ軸が図２に示す方向になるように、ハンドコントローラ１の先端部に内蔵されている。なお、この加速度センサ１７は３軸センサに限定されるものではなく、２軸センサ、無方向のセンサであってもよい。
【００２６】
ＩＤ設定スイッチ２１は、５ビットのディップスイッチであり、１〜２４のＩＤ番号を設定することができる。このＩＤ設定スイッチ２１は、下側筐体１１側の回路基板１３上に実装されており、回路基板１３を下側筐体１１から抜き出して操作する。
【００２７】
制御部２０は、加速度センサ１７から入力された加速度データを操作データとしてモデム２３に出力する。この操作データにはＩＤ設定スイッチ２１によって設定されたＩＤ番号が付加される。また、モード選択スイッチ１５ｂ，１５ｃによって選択されたモードは、操作データとは別のモード選択データとしてモデム２３に出力される。
【００２８】
モデム２３は、制御部２０から入力されたベースバンドデータを相転移データに変換する回路である。変調回路２４は上記相転移データで２．４ＧＨｚ帯のキャリア信号をＧＭＳＫ変調して無線伝送可能にする回路である。変調回路２４から出力された２．４ＧＨｚ帯の信号は、送信出力アンプ２５によって微弱電力程度に増幅され、アンテナ１８から複写出力される。また、アンテナ１８はアイソレータを有し、このアイソレータを介して前記送信出力アンプ２５のほか受信回路２６に接続されている。受信回路２６は、アンテナ１８に入射した２．４ＧＨｚ帯の信号を受信して増幅する回路であり、復調回路２７およびモデム２３はこの受信した信号に含まれるＧＭＤＫ変調されたデータをベースバンドデータに復調して制御部２０に入力する。制御部２０は、このうち自己のＩＤが付されたデータを自局宛のデータであるとして取り込む。
【００２９】
なお、このハンドコントローラ１はこのように通信ユニット２と無線で通信するように構成されているが、ＵＳＢインタフェースなどを介して有線で通信するようにしてもよい。また、Ｂｌｕｅｔｏｏｔｈなどの周波数拡散方式を用いた近距離無線インタフェースなどを適用することができる。
【００３０】
図６はハンドコントローラ１から通信ユニット２に対して送信されるデータのフォーマットを示す図である。同図（Ａ）は、操作データの構成を示す図である。操作データは、コントローラのＩＤ番号（５ビット）、操作データである旨を示すコード（３ビット）、Ｘ軸方向加速度データ（８ビット）、Ｙ軸方向加速度データ（８ビット）、Ｚ軸方向加速度データ（８ビット）からなっている。同図（Ｂ）は、モード選択データの構成を示す図である。モード選択データは、コントローラのＩＤ番号（５ビット）、モード選択データある旨を示すコード（３ビット）、モード番号（８ビット）からなっている。
【００３１】
図４は、通信ユニット２のブロック図である。通信ユニット２は、ハンドコントローラ１が送信するデータ（操作データ，モード選択データ）を受信し、パーソナルコンピュータである演奏制御装置３に転送する装置である。通信ユニット２は、メイン制御部３０、複数の個別通信ユニット３１、ＵＳＢインタフェース３９を有している。複数の個別通信ユニット３１には、それぞれ異なるＩＤ番号が設定され、それぞれ対応するＩＤ番号のハンドコントローラ１と通信する。
【００３２】
同図（Ａ）において、マイクロプロセッサで構成されるメイン制御部３０には、個別通信ユニット３１およびＵＳＢインタフェース３９が接続されている。ＵＳＢインタフェース３９には、演奏制御装置３のＵＳＢインタフェース４６（図５参照）が接続されている。
【００３３】
個別通信ユニット３１の構成を同図（Ｂ）に示す。マイクロプロセッサで構成されている個別制御部３３には、ＩＤスイッチ３８、復調回路３５および変調回路３６が接続されている。ＩＤスイッチ３８は、ディップスイッチで構成され、対応するハンドコントローラ１と同じＩＤ番号が設定される。復調回路３５には受信回路３４が接続されており、受信回路３４は、アンテナ３２から入力された２．４ＧＨｚ帯の信号を選択的に受信し、このなかからハンドコントローラ１が送信したＧＭＳＫ変調信号を検波出力する回路である。復調回路３５は、このＧＭＳＫ変調信号からハンドコントローラ１のデータ（操作データ，モード選択データ）を復調する。個別制御部３３は、復調入力されたデータの先頭に付されているＩＤ番号を読み出し、このＩＤ番号が、ＩＤスイッチ３８で設定されているＩＤ番号と同じであるかを判断する。同じであれば、この個別通信ユニット３１向けのデータであるとして取り込み、これをメイン制御部３０に入力する。
【００３４】
変調回路３６には送信回路３７が接続されており、送信回路３７はアンテナ３２に接続されている。変調回路３６は前記のモデム２３と同様に個別制御部３３が出力したデータをＧＭＳＫ変調する。送信回路３７は、前記ＧＭＳＫ変調された信号で２．４ＧＨｚ帯のキャリアをＧＭＳＫ変調してアンテナ３２から出力する。対応するハンドコントローラ１に対して送信すべきデータ（演奏ガイド情報）がある場合、上記変調回路３５および送信回路３７を介してハンドコントローラ１に送信される。
【００３５】
なお、上記送信すべきデータの送信は、対応するハンドコントローラ１からデータを受信した直後に行う。このタイミングに行うことにより、ハンドコントローラ１において送信と受信が衝突することがない。
【００３６】
図５は制御装置である演奏制御装置３のブロック図である。装置全体を制御するＣＰＵ４１には、バスを介して、ＲＯＭ４２、ＲＡＭ４３、大容量記憶装置４４、ＭＩＤＩインタフェース４５、ＵＳＢインタフェース４６、キーボード４７、ポインティングデバイス４８、表示部４９、通信インタフェース５０が接続されている。また、ＭＩＤＩインタフェース４５には、外部装置である音源装置５１が接続されている。
【００３７】
ＲＯＭ４２には、起動プログラム等が記憶されている。大容量記憶装置４４は、ハードディスク，ＣＤ−ＲＯＭ，ＭＯなどで構成され、システムプログラム、アプリケーションプログラム、曲データなどが記憶されている。ＲＡＭ４３には、演奏制御装置３の起動時または起動したのちに大容量記憶装置４４からシステムプログラムやアプリケーションプログラム等が読み込まれる。またＲＡＭ４３には、アプリケーションプログラム実行時に必要な記憶エリアが確保される。ＵＳＢインタフェース４６には、通信ユニット２のＵＳＢインタフェース３９が接続される。キーボード４７およびポインティングデバイス４８は、演奏する曲を選択するなど、利用者がアプリケーションプログラムを操作するときに用いるものである。また、通信インタフェース５０を用いて、この装置をインターネットまたは加入電話回線を介してサーバ装置（不図示）と接続し、このサーバ装置から曲データをダウンロードするようにしてもよい。ダウンロードした曲データはＲＡＭ４３または大容量記憶装置４４に記憶される。
【００３８】
ＭＩＤＩインタフェース４５に接続されている音源装置４は、演奏制御装置３から入力された演奏データ（ＭＩＤＩデータ）に基づいて楽音を発生するとともに、発生した楽音に対してエコーなどのエフェクトを付与する。そしてこの楽音をアンプ５に出力する。アンプ５はこの楽音を増幅してスピーカ６に出力する。スピーカ６はこの楽音を音響として放音する。なお、音源装置４は、どのような方式で楽音波形を形成するものであってもよく、持続音、減衰音などの音の種類に応じてその方式を選択できるものであってもよい。
【００３９】
図７は、上記演奏制御装置３の大容量記憶装置４４に記憶される曲データの構成を示す図である。
【００４０】
同図（Ａ）は、複数パートの曲を演奏するための曲データの構成を示す図である。複数の各パートに対応する複数の演奏データトラックを有している。各パートの演奏データトラックには発音する楽音の音高や音量などが書き込まれたイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータが時系列に書き込まれている。自動演奏制御モード時には各トラック（各パート）がそれぞれ別のハンドコントローラにアサインされる。さらに各パートのトラックとは別にテンポを指定するデータなどが記録されたコントロールトラックを有している。このトラックは、自動演奏制御モードでハンドコントローラが指示するテンポで各パートが演奏される場合には無視される。
【００４１】
また、同図（Ｂ）は、単音発音モード専用の曲データの構成を示す図である。このデータはハンドベル用の演奏用トラックと、伴奏用トラック、コントロールトラックで構成されている。演奏用トラックは、それぞれ異なる音高が割り当てられた複数のハンドコントローラ１の操作によって発音されるべき楽音が書き込まれたトラックであり、このトラックのイベントデータは、演奏ガイド用にのみ用いられ、実際の発音には用いられない。なお、この演奏用トラックに書き込まれる演奏データは単音列でなくてもよく、複数の楽音が同時に発音される複音列であってもよい。伴奏用トラックは、通常の自動演奏トラックで、このトラックのイベントデータは音源装置４に送信される。また、コントロールトラックは、テンポ設定データ等が書き込まれているトラックであり、このテンポでこの曲データは演奏される。
【００４２】
なお、上記各トラックは、音色が異なる場合にはそれぞれ別々のＭＩＤＩチャンネルに対応させておけばよい。
また、単音発音モード時に同図（Ａ）の曲データを選曲し、複数パートのうち１つをハンドベル用のトラックとして用い、他のパートを伴奏トラックとして用いて自動演奏するようにしてもよい。
【００４３】
以下、フローチャートを参照して同発音制御システムの動作について説明する。図８は、ハンドコントローラ１の動作を示すフローチャートである。電源スイッチ１５ａをオンすると、まずチップリセットなどのリセット動作を実行する（ｓ１）。つぎにメモリにＩＤ番号を読み込む（ｓ２）。ＩＤ番号はディップスイッチであるＩＤ番号設定スイッチ２１に設定されている。読み込まれたＩＤ番号は、所定時間７セグメント表示器１６に表示される（ｓ３）。
【００４４】
次に操作モードの選択を受け付ける（ｓ４）。単音発音モード選択スイッチ１５ｂをオンすると単音発音モードが選択され、自動演奏制御モード選択スイッチ１５ｃをオンすると自動演奏制御モードが選択される。次にＥＮＴＥＲスイッチ１５ｄがオンされると、そのとき選択されていたモードを設定し、これをモード選択データに編集して通信ユニット２に送信する（ｓ５）とともに、この設定したモードを７セグメンド表示器１６に表示する（ｓ６）。これで初期設定動作を終了し、揺動検出動作に移行する。
【００４５】
以下の揺動検出動作は２．５ｍｓ毎に実行される。３軸の加速度センサ１７からＸ軸方向加速度，Ｙ軸方向加速度，Ｚ軸方向加速度の３軸の加速度を検出し（ｓ７）、これを図６の操作データに編集して（ｓ８）、通信ユニット２に送信する（ｓ９）。そして、ＬＥＤ１４ａ〜１４ｄの点灯制御をする（ｓ１０）。
【００４６】
ＬＥＤ１４ａ〜１４ｄの点灯制御の態様は以下のようである。Ｘ軸方向の＋方向の加速度が一定以上の場合には、青色発光のＬＥＤ１４ａを点灯する。Ｘ軸方向の−方向の加速度が一定以上の場合には、緑色発光のＬＥＤ１４ｂを点灯する。Ｙ軸方向の＋方向の加速度が一定以上の場合には、赤色発光のＬＥＤ１４ｃを点灯する。Ｙ軸方向の−方向の加速度が一定以上の場合には、オレンジ色発光のＬＥＤ１４ｄを点灯する。また、Ｚ軸方向の＋方向の加速度が一定以上の場合には、ＬＥＤ１４ａとＬＥＤ１４ｂを同時に点灯する。Ｚ軸方向の−方向の加速度が一定以上の場合には、ＬＥＤ１４ｃとＬＥＤ１４ｄを同時に点灯する。
また、上記の点灯制御において、ＬＥＤ１４ａ〜１４ｄを揺動加速度の大きさに応じた光量で点灯するようにしてもよい。
【００４７】
また、上記動作を２．５ｍｓ毎に実行し、Ｘ軸，Ｙ軸，Ｚ軸の加速度を２．５ｍｓ程度の分解能で検出することで、細かい振動ノイズを除去しつつ利用者の揺動操作を高い分解能で検出することができる。
【００４８】
図９は、上記ハンドコントローラ１から操作データ、モード選択データを受信する通信ユニット２の動作を示すフローチャートである。通信ユニット２は、ハンドコントローラ１からデータを受信するとともに、ＵＳＢインタフェース３９を介して演奏制御装置３と通信する。
【００４９】
同図（Ａ）は個別通信ユニット３１（個別制御部３３）の動作を示すフローチャートである。個別通信ユニット３１は、２．４ＧＨｚ帯のＩＤスイッチ３８で設定されたＩＤに割り当てられている周波数を常時監視しており、受信した信号のうちこの周波数の信号をデコードして、復調したデータの先頭にあるＩＤを読み取っている。そのＩＤが自装置に設定されているＩＤと一致した場合には（ｓ１１）、そのデータを取り込む（ｓ１２）。そして、このデータをメイン制御部３０に入力する（ｓ１３）。
【００５０】
同図（Ｂ）はメイン制御部３０の動作を示すフローチャートである。接続されている個別通信ユニット３１から受信したデータが入力されると（ｓ２０）、そのデータが操作データであるかモード選択データであるかを判断する（ｓ２１）。モード選択データであった場合には、個別通信ユニット３１が１つのみ接続されており、その個別通信ユニット３１から入力された場合にはそのまま、また、現在複数の個別通信ユニット３１が接続されている場合には、入力されたモード選択データに付されているＩＤが１の場合のみ（ｓ２２）、このデータを演奏制御装置３に出力する（ｓ２３）。
【００５１】
一方、入力されたデータが操作データであった場合には（ｓ２１）、全てのＩＤ（個別通信ユニット）の操作データが揃ったかを判断する（ｓ２４）。すなわち、図４に示すようにメイン制御部３０には複数の個別通信ユニット３１が接続されるため、演奏制御装置３に対しては、全ての個別通信ユニットがハンドコントローラ１から受信したそれぞれ異なるＩＤの操作データを１つのパケットに編集したのち、これを演奏制御装置３に入力する。接続されている個別通信ユニット３１の全てから操作データが入力されるとこれをパケットに編集して（ｓ２５）、演奏制御装置３に入力する（ｓ２６）。個別通信ユニット３１は、対応するハンドコントローラ１から２．５ｍｓ毎に操作データを受信するため、最長２．５ｍｓの時間で全ＩＤの操作データが入力され、上記ｓ２５、ｓ２６の動作も２．５ｍｓ毎に実行される。
【００５２】
図１０〜図１４は演奏制御装置３の動作を示すフローチャートである。
図１０は、モード設定動作を示すフローチャートである。ハンドコントローラ１から通信ユニット２を介してモード選択データが入力されると（ｓ３０）、このモード選択データが自動演奏制御モードを選択するデータであるか単音発音モードを選択するデータであるかを判断する（ｓ３１）。自動演奏制御モードを選択するデータの場合には、まず複数パートの自動演奏制御が可能な図７（Ａ）のような曲データが選択される（ｓ３２）。この曲データをＲＡＭ４３に読み出し（ｓ３３）、各トラック（パート）毎に対応するハンドコントローラ１の操作に応じたテンポで自動演奏を行う（ｓ３４）。
【００５３】
一方、単音発音モードの場合には、各ハンドコントローラが１または複数の音高を担当してハンドベルのような演奏をするための曲データの選択を受け付ける（ｓ３５）。この選曲入力においては、大容量記憶装置４４に記憶されている複数の曲データのなかから図７（Ｂ）のような構成の曲データが選択されるが、図７（Ａ）のような曲データを選択し、さらにそのなかの１または複数パートをハンドベル用の演奏パートとして選択入力するようにしてもよい。選択された曲データを大容量記憶装置４４からＲＡＭ４３に読み出し（ｓ３６）、演奏パートに含まれる全音高を割り出し、これを各ハンドコントローラに割り当てる（ｓ３７）。この割り当て（アサイン）は１つのハンドコントローラに対して１音高に限定されない。１つのハンドコントローラに対して複数の音高を割り当ててもよい。
【００５４】
そして、ポインティングデバイス４８やキーボード４７またはＩＤ＝１のハンドコントローラ１からスタート指示があるまで待機する（ｓ３８）。スタート指示があると、１小節分のメトロノーム音を発生してテンポを指示する。こののち、曲データの演奏トラックを読み出して対応するハンドコントローラに対して演奏ガイド情報を出力するとともに、ハンドコントローラ１（通信ユニット２）から入力された操作データに応じて楽音を発生する（ｓ４０）。なお、伴奏トラックを用いて伴奏をする場合には、上記指示したテンポで自動演奏を実行するが、この伴奏トラックによる伴奏の実行は必須ではなく、音源装置４にハンドコントローラ１から入力される操作データに基づく発音のみ行わせるようにしてもよい。
【００５５】
図１１は、通信ユニット２を介してハンドコントローラ１から入力される操作データを処理する動作を示すフローチャートである。この動作は各ハンドコントローラ（ＩＤ）毎に実行されるが、ここでは１つのハンドコントローラについてのみ説明する。操作データが入力されると（ｓ５０）、現在のモードが自動演奏制御モードであるか単音発音モードであるかを判断する（ｓ５１）。自動演奏制御モードの場合には、操作データに基づいて揺動加速度を検出する（ｓ５２）。揺動加速度はＸ軸方向加速度およびＹ軸方向加速度、または、Ｘ軸方向加速度、Ｙ軸方向加速度およびＺ軸方向加速度を合成した加速度ベクトルである。このベクトルの大きさに応じて対応するパートの音量を制御する（ｓ５３）。そしてこのベクトルの大きさおよび方向の変化によりローカルピークであるか否かを検出する（ｓ５４）。ローカルピークが検出されない場合には、ｓ５５からそのままｓ５０にもどる。ローカルピークが検出された場合には（ｓ５５）、前回（または過去の数回）のローカルピークとの間隔に応じて揺動のテンポを割り出し（ｓ５６）、これに基づいて対応するパート（トラック）の自動演奏のテンポを設定する（ｓ５７）。この設定されたテンポは後述の自動演奏処理動作において対応するパートのトラックデータ（自動演奏データ）の読み出し制御に用いられる。
【００５６】
一方、現在のモードが単音発音モードの場合には、揺動データが入力されると（ｓ５０）、この揺動データに基づいて揺動加速度を算出する（ｓ６０）。そしてこの揺動加速度のベクトルに基づいてローカルピークであるか否かを検出する（ｓ６１）。ローカルピークでない場合にはｓ６２からそのままリターンする。一方、ローカルピークが検出された場合には、このハンドコントローラ１に割り当てられている音高を読み出す（ｓ６３）。複数の音高が割り当てられている場合、曲の進行に応じて曲データを読み出し、今どの音高の楽音を発音するかを決定すればよい。そしてこの音高の発音データを発生する（ｓ６４）。この発音データは上記音高情報および揺動加速度に基づいて決定された音量情報が含まれている。この発音データを音源装置４に送信することにより、楽音信号が発生される。
【００５７】
図１２は自動演奏処理動作を示すフローチャートである。自動演奏制御モード時には各パート毎に、ハンドコントローラの操作により設定されたテンポでこの動作を実行し、読み出したイベントデータ（発音データ）を音源装置４に出力する。単音発音モード時には、コントロールユニットに書き込まれているテンポでこの動作を実行する。読み出したイベントデータは音源装置４に出力しない。
【００５８】
まず設定されたテンポクロックでタイミングデータをカウントし（ｓ７０）、次のイベントデータ（発音データ）の読み出しタイミングになったかを判断する（ｓ７１）。次のイベントデータの読み出しタイミングになるまでｓ７０の読み出しを継続する。ただし、自動演奏制御モードの場合、クロックのテンポは、ハンドコントローラ１の操作に応じて適宜設定変更される。次のイベントデータの読み出しタイミングになるとそのイベントデータに対応する処理を実行し（ｓ７２）、次のタイミングデータを読み出して（ｓ７３）、ｓ７０にもどる。イベントデータ（発音データ）対応処理は、自動演奏制御モードの場合には、そのイベントデータを音源装置４に出力する動作であり、単音発音モード時の演奏用トラックの場合には、その発音データの音高に対応するハンドコントローラに対して演奏ガイド情報を作成・出力するという動作である。このとき作成される演奏ガイド情報は、単に発音タイミングである旨を知らせるのみの内容（空電文）であってもよく、この発音データの音量を含む内容であってもよい。
【００５９】
なお、ハンドコントローラ１による楽音の制御は、上記実施形態ではテンポ制御、音量制御のみを説明しているが、これ以外に、発音タイミングの制御、音色の制御などを行うことができる。発音タイミングの制御は、たとえば、揺動加速度のピーク点を検出し、このピーク点のタイミングで楽音を発音させるなどの制御である。また、音色の制御は、たとえば、揺動加速度の変化率や変化波形に応じて楽音を柔らかい音色や硬い音色に変化させるなどの制御である。
【００６０】
図１３は、演奏ガイド情報送信時の前記通信ユニット２およびハンドコントローラ１の動作を示すフローチャートである。
【００６１】
同図（Ａ）は通信ユニット２のメイン制御部３０のデータ転送動作を示すフローチャートである。演奏制御装置３からハンドコントローラ１に送信すべきデータである演奏ガイド情報が入力されると（ｓ８０）、これを対応する個別通信ユニット３１に転送する（ｓ８１）。
【００６２】
同図（Ｂ）は個別通信ユニット３１の動作を示すフローチャートである。この動作は図９（Ａ）の動作に代えて実行される動作である。個別通信ユニット３１は、２．４ＧＨｚ帯のＩＤスイッチ３８で設定されたＩＤに割り当てられている周波数を常時監視しており、受信した信号のうちこの周波数の信号をデコードして、復調したデータの先頭にあるＩＤを読み取っている。そのＩＤが自装置に設定されているＩＤと一致した場合には（ｓ８２）、そのデータを取り込む（ｓ８３）。そして、このデータをメイン制御部３０に入力する（ｓ８４）。こののち、メイン制御部３０から送信すべきデータ（演奏ガイド情報）が入力されているかを判断し（ｓ８５）、データがある場合には、これをハンドコントローラ１に向けて送信する（ｓ８６）。このようにコントローラ本体１からデータを受信した直後のタイミングにデータ送信するようにしたことにより、ハンドコントローラ１と通信ユニット２の間で同期をとっていなくてもデータの送信が衝突することがなくなる。
【００６３】
同図（Ｃ）は、ハンドコントローラ１の受信動作を示すフローチャートである。通信ユニット２からＦＭ変調された演奏ガイド情報が送られてくると、これをＦＭ復調回路２７およびモデム２３が復調して制御部２０に入力する。制御部２０はこれを取り込み（ｓ８７）、演奏ガイド動作を実行する（ｓ８８）。演奏ガイド動作としては、ＬＥＤ１４を全て発光させて発音タイミングを知らせる動作や７セグメント表示器に指示された音量値を表示するなどの動作を適用することができる。
【００６４】
自動演奏制御モードでは、全パートが同じ進度で演奏が進行することが理想的であるが、各パートのテンポ制御を別々の利用者の操作に委ねているため各パート間の進度のずれをある程度許容している。しかし、各パート間で演奏の進度があまりずれすぎると演奏として成り立たなくなるため、演奏の進度（演奏スタートからの全クロックカウント数）が他のパートよりも所定値以上遅れている遅れパートや所定値以上進んでいる進みパートがある場合には、一部パートの演奏進行を停止させたり演奏をスキップさせて演奏を揃える進み遅れ制御をするようにしてもよい。
【００６５】
図１４は、上記進み遅れ制御動作の一例を示すフローチャートである。この動作は図１２の自動演奏制御動作と並行して実行される。まず全パートの演奏スタートからの全クロックカウント数を比較する（ｓ９０）。比較の結果、他のパートに比べて所定値以上遅れている遅れパートがある場合には（ｓ９１）、他のパートのクロックを停止する（ｓ９２）。すなわち、そのパートについての図１２のｓ７０の動作を停止する。そしてこの遅れパートのハンドコントローラ１に対して遅れている旨の演奏ガイド情報を生成出力する（ｓ９３）。一方、比較の結果、他のパートに比べて所定値以上進んでいる進みパートがある場合には（ｓ９４）、この進みパートのクロックを停止する（ｓ９５）。すなわち、そのパートについての図１２のｓ７０の動作を停止する。そしてこの進みパートのハンドコントローラ１に対して進みすぎている旨の演奏ガイド情報を生成出力する（ｓ９６）。なお、この動作では遅れパートがある場合には他のパートのクロックを停止するようにしたが、遅れパートの演奏をスキップ（クロックカウント値を一気に加算）するようにしてもよい。
【００６６】
なお、上記実施形態では、複数のハンドコントローラ（操作ユニット）１がそれぞれ別々のパートを担当するようにしているが、複数のハンドコントローラ１が発生した操作データに基づいて１つの総合操作データを生成し、この操作データに基づいて全パートを統一的に制御するようにしてもよい。その場合には、通信ユニット２からパケットとして入力される複数の操作データを平均化して１つのデータを生成し、これに基づいて図１１の処理動作を１系統で行い。曲データの全トラックについて一括して図１２の処理を行うようにする。
【００６７】
また、生の操作データを平均化するのでなく、各操作データについて図１１の処理（ｓ５３，ｓ５７の処理を除く）を行って、各操作ハンドコントローラ毎に揺動加速度とテンポデータを算出し、この揺動加速度とテンポデータを平均して総合揺動加速度および総合テンポデータを割り出してこれを用いて音量制御、テンポ設定をして全トラックについて一括して図１２の処理を行うようにしてもよい。
【００６８】
また、上記の複数のハンドコントローラ１の操作データに基づいて総合データを割り出し、曲データを一括制御する場合、複数のハンドコントローラ１から入力された操作データ（または揺動加速度，テンポデータ）を平均して総合データを割り出す方法のほか、値が最大・最小の操作データを除外し残りの操作データを平均する、中央値の操作データを抽出する、最大値の操作データを抽出する、最小値の操作データを抽出する、などの方法を採用することができる。
【００６９】
なお、自動演奏制御モードにおいて、上記実施形態では１つのハンドコントローラ１と１つのパートが１対１で対応しているが、対応関係は１対１に限定されず、１つのハンドコントローラに複数のトラックをアサインするようにしてもよく、また、複数のハンドコントローラで１つのパートを制御するようにしてもよい。
【００７０】
複数のハンドコントローラで１つのトラックを制御する場合、各ハンドコントローラから入力される操作データに基づいて上記各パート毎の総合データを割り出し、これに基づいてそのパート（曲データのトラック）の演奏制御を行うようにする。
【００７１】
なお、上記実施形態では、複数パート（複数の音色）の楽音を全て１つの音源装置４で発音するようにしているが、制御装置である演奏制御装置３に複数の音源装置（楽器）を接続し、各パート（の全部または一部）に対してそれぞれ個別の音源（楽器）を割り当てるようにしてもよい。図１５は演奏制御装置３に、通常の音源装置４、電子管楽器用音源装置６０、電磁駆動ピアノ６１を接続した例を示す。そして、音源装置４、電子管楽器用音源装置６０にそれぞれ複数のパートを担当させ、電磁駆動ピアノ６１にピアノパートのみを担当させる。たとえば音源装置４としては、基本波合成型のＦＭ音源やＰＣＭ波形を加工して楽音を合成するＰＣＭ音源などが適用される。また電子管楽器用音源装置６０としては、実際の管楽器をプロセッサでソフト的にシミュレートした物理モデル音源などが適用される。また、電磁駆動ピアノ６１は、各ハンマーにソレノイドが接続されたピアノであり、ＭＩＤＩデータなどの演奏データでソレノイドを駆動することができる自然楽器である。このように演奏制御装置３に接続できる音源は電子的な音源に限定されず、電気的に駆動される自然楽音を発生する音源装置を接続することも可能である。このようにそれぞれ異なる発音形態の音源を複数接続することにより、聴覚的にもまた視覚的にもアンサンブル的な合奏が可能になる。
【００７２】
また、上記実施形態は、操作ユニットとして利用者が手に持って揺動操作するハンドコントローラ１を用いているが、操作ユニットは、ハンドコントローラに限定されない。たとえば、歌唱用のマイクに加速度センサを内蔵して歌唱と自動演奏制御を一緒にできるようにすることも可能である。カラオケ装置にこのハンドコントローラ内蔵マイクを適用すれば、歌唱者が歌唱しながらそのカラオケ曲を制御することができるようになる。また、操作ユニットとしては揺動操作するものに限定されず、指による押圧の強さを検出するタップスイッチを用いることも可能である。このタップスイッチは、圧電センサなどで構成することができる。
【００７３】
また、図１６に示すように靴を操作ユニット５０とし、その踵に３軸加速度センサ５１を埋め込み、足を前後に動かす蹴りの動作、左右に振る動作、上下に動かす踏みの動作を検出し、これに基づいて楽音の発音を制御するようにしてもよい。
【００７４】
また、図１７上部に示すように利用者の指先に３軸の加速度センサ５３を有する指先操作ユニット５２を取り付け、指の３次元の動きを検出して楽音の発音を制御するようにすることもできる。この場合、各指に別々のセンサを取り付けることにより、各指毎に異なる楽音の制御をすることも可能である。
【００７５】
また、同図下部に示すように手首に３次元加速度センサ５５および脈拍センサ５６を有する手首操作ユニット５４を取り付けることにより、腕の揺動に加えて脈拍を検出することもできる。この場合、両手首に手首操作子を取り付けることにより、両腕で２つの楽音を制御することも可能になる。
【００７６】
また、利用者の腕、脚、胴などに複数のセンサを取り付けて、身体の動き、姿勢に応じた操作データを複数出力し、これによって複数パートの演奏制御、複数音高の発音制御をすることも可能である。図１８，図１９に身体の各部に加速度センサを設けた実施形態を示す。図１８は操作ユニットを身につけた利用者を示す図である。操作ユニットは、上下服に埋め込まれた複数のセンサ７１、ベルトに取り付けられたコントロールボックス７０および上下服およびベルトの各所に取り付けられたＬＥＤ７２を有している。センサとしては加速度センサ、衝撃センサなどを適用することができる。
【００７７】
以下はセンサ７１として加速度センサを適用した場合について説明する。加速度センサ７１は、服の左右の腕、胸、腰、もも、脚などに設けられており、腕、脚、上体などの揺動の態様を検出する。各加速度センサ７１はコントロールボックス７０に接続されている。コントロールボックス７０はマイコンである制御部７３を内蔵しており、この各加速度センサ７１の検出値（加速度）を操作データとして通信ユニットに送信する。
【００７８】
図１９（Ａ）は、この操作ユニットのブロック図である。制御部７３には、前記複数の加速度センサ７１、スイッチ群７４、送信部７５およびＬＥＤ点灯回路７６が接続されている。スイッチ群７４は、上記第１の実施形態と同様に動作モード等を設定するためのスイッチである。なお、この操作ユニットでは、複数の加速度センサ７１のそれぞれに予めＩＤ番号が付されており、各加速度センサ７１が検出した加速度を各加速度センサのＩＤを付して同図（Ｂ）に示すような一連の操作データとして通信ユニット２へ送信する。送信部７５は、図３のモデム２３、変調回路２４、送信出力アンプ２５およびアンテナ１８を含み、操作データをＧＭＳＫ変調して２．４ＧＨｚ帯の信号として送信する。また、ＬＥＤ点灯回路７６は各加速度センサ７１が検出する加速度に応じて身体（服）の各所に設けられているＬＥＤの点灯を制御する。
【００７９】
このような操作ユニットを設けることにより、１人で複数パートの楽曲の演奏を制御したり、１人が種々の態様で運動することにより、複数音高の楽音その運動に合わせて発音させたりすることができるようになる。
【００８０】
なお、上記実施形態ではセンサ７１として加速度センサを用いた例を示したが、センサ７１として衝撃センサを用いてもよく、その場合には、利用者がセンサを叩く、触るなどの動作によって動作態様を検出し、楽音を制御することができる。
【００８１】
上記実施形態では、利用者がハンドコントローラ１を揺動させる動作に基づいて演奏を制御するようにしているが、利用者の静的な姿勢に基づいて演奏を制御するようにしてもよい。
【００８２】
また、単音発音モードでハンドベルのような形態の合奏を行う場合において、上記実施形態では、演奏制御装置３に音源装置を接続して楽音を発音させるようにしているが、操作ユニットに音源を内蔵し、操作ユニット自身が楽音を発生するようにすることもできる。この場合、操作ユニット１に受信機能のみを設け、通信ユニット２に送信機能のみを設けてもよい。
【００８３】
なお、上記実施形態において、自動演奏制御モードで制御された演奏データは、音源装置４に入力されて発音することのみに用いられているが、演奏データ記録手段を設け、操作ユニットによって操作された演奏データを記録するようにしてもよい。そして、この記録された演奏データを自動演奏データとして再度読み出して自動演奏制御モードの対象としてもよい。
【００８４】
この場合において、複数パートの自動演奏データを自動演奏して、１または複数の操作ユニットで一部のパートの演奏要素を制御し、これを含めて自動演奏データとして記録する。そして、再度これを自動演奏して、残りのパートの演奏要素を制御するようにすることが可能である。
【００８５】
さらに、この場合において、１回の自動演奏で、テンポなどの一部の演奏要素を制御し、次の自動演奏で音量など他の一部の演奏要素を制御し、複数回の自動演奏で所望の演奏要素の全てを制御するようにすることも可能である。
【００８６】
【発明の効果】
以上のようにこの発明によれば、複数の利用者の運動態様や姿勢状態に基づいて、楽曲演奏のテンポや音量などの一部の演奏要素を制御することができるため、容易な操作で合奏的な演奏行為が可能になり、音楽演奏の敷居をさげることが可能になる。
【図面の簡単な説明】
【図１】この発明の実施形態である発音制御システムの概略構成図
【図２】同発音制御システムの操作ユニットであるハンドコントローラの外観図
【図３】ハンドコントローラのブロック図
【図４】通信ユニットのブロック図
【図５】パーソナルコンピュータのブロック図
【図６】ハンドコントローラから通信ユニットに送られるデータのフォーマットを示す図
【図７】自動演奏データの構成を示す図
【図８】ハンドコントローラの動作を示すフローチャート
【図９】通信ユニットの動作を示すフローチャート
【図１０】パーソナルコンピュータの動作を示すフローチャート
【図１１】パーソナルコンピュータの動作を示すフローチャート
【図１２】パーソナルコンピュータの動作を示すフローチャート
【図１３】演奏ガイド情報の送受信動作を示すフローチャート
【図１４】パーソナルコンピュータの進み遅れ制御動作を示すフローチャート
【図１５】この発明の実施形態である発音制御システムの他の実施形態を示す図
【図１６】操作ユニットの他の態様を示す図
【図１７】操作ユニットの他の態様を示す図
【図１８】操作ユニットの他の態様を示す図
【図１９】同操作ユニットのブロック図
【符号の説明】
１…ハンドコントローラ（操作ユニット）、２…通信ユニット、３…演奏制御装置（パーソナルコンピュータ）、４…音源装置、１４ａ〜１４ｄ…ＬＥＤ、１５ａ〜１５ｄ…スイッチ群、１６…７セグメント表示器、１７…３軸加速度センサ、２２…ＬＥＤ点灯回路、２３…モデム、２４…変調回路、２５…送信出力アンプ、２６…受信回路、３０…メイン制御部、３１…個別通信ユニット
【発明の属する技術分野】
この発明は、楽曲の演奏、特にアンサンブル演奏をするための発音制御システムに関する。
【０００２】
【従来の技術】
電子楽器の演奏に用いられる演奏装置として最もポピュラーなものはキーボードである。キーボードは、５〜６オクターブのキー（鍵）を有し、どのキーを押鍵するかで音高や音色を選択することができ、押鍵の強さで音の強弱を制御できるなど高度な演奏が可能であるが、演奏に熟練を要し、習熟に時間がかかるものである。
【０００３】
また、ＭＩＤＩシーケンスデータなどの自動演奏データをテンポクロックに従って読み出し、これを音源に入力することにより自動演奏を行う自動演奏機能を備えた電子楽器もあるが、このような自動演奏機能は、プレイボタンを押すなどのスタート操作をすれば楽曲が自動的に演奏され、それ以後利用者が操作する余地がなく、利用者が演奏に参加したり演奏を制御することができなかった。
【０００４】
【発明が解決しようとする課題】
このように、電子楽器を用いて楽曲を演奏する場合、キーボードを操作して自分で演奏しようとすれば熟練を要するため容易ではなく、電子楽器に自動演奏を行わせた場合には、利用者が殆ど演奏に参加できず利用者が自分も演奏に参加しているという実感を得られないものであり、容易な操作で利用者が演奏に参加できるものがなかった。特に、複数の演奏者が一緒に合奏するアンサンブルの場合、それぞれの演奏者の技量がそろっていないとよい演奏ができないという問題点があった。
【０００５】
この発明は、容易な操作で曲の演奏に参加することができ、音楽の演奏の敷居を下げることができる発音制御システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、それぞれ別の利用者が操作する複数の操作ユニットと、複数パートの楽曲を自動演奏する制御装置と、からなる発音制御システムであって、
各操作ユニットは、利用者の身体の運動態様または姿勢状態を検出するセンサ手段と、該センサ手段の検出内容を操作データとして無線送信する送信手段と、を備え、
前記制御装置は、前記複数の操作ユニットから操作データを受信する受信手段と、各操作ユニットをそれぞれ別々のパートにアサインし、各操作ユニットから受信した操作データに基づいて前記各操作ユニットをアサインしたパートの少なくともテンポまたは音量を制御する演奏制御手段と、を備えたことを特徴とする。
【０００７】
操作ユニットは、身体の各部の運動態様または姿勢状態を検出する。検出対象とする身体の部位は、腕，足，手指などどこでもよい。運動態様を検出する場合、この検出対象とした身体部位の揺動や屈伸などの運動を検出する。検出する運動態様は、屈伸や揺動に限定されずどのようなものでもよい。この運動を身体の部位に取り付けられたセンサ手段、または手などの身体部位で操作されるセンサ手段で検出する。センサ手段としては、キースイッチや衝撃パッドなど身体の運動によって身体の所定部位が一次的に接触するセンサ手段を用いてもよいが、好ましくは身体の所定部位に取り付けられるセンサ手段、または手などの身体部位で操作されることにより身体と一緒に運動するセンサ手段が好ましい。このようなセンサ手段として加速度センサ、速度センサ、衝撃センサなどを用いることができる。
【０００８】
また、姿勢状態は、身体部位がどの方向を向いているかや関節がどの角度に曲げられているかなどのスタティックな状態をいい、この姿勢態様を検出する場合、身体の部位に取り付けられたセンサ手段、または手などの身体部位で操作されるセンサ手段で検出される。このセンサ手段としては、ジャイロセンサや角度センサなどを用いることができる。
【０００９】
楽曲の自動演奏は、所定の音色・音高、音量を所定のタイミングに所定の音長だけ発音し、この楽音の発音を所定のテンポで次々と行っていくものである。この発明（自動演奏制御モード）では、操作データに基づいて上記音色，音高（ピッチ）、音質、音量、タイミング、音長、テンポなどの演奏要素のうち少なくとも１つを制御する。たとえば、発音する楽音の音高と音長（音符の種類）は自動演奏データのものを用い、演奏のテンポを揺動やタッピングなどの運動態様に基づいて決定し、その音量を揺動やタッピングの大きさに基づいて制御する方式や、発音する楽音の音高は自動演奏データのものを用い、発音タイミングを操作データのローカルピークとするなどである。また、基本的な音高は自動演奏データのものを用い、その微妙なピッチ変動を操作データで制御するようにしてもよい。いずれにしても、一部の演奏要素を自動演奏データから読み出し、残りの一部の演奏要素を利用者（操作ユニット）に開放することにより、利用者はその一部の演奏要素を操作ユニットを介して制御することで演奏に参加することができ、音楽の演奏の敷居を下げることができる。
【００１０】
この発明では、自動演奏を行う制御装置に対して複数の操作ユニットがそれぞれ操作データを送信してくる。複数の操作ユニットは、その操作ユニットを操作する利用者の操作に応じてそれぞれ別々の操作データを出力する。自動演奏データが複数のパートからなる場合、各操作ユニットをそれぞれ別のパートにアサインすることで、各パートの一部の演奏要素がそれぞれ別の操作ユニットで制御されることになり、複数の利用者が参加して、容易な操作でアンサンブル的な要素を含む演奏することができる。
【００１３】
請求項２の発明は、請求項１の発明において、操作データに基づいて、各パートの少なくともテンポまたは音量が制御された自動演奏データを記録する記録手段を備えたことを特徴とする。
請求項３の発明は、上記発明において、前記演奏制御手段は、前記記録手段によって記録された自動演奏データに基づいて楽曲を自動演奏することを特徴とする。
【００１４】
操作ユニットによって一部の演奏要素が制御された自動演奏データは、音源装置に出力され、音源装置が楽音を発生する。この発明では、さらに、この一部の演奏要素が制御された自動演奏データを記録し、利用者によって修正された自動演奏データとして保存する。そしてさらに、請求項３の発明では、演奏制御手段が、この利用者によって修正された自動演奏データを、再度操作ユニットによって一部の演奏要素が制御される自動演奏データとして読み出す。これにより、１回の自動演奏によって一部パートずつ演奏要素を制御し、複数回の自動演奏によって全パートの演奏要素を制御するようにすることができる。また、１回の自動演奏によって一部の演奏要素を制御し、複数回の演奏によって所望の複数の演奏要素を制御するようにすることもできる。
【００１６】
請求項４の発明は、複数の利用者が操作する複数の操作ユニットと、複数の音高の楽音を発音する音源装置を備えた制御装置と、からなる発音制御システムであって、
各操作ユニットは、利用者の身体の運動態様または姿勢状態を検出するセンサ手段と、該センサ手段の検出内容を操作データとして無線送信する送信手段と、を備え、
前記制御装置は、前記複数の操作ユニットから操作データを受信する受信手段と、各操作ユニットをそれぞれ異なる音高にアサインし、各操作ユニットから受信した操作データに基づいて前記各操作ユニットをアサインした音高の楽音の発音および消音のタイミングを制御する発音制御手段と、を備えたことを特徴とする。
請求項５の発明は、上記発明において、前記発音制御手段は、楽曲の各音符の音高および発音タイミングを含む自動演奏データを所定のテンポで読み出し、各音符の音高および発音タイミングを指示する演奏ガイド情報を発生することを特徴とする。
【００１７】
この発明では、各操作ユニットに対してそれぞれ異なる音高の楽音を割り当てる。たとえば、各操作ユニットの揺動が検出されたとき、対比する音高の楽音を発音するなどの制御を行う。各操作ユニットをそれぞれ異なる利用者が操作するようにすれば、各利用者がそれぞれ異なる１または数音のベルを担当して曲を演奏するいわゆるハンドベルのような演奏が可能になる。
この場合において、演奏しようとする曲の曲データを制御装置が読み出し、発音すべき音高に対応する操作ユニットに対して操作ガイド情報を発生することにより、各利用者が自分がこれに応じて操作ユニットを操作することで容易に曲の演奏が可能になる。
また、ハンドベルの場合には、１人が２つないし３つのベルを担当する場合があるが、この発明の場合、１つの操作ユニットに複数の音高を割り当てることによって１人が１つの操作ユニットを持っていても、１人が複数のベルを担当することと同じような演奏形態にすることが可能になる。この場合、操作ユニットの操作に対応して複数割り当てられている音高のうちどの音高の楽音を発音するかは、曲データで曲の進行を監視し、操作ユニットの操作に応じて今回どの音高を発音すべきかを決定するようにすればよい。
【００１９】
【発明の実施の形態】
図面を参照してこの発明の実施形態である発音制御システムについて説明する。図１は、発音制御システムの全体の概略的な構成を示す図である。この発音制御システムは、操作ユニットである複数のハンドコントローラ１、通信ユニット２、パーソナルコンピュータで構成される演奏制御装置３、音源装置４、アンプ５、スピーカ６を有している。複数のハンドコントローラ１には、それぞれ別々のＩＤ番号（＝１〜２４）が設定される。ハンドコントローラ１は、バトン形の形状を有し、利用者が揺動操作する。この揺動操作による加速度を内蔵の加速度センサ１７（図２参照）が検出する。検出された加速度が操作データとしてハンドコントローラ１から通信ユニット２に無線送信される。通信ユニット２は、複数のハンドコントローラ１から無線送信される操作データを受信し、演奏制御装置３にこれを転送する。演奏制御装置３は、入力された操作データを解析して音源装置４による楽音の発音を制御する。音源装置４は、楽音波形の形成および形成した楽音波形に対してエフェクトを付与する機能を備えており、演奏制御装置３による発音制御は、楽音波形の形成の制御および形成した楽音波形に対して付与されるエフェクトの制御の両方を含む。
【００２０】
上記複数のハンドコントローラ１の基本的な利用形態は、各ハンドコントローラ１をそれぞれ別々の利用者が揺動操作して演奏制御を行うというものである。制御装置である演奏制御装置３が曲データに基づいて複数パートの曲を自動演奏する。この複数パートの各パートをそれぞれ別々のハンドコントローラ１にアサインし、各ハンドコントローラ１の揺動操作よって演奏を制御する。演奏の制御は、揺動のテンポ（揺動ピークが検出される間隔）に基づいて演奏テンポを制御し、揺動加速度（または速度）の大きさに基づいて音量を制御するなどである。このように各パートが別々の利用者（ハンドコントローラ１）によって制御されることにより、利用者に簡略な合奏（アンサンブル）演奏を楽しませることができる。また、各ハンドコントローラに別々の音高を割り当てて、いわゆるハンドベルのような合奏をすることも可能である。この場合、あるハンドコントローラ１が揺動操作されると、そのハンドコントローラ１にアサインされている音高の楽音をその揺動の加速度の大きさに応じた音量で発生する。各利用者が曲に合わせて自分の担当する音高（音符）のタイミングにハンドコントローラ１を揺動操作することにより、曲が進行する。
【００２１】
図２において、ハンドコントローラ１は、中央部が細くなったバトン形をしており、筐体は、最も細くなっている中央を境界に上側筐体１０と下側筐体１１に分離することができる。下側筐体１１の底部からはコード状のアンテナ１８が引き出されている。内部には、後述の受信回路、ＣＰＵ、スイッチ群などが実装された回路基板１３が設けられている。
【００２２】
回路基板１３の上側筐体１０側には、４色のＬＥＤ１４（１４ａ〜１４ｄ）、スイッチ群１５（１５ａ〜１５ｄ）、２桁の７セグメント表示器１６、３軸の加速度センサ１７などが実装されている。ＬＥＤ１４ａ，１４ｂ，１４ｃ，１４ｄは、それぞれ青色発光，緑色発光，赤色発光，橙色発光のＬＥＤである。上側筐体１０を下側筐体１１から外すと、回路基板１３の上側が露出し、スイッチ群１５を操作することができる。スイッチ１５ａは電源スイッチ、スイッチ１５ｂは単音発音モード選択スイッチ、１５ｃは自動演奏制御モード選択スイッチ、１５ｄはＥＮＴＥＲスイッチである。スイッチ１５ｂ，１５ｃでモードを選択し、ＥＮＴＥＲスイッチ１５ｄをオンすると、選択されたモードがモード選択データとして送信される。ただし、演奏制御装置３には、ＩＤ番号＝１が設定されているハンドコントローラが送信したモード選択データのみが入力される。
【００２３】
モード選択スイッチで選択されるモードのうち、単音発音モードとは、ハンドコントローラ１の揺動操作による加速度のローカルピーク点で所定の楽音を発音させるモードであり、複数のハンドコントローラ１にそれぞれ異なる音高の楽音をアサインしておき、ハンドベルのような合奏をするモードである。
また、自動演奏制御モードとは、演奏制御装置３が、記憶装置に記憶している自動演奏データを音源装置４に順次出力する自動演奏処理動作のテンポや音量をハンドコントローラ１の揺動操作によって制御するモードであり、複数パートからなる曲データの各パートを複数のハンドコントローラ１によって別々に制御する。この実施形態では、ハンドコントローラ１の揺動操作のローカルピークの間隔（周期）によって自動演奏のテンポを制御し、揺動の速度や大きさによって自動演奏の音量や音質などを制御する。
【００２４】
図３はハンドコントローラ１の制御部のブロック図である。制御部２０は、ＣＰＵ、メモリ、インタフェースなどを１チップに内蔵したマイクロコンピュータで構成されており、このハンドコントローラ１の動作を制御する。この制御部２０には、３軸の加速度センサ１７、スイッチ群１５、ＩＤ設定スイッチ２１、モデム２３、変調回路２４、復調回路２７、ＬＥＤ表示回路２２などが接続されている。
【００２５】
加速度センサ１７は、半導体センサであり、４００Ｈｚ程度のサンプリング周波数に応答でき、分解能が８ｂｉｔ程度のものを使用する。ハンドコントローラ１の揺動により加速度センサ１７が揺動すると、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向それぞれについて８ｂｉｔの加速度データを出力する。加速度センサ１７は、Ｘ軸，Ｙ軸，Ｚ軸が図２に示す方向になるように、ハンドコントローラ１の先端部に内蔵されている。なお、この加速度センサ１７は３軸センサに限定されるものではなく、２軸センサ、無方向のセンサであってもよい。
【００２６】
ＩＤ設定スイッチ２１は、５ビットのディップスイッチであり、１〜２４のＩＤ番号を設定することができる。このＩＤ設定スイッチ２１は、下側筐体１１側の回路基板１３上に実装されており、回路基板１３を下側筐体１１から抜き出して操作する。
【００２７】
制御部２０は、加速度センサ１７から入力された加速度データを操作データとしてモデム２３に出力する。この操作データにはＩＤ設定スイッチ２１によって設定されたＩＤ番号が付加される。また、モード選択スイッチ１５ｂ，１５ｃによって選択されたモードは、操作データとは別のモード選択データとしてモデム２３に出力される。
【００２８】
モデム２３は、制御部２０から入力されたベースバンドデータを相転移データに変換する回路である。変調回路２４は上記相転移データで２．４ＧＨｚ帯のキャリア信号をＧＭＳＫ変調して無線伝送可能にする回路である。変調回路２４から出力された２．４ＧＨｚ帯の信号は、送信出力アンプ２５によって微弱電力程度に増幅され、アンテナ１８から複写出力される。また、アンテナ１８はアイソレータを有し、このアイソレータを介して前記送信出力アンプ２５のほか受信回路２６に接続されている。受信回路２６は、アンテナ１８に入射した２．４ＧＨｚ帯の信号を受信して増幅する回路であり、復調回路２７およびモデム２３はこの受信した信号に含まれるＧＭＤＫ変調されたデータをベースバンドデータに復調して制御部２０に入力する。制御部２０は、このうち自己のＩＤが付されたデータを自局宛のデータであるとして取り込む。
【００２９】
なお、このハンドコントローラ１はこのように通信ユニット２と無線で通信するように構成されているが、ＵＳＢインタフェースなどを介して有線で通信するようにしてもよい。また、Ｂｌｕｅｔｏｏｔｈなどの周波数拡散方式を用いた近距離無線インタフェースなどを適用することができる。
【００３０】
図６はハンドコントローラ１から通信ユニット２に対して送信されるデータのフォーマットを示す図である。同図（Ａ）は、操作データの構成を示す図である。操作データは、コントローラのＩＤ番号（５ビット）、操作データである旨を示すコード（３ビット）、Ｘ軸方向加速度データ（８ビット）、Ｙ軸方向加速度データ（８ビット）、Ｚ軸方向加速度データ（８ビット）からなっている。同図（Ｂ）は、モード選択データの構成を示す図である。モード選択データは、コントローラのＩＤ番号（５ビット）、モード選択データある旨を示すコード（３ビット）、モード番号（８ビット）からなっている。
【００３１】
図４は、通信ユニット２のブロック図である。通信ユニット２は、ハンドコントローラ１が送信するデータ（操作データ，モード選択データ）を受信し、パーソナルコンピュータである演奏制御装置３に転送する装置である。通信ユニット２は、メイン制御部３０、複数の個別通信ユニット３１、ＵＳＢインタフェース３９を有している。複数の個別通信ユニット３１には、それぞれ異なるＩＤ番号が設定され、それぞれ対応するＩＤ番号のハンドコントローラ１と通信する。
【００３２】
同図（Ａ）において、マイクロプロセッサで構成されるメイン制御部３０には、個別通信ユニット３１およびＵＳＢインタフェース３９が接続されている。ＵＳＢインタフェース３９には、演奏制御装置３のＵＳＢインタフェース４６（図５参照）が接続されている。
【００３３】
個別通信ユニット３１の構成を同図（Ｂ）に示す。マイクロプロセッサで構成されている個別制御部３３には、ＩＤスイッチ３８、復調回路３５および変調回路３６が接続されている。ＩＤスイッチ３８は、ディップスイッチで構成され、対応するハンドコントローラ１と同じＩＤ番号が設定される。復調回路３５には受信回路３４が接続されており、受信回路３４は、アンテナ３２から入力された２．４ＧＨｚ帯の信号を選択的に受信し、このなかからハンドコントローラ１が送信したＧＭＳＫ変調信号を検波出力する回路である。復調回路３５は、このＧＭＳＫ変調信号からハンドコントローラ１のデータ（操作データ，モード選択データ）を復調する。個別制御部３３は、復調入力されたデータの先頭に付されているＩＤ番号を読み出し、このＩＤ番号が、ＩＤスイッチ３８で設定されているＩＤ番号と同じであるかを判断する。同じであれば、この個別通信ユニット３１向けのデータであるとして取り込み、これをメイン制御部３０に入力する。
【００３４】
変調回路３６には送信回路３７が接続されており、送信回路３７はアンテナ３２に接続されている。変調回路３６は前記のモデム２３と同様に個別制御部３３が出力したデータをＧＭＳＫ変調する。送信回路３７は、前記ＧＭＳＫ変調された信号で２．４ＧＨｚ帯のキャリアをＧＭＳＫ変調してアンテナ３２から出力する。対応するハンドコントローラ１に対して送信すべきデータ（演奏ガイド情報）がある場合、上記変調回路３５および送信回路３７を介してハンドコントローラ１に送信される。
【００３５】
なお、上記送信すべきデータの送信は、対応するハンドコントローラ１からデータを受信した直後に行う。このタイミングに行うことにより、ハンドコントローラ１において送信と受信が衝突することがない。
【００３６】
図５は制御装置である演奏制御装置３のブロック図である。装置全体を制御するＣＰＵ４１には、バスを介して、ＲＯＭ４２、ＲＡＭ４３、大容量記憶装置４４、ＭＩＤＩインタフェース４５、ＵＳＢインタフェース４６、キーボード４７、ポインティングデバイス４８、表示部４９、通信インタフェース５０が接続されている。また、ＭＩＤＩインタフェース４５には、外部装置である音源装置５１が接続されている。
【００３７】
ＲＯＭ４２には、起動プログラム等が記憶されている。大容量記憶装置４４は、ハードディスク，ＣＤ−ＲＯＭ，ＭＯなどで構成され、システムプログラム、アプリケーションプログラム、曲データなどが記憶されている。ＲＡＭ４３には、演奏制御装置３の起動時または起動したのちに大容量記憶装置４４からシステムプログラムやアプリケーションプログラム等が読み込まれる。またＲＡＭ４３には、アプリケーションプログラム実行時に必要な記憶エリアが確保される。ＵＳＢインタフェース４６には、通信ユニット２のＵＳＢインタフェース３９が接続される。キーボード４７およびポインティングデバイス４８は、演奏する曲を選択するなど、利用者がアプリケーションプログラムを操作するときに用いるものである。また、通信インタフェース５０を用いて、この装置をインターネットまたは加入電話回線を介してサーバ装置（不図示）と接続し、このサーバ装置から曲データをダウンロードするようにしてもよい。ダウンロードした曲データはＲＡＭ４３または大容量記憶装置４４に記憶される。
【００３８】
ＭＩＤＩインタフェース４５に接続されている音源装置４は、演奏制御装置３から入力された演奏データ（ＭＩＤＩデータ）に基づいて楽音を発生するとともに、発生した楽音に対してエコーなどのエフェクトを付与する。そしてこの楽音をアンプ５に出力する。アンプ５はこの楽音を増幅してスピーカ６に出力する。スピーカ６はこの楽音を音響として放音する。なお、音源装置４は、どのような方式で楽音波形を形成するものであってもよく、持続音、減衰音などの音の種類に応じてその方式を選択できるものであってもよい。
【００３９】
図７は、上記演奏制御装置３の大容量記憶装置４４に記憶される曲データの構成を示す図である。
【００４０】
同図（Ａ）は、複数パートの曲を演奏するための曲データの構成を示す図である。複数の各パートに対応する複数の演奏データトラックを有している。各パートの演奏データトラックには発音する楽音の音高や音量などが書き込まれたイベントデータとこのイベントデータの読み出しタイミングを指示するタイミングデータが時系列に書き込まれている。自動演奏制御モード時には各トラック（各パート）がそれぞれ別のハンドコントローラにアサインされる。さらに各パートのトラックとは別にテンポを指定するデータなどが記録されたコントロールトラックを有している。このトラックは、自動演奏制御モードでハンドコントローラが指示するテンポで各パートが演奏される場合には無視される。
【００４１】
また、同図（Ｂ）は、単音発音モード専用の曲データの構成を示す図である。このデータはハンドベル用の演奏用トラックと、伴奏用トラック、コントロールトラックで構成されている。演奏用トラックは、それぞれ異なる音高が割り当てられた複数のハンドコントローラ１の操作によって発音されるべき楽音が書き込まれたトラックであり、このトラックのイベントデータは、演奏ガイド用にのみ用いられ、実際の発音には用いられない。なお、この演奏用トラックに書き込まれる演奏データは単音列でなくてもよく、複数の楽音が同時に発音される複音列であってもよい。伴奏用トラックは、通常の自動演奏トラックで、このトラックのイベントデータは音源装置４に送信される。また、コントロールトラックは、テンポ設定データ等が書き込まれているトラックであり、このテンポでこの曲データは演奏される。
【００４２】
なお、上記各トラックは、音色が異なる場合にはそれぞれ別々のＭＩＤＩチャンネルに対応させておけばよい。
また、単音発音モード時に同図（Ａ）の曲データを選曲し、複数パートのうち１つをハンドベル用のトラックとして用い、他のパートを伴奏トラックとして用いて自動演奏するようにしてもよい。
【００４３】
以下、フローチャートを参照して同発音制御システムの動作について説明する。図８は、ハンドコントローラ１の動作を示すフローチャートである。電源スイッチ１５ａをオンすると、まずチップリセットなどのリセット動作を実行する（ｓ１）。つぎにメモリにＩＤ番号を読み込む（ｓ２）。ＩＤ番号はディップスイッチであるＩＤ番号設定スイッチ２１に設定されている。読み込まれたＩＤ番号は、所定時間７セグメント表示器１６に表示される（ｓ３）。
【００４４】
次に操作モードの選択を受け付ける（ｓ４）。単音発音モード選択スイッチ１５ｂをオンすると単音発音モードが選択され、自動演奏制御モード選択スイッチ１５ｃをオンすると自動演奏制御モードが選択される。次にＥＮＴＥＲスイッチ１５ｄがオンされると、そのとき選択されていたモードを設定し、これをモード選択データに編集して通信ユニット２に送信する（ｓ５）とともに、この設定したモードを７セグメンド表示器１６に表示する（ｓ６）。これで初期設定動作を終了し、揺動検出動作に移行する。
【００４５】
以下の揺動検出動作は２．５ｍｓ毎に実行される。３軸の加速度センサ１７からＸ軸方向加速度，Ｙ軸方向加速度，Ｚ軸方向加速度の３軸の加速度を検出し（ｓ７）、これを図６の操作データに編集して（ｓ８）、通信ユニット２に送信する（ｓ９）。そして、ＬＥＤ１４ａ〜１４ｄの点灯制御をする（ｓ１０）。
【００４６】
ＬＥＤ１４ａ〜１４ｄの点灯制御の態様は以下のようである。Ｘ軸方向の＋方向の加速度が一定以上の場合には、青色発光のＬＥＤ１４ａを点灯する。Ｘ軸方向の−方向の加速度が一定以上の場合には、緑色発光のＬＥＤ１４ｂを点灯する。Ｙ軸方向の＋方向の加速度が一定以上の場合には、赤色発光のＬＥＤ１４ｃを点灯する。Ｙ軸方向の−方向の加速度が一定以上の場合には、オレンジ色発光のＬＥＤ１４ｄを点灯する。また、Ｚ軸方向の＋方向の加速度が一定以上の場合には、ＬＥＤ１４ａとＬＥＤ１４ｂを同時に点灯する。Ｚ軸方向の−方向の加速度が一定以上の場合には、ＬＥＤ１４ｃとＬＥＤ１４ｄを同時に点灯する。
また、上記の点灯制御において、ＬＥＤ１４ａ〜１４ｄを揺動加速度の大きさに応じた光量で点灯するようにしてもよい。
【００４７】
また、上記動作を２．５ｍｓ毎に実行し、Ｘ軸，Ｙ軸，Ｚ軸の加速度を２．５ｍｓ程度の分解能で検出することで、細かい振動ノイズを除去しつつ利用者の揺動操作を高い分解能で検出することができる。
【００４８】
図９は、上記ハンドコントローラ１から操作データ、モード選択データを受信する通信ユニット２の動作を示すフローチャートである。通信ユニット２は、ハンドコントローラ１からデータを受信するとともに、ＵＳＢインタフェース３９を介して演奏制御装置３と通信する。
【００４９】
同図（Ａ）は個別通信ユニット３１（個別制御部３３）の動作を示すフローチャートである。個別通信ユニット３１は、２．４ＧＨｚ帯のＩＤスイッチ３８で設定されたＩＤに割り当てられている周波数を常時監視しており、受信した信号のうちこの周波数の信号をデコードして、復調したデータの先頭にあるＩＤを読み取っている。そのＩＤが自装置に設定されているＩＤと一致した場合には（ｓ１１）、そのデータを取り込む（ｓ１２）。そして、このデータをメイン制御部３０に入力する（ｓ１３）。
【００５０】
同図（Ｂ）はメイン制御部３０の動作を示すフローチャートである。接続されている個別通信ユニット３１から受信したデータが入力されると（ｓ２０）、そのデータが操作データであるかモード選択データであるかを判断する（ｓ２１）。モード選択データであった場合には、個別通信ユニット３１が１つのみ接続されており、その個別通信ユニット３１から入力された場合にはそのまま、また、現在複数の個別通信ユニット３１が接続されている場合には、入力されたモード選択データに付されているＩＤが１の場合のみ（ｓ２２）、このデータを演奏制御装置３に出力する（ｓ２３）。
【００５１】
一方、入力されたデータが操作データであった場合には（ｓ２１）、全てのＩＤ（個別通信ユニット）の操作データが揃ったかを判断する（ｓ２４）。すなわち、図４に示すようにメイン制御部３０には複数の個別通信ユニット３１が接続されるため、演奏制御装置３に対しては、全ての個別通信ユニットがハンドコントローラ１から受信したそれぞれ異なるＩＤの操作データを１つのパケットに編集したのち、これを演奏制御装置３に入力する。接続されている個別通信ユニット３１の全てから操作データが入力されるとこれをパケットに編集して（ｓ２５）、演奏制御装置３に入力する（ｓ２６）。個別通信ユニット３１は、対応するハンドコントローラ１から２．５ｍｓ毎に操作データを受信するため、最長２．５ｍｓの時間で全ＩＤの操作データが入力され、上記ｓ２５、ｓ２６の動作も２．５ｍｓ毎に実行される。
【００５２】
図１０〜図１４は演奏制御装置３の動作を示すフローチャートである。
図１０は、モード設定動作を示すフローチャートである。ハンドコントローラ１から通信ユニット２を介してモード選択データが入力されると（ｓ３０）、このモード選択データが自動演奏制御モードを選択するデータであるか単音発音モードを選択するデータであるかを判断する（ｓ３１）。自動演奏制御モードを選択するデータの場合には、まず複数パートの自動演奏制御が可能な図７（Ａ）のような曲データが選択される（ｓ３２）。この曲データをＲＡＭ４３に読み出し（ｓ３３）、各トラック（パート）毎に対応するハンドコントローラ１の操作に応じたテンポで自動演奏を行う（ｓ３４）。
【００５３】
一方、単音発音モードの場合には、各ハンドコントローラが１または複数の音高を担当してハンドベルのような演奏をするための曲データの選択を受け付ける（ｓ３５）。この選曲入力においては、大容量記憶装置４４に記憶されている複数の曲データのなかから図７（Ｂ）のような構成の曲データが選択されるが、図７（Ａ）のような曲データを選択し、さらにそのなかの１または複数パートをハンドベル用の演奏パートとして選択入力するようにしてもよい。選択された曲データを大容量記憶装置４４からＲＡＭ４３に読み出し（ｓ３６）、演奏パートに含まれる全音高を割り出し、これを各ハンドコントローラに割り当てる（ｓ３７）。この割り当て（アサイン）は１つのハンドコントローラに対して１音高に限定されない。１つのハンドコントローラに対して複数の音高を割り当ててもよい。
【００５４】
そして、ポインティングデバイス４８やキーボード４７またはＩＤ＝１のハンドコントローラ１からスタート指示があるまで待機する（ｓ３８）。スタート指示があると、１小節分のメトロノーム音を発生してテンポを指示する。こののち、曲データの演奏トラックを読み出して対応するハンドコントローラに対して演奏ガイド情報を出力するとともに、ハンドコントローラ１（通信ユニット２）から入力された操作データに応じて楽音を発生する（ｓ４０）。なお、伴奏トラックを用いて伴奏をする場合には、上記指示したテンポで自動演奏を実行するが、この伴奏トラックによる伴奏の実行は必須ではなく、音源装置４にハンドコントローラ１から入力される操作データに基づく発音のみ行わせるようにしてもよい。
【００５５】
図１１は、通信ユニット２を介してハンドコントローラ１から入力される操作データを処理する動作を示すフローチャートである。この動作は各ハンドコントローラ（ＩＤ）毎に実行されるが、ここでは１つのハンドコントローラについてのみ説明する。操作データが入力されると（ｓ５０）、現在のモードが自動演奏制御モードであるか単音発音モードであるかを判断する（ｓ５１）。自動演奏制御モードの場合には、操作データに基づいて揺動加速度を検出する（ｓ５２）。揺動加速度はＸ軸方向加速度およびＹ軸方向加速度、または、Ｘ軸方向加速度、Ｙ軸方向加速度およびＺ軸方向加速度を合成した加速度ベクトルである。このベクトルの大きさに応じて対応するパートの音量を制御する（ｓ５３）。そしてこのベクトルの大きさおよび方向の変化によりローカルピークであるか否かを検出する（ｓ５４）。ローカルピークが検出されない場合には、ｓ５５からそのままｓ５０にもどる。ローカルピークが検出された場合には（ｓ５５）、前回（または過去の数回）のローカルピークとの間隔に応じて揺動のテンポを割り出し（ｓ５６）、これに基づいて対応するパート（トラック）の自動演奏のテンポを設定する（ｓ５７）。この設定されたテンポは後述の自動演奏処理動作において対応するパートのトラックデータ（自動演奏データ）の読み出し制御に用いられる。
【００５６】
一方、現在のモードが単音発音モードの場合には、揺動データが入力されると（ｓ５０）、この揺動データに基づいて揺動加速度を算出する（ｓ６０）。そしてこの揺動加速度のベクトルに基づいてローカルピークであるか否かを検出する（ｓ６１）。ローカルピークでない場合にはｓ６２からそのままリターンする。一方、ローカルピークが検出された場合には、このハンドコントローラ１に割り当てられている音高を読み出す（ｓ６３）。複数の音高が割り当てられている場合、曲の進行に応じて曲データを読み出し、今どの音高の楽音を発音するかを決定すればよい。そしてこの音高の発音データを発生する（ｓ６４）。この発音データは上記音高情報および揺動加速度に基づいて決定された音量情報が含まれている。この発音データを音源装置４に送信することにより、楽音信号が発生される。
【００５７】
図１２は自動演奏処理動作を示すフローチャートである。自動演奏制御モード時には各パート毎に、ハンドコントローラの操作により設定されたテンポでこの動作を実行し、読み出したイベントデータ（発音データ）を音源装置４に出力する。単音発音モード時には、コントロールユニットに書き込まれているテンポでこの動作を実行する。読み出したイベントデータは音源装置４に出力しない。
【００５８】
まず設定されたテンポクロックでタイミングデータをカウントし（ｓ７０）、次のイベントデータ（発音データ）の読み出しタイミングになったかを判断する（ｓ７１）。次のイベントデータの読み出しタイミングになるまでｓ７０の読み出しを継続する。ただし、自動演奏制御モードの場合、クロックのテンポは、ハンドコントローラ１の操作に応じて適宜設定変更される。次のイベントデータの読み出しタイミングになるとそのイベントデータに対応する処理を実行し（ｓ７２）、次のタイミングデータを読み出して（ｓ７３）、ｓ７０にもどる。イベントデータ（発音データ）対応処理は、自動演奏制御モードの場合には、そのイベントデータを音源装置４に出力する動作であり、単音発音モード時の演奏用トラックの場合には、その発音データの音高に対応するハンドコントローラに対して演奏ガイド情報を作成・出力するという動作である。このとき作成される演奏ガイド情報は、単に発音タイミングである旨を知らせるのみの内容（空電文）であってもよく、この発音データの音量を含む内容であってもよい。
【００５９】
なお、ハンドコントローラ１による楽音の制御は、上記実施形態ではテンポ制御、音量制御のみを説明しているが、これ以外に、発音タイミングの制御、音色の制御などを行うことができる。発音タイミングの制御は、たとえば、揺動加速度のピーク点を検出し、このピーク点のタイミングで楽音を発音させるなどの制御である。また、音色の制御は、たとえば、揺動加速度の変化率や変化波形に応じて楽音を柔らかい音色や硬い音色に変化させるなどの制御である。
【００６０】
図１３は、演奏ガイド情報送信時の前記通信ユニット２およびハンドコントローラ１の動作を示すフローチャートである。
【００６１】
同図（Ａ）は通信ユニット２のメイン制御部３０のデータ転送動作を示すフローチャートである。演奏制御装置３からハンドコントローラ１に送信すべきデータである演奏ガイド情報が入力されると（ｓ８０）、これを対応する個別通信ユニット３１に転送する（ｓ８１）。
【００６２】
同図（Ｂ）は個別通信ユニット３１の動作を示すフローチャートである。この動作は図９（Ａ）の動作に代えて実行される動作である。個別通信ユニット３１は、２．４ＧＨｚ帯のＩＤスイッチ３８で設定されたＩＤに割り当てられている周波数を常時監視しており、受信した信号のうちこの周波数の信号をデコードして、復調したデータの先頭にあるＩＤを読み取っている。そのＩＤが自装置に設定されているＩＤと一致した場合には（ｓ８２）、そのデータを取り込む（ｓ８３）。そして、このデータをメイン制御部３０に入力する（ｓ８４）。こののち、メイン制御部３０から送信すべきデータ（演奏ガイド情報）が入力されているかを判断し（ｓ８５）、データがある場合には、これをハンドコントローラ１に向けて送信する（ｓ８６）。このようにコントローラ本体１からデータを受信した直後のタイミングにデータ送信するようにしたことにより、ハンドコントローラ１と通信ユニット２の間で同期をとっていなくてもデータの送信が衝突することがなくなる。
【００６３】
同図（Ｃ）は、ハンドコントローラ１の受信動作を示すフローチャートである。通信ユニット２からＦＭ変調された演奏ガイド情報が送られてくると、これをＦＭ復調回路２７およびモデム２３が復調して制御部２０に入力する。制御部２０はこれを取り込み（ｓ８７）、演奏ガイド動作を実行する（ｓ８８）。演奏ガイド動作としては、ＬＥＤ１４を全て発光させて発音タイミングを知らせる動作や７セグメント表示器に指示された音量値を表示するなどの動作を適用することができる。
【００６４】
自動演奏制御モードでは、全パートが同じ進度で演奏が進行することが理想的であるが、各パートのテンポ制御を別々の利用者の操作に委ねているため各パート間の進度のずれをある程度許容している。しかし、各パート間で演奏の進度があまりずれすぎると演奏として成り立たなくなるため、演奏の進度（演奏スタートからの全クロックカウント数）が他のパートよりも所定値以上遅れている遅れパートや所定値以上進んでいる進みパートがある場合には、一部パートの演奏進行を停止させたり演奏をスキップさせて演奏を揃える進み遅れ制御をするようにしてもよい。
【００６５】
図１４は、上記進み遅れ制御動作の一例を示すフローチャートである。この動作は図１２の自動演奏制御動作と並行して実行される。まず全パートの演奏スタートからの全クロックカウント数を比較する（ｓ９０）。比較の結果、他のパートに比べて所定値以上遅れている遅れパートがある場合には（ｓ９１）、他のパートのクロックを停止する（ｓ９２）。すなわち、そのパートについての図１２のｓ７０の動作を停止する。そしてこの遅れパートのハンドコントローラ１に対して遅れている旨の演奏ガイド情報を生成出力する（ｓ９３）。一方、比較の結果、他のパートに比べて所定値以上進んでいる進みパートがある場合には（ｓ９４）、この進みパートのクロックを停止する（ｓ９５）。すなわち、そのパートについての図１２のｓ７０の動作を停止する。そしてこの進みパートのハンドコントローラ１に対して進みすぎている旨の演奏ガイド情報を生成出力する（ｓ９６）。なお、この動作では遅れパートがある場合には他のパートのクロックを停止するようにしたが、遅れパートの演奏をスキップ（クロックカウント値を一気に加算）するようにしてもよい。
【００６６】
なお、上記実施形態では、複数のハンドコントローラ（操作ユニット）１がそれぞれ別々のパートを担当するようにしているが、複数のハンドコントローラ１が発生した操作データに基づいて１つの総合操作データを生成し、この操作データに基づいて全パートを統一的に制御するようにしてもよい。その場合には、通信ユニット２からパケットとして入力される複数の操作データを平均化して１つのデータを生成し、これに基づいて図１１の処理動作を１系統で行い。曲データの全トラックについて一括して図１２の処理を行うようにする。
【００６７】
また、生の操作データを平均化するのでなく、各操作データについて図１１の処理（ｓ５３，ｓ５７の処理を除く）を行って、各操作ハンドコントローラ毎に揺動加速度とテンポデータを算出し、この揺動加速度とテンポデータを平均して総合揺動加速度および総合テンポデータを割り出してこれを用いて音量制御、テンポ設定をして全トラックについて一括して図１２の処理を行うようにしてもよい。
【００６８】
また、上記の複数のハンドコントローラ１の操作データに基づいて総合データを割り出し、曲データを一括制御する場合、複数のハンドコントローラ１から入力された操作データ（または揺動加速度，テンポデータ）を平均して総合データを割り出す方法のほか、値が最大・最小の操作データを除外し残りの操作データを平均する、中央値の操作データを抽出する、最大値の操作データを抽出する、最小値の操作データを抽出する、などの方法を採用することができる。
【００６９】
なお、自動演奏制御モードにおいて、上記実施形態では１つのハンドコントローラ１と１つのパートが１対１で対応しているが、対応関係は１対１に限定されず、１つのハンドコントローラに複数のトラックをアサインするようにしてもよく、また、複数のハンドコントローラで１つのパートを制御するようにしてもよい。
【００７０】
複数のハンドコントローラで１つのトラックを制御する場合、各ハンドコントローラから入力される操作データに基づいて上記各パート毎の総合データを割り出し、これに基づいてそのパート（曲データのトラック）の演奏制御を行うようにする。
【００７１】
なお、上記実施形態では、複数パート（複数の音色）の楽音を全て１つの音源装置４で発音するようにしているが、制御装置である演奏制御装置３に複数の音源装置（楽器）を接続し、各パート（の全部または一部）に対してそれぞれ個別の音源（楽器）を割り当てるようにしてもよい。図１５は演奏制御装置３に、通常の音源装置４、電子管楽器用音源装置６０、電磁駆動ピアノ６１を接続した例を示す。そして、音源装置４、電子管楽器用音源装置６０にそれぞれ複数のパートを担当させ、電磁駆動ピアノ６１にピアノパートのみを担当させる。たとえば音源装置４としては、基本波合成型のＦＭ音源やＰＣＭ波形を加工して楽音を合成するＰＣＭ音源などが適用される。また電子管楽器用音源装置６０としては、実際の管楽器をプロセッサでソフト的にシミュレートした物理モデル音源などが適用される。また、電磁駆動ピアノ６１は、各ハンマーにソレノイドが接続されたピアノであり、ＭＩＤＩデータなどの演奏データでソレノイドを駆動することができる自然楽器である。このように演奏制御装置３に接続できる音源は電子的な音源に限定されず、電気的に駆動される自然楽音を発生する音源装置を接続することも可能である。このようにそれぞれ異なる発音形態の音源を複数接続することにより、聴覚的にもまた視覚的にもアンサンブル的な合奏が可能になる。
【００７２】
また、上記実施形態は、操作ユニットとして利用者が手に持って揺動操作するハンドコントローラ１を用いているが、操作ユニットは、ハンドコントローラに限定されない。たとえば、歌唱用のマイクに加速度センサを内蔵して歌唱と自動演奏制御を一緒にできるようにすることも可能である。カラオケ装置にこのハンドコントローラ内蔵マイクを適用すれば、歌唱者が歌唱しながらそのカラオケ曲を制御することができるようになる。また、操作ユニットとしては揺動操作するものに限定されず、指による押圧の強さを検出するタップスイッチを用いることも可能である。このタップスイッチは、圧電センサなどで構成することができる。
【００７３】
また、図１６に示すように靴を操作ユニット５０とし、その踵に３軸加速度センサ５１を埋め込み、足を前後に動かす蹴りの動作、左右に振る動作、上下に動かす踏みの動作を検出し、これに基づいて楽音の発音を制御するようにしてもよい。
【００７４】
また、図１７上部に示すように利用者の指先に３軸の加速度センサ５３を有する指先操作ユニット５２を取り付け、指の３次元の動きを検出して楽音の発音を制御するようにすることもできる。この場合、各指に別々のセンサを取り付けることにより、各指毎に異なる楽音の制御をすることも可能である。
【００７５】
また、同図下部に示すように手首に３次元加速度センサ５５および脈拍センサ５６を有する手首操作ユニット５４を取り付けることにより、腕の揺動に加えて脈拍を検出することもできる。この場合、両手首に手首操作子を取り付けることにより、両腕で２つの楽音を制御することも可能になる。
【００７６】
また、利用者の腕、脚、胴などに複数のセンサを取り付けて、身体の動き、姿勢に応じた操作データを複数出力し、これによって複数パートの演奏制御、複数音高の発音制御をすることも可能である。図１８，図１９に身体の各部に加速度センサを設けた実施形態を示す。図１８は操作ユニットを身につけた利用者を示す図である。操作ユニットは、上下服に埋め込まれた複数のセンサ７１、ベルトに取り付けられたコントロールボックス７０および上下服およびベルトの各所に取り付けられたＬＥＤ７２を有している。センサとしては加速度センサ、衝撃センサなどを適用することができる。
【００７７】
以下はセンサ７１として加速度センサを適用した場合について説明する。加速度センサ７１は、服の左右の腕、胸、腰、もも、脚などに設けられており、腕、脚、上体などの揺動の態様を検出する。各加速度センサ７１はコントロールボックス７０に接続されている。コントロールボックス７０はマイコンである制御部７３を内蔵しており、この各加速度センサ７１の検出値（加速度）を操作データとして通信ユニットに送信する。
【００７８】
図１９（Ａ）は、この操作ユニットのブロック図である。制御部７３には、前記複数の加速度センサ７１、スイッチ群７４、送信部７５およびＬＥＤ点灯回路７６が接続されている。スイッチ群７４は、上記第１の実施形態と同様に動作モード等を設定するためのスイッチである。なお、この操作ユニットでは、複数の加速度センサ７１のそれぞれに予めＩＤ番号が付されており、各加速度センサ７１が検出した加速度を各加速度センサのＩＤを付して同図（Ｂ）に示すような一連の操作データとして通信ユニット２へ送信する。送信部７５は、図３のモデム２３、変調回路２４、送信出力アンプ２５およびアンテナ１８を含み、操作データをＧＭＳＫ変調して２．４ＧＨｚ帯の信号として送信する。また、ＬＥＤ点灯回路７６は各加速度センサ７１が検出する加速度に応じて身体（服）の各所に設けられているＬＥＤの点灯を制御する。
【００７９】
このような操作ユニットを設けることにより、１人で複数パートの楽曲の演奏を制御したり、１人が種々の態様で運動することにより、複数音高の楽音その運動に合わせて発音させたりすることができるようになる。
【００８０】
なお、上記実施形態ではセンサ７１として加速度センサを用いた例を示したが、センサ７１として衝撃センサを用いてもよく、その場合には、利用者がセンサを叩く、触るなどの動作によって動作態様を検出し、楽音を制御することができる。
【００８１】
上記実施形態では、利用者がハンドコントローラ１を揺動させる動作に基づいて演奏を制御するようにしているが、利用者の静的な姿勢に基づいて演奏を制御するようにしてもよい。
【００８２】
また、単音発音モードでハンドベルのような形態の合奏を行う場合において、上記実施形態では、演奏制御装置３に音源装置を接続して楽音を発音させるようにしているが、操作ユニットに音源を内蔵し、操作ユニット自身が楽音を発生するようにすることもできる。この場合、操作ユニット１に受信機能のみを設け、通信ユニット２に送信機能のみを設けてもよい。
【００８３】
なお、上記実施形態において、自動演奏制御モードで制御された演奏データは、音源装置４に入力されて発音することのみに用いられているが、演奏データ記録手段を設け、操作ユニットによって操作された演奏データを記録するようにしてもよい。そして、この記録された演奏データを自動演奏データとして再度読み出して自動演奏制御モードの対象としてもよい。
【００８４】
この場合において、複数パートの自動演奏データを自動演奏して、１または複数の操作ユニットで一部のパートの演奏要素を制御し、これを含めて自動演奏データとして記録する。そして、再度これを自動演奏して、残りのパートの演奏要素を制御するようにすることが可能である。
【００８５】
さらに、この場合において、１回の自動演奏で、テンポなどの一部の演奏要素を制御し、次の自動演奏で音量など他の一部の演奏要素を制御し、複数回の自動演奏で所望の演奏要素の全てを制御するようにすることも可能である。
【００８６】
【発明の効果】
以上のようにこの発明によれば、複数の利用者の運動態様や姿勢状態に基づいて、楽曲演奏のテンポや音量などの一部の演奏要素を制御することができるため、容易な操作で合奏的な演奏行為が可能になり、音楽演奏の敷居をさげることが可能になる。
【図面の簡単な説明】
【図１】この発明の実施形態である発音制御システムの概略構成図
【図２】同発音制御システムの操作ユニットであるハンドコントローラの外観図
【図３】ハンドコントローラのブロック図
【図４】通信ユニットのブロック図
【図５】パーソナルコンピュータのブロック図
【図６】ハンドコントローラから通信ユニットに送られるデータのフォーマットを示す図
【図７】自動演奏データの構成を示す図
【図８】ハンドコントローラの動作を示すフローチャート
【図９】通信ユニットの動作を示すフローチャート
【図１０】パーソナルコンピュータの動作を示すフローチャート
【図１１】パーソナルコンピュータの動作を示すフローチャート
【図１２】パーソナルコンピュータの動作を示すフローチャート
【図１３】演奏ガイド情報の送受信動作を示すフローチャート
【図１４】パーソナルコンピュータの進み遅れ制御動作を示すフローチャート
【図１５】この発明の実施形態である発音制御システムの他の実施形態を示す図
【図１６】操作ユニットの他の態様を示す図
【図１７】操作ユニットの他の態様を示す図
【図１８】操作ユニットの他の態様を示す図
【図１９】同操作ユニットのブロック図
【符号の説明】
１…ハンドコントローラ（操作ユニット）、２…通信ユニット、３…演奏制御装置（パーソナルコンピュータ）、４…音源装置、１４ａ〜１４ｄ…ＬＥＤ、１５ａ〜１５ｄ…スイッチ群、１６…７セグメント表示器、１７…３軸加速度センサ、２２…ＬＥＤ点灯回路、２３…モデム、２４…変調回路、２５…送信出力アンプ、２６…受信回路、３０…メイン制御部、３１…個別通信ユニット
Claims (5)
- それぞれ別の利用者が操作する複数の操作ユニットと、複数パートの楽曲を自動演奏する制御装置と、からなる発音制御システムであって、
各操作ユニットは、利用者の身体の運動態様または姿勢状態を検出するセンサ手段と、該センサ手段の検出内容を操作データとして無線送信する送信手段と、を備え、
前記制御装置は、前記複数の操作ユニットから操作データを受信する受信手段と、各操作ユニットをそれぞれ別々のパートにアサインし、各操作ユニットから受信した操作データに基づいて前記各操作ユニットをアサインしたパートの少なくともテンポまたは音量を制御する演奏制御手段と、を備えた発音制御システム。 - 操作データに基づいて、各パートの少なくともテンポまたは音量が制御された自動演奏データを記録する記録手段を備えた請求項１に記載の発音制御システム。
- 前記演奏制御手段は、前記記録手段によって記録された自動演奏データに基づいて楽曲を自動演奏する請求項２に記載の発音制御システム。
- 複数の利用者が操作する複数の操作ユニットと、複数の音高の楽音を発音する音源装置を備えた制御装置と、からなる発音制御システムであって、
各操作ユニットは、利用者の身体の運動態様または姿勢状態を検出するセンサ手段と、該センサ手段の検出内容を操作データとして無線送信する送信手段と、を備え、
前記制御装置は、前記複数の操作ユニットから操作データを受信する受信手段と、各操作ユニットをそれぞれ異なる音高にアサインし、各操作ユニットから受信した操作データに基づいて前記各操作ユニットをアサインした音高の楽音の発音および消音のタイミングを制御する発音制御手段と、を備えた発音制御システム。 - 前記発音制御手段は、楽曲の各音符の音高および発音タイミングを含む自動演奏データを所定のテンポで読み出し、各音符の音高および発音タイミングを指示する演奏ガイド情報を発生する請求項４に記載の発音制御システム。
Priority Applications (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000211771A JP3636041B2 (ja) | 2000-07-12 | 2000-07-12 | 発音制御システム |
| EP07110784.1A EP1837858B1 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| EP01100081A EP1130570B1 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US09/758,632 US7183480B2 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| EP07110789.0A EP1855267B1 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| DE60130822T DE60130822T2 (de) | 2000-01-11 | 2001-01-10 | Vorrichtung und Verfahren zur Erfassung der Bewegung eines Spielers um interaktives Musikspiel zu steuern |
| EP20070110770 EP1860642A3 (en) | 2000-01-11 | 2001-01-10 | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| US10/291,134 US7179984B2 (en) | 2000-01-11 | 2002-11-08 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US10/387,811 US7135637B2 (en) | 2000-01-11 | 2003-03-13 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US11/400,710 US7781666B2 (en) | 2000-01-11 | 2006-04-07 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
| US12/780,745 US8106283B2 (en) | 2000-01-11 | 2010-05-14 | Apparatus and method for detecting performer's motion to interactively control performance of music or the like |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000211771A JP3636041B2 (ja) | 2000-07-12 | 2000-07-12 | 発音制御システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002023743A JP2002023743A (ja) | 2002-01-25 |
| JP3636041B2 true JP3636041B2 (ja) | 2005-04-06 |
Family
ID=18707816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000211771A Expired - Fee Related JP3636041B2 (ja) | 2000-01-11 | 2000-07-12 | 発音制御システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3636041B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006337505A (ja) * | 2005-05-31 | 2006-12-14 | Sony Corp | 音楽再生装置および処理制御方法 |
| JP4679429B2 (ja) * | 2006-04-27 | 2011-04-27 | 任天堂株式会社 | 音出力プログラムおよび音出力装置 |
| JP4917347B2 (ja) | 2006-05-09 | 2012-04-18 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
| JP5082730B2 (ja) * | 2007-10-02 | 2012-11-28 | ヤマハ株式会社 | 音データ生成装置および方向センシング発音楽器 |
| JP4572980B2 (ja) * | 2008-10-27 | 2010-11-04 | ヤマハ株式会社 | 自動演奏装置及びプログラム |
| US9596538B2 (en) * | 2014-12-12 | 2017-03-14 | Intel Corporation | Wearable audio mixing |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07302081A (ja) * | 1994-05-09 | 1995-11-14 | Yamaha Corp | 自動演奏操作装置 |
| JPH096357A (ja) * | 1995-06-16 | 1997-01-10 | Yamaha Corp | 楽音制御装置 |
| JP3627321B2 (ja) * | 1995-10-02 | 2005-03-09 | ヤマハ株式会社 | 演奏制御装置 |
| JP3646416B2 (ja) * | 1996-07-29 | 2005-05-11 | ヤマハ株式会社 | 楽曲編集装置 |
| JP3387332B2 (ja) * | 1996-09-20 | 2003-03-17 | ヤマハ株式会社 | 演奏制御装置 |
| JP3266149B2 (ja) * | 1997-01-06 | 2002-03-18 | ヤマハ株式会社 | 演奏ガイド装置 |
| JP3470596B2 (ja) * | 1998-06-08 | 2003-11-25 | ヤマハ株式会社 | 情報表示方法および情報表示プログラムが記録された記録媒体 |
-
2000
- 2000-07-12 JP JP2000211771A patent/JP3636041B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002023743A (ja) | 2002-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1837858B1 (en) | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like | |
| JP4691754B2 (ja) | ゲーム装置 | |
| JP4626087B2 (ja) | 楽音制御システムおよび楽音制御装置 | |
| US8835740B2 (en) | Video game controller | |
| JP2009276782A (ja) | 楽音制御システム、楽音信号生成装置および楽音信号生成方法 | |
| JP2001195059A (ja) | 演奏インターフェイス | |
| JP3654143B2 (ja) | 時系列データの読出制御装置、演奏制御装置、映像再生制御装置、および、時系列データの読出制御方法、演奏制御方法、映像再生制御方法 | |
| JP2002023742A (ja) | 発音制御システム、操作ユニットおよび電子打楽器 | |
| JP3636041B2 (ja) | 発音制御システム | |
| JP2001195060A (ja) | 演奏インターフェイス | |
| JP3879583B2 (ja) | 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体 | |
| JP4131279B2 (ja) | 合奏パラメータ表示装置 | |
| JP4692691B2 (ja) | ゲーム装置、これに使用する入力手段、及び記憶媒体 | |
| JP2001070644A (ja) | ダンスゲーム装置 | |
| JP6234197B2 (ja) | 電子ハンドベルシステム | |
| CA2769517C (en) | Video game controller | |
| JP6219716B2 (ja) | 電子ハンドベルシステム | |
| JP6219717B2 (ja) | 電子ハンドベルシステム | |
| JP4868045B2 (ja) | 楽音制御システム | |
| JP2005031383A (ja) | 自動演奏装置およびプログラム | |
| JP2002156970A (ja) | 楽音信号生成システム、楽音信号生成装置および楽音信号生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3636041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110114 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120114 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130114 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |