JP4214917B2

JP4214917B2 - 演奏システム

Info

Publication number: JP4214917B2
Application number: JP2004004572A
Authority: JP
Inventors: 春喜上原
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2004-01-09
Filing date: 2004-01-09
Publication date: 2009-01-28
Anticipated expiration: 2024-01-09
Also published as: JP2005196074A

Description

本発明は、送信側から受信側に演奏データと例えばオーディオビデオ信号を送信して、該受信側で演奏データに基づく楽音と該オーディオビデオ信号に基づく映像及び音声を再生する演奏システムに関する。

従来、この種の演奏システムは、例えば自動演奏ピアノを使ったレッスンや遠隔コンサートなどを行うために開発されている。図７は従来の演奏システムの概略図であり、送信側（先生側）のコントローラ５１と受信側（生徒側）のコントローラ６１、送信側のビデオフォン５２と受信側のビデオフォン６２は、インターネット１０でそれぞれ接続されている。送信側の例えば自動演奏ピアノ５３の演奏で発生する演奏データ（ＭＩＤＩデータ）はコントローラ５１に入力され、コントローラ５１は内部時計５１ａを参照してＭＩＤＩデータが発生した時刻をタイムスタンプとしてＭＩＤＩデータに付加し、これらのデータをパケットセンドモジュール５１ｂからパケットデータとして送信する。また、ビデオフォン５２で再生されるオーディオビデオ信号は（例えばストリーミングシステムやビデオ会議システムにより）受信側のビデオフォン６２に送信される。

受信側のコントローラ６１は、インターネット１０を介して送信されるパケットデータをパケットレシーブモジュール６１ｂで受信し、ＭＩＤＩデータを抽出してＭＩＤＩアウトバッファ６１ｃに格納する。このＭＩＤＩデータは内部時計６１ａとタイムスタンプとに基づいてＭＩＤＩ出力のタイミングを調整して電子楽器６３に出力し、自動演奏ピアノ６３でＭＩＤＩデータに基づく楽音を発生する。また、受信側のビデオファン６２は、受信するオーディオビデオ信号に基づいて映像を再生するとともにオーディオ信号に基づいて音声を再生する。

このように、演奏データに基づいて自動演奏ピアノで再生すると、自動演奏ピアノからは生楽音（アコースティック音）が発生されるとともに、その楽音に対応する鍵も自動的に動くので、ピアノのレッスンには好適である。

なお、先生側の電子楽器である親機と生徒側の電子楽器である子機とを接続して、複数の生徒に対する楽器のレッスンを行うようにした集団演奏教習装置が例えば特開平７−１９９７９０号公報に開示されている。この従来の技術では、先生が生徒による演奏をモニタするために、モニタする生徒やそのグループを任意に選択設定できるようにしている。
特開平７−１９９７９０号公報

しかし、従来の演奏システムでは、受信側でオーディオ信号による音声再生を普通に再生していると、送信側で集音された音声の中には、送信側で演奏された楽音も先生のアドバイス等と一緒に集音されるため、送信側から受信した演奏データに基づいて自動演奏ピアノから発生する生楽音と、オーディオ信号による音声の中の楽音とが重複してしまう。このため、従来は、ミキサなどを使って音声をミュートしたりする必要があった。例えばレッスンの場合、生徒がオーディオ信号で再生される先生の声を聞くときと、先生の演奏（生徒側の自動演奏）を聞くときとで、ミュートオフしたりミュートオンしたりしなければならず、手間を要するという問題がある。特に子供にはこのような操作は極めて困難でありレッスンの上達にも支障をきたすという問題がある。

また、前記特開平７−１９９７９０号公報のような技術に加えて先生の映像及び音声を生徒側に送り、映像と音声により生徒を指導することもできるが、先生側で生徒側の音声再生を制御するのは困難である。

本発明は、送信側から受信側に演奏データと例えばオーディオビデオ信号を送信して、受信側で演奏データに基づく楽音とオーディオ信号に基づく音声を再生する演奏システムにおいて、演奏データに基づく楽音とオーディオ信号に基づく音声の中の楽音とが重複しないように自動制御することを課題とする。

本発明の請求項１の演奏システムは、送信側にて発生する演奏データ（例えばＭＩＤＩデータ）とオーディオ信号とを送信し、受信側にて該演奏データとオーディオ信号とを受信して、該演奏データによる楽音の再生と該オーディオ信号による音声再生とを行う。受信側は演奏データに応じた楽音信号を生成する音源を備え、受信した演奏データに応じた楽音信号の音量レベルが所定レベル以上であれば、受信したオーディオ信号による音声再生を停止し、音量レベルが所定レベル以上でなければ、受信したオーディオ信号による音声再生を行う。したがって、演奏データに応じた楽音信号の音量レベルが所定レベル以上のときは、オーディオ信号の音声による楽音が再生されない。また、ピアノの減衰する楽音のように演奏データに反映されないような実際の楽音の特徴に対応することができる。

本発明の請求項１の演奏システムによれば、演奏データに基づく楽音とオーディオ信号に基づく音声による楽音とが重複しないように自動制御することができる。さらに、ピアノの減衰する楽音のように演奏データに反映されないような実際の楽音の特徴に応じても簡単な処理で対応することができる。

以下、図面を参照して本発明の一実施形態について説明する。図１は本発明の実施形態における演奏システムの要部機能を説明する機能ブロック図である。この演奏システムは遠隔レッスンを行うものであり、送信側は先生側、受信側は生徒側である。送信側のコントローラ１１と受信側のコントローラ２１とでインターネット１０を介して信号の送受信を行い、先生側である送信側の自動演奏ピアノ１２の演奏操作により、生徒側である受信側の自動演奏ピアノ２２でピアノの楽音を発生して生徒側での模範演奏を行う。また、送信側のビデオカメラ１４で撮影した先生による指導や演奏の映像及び音声をビデオフォン１３から送信して、受信側のビデオフォン２３及びディスプレイ２４で映像を再生し、音声はスピーカ２５で再生する。

先ず、送信側と受信側の送受信動作によるＭＩＤＩデータとオーディオビデオ信号の同期機能について説明する。送信側のコントローラ１１及び受信側のコントローラ２１はコンピュータ等で構成されており、送信側の内部時計１１ａ、タイムスタンプ付加モジュール１１ｂ、パケットセンドモジュール１１ｃ、クリック発生モジュール１１ｄはコントローラ１１の機能である。また、受信側の内部時計２１ａ、クリック発生時刻バッファ２１ｂ、パケットレシーブモジュール２１ｃ、ＭＩＤＩアウトバッファ２１ｄ、クリックタイミング検出モジュール２１ｅ、スイッチングモジュール（ＳＷ）２１ｆはコントローラ２１の機能である。

送信側のピアノコントローラ１２ａは自動演奏ピアノ１２を、受信側のピアノコントローラ２２ａは自動演奏ピアノ２２をそれぞれ電子的に制御する装置であり、送信側の自動演奏ピアノ１２の演奏がキーセンサ等で検出され、ピアノコントローラ１２ａから演奏に応じたＭＩＤＩデータが出力される。また、受信側のピアノコントローラ２２ａは受信したＭＩＤＩデータに基づいて自動演奏ピアノ２２を駆動して演奏（再生）を行う。なお、自動演奏ピアノ１２，２２は、ＭＩＤＩデータに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することは公知の技術である。ここで、この実施形態では、受信側のピアノコントローラ２２ａは内部に波形メモリ音源を備えており、入力されるＭＩＤＩデータ（ピアノの音色のプログラムチェンジ等）に基づいてピアノの音色のデジタル楽音信号を生成する。このデジタル楽音信号はコントローラ２１のスイッチングモジュール２１ｆにおいて、音量レベルを検出するのに用いる。

送信側のコントローラ１１は送信開始時にクリック発生モジュール１１ｄを起動して該クリック発生モジュール１１ｄは一定間隔でクリック信号を発生し、このクリック信号はビデオフォン１３に入力されるとともにコントローラ１１で内部処理される。コントローラ１１は、ピアノコントローラ１２ａからＭＩＤＩデータが発生されると、そのＭＩＤＩデータに対して、内部時計１１ａを参照して得られる該ＭＩＤＩデータの発生時刻を示すタイムスタンプを付加し、パケットセンドモジュール１１ｃからパケットデータとして送信する。また、クリック信号が検出されると、このクリック信号のクリック発生時刻を示すクリックタイムデータを生成し、このクリックタイムデータをパケットセンドモジュール１１ｃからパケットデータとして送信する。また、ビデオフォン１３は、クリック発生モジュール１１ｃからクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。なお、パケットデータにはＭＩＤＩ／クリックタイムかを識別するデータがヘッダ等に記録され、受信側ではこのヘッダの情報でＭＩＤＩデータとクリックタイムデータを識別する。

また、ビデオフォン１３は、クリック発生モジュール１１ｄからクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。ビデオカメラ１４は自動演奏ピアノ１２における先生の鍵盤演奏を撮像して、そのビデオ信号をビデオフォン１３に出力する。ビデオフォン１３は上記ビデオ信号と前記オーディオ信号を圧縮して送信する。ここで、この実施形態におけるオーディオ信号はモノラルの場合であり、このオーディオ信号に含ませるクリック信号は、例えば音声信号として頻繁には出現しないような周波数（例えば４０Ｈｚ）のクリック信号である。そして、受信側でフィルタを通してクリック信号を検出する。

受信側のコントローラ２１は、パケットレシーブモジュール２１ｃでパケットデータを受信し、そのパケットデータがＭＩＤＩデータである場合は、ＭＩＤＩデータをＭＩＤＩアウトバッファ２１ｄに格納し、パケットデータがクリックタイムデータである場合は、クリックタイムデータをクリック発生時刻バッファ２１ｂに格納する。また、ビデオフォン２３で受信したオーディオ信号から、クリックタイミング検出モジュール２１ｅでクリック信号が検出されると、このクリック信号に対応するクリックタイムデータとにより、内部時計２１ａを補正する。

コントローラ１１からのＭＩＤＩデータ及び前記クリックタイムデータ（クリック信号のクリック発生時刻）は、インターネット１０を利用したパケット通信システムでパケットデータとしてコントローラ２１に送信する。また、ビデオフォン１３はビデオ信号とモノラルのオーディオ信号を圧縮して出力し、このビデオ信号とオーディオ信号は、インターネット１０を利用したビデオ会議システムにより、ビデオフォン２３に送信する。そして、このオーディオ信号にはクリック発生モジュール１１ｄからのクリック信号を含めて送信する。

図２は実施形態における時間進行に対するパケットデータとクリック信号（オーディオ信号）の関係を概念的に示す図である。クリック信号は所定間隔のパルス信号として出力される。パケットデータは主にＭＩＤＩデータ（図中「ＭＩＤＩ」）を送信するが、送信側でクリック信号が発生したときにクリックタイムデータ（図中「クリック」）も送信する。このクリック信号とクリックタイムデータとは、受信側でクリックタイムデータを検出するタイミングとクリック信号を検出するタイミングが略同時となるように送信することで、互いにペアとなるように対応付けられている。この対応するクリック信号とクリックタイムデータとは同時に受信できるとは限らないので所定の時間間隔内で検出されたもの同士を対応するものとする。

図３はクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。図３(A) のようにクリック信号が先に到来すると、そのクリック信号の立ち上がりでクリック検出信号がえられる。そこでこのクリック検出信号により、所定時間を計時するタイマを起動し、クリックタイムデータが検出されるまでの時間ΔＴを計時する。そして、クリックタイムデータが検出された時点で、そのクリックタイムデータが示すクリックタイムｔにタイマ値ΔＴを加算した時刻を、受信側の現時刻として内部時計２１ａを補正する。これにより、内部時計２１ａはクリック信号が検出された時点でそのクリック信号に対応する（ペアの）クリックタイムデータに基づいて補正されたと同様な結果となる。なお、タイマが計時終了する所定時間は、断続的に送信（及び受信）するクリック信号間の間隔（インターバル）に応じて設定されており、このクリック信号が検出されてから所定時間内にクリックタイムデータが検出されない場合は、この検出した今回のクリック信号による補正動作を中止する。

また、図３(B) のように、クリックタイムデータが先に到来した場合は、そのクリックタイムデータが示すクリックタイムｔを前記クリック発生時刻バッファ２１ｂに記憶しておき、所定時間内にクリック信号（クリック検出信号）が検出されると、クリック発生時刻バッファ２１ｂに記憶しているクリックタイムｔを、受信側のクリック信号検出時の現時刻として内部時計２１ａを補正する。この場合も、クリックタイムデータが検出されてから所定時間内にクリック信号が検出されない場合は、この検出した今回のクリックタイムデータによる補正動作を中止する。

次に、クリック信号（オーディオビデオ信号）を送信する第２伝送系統のシステムの違い（ビデオ会議系とストリーミング系）に応じた所定時間について説明する。ＭＩＤＩデータとクリックタイムデータを送信する第１伝送系統の遅延は、ネットワーク状態によって変化する部分もあるが、通常は１０〜１００ｍ秒（ミリ秒）程度である。

（ビデオ会議系）ビデオ会議系は、ビデオ側の遅延時間が２００〜３００ｍ秒程度であり、ネットワーク状態によってクリックタイムデータが検出信号より先に来る場合（図３(B) ）とクリックタイムデータが検出信号より後に来る場合（図３(A) ）を想定してタイミング補正動作をする。クリックタイムデータが検出信号より先に来る場合には、第１伝送系統の最小遅延時間１０ｍ秒と第２伝送系統の最大遅延時間の差である３００ｍ秒弱程度の遅延時間をカバーできればよいものであり、所定時間は３００＋αｍ秒（α：数十〜２００ｍ秒）あればよい。クリックタイムデータが検出信号より後に来る場合は、上述のＭＩＤＩ信号側で想定する遅延時間の範囲を超える遅延が生じた場合のものなので、仮に３００ｍ秒程度の遅延でもカバーできるものにするとすれば、所定時間は第２伝送系統の最小遅延時間の差である１００ｍ秒弱程度あればよい。なお、第１伝送系統のネットワーク状態が悪く、ＭＩＤＩパケットの送信に時間がかかることを想定しているもので、このような場合には、受信した側はタイミング補正と並行して通信の停止を送信側に促したりするようにしてもよい。

（ストリーミング系）ストリーミング系は、ビデオ側の遅延が１５〜３０秒程度であり、第１伝送系統の遅延時間と比較して桁違いに大きいものとなっている。このため、クリックタイムデータが先に来る場合にタイミング補正動作をする。クリックタイムデータが検出信号より後に来る場合は考えられなくはないが、その場合はＭＩＤＩ信号自体がエラーとして処理され同期処理には利用されない。クリックタイムデータが先に来る場合の上記所定時間は、第１伝送系統の最小遅延時間と第２伝送系統の最大遅延時間との差分の補正ができればよいのだが、上述のように第２伝送系統の遅延時間が第１伝送系統に比べて非常に長いので、所定時間は３０秒＋β（β：数秒）あればよい。また、クリックタイムデータが後に来る場合の上記所定時間は０に設定すればよい。なお、αとβは、いずれもビデオ系の遅延が急激に変化する可能性のある値をさす。

これらのことに基づき、所定時間とクリック信号のインターバルの例をあげると、クリック信号（オーディオビデオ信号）を送信する第２伝送系統は、この実施形態ではビデオ会議システムであり、この場合には送信から受信に係る遅延が２００〜３００ｍ秒程度であり、クリック信号間の間隔（インターバル）は２秒程度に設定されている。なお、クリックタイムデータが先に来る場合に対応して想定する所定時間を「所定時間Ｂ」とし、クリックタイムデータが後に来る場合に対応して想定する所定時間を「所定時間Ａ」とする。この場合、上記タイマにより規制する所定時間Ｂは例えば０．５秒程度でよい。また、所定時間Ａとしては、０．１秒程度でよい。なお、この第２伝送系統としてストリーミングシステムを利用する場合は、この伝送系統は遅延が５〜２０秒程度であり、クリック信号間の間隔（インターバル）は余裕を見て３０秒程度に設定するとよい。この場合は上記タイマにより規制する所定時間Ｂは２５秒程度でよく、所定時間Ａは０秒でよい。

図４は送信側のコントローラ１１の送信処理の要部を示すフローチャートである。先ず、ステップＳ１１でピアノコントローラ１２ａからＭＩＤＩデータが発生するのを監視するとともに、ステップＳ１２でクリック発生モジュール１１ｄからクリック信号が発生するのを監視する。ＭＩＤＩデータが発生したら、ステップＳ１３でＭＩＤＩデータにタイムスタンプを付加し、ステップＳ１４でパケットデータとして送信する。また、クリック信号が発生したら、ステップＳ１６で内部時計１１ａからクリックタイムを取得し、そのクリックタイムデータにタイムスタンプを付加してパケットデータとして送信する。そして、処理終了の指示があれば処理を終了する。なお、クリック発生モジュール１１ｄからのクリック信号（オーディオ信号）はビデオフォン１３により、コントローラ１１の処理とは独立して送信される。

図５は受信側のコントローラ２１の受信処理の要部を示すフローチャートであり、この処理では、前記図３(A) 及び図３(B) の処理を併用するために、ＡフラグとＢフラグを用いている。また、所定時間Ａを計時する所定時間Ａタイマ、所定時間Ｂを計時する所定時間Ｂタイマを用いている。なお、パケットレシーブモジュール２１ｃでの受信処理は別途割込み処理により行われ、ＭＩＤＩデータあるいはクリックタイムデータの受信の有無に応じた処理を行う。先ず、ステップＳ２１でＡフラグ、Ｂフラグ及び後述のＯＦＦフラグを“０”にリセットするとともに、オーディオ出力オンとｓるう。次に、ステップＳ２２でＭＩＤＩデータが有るかを判定する。受信したＭＩＤＩデータがなければステップＳ３０に進み、受信したＭＩＤＩデータが有ればステップＳ２３で発音時刻（イベントのタイミング）の調整などのＭＩＤＩデータ処理を行ってステップＳ３０に進む。ステップＳ３０では、後述の図６のオーディオスイッチング処理を行ってステップＳ２４に進み、ステップＳ２４でクリックタイムデータが有るかを判定する。クリックタイムデータが無ければステップＳ２５でクリック信号を検出したかを判定し、検出していなければステップＳ２２以降を繰り返す。

ステップＳ２４でクリックタイムデータが無く、ステップＳ２５でクリック信号が検出されていれば、前記図３(A) の場合（クリック信号が先）であり、ステップＳ２６でＢフラグ＝“１”かを判定する。このＢフラグはクリックタイムデータが先の場合に“１”にセットされるので、この場合は、ステップＳ２７に進み、前記所定時間Ａタイマを起動する。そして、ステップＳ２８でＡフラグを“１”にセットする。そして、ステップＳ２９で所定時間Ａタイマが計時終了したか否かを判定し、計時を終了していればステップＳ２１に戻ってＡフラグとＢフラグをリセットする。所定時間Ａタイマが計時終了していなければ、ステップＳ２０１に進み、処理終了の指示がなければステップＳ２２に戻る。処理終了の指示があれば、ステップＳ２０２でオーディオ信号出力を強制的にオンにして処理を終了する。

すなわち、この状態では、所定時間Ａタイマによる所定時間Ａの計時を行いながら、クリックタイムデータの検出を監視する。そして、所定時間Ａ内にクリックタイムデータが検出されれば、ステップＳ２０２でＡフラグ＝“１”かを判定する。このＡフラグはクリック信号が先の場合に“１”にセットされるので、この場合は、ステップＳ２０３に進み、クリックタイムｔにタイマ値ΔＴを加算して現時刻を求め、内部時計２１ａを補正する。そして、２０４でＡフラグ及び所定時間Ａタイマをリセットし、ステップＳ２９に進む。

一方、クリック信号が検出される前にステップＳ２４でクリックタイムデータが検出されていれば、前記図３(B) の場合であり、この場合は、ステップＳ２０２からステップＳ２０５に進み、前記所定時間Ｂタイマを起動する。次に、ステップＳ２０６でクリックタイムデータをクリック発生時刻バッファ２１ｂに記憶し、ステップＳ２０７でＢフラグを“１”にセットする。そして、ステップＳ２９で所定時間Ｂタイマが計時終了したか否かを判定し、計時を終了していればステップＳ２１に戻ってＡフラグとＢフラグをリセットする。所定時間Ｂタイマが計時終了していなければ、ステップＳ２０１に進み、処理終了の指示がなければステップＳ２２に戻る。

この状態では、所定時間Ｂタイマによる所定時間Ｂの計時を行いながら、クリック信号の検出を監視する。所定時間Ｂ内にクリック信号が検出されれば、ステップＳ２５からステップＳ２６に進み、さらにステップＳ２６からステップＳ２０８に進む。そして、ステップＳ２０８で、クリック発生時刻バッファ２１ｂに記憶したクリックタイムｔを現時刻（クリック信号検出タイミング）として、内部時計２１ａを補正する。そして、ステップＳ２０９でＢフラグ及び所定時間Ｂタイマをリセットする。

このように、クリック信号の到来時にそれに対応するクリックタイムデータを現時刻とし、あるいは、クリックタイムデータが先に到来したときは、それに対応するクリック信号が到来した時点の時刻をクリックタイムデータから求め、それぞれ内部時計２１ａを補正している。また、クリック信号を含んでいるオーディオビデオ信号はそのクリック信号と当然に同期している（同時性が保証されている）ので、内部時計２１ａをタイムベースとしてＭＩＤＩデータによる自動演奏を行ったとき、この自動演奏と再生される映像とが同期したものとなる。すなわち、自動的に同期をとることができる。

なお、何らかの事情でクリック信号あるいはクリックタイムデータを受信できなかった場合（取り逃した場合）でも、次のペアあるいはその次のペアによって時計を補正することができる。このような場合でも、一旦補正されると同期外れが生じるまで（あるいは時間のズレが目立つようになるまで）、有る程度の時間がかかるので問題はない。

図６はオーディオスイッチング処理（図５のステップＳ３０）のフローチャートであり、この処理では、受信したＭＩＤＩデータに基づいてピアノコントローラ２２ａで楽音信号を生成し、その楽音信号の音量レベルに応じてオーディオ出力のオン／オフを切り換える処理をする。なお、この楽音信号による楽音の再生は行われない。また、この処理では、オーディオ出力オフの状態を示すＯＦＦフラグを用い、このＯＦＦフラグは、オーディオ出力オフの状態で“１”にセットされ、オーディオ出力オンの状態で“０”にリセットされる。また、音量レベルが所定レベル以下になってオーディオ出力オフの状態からオーディオ出力オンの状態へ切り換えるまでに所定時間（例えば数秒間）を設けるために所定時間Ｃタイマを用いる。

先ず、ステップＳ３１で、ピアノコントローラ２２ａからの楽音信号の音量レベル（エンベロープ）が所定レベル以上であるかを判定する。この所定レベルは、実際に楽音を発生した場合に殆ど聞こえないようなレベルである。音量レベルが所定レベル以上であれば、ステップＳ３２でオーディオ出力をオフにするとともに、ＯＦＦフラグを“１”にセットし、元のルーチンに復帰する。音量レベルが所定レベル以上でなければ、ステップＳ３３でＯＦＦフラグ＝“１”であるかを判定し、ＯＦＦフラグ＝“１”であれば、ステップＳ３４でＣタイマを起動するとともにＯＦＦフラグを“０”にリセットし、元のルーチンに復帰する。ステップＳ３３でＯＦＦフラグ＝“０”であれば、ステップＳ３５でＣタイマが計時終了したか否かを判定し、計時を終了していなければ元のルーチンに復帰し、Ｃタイマが計時を終了していれば、ステップＳ３６でオーディオ出力オンとして元のルーチンに復帰する。

例えば、最初のキーオンの立ち上がり（アタック）等により音量レベルが所定レベル以上となるとステップＳ３１→Ｓ３２のフローでオーディオ出力オフ（ＯＦＦフラグ＝“１”）とされる。次に音の減衰等によりこの音量レベルが所定レベル以下となると、まずＯＦＦフラグ＝“１”であるのでステップＳ３１→Ｓ３３→Ｓ３４のフローによりＣタイマが起動されるとともにＯＦＦフラグ＝“０”とされる。したがって、このままの状態で所定時間が経過するまでは、ステップＳ３１→Ｓ３３（ここでＯＦＦフラグ＝“０”）→Ｓ３５のフローを繰り返す。そして、所定時間が経過した場合、ステップＳ３１→Ｓ３３→Ｓ３５→Ｓ３６のフローでオーディオ出力オンとされる。なお、所定時間が経過する前に音量レベルが所定レベル以上となった場合も、ステップＳ３１→Ｓ３２のフローによりオーディオ出力オフ（ＯＦＦフラグ＝“１”）とされる。

以上の処理により、ビデオ映像（ビデオ信号）と音声（オーディオ信号）とにより、先生側（送信側）から生徒側（受信側）に対して指導等を行うことができ、先生側で演奏が開始されると、生徒側では送られてくるＭＩＤＩデータに基づいて自動演奏ピアノ２２で演奏が開始されるが、このとき音声は自動的にカット（オーディオ出力オフ）され、自動演奏ピアノ２２による生楽音（及び鍵の動）により模範演奏等を聞くことができる。また、演奏が終了すれば、自動的に音声が回復（オーディオ出力オン）される。したがって、自動演奏ピアノによる楽音と音声（オーディオ信号）による楽音とが重複することがない。

また、この実施形態では、ＭＩＤＩデータに基づいて音源で発音に利用しない楽音信号を生成し、この楽音信号の音量レベルに応じてオーディオ出力のオン／オフを切り換えるようにしている。このような処理を行うと次のような利点がある。ピアノは減衰音なので、ＭＩＤＩデータのノートオンの後、しばらくノートオフが来なくても自動演奏ピアノの楽音の音自体は聞こえなくなる可能性があり、この場合にも簡単な処理でオーディオ出力をオンとすることができる。例えば、直接ＭＩＤＩデータだけでオーディオ出力のオン／オフの処理を行おうとすると、実際の音の減衰とノートオフとのタイムラグの処理を行う必要があるなど、複雑な処理となるが、実施形態によればこのような複雑な処理が不要となる。

ただし、ＭＩＤＩデータのノートオンやノートオフの有無等によりオーディオ出力のオン／オフを切り換えるようにしても、ある程度の精度でよければ同様な効果を得ることができる。

以上の実施形態ではオーディオ信号をモノラルの場合について説明したが、ストリーミングシステムのように、オーディオ信号として左右（ＬＲ）のステレオ信号を伝送できる場合は、片方のチャンネルにクリック信号を含ませて他のチャンネルで音声信号をそのまま送信するようにしてもよい。

以上の実施形態では、インターネットを利用して遠隔レッスンを行う場合について説明したが、前記特開平７−１９９７９０号公報のように、先生側の電子楽器である親機と生徒側の電子楽器である子機とを有線で接続してレッスンを行うような場合にも適用できる。この場合、先生と生徒とでマイク付ヘッドフォンのマイクによりマイクオーディオ信号のみを送受信するようにしているが、自動演奏ピアノ等を接続してＭＩＤＩデータの授受を行い、実施形態同様にこのＭＩＤＩデータで自動演奏ピアノ等を演奏することもできる。この場合も、本発明によりＭＩＤＩデータによる楽音と音声による楽音との重複を自動的に回避することができる。

以上の実施形態では、ピアノのレッスンを行う例について説明したが、遠隔コンサートの場合でも適用できる。また、送信側から送信するＭＩＤＩデータ、あるいはオーディオビデオ信号等は予め記憶装置や記録メディア等に記録されているものを送信するようにしてもよい。

さらに、先生による演奏のＭＩＤＩデータと先生による指導等の音声を何らかのメディアに記録しておき、このメディアを再生してレッスンを行うような場合にも適用できる。この場合、先生による演奏の楽音をオーディオ信号の音声として同時録音しておけば、レッスンでの応用範囲が広がる。

また、上記のようにメディアに記録する場合、先生側のコントローラ等によってＭＩＤＩデータに基づいて実施形態同様にオーディオ信号を自動的にオーディオ出力オフとし、このオーディオ信号による楽音を自動的に録音しないようにもできる。

また、実施形態では、受信側で、ＭＩＤＩデータによる出力とオーディオ信号による出力を自動的に切り替えるようにしたが、送信側で図６のような判断を行って、ＭＩＤＩデータによる出力とオーディオ信号の出力を自動的に切り替えるようにしてもよい。

また、実施形態では自動演奏ピアノの例について説明したが、ＭＩＤＩデータに基づいて楽音を発生する他の形態の楽器（例えば、電子鍵盤楽器や、自動演奏型の管楽器や弦楽器、電子管楽器や電子弦楽器等）にも適用できることはいうまでもない。

本発明の実施形態における演奏システムの要部機能を説明する機能ブロック図である。実施形態におけるパケットデータとクリック信号の関係を概念的に示す図である。実施形態におけるクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。実施形態における送信処理の要部を示すフローチャートである。実施形態における受信処理の要部を示すフローチャートである。実施形態におけるオーディオスイッチング処理のフローチャートである。従来の演奏システムの概略図である。

符号の説明

１１，２１…コントローラ、１２，２２…自動演奏ピアノ、１２ａ，２２ａ…ピアノコントローラ、２１ｆ…スイッチモジュール

Claims

送信側にて発生する演奏データとオーディオ信号とを送信し、受信側にて該演奏データとオーディオ信号とを受信して、該演奏データによる楽音の再生と該オーディオ信号による音声再生とを行う演奏システムにおいて、
前記受信側は演奏データに応じた楽音信号を生成する音源を備え、受信した演奏データに応じた楽音信号の音量レベルが所定レベル以上であれば、受信したオーディオ信号による音声再生を停止し、音量レベルが所定レベル以上でなければ、受信したオーディオ信号による音声再生を行うことを特徴とする演奏システム。