JP2023095713A - 携帯端末機器を用いた音楽演奏装置 - Google Patents

Abstract

【課題】電子的に表現された楽譜データを読み出して、演奏者の操作に伴って演奏を行う複数の音楽演奏装置を用いて合奏を行う場合に、合奏のメンバーとして設定された装置における演奏のタイミングと速度を、リーダーとして設定された装置における演奏に容易に合わせて演奏可能とする方法、装置を提供することである。【解決手段】合奏のリーダーとして設定された１台の装置から演奏位置データを同装置の通信手段により送信し、非リーダーとして設定された少なくとも１台の装置においては通信手段により受信された前記演奏位置データを、リファレンスとなる演奏の楽譜データの表示位置として利用して連続的に表示する第１の表示手段と、前記非リーダーとして設定された装置における演奏者の演奏に合わせて表示される同楽譜データを前記リファレンス楽譜画像が見えるように重ねて連続的かつ第１の表示手段とは独立して表示する第２の表示手段を備えた。【選択図】図３

Description

本発明は、スマートフォン等の携帯端末機器を用いた音楽演奏装置に関するものである。

従来よりたとえば特許文献１で示されるようにロール紙等に音符を表現する線を印刷記録して楽譜とし、このロール紙等の移動を撮影、記録あるいはそれ以外の方法により作成したデジタル動画データから、連続して静止画像を切り出して入力とする画像入力手段と、入力された静止画像から画像処理により記録されている音符を検出する画像処理手段とを設けることにより、検出した音符に基づいて対応する音符の音を出して前記楽譜を演奏するという自動演奏ピアノを模擬した音楽演奏玩具が知られている。

さらにこの玩具の発展形として、特許文献２で示されるように携帯端末機器等の電子装置において、一接触点によるジェスチャー・イベントとして認識されるタッチパネル上の回転操作からジェスチャーの回転速度を検出し、検出した回転速度から演奏用の楽譜の演奏位置を決定し、決定した演奏位置情報に基づいて同楽譜を演奏するための方法、装置が知られている。

特許文献２で示されるような携帯端末機器上に実装される方法・装置であれば気軽にこれを持ち寄って、複数人で複数の装置を使った演奏、すなわち合奏をすることが考えられる。そこで実際に合奏を行ってみると、各演奏者の携帯端末のディスプレイ上に表示されるのは、特許文献２の第１図および第７図で開示されているように、演奏者自身のジェスチャーの回転速度に従って画面上から下へ移動する位置と長さの異なる細い線がだけであり、演奏者自身が楽譜のどの部分を演奏しているのかがわかりにくく、一般的な合奏で行われるように合奏のリーダーを決めて他の演奏者（合奏のメンバーと呼ぶ）はリーダーの演奏を耳で聞いて演奏者自身の演奏のタイミングや速度を合わせようとしても正確に合わせることは困難であった。

一方現在においては、ネットワーク技術の普及により複数の演奏者が離れた場所にいてもネットワークの通信機能を利用して合奏を行う技術が知られている。

例えば特許文献３によれば、ネットワークを介した複数人による合奏および自動演奏に関する技術が開示されており、これは演奏制御ユニットを用いて少なくとも１つの演奏パートと必要な自動演奏パートを選択してネットワークによる合奏を実現するする技術である。

また特許文献４によれば、指定された電子楽器の制御情報をネットワークを介して伝送し、送られてきた他のロケーションの電子楽器の演奏状態をディスプレイに表示する技術が開示されている。

さらに特許文献５、特許文献６、特許文献７においてもネットワーク機能によるリアルタイムの合奏システムに関する技術が開示されている。

また特許文献８、特許文献９においてはネットワーク機能によるリアルタイムの合奏を行った場合のネットワーク通信によって生じる演奏のディレーを補正する方法について開示されている。

特許文献１０、特許文献１１においては、ネットワーク機能によるリアルタイムの合奏を行う場合のタイミングをあわせる方法として、運動状態を予測し、予測された運動状態に従って演奏情報を生成したり、他の装置から入力した操作情報などを視覚／聴覚以外の情報によって報知動作を行う技術が開示されている。

また特許文献１２においては、複数のレイヤに一般的な五線譜の楽譜を表示し、レイヤ毎に音符等の様々な要素毎に表示態様を設定し、各レイヤを重ね合わせて表示することにより、多彩な表示を行う技術が開示されている。

一方、アップル社からは Ａｐｐｌｅ Ｍｕｌｔｉｐｅｅｒ Ｃｏｎｎｅｃｔｉｖｉｔｙ （以下、Ｍｕｌｔｉｐｅｅｒ Ｃｏｎｎｅｃｔｉｖｉｔｙと略す）と呼ばれるフレームワークが提供されており、これはＷｉ－ＦｉネットワークおよびＢｌｕｅｔｏｏｔｈパーソナルエリアネットワークにより、近隣の端末機器が提供しているサービスを発見し、それらのサービスを介してメッセージベースのデータ通信やファイル転送等を実行することを可能とする仕組みであり、これを利用すればで特許文献２で開示される技術を用いて合奏のリーダーとして演奏をしている特定の端末機器（以後リーダー端末機器と呼ぶ）上の楽譜の演奏位置情報を他の少なくとも１つの端末機器（以後メンバー端末機器と呼ぶ）にデータ通信によって送信することが可能である。

一方メンバー端末機器においては、前記Ｍｕｌｔｉｐｅｅｒ Ｃｏｎｎｅｃｔｉｖｉｔｙフレームワークを利用した通信手段によりリーダー端末機器の楽譜の演奏位置情報を受信し、受信した楽譜の演奏位置情報に基づいて自端末機器内に格納された楽譜を演奏する事が可能となるので、この方法によれば特許文献３によって示された演奏制御ユニットを用いることなく演奏パートと自動演奏パートによる合奏が可能となる。なおこのネットワークを介したデータ通信に利用される演奏位置データは、後述するように１つの値で表現できる単純なもので、特許文献５、特許文献６、特許文献７で示されるようなフレーズや音声情報といった複雑なデータを必要としない。

また同ネットワークを介した通信に利用されるデータはリーダー端末機器からメンバー端末機器に対しての一方向の情報だけなので、ネットワークの通信によって生じるディレーは一方向のみであり、メンバー端末機器内には自身の演奏する楽譜が格納されているので、受信したリーダー端末機器の楽譜の演奏位置に対してメンバー端末機器で演奏する楽譜の演奏位置を通信によるディレー分だけ早めることにより、特許文献８および特許文献９で示されるような技術を用いることなく、ネットワークの通信によって生じる演奏のディレーを補正することが可能となる。

なお、リーダー端末機器が例えばＢｌｕｅｔｏｏｔｈ接続による外部スピーカーを利用して音を出す場合などに、演奏によるネットワーク通信のディレーよりもリーダー端末機器から外部スピーカーへのデータ転送のディレーのほうが長くなってしまうような場合もあるが、このような場合でも本発明によればメンバー端末機器で演奏する楽譜の読み出し位置を遅く設定にすることにより対応可能である。

このようにして、リーダー端末機器の演奏に合わせて各メンバー端末機器の演奏のタイミングと速度を自動的に合わせることは可能となったが、それでもメンバー端末機器の演奏者がリーダー端末機器の演奏に合わせて容易に手動で演奏を可能とするという目的は達せられていない。

また特許文献１０、特許文献１１で示された技術では、ネットワーク機能によるリアルタイムの合奏を行う場合のタイミングをあわせる方法として運動状態を予測する手段や、他の装置から入力した操作情報などを視覚／聴覚以外の情報によって報知するための報知手段が必要で、装置を複雑化してしまう欠点があり、より簡易な方法で実現する方法が求められる。

さらに、特許文献１２では複数のレイヤを使って一般的な五線譜の楽譜を表示し各レイヤを重ね合わせて表示する技術が開示されているが、例えこの技術を用いてリーダー端末機器の演奏の様子をメンバー端末機器上で同端末機器における演奏の様子を重ね合わせて表示したとしても、既に述べたように本発明が対象としている携帯端末のディスプレイ上に表示されるものは画面上から下へ移動する位置と長さの異なる細い線だけであり、通常リーダーの演奏する楽譜とメンバーの演奏する楽譜は異なっているので、リーダーの演奏に対してメンバーの演奏のタイミングと速度が合っているのかずれているのかをメンバーが視覚的に認識するのに十分ではなかった。

特願２０２０－２１０８５０ 特願２０２１－０９６１６１ 特表２０１６ー５２１３８１ 特開平６－３５４５６号公報 特開２００５－２５８２６７ 特許第３２７７８７５号公報 特開２００１－３５６７６４ 特開２００５－１９５９８２ 特開２００７－１７８８６０ 特開２００６－１６２９０４ 特開２００５－２５０１４８ 特開２００９－２３０００７

本発明が解決しようとする課題は、電子的に表現された楽譜データを読み出す楽譜入力手段と、演奏者の演奏に伴って発生する演奏イベントを検出するイベント検出手段と、イベント検出手段によって検出したイベントから前記楽譜データの演奏位置を決める演奏位置決定手段を備えた複数の携帯端末機器等の音楽演奏装置を用いて合奏を行う場合に、合奏のリーダーとして設定された装置における演奏に対して容易に合奏のメンバーとして設定された装置がタイミングを合わせて演奏可能とする方法、装置を提供することである。

本発明は、リーダー設定手段により合奏のリーダーとして設定された１台の装置においては演奏位置決定手段により決定された演奏位置データを同装置に備えられた通信手段により送信し、前記リーダー設定手段により非リーダーとして設定された少なくとも１台の別の装置においては通信手段により受信された前記演奏位置データを、表示位置決定手段によリファレンスとなる演奏の楽譜データの表示位置として利用し、リファレンスとなる演奏の楽譜データを楽譜画像として連続的に表示する第１の表示手段と、前記非リーダーとして設定された装置における演奏者の演奏に合わせて表示される同楽譜画像を前記リファレンスとなる演奏の楽譜画像が見えるように重ねて連続的かつ前記第１の表示手段とは独立して表示する第２の表示手段を備えることを主要な特徴とする。

本発明によれば、第１の表示手段によりリーダー端末機器から送信されたリーダーによる演奏位置データに基づいて演奏者が演奏すべき楽譜データ画像を連続的に表示するためその表示画像を演奏のレファレンスとすることができ、第２の表示手段により同じ楽譜データによる演奏者自身の演奏による楽譜画像が前記レファレンスとなる楽譜画像に連続的に重ね合わせて表示されることにより、演奏者自身の演奏がレファレンスの演奏と比較してどの程度進んでいるの遅れているのかが視覚的に認識することが可能となる。

このようにして演奏者自身の演奏がレファレンスの演奏と比較してどの程度進んでいるの遅れているのかが認識できれば、認識の結果を反映して自身の演奏速度を修正し続けることにより、リーダー端末機器の演奏にメンバー端末機器の演奏のタイミングと速度を合わせた合奏が可能となる。

図１は第１の実施方法における合奏のリーダーとして動作している時の状態を示した説明図である。（実施例１） 図２は第１の実施方法を示した合奏のメンバーとして動作している時の状態を示した説明図である。（実施例１） 図３は実施例１におけるハードウェアおよびソフトウェアの構成を示した説明図である。 図４は実施例１における第１のソフトウェアの動作を示したフローチャートである。 図５は実施例１における第２のソフトウェアの動作を示したフローチャートである。 図６は実施例１における第３のソフトウェアの動作を示したフローチャートである。 図７は一般的な楽譜を説明する説明図である。 図８は実施例１におけるデジタル楽譜画像を説明する説明図である。 図９は実施例１におけるデジタル楽譜画像の重ね合わせを説明する第１の説明図である。 図１０は実施例１におけるデジタル楽譜画像の重ね合わせを説明する第２の説明図である。 図１１は実施例１におけるデジタル楽譜画像の重ね合わせを説明する第３の説明図である。 図１２は実施例２における第２のソフトウェアの動作を示したフローチャートである。

電子的に表現された楽譜データを読み出す楽譜入力手段と、演奏に伴って発生する演奏イベントを検出するイベント検出手段と、イベント検出手段によって検出したイベントから前記楽譜データの演奏位置を決める演奏位置決定手段を備えた複数の音楽演奏装置を用いて合奏を行う場合に、合奏のメンバーとして設定された装置における演奏のタイミングと速度を、リーダーとして設定された装置における演奏に容易に合わせて演奏可能とする方法、装置を提供するという目的を、リーダー設定手段により合奏のリーダーとして設定された１台の装置においては演奏位置決定手段により決定された演奏位置データを同装置に備えられた通信手段により送信し、前記リーダー設定手段により非リーダーとして設定された少なくとも１台の別の装置においては通信手段により受信された前記演奏位置データを、表示位置決定手段によリファレンスとなる演奏の楽譜データの表示位置として利用し、リファレンスとなる演奏の楽譜データを楽譜画像として連続的に表示する第１の表示手段と、前記非リーダーとして設定された装置における演奏者の演奏に合わせて表示される同楽譜データを第１の表示手段により表示された前記リファレンスとなる演奏の楽譜画像が見えるように重ねて連続的かつ前記第１の表示手段とは独立して表示する第２の表示手段を備えることにより実現した。

図１は、第１の実施方法において本発明の装置が合奏のリーダーとして動作している時の状態を示した説明図であり、１００はスマートフォン本体、１０１は液晶パネルによる画像出力部である。同液晶パネルはタッチパネルになっており、ユーザー操作による情報入力部１０２も兼ねている。１０１１の破線の枠で示される部分はスマートフォン本体内にある第１の楽譜入力手段から適宜読み出されて、演奏の進行に応じて楽譜の移動する様子をリアルタイムに表示する楽譜画像表示部である。１０２０の破線は演奏位置を示す仮想的なタイミング線であり、音符がその線上にあるときに音が出るということを表す。２００５、２００６、２００７で示される黒線（他にも同様の黒線があるが説明上省略する）は前記楽譜画像における音符である。２０１０、２０１１は同パネル１０１上に表示された音符の位置検出用に楽譜画像の両端に記録されたマーカー線である。なおこのマーカー線は本実施例においては後述する画像処理手段において利用されるが、デジタルに記録された楽譜を利用して音符の音を出すためには必須のものではない。１０１２の破線の枠で示される部分は鍵盤表示部で、演奏位置に音符がある場合には、音符に対応する鍵盤が押されたことを示すために白鍵、黒鍵それぞれの色を灰色に変えて表示する。また演奏位置にあった音符が時間経過に伴い移動してなくなった場合には、音符に対応する鍵盤が放されたことを示すために白鍵、黒鍵それぞれの色を元の色に変えて表示する。３００は液晶パネル１０１上でジェスチャー操作をするための一本の指であり３０１はその指３００による回転のジェスチャーの様子を模擬的に示した矢印である。指３００を矢印３０１の方向に回転させると、その回転速度に応じて２００５、２００６、２００７で示される黒線の音符が矢印３０２の方向に移動し、演奏位置である仮想的なタイミング線１０２０上に音符が来るとその音を出し、タイミング線１０２０上から音符が外れるとその音を止めることにより演奏が実現する。３０００はデータ通信手段によって本装置が合奏のメンバーとしている装置と通信を行っていることを模式的に表したもので、本実施例においてはジェスチャー操作による演奏進行に伴う演奏位置情報を送信している。

図２は、第１の実施方法における本発明の装置が合奏のメンバーとして動作している時の状態を示した説明図である。装置自体は図１と共通なので物理的な構成は同じであるが、動作が異なるため液晶パネル１０１上の破線の枠で示される楽譜画像表示部１０１１に表示される画像が図１と異なっている。また３０００は図１と同様にデータ通信手段によって本装置が合奏のリーダーとしている装置と通信を行っていることを模式的に表したもので、ここでは合奏のリーダーとしている他の装置が送信した演奏位置情報を受信している。２００１、２００２、２００３で示される黒線は、合奏のリーダーとしている他の装置から受信した演奏位置情報に基づいて第２の楽譜入力手段から適宜読み出されて表示されるリファレンスとなる楽譜画像上の音符であり、２００１－２、２００２－２、２００３－２で示される白線は指３００による回転のジェスチャー操作に基づいて第１の楽譜入力手段から適宜読み出されて表示される演奏者の演奏する楽譜画像上の音符であり、元の楽譜画像を白黒反転させ透明度を７５％として前記リファレンスとなる楽譜画像の上に重ねて表示されている。黒線と白線の両者は演奏の進行に従ってそれぞれ矢印３０２の方向に移動するが、その進行のきっかけとなるイベントが前者は合奏のリーダーとして動作している装置からデータ通信手段によって受信される演奏位置情報であり、後者は演奏者自身のジェスチャー操作に基づくイベントであるのでお互いに独立した表示となり、演奏位置である仮想的なタイミング線１０２０上に後者の白線で表される音符が来るとその音を出し、タイミング線１０２０上から同音符が外れるとその音を消すことにより合奏のメンバーとしての演奏が実現する。

図３は、本発明装置の同実施例のハードウェアおよびソフトウェアを示す構成図である。１はＣＰＵ（中央処理ユニット）であり、不揮発性メモリ（図示せず）に記憶されたプログラムに従って各種手段における各種処理を行なうことにより本発明を実現する。２は本発明装置が合奏のリーダーとして動作するのかあるいは合奏のメンバー（非リーダー）として動作するのかを設定するリーダー設定手段であり、装置の各種動作設定画面（図示せず）から設定され、その設定は不揮発性メモリ（図示せず）に記憶される。３は本実施例における演奏イベント検出手段であるジェスチャー・イベント検出手段（略してジェスチャー検出手段）であり、前述のタッチパネル１０２上の指３００による回転ジェスチャーを認識し、一定の時間間隔でタッチパネル１０２上の指３００の位置座標（ｘ，ｙ）を検出する。検出された指３００の位置座標（ｘ，ｙ）からＣＰＵ１はソフトウェアプログラムにより構成される回転の速度検出手段４により回転の速度を検出する。回転の速度の検出方法については、特許文献２で開示されているのでここでは省略する。

５も同様にソフトウェアプログラムにより構成される演奏位置決定手段であり、こちらも同様に特許文献２で開示されている方法を用いてＣＰＵ１により前記検出された回転の速度から楽譜の演奏位置を決定する。６は不揮発性メモリなどにより構成される装置本体内の楽譜保存手段（図示せず）に電子的に保存された楽譜データから、演奏位置決定手段５により決定された演奏位置に基づいて後述の画像処理手段７あるいは第１の表示手段１２あるいは第２の表示手段１３に必要なサイズにトリミング（詳細については後述）して楽譜画像データを読み出すための第１の楽譜入力手段である。

７は画像処理手段であり、第１の楽譜入力手段６により読み出された楽譜画像データから特許文献１および特許文献２で示される方法により演奏タイミング（タイミング線１０２０上に相当する）にある音符の位置を特定し、特定された位置に音符があるかないかを検出する。１１はサウンド出力手段であり、画像処理手段７により検出された演奏タイミングの特定の位置にある音符の有り無しの情報とその履歴から、ＣＰＵ１による対応する音符の音を出すあるいは止めるという判断に従い、予め設定された音色と音量で対応する音符の音を出したり止めたりする機能を有する。

８はデータ通信手段であり、本発明装置と同じ構成を持つ複数の装置間でネットワークを介してデータの送受信を行う。例えば、リーダー設定手段２により本装置が合奏のリーダーと設定されている場合に、データ通信手段８は演奏位置決定手段５によって決定された演奏位置を演奏位置データとして逐次合奏のメンバーと設定されている装置に対して送信する。一方、リーダー設定手段２により本装置が合奏のメンバーとして設定されている場合は、リーダーとして設定されている装置から送信される演奏位置データを受信し、そのデータを後述する表示位置決定手段９の入力として利用する。

９は表示位置決定手段であり、装置が合奏のメンバーとして設定されている場合に、データ通信手段８により受信した合奏リーダーの演奏位置データに基づいて、装置本体内の楽譜保存手段に電子的に保存された楽譜データを自装置内の液晶パネル１０１に表示させるため利用するものであり、受信した合奏リーダーの演奏位置データがそのまま楽譜データの表示位置となる。１０は第１の楽譜入力手段６と同様に、装置本体内の楽譜保存手段に電子的に保存された楽譜データから、表示位置決定手段９により決定された楽譜の表示位置に基づいて後述の第１の表示手段１２に必要なサイズにトリミングして画像データを読み出すための第２の楽譜入力手段である。

１２は第１の表示手段であり、リーダー設定手段２での設定に基づき、本装置が合奏のリーダーと設定されている場合には第１の楽譜入力手段６により読み出された楽譜データ画像を、また本装置が合奏のメンバーと設定されている場合には、第２の楽譜入力手段１０により読み出された楽譜データ画像を液晶パネル１０１上の楽譜画像表示部１０１１にそのまま表示する。

１３は第２の表示手段であり、第１の表示手段の１２動作とは独立して動作するもので、リーダー設定手段２での設定に基づき本装置が合奏のメンバーと設定されている場合にのみ、第１の楽譜入力手段１０により読み出された楽譜データ画像を、液晶パネル１０１上の楽譜画像表示部１０１１に第１の表示手段１２によりすでに表示されている画像が見えるように重ねて表示する。

図４は本発明装置の同実施例の第１のソフトウェアの動作を示すフローチャートであり、同実施例におけるリーダー設定手段２により本装置が合奏におけるリーダーとして設定されている時の動作を示している。

まずＣＰＵ１はステップＳ１においてジェスチャー検出手段３からジェスチャー・イベントが検出されるのを待つ。本実施例の場合、指３００によるジェスチャー操作が始まると、１／６０秒の間隔でイベントが発生し、パネル上を指３００が最初にタッチした位置を原点Ｏ：（ｘ，ｙ）＝（０，０）として、以降、指３００がパネルから離れるまでの間、原点からの相対座標が毎回検出される。ジェスチャーが検出されればステップＳ２に進み回転の速度検出手段４によりジェスチャーによる回転の速度を求める。

ジェスチャー・イベントによる指３００のパネル上の位置座標から速度検出手段４による回転の速度を求める方法は特許文献２により開示されているので省略する。

回転の速度検出手段４により指３００によるジェスチャー操作による回転の速度が求まれば、ＣＰＵ１はステップＳ３において演奏位置決定手段５により演奏位置を決定する。

ここで楽譜をデジタルに表現した楽譜画像について説明する。図５および図６は一般的な楽譜が本発明におけるデジタル楽譜画像としてどのように表現・演奏されるかを説明する図である。図５に示されるものは一般的な楽譜であり、同楽譜中２００４，２００５，２００６，２００７，２００８で示されるものはそれぞれ音階の異なる４分音符である。また４００で示される記号は速度記号であり、これは４分音符を１分間に８０回数える速さで演奏することを示している。図６は図５で示された楽譜をデジタル画像に変換した楽譜画像の冒頭部分であり、その座標は右側に正のｘ軸、上側に正のｙ軸をとり、図５の４０１で示される楕円に含まれる音符が２００４、２００５、２００６、２００７、２００８として示されている。２０１０、２０１１は音符の位置検出用にデジタル楽譜画像の両端に記録されたマーカー線である。本実施例においては楽譜画像の幅の画素数は３８４ピクセル、音符の幅は２ピクセル、隣りの音符との隙間は１ピクセルとしており、８５音（＝７オクターブ［１オクターブは半音を含めて１２音］＋１音）を鳴らすことができるので、マーカー線２０１０と２０１１の間は２５６ピクセル＝（２＋１）×８５＋１（＋１しているのはマーカー線の隙間分）としている。なお本実施例に置いては音符の位置を検出するためにマーカー線２０１０と２０１１を楽譜画像上に配置しているが、ある音符がｘ軸上のどの位置に配置されるのかを予め定めておけば、本マーカー線２０１０と２０１１は必須ではない。なお図６は図５で示される楽譜の冒頭部分しか示していないが、実際の楽譜データとしては楽譜全体の画像が装置本体内の楽譜保存手段に電子的に保存されている。

図６における４分音符２００４は本実施例においては最低音から３オクターブ上に位置するので、最低音から数えて３６音目（＝１２音×３オクターブ）に相当する。従って図６におけるマーカー線２０１０との間には、１０９ピクセル＝（２＋１）×３６＋１の間隔が空く。同様に、４分音符２００５、２００６、２００７とマーカー線２０１０との間にはそれぞれ，１１５，１２１、１２４ピクセルの間隔が空くことになる。

また図６における４分音符２００４、２００５、２００６、２００７、２００８のｙ軸方向の長さは４分音符の長さに相当しており、本実施例に置いては４分音符２００４の始まりから４分音符２００５の始まりまでの距離は１８０ピクセルとしている。同様に２００５と２００６、２００６と２００７、２００７と２００８との距離も１８０ピクセルとしている。なおここでは図示しないが８分音符であればその長さは半分の９０ピクセル、１６分音符であれば４５ピクセル、２分音符であれば３６０ピクセルとなる。

図５における楽譜の演奏は、譜面に従って矢印５００で示されるように左から右に向かって進んでいく。一方楽譜画像の場合は、図６の矢印５００で示されるように下から上に向かって進んでいく。図５および図６における破線５０１は演奏位置を示しており、一定の時間間隔でこの破線を矢印５００の方向に進めていけば、楽譜および楽譜画像上での演奏が進むことになる。そこで、ジェスチャー・イベントが発生するタイミング（本実施例の場合は１／６０秒の間隔）でその時の回転速度に応じて破線５０１の進む距離を決めるようにする。例えば、本実施例の場合、図５の速度記号４００は４分音符を１分間に８０回数える速さで演奏することを示しているので、図６のデジタル楽譜画像上では１分間に、１４４００ピクセル（＝１８０ピクセル×８０回）進めば良い。従ってジェスチャー・イベントは１／６０秒の間隔で発生するので、速度記号４００の指示に従えばジェスチャー・イベント１回の発生に付き、４ピクセル（＝１４４００ピクセル／６０秒／６０回）進めば良い事がわかる。一方、ステップＳ２で求めた回転の速度Ｖは、実測の結果、おおよその平均値が１５．０となることがわかっているので、速度Ｖが１５．０のときにピクセル数が４ピクセルとなるように定数Ｃを求めれば、４ピクセル＝１５．０×ＣよりＣ＝４／１５．０＝０．２６６７となる。
従って、回転の速度Ｖの時に進むピクセル数をＮとすれば、

となる［ＲＯＵＮＤ（）は小数点以下四捨五入を表す］。以上により、速度Ｖのときに破線の進む距離であるピクセル数Ｎが求まるので、前回のジェスチャー・イベント発生時の演奏位置にピクセル数Ｎを加えて新たな演奏位置とすればよい。このような方法でＣＰＵ１はステップＳ３において演奏位置決定手段５により演奏位置を決定する。

ステップＳ３において演奏位置を決定したら、ステップＳ４に進みステップＳ３で決定された演奏位置に基づいて第１の楽譜入力手段６から画像データをトリミングして読み出す。ここでトリミングして読み出すとは、演奏位置に基づいた楽譜画像を液晶パネル１０１上の楽譜表示部１０１１に表示できるように部分的に読み出すことで、例えば演奏位置が図６の破線５０１で示される位置であれば、この線を縦方向の中央に置いた縦３８４ピクセル、横３８４ピクセルの５０２の破線で囲まれた部分だけを読み出すことを言う。

ステップＳ４においてトリミングした画像データとして読み出された楽譜データは、次のステップＳ５において画像処理手段７による画像処理により、ステップＳ３で求めた演奏位置（図６における破線５０１上）における８５音ある各音符の位置を確定し、各位置における音符の有無を検出する。なお本実施例における画像処理手段７による楽譜データから各音符の位置を確定し、確定した各位置における音符の有無を検出する画像処理の内容については特許文献１に記載されているとおりである。

ステップＳ５において検出された各位置における音符の有無の情報に基づいて、ステップＳ６においてＣＰＵ１は記憶手段（図示せず）に記憶してある一つ前のジェスチャー・イベント発生時に検出された各位置における音符の有無の情報とを比較して、新たに各位置における音符が出現したか、あるいは既に出現していた音符が消失したかを判断し、その判断に基づいてサウンド出力手段１１に対して各位置に対応する音符の音を予め定められた音色および音量で出すあるいは止めるという指示を行う。

サウンド出力手段１１への指示が終了すれば、さらにステップＳ７に進み、ＣＰＵ１はステップＳ４で読み出した楽譜データを第１の表示手段１２に渡し、第１の表示手段１２は渡された楽譜データ画像を液晶パネル１０１上の楽譜画像表示部１０１１にそのまま表示する。

最後にステップＳ８においてＣＰＵ１はステップＳ３において決定された演奏位置を演奏位置データとしてデータ通信手段８を介してネットワークで接続された合奏におけるメンバーとして設定されている本発明装置と同じ構成を持つ複数の他の装置に対して送信する。

以上により、ジェスチャー・イベントの発生による一連の処理は終了するので、再びＳ１に戻り、ジェスチャー検出手段７からジェスチャー・イベントが検出されるのを待つ。

なお、ステップＳ８においてデータ通信手段８を介して演奏位置データを送信しているが、音量その他の情報を追加して同時に送信しても構わない。また、ステップＳ１においてはジェスチャー検出手段３からのジェスチャー・イベントをトリガとして以下のステップが進むようになっているが、例えば１／６０秒の間隔で発生するタイマーによるイベントをトリガとし、ステップＳ２で決定される回転速度を一定として以下のステップを進めても良い。このようにすれば合奏におけるリーダーの演奏は自動演奏とすることができる。

図７は本発明装置の同実施例の第２のソフトウェアの動作を示すフローチャートであり、同実施例におけるリーダー設定手段２により本装置が合奏におけるメンバーとして設定されている場合に、データ通信手段８によりデータを受信した時の動作を示している。

まずＣＰＵ１はステップＳ９においてデータ通信手段８からデータが受信されるのを待つ。データ通信手段８によりデータを受信した場合、ステップＳ１０に進み、表示位置決定手段９により受信したデータから楽譜データの表示位置を決定する。この時通信手段８から受信したデータは、合奏におけるリーダーとして設定された他の装置から送信された同装置の演奏位置データであるので、この値を自身の楽譜データの基準表示位置とし、ネットーワークにおける装置間通信のディレー等を考慮した補正値を加減して求めた値を楽譜の表示位置、すなわち自身の演奏のリファレンスとなる演奏位置として決定する。

ステップＳ１０により楽譜データの表示位置が決定すれば、ステップＳ１１に進みステップＳ１０によって決定した表示位置に基づいて第２の楽譜入力手段１０から画像データをトリミングして読み出す。この読み出し方法はステップＳ４で説明した第１の楽譜入力手段６から画像データをトリミングして読み出す方法と同様で、ステップＳ４においてはステップＳ３で決定された演奏位置に基づいて画像データをトリミングして読み出していたが、本ステップＳ１１においては、ステップＳ１０により決定された楽譜データの表示位置に基づいて楽譜データをトリミングして読み出す。

更にステップＳ１２に進み、ＣＰＵ１はステップＳ１１で読み出した楽譜データを第１の表示手段１２に渡し、第１の表示手段１２は渡された楽譜データ画像を液晶パネル１０１上の楽譜画像表示部１０１１にそのまま表示する。

以上により、本装置が合奏におけるメンバーとして設定されている場合にデータ通信手段８によりデータを受信したときに発生する一連の処理は終了するので、再びＳ９に戻り、データ通信手段８がデータを受信するのを待つ。

図８は本発明装置の同実施例の第３のソフトウェアの動作を示すフローチャートであり、同実施例におけるリーダー設定手段２により本装置が合奏におけるメンバーとして設定されている場合に、図７で示される第２のソフトウェアの動作と並行して同一装置内で動作するもので、ジェスチャー検出手段３によりジェスチャー・イベントを検出した時の動作を示している。

まずＣＰＵ１はステップＳ１３においてジェスチャー検出手段３からジェスチャー・イベントが検出されるのを待つ。ジェスチャーが検出されればステップＳ１４に進み回転の速度検出手段４によりジェスチャーによる回転の速度を求める。

回転の速度検出手段４により指３００によるジェスチャー操作による回転の速度が求まれば、ＣＰＵ１はステップＳ１５において演奏位置決定手段５により演奏位置を決定する。

ステップＳ１５において演奏位置を決定したら、ステップＳ１６に進みステップＳ１５で決定された演奏位置に基づいて第１の楽譜入力手段６から画像データをトリミングして読み出す。

ステップＳ１６においてトリミングした画像データとして読み出された楽譜データは、次のステップＳ１７において画像処理手段７による画像処理により、ステップＳ１５で求めた演奏位置における８５音ある各音符の位置を確定し、各位置における音符の有無を検出する。

ステップＳ１７において検出された各位置における音符の有無の情報に基づいて、ステップＳ１８においてＣＰＵ１は記憶手段に記憶してある一つ前のジェスチャー・イベント発生時に検出された各位置における音符の有無の情報とを比較して、新たに各位置における音符が出現したか、あるいは既に出現していた音符が消失したかを判断し、その判断に基づいてサウンド出力手段１１に対して各位置に対応する音符の音を予め定められた音色および音量で出すあるいは止めるという指示を行う。これらステップＳ１３からステップ１８までの動作は図４で示される第１のソフトウェアの動作のステップＳ１からステップＳ６までの動作と同一である。

ステップＳ１８においてサウンド出力手段１１への指示が終了すれば、ステップＳ１９に進み、ステップＳ１６においてトリミングした画像データとして読み出された楽譜データを第２の表示手段１３に渡す。ここで第２の表示手段１３は第１の表示手段１２とは独立して、既に第１の表示手段により液晶パネル１０１上の楽譜画像表示部１０１１に表示されている楽譜データ画像が見えるように、渡された楽譜データ画像を重ねて表示する。

ここで楽譜データ画像の重ね合わせ表示について説明する。図９はステップＳ１１によって読み出された楽譜画像データとステップＳ１６によって読み出された楽譜画像データの重ね合わせをどのように行うかを示した図である。図中２１００で示されるものは、ステップＳ１１によって読み出された楽譜画像データであり、図中２１０１で示されるものはステップＳ１６によって読み出された楽譜画像データを白黒反転させ透明度を７５％としたものであり、図中２１０２で示されるものは透明な背景の上に演奏位置を示す仮想的なタイミング線１０２０が描かれた画像データであり、これらを下から２１００→２１０１→２１０２の順番に重ね合わせたものが、図１０及び図１１で示される図である。

図１０において、２００１、２００２、２００３、２００５で示される黒い線は、ステップＳ１１によって読み出された楽譜画像データにある音符を示しており、これはデータ通信手段によって受信されたリーダー端末機器の演奏位置に基づいて表示される演奏のリファレンスとなる音符であり、一方２００１－２、２００２－２、２００３－２、２００５－２で示される白い線は演奏者のジェスチャー操作に伴ってステップＳ１６によって読み出された楽譜画像データにある音符を示している。２００１、２００２、２００３、２００５はリーダー端末機器の演奏の進行に伴って、また２００１－２、２００２－２、２００３－２、２００５－２はメンバー端末機器における演奏者自身の演奏の進行に伴って図中３０２で示される矢印方向に独立して進んでいく。ところで、もともと音符２００１、２００２、２００３、２００５も音符２００１－２、２００２－２、２００３－２、２００５－２も同じ楽譜データから読み出されたものであるからリーダー端末機器の演奏とメンバー端末機器における演奏者自身の演奏のタイミングと演奏の速さが一致していれば、両者は同じ場所に重なって進行していくはずである。しかしながら図１０においては白い音符の方が，黒い音符よりも進行方向に向かって後ろにあることから、リファレンスとなる音符２００１、２００２、２００３、２００５よりも、演奏者の演奏を表示する音符２００１－２、２００２－２、２００３－２、２００５－２のほうが遅れていることがわかる。同様に図１１においては白い音符の方が，黒い音符よりも進行方向に向かって前にあることから、リファレンスとなる音符２００１、２００２、２００３、２００５よりも、演奏者の演奏を表示する音符２００１－２、２００２－２、２００３－２、２００５－２のほうが進んでいることがわかる。このようにリファレンスとなる演奏を表現する楽譜画層データが見えるように、演奏者の演奏を表現する楽譜画像データとを重ね合わせて連続的に表示することにより、演奏者の演奏がレファレンスの演奏と比較して進んでいるの遅れているのかを視覚的に認識することが可能となる。

以上により、第３のソフトウェアによるジェスチャー・イベントの発生による一連の処理は終了するので、再びステップＳ１３に戻り、ジェスチャー検出手段７からジェスチャー・イベントが検出されるのを待つ。

なお、ステップＳ１５において演奏位置決定手段５により演奏位置を決定する場合、ジェスチャー検出手段３はパネル上を指３００が最初にタッチした位置を原点として、以降指３００がパネルから離れるまでの間１／６０秒の間隔でイベントを検出し、その最初と最後のイベントについては開始と終了を示す情報も検出可能である。従ってジェスチャーの開始イベントが発生した処理フローにおけるステップＳ１５における演奏位置決定においては、単純に演奏位置を０ピクセルとせず、その直前の時点で表示位置決定手段９で決定されたレファレンス画像の表示位置をコピーして演奏位置の初期値とし、以後この値をベースにジェスチャー・イベント検出毎のスッテプＳ１５における演奏開始位置を決定するようにすれば、演奏者の演奏の開始時のタイミング合わせがより容易になる。

以上の様に本実施例によれば、リファレンスとなる演奏の楽譜画像を表示する第１の表示手段と、演奏者による演奏の楽譜画像をリファレンスとなる演奏の楽譜動画画像が見えるように重ね合わせて表示する第２の表示手段とを設け、演奏の進行に合わせて両者を独立して画像表示を行うことにより、演奏者自身の演奏がレファレンスの演奏と比較して進んでいるのか遅れているのかを視覚的に認識することが可能となり、演奏者自身の演奏画像をレファレンスの演奏画像と一致するようにジェスチャー操作による回転速度を調整することにより、従来では困難であった複数台の装置による合奏を容易に実現可能とした。

なお、本実施例においてはタッチパネル上の指３００による一接触点の回転ジェスチャーとして説明したが、ジェスチャーが認識できるのであれば、例えばタッチペン等を用いた一接触点によるジェスチャーであっても構わない。

また本実施例では画像処理手段７により画像処理によってデジタル楽譜画像から音符を検出するという方法を採用しているが、楽譜データとしてはデジタル画像でなくＭＩＤＩデータのようなデジタルデータでも良い。例えばＭＩＤＩデータであれば、トラックと呼ばれるグループにデルタタイムとイベントの繰り返しという形でデータが保持されており、デルタタイムとは別途指定される４分音符の長さと時間単位とで求められる時間で、一つ前に指定されたデルタタイムからの経過時間を表しており、イベントはその時の音符の音階、音量，オンかオフかを指定するものであるので、演奏位置を画素数でなく時間で表し、ＭＩＤＩデータを本発明で示されるようなデジタル楽譜画像に変換して表示するようにすれば、全く同じ機能が実現できる。さらに本実施例ではデータ通信手段８を使って合奏のリーダーとなる装置から送信される演奏位置データをリファレンスとして採用したが、合奏のメンバーとなる装置内でタイマーによる定期的なイベントを発生させ、これによって図７の第２のソフトウェアの動作を示すフローチャートのステップＳ９を置き換え、ステップＳ１２の後に図８の第３のソフトウェアの動作を示すフローチャートＳ１７、Ｓ１８と同等の処理を追加すれば、自装置内での演奏者一人による合奏も６９となる。

図１２は本発明の第２の実施例を示すもので、実施例１の図７における第２のソフトウェアの動作を示すフローチャートのステップＳ１１とステップＳ１２の間にステップＳ２０、ステップＳ２１、ステップＳ２２を加えたものである。ジェスチャー検出手段３はジェスチャーの開始と終了のイベントを識別可能なので、ステップＳ２０においては装置がジェスチャー操作中であるかどうかを判断して、ジェスチャー中であれば図７と同様にステップＳ１７に進み、ジェスチャー中でなければステップＳ２１、ステップＳ２１へと進む。ステップＳ２１、ステップＳ２１は図８における第３のソフトウェアの動作を示すフローチャートのステップＳ１７とステップＳ１８と同様の処理であり、このステップを追加することによりリーダー設定手段３により合奏のメンバーとして設定されている装置は演奏者がジェスチャー操作をしていない時は、合奏のリーダーの演奏に従って自動演奏を行う自動演奏装置として動作することになる。なおその場合、データ通信手段８を介して受信するデータに演奏位置データ以外のものが含まれていた場合にはそれを利用することも可能であり、例えば音量情報が含まれていれば、それをステップＳ２２の中に反映することも可能である。

ジェスチャーの代わりに電気的な信号による回転の速度を検出して演奏位置を決定し、決定した演奏位置に基づいて楽譜を演奏することにより、携帯端末機器等のみならずパーソナルコンピューターによる装置、あるいは単体で動作する音楽演奏装置などにも適用可能である。また視覚的に楽譜の動画画像を一致させるという操作は、ゲームとして利用することも可能である。

１ ＣＰＵ（中央処理ユニット）
２ リーダー設定手段
３ ジェスチャー検出手段
４ 回転の速度決定手段
５ 演奏位置決定手段
６ 第１の楽譜入力手段
７ 画像処理手段
８ データ通信手段
９ 表示位置決定手段
１０ 第２の楽譜入力手段
１１ サウンド出力手段
１２ 第１の表示手段
１３ 第２の表示手段

Claims (3)

1. 電子的に表現された楽譜データを読み出す楽譜入力手段と、演奏イベントを検出するイベント検出手段と、イベント検出手段によって検出したイベントから前記楽譜データの演奏位置を決める演奏位置決定手段を備えた音楽演奏装置において、リファレンスとなる演奏の楽譜データを楽譜画像として連続的に表示する第１の表示手段と、演奏者の演奏に合わせて表示される同楽譜データを前記リファレンスとなる演奏の楽譜画像が見えるように重ねて連続的かつ前記第１の表示手段とは独立して表示する第２の表示手段を備えることを特徴とする音楽演奏装置。
   
2. 前記イベント検出手段は、タッチパネル上の回転操作をジェスチャーとして認識するジェスチャー検出手段であることを特徴とする請求項１に記載の音楽演奏装置。
   
3. 前記リファレンスとなる演奏として、リーダー設定手段により合奏のリーダーとして設定された１台の装置においては演奏位置決定手段により決定された演奏位置データを同装置に備えられた通信手段により送信し、前記リーダー設定手段により非リーダーとして設定された少なくとも１台の別の装置においては通信手段により受信された前記演奏位置データを、表示位置決定手段によリファレンスとなる演奏の楽譜データの表示位置として利用することを特徴とする請求項１に記載の音楽演奏装置。

Images