JP2011215856A - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP2011215856A
JP2011215856A JP2010083023A JP2010083023A JP2011215856A JP 2011215856 A JP2011215856 A JP 2011215856A JP 2010083023 A JP2010083023 A JP 2010083023A JP 2010083023 A JP2010083023 A JP 2010083023A JP 2011215856 A JP2011215856 A JP 2011215856A
Authority
JP
Japan
Prior art keywords
image data
user
body part
augmented reality
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010083023A
Other languages
English (en)
Other versions
JP5401386B2 (ja
Inventor
Noboru Anbara
昇 庵原
Kazuhiro Sasao
和宏 笹尾
Ko Yokoyama
甲 横山
Arata Sakurai
新 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NS Solutions Corp
Original Assignee
NS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NS Solutions Corp filed Critical NS Solutions Corp
Priority to JP2010083023A priority Critical patent/JP5401386B2/ja
Publication of JP2011215856A publication Critical patent/JP2011215856A/ja
Application granted granted Critical
Publication of JP5401386B2 publication Critical patent/JP5401386B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Auxiliary Devices For Music (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ストレスなく機器の操作を習得することを可能にする。
【解決手段】小型カメラ2は、ユーザがピアノ5を操作する身体部分の画像データを生成し、身体部分の画像データを学習支援管理サーバ6に対して送信する。学習支援管理サーバ6は、身体部分の画像データに基づいて身体部分の位置を識別し、身体部分の位置の近傍にピアノ5の操作に係る情報を提示するようHMD1に対して指示する。HMD1は、その指示に応じて、ピアノ5の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における身体部分の位置の近傍の映像に合成して提示する。
【選択図】図1

Description

本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な技術に関するものである。
ピアノ練習を支援する技術が幾つか知られている。例えば、特許文献1には、内蔵された曲のメロディに併せて該当音の鍵を光らせる機能を備える電子鍵盤楽器が開示されている。従って、この機能を使って光った鍵を押さえるだけで曲のメロディを表現することができる。
その他、非特許文献1には、運指認識技術を活用したピアノ演奏の運指の習得を支援するシステムが開示されている。このシステムは、カメラで撮影された画像データ、MIDI(Musical Instrument Digital Interface)データを入力とし、これらのデータを基に運指認識やシステム操作解析を行い、鍵盤上部の固定位置に譜面を投影させ、鍵盤上に打鍵位置や運指を投影させる技術である。
特許第3465377号公報
日本ソフトウェア科学界、"運指認識技術を活用したピアノ演奏学習支援システムの設計と実装"、インターネット<http://www.wiss.org/WISS2009Proceedings/papers/paper0008.pdf>
しかしながら、これらの従来技術においては、手元の動きと譜面との間で、繰り返し視点の行き来が発生するため、非常に煩雑である。例えば、ピアノの場合、鍵盤は88鍵もあり、低音キーのメロディが続いたかと思えば、次の小節からは高音キーばかり続くこともある。この場合、視線は手元の動きに併せて、低音キーエリアから高音キーエリアへ大幅に移動する。また、その合間に譜面を見るため、さらに煩雑な視点の行き来が発生する。
そこで、本発明の目的は、ストレスなく機器の操作を習得することを可能にすることにある。
本発明の情報処理システムは、現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とを有する情報処理システムであって、前記拡張現実感提示装置は、ユーザが前記機器を操作する身体部分の画像データを生成する第1の画像データ生成手段と、前記第1の画像データ生成手段により生成された前記身体部分の画像データを前記管理装置に対して送信する第1の送信手段とを有し、前記管理装置は、前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別手段と、前記識別手段により識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する第1の指示手段とを有し、前記拡張現実感提示装置は、前記第1の指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する第1の提示手段を更に有することを特徴とする。
本発明の情報処理方法は、現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とによって実行される情報処理方法であって、前記拡張現実感提示装置は、ユーザが前記機器を操作する身体部分の画像データを生成する画像データ生成ステップと、前記画像データ生成ステップにより生成された前記身体部分の画像データを前記管理装置に対して送信する送信ステップとを含み、前記管理装置は、前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別ステップと、前記識別ステップにより識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する指示ステップとを含み、前記拡張現実感提示装置は、前記指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する提示ステップを更に含むことを特徴とする。
本発明によれば、ストレスなく機器の操作を習得することが可能となる。
本発明の実施形態に係る学習支援システムの構成を概略的に示す図である。 学習支援管理サーバのハードウェア構成を示す図である。 HMD及び小型カメラのハードウェア構成を示す図である。 本発明の実施形態に係る学習支援システムの処理の流れを示すフローチャートである。 HMDの譜面AR表示処理の流れを示すフローチャートである。 HMDの運指AR表示処理の流れを示すフローチャートである。 現在演奏位置に対応する譜面部分のAR表示例を示す図である。 現在演奏位置に対応する運指のAR表示例を示す図である。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の実施形態に係る学習支援システムの構成を概略的に示す図である。図1に示す本実施形態に係る学習支援システムは、ユーザのピアノ演奏の学習を支援するための後述する譜面データ及び運指データ等を管理する学習支援管理サーバ6を備えている。学習支援管理サーバ6は、小型カメラ2及びHMD(Head Mounted Display)1とピアノ5と無線通信回線を介して通信可能に接続されている。HMD1は眼鏡型のものであり、ユーザの頭部に装着される。HMD1は、光学的に透過してHMD1のレンズ部分に映し出される現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下の説明では、文字、図形、静止画、動画等のコンピュータで管理されたコンピュータグラフィックス画像データを、現実空間の映像へ重畳表示させ、補足的な情報を与える技術をAR(拡張現実:Augmented Reality)表示と称することがある。小型カメラ2は、ユーザの視界に近い画角で画像データを撮影できるようにHMD1に対して取り付けられている。撮影された画像データは無線通信回線を介して学習支援管理サーバ6に対して送信される。なお、HMD1には、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示(AR表示)とは、いずれかの方式によってHMD1のレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。
なお、本実施形態においては、AR表示を行うデバイスであるAR表示デバイスの例として、眼鏡型のHMD1を挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のAR表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のAR表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のコンピュータグラフィックス画像データとの座標合わせが行われる。本実施形態においては、現実空間のオブジェクトにマーカを付けておき、そのマーカをカメラで撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置を整合するようにコンピュータグラフィックス画像データを合成する。さらに、他の座標合わせの方法として、HMDの位置(緯度、経度)と姿勢(方向、仰角)とに基づいてHMDを装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。
ユーザが演奏するピアノ5の各鍵にはマーカ4が貼付されている。小型カメラ2でマーカ4を撮影し、撮影した画像データを解析することにより、鍵の位置を特定することができる。なお、予めピアノ5の鍵盤の大きさ等規格情報を学習支援管理サーバ6に備えておき、基準とした鍵のみにマーカを貼付して該鍵の位置を特定し、これを基点として該ピアノの規格情報より各鍵の位置を特定してもよい。また、ユーザの手元にもマーカ3が貼付されており、小型カメラ2でマーカ3を撮影し、撮影した画像データを解析することにより、ユーザの手元の位置を特定することができる。
学習支援管理サーバ6は、譜面データ取得/送信部61、現在演奏位置判定部62、運指データ取得/送信部63、譜面データ格納部64、MIDIデータ格納部65、運指データ格納部66及び音−マーカ対応管理ファイル67を備える。譜面データ格納部64は、複数の楽曲の譜面データを格納している。譜面データ取得/送信部61は、ユーザによって演奏対象として選択された楽曲の譜面データのうち、ユーザの現在の演奏位置(以下、現在演奏位置と称す)に対応する譜面データを譜面データ格納部64から取得する。また、譜面データ取得/送信部61は、小型カメラ2によって撮影されているユーザの手元の画像データを取得し、ユーザの手元に貼付されているマーカ3の画像解析を行うことにより、ユーザの手元の位置を検出する。そして、譜面データ取得/送信部61は、検出したユーザの手元の位置情報及び現在演奏位置に対応する譜面データをHMD1に対して送信するとともに、現在演奏位置に該当する譜面部分のコンピュータグラフィックス画像データをユーザの手元付近に合成してAR表示するようHMD1に対して指示する。HMD1は、現実空間におけるユーザの手元付近の映像に対して、現在演奏位置に対応する譜面部分を表すコンピュータグラフィックス画像データを合成してAR表示する。
MIDIデータ格納部65は、複数の楽曲のMIDI(Musical Instrument Digital Interface)データを格納している。ここでMIDIデータとは、楽曲の演奏音のデータであって、MIDI規格に基づいて表されている。MIDI規格は、電子楽器を外部から制御して演奏させるためのデータの規格であり、楽曲を構成する各音についてのデータを時系列に従って、電子楽器等に入力するように定められている。MIDIデータは、楽曲の先頭から順次出現する音に対し、その音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔等の時間情報等楽譜の情報を含んでいる。MIDIデータ格納部65には、正確なピアノ演奏の基に生成されたMIDIデータが格納されており、後述するユーザのピアノ演奏に応じて生成されたMIDIデータとの比較によってユーザの現在演奏位置等が判定される。以下の説明においては、MIDIデータ格納部65において格納されているMIDIデータを参考MIDIデータと称す。また、ユーザがピアノ5を演奏すると、その演奏内容を示すMIDIデータがピアノ5において生成され、学習支援管理サーバ6に対して送信される。以下の説明においては、ユーザの演奏に応じてピアノ5で生成されるMIDIデータを演奏MIDIデータと称す。現在演奏位置判定部62は、ユーザが選択した楽曲の参考MIDIデータをMIDIデータ格納部65から取得し、演奏MIDIデータと参考MIDIデータとを比較することにより、現在演奏位置を判定する。現在演奏位置の判定結果は、譜面データ取得/送信部61及び後述する運指データ取得/送信部63に対して出力される。
運指データ格納部66は、複数の楽曲の運指データを格納している。運指データとは、楽曲をピアノ演奏する際の運指を示すデータである。運指データ取得/送信部63は、ユーザによって演奏対象として選択された楽曲の運指データのうち、現在演奏位置に対応する運指データを運指データ格納部66から取得し、更に当該運指データに対応するコンピュータグラフィックス画像データを取得する。また、運指データ取得/送信部63は、小型カメラ2によって撮影されている鍵盤の画像データを取得し、鍵盤に貼付されているマーカ4の画像解析を行うことにより、現在演奏位置の音に対応する鍵の位置を検出する。詳細は後述するが、運指データ取得/送信部63は、音と鍵盤上のマーカ4とを対応付けた音−マーカ対応管理ファイル67を参照して、現在演奏位置の音に対応するマーカ4を判定する。そして、運指データ取得/送信部63は、当該マーカ4が貼付されている現実空間における鍵の映像に対し、現在演奏位置に対応する運指のコンピュータグラフィックス画像データを合成してAR表示するようHMD1に対して指示する。HMD1は、現実空間における該当する鍵の映像に対して、現在演奏位置に対応する運指のコンピュータグラフィックス画像データを合成してAR表示する。
図2−1は、学習支援管理サーバ6のハードウェア構成を示す図である。CPU201は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ROM203又はHD(ハードディスク)207には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム、学習支援管理サーバ6が実行する例えば図3に示す処理のプログラム等が記憶されている。
なお、図2−1の例では、HD207は学習支援管理サーバ6の内部に配置された構成としているが、他の実施形態としてHD207に相当する構成が学習支援管理サーバ6の外部に配置された構成としてもよい。また、本実施形態に係る例えば図3に示す処理を行うためのプログラムは、フレキシブルディスク(FD)やCD−ROM等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
RAM202は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をRAM202にロードして、プログラムを実行することで各種動作を実現するものである。
HD207やFD206は、外部メモリとして機能する。CPU201は、処理の実行に際して必要なプログラム等をRAM202にロードして、プログラムを実行することで各種動作を実現するものである。
ディスクコントローラ208は、HD207やFD206等の外部メモリへのアクセスを制御する。通信I/Fコントローラ204は、インターネットやLANと接続し、例えばTCP/IPによって外部との通信を制御するものである。
ディスプレイコントローラ208は、ディスプレイ209における画像表示を制御する。
KBコントローラ210は、KB(キーボード)211からの操作入力を受け付け、CPU201に対して送信する。なお、図示していないが、KB211の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る学習支援管理サーバ6に適用可能である。
図1に示す譜面データ取得/送信部61、現在演奏位置判定部62、運指データ取得/送信部63は、例えばHD207内に記憶され、必要に応じてRAM202にロードされるプログラム及びそれを実行するCPU201によって実現される構成である。また、譜面データ格納部64、MIDIデータ格納部65、運指データ格納部66は、HD207やRAM202の一部記憶領域に相当する構成である。また、音−マーカ対応管理ファイル67は、HD207又はRAM202に記憶されている。
図2−2は、HMD1及び小型カメラ2のハードウェア構成を示す図である。CPU301は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ROM302には、HMD1及び小型カメラ2が実行する例えば図3〜図5に示す処理のプログラム等が記憶されている。なお、図3〜図5に示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
RAM304は、CPU301の主メモリ、ワークメモリ等として機能する。CPU301は、処理の実行に際して必要なプログラム等をRAM304にロードして、プログラムを実行することで各種動作を実現するものである。通信I/Fコントローラ303は、インターネットやLANと接続し、例えばTCP/IPによって外部との通信を制御するものである。
撮像部305は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ306は、ディスプレイ307における画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、ディスプレイ307はハーフミラーで構成され、装着したユーザはディスプレイ307を介して外の様子を見ることができる。なお、撮像部305は、図1の小型カメラ2に相当する構成である。
図3は、本実施形態に係る学習支援システムの処理の流れを示すフローチャートである。
先ず、ステップS101において、ユーザは自らの手元を小型カメラ2で撮影する。ステップS102において、小型カメラ2によって撮影された手元の画像データは学習支援管理サーバ2に対して送信される。
ステップS201において、学習支援管理サーバ6は、ユーザの手元の画像データを受信したか否かを判定する。この判定は、受信した画像データ内にマーカ3が含まれるか否かによって行われる。受信した画像データ内にマーカ3が含まれ、手元の画像データを受信したと判定された場合、処理はステップS202に移行する。一方、画像データ自体を受信していない、又は受信した画像データ内にマーカ3が含まれない場合、学習支援管理サーバ6は、手元の画像データを受信するまで待機する。
ユーザは、手元の画像データを撮影した後、楽曲を選択してピアノ演奏を開始する。楽曲の選択操作は、例えばピアノ5に備えられた楽曲選択ボタンを押す操作がピアノ5に対して行われる。ピアノ5に対して楽曲の選択操作が行われると、ユーザID及び楽曲IDを含む選択情報がピアノ5から学習支援管理サーバ6に対して送信される。
楽曲の選択操作の後、ユーザは当該楽曲のピアノ演奏を行う。ステップS103において、ピアノ5は、ユーザの演奏に応じて演奏MIDIデータを生成し、学習支援管理サーバ6に対して送信する。ステップS104において、ピアノ5は、ユーザの演奏が終了したか否かを判定する。演奏が終了した場合、処理は終了する。一方、演奏が終了していない場合、処理はステップS103に戻り、演奏MIDIデータの生成、送信が継続して行われる。
ステップS202において、学習支援管理サーバ6は、ピアノ5から演奏MIDIデータを受信したか否かを判定する。演奏MIDIデータを受信した場合、処理はステップS203に移行する。一方、演奏MIDIデータを受信していない場合、学習支援管理サーバ6は、演奏MIDIデータを受信するまで待機する。
ステップS203において、現在演奏位置判定部62は、上記選択情報に含まれる楽曲IDに該当する参考MIDIデータをMIDIデータ格納部65から取得し、参考MIDIデータと演奏MIDIデータとを比較することにより、現在演奏位置を判定する。なお、本処理の前に、ステップS201で受信された手元の画像データのヘッダ情報に含まれるユーザIDと上記選択情報に含まれるユーザIDとの一致性が判定され、双方が一致する場合、ステップS203の処理が実行される。
ステップS204において、譜面データ取得/送信部61は、ユーザによって選択された楽曲の譜面データのうち、現在演奏位置に対応する譜面データを譜面データ格納部64から取得する。
ステップS205において、譜面データ取得/送信部61は、ステップS201で受信された手元の画像データからマーカ3の画像解析を行うことにより、ユーザの手元の位置を検出する。ステップS209において、譜面データ取得/送信部61は、検出したユーザの手元の位置情報及び現在演奏位置に対応する譜面データをHMD1に対して送信するとともに、現在演奏位置に該当する譜面部分のコンピュータグラフィックス画像データをユーザの手元付近に合成してAR表示するようHMD1に対して指示する(譜面AR表示指示)。なお、ステップS204、S205、S209と並行して以下のステップS206〜S208の処理が実行される。
ステップS206において、運指データ取得/送信部63は、ユーザによって選択された楽曲の運指データのうち、現在演奏位置に対応する運指データを運指データ格納部66から取得し、更に取得した運指データに対応するコンピュータグラフィックス画像データを取得する。ステップS207において、運指データ取得/送信部63は、当該楽曲における現在演奏位置の音を参考MIDIデータから取得し、音−マーカ対応管理ファイル67を参照して、その音に対応する鍵盤上のマーカ4を判定する。なお、現在演奏位置の音は、周波数解析によって取得してもよい。
ここで、ユーザは自らの手元を見ながら演奏をしているため、小型カメラ2では、ユーザの手元とともに鍵盤上のマーカ4も撮影している。ステップS208において、運指データ取得/送信部63は、小型カメラ2によって撮影される画像データからステップS207で判定したマーカ4の位置を判定し、当該マーカ4の位置情報及び現在演奏位置に対応する運指のコンピュータグラフィックス画像データをHMD1に対して送信するとともに、当該マーカ4が貼付されている鍵の映像に、現在演奏位置に該当する運指のコンピュータグラフィックス画像データを合成してAR表示するようにHMD1に対して指示する(運指AR表示指示)。
ステップS210において、学習支援管理サーバ6は、演奏MIDIデータの受信を完了したか否かを判定する。演奏MIDIデータの受信を完了した場合、処理は終了する。一方、演奏MIDIデータの受信が未だ完了していない場合、次に受信する演奏MIDIデータについてステップS203からの処理を実行する。
図4は、HMD1の譜面AR表示処理の流れを示すフローチャートである。ステップS105において、HMD1は、譜面AR表示指示を学習支援管理サーバ6から受け付けたか否かを判定する。譜面AR表示指示を受け付けた場合、処理はステップS106に移行する。一方、譜面AR表示指示を受け付けていない場合、HMD1は譜面のAR表示指示を受け付けるまで待機する。
ステップS106において、HMD1は、学習支援管理サーバ6から受信したユーザの手元の位置情報及び現在演奏位置に対応する譜面データを用いて、現在演奏位置に対応する譜面部分のコンピュータグラフィックス画像データを、現実空間におけるユーザの手元付近の映像に合成してAR表示する。
ステップS107において、HMD1は、学習支援管理サーバ6からの譜面AR表示指示の受け付けが完了したか否かを判定する。譜面AR表示指示の受け付けが完了した場合、処理は終了する。一方、譜面AR表示指示の受け付けが完了していない場合、処理はステップS105に戻り、次の譜面部分のAR表示指示に対応した処理を行う。
図5は、HMD1の運指AR表示処理の流れを示すフローチャートである。ステップS108において、HMD1は、運指AR表示指示を学習支援管理サーバ6から受け付けたか否かを判定する。運指AR表示指示を受け付けた場合、処理はステップS109に移行する。一方、運指AR表示処理を受け付けていない場合、HMD1は運指AR表示指示を受け付けるまで待機する。
ステップS109において、HMD1は、学習支援管理サーバ6から受信したマーカ4の位置情報及び現在演奏位置に対応する運指のコンピュータグラフィックス画像データを用いて、現在演奏位置に対応する運指のコンピュータグラフィックス画像データを、当該マーカ4が貼付されている鍵の映像に合成してAR表示する。
ステップS110において、HMD1は、学習支援管理サーバ6から運指AR表示指示の受け付けが完了したか否かを判定する。運指AR表示指示の受け付けが完了した場合、処理は終了する。一方、運指AR表示指示の受け付けが完了していない場合、処理はステップS109に戻り、次の運指のAR表示指示に対応した処理を行う。
図6は、現在演奏位置に対応する譜面部分のAR表示例を示す図である。図6に示すように、HMD1は、ユーザの手元61付近の映像に現在演奏位置に対応する譜面部分のコンピュータグラフィックス画像データ62をAR表示する。これにより、例えば仮に演奏キーが移ったとしても視線を行き来させることなく、常に譜面を視界に捉えながら演奏することができる。従って、本実施形態によれば、ストレスなくピアノ5の操作を習得することが可能となる。
また、本実施形態では、現在演奏位置の前後x小節(xは予め設定された任意の数値)分の譜面部分をAR表示する。即ち、ステップS209においては、学習支援管理サーバ6からHMD1に対して、現在演奏位置の前後x小節分の譜面データが送信される。そして、ステップS107において、HMD1は、当該譜面データに基づいて、現在演奏位置の前後x小節分の譜面部分のコンピュータグラフィックス画像データをAR表示する。この場合、現在演奏位置の譜面部分を他の譜面部分より目立つように強調表示するようにしてもよい。これにより、現在演奏位置が明確になるとともに、現在演奏位置に対する譜面の前後関係を把握することができる。
図7は、現在演奏位置に対応する運指のAR表示例を示す図である。図7に示すように、HMD1は、現在演奏位置に対応する運指のコンピュータグラフィックス画像データ710、72を、現在演奏値位置の音に対応する鍵の映像に合成してAR表示する。なお、図7の73、74は、演奏しているユーザの指を示している。学習支援管理サーバ6においては、運指データ格納部66にて楽曲毎にMIDIデータの時間情報と対応付けされた運指の順番が設定された運指データを備えており、演奏MIDIデータの時間情報より現在演奏位置に対応する運指を運指データから特定することが可能である。例えば、楽曲Aの運指データにおいては、「R1(右手の親指)→R2(右手の人差指)→R5(右手の小指)→L3(左手の中指)・・・」というように楽曲Aを演奏する際の運指の順番が設定されている。
また、学習支援管理サーバ6内には、運指毎にコンピュータグラフィックス画像データを管理している(R1(右手の親指)−コンピュータグラフィックス画像データ1、R2(右手の人差指)−コンピュータグラフィックス画像データ2、・・・)。学習支援管理サーバ6は、現在演奏位置を判定すると、現在演奏位置に対応する運指を運指データから特定し、当該運指のコンピュータグラフィックス画像データを取得してHMD1に対して送信する。これにより、HMD1では、現在演奏位置に対応する運指のコンピュータグラフィックス画像データをAR表示することが可能となる。なお、上述したように、運指のコンピュータグラフィックス画像データは、現在演奏位置の音に対応する鍵の位置に合成してAR表示される。これにより、ユーザは、HMD1越しに手元を眺めると、手元に対し、正しい運指のコンピュータグラフィックス画像データがAR表示され、正しい運指で演奏できているか否かを直感的、且つ視覚的に把握することができる。
上記の例では、運指毎にコンピュータグラフィックス画像データを管理しているが、他の実施形態として、運指の前後の組み合わせに対応付けてコンピュータグラフィックス画像データを管理してもよい。即ち、R2(右手の人差指)→R1(右手の親指)→R2(右手の人差指)の流れでのR1と、R3(右手の中指)→R1(右手の親指)→R2(右手の人差指)の流れでのR1とでは、異なるコンピュータグラフィックス画像データが管理されており、同じ運指R1のコンピュータグラフィックス画像データを特定する場合でも、運指の順番に応じて異なるコンピュータグラフィックス画像データが特定される。
また、ユーザの各指にどの指であるかを識別するためのマーカを貼付し、学習支援管理サーバ6がそれらのマーカと運指とを対応付けて管理しておくことにより、小型カメラ2で撮影されたユーザの指のマーカを画像解析することでユーザの運指を特定することができる。そして、特定された運指と運指データに設定されている運指とを比較することにより、運指に間違いがあったか否かを判定することができ、間違いがあった場合には、間違いがあった指付近にその旨をAR表示するようにしてもよい。
さらに、学習支援管理サーバ6は、演奏MIDIデータと参考MIDIデータとを比較することにより、打鍵位置に間違いがあったか否かを判定することができる。間違いがあった場合、学習支援管理サーバ6はその旨をAR表示するようにHMD1に対して指示し、HMD1は、その指示に応じて、間違いがあった指付近の映像にその旨を合成してAR表示してもよい。また、他の実施形態として、ユーザの演奏音を音声解析や周波数解析し、解析結果と参考MIDIデータとを比較することにより打鍵位置の間違いを検出してもよい。
なお、上述した実施形態では、現在演奏位置を判定したり、演奏の間違いを検出するためにMIDIデータを使用しているが、音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔等の情報を含むものであれば、MIDIデータに限定する必要はない。また、上述した実施形態では、ピアノ演奏の学習支援に適用した例を挙げて説明しているが、これに限らず、クラリネットやフルート等の他の楽器、PCの操作等、様々な機器の操作の学習支援に適用することができる。
1:HMD、2:小型カメラ、3、4:マーカ、5:ピアノ、6:学習支援管理サーバ、61:譜面データ取得/送信部、62:現在演奏位置判定部、63:運指データ取得/送信部、64:譜面データ格納部、65:MIDIデータ格納部、66:運指データ格納部、67:音−マーカ対応管理ファイル

Claims (7)

  1. 現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とを有する情報処理システムであって、
    前記拡張現実感提示装置は、
    ユーザが前記機器を操作する身体部分の画像データを生成する第1の画像データ生成手段と、
    前記第1の画像データ生成手段により生成された前記身体部分の画像データを前記管理装置に対して送信する第1の送信手段とを有し、
    前記管理装置は、
    前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別手段と、
    前記識別手段により識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する第1の指示手段とを有し、
    前記拡張現実感提示装置は、
    前記第1の指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する第1の提示手段を更に有することを特徴とする情報処理システム。
  2. 前記拡張現実感提示装置は、
    前記機器の画像データを生成する第2の画像データ生成手段と、
    前記第2の画像データ生成手段により生成された前記機器の画像データを前記管理装置対して送信する第2の送信手段とを有し、
    前記管理装置は、
    前記ユーザの現在の操作位置を特定する特定手段と、
    前記機器の操作に係る情報のうち、前記現在の操作位置に対応する情報を取得する取得手段と、
    前記機器の画像データを解析し、その解析結果と前記現在の操作位置に対応する前記機器の操作に係る情報とに基づいて、前記現在の操作位置に対応する前記機器の操作箇所を判定する判定手段と、
    前記現在の操作位置に対応する前記機器の操作に係る情報を、現実空間における前記現在の操作位置に対応する前記機器の操作箇所の映像に合成して提示するよう前記拡張現実感提示装置に対して指示する第2の指示手段とを更に有し、
    前記拡張現実感提示装置は、
    前記第2の指示手段による指示に応じて、前記現在の操作位置に対応する前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記現在の操作位置に対応する前記機器の操作箇所の映像に合成して提示する第2の提示手段を更に有することを特徴とする請求項1に記載の情報処理システム。
  3. 前記管理装置は、
    前記ユーザの前記機器に対する操作内容と予め設定されている前記機器に対する操作内容とを比較することにより、前記ユーザの前記機器に対する操作の間違いを検出する検出手段と、
    前記検出手段により前記ユーザの前記機器に対する操作の間違いが検出された場合、その旨を現実空間の映像に合成して提示するよう前記拡張現実感提示装置に対して指示する第3の指示手段とを有し、
    前記拡張現実感提示装置は、
    前記第3の指示手段による指示に応じて、前記ユーザの前記機器に対する操作に間違いがあった旨を示すコンピュータグラフィックス画像データを現実空間の映像に合成して提示する第3の提示手段を更に有することを特徴とする請求項1又は2に記載の情報処理システム。
  4. 前記管理装置は、
    前記身体部分の画像データを解析することにより、前記ユーザの前記機器に対する操作内容を認識する第1の認識手段を更に有することを特徴とする請求項3に記載の情報処理システム。
  5. 前記管理装置は、
    前記ユーザの操作に応じて生成された前記ユーザの前記機器に対する操作内容を示す情報により、前記ユーザの前記機器に対する操作内容を認識する第2の認識手段を更に有することを特徴とする請求項3に記載の情報処理システム。
  6. 前記管理装置は、
    前記ユーザの演奏音を音声解析することにより、前記ユーザの前記機器である楽器に対する演奏内容を認識する第3の認識手段を更に有することを特徴とする請求項3に記載の情報処理システム。
  7. 現実空間の映像にコンピュータグラフィックス画像データを合成して表示させることが可能な拡張現実感提示装置と、機器の操作に係る情報を管理する管理装置とによって実行される情報処理方法であって、
    前記拡張現実感提示装置は、
    ユーザが前記機器を操作する身体部分の画像データを生成する画像データ生成ステップと、
    前記画像データ生成ステップにより生成された前記身体部分の画像データを前記管理装置に対して送信する送信ステップとを含み、
    前記管理装置は、
    前記身体部分の画像データに基づいて、前記身体部分の位置を識別する識別ステップと、
    前記識別ステップにより識別された前記身体部分の位置の近傍に前記機器の操作に係る情報を提示するよう前記拡張現実感提示装置に対して指示する指示ステップとを含み、
    前記拡張現実感提示装置は、
    前記指示手段による指示に応じて、前記機器の操作に係る情報を示すコンピュータグラフィックス画像データを、現実空間における前記身体部分の位置の近傍の映像に合成して提示する提示ステップを更に含むことを特徴とする情報処理方法。
JP2010083023A 2010-03-31 2010-03-31 情報処理システム及び情報処理方法 Active JP5401386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010083023A JP5401386B2 (ja) 2010-03-31 2010-03-31 情報処理システム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010083023A JP5401386B2 (ja) 2010-03-31 2010-03-31 情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2011215856A true JP2011215856A (ja) 2011-10-27
JP5401386B2 JP5401386B2 (ja) 2014-01-29

Family

ID=44945524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010083023A Active JP5401386B2 (ja) 2010-03-31 2010-03-31 情報処理システム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP5401386B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878375B1 (ko) * 2017-11-30 2018-07-16 안경찬 증강현실을 이용한 로또 복권 마킹 안내 방법 및 장치
US10185399B2 (en) 2015-03-31 2019-01-22 Fujitsu Limited Image processing apparatus, non-transitory computer-readable recording medium, and image processing method
CN110517653A (zh) * 2019-07-19 2019-11-29 森兰信息科技(上海)有限公司 一种钢琴练习提示方法及***、存储介质及钢琴
WO2019237766A1 (en) * 2018-06-14 2019-12-19 Sunland Information Technology Co., Ltd. Systems and methods for assisting a user in practicing a musical instrument
WO2020100671A1 (ja) * 2018-11-15 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020105147A1 (ja) * 2018-11-21 2020-05-28 楽天株式会社 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
JP2020519974A (ja) * 2018-11-12 2020-07-02 知行 宍戸 補助ペダルシステム
WO2022044086A1 (ja) * 2020-08-24 2022-03-03 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
US11501471B2 (en) 2020-02-07 2022-11-15 Casio Computer Co., Ltd. Virtual and real composite image data generation method, virtual and real images compositing system, trained model generation method, virtual and real composite image data generation device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352973A (ja) * 1999-06-11 2000-12-19 Casio Comput Co Ltd 演奏案内装置
JP2002318652A (ja) * 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
JP2002372967A (ja) * 2001-06-14 2002-12-26 Yamaha Corp 鍵盤演奏ガイド装置
JP2009251154A (ja) * 2008-04-03 2009-10-29 Konica Minolta Holdings Inc 頭部装着式映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000352973A (ja) * 1999-06-11 2000-12-19 Casio Comput Co Ltd 演奏案内装置
JP2002318652A (ja) * 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
JP2002372967A (ja) * 2001-06-14 2002-12-26 Yamaha Corp 鍵盤演奏ガイド装置
JP2009251154A (ja) * 2008-04-03 2009-10-29 Konica Minolta Holdings Inc 頭部装着式映像表示装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185399B2 (en) 2015-03-31 2019-01-22 Fujitsu Limited Image processing apparatus, non-transitory computer-readable recording medium, and image processing method
KR101878375B1 (ko) * 2017-11-30 2018-07-16 안경찬 증강현실을 이용한 로또 복권 마킹 안내 방법 및 장치
US11417233B2 (en) 2018-06-14 2022-08-16 Sunland Information Technology Co., Lid. Systems and methods for assisting a user in practicing a musical instrument
WO2019237766A1 (en) * 2018-06-14 2019-12-19 Sunland Information Technology Co., Ltd. Systems and methods for assisting a user in practicing a musical instrument
JP2020519974A (ja) * 2018-11-12 2020-07-02 知行 宍戸 補助ペダルシステム
WO2020100671A1 (ja) * 2018-11-15 2020-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2020100671A1 (ja) * 2018-11-15 2021-11-04 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US20210383714A1 (en) * 2018-11-15 2021-12-09 Sony Group Corporation Information processing device, information processing method, and program
JP7468356B2 (ja) 2018-11-15 2024-04-16 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2020105147A1 (ja) * 2018-11-21 2020-05-28 楽天株式会社 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
JPWO2020105147A1 (ja) * 2018-11-21 2021-02-15 楽天株式会社 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
CN110517653A (zh) * 2019-07-19 2019-11-29 森兰信息科技(上海)有限公司 一种钢琴练习提示方法及***、存储介质及钢琴
CN110517653B (zh) * 2019-07-19 2023-08-18 森兰信息科技(上海)有限公司 一种钢琴练习提示方法及***、存储介质及钢琴
US11501471B2 (en) 2020-02-07 2022-11-15 Casio Computer Co., Ltd. Virtual and real composite image data generation method, virtual and real images compositing system, trained model generation method, virtual and real composite image data generation device
WO2022044086A1 (ja) * 2020-08-24 2022-03-03 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Also Published As

Publication number Publication date
JP5401386B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5401386B2 (ja) 情報処理システム及び情報処理方法
US8866846B2 (en) Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
EP3759707B1 (en) A method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
KR102614048B1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
KR101263686B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
CN110322760B (zh) 语音数据生成方法、装置、终端及存储介质
US9877129B2 (en) Device and method for playing sound
JP7064952B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3540565A1 (en) Control method for translation device, translation device, and program
JP2009169768A (ja) 情報処理装置及びプログラム
CN111933098A (zh) 伴奏音乐的生成方法、装置及计算机可读存储介质
WO2019021553A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2008065675A (ja) 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
US20240249640A1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
JPWO2020121382A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20120082187A (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
CN116580707A (zh) 基于语音生成动作视频的方法和装置
US20200234187A1 (en) Information processing apparatus, information processing method, and program
JP6836877B2 (ja) 吹奏楽器の練習支援装置及び練習支援方法
JP2019022011A (ja) 情報取得装置及び情報取得装置の制御方法
JP7070483B2 (ja) 電子機器、情報出力システム、情報出力方法、及びコンピュータプログラム
JP5884987B2 (ja) 楽曲演奏装置
JP6890868B1 (ja) 遠隔地間で意思疎通を行うための端末装置
CN109981893B (zh) 歌词显示方法及装置
WO2022202267A1 (ja) 情報処理方法、情報処理システムおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5401386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250