JP2017032693A - 映像記録再生装置 - Google Patents

Abstract

【課題】演奏を記録し、記録した演奏情報を簡易に再生することができる演奏記録装置を提供すること。
【解決手段】演奏が開始されると操作者により記録ボタンが選択されＳ１、制御部および記憶部により、楽譜データおよび演奏時間に関連付けられた演奏データおよび撮影データの記録が開始されるＳ５。確認モードでは、記憶部は記録を継続するとともに、制御部は記憶部に記憶されている撮影データを携帯端末に送信し、撮影データは携帯端末により再生される。また、制御部は演奏データに基づいて楽器に自動演奏させることにより、演奏を再現させるＳ１１。これにより、確認モードにおいて、演奏データおよび撮影データの記録は継続されたまま、記録されている演奏データおよび撮影データは、楽譜データの位置あるいは演奏時間に基づいて再生される。
【選択図】図３

Description

本発明は、楽器演奏の教習において、演奏され記録された演奏情報の再生に関するものである。

従来より、演奏者に楽器の演奏方法を教示するための装置が知られている。例えば、特許文献１には、演奏操作を示す案内画像を投射表示手段に表示させる演奏練習装置が記載されている。

特開平８−１７９６８５号公報

ところで、演奏の教習では、講師は生徒に演奏させ、演奏途中において指摘したい点がある場合には、生徒に演奏を中断させて都度指摘する指導方法が一般に行われる。この指導方法において、生徒による演奏を記録しておくことができれば有益である。こうした演奏の記録ができれば、生徒は指摘された際に記録された演奏情報を再生することにより自己の演奏を確認することができ、指摘された点を容易に理解することができるためである。

ところが、上記特許文献１に記載の演奏練習装置では、演奏操作を示す案内画像を投射表示手段に表示させて演奏の補助はするものの、実際の演奏を記録・再生して確認できるものではない。また、記録装置を用いれば演奏情報を記録・再生することは可能ではあるものの、一般の記録装置では、所望する箇所の演奏情報を再生したい場合には、記録を停止させ、所望の演奏箇所を頭出しすることが必要である。記録カウンタの逆戻し・先送りを繰り返しながら都度再生をして所望の演奏箇所を探し出すための一連の作業を行う必要があり、作業が煩雑であった。

本願は、上記の課題に鑑み提案されたものであって、演奏を記録し、記録した演奏情報を簡易に再生することができる演奏記録装置を提供することを目的とする。

本願に係る画像記録再生装置は、演奏の開始または記録開始の指令に応じて開始され、奏者の演奏による演奏情報と奏者の動画情報とを、演奏情報に係る楽譜上の位置に関連付けて記録する演奏記録手段と、演奏記録手段による記録を継続しながら既に記録した情報の確認をする確認モードに応じて、楽譜に関連して又は演奏時間に関連して特定される情報を再生する再生手段と、記録停止の指令に応じて、演奏記録手段による記録を停止する記録停止手段と、を備えることを特徴とする。

演奏が開始あるいは記録開始の指令に応じて、演奏記録手段により演奏情報と奏者を撮影した動画情報とが楽譜に関連付けて記録される。ここで、演奏情報とは、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式の情報である。また、楽譜とは、例えば、五線譜形式、ピアノロール形式、ＭＩＤＩ形式などの情報である。確認モードでは、演奏記録手段により記録は継続されるとともに、再生手段により記録されている情報が再生される。この場合、再生開始位置は、楽譜または演奏時間に基づいて特定される。ここで、演奏時間とは演奏記録手段によりにより記録が開始されてからの経過時間である。さらに、記録停止の指令に応じて、記録停止手段により記録が停止される。これにより、確認モードにおいて、演奏の記録は継続されたまま、記録されている情報は楽譜位置あるいは演奏時間に基づいて再生することができる。

また、本願に係る画像記録再生装置において、楽譜上の情報と演奏情報とを比較する比較手段を備え、確認モードは、比較手段が楽譜上の情報と演奏情報とが不一致であると判断することに応じて開始され、一致すると判断することに応じて終了される構成としても良い。

これにより、比較手段が不一致であると判断することに応じて、画像記録再生装置は確認モードを開始する。不一致であると判断する場合とは、例えば、演奏が中断された場合、楽譜の１小節が飛ばされて演奏された場合などである。この場合、確認モードが開始されることにより、使用者は既に記録された情報のうち楽譜に関連して又は演奏時間に関連して特定された情報を再生し、演奏を確認することができる。

また、本願に係る画像記録再生装置において、比較手段は、奏者の演奏が中断された場合に不一致であると判断する構成としても良い。これにより、演奏が中断された場合に、画像記録再生装置は確認モードを開始することができる。

使用者の操作を受け付ける操作部を備え、使用者が操作部を操作することに応じて、確認モードの開始・終了が指令される構成としても良い。これにより、使用者が操作することに応じて、確実に画像記録再生装置は確認モードを開始・終了することができる。

再生手段は、楽譜上の位置が指示されることに応じて、該位置に関連付けられて記録されている情報を特定される情報とする構成としても良い。これにより、使用者は楽譜上の位置を指定して記録された情報を再生することができる。

演奏記録手段は、更に時間情報を関連付けて記録し、再生手段は、確認モードの開始タイミングを基準とした時間に応じて、時間情報に関連付けられて記録されている情報を特定される情報とする構成としても良い。これにより、使用者は例えば確認モードの開始タイミングから所定時間前などの時間に基づいて、時間情報に関連付けられて記録された情報を特定して再生することができる。

確認モードの開始タイミング、終了タイミング、および楽譜上に指定された指定タイミングの少なくとも何れか一つのタイミングを基準として、演奏記録手段により記録された情報を部分的に抽出するダイジェスト作成手段を備える構成としても良い。

ダイジェスト作成手段により、記録された情報が部分的に抽出される。確認モードが開始される場合とは、例えば演奏が中断された場合である。演奏の教習においては、講師が演奏途中において指摘したい点がある場合には、生徒に演奏を中断させて都度指摘する指導方法が一般に行われる。つまり、演奏が中断された後に、講師による指摘が行われる場合が多い。従って、確認モードの開始タイミング、終了タイミングとは、講師による指摘が開始されたタイミング、終了されたタイミングである場合が多い。ダイジェスト作成手段はこれらのタイミングを基準として抽出することにより、講師による指摘が行われた部分を抽出することができる。また、楽譜上で指定される指定タイミングを基準として抽出する構成としても良い。演奏情報、動画情報、音声情報は楽譜上の位置に関連付けられて記録されているため、ダイジェスト作成手段は楽譜上で指定される指定タイミングに基づいて抽出することができる。生徒はダイジェスト作成手段により、講習を効率的に振り返ることができる。

本願に係る演奏記録装置によれば、演奏を記録し、記録した演奏情報を簡易に再生することができる。

実施形態に係る記録再生システムの全体構成を示す図である。 記録再生システムの電気的構成を示すブロック図である。 第１実施形態に係る記録再生処理の処理内容を示すフローチャートである。 タッチパネルの表示を示す図である。 ダイジェストデータを説明する図である。 第２実施形態に係る記録再生処理の処理内容を示すフローチャートである。

図１を用いて、本願に係る記録再生システム１の全体構成について説明する。記録再生システム１は楽器２、携帯端末８０、上カメラ６１、横カメラ６２、後カメラ６３（図２）、および低位置横カメラ６４（図２）を備えている。

楽器２は、鍵盤２１、ペダル２２、ハンマ（不図示）、および弦（不図示）などの一般的なアコースティックピアノが備える構成の他に、制御部３０、センサ４（図２）、駆動部５（図２）などを備えている。携帯端末８０は、例えば携帯電話機、スマートフォン、タブレット端末等であり、楽器２を操作するための画面の表示および操作者からの指示を受け付ける機能を有するタッチパネル８１（図２）を備える。上カメラ６１、横カメラ６２、後カメラ６３（図２）、および低位置横カメラ６４（図２）は、演奏者が演奏している状態を各々の方向から撮影し、音声データおよび動画データを含む撮影データを取得する。

次に、記録再生システム１の電気的構成について図２を用いて説明する。記録再生システム１は図１で示した構成の他に、センサ４、駆動部５、および記憶部７などを備える。制御部３０はＣＰＵ３１、制御記憶部３２などを含む。ＣＰＵ３１は制御記憶部３２に記憶されている各種のプログラムを実行することによって、制御部３０に接続されているセンサ４および駆動部５などを制御する。制御記憶部３２はＣＰＵ３１が各種の処理を実行するための主記憶装置として用いられる。また、制御記憶部３２は制御プログラムの他に楽譜データを記憶しており、また、例えば後述する生成したＭＩＤＩ形式の演奏データや撮影データなどを記憶することもできる。ここで、楽譜データとは、五線譜形式、ピアノロール形式、およびＭＩＤＩ形式のデータが互いに関連づけられているデータである。

センサ４はＭＩＤＩ形式の演奏データを生成するために、鍵盤２１およびペダル２２などの動きを検出し、検出した演奏検出信号を制御部３０へ送信する。制御部３０は受信した演奏検出信号に基づいてＭＩＤＩ形式の演奏データを生成する。以下、演奏データとはＭＩＤＩ形式のデータを示す。駆動部５は、鍵盤２１などを駆動するアクチュエータを含む。制御部３０は駆動部５を例えばＭＩＤＩ形式の楽譜データに基づいて制御する。これにより、楽器２は自動演奏を行うことができる。撮影部６０は上カメラ６１、横カメラ６２、後カメラ６３、および低位置横カメラ６４などを含み、制御部３０に接続されている。これにより、撮影部６０は制御部３０へ撮影データの送信を行うことができる。記憶部７は、制御部３０に接続されており、撮影部６０により取得された撮影データおよび制御部３０で生成された演奏データを記憶する。

制御部３０は通信機能を有し、制御部３０と携帯端末８０とは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して無線通信することができる。これにより、制御部３０は、操作者により操作された操作指示の受信を行うことができる。尚、携帯端末８０には後述の記録再生処理などを実行するプログラムを含むアプリケーションが予めインストールされている。尚、これらのアプリケーションプログラムは制御記憶部３２に記憶しておき、ＣＰＵ３１が実行する構成としてもよい。この場合、携帯端末８０は、モニタ端末や入力装置として機能する。

次に、第１実施形態に係る記録再生処理について図３および図４を用いて説明する。ここでは、講師が生徒に演奏の教習を行う状況を例に説明する。以下、操作を行う者が、講師および生徒の何れかを問わない場合、操作者と記載する。尚、制御記憶部３２には、講習に使用する曲の楽譜データが予め記憶されている。

まず、記録再生システム１の動作モードについて説明する。記録再生システム１は、同期モード、確認モードを有する。同期モードとは、タッチパネル８１に撮影部６０で撮影している動画を即時に表示するモードである。確認モードとは、楽譜データに関連して、または演奏時間に関連して特定される、記憶部７に記憶されている演奏データおよび撮影データを再生するモードである。ここで、演奏時間とは記憶部７による記録が開始されてからの経過時間である。

次に、記録再生処理におけるタッチパネル８１の表示について図４を用いて説明する。表示は領域Ｒ１〜Ｒ７に区画されている。領域Ｒ１〜Ｒ４には撮影部６０により撮影された動画データが表示される。領域Ｒ１〜Ｒ４は、夫々、後カメラ６３、横カメラ６２、上カメラ６１、低位置横カメラ６４により撮影された動画データが表示される領域である。これにより、操作者は領域Ｒ１、Ｒ２の表示から演奏姿勢を、領域Ｒ３、Ｒ４の表示から運指およびペダル操作を夫々確認することができる。領域Ｒ５にはピアノロール形式または五線譜形式の楽譜が表示され、例えば領域Ｒ５をタップするなどの操作により、表示が切替えられる。位置マーク８８は、同期モードにおいては演奏されている楽譜上の位置を示し、確認モードにおいては再生されている楽譜上の位置を示す。領域Ｒ６には操作者の操作を受け付ける各種操作ボタンが表示される。各種操作ボタンとは、記憶データを再生するための再生ボタン８３、再生よりも早い速度で戻す、送るための、戻しボタン８２、送りボタン８４、録音および再生停止のための停止ボタン８６、再生を一時停止するための一時停止ボタン８５、記録ボタン８７などである。ここで、記憶データとは記憶部７に記憶されている演奏データおよび撮影データである。領域Ｒ７は、タッチパネル８１にテキストおよび図形などの手書き情報の書き込みを行うための各種操作ボタンが表示される領域である。各種操作ボタンが有する機能はそれぞれ、例えば、書込み、書込みの削除、書込みなどの操作を戻す、進める等がある。操作ボタンの書込み機能を使用することにより、操作者は例えば領域Ｒ２に表示される演奏中の生徒の肘の位置に印を付ける、領域Ｒ５に表示される楽譜に印を付けるなどを行うことができる。

例えば、講師は録音・録画を開始させるため、記録ボタン８７をタップするなどの操作をして、生徒に演奏の開始を指示する。携帯端末８０は演奏の開始に応じて記録ボタン８７が操作されたことを検出すると（Ｓ１）、制御部３０に記録開始信号を送信し、記録再生システム１は同期モードを開始する（Ｓ３）。領域Ｒ１〜Ｒ４には撮影部６０で撮影している動画が表示され、領域Ｒ５には、演奏している付近のピアノロール形式または五線譜形式の楽譜が位置マーク８８とともに表示される。制御部３０は演奏データとＭＩＤＩ形式の楽譜データとのマッチングを行い、演奏データを楽譜データに関連付けるとともに、楽譜上の演奏位置を検出する。さらに、制御部３０は演奏データと撮影データとを演奏時間を介して楽譜データに関連付け、楽譜データおよび演奏時間に関連付けられた演奏データおよび撮影データを記憶部７および携帯端末８０に送信する。

制御部３０は記録開始信号を受信すると、記憶部７に録音・録画の開始を指示する（Ｓ５）。これにより、記憶部７は制御部３０から送信される、楽譜データおよび演奏時間に関連付けられた演奏データおよび撮影データの記憶を開始する。次に、携帯端末８０は停止ボタン８６が操作されたか否かを判断する（Ｓ７）。停止ボタン８６が操作されていないと判断した場合（Ｓ７：ＮＯ）、記録再生システム１は同期モードを継続する。次に、再度記録ボタン８７が操作されたことを検出すると（Ｓ９）、携帯端末８０は制御部３０に確認モード移行信号を送信し、記録再生システム１は確認モードに移行する（Ｓ１１）。また、制御部３０は確認モード移行信号を受信すると、信号を受信したタイミングがダイジェスト開始ポイントＤＳであるとした時間情報を生成して記憶する。ここで、ダイジェスト開始ポイントＤＳとは後述するダイジェストデータを作成する際に使用する基準点である。

確認モードに移行すると、操作者はステップＳ５において録音・録画が開始されてからステップＳ１１において確認モードに移行されるまでに記憶された記憶データを再生させることができる。確認モードに移行すると、携帯端末８０は領域Ｒ６、Ｒ７に表示される各種操作ボタンにおける操作を入力として受け付ける状態となる。また、操作に従って、領域Ｒ５に楽譜を表示する。例えば、操作者は領域Ｒ５にてドラッグすることにより、楽譜をスクロールさせることができる。操作者は領域Ｒ５にてドラッグすることにより再生したい位置付近の楽譜を表示させ、例えばタップすることにより再生開始位置を指定する。次に再生ボタン８３を操作して、記憶データを再生させる。制御部３０は操作者の操作に応じて、つまり楽譜上の指定された再生開始位置に対応する記憶データを記憶部７から読み出して携帯端末８０に送信する。ここで、記憶データは楽譜データと関連づけられているため、制御部３０は楽譜にて指定された再生開始位置に対応する記憶データを特定することができる。これにより、携帯端末８０は領域Ｒ１〜Ｒ４に送信された動画データを表示し、領域Ｒ５に対応する楽譜を位置マーク８８とともに表示し、内蔵するスピーカから音声データに基づいて放音する。また、制御部３０は演奏データに基づいて楽器２に自動演奏させることにより、演奏を再現させる。尚、スピーカから放音される際に使用される音声データは、後カメラ６３、横カメラ６２、上カメラ６１、および低位置横カメラ６４により取得された４つの音声データのうち、音質の良い任意の１つである。

ここで、ステップＳ９において記録ボタン８７が操作される場合とは、例えば、講師が生徒の演奏に指摘したい箇所を発見し、生徒の演奏を中断させ、指導したい場合である。講師は記録ボタン８７を操作することにより確認モードに移行させ、領域Ｒ５に表示される楽譜において再生開始位置を指定して、記憶データを再生させる。講師は例えば再生された動画を生徒に見せながら、例えば、演奏中の姿勢について指摘を行うことができる。尚、指導内容は、姿勢に限らず、動画により確認できる運指、ペダル操作など、音声により確認できる演奏なども含む。生徒は再生された記憶データを確認することにより、容易に指摘された点を理解することができる。

ところで、上記では操作者により再生開始位置が指定されると説明したが、確認モードに移行することに応じて再生開始位置が設定される構成としても良い。例えば、ステップＳ９において記録ボタン８７が操作されたタイミングから所定時間前あるいは所定小節前を再生開始位置とする構成としてもよい。また楽譜データに基づいて楽譜上の所定の位置を予め操作者に設定させておき、確認モードに移行すると、既に演奏された楽譜のうち、演奏を中断した楽譜上の位置に最も近い所定の位置を再生開始位置とする構成としても良い。操作者は、例えば、曲の主要な小節、生徒が間違え易いと予想される箇所に基づいて所定の位置を設定することができる。さらに、再生ボタン８３における操作によらず、確認モードに移行することに応じて、再生開始位置から再生を開始する構成としても良い。

尚、確認モードにおいても、演奏データおよび撮影データの記録は継続される。これにより、確認モードにより記憶データを再生して指導している間の様子が記録される。講師による指導、講師による模範演奏の他、生徒の反応や講師と生徒との会話などが記録される。

例えば、講師は指導を終了すると、同期モードに移行させるために記録ボタン８７を操作して、生徒に演奏の再開を指示する。再々度記録ボタン８７が操作されたことを検出すると（Ｓ１３）、携帯端末８０は制御部３０に同期モード移行信号を送信し、記録再生システム１は確認モードから同期モードに移行する（Ｓ１５）。また、制御部３０は同期モード移行信号を受信すると、信号を受信したタイミングがダイジェスト終了ポイントＤＥであるとして時間情報を更新する。ここで、ダイジェスト終了ポイントＤＥとは後述するダイジェストデータを作成する際に使用する基準点である。

次に、ステップＳ７へ戻り、携帯端末８０は、停止ボタン８６が操作されたと判断するまで（Ｓ７：ＮＯ）、ステップＳ９〜Ｓ１５を継続する。そして、停止ボタン８６が操作されたと判断した場合（Ｓ７：ＮＯ）、制御部３０に記録終了信号を送信する。制御部３０は記録終了信号を受信すると、記憶部７に録音・録画の停止を指示し、記憶部７は演奏データおよび撮影データの記憶を終了する（Ｓ１７）。

次に、ダイジェストデータ作成処理について説明する。制御部３０は記録再生処理を終了すると、ダイジェストデータ作成処理を実行する。ダイジェストデータとは、記憶データの所定部分が抽出されたデータである。例えば、生徒は教習後、ダイジェストデータを再生させて効率的に教習を振り返ることができる。

制御部３０は記録再生処理を終了すると、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥなどを基準点として記憶データから５つのダイジェストデータを作成し、記憶部７に記憶する。５つのダイジェストデータは抽出される所定部分が互いに異なる。ダイジェスデータについて図５を用いて例示しつつ説明する。ここでは、記録再生処理において、ステップＳ９からＳ１５までの処理が２回行われた場合、つまり同期モードから確認モードへの移行が２回行われた場合を例に説明する。

データＤ０は記憶部７に記録されている記憶データに対応し、データＤ１〜Ｄ５は制御部３０が作成する５つのダイジェストデータに対応している。図５の横軸は演奏時間である。記憶開始ポイントＲＳ、記憶終了ポイントＲＥは夫々、記憶部７による記憶データの記憶が開始されたタイミング、終了したタイミングを示す。また、ダイジェスト開始ポイントＤＳ１は１回目の同期モードから確認モードへ移行したタイミングを示し、ダイジェスト終了ポイントＤＥ１は１回目の確認モードから同期モードへ移行したタイミングを示す。同様に、ダイジェスト開始ポイントＤＳ２は２回目の確認モードへ移行したタイミングを示し、ダイジェスト終了ポイントＤＥ２は２回目の同期モードへ移行したタイミングを示す。記憶開始ポイントＲＳから記憶終了ポイントＲＥまでの期間、記憶部７は記録を継続するため、記憶部７には記憶開始ポイントＲＳから記憶終了ポイントＲＥまでの記憶データが記憶されている。ここではダイジェスト開始ポイントＤＳ２からダイジェスト終了ポイントＤＥ２までの期間が、ダイジェスト開始ポイントＤＳ１からダイジェスト終了ポイントＤＥ１までの期間よりも長い場合を例示する。ここで、ダイジェスト開始ポイントＤＳ１、ＤＳ２からダイジェスト終了ポイントＤＥ１、ＤＥ２までの期間（図５中、斜線部）は、講師による指導が行われていた確認モードの期間である。

制御部３０は図５のデータＤ１〜Ｄ５で示す期間に対応する記憶データの部分を抽出して、必要に応じて合成してダイジェストデータを作成する。データＤ１は記憶開始ポイントＲＳから、最後に行われた確認モード期間の終了に対応するダイジェスト終了ポイントＤＥ２までの期間に対応する部分が抽出されて作成される例である。また、データＤ２は最初に行われた確認モード期間の開始に対応するダイジェスト開始ポイントＤＳ１から、記憶終了ポイントＲＥまでの期間に対応する部分が抽出されて作成される例である。データＤ１、Ｄ２ではダイジェストデータに確認モード期間の前後に行われた自己の演奏の記録を含めることができるため、データＤ１、Ｄ２を使用することにより自己の演奏とともに教習を振り返ることができる。

データＤ３は確認モードの期間のうち、最長である、ダイジェスト開始ポイントＤＳ２からダイジェスト終了ポイントＤＥ２までの期間に対応する部分が抽出されて作成される例である。データＤ３によれば、指導に時間が費やされた重要な部分をダイジェストデータに含めることができる。データＤ４はすべての確認モード期間を抽出する例であり、ダイジェスト開始ポイントＤＳ１からダイジェスト終了ポイントＤＥ１までの期間と、ダイジェスト開始ポイントＤＳ２からダイジェスト終了ポイントＤＥ２までの期間とが抽出されて作成される。データＤ４によれば、指導された部分をすべてダイジェストデータに含めることができる。データＤ５はすべての確認モードの期間のうち、所定期間だけを抽出するために、ダイジェスト開始ポイントＤＳ１から所定期間、およびダイジェスト開始ポイントＤＳ２から所定期間が抽出されて作成される例である。データＤ５によれば、指導された部分をすべて網羅し、かつダイジェストデータを短時間とすることができる。データＤ４、Ｄ５のように抽出する期間が複数ある場合には、制御部３０は抽出する期間を時系列で並べて合成する、もしくは、確認モード期間が長い順、つまり復習の優先度が高い順に並べて合成する。

制御部３０はダイジェストデータ作成処理を終了すると、タッチパネル８１に記憶部７に記憶しているダイジェストデータのリストを例えば、ダイジェストデータの作成日などとともに表示させる。さらに、リスト表示されたダイジェストデータの１つをタップなどの操作により操作者が選択できる構成とする。携帯端末８０は操作者によりダイジェストデータの１つが選択されたことを検出すると、制御部３０に選択されたダイジェストデータを明示する信号を送信する。制御部３０は選択されたダイジェストデータを明示する信号を受信すると、選択されたダイジェストデータを再生する。詳しくは、記録再生処理と同様にタッチパネル８１にダイジェストデータに含まれる動画データを表示させ、携帯端末８０が備えるスピーカからダイジェストデータに含まれる音声データを放音させる。また、楽器２にダイジェストデータに含まれる演奏データに基づいて自動演奏させる。これにより、生徒はダイジェストデータを再生して、講習を振り返ることができる。尚、ダイジェストデータが再生される場合には、領域Ｒ６（図４）に表示される戻しボタン８２および送りボタン８４が操作されると、夫々前の、および次のダイジェスト開始ポイントＤＳまで戻す・送る構成としても良い。

尚、ダイジェストデータ作成処理では５つのダイジェストデータを作成すると説明したが、５つのダイジェストデータのうち、少なくとも１つのダイジェストデータを作成する構成としても良い。また、ダイジェストデータ作成処理が開始されることに応じて、タッチパネル８１にて作成するダイジェストデータを上記した５つの中から操作者に選択させる構成としても良い。また、上記のダイジェストデータでは、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥが抽出される期間の始点・終点とされているが、これに限定されず、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥの所定時間前・後を始点あるいは終点とされても良い。例えば、上記ではデータＤ３はダイジェスト開始ポイントＤＳ２からダイジェスト終了ポイントＤＥ２までの期間が抽出されて作成されると説明した。これに替えて、例えば、ダイジェスト開始ポイントＤＳ２の所定時間前から、ダイジェスト終了ポイントＤＥ２の所定時間後までの期間が抽出される構成としても良い。

また、ダイジェストデータ作成処理では、記憶データの部分を抽出して、必要に応じて合成してダイジェストデータを作成すると説明したが、ダイジェストデータを作成しない構成としても良い。以下、詳述する。制御部３０はステップＳ１１、Ｓ１５において、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥを時間情報として記憶している。従って、時間情報を参照すれば、記憶データのうち、上記した夫々のダイジェストデータに対応する期間だけを再生することができる。

次に、ダイジェストデータ作成処理の変形例について説明する。ここでは、操作者にダイジェストデータの作成に必要な抽出される期間を選択させる。

制御部３０はダイジェストデータ作成処理を終了すると、タッチパネル８１の領域Ｒ５にダイジェスト開始ポイントＤＳ、ダイジェスト終了ポイントＤＥの位置が記された後述する楽譜形式の演奏データを表示させる。さらに、タッチパネル８１に「ダイジェストデータを作成します。ダイジェスト開始ポイントを設定して下さい」と表示させる。ステップＳ１１と同様に、操作者は領域Ｒ５に表示される楽譜形式の演奏データを例えばスクロールして、ダイジェスト開始ポイントＤＳに設定したい位置をタップして、ダイジェスト開始ポイントＤＳを設定する。携帯端末８０はダイジェスト開始ポイントＤＳが設定されたことを検出すると、「ダイジェスト終了ポイントを設定して下さい」と表示する。操作者はダイジェスト開始ポイントＤＳの設定と同様に、ダイジェスト終了ポイントＤＥを設定する。携帯端末８０はダイジェスト終了ポイントＤＥが設定されたことを検出すると、制御部３０へダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥの位置情報を送信する。制御部３０は送信された位置情報に基づいて、上記したダイジェストデータ作成処理と同様にダイジェストデータを作成する。尚、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥは１つに限らず、複数設定できる構成としても良い。

次に、ダイジェストデータ作成処理の変形例において領域Ｒ５に表示される、楽譜形式の演奏データについて説明する。記録再生処理において、制御部３０はマッチングによりＭＩＤＩ形式の演奏データとＭＩＤＩ形式の楽譜データとを関連付ける。楽譜形式の演奏データとは演奏時間を基準として、ＭＩＤＩ形式の楽譜データと関連づけることができたＭＩＤＩ形式の演奏データの部分について、ＭＩＤＩ形式のデータを五線譜形式のデータに置換したデータである。楽譜形式の演奏データは、横軸を演奏時間として、マッチングにより楽譜データと関連付けられた期間は五線譜形式の楽譜が表示され、楽譜データと関連付けられなかった期間は、例えば灰色の領域として表示される。例えば、確認モードでは、例えば、講師が指導するために演奏が行われない期間がある場合がある。この場合、演奏が行われなかった期間は灰色の領域で表示される。また、演奏が行われたものの、楽譜データと関連付けられなかった期間も灰色の領域で表示される。

ここで、記録再生システム１は画像記録再生装置の一例である。また、制御部３０および記憶部７により行われる録音・録画は演奏記録手段の一例であり、記憶部７、制御部３０および携帯端末８０により行われるステップＳ１１は再生手段の一例であり、記憶部７、制御部３０および携帯端末８０により行われるステップＳ１７は記録停止手段の一例である。また、タッチパネル８１は操作部の一例であり、制御部３０および記憶部７はダイジェスト作成手段の一例である。また、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥは夫々確認モードの開始タイミング、終了タイミングの一例である。

以上、上記した第１実施形態によれば、以下の効果を奏する。
演奏が開始される際に操作者により記録ボタン８７が選択され（Ｓ１）、制御部３０および記憶部７により、楽譜データおよび演奏時間に関連付けられた演奏データおよび撮影データの記録が開始される（Ｓ５）。確認モードでは、記憶部７は記録を継続するとともに、制御部３０は記憶部７に記憶されている記録データを再生する（Ｓ１１）。この場合、再生開始位置は、楽譜データまたは演奏時間に基づいて特定される。次に、操作者により停止ボタン８６が選択されると（Ｓ７）、記憶部７は記録を停止する。これにより、確認モードにおいて、演奏データおよび撮影データの記録は継続されたまま、記録されている演奏データおよび撮影データは楽譜データの位置あるいは演奏時間に基づいて再生されることができる。

また、同期モードにおいて、記録ボタン８７が選択されることに応じて（Ｓ９）、確認モードに移行し（Ｓ１１）、次に記録ボタン８７が選択されることに応じて（Ｓ１３）、確認モードを終了し、同期モードに移行する（Ｓ１５）。操作者による操作に応じて、記録再生システム１は確実に確認モードの開始・終了を行うことができる。

また、確認モードにおいて、操作者は領域Ｒ５に表示される楽譜において指示した位置から記憶されている演奏データおよび撮影データを再生することができる。また、操作者は例えば確認モードの開始タイミングから所定時間前などの時間に基づいて、時間情報に関連づけられて記録されている演奏データおよび撮影データを再生することができる。

また、制御部３０により、記憶部７に記録されている演奏データおよび撮影データが部分的に抽出され、ダイジェストデータが作成される。ここで、ダイジェスト開始ポイントＤＳおよびダイジェスト終了ポイントＤＥとは、それぞれ講師による指導が開始・終了されたタイミングである場合が多い。制御部３０はこれらのタイミングを基準としてダイジェストデータを抽出することにより、講師による指導が行われた部分を抽出することができる。また、領域Ｒ５に表示される楽譜形式の演奏データにおいて指定された位置を基準として抽出する構成としても良い。演奏データは楽譜データに関連付けられて記録されているため、制御部３０は指定された位置に基づいて抽出することができる。生徒はダイジェストデータにより、講習を効率的に振り返ることができる。

次に第２実施形態に係る記録再生処理について図６を用いて説明する。第１実施形態に係る記録再生処理と同じ処理については同一の符号を付し、詳細な説明は適宜省略する。また、第１実施形態と同様に、講師が生徒に演奏の教習を行う状況を例に説明する。

記録再生システム１は演奏開始を検出すると（Ｓ２１）、記録再生システム１は同期モードを開始する（Ｓ３）。例えば、センサ４が鍵盤２１などの動きを検出した場合に送信される信号を制御部３０が受信すると、制御部３０は携帯端末８０および記憶部７に記録開始信号を送信し、記録再生システム１は同期モードを開始する。次に第１実施形態と同様にステップＳ５、Ｓ７が行われる。制御部３０は停止ボタン８６が選択されていないと判断した場合（Ｓ７：ＮＯ）、記録再生システム１は同期モードを継続する。次に、演奏データが楽譜データと不一致であると判断すると（Ｓ２５）、ステップＳ１１へ進む。ステップＳ１１は第１実施形態と同様に行われる。ステップＳ２５について詳述する。制御部３０は予め記憶しているＭＩＤＩ形式の楽譜データと演奏者の演奏から生成されたＭＩＤＩ形式の情報である演奏データとのマッチングを行い、楽譜データと演奏データが不一致であるか否かを判断する。ここで、不一致と判断される場合とは、例えば、演奏が中断された場合、楽譜の１小節が飛ばされて演奏された場合など、楽譜データと異なる音あるいはタイミングで演奏された場合などである。尚、不一致か否かの判断には予め許容値を設定することができる。例えば、制御部３０に演奏の中断を不一致であると判断させたい場合には、許容値を大きくすることにより、例えば数回のミスタッチ、テンポの緩急などは無視させるようにすれば良い。尚、マッチングはすべての楽譜データに対して行うのではなく、例えば１小節の始めの音符など部分的に行うようにして、制御部３０の処理負荷を軽減する構成としても良い。

次に、演奏データがまだ弾かれていない楽譜データと一致したと判断すると（Ｓ２９）、ステップＳ１５へ進む。ステップＳ２９はステップＳ２５と同様に、楽譜データと演奏データとのマッチングにより行われる。尚、ステップＳ２９において、制御部３０がまだ弾かれていない楽譜データと比較するのは、例えば、確認モードにおいて講師が模範演奏を行った場合など、既に演奏された箇所が繰り返し演奏される場合を除外するためである。ステップＳ１５以降の処理は第１実施形態と同様に行われる。

第２実施形態に係る記録再生処理では、講師が生徒の演奏中に指導したい点を発見し、指導するために生徒の演奏を中断する場合に自動で確認モードへ移行することができる。また、生徒が演奏を再開する場合には自動で同期モードへ移行することができる。

ここで、制御部３０により行われるステップＳ２５、Ｓ２９は比較手段の一例である。

以上、上記した第２実施形態によれば、以下の効果を奏する。
ステップＳ２５において、制御部３０が不一致であると判断することに応じて、記録再生システム１は確認モードに移行する。これにより、操作者は記録データのうち楽譜に関連して又は演奏時間に関連して特定された情報を再生し、演奏を確認することができる。また、ステップＳ２９において、制御部３０が一致であると判断することに応じて、記録再生システム１は確認モードを終了することができる。さらに、演奏が中断された場合に、制御部３０が不一致であると判断する構成とすれば、例えば講習においてより好適に適用することができる。

次に第２実施形態のステップＳ２５の変化例について説明する。第２実施形態では、演奏データと楽譜データとが不一致の場合に確認モードに移行する構成とした。この他に、講師の声を検出した場合、講師による演奏が開始された場合に確認モードに移行する構成としても良い。具体的には、制御部３０は講師の声を予め記憶しておき、音声データに講師の声が含まれていると判断した場合に、確認モードに移行する構成としても良い。また、後述する顔認証などの生体認証により、演奏者が講師であると判断された場合に、確認モードに移行する構成としても良い。

次にダイジェストデータ作成についての変化例について説明する。ここでは、顔認証により演奏データに演奏者を関連付けで記憶し、ダイジェストデータを作成する。第１実施形態と同様に、講師が生徒に演奏の教習を行う状況を例に説明する。尚、演奏者の認証方法は顔認証に限らず、他の生体認証でも良いし、生体認証以外の認証方法でも良い。

撮影部６０は上カメラ６１、横カメラ６２、後カメラ６３、および低位置横カメラ６４の他に演奏者を正面から撮影可能な位置に設置された魚眼レンズあるいは広角レンズを有するカメラを含む。魚眼レンズあるいは広角レンズを有するカメラであれば、１台のカメラで演奏者の姿勢、運指を撮影することができる。尚、撮影された動画データは制御部３０により平面化される。さらに、画像処理により、鍵盤２１および指が撮影されている領域を切り取り、１８０度回転させて表示させる構成とすれば、演奏者は運指を確認しやすくなる。制御記憶部３２には顔認証を行うためのプログラム、講師および生徒の顔データが記憶されている。制御部３０は広角カメラで撮影された動画データと、講師および生徒の顔データとに基づいて、顔認証により演奏者を特定する。特定された演奏者は例えば演奏時間と関連づけられ演奏者データとして記憶される。

第１実施形態において確認モードに移行（Ｓ１１）後、生徒の演奏が中断され、講師による模範演奏が行われる場合を例に説明する。ステップＳ１１より前は、生徒が演奏しているため、演奏者は生徒である。ステップＳ１１の後、講師による演奏が開始されると、演奏者は講師であるとする演奏者データが制御部３０により生成される。

ダイジェストデータ作成にあたり、まず制御部３０は演奏者データにより講師により演奏が行われた部分の記録データを抽出する。次に、抽出された記録データに関連付けられた楽譜データを抽出する。次に、ダイジェスト開始ポイントＤＳ以前、即ち生徒による演奏が行われた部分のうち、抽出された楽譜データと一致率の高い演奏データをマッチングにより抽出する。ここで、「一致する」ではなく、「一致率の高い」演奏データとするのは、楽譜データ通りに生徒が演奏していない場合があるためである。次に、抽出された演奏データと関連付けられた記憶データを抽出する。これにより、講師の演奏が記録された記憶データと、楽譜上の同じ位置を生徒により演奏された記憶データとが抽出されたダイジェストデータが作成される。尚、抽出された記憶データは夫々楽譜データに関連づけられている。

作成されたダイジェストデータを再生する際には、例えば、横カメラ６２および上カメラ６１により撮影された生徒の動画データを夫々領域Ｒ１、Ｒ３に表示する。横カメラ６２および上カメラ６１により撮影された講師の動画データを夫々領域Ｒ２、Ｒ４に表示する。また、演奏者が講師である音声データに基づいて携帯端末８０が備えるスピーカに放音させる。あるいは、演奏者が講師である演奏データに基づいて楽器２に自動演奏させる。例えば、生徒の動画データと講師の動画データとを比較することにより、生徒は指摘された点を明確にすることができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内での種々の改良、変更が可能であることは言うまでもない。
例えば、楽器２はアコースティックピアノの機能を有すると説明したが、これに限定されない。オルガンなどの他の鍵盤楽器、あるいは、マリンバ、ドラムなどの打楽器の機能を有する楽器、あるいは、電子回路を含む音源を備えるエレキギター等の電子楽器にも適用することができる。

また、記録再生システム１の構成は上記に限定されない。例えば、記録再生システム１は携帯端末８０を備えると説明したが、タッチパネルを有する表示部により構成されても良い。この場合、記録再生処理を実行するプログラムを例えば制御記憶部３２に記憶することで、処理に応じて表示部を制御することができる。また、表示部はタッチパネルに限らず、例えば液晶ディスプレイなどの表示装置と操作を受け付けるボタン群などの入力装置を備えた装置でも良い。また、記憶部７は楽器２とは別に備えられると説明したが、これに限定されず、楽器２あるいは携帯端末８０が備える構成としても良い。また、撮影部６０は上カメラ６１、横カメラ６２、後カメラ６３、および低位置横カメラ６４を含むと説明したが、これに限定されず、例えば１台のカメラで構成されるとしても良いし、カメラを５台以上含む構成としても良い。１台のカメラで構成される場合、撮影部６０は携帯端末８０に備えられているカメラであっても良いし、楽器２に備えられる構成としても良い。また、音声データを取得するためのマイクロフォンを撮影部６０が含む構成としても良い。また、音声データを再生するためのスピーカを携帯端末８０とは別に備える構成としても良い。

また、制御部３０はＣＰＵ３１などにより構成されると説明したが、例えばＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などの回路群によって実現しても良いし、ＣＰＵとＡＳＩＣとの組み合わせにより実現しても良い。

また、確認モードおよびダイジェストデータの再生において、撮影部６０により取得された音声データが携帯端末８０に内蔵されるスピーカから放音されると説明したが、音声データに替えて、オーディオデータに変換された演奏データが放音される構成としても良い。尚、演奏データは制御部３０によりオーディオデータに変換される構成とすれば良い。

また、制御部３０は記録再生処理を終了すると、ダイジェストデータ作成処理を実行すると説明したが、記録再生処理を終了した後の任意の時期にダイジェストデータ作成処理を実行する構成としても良い。

また、第１実施形態および第２実施形態では、演奏者が２人の場合を例示したが、演奏者が１人、あるいは３人以上の場合にも適用することができる。

また、タッチパネル８１の領域Ｒ６には操作ボタンが表示されている説明したが、これに限定されず、携帯端末８０が備えるジョグダイヤルによる操作が行われても良い。また、制御部３０にジョグダイヤルを含む操作部を備える構成として、制御部３０に備えられる操作部により操作が行われても良い。また、タッチパネル８１の領域Ｒ５には、ピアノロール形式あるいは五線譜形式の楽譜が表示され、操作により切り替えられると説明したが、ピアノロール形式あるいは五線譜形式の楽譜のうちいずれか一方のみが表示される構成としても良いし、楽譜ではなく、ダイジェストデータ作成処理の変形例において説明した、楽譜形式の演奏データが表示される構成としても良い。また、楽譜形式の演奏データは五線譜形式に限らず、ピアノロール形式でも良い。

また、タッチパネル８１の領域Ｒ１〜Ｒ７において例えばタップされるなどの操作がされると、領域を拡大・縮小して表示する機能を付加しても良い。また、領域Ｒ１〜Ｒ７には大きさが確認できるスケールが付されて表示されるようにしても良い。タッチパネル８１の領域Ｒ１〜Ｒ７において、例えばドラッグされるなどの操作がされると、移動して表示する機能を付加しても良い。

また、タッチパネル８１における操作は上記に限定されない。例えば、戻しボタン８２および送りボタン８４は再生よりも早い速度で戻す、送ると説明したが、以下の動作でも良い。例えば、例えば５秒前など、所定時間前に戻す・送る、所定の練習番号、マーキングポイントまで、戻す・送る、などである。ここで、練習番号とは、練習の都合上、曲を複数に区切り、予め付した番号である。また、マーキングポイントとは、例えば生徒の演奏中に、講師が指摘したい箇所を記した点である。尚、練習番号、マーキングポイントは、領域Ｒ５に表示された楽譜において、教習の前、あるいは生徒の演奏中に記録できる構成とすれば良い。

また、楽器２はセンサ４および駆動部５を備えると説明したが、センサ４または駆動部５、あるいは両方を備えてなくても良い。センサ４を備えていない場合には、ＭＩＤＩ形式の演奏データは生成できないが、動画データおよび音声データの両者あるいはいずれか一方を記録・再生する構成に本発明を適用することができる。この場合、第２実施形態のステップＳ２１においては、所定のレベル以上の音声信号が検出された場合に、演奏が開始されたと判断する構成とすれば良い。また、ステップＳ２５、Ｓ２９においては、楽譜データとして、例えばＷＡＶ形式の音声データを記憶しておき、ＷＡＶ形式の楽譜データと演奏を録音したＷＡＶ形式の音声データとをマッチングすることにより一致・不一致の判断をすれば良い。尚、データ形式はＷＡＶ形式に限定されず、他のデータ形式でも良い。

また、第１実施形態のステップＳ１、Ｓ９、Ｓ１３において、記録ボタン８７が選択された場合と説明したが、記録ボタン８７に限定されず、例えば、戻しボタン８２など他のボタンが選択された場合を検出する構成としても良い。

また、第１実施形態および第２実施形態のステップＳ５において、演奏データおよび撮影データを記録すると説明したが、これに追加して、音声データに含まれる講師の言葉をテキスト化したテキストデータを楽譜データに関連付けて記憶する構成としても良い。さらに、ダイジェストデータにテキストデータを含めるようにして、領域Ｒ５に表示される楽譜データあるいは、楽譜形式の演奏データにテキストデータを付して表示される構成とすれば、テキストデータを確認して再生開始位置あるいはダイジェストデータを作成するための抽出期間を指定することができる。

また、ダイジェストデータを再生させる機器は携帯端末８０に限らず、ディスプレイおよびスピーカの機能を有する機器であれば良い。例えばパーソナルコンピュータ、テレビなどでも良い。また、記憶データを転送すれば、記録再生システム１とは異なる他の携帯端末、パーソナルコンピュータ、テレビなどで記憶データを再生することができる。

１ 記録再生システム
２ 楽器
４ センサ
５ 駆動部
７ 記憶部
３０ 制御部
６０ 撮影部
８０ 携帯端末
８１ タッチパネル
ＤＳ、ＤＳ１、ＤＳ２ ダイジェスト開始ポイント
ＤＥ、ＤＥ１、ＤＥ２ ダイジェスト終了ポイント

Claims (7)

1. 演奏の開始または記録開始の指令に応じて開始され、奏者の演奏による演奏情報と前記奏者の動画情報とを、前記演奏情報に係る楽譜上の位置に関連付けて記録する演奏記録手段と、
   前記演奏記録手段による記録を継続しながら既に記録した情報の確認をする確認モードに応じて、前記楽譜に関連して又は演奏時間に関連して特定される情報を再生する再生手段と、
   記録停止の指令に応じて、前記演奏記録手段による記録を停止する記録停止手段と、を備えることを特徴とする画像記録再生装置。
2. 前記楽譜上の情報と前記演奏情報とを比較する比較手段を備え、
   前記確認モードは、
   前記比較手段が前記楽譜上の情報と前記演奏情報とが不一致であると判断することに応じて開始され、一致すると判断することに応じて終了されることを特徴とする請求項１に記載の画像記録再生装置。
3. 前記比較手段は、前記奏者の演奏が中断された場合に不一致であると判断することを特徴とする請求項２に記載の画像記録再生装置。
4. 使用者の操作を受け付ける操作部を備え、
   使用者が前記操作部を操作することに応じて、前記確認モードの開始・終了が指令されることを特徴とする請求項１に記載の画像記録再生装置。
5. 前記再生手段は、前記楽譜上の位置が指示されることに応じて、該位置に関連付けられて記録されている情報を前記特定される情報とすることを特徴とする請求項１乃至４の何れか１項に記載の画像記録再生装置。
6. 前記演奏記録手段は、更に時間情報を関連付けて記録し、
   前記再生手段は、前記確認モードの開始タイミングを基準とした時間に応じて、前記時間情報に関連付けられて記録されている情報を前記特定される情報とすることを特徴とする請求項１乃至４の何れか１項に記載の画像記録再生装置。
7. 前記確認モードの開始タイミング、終了タイミング、および前記楽譜上に指定された指定タイミングの少なくとも何れか一つのタイミングを基準として、前記演奏記録手段により記録された情報を部分的に抽出するダイジェスト作成手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像記録再生装置。
   

Images