JP6862667B2 - Musical score display control device and program - Google Patents
Musical score display control device and program Download PDFInfo
- Publication number
- JP6862667B2 JP6862667B2 JP2016060918A JP2016060918A JP6862667B2 JP 6862667 B2 JP6862667 B2 JP 6862667B2 JP 2016060918 A JP2016060918 A JP 2016060918A JP 2016060918 A JP2016060918 A JP 2016060918A JP 6862667 B2 JP6862667 B2 JP 6862667B2
- Authority
- JP
- Japan
- Prior art keywords
- score
- display
- proficiency level
- user
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Description
この発明は、楽曲の楽譜を表示する楽譜表示制御装置及びプログラムに関し、特に、楽譜を手本にして楽曲の演奏練習を行うときに、練習を補助するような表示を行うことに関する。 The present invention relates to a score display control device and a program for displaying a score of a musical score, and more particularly to a display that assists the practice when practicing the performance of a musical score using the score as a model.
従来、電子楽器等において、演奏する楽曲の楽譜データに基づいて楽譜画像をディスプレイに表示できるものがある。楽曲の演奏の練習において重要な事柄の１つに、暗譜することがある。暗譜するには、繰り返し練習することが必要である。 Conventionally, some electronic musical instruments and the like can display a musical score image on a display based on the musical score data of a musical piece to be played. One of the important things in practicing playing a piece of music is to memorize it. It is necessary to practice repeatedly to memorize.
電子楽器等のディスプレイに電子的に楽譜を表示する技術において、暗譜を促すように楽譜を表示させるものがあった。例えば、特許文献１は、楽譜上から、楽曲の演奏（練習）の進行に応じて、該演奏の位置以降の音符を消去することが記載されている。特許文献１において、何れの音符を消去するかは、例えば音数が多いフレーズであるとか運指が難しいといった演奏の難易度に応じて判断される。 In the technique of electronically displaying a musical score on a display such as an electronic musical instrument, there is a technique of displaying the musical score so as to encourage a secret score. For example, Patent Document 1 describes that notes after the position of the performance are deleted from the score according to the progress of the performance (practice) of the music. In Patent Document 1, which note is to be erased is determined according to the difficulty of playing, for example, a phrase having a large number of notes or fingering is difficult.
また、特許文献２は、電子楽器等のディスプレイに電子的に楽譜を表示するにあたり、楽譜上の時間位置に対応付けて、その位置に対応する各種コメントや指示等を付加することが記載されている。 Further, Patent Document 2 describes that when electronically displaying a score on a display of an electronic musical instrument or the like, various comments, instructions, etc. corresponding to the time position on the score are added in association with the time position. There is.
楽曲の難易度は、個々のユーザにとって様々であり得る。また、或る１人のユーザにおいても、楽曲中の演奏が困難な個所や、重点して練習すべき個所や、演奏に際して留意すべき事柄等は、楽曲の習熟度に応じて変化するだろう。 The difficulty of a piece of music can vary for individual users. Also, even for a single user, the parts of the song that are difficult to play, the parts that should be emphasized for practice, and the points to be noted when playing will change depending on the proficiency level of the song. ..
この発明は、上述の点に鑑みてなされたもので、ユーザの楽曲演奏の習熟度に合わせて効率的且つ適切に演奏練習を補助できるようにした、楽譜表示制御装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a musical score display control device capable of efficiently and appropriately assisting a performance practice according to a user's proficiency in music performance. To do.
この発明は、或る楽曲について、ユーザによる演奏の手本となる楽譜を表示する表示部と、前記演奏に応じた音データを入力する入力部と、前記楽譜と前記入力された音データに基づいて、前記演奏を採点する採点部と、前記採点の結果を、同じ前記楽曲について前記ユーザが過去に行った演奏に関する履歴として、蓄積する蓄積部であって、複数のユーザについて前記履歴を蓄積するものと、前記蓄積部に蓄積された前記採点の結果の前記履歴に基づき、前記楽曲の少なくとも一部に関する習熟度を統計学的に決定する手段と、ここで、決定される前記習熟度は、個別ユーザの習熟度及び複数ユーザからなるユーザグループの習熟度を含み、前記個別ユーザの習熟度に応じて、前記楽曲の少なくとも一部に関する前記楽譜の表示態様を変更する制御を行う表示制御部であって、前記ユーザグループの習熟度に応じて前記楽譜の表示態様の変更の仕方を制御するものとを備える楽譜表示制御装置である。 The present invention is based on a display unit that displays a score that serves as a model for a user's performance of a certain musical piece, an input unit that inputs sound data corresponding to the performance, and the score and the input sound data. A scoring unit for scoring the performance and a storage unit for accumulating the scoring results as a history of performances performed by the user in the past for the same music, and accumulating the history for a plurality of users. and stuff, based on the history of the storage unit stored the scoring result, and means for statistically determining the learning level for at least a portion of the musical composition, wherein the learning level to be determined, A display control unit that controls to change the display mode of the score for at least a part of the music according to the proficiency of the individual user and the proficiency of a user group composed of a plurality of users. The musical score display control device includes a device that controls how to change the display mode of the musical score according to the proficiency level of the user group.
上記構成からなる楽譜表示制御装置によれば、楽器の演奏により発生した音データに基づく演奏の採点結果を、同じ前記楽曲について前記ユーザが過去に行った演奏に関する履歴として、蓄積し、かつ、複数のユーザについてこの履歴を蓄積し、蓄積された採点結果の前記履歴に基づき、前記楽曲の少なくとも一部に関する習熟度を統計学的に決定し、ここで、決定される前記習熟度は、個別ユーザの習熟度及び複数ユーザからなるユーザグループの習熟度を含み、該個別ユーザの習熟度に応じて前記楽曲の少なくとも一部に関する楽譜表示態様を変更し、かつ、前記ユーザグループの習熟度に応じて前記楽譜の表示態様の変更の仕方を制御する。したがって、蓄積された履歴に基づき個別ユーザの習熟度及び複数ユーザからなるユーザグループの習熟度を適切に決定することができ、該決定した個別ユーザの習熟度に応じて適切な楽譜表示態様に変更し、かつ、前記ユーザグループの習熟度に応じて前記楽譜の表示態様の変更の仕方を制御することで、ユーザグループとしての習熟度を加味して、習熟度を深める演奏練習を効果的に補助し得るものとなる。 According to the musical score display control device configured as described above, the scoring result of the performance based on the sound data generated by playing musical instruments, as history relates playing the user has performed in the past for the same said music, accumulate, and more This history is accumulated for the user of the music, and the proficiency level for at least a part of the music is statistically determined based on the history of the accumulated scoring result, and the proficiency level determined here is an individual user. It includes proficiency and user groups proficiency comprising a plurality users, the change of the musical score display mode for at least a portion of the music according to the individual user's proficiency level, and depending on the skill level of the user group It controls how to change the display mode of the musical score . Therefore, the proficiency level of individual users and the proficiency level of user groups consisting of a plurality of users can be appropriately determined based on the accumulated history, and the musical score display mode is changed according to the determined proficiency level of individual users. In addition, by controlling how to change the display mode of the score according to the proficiency level of the user group, the proficiency level of the user group is taken into consideration, and the performance practice to deepen the proficiency level is effectively assisted. It will be possible.
また、この発明は、装置の発明として実施しうるのみならず、前記楽譜表示制御装置の機能を実現するステップを、コンピュータに実行させるプログラムの発明として、あるいはコンピュータによって実行する方法の発明として、実施及び構成されてよい。 Further, the present invention can be implemented not only as an invention of the device, but also as an invention of a program for causing a computer to execute a step of realizing the function of the score display control device, or as an invention of a method of executing the step by the computer. And may be configured.
この発明によれば、蓄積された履歴に基づきユーザの習熟度を適切に決定することができ、該決定した習熟度に合わせた適切な表示態様で楽譜が表示されるので、ユーザの楽曲演奏の習熟度に合わせて効率的且つ適切に演奏練習を補助できる、という優れた効果を奏する。 According to the present invention, the proficiency level of the user can be appropriately determined based on the accumulated history, and the score is displayed in an appropriate display mode according to the determined proficiency level. It has the excellent effect of being able to assist performance practice efficiently and appropriately according to the level of proficiency.
以下、添付図面を参照して、この発明の一実施形態について詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
図１は、一実施形態に係る楽譜表示制御装置の構成例を説明する概念的ブロック図である。楽譜表示制御装置１００は、演奏の手本となる楽譜を表示する表示部１０と、演奏に応じた音データを入力する入力部１１と、前記楽譜と前記入力された音データに基づいて、前記演奏を採点する採点部１２と、前記採点の結果を蓄積する蓄積部１３と、前記蓄積部に蓄積された少なくとも一部の採点の結果に基づく習熟度に応じて、前記楽譜の表示態様を変更する制御を行う表示制御部１４と、１以上の楽曲データを記憶する楽曲データ記憶部１５と、楽曲データに基づき自動演奏を行う演奏部１６を含む。
FIG. 1 is a conceptual block diagram illustrating a configuration example of a score display control device according to an embodiment. The score
楽譜表示制御装置１００は、例えば汎用のパーソナルコンピュータや電子楽器など、各部１０〜１６の動作（後述するオーディオ信号を分析する各種処理）を行なうためのプログムを実行可能なコンピュータ装置により構成されてよく、あるいは、各部の動作を実行可能なように構成された専用ハードウェア装置（集積回路等）からなっていてもよい。
The score
図２は、楽譜表示制御装置１００の電気的ハードウェア構成例を説明するブロック図である。楽譜表示制御装置１００は、マイクロプロセッサユニット（ＣＰＵ）１０１、メモリ１０２、操作装置１０３、表示装置１０４、及び、オーディオインタフェース（「オーディオＩ／Ｆ」）１０５、及び、通信インタフェース（「通信Ｉ／Ｆ」）１０６、外部記憶装置１０７を含む。ＣＰＵ１０１は、メモリ１０２に記憶された各種のプログラムを実行して、楽譜表示制御装置１００の全体動作を制御する。メモリ１０２は、ＲＯＭ、ＲＡＭ及を含む。外部記憶装置１０７は、例えば磁気ディスクや光学ディスク、フラッシュメモリなど適宜の記録媒体からなる。
FIG. 2 is a block diagram illustrating an example of an electrical hardware configuration of the score
操作装置１０３は、例えばマウス、キーボード等の操作装置と、該操作入力を検出する機構を含み、ユーザの操作に応じて、例えば楽曲の選択、自動演奏の開始、停止など様々な指示を入力する。表示装置１０４は、図１の表示部１０に対応しており、楽譜を含む各種画面を表示可能なディスプレイと、該ディスプレイの表示を制御する機構を含む。ディスプレイは、例えば、ＬＣＤや有機ＥＬなどからなる。
The
オーディオＩ／Ｆ１０５は、音響信号（オーディオ信号）の入力端子、音響信号の出力端子、アナログ‐デジタル変換器、デジタル‐アナログ変換器を含む。楽譜表示制御装置１００はオーディオＩ／Ｆ１０５を介して、例えば、ユーザの楽器の演奏により発生した音データを取得できる。オーディオＩ／Ｆ１０５は入力部１１を構成する。
The audio I /
通信Ｉ／Ｆ１０６は、イーサネット（登録商標）インタフェース、ＵＳＢインタフェース、ＭＩＤＩインタフェース等を含む。楽譜表示制御装置１００は、通信Ｉ／Ｆ１０６を介して、例えばインターネット等の通信ネットワークに接続し得る。楽譜表示制御装置１００は、通信Ｉ／Ｆ１０６を介して、外部のＭＩＤＩ機器（例えばＭＩＤＩ鍵盤等）からＭＩＤＩ演奏情報を取得できる。
The communication I / F 106 includes an Ethernet (registered trademark) interface, a USB interface, a MIDI interface, and the like. The score
図１の楽曲データ記憶部１５は、例えば外部記憶装置１０７により構成されてもよいし、或いは、通信Ｉ／Ｆ１０６を介して接続されたインターネット上の楽曲データベースサーバ装置により構成されてもよい。楽曲データ記憶部１５に記憶された個々の楽曲データは楽曲に対応付けられており、それぞれ、その楽曲を自動演奏するための自動演奏データと、その楽曲の楽譜を表示するための楽譜表示データとを含む。自動演奏データは、例えばＭＩＤＩ形式のデータからなる。一例において、楽曲データ記憶部１５に記憶された楽曲データに含まれる自動演奏データは、自動演奏データのうち、ユーザの演奏する楽器パートを除外した「マイナスワン演奏データ」からなる。ユーザが歌唱する場合、マイナスワン演奏データは、歌唱パートを除いたデータ（「カラオケ伴奏データ」）となる。なお、ユーザは、予め、自身が練習を行うパート名（歌唱、楽器名等）を楽譜表示制御装置１００に設定しておくものとする。
The music
ユーザは、操作装置１０３を用いて、楽曲データ記憶部１５（図２のメモリ１０２）に記憶された楽曲データのうちから、練習対象となる楽曲（練習曲）を選択する。ＣＰＵ１０１は、ユーザにより楽曲が選択されたとき、選択された楽曲の楽曲データに含まれる楽譜表示データに基づく楽譜を表示部１０（図２の表示装置１０４）に表示する。楽譜は、例えば楽曲を構成する各音のピッチ、時間位置、長さ等、ユーザが楽曲を演奏又は歌唱するために必要な情報を表示するものである。楽譜の一例は五線譜である。
The user uses the
ユーザは、操作装置１０３を用いて、選択された楽曲データの再生開始を指示できる。図１の演奏部１６は、再生開始指示に応じて、選択された楽曲データに含まれる自動演奏データに基づいて、選択された楽曲のマイナスワン演奏（又はカラオケ伴奏）を再生する。ＣＰＵ１０１は、メモリ１０２等に記憶された楽曲データを読み出し、読み出した楽曲データに基づく自動演奏処理を行うことにより、演奏部１６の動作を実行できる。
The user can instruct the start of playback of the selected music data by using the
演奏部１６の自動演奏により、選択した楽曲のマイナスワン演奏（又はカラオケ伴奏）の再生音が、オーディオＩ／Ｆ１０５を介して、図示外のヘッドフォン等に出力される。ユーザは、再生音に合わせて、楽曲の演奏又は歌唱の練習を行う。なお、楽器の演奏及び歌唱を総称して、単に「演奏」とも言う。
By the automatic performance of the
図１の入力部１１は、オーディオＩ／Ｆ１０５を介して取り込んだアコースティック楽器の演奏又は歌唱に応じた音響信号を、演奏に応じた音データとして、楽譜表示制御装置１００に入力する。別の例において、入力部１１は、通信Ｉ／Ｆ１０６を介して取り込んだ電子楽器の演奏に応じたＭＩＤＩ演奏情報を、演奏に応じた音データとして、楽譜表示制御装置１００に入力する。
The input unit 11 of FIG. 1 inputs an acoustic signal corresponding to the performance or singing of the acoustic instrument captured via the audio I /
採点部１２は、入力部１１から入力された音データと、演奏部１６から取得したリファレンス（手本）データに基づき、ユーザによる楽器の演奏又はユーザの歌唱を採点し、１回の練習における全ての採点結果に基づく採点分析データを生成する。
The
リファレンスデータは、演奏部１６が自動演奏に用いる楽曲データ（ＭＩＤＩ形式の自動演奏データ）に基づくデータであり、演奏すべき音を特定する情報を含む。音を特定する情報は、例えば、ピッチ（音高）、長さ、発音タイミング等の各種音要素を含む。音を特定する情報は、その他にも、演奏に必要な各種情報を含んでよい。前記必要な各種情報は、例えば、強弱、速度、発想、アーティキュレーション、反復、装飾、省略など五線譜記載法における演奏記号により表される要素を含んでよい。
The reference data is data based on music data (automatic performance data in MIDI format) used by the
採点部１２の採点は、例えば、楽曲の１音毎の評価を含む。１音は、楽譜の１つの音符に対応する。採点は、評価に応じた得点を数値で表すことを含む。評価項目は、例えばピッチ、音量、長さ、発音タイミング等の各種音要素に関する評価、及び、例えば強弱、速度、発想、アーティキュレーション、反復、装飾、省略等の演奏技法に関する評価を含む。評価は、例えば、各項目の安定性を評価することや、リファレンスデータに対する忠実さを評価することを含む。ＣＰＵ１０１は、入力された音データを分析し、１音毎の各種音要素の特徴量の抽出し、且つ、個々の音の特徴量とリファレンスデータを比較することにより、採点部１２の動作を行い得る。採点部１２による採点は、ユーザの演奏に応じて略リアルタイム処理により行われてもよいし、或いは、１回の練習による演奏を録音した音データ（例えば１曲分のデータ）に対して行っても良い。
The scoring of the
採点分析データは、例えば、採点結果の情報と、楽曲を識別する情報と、ユーザを識別する情報と、個々の採点分析データを識別する情報とを含む。採点結果の情報は、楽曲を構成する個々の音の各種音要素に関する得点や、演奏技法に関する得点を含んでよい。楽曲を識別する情報は、楽曲の曲名や曲毎の曲ＩＤ等である。ユーザを識別する情報は、ユーザ名やユーザ毎のユーザＩＤ等である。採点分析データを識別する情報、例えば採点（練習）を行った日時、練習毎の練習ＩＤ等である。 The scoring analysis data includes, for example, scoring result information, music identification information, user identification information, and individual scoring analysis data identification information. The scoring result information may include scores related to various sound elements of individual sounds constituting the music and scores related to the playing technique. The information for identifying a song is a song title of the song, a song ID for each song, or the like. The information that identifies the user is a user name, a user ID for each user, or the like. Information for identifying the scoring analysis data, for example, the date and time when scoring (practice) was performed, the practice ID for each practice, and the like.
蓄積部１３は、採点部１２により生成された採点分析データを蓄積及び管理するデータベース装置である。蓄積部１３は、一例において、楽譜表示制御装置１００に備わるローカルのデータベース装置（外部記憶装置１０７）で構成されてよい。ＣＰＵ１００は、１回の練習毎に、採点部１２により生成された採点分析データを蓄積部１３に記憶させる。これにより、蓄積部１３は、ユーザが過去に行った練習に対する採点結果を示す採点分析データの履歴を保持するものとなる。一例として、蓄積部１３は、当該ユーザ１人の採点分析データの履歴のみを保持する。
The
表示制御部１４は、蓄積部１３に蓄積された楽曲毎の過去の採点分析データの少なくとも一部に基づいて、その楽曲の演奏に関するユーザの習熟度を推定し、該推定された習熟度に応じて、表示部１０（表示装置１０４）に表示された楽譜の表示態様を変更する制御を行う。習熟度は、例えば楽曲内の個々の音符やフレーズ等、楽曲中の演奏個所を、ユーザが正しく演奏できているかどうか、すなわち高得点を得ているかどうかを示す。また、習熟度は、同じ楽曲を何回か演奏した場合の該当個所における全平均得点や、直近の所定期間内の平均特定などの情報を用いてもよい。習熟度に応じた楽譜の表示態様の変更は、例えば、楽曲中の個々の演奏個所に関するユーザの習熟度に応じて、楽譜内の該習熟度に対応する個所の表示態様を変更することを含む。例えば、習熟度の高い個所の表示態様を変更することを含む。表示態様の変更は、当該個所の表示を簡略化すること、当該個所の音符の表示色を変えること、当該個所を不可視化すること等を含む。
The
図３は、ＣＰＵ１０１が行う表示制御処理（表示制御部１４の動作）の一例を示すフローチャートである。一例において、ＣＰＵ１０１は、ユーザの楽曲選択に応じて表示部１０（表示装置１０４）に或る楽曲の楽譜を表示するときに、図３の処理を実行する。ステップＳ１において、ＣＰＵ１０１は、当該ユーザを識別する情報（例えばユーザ名等）と現在選択されている楽曲を識別する情報（例えば曲名等）に基づいて、該ユーザによる該楽曲の演奏に対する採点分析データ群を、蓄積部１３から取得する。一例として、ユーザによる該楽曲の演奏に対する全ての採点分析データ群が、蓄積部１３から取得されてよい。個々の採点分析データには、対応する楽曲内の個々の音のピッチ、音量、強弱・・・等の各種評価項目毎の採点結果（得点）が含まれる。
FIG. 3 is a flowchart showing an example of the display control process (operation of the display control unit 14) performed by the
ステップＳ２において、ＣＰＵ１０１は、前記取得された採点分析データ群に基づいて、その楽曲の演奏に関するユーザの習熟度を推定する。習熟度は、個々の採点分析データに含まれる楽曲内の個々の音の得点(採点結果）の統計値に基づき推定される。例えば、ＣＰＵ１０１は、楽曲内の個々の音のピッチ得点の平均値を求めることにより、個々の音の習熟度を推定し得る。平均値が高いほど習熟度が高い（すなわち正しく演奏できている）と推定し、平均値が低いほど習熟度が低い（すなわち正しく演奏できていない）と推定する。これにより、楽曲内の個々の音の演奏傾向を分析して、例えば何れの音符又はフレーズの演奏をよく間違えているかとか、何れの音符又はフレーズの演奏を正しく演奏できているか等を把握することができる。演奏傾向は、ユーザの習熟度や個性に応じたものとなる。こうして把握した演奏傾向により、該楽曲中のいずれの箇所の表示態様を変更すべきかを判断することができる。ＣＰＵ１０１は、前記推定された楽曲内の個々の音の習熟度を、対応する楽譜上の時間位置(例えば音符）に対応付けて記録する。これにより、該選択された楽曲に対応する採点分析データ群の集計データが作成される。集計データは、採点分析データ群に基づく楽曲内の個々の音の習熟度を、対応する楽譜上の時間位置(例えば音符）に対応付けて記録したデータである。
In step S2, the
ステップＳ３において、ＣＰＵ１０１は、前記作成された集計データに基づき、楽曲内の個々の音の習熟度に応じて、楽譜上の対応個所の表示態様を変更する制御を行う。前記集計データがユーザによる該楽曲の演奏に対する全ての採点分析データ群に基づき作成されたものである場合、表示制御部１４（ステップＳ３）は、蓄積部１３に蓄積された当該楽曲の全ての採点の結果に基づいて、表示態様を変更する制御を行うことになる。
In step S3, the
一例として、表示態様を変更する制御は、当該音符を含む楽譜を表示部１０に表示する際に、すなわち演奏部１６によるマイナスワン演奏の進行とは連動せずに、行われてよい。ＣＰＵ１０１は、表示部１０に楽譜を表示する際に、楽譜内の個々の対応箇所(例えば、音符等、習熟度を求めた個所）を、それぞれの習熟度に応じた表示態様に変更する。この場合、楽譜内の個々の対応箇所は、表示部１０に表示された際に固定的に、習熟度に応じた表示態様で表示される。別の例として、楽譜上の対応個所の表示態様を変更する制御は、演奏部１６によるマイナスワン演奏の進行に合せて、すなわち演奏部１６により当該個所が演奏されるタイミングに合わせて略リアルタイムで行う。その場合、演奏部１６から自動演奏の進行を示す時刻情報が表示部１０及び表示制御部１４に供給され（図１参照）、ＣＰＵ１０１は、時刻情報に基づく現在の演奏位置に対応する個所の表示態様を、習熟度に応じて変更する。別の例として、ＣＰＵ１０１は、時刻情報に基づく現在の演奏位置以後（例えば、現在位置よりも数小節先、数秒先、数音符先等）の個所の表示態様を、その習熟度に応じて変更してもよい。これにより、自動演奏（マイナスワン演奏）に合わせたユーザの演奏に応じたタイミングで又は演奏に先立って、当該演奏される個所の表示態様を、変更できる。
As an example, the control for changing the display mode may be performed when displaying the score including the note on the
楽譜上の対応個所は、例えば音符である。表示態様の変更は、各音のピッチ得点平均値に応じて、例えば、音符の表示色、表示サイズを変えることを含む。一例として、楽譜表示制御装置１００のメモリ１０２には、楽曲内の個々の音の習熟度（ピッチ得点の平均値）と表示態様を異ならせる程度とを対応付けたテーブルが記憶され、ＣＰＵ１０１は、前記ステップＳ３において、前記テーブルに基づいて、習熟度に応じて異なる程度で、楽譜上の対応個所の表示態様を変更する。
Corresponding parts on the score are, for example, musical notes. The change in the display mode includes, for example, changing the display color and display size of the notes according to the average pitch score of each sound. As an example, the
図４（ａ）はピッチ得点の平均値と音符の表示色の濃さとを対応付けたテーブル構成例を示す。（ａ）のテーブル構成例において、縦軸はピッチ得点平均値を示す。ピッチ得点平均値は。図において下から上に向って最低得点（０点）から１００点（最高得点）までの値をとる。また、横軸は表示色の濃度を示しており、濃度は、図において左から右に向って薄くなる。濃度が最も濃い状態を、表示態様の変更を行なっていない通常の表示色とする。（ａ）のテーブル構成例によれば、０点から５０点までの習熟度の低い音符は、表示色の濃度が最も濃いまま変わらない。５０点以上の音符は、得点の上昇に応じて順次表示色の濃度が薄くなる。従って、習熟度が低い音符の表示色は通常状態のまま変わらない。習熟度が上がるほど音符の表示色が薄くなり、音符の視認性が悪くなる。表示色をもっとも薄くすると、例えば音符が不可視化される（音符の表示が消える）。例えば、図５（ａ）は、表示部１０（表示装置１０４）に表示された楽譜（五線譜）の一例である。前記ステップＳ３の処理により、３小節目の３つの音符５０、５１、５２の表示が消えると、楽譜は図５（ｂ）のようになる。
FIG. 4A shows an example of a table configuration in which the average value of pitch scores and the density of the display color of musical notes are associated with each other. In the table configuration example of (a), the vertical axis represents the average pitch score. What is the average pitch score? In the figure, the values from the lowest score (0 points) to 100 points (highest score) are taken from the bottom to the top. The horizontal axis indicates the density of the display color, and the density decreases from left to right in the figure. The state in which the density is highest is defined as a normal display color in which the display mode has not been changed. According to the table configuration example of (a), the notes having a low proficiency level from 0 to 50 points do not change with the darkest display color density. For notes with 50 points or more, the density of the display color gradually decreases as the score increases. Therefore, the display color of notes with low proficiency remains unchanged in the normal state. As the proficiency level increases, the display color of the notes becomes lighter and the visibility of the notes deteriorates. The lightest display color, for example, makes the notes invisible (the notes disappear). For example, FIG. 5A is an example of a musical score (staff) displayed on the display unit 10 (display device 104). When the display of the three
一例において、前記ステップＳ３において、音符は全体の表示態様が変更される。別の例においては、音符の全体ではなく一部のみの表示態様が変更される。例えば、音符の符頭の表示態様のみを変更してよい。例えば、図５（ｂ）において符号５３は音符の符頭を消した例を示す。その場合、表示態様の変更後も符幹及び符尾が通常の態様で表示されているので、ユーザは発音タイミングを知ることができる。別の例として、音符の符幹及び符尾の表示態様のみを変更してよい。その場合、表示態様の変更後も符尾が通常の態様で表示されているので、ユーザはピッチを知ることができる。例えば、図５（ｂ）において符号５４は音符の符幹を消した例を示す。
In one example, in step S3, the overall display mode of the notes is changed. In another example, the display mode of only a part of the note, not the whole note, is changed. For example, only the display mode of the note head of a note may be changed. For example, in FIG. 5B,
前記ステップＳ３において、表示態様の変更方法は、音符の表示色の濃度を変えることに限らず、例えば、習熟度に応じて音符の表示色を変更すること（例えば、習熟度が上がれば表示色を赤から黒に変更し、習熟度が上がらない場合は赤いまま等）、音符の表示の透過性を変更すること（例えば、習熟度が上がれば音符表示を透過的に表示し、習熟度が上がらない場合は不透過的なまま等）、あるいは、音符の表示サイズを変更すること（例えば、習熟度が上がれば音符表示サイズを小さくし、習熟度が上がらない場合は大きいサイズのまま等）を含んでよい。 In step S3, the method of changing the display mode is not limited to changing the density of the display color of the musical note, for example, changing the display color of the musical note according to the proficiency level (for example, the display color if the proficiency level increases). Change from red to black and leave it red if the proficiency level does not increase), change the transparency of the note display (for example, if the proficiency level increases, the note display will be displayed transparently, and the proficiency level will increase. If it does not increase, it remains opaque, etc.), or change the display size of the notes (for example, if the proficiency level increases, the note display size is reduced, and if the proficiency level does not increase, the size remains large, etc.). May include.
また、前記ステップＳ３の表示態様の変更方法の別の例は、音符に対してモザイク処理を行うことを含む。その場合、ＣＰＵ１０１は、例えば、習熟度が上がるほど、モザイク処理の粒度を粗くして、音符の視認性が悪くなるようにする。また、前記ステップＳ３の表示態様の変更方法の別の例は、音符に対して点滅処理を行うことを含む。その場合、ＣＰＵ１０１は、例えば、習熟度が上がるほど、点滅サイクル中の消灯時間を長くして、音符の視認性が悪くなるようにする。
Further, another example of the method of changing the display mode in step S3 includes performing mosaic processing on the musical notes. In that case, for example, as the proficiency level increases, the
また、前記ステップＳ３の表示態様の変更方法の別の例は、例えば黒塗り処理、網掛け処理、或いは、何らかの図柄の画像を重ねること等により、音符の少なくとも一部を隠すことを含む。その場合、ＣＰＵ１０１は、例えば、習熟度が上がるほど、例えは黒塗りの濃度を濃くする、網掛けの粒度（網目のピッチ）を細かくする、音符を隠す範囲を広げる等により、音符の視認性が悪くなるようにする。例えば、図５（ｂ）において符号５５は音符を黒塗りにより隠す例を示す。
Further, another example of the method of changing the display mode in step S3 includes hiding at least a part of the musical notes by, for example, black-painting processing, shading processing, or superimposing an image of some pattern. In that case, for example, as the proficiency level increases, the
前記ステップＳ３において表示態様を変更する個所は、音符に限らず、音符以外の表示物であったり、あるいは、楽譜上の時間位置（楽譜の背景部分）であったりしてもよい。例えば、楽譜上に、個々の音の音階名と、その音を演奏するための運指（例えば、鍵盤の位置やギター、管楽器等の指使いなど）を表示する場合、音階名と運指の表示態様を変更してよい。図４（ｂ）は、前記ステップＳ３で参照するテーブル構成の別の例として、ピッチ得点平均値と音階名及び運指の表示透過性とを対応付けたテーブル構成例を示す。（ｂ）によれば、ピッチ得点平均値（習熟度）が上がるほど、音階名及び運指は透過的に表示され、不可視化される。 The place where the display mode is changed in step S3 is not limited to the musical note, but may be a display object other than the musical note, or a time position on the musical score (background portion of the musical score). For example, when displaying the scale name of each sound and the fingering for playing the sound (for example, the position of the keyboard and the fingering of a guitar, wind instrument, etc.) on the score, the scale name and fingering The display mode may be changed. FIG. 4B shows another example of the table configuration referred to in step S3, which is a table configuration in which the average pitch score is associated with the scale name and the display transparency of fingering. According to (b), as the average pitch score (proficiency level) increases, the scale name and fingering are transparently displayed and invisible.
また、別の実施形態において、前記ステップＳ３において参照する習熟度と表示態様の変化程度の対応付けたテーブルは、楽曲中の音符毎の難易度に応じてオフセット値を加味するようにしてもよい。音符毎の難易度は、リファレンスデータに基づいて推定し得る。これにより、例えば演奏の難しい個所は習熟度が高くても表示態様を変化し難くするなど、難易度を反映した表示態様の変更制御を行うことができる。 Further, in another embodiment, the table in which the proficiency level referred to in step S3 and the change degree of the display mode are associated may be added with an offset value according to the difficulty level of each note in the music. .. The difficulty level for each note can be estimated based on the reference data. Thereby, for example, it is possible to control the change of the display mode reflecting the difficulty level, such as making it difficult to change the display mode even if the proficiency level is high in a part where the performance is difficult.
また、前記ステップＳ２は、楽曲内の個々の音のピッチに関する習熟度を推定することに限らず、楽曲内の個々の音の各種評価項目（例えばピッチ、音量、発音タイミング、強弱、速度、発想、アーティキュレーション、反復、装飾、省略等）のうち何れか１つの平均値を、習熟度として求め、前記ステップＳ３は、個々の音の前記１つの評価項目の習熟度に応じて、楽譜上の対応個所の表示態様を変更するように構成されてよい。 Further, the step S2 is not limited to estimating the proficiency level regarding the pitch of each sound in the music, and various evaluation items (for example, pitch, volume, pronunciation timing, strength, speed, idea) of each sound in the music. , Articulation, repetition, decoration, omission, etc.) is obtained as the proficiency level, and step S3 is performed on the score according to the proficiency level of the one evaluation item of each sound. It may be configured to change the display mode of the corresponding portion of.
別の実施形態において、前記ステップＳ２は、楽曲内の個々の音の複数種類の評価項目の平均値を、習熟度として求めるように構成されてよい。その場合、前記ステップＳ３は、個々の音の１以上の複数種類の評価項目毎の習熟度（得点平均値）の合計に応じて、楽譜上の対応個所の表示態様を変更するように構成されてよい。別の例では、前記ステップＳ３は、個々の評価項目に重み付けした合計に応じて、楽譜上の対応個所の表示態様を変更するように構成されてよい。別の実施形態において、複数種類の評価項目毎に、習熟度に応じた表示態様の変更方法を異ならせても良い。例えばピッチ得点平均値に応じて音符表示色の濃度を変更し、例えば音量得点平均値に応じて音符表示色を変更し、発音タイミング得点平均値に応じて点滅処理を行い・・・という具合である。 In another embodiment, the step S2 may be configured to obtain the average value of a plurality of types of evaluation items of individual sounds in the music as the proficiency level. In that case, step S3 is configured to change the display mode of the corresponding portion on the score according to the total proficiency level (average score) for each of one or more types of evaluation items of each sound. You can do it. In another example, the step S3 may be configured to change the display mode of the corresponding portion on the score according to the total weighted to the individual evaluation items. In another embodiment, the method of changing the display mode according to the proficiency level may be different for each of the plurality of types of evaluation items. For example, the density of the note display color is changed according to the average pitch score, the note display color is changed according to the average volume score, and the blinking process is performed according to the average sounding timing score. is there.
また、別の実施形態において、前記ステップＳ３は、五線、音部記号、拍子記号、休符、調号、臨時記号、強弱記号、速度記号、発想記号、アーティキュレーション記号、反復記号、装飾記号、各種奏法指示記号等、演奏をするために必要なさまざまな記号の表示態様を変更するように構成されてよい。それら各種演奏技法を示す記号の表示態様を変更する場合は、リファレンスデータとの比較による評価（例えば手本の通りに演奏できたか）や、音の長さ、音量等の評価に基づく得点を参照する。 Further, in another embodiment, the step S3 is a staff symbol, a clef symbol, a time signature, a rest, a key signature, an accidental symbol, a dynamic symbol, a speed symbol, an idea symbol, an articulation symbol, a repetition symbol, and a decoration. It may be configured to change the display mode of various symbols necessary for playing, such as symbols and various playing style instruction symbols. When changing the display mode of the symbols indicating these various playing techniques, refer to the evaluation by comparison with the reference data (for example, whether the performance was performed according to the model) and the score based on the evaluation of the length, volume, etc. of the sound. To do.
また、前記ステップＳ３は、例えば、歌詞情報や、コード（和音）情報の表示態様を変更するように構成されてよい。 Further, the step S3 may be configured to change, for example, the display mode of the lyrics information and the chord (chord) information.
また、別の実施形態において、前記ステップＳ２は、楽曲中の複数の音にわたる演奏に対する習熟度を推定し、前記ステップＳ３は、該複数の音にわたる演奏に対する習熟度に応じて表示態様を変更するように構成されてもよい。複数の音にわたる演奏は、例えば、複数音からなる和音の演奏、或るフレーズの演奏、例えばアルペジオなど特定パターンの演奏、あるいは、楽曲中の特定区間の演奏、或る特定のピッチから別の特定のピッチへの移行する演奏、音階毎に演奏（例えば、ドの演奏、レの演奏・・・など）、特定音域（例えばサックス等においてフラジオレット奏法により演奏される高音域や、フルートにおけるブリッジ音域など）に属する複数の音の演奏等を含む。 Further, in another embodiment, the step S2 estimates the proficiency level for the performance over a plurality of sounds in the music, and the step S3 changes the display mode according to the proficiency level for the performance over the plurality of sounds. It may be configured as follows. A performance over multiple sounds is, for example, a performance of a chord consisting of multiple sounds, a performance of a certain phrase, a performance of a specific pattern such as an arpeggio, or a performance of a specific section in a music, another specific from a specific pitch. The performance that shifts to the pitch of, the performance for each scale (for example, the performance of do, the performance of Les, etc.), the treble range played by the fradiolet playing method in a specific range (for example, sax, etc.), and the bridge range in the flute. Etc.), including the performance of multiple sounds belonging to.
また、別の実施形態において、前記ステップＳ２は、複数の楽曲の演奏に対する採点分析データ群を、蓄積部１３から取得し、該取得された採点分析データから、ピッチ毎の正確性や、音変化パターン毎の正確性に関する習熟度を推定し、前記ステップＳ３は、該習熟度に応じて対応する音符の表示態様を変更するように構成されてもよい。音変化パターンは、例えばド、ミ、ソの順に変化するアルペジオパターン等である。この場合、楽曲毎の演奏の習熟度ではなく、ユーザのピッチ毎、或いは、音変化パターン毎の演奏の習熟度に応じた表示態様の変更を行なうことができる。
Further, in another embodiment, in step S2, a scoring analysis data group for the performance of a plurality of musical pieces is acquired from the
また、別の実施形態において、前記ステップＳ２で推定する習熟度は、採点分析データ群をローパスフィルタ処理して、楽曲内の個々の音毎に或る得点（例えば低い得点）を抽出することにより推定されてもよい。また、別の例として、前記ステップＳ２で推定する習熟度は、個々の採点分析データに含まれる楽曲内の個々の音に対する得点の中央値であってもよい。 Further, in another embodiment, the proficiency level estimated in step S2 is obtained by performing a low-pass filter process on the scoring analysis data group and extracting a certain score (for example, a low score) for each individual sound in the music. It may be estimated. Further, as another example, the proficiency level estimated in step S2 may be the median score for each sound in the music included in the individual scoring analysis data.
また、別の実施形態において、前記ステップＳ１で取得する採点分析データ群は、ユーザによる当該楽曲の演奏に対する採点分析データのうち、直近の所定期間内の採点分析データ群である。直近の所定期間内の採点分析データ群は、例えば１ヶ月以内の採点分析データ群など、過去の或る期間の採点分析データ群である。直近の所定期間内の採点分析データ群の別の例は、直近数回分の採点分析データ群である。この場合、表示制御部１４（前ステップＳ３）は、前記蓄積部に蓄積された当該練習曲の当該ユーザの演奏に対する採点分析データ群のうち、直近の所定期間内の採点結果に基づいて、表示態様を変更する制御を行う。 Further, in another embodiment, the scoring analysis data group acquired in step S1 is a scoring analysis data group within the latest predetermined period among the scoring analysis data for the performance of the music by the user. The scoring analysis data group within the latest predetermined period is a scoring analysis data group for a certain period in the past, for example, a scoring analysis data group within one month. Another example of the scoring analysis data group within the latest predetermined period is the scoring analysis data group for the last few times. In this case, the display control unit 14 (previous step S3) displays based on the scoring result within the latest predetermined period of the scoring analysis data group for the performance of the user of the practice song accumulated in the storage unit. Control to change the mode.
また、別の実施形態において、演奏部１６のマイナスワン演奏の自動演奏の進行に合わせて、現在の演奏位置以後の個所に対して前記ステップＳ３の表示態様の変更を行う場合、更に、表示態様の変更を行うタイミングは、習熟度に応じて決定されてよい。例えば、当該個所の習熟度が上がるほど、現在の演奏位置から遠い時点でその表示態様が変更されてよい。これにより、例えば、当該個所の習熟度が低いときには該個所の演奏タイミングの直前でその表示態様を変更し、当該個所の習熟度が上がるほど、個所の演奏タイミングよりもかなり先行してその表示態様を変更する、つまり、当該個所の表示態様の変更されている時間を長くすることができる。
Further, in another embodiment, when the display mode of step S3 is changed to the position after the current performance position in accordance with the progress of the automatic performance of the minus one performance of the
要するに、前記ステップＳ３は、習熟度に応じて、楽譜が例えば簡略化されたり、視認性が悪くなったり、若しくは、不可視化されたりするような制御であれば、どのような方法で表示態様を変更するものでもよい。習熟度の高い音符の視認性を悪くすること、ひいては音符を消すことにより、ユーザに当該個所の暗譜を促す効果を期待できる。暗譜を促す個所は、ユーザの習熟度に応じて決定されるので、ユーザに対して効率的で効果的な練習補助（暗譜補助）を提供することができる。 In short, in step S3, if the control is such that the score is simplified, the visibility is deteriorated, or the score is invisible depending on the proficiency level, the display mode is changed by any method. It may be changed. By deteriorating the visibility of highly proficient notes and, by extension, erasing the notes, it can be expected to have the effect of encouraging the user to memorize the relevant part. Since the location for prompting the memorization is determined according to the proficiency level of the user, it is possible to provide the user with efficient and effective practice assistance (memorization assistance).
一実施形態において、前記ステップＳ３は、更に、表示態様を変更した個所に対して、該表示態様の変更が行われたことを示唆する補助表示を行うように構成されてよい。図６は、楽譜上に表示された補助表示の一例を示す。図６においては、表示態様の変更の一例として、３小節目の音符５０、５１、５２（図５（ａ）参照）が消され、且つ、クエスチョンマーク記号５６により当該個所が隠されている。この表示変更箇所に対して、吹き出し画像６０が表示される。該吹き出し画像６０内には、消された音符を示唆するヒント情報（言い換えれば、変更前の表示態様を示唆するヒント情報）として「４分音符」という文字情報が表示される。表示変更箇所の音符は不可視化されているが、補助表示の該吹き出し画像６０により当該個所の音価のみがユーザにわかるようになっている。
In one embodiment, the step S3 may be further configured to perform an auxiliary display suggesting that the display mode has been changed to the location where the display mode has been changed. FIG. 6 shows an example of the auxiliary display displayed on the score. In FIG. 6, as an example of changing the display mode, the
一例として、ＣＰＵ１０１は、前記表示態様を変更した個所の習熟度と所定の閾値の比較に基づいて、前記補助表示を行う。図７は、前記図４（ａ）に示すピッチ得点平均値と音符の表示色の濃度の対応付けテーブルに、補助表示閾値７０を加えたものを示す。図８のテーブルには、補助表示閾値７０として、或るピッチ得点平均値の数値範囲に補助表示を行う区間が設定されている。一例として、ＣＰＵ１０１は、表示態様を変更した個所の習熟度（ピッチ得点平均値）が補助表示閾値７０の範囲に含まれる場合、該表示態様を変更した個所に対して補助表示を行う。
As an example, the
一実施形態において、補助表示閾値７０は固定値でなくてもよい。例えば、補助表示閾値７０は、蓄積部１３に蓄積された採点分析データの少なくとも一部に基づいて決定される。一例として、補助表示閾値７０は、当該ユーザによる当該楽曲の演奏に対する全ての採点分析データに基づいて決定されてよい。別の例として、補助表示閾値７０は、当該ユーザによる当該楽曲の演奏に対する全ての採点分析データに基づいて決定されてよい。また、別の例において、補助表示閾値７０は、ユーザによる当該楽曲の演奏に対する採点分析データのうち、直近の所定期間内の採点分析データ群に基づいて決定されてよい。直近の所定期間内の採点分析データ群は、例えば、過去の或る期間の採点分析データ群、或いは、直近数回分の採点分析データ群である。
In one embodiment, the
補助表示として提示するヒント情報の別の例は、コード名、音符に臨時記号が付くかどうか、不可視化された複数の音符の一部を見せること、楽曲構成要素（例えば、イントロ、サビメロディ等）を特定すること、演奏技法を特定することなどを含んでよい。 Other examples of hint information presented as ancillary displays are chord names, whether notes have accidentals, showing some of the invisible notes, and musical components (eg, intros, chorus melody, etc.). ) May be specified, the playing technique may be specified, and the like.
補助表示は、図６の吹き出し画像６０に限らず、ユーザが認識できさえすればどのような形式でもよい。例えば、表示変更箇所に対応付けて、選択肢形式で補助表示となる文字情報が表示されてもよい。選択肢形式とは、例えば、図６の例で言えば、クエスチョンマーク記号５６に対応付けて、補助表示となる音価を示唆する情報として、例えば「（１）２分音符」、「（２）４分音符」、「（３）８分音符」という具合に、幾つかの選択肢を提示することを含む。表示される選択肢は、誤回答を含むものであってよい。また、補助表示の別の例としては、表示変更箇所に、不正確な演奏内容を示す情報を表示することを含む。不正確な演奏内容を示す情報を表示することは、例えば、リファレンスデータの示す音符が「ド」であるところを、「レ」の音符を楽譜上に表示することや、図６の吹き出し画像６０に、「レ？」という具合に、不正確な内容を表示することを含む。前記選択肢に含まれる誤回答や、補助表示として表示される「不正確な演奏内容」は、例えばユーザが過去に行なった演奏の間違えに基づいて決定されてよい。ユーザの過去の間違えは、採点分析データに基づいて、決定され得る。また、補助表示の別の例は、表示変更箇所の正しい演奏内容をユーザに尋ねるクイズ形式であってもよい。
The auxiliary display is not limited to the
一実施形態において、補助表示は、表示部１０に楽譜を表示する際に、楽譜上の対応箇所に表示されてよい。ＣＰＵ１０１は、表示部１０に楽譜を表示する際に、表示される楽譜内の個々の該当箇所(例えば、音符等、習熟度を求めた箇所）に、それぞれの習熟度に応じた補助表示を行う。この場合、補助表示は、表示部１０に表示された楽譜上の対応箇所に固定的に表示されることになる。また、別の実施形態において、補助表示は、演奏部１６の自動演奏の進行に合わせて行なわれてもよい。例えば、ＣＰＵ１０１は、演奏部１６の自動演奏の進行を示す時刻情報に基づいて、補助表示をすべき個所をユーザが演奏するときに、該箇所に対する補助表示を行ってよい。別の例として、ＣＰＵ１０１は、演奏部１６の自動演奏の進行を示す時刻情報に基づいて、補助表示をすべき個所をユーザが演奏する以前に、すなわち現在の演奏位置以後の箇所に対する補助表示を行ってよい。自動演奏の進行に合わせて補助表示を行うタイミングは、例えば、当該個所の習熟度に応じて決定されてよい。これにより、自動演奏（マイナスワン演奏）に合わせたユーザの演奏に応じたタイミングで又は演奏に先立って、当該演奏される箇所に対して補助表示を行うことができる。
In one embodiment, the auxiliary display may be displayed at a corresponding portion on the score when the score is displayed on the
一実施形態において、補助表示の内容が習熟度に応じて変更されてもよい。例えば、習熟度が相対的に低い個所では、より多くのヒント情報を補助表示として提供し、習熟度が上がるほど、ヒント情報を少なくすることができる。 In one embodiment, the content of the auxiliary display may be changed according to the proficiency level. For example, in a place where the proficiency level is relatively low, more hint information can be provided as an auxiliary display, and the hint information can be reduced as the proficiency level increases.
補助表示は、更に、音により伝達されてよい。例えば、ＣＰＵ１０１は、演奏部１６の自動演奏の進行を示す時刻情報に基づいて、補助表示をすべき個所をユーザが演奏する以前に、補助表示に関する音を、オーディオＩ／Ｆ１０５を介して、図示外のヘッドフォン等に出力する。補助表示に関する音は、例えば表示態様が変更された旨の警告や、表示態様が変更された音名等である。また、別の実施形態において、補助表示は、表示態様が変更された旨をユーザに、例えば発光や点滅など光により伝達するものであってもよい。
The auxiliary display may also be transmitted by sound. For example, the
習熟度に応じて表示態様を変更した個所に対して、前記の補助表示を行うことにより、ユーザに対して効果的な練習補助（例えば暗譜補助）を提供することができる。 By performing the above-mentioned auxiliary display at a place where the display mode is changed according to the proficiency level, it is possible to provide an effective practice assistance (for example, a secret score assistance) to the user.
別の実施形態において、蓄積部１３は、通信Ｉ／Ｆ１０６を介して接続されたインターネット上のデータベースサーバ装置により構成されてよい。この場合、採点部１２は、ユーザによる楽曲の演奏に対する採点分析データを、インターネット経由でデータベースサーバ装置（蓄積部１３）に蓄積する。データベースサーバ装置（蓄積部１３）は、様々な端末装置から採点分析データを集積し得る。したがって、例えば、ユーザが異なる複数の楽譜表示制御装置１００を使用する場合、何れの装置１００からの採点分析データであっても、１つのデータベースサーバ装置（蓄積部１３）内に、当該ユーザの採点分析データ（演奏の履歴）として蓄積される。
In another embodiment, the
別の実施形態において、蓄積部１３は、当該ユーザとは別の複数のユーザの採点分析データを蓄積及び管理するように構成されてよい。例えば、蓄積部１３は、通信Ｉ／Ｆ１０６を介して接続されたインターネット上のデータベースサーバ装置からなり、複数のユーザからインターネット経由で採点分析データを取得し、該取得された複数のユーザの採点分析データを蓄積及び管理する。この場合、当該ユーザの採点分析データと他の複数のユーザの採点分析データとを含めて習熟度を推定したり、他の複数のユーザの採点分析データに基づき習熟度を推定し、該習熟度に応じて、前記図３のステップＳ３の処理（表示態様変更及び補助表示）を行うようにしてもよい。
In another embodiment, the
図８は、蓄積部１３を構成するデータベースサーバ装置が、多数のユーザの採点分析データに基づいて、前記図３の処理に用いる集計データを生成及び送信する処理例を示すフローチャートである。例えば、楽譜表示制御装置１００は、ユーザによる楽曲を選択する指示（楽譜表示指示、又は、自動演奏開始指示）に応じて、インターネットを介してデータベースサーバ装置に、該選択された楽曲に関する集計データを要求する。該要求に応じて、データベースサーバ装置は、図８の処理を行う。
FIG. 8 is a flowchart showing a processing example in which the database server device constituting the
ステップＳ４において、データベースサーバ装置は、前記要求された楽曲に対応する採点分析データ群を蓄積部１３から特定する。ステップＳ５において、データベサーバ装置は、前記特定された採点分析データ群に基づいて、例えば楽曲内の個々の音の各種評価項目毎の得点の統計値（例えば平均値、中央値あるいは偏差値等）を求めることにより、演奏の習熟度を推定し、前記推定された楽曲内の個々の音の習熟度を、対応する楽譜上の時間位置(例えば音符）に対応付けて記録する。これにより、該要求された楽曲に対応する採点分析データ群の集計データが作成される。集計データは、採点分析データ群に基づく楽曲内の個々の音の習熟度を、対応する楽譜上の時間位置(例えば音符）に対応付けて記録したデータである。ステップＳ６において、データベースサーバ装置は、楽譜表示制御装置１００に集計データを送信する。楽譜表示制御装置１００は、データベースサーバ装置から取得した集計データに基づいて前記ステップＳ３の表示態様変更と補助表示を行う。
In step S4, the database server device identifies the scoring analysis data group corresponding to the requested music from the
一実施形態において、前記ステップＳ５の集計データ作成処理は、表示態様の変更を行う箇所の優先順位を決定することを含んでよい。例えば、多数のユーザにおいて習熟度の低い音符ほど優先順位を高くする。多数のユーザの採点分析データに基づいて集計データを生成するにあたり、多数のユーザにとって習熟度の低い箇所ほど優先的に表示態様の変更を行うようにすることで、より効果的な演奏補助を行うことが期待される。 In one embodiment, the aggregated data creation process of step S5 may include determining the priority of the portion where the display mode is changed. For example, in a large number of users, notes with lower proficiency are given higher priority. In generating aggregated data based on the scoring analysis data of a large number of users, more effective performance assistance is provided by preferentially changing the display mode in places where the proficiency level is lower for a large number of users. It is expected.
一例として、データベースサーバ装置は、前記特定された全ての採点分析データに基づいて集計データを生成する（Ｓ５）。この場合、楽譜表示制御装置１００のＣＰＵ１０１は、当該ユーザを含む全てのユーザにおける演奏の習得度に応じて、前記ステップＳ３の表示態様変更及び／又は補助表示を行う。別の例として、データベースサーバ装置は、前記特定された全ての採点分析データのうち、当該ユーザを含む複数ユーザからなるユーザグループの採点分析データに基づいて集計データを生成する（Ｓ５）。この場合、楽譜表示制御装置１００のＣＰＵ１０１は、当該ユーザを含む複数ユーザからなるユーザグループにおける演奏の習得度に応じて、前記ステップＳ３の表示態様変更及び／又は補助表示を行う。別の例として、データベースサーバ装置は、前記特定された全ての採点分析データのうち、当該ユーザを含まない複数ユーザからなるユーザグループの採点分析データに基づいて集計データを生成する（Ｓ５）。この場合、楽譜表示制御装置１００のＣＰＵ１０１は、当該ユーザを含まない複数ユーザからなるユーザグループにおける演奏の習得度に応じて、前記ステップＳ３の表示態様変更及び／又は補助表示を行う。これにより、他人により演奏に対する採点結果を含む習熟度に応じた表示態様変更及び／又は補助表示（Ｓ３）を行うことができる。これにより、例えば、自身以外の他のユーザにおいて習熟度の低い個所を優先的に表示変更したり、反対に他のユーザにおいて習熟度の低い個所を表示態様が変更され難くしたり、他のユーザにおいて習熟度の低い個所に補助表示を行うこと等ができる。なお、前記複数ユーザからなるユーザグループは、同じ楽団に所属するメンバー、練習講師と生徒、或いは、指定された演奏家（例えば手本となるプロフェッショナル演奏家）など、或る特定のユーザグループであってよい。
As an example, the database server device generates aggregated data based on all the identified scoring analysis data (S5). In this case, the
また、別の実施形態において、楽譜表示制御装置１００のＣＰＵ１０１は、前記ステップＳ３において参照する習熟度と表示態様の変化程度の対応付けたテーブルに対して、前記ステップＳ５でデータベースサーバ装置により作成された集計データの示す習熟度に応じたオフセット値を加味してもよい。これにより、例えば多数のユーザにおいて得点の低い個所は、当該ユーザの習熟度が低くても表示態様を変化し難くするなど、多数ユーザの演奏傾向を反映した表示態様の変更制御を行うことができる。
Further, in another embodiment, the
また、別の実施形態において、楽譜表示制御装置１００のＣＰＵ１０１は、前記ステップＳ５でデータベースサーバ装置により作成された集計データの示す習熟度に応じて、前記ステップＳ３において参照する習熟度と表示態様の変化程度の対応付けたテーブル（図７）の前記補助表示閾値７０を変更してよい。例えば、多数のユーザにおいて習熟度の低い箇所に対しては補助表示閾値７０を広くすることにより、補助表示が行われやすくなる。これにより、当該箇所にユーザが注意関心を向けやすくする。楽譜表示制御装置１００のＣＰＵ１０１は、習熟度に応じて補助表示を行う際（Ｓ３）、供給された集計データに含まれる補助表示閾値と、習熟度（得点平均値）を参照して補助表示を行う。
Further, in another embodiment, the
以上、この発明の一実施形態を説明したが、この発明は上記実施形態に限定されるものではなく、特許請求の範囲、及び明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。例えば、前述した各種の構成要素、様々な例、様々な変形例、異なる実施形態は、任意の組み合わせで組み合わされてよい。また、楽譜は、五線譜に限らず、ギターのタブ譜、鍵盤位置と時間位置に対応付けて個々の発音イベントを示す記号を配置した「ピアノロール」、ドラム譜、コード譜、歌詞表示、運指を示す運指譜等、ユーザが楽曲を演奏又は歌唱するために必要な情報を表示するものであれば、なんでもよい。歌詞表示は、例えば自動演奏に合わせて歌詞字幕がスクロール表示されるもの等である、 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and various aspects are described within the scope of claims and the technical ideas described in the specification and drawings. It can be transformed. For example, the various components, various examples, various modifications, and different embodiments described above may be combined in any combination. In addition, the score is not limited to the staff notation, but also the tablature of the guitar, "piano roll" in which symbols indicating individual pronunciation events are arranged in association with the keyboard position and time position, drum notation, chord notation, lyrics display, fingering. Anything can be used as long as it displays information necessary for the user to play or sing a song, such as a tablature indicating. The lyrics display is, for example, one in which the lyrics subtitles are scrolled and displayed according to the automatic performance.
また、この発明の楽譜表示制御装置１００は、図１の各部１０〜１６の少なくとも一部をネットワーク上の１以上のコンピュータ装置で分散して行うように構成されてもよい。また、この発明は、コンピュータに、演奏の手本となる楽譜を表示するステップと、演奏に応じた音データを入力するステップと、前記楽譜と前記入力された音データに基づいて、前記演奏を採点するステップと、前記採点の結果を蓄積するステップと、前記蓄積部に蓄積された少なくとも一部の採点の結果に基づいて、前記楽譜中の習熟度の高い個所の表示態様を、それ以外の部分とは異ならせるように変更するように制御するステップを実行させるプログラムの発明として構成及び実施されてもよい。また、この発明は、前記プログラムの各ステップを備える方法の発明として構成及び実施されてもよい。
Further, the score
１００ 楽譜表示制御装置、１０ 表示部、１１ 入力部、１２ 採点部、１３ 蓄積部、１４ 表示制御部、１５ 楽曲データ記憶部、１６ 演奏部 100 Score display control device, 10 display unit, 11 input unit, 12 scoring unit, 13 storage unit, 14 display control unit, 15 music data storage unit, 16 performance unit
Claims (12)
前記演奏に応じた音データを入力する入力部と、
前記楽譜と前記入力された音データに基づいて、前記演奏を採点する採点部と、
前記採点の結果を、同じ前記楽曲について前記ユーザが過去に行った演奏に関する履歴として、蓄積する蓄積部であって、複数のユーザについて前記履歴を蓄積するものと、
前記蓄積部に蓄積された前記採点の結果の前記履歴に基づき、前記楽曲の少なくとも一部に関する習熟度を統計学的に決定する手段と、ここで、決定される前記習熟度は、個別ユーザの習熟度及び複数ユーザからなるユーザグループの習熟度を含み、
前記個別ユーザの習熟度に応じて、前記楽曲の少なくとも一部に関する前記楽譜の表示態様を変更する制御を行う表示制御部であって、前記ユーザグループの習熟度に応じて前記楽譜の表示態様の変更の仕方を制御するものと
を備える楽譜表示制御装置。 A display unit that displays a score that serves as a model for the user to play a certain piece of music.
An input unit for inputting sound data according to the performance, and
A scoring unit for scoring the performance based on the score and the input sound data,
A storage unit that accumulates the scoring results as a history of performances performed by the user in the past for the same song, and stores the history for a plurality of users .
A means for statistically determining the proficiency level of at least a part of the music based on the history of the scoring results accumulated in the storage unit, and the proficiency level determined here is determined by an individual user. Includes proficiency and proficiency in user groups consisting of multiple users
A display control unit that controls to change the display mode of the score for at least a part of the music according to the proficiency level of the individual user, and is a display control unit of the display mode of the score according to the proficiency level of the user group. A musical score display control device that controls how to change.
前記表示制御部は、前記個々の音毎の前記個別ユーザの習熟度に応じて、前記楽譜内の各音に対応する個所の表示態様を変更する制御を行うことを特徴とする請求項１又は２に記載の楽譜表示制御装置。 The means for determining the proficiency level determines the proficiency level for each individual sound included in the musical piece.
The display control unit is characterized in that it controls to change the display mode of the portion corresponding to each sound in the score according to the proficiency level of the individual user for each individual sound. 2. The musical score display control device according to 2.
前記表示制御部は、前記少なくとも１以上の区間毎に、該区間に関する前記個別ユーザの習熟度に応じて、前記表示態様を変更する制御を行うことを特徴とする請求項１乃至３の何れかに記載の楽譜表示制御装置。 The means for determining the proficiency level determines the proficiency level for at least one or more sections over a plurality of sounds included in the music.
Any one of claims 1 to 3, wherein the display control unit controls to change the display mode for each of at least one or more sections according to the proficiency level of the individual user with respect to the section. The score display control device described in.
或る楽曲について、ユーザによる演奏の手本となる楽譜を表示するステップと、
前記演奏に応じた音データを入力するステップと、
前記楽譜と前記入力された音データに基づいて、前記演奏を採点するステップと、
前記採点の結果を、同じ前記楽曲について前記ユーザが過去に行った演奏に関する履歴として、蓄積するステップであって、複数のユーザについて前記履歴を蓄積することと、
前記蓄積された前記採点の結果の前記履歴に基づき、前記楽曲の少なくとも一部に関する習熟度を統計学的に決定するステップと、ここで、決定される前記習熟度は、個別ユーザの習熟度及び複数ユーザからなるユーザグループの習熟度を含み、
前記個別ユーザの習熟度に応じて、前記楽曲の少なくとも一部に関する前記楽譜の表示態様を変更する制御を行うステップであって、前記ユーザグループの習熟度に応じて前記楽譜の表示態様の変更の仕方を制御することと
を実行させるプログラム。 On the computer
For a song, the step of displaying a score that serves as a model for the user to play,
The step of inputting sound data according to the performance and
A step of scoring the performance based on the score and the input sound data,
A step of accumulating the scoring result as a history of performances performed by the user in the past for the same music, that is, accumulating the history for a plurality of users .
Based on the history of the accumulated scoring results, the step of statistically determining the proficiency level for at least a part of the music, and the proficiency level determined here are the proficiency level of individual users and the proficiency level. Includes proficiency in user groups consisting of multiple users
It is a step of controlling to change the display mode of the score for at least a part of the music according to the proficiency level of the individual user, and the display mode of the score is changed according to the proficiency level of the user group. A program that controls how it is done and <br /> executes it.
前記演奏に応じた音データを入力するステップと、
前記楽譜と前記入力された音データに基づいて、前記演奏を採点するステップと、
前記採点の結果を、同じ前記楽曲について前記ユーザが過去に行った演奏に関する履歴として、蓄積するステップであって、複数のユーザについて前記履歴を蓄積することと、
前記蓄積された前記採点の結果の前記履歴に基づき、前記楽曲の少なくとも一部に関する習熟度を統計学的に決定するステップと、ここで、決定される前記習熟度は、個別ユーザの習熟度及び複数ユーザからなるユーザグループの習熟度を含み、
前記個別ユーザの習熟度に応じて、前記楽曲の少なくとも一部に関する前記楽譜の表示態様を変更する制御を行うステップであって、前記ユーザグループの習熟度に応じて前記楽譜の表示態様の変更の仕方を制御することと
をコンピュータによって実行する方法。 For a song, the step of displaying a score that serves as a model for the user to play,
The step of inputting sound data according to the performance and
A step of scoring the performance based on the score and the input sound data,
It is a step of accumulating the result of the scoring as a history related to the performance performed by the user in the past for the same music, and accumulating the history for a plurality of users .
Based on the history of the accumulated scoring results, the step of statistically determining the proficiency level for at least a part of the music, and the proficiency level determined here are the proficiency level of individual users and the proficiency level. Includes proficiency in user groups consisting of multiple users
It is a step of controlling to change the display mode of the score for at least a part of the music according to the proficiency level of the individual user, and the display mode of the score is changed according to the proficiency level of the user group. How to control how and how to do <br /> with a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016060918A JP6862667B2 (en) | 2016-03-24 | 2016-03-24 | Musical score display control device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016060918A JP6862667B2 (en) | 2016-03-24 | 2016-03-24 | Musical score display control device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017173641A JP2017173641A (en) | 2017-09-28 |
| JP6862667B2 true JP6862667B2 (en) | 2021-04-21 |
Family
ID=59971132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016060918A Active JP6862667B2 (en) | 2016-03-24 | 2016-03-24 | Musical score display control device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6862667B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264983A (en) * | 2019-07-01 | 2019-09-20 | 河南职业技术学院 | A kind of piano performance intelligent music frame and application method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3777252B2 (en) * | 1998-02-25 | 2006-05-24 | 株式会社リコー | Music performance device |
| JP4200093B2 (en) * | 2003-12-26 | 2008-12-24 | 株式会社第一興商 | Lyric telop display system for karaoke equipment |
| JP4506470B2 (en) * | 2005-01-12 | 2010-07-21 | ヤマハ株式会社 | Performance practice device and program |
| JP4775135B2 (en) * | 2006-06-22 | 2011-09-21 | カシオ計算機株式会社 | Music score display control apparatus and program |
| JP4509074B2 (en) * | 2006-08-31 | 2010-07-21 | 株式会社第一興商 | Lyric telop display control system for karaoke equipment |
| JP5313645B2 (en) * | 2008-11-29 | 2013-10-09 | 株式会社第一興商 | High difficulty singing section notification karaoke system |
| US8338684B2 (en) * | 2010-04-23 | 2012-12-25 | Apple Inc. | Musical instruction and assessment systems |
| JP6097716B2 (en) * | 2014-03-31 | 2017-03-15 | 株式会社エクシング | Music playback system, server, and program |
-
2016
- 2016-03-24 JP JP2016060918A patent/JP6862667B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017173641A (en) | 2017-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4353018B2 (en) | Musical instrument performance learning apparatus and program thereof | |
| JP4075565B2 (en) | Music score display control apparatus and music score display control program | |
| JP4111004B2 (en) | Performance practice device and performance practice program | |
| US8586849B1 (en) | Media system and method of progressive instruction in the playing of a guitar based on user proficiency | |
| JP6724879B2 (en) | Reproduction control method, reproduction control device, and program | |
| JP2012532340A (en) | Music education system | |
| CN103165119A (en) | Method and system for singing through karaok television (KTV) | |
| JP2006276693A (en) | Singing evaluation display apparatus and program | |
| Acquilino et al. | Current state and future directions of technologies for music instrument pedagogy | |
| JP3509545B2 (en) | Performance information evaluation device, performance information evaluation method, and recording medium | |
| US20150331657A1 (en) | Methods and apparatus for audio output composition and generation | |
| US20020157521A1 (en) | Method and system for learning to play a musical instrument | |
| JP4497513B2 (en) | Code practice device | |
| JP5346114B1 (en) | Educational device and method for music expression and music performance evaluation device | |
| JP6862667B2 (en) | Musical score display control device and program | |
| Menzies et al. | A digital bagpipe chanter system to assist in one-to-one piping tuition | |
| JP4140887B2 (en) | Performance judgment device | |
| JP2013024967A (en) | Display device, method for controlling the device, and program | |
| JP4219652B2 (en) | A singing practice support system for a karaoke device that controls the main melody volume at the relevant location based on the pitch error measured immediately before repeat performance | |
| JP2007163575A (en) | Electronic musical instrument and play level display method | |
| JP4618704B2 (en) | Code practice device | |
| JP4162556B2 (en) | Information search and display device for codes | |
| JP2017173640A (en) | Musical performance analyzer and program | |
| JP4743615B2 (en) | Electronic musical instrument with practice function | |
| JP2018049125A (en) | Music performance learning device, music performance learning program, and music performance learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210315 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6862667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |