JP2015191183A - Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program - Google Patents
Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program Download PDFInfo
- Publication number
- JP2015191183A JP2015191183A JP2014069907A JP2014069907A JP2015191183A JP 2015191183 A JP2015191183 A JP 2015191183A JP 2014069907 A JP2014069907 A JP 2014069907A JP 2014069907 A JP2014069907 A JP 2014069907A JP 2015191183 A JP2015191183 A JP 2015191183A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- data
- accompaniment
- performance data
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
Description
本発明は、例えば演奏者による演奏を評価する演奏評価システム、該演奏評価システムを構成するサーバ装置及び端末装置、演奏評価方法、並びにコンピュータプログラムの技術分野に関する。 The present invention relates to a technical field of performance evaluation systems that evaluate performances performed by performers, server devices and terminal devices that constitute the performance evaluation systems, performance evaluation methods, and computer programs, for example.
この種のシステムとして、例えば、ユーザの音声信号と歌唱基準値とを比較して歌唱レベルを随時設定し、該設定された歌唱レベルに基づいて、画面上に表示される観客キャラクタの人数や動作を示すデータを作成し、該作成されたデータを表示するシステムが提案されている（特許文献１参照）。 As this type of system, for example, the user's voice signal and the singing reference value are compared, the singing level is set as needed, and the number of spectator characters and actions displayed on the screen based on the set singing level. Has been proposed (see Patent Document 1).
或いは、課題曲を構成する各音を表す曲データと、ユーザの演奏に応じて発生する演奏データとを比較して複数の評価結果を取得し、該取得された複数の評価結果各々に対応するキャラクタ画像を、表示画面上で割り当てられた表示範囲において、各キャラクタ画像に対応する評価結果の種類に応じた表示態様で表示する装置が提案されている（特許文献２参照）。 Alternatively, a plurality of evaluation results are obtained by comparing song data representing each sound constituting the task song and performance data generated in accordance with the user's performance, and each of the obtained plurality of evaluation results corresponds. There has been proposed an apparatus for displaying a character image in a display mode corresponding to the type of evaluation result corresponding to each character image in a display range assigned on the display screen (see Patent Document 2).
或いは、ユーザの予備的又は試験的な演奏による演奏データを評価して、演奏者の演奏傾向を抽出し、該抽出された演奏傾向から演奏者の気分や感情等の心理的な状態を検出し、該検出された心理的な状態に応じた音色パラメータをセットする装置が提案されている（特許文献３参照）。 Alternatively, the performance data of the user's preliminary or trial performance is evaluated, the performance tendency of the performer is extracted, and the psychological state such as the performer's mood and emotion is detected from the extracted performance tendency. An apparatus for setting a timbre parameter corresponding to the detected psychological state has been proposed (see Patent Document 3).
ところで、アドリブ演奏についての客観的評価を提示する機能に対するニーズがある。他方で、アドリブ演奏は、ユーザが自由に行うものであるので、例えば点数表示等の演奏の良し悪しを示すような評価は、ユーザの楽しみを損ねてしまう可能性が高い。 There is a need for a function that presents an objective evaluation of ad-lib performance. On the other hand, since the ad lib performance is freely performed by the user, an evaluation that indicates whether the performance is good or bad, such as a score display, is likely to impair the enjoyment of the user.
上述した特許文献１及び２に記載されている技術では、実際の演奏と評価基準（つまり、お手本）とを比較することにより、実際の演奏についての評価が求められている。このため、特許文献１及び２に記載されている技術では、お手本のないアドリブ演奏については評価をすることができないという技術的問題点がある。 In the techniques described in Patent Documents 1 and 2 described above, evaluation of an actual performance is required by comparing the actual performance with an evaluation standard (that is, a model). For this reason, the techniques described in Patent Documents 1 and 2 have a technical problem that ad lib performance without a model cannot be evaluated.
上述した特許文献３に記載されている技術は、ユーザが本格的に演奏を行う前の楽器調整を補助する技術であり、ユーザによる演奏の評価という観点からは十分ではないという技術的問題点がある。 The technique described in Patent Document 3 described above is a technique for assisting the adjustment of musical instruments before the user performs a full-scale performance, and has a technical problem that it is not sufficient from the viewpoint of performance evaluation by the user. is there.
本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラムを提供することを課題とする。 The present invention has been made in view of the above-mentioned problems, for example, a performance evaluation system, a server device, a terminal device, a performance evaluation method, and a performance evaluation method that can objectively evaluate an ad lib performance without impairing the enjoyment of a user. It is an object to provide a computer program.
本発明の第１の演奏評価システムは、上記課題を解決するために、伴奏データ、及び前記伴奏データに関連する第１演奏データを出力する第１出力手段と、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力手段と、を備える。 In order to solve the above-described problems, the first performance evaluation system of the present invention includes first output means for outputting accompaniment data and first performance data related to the accompaniment data, and the output first performance data. Acquisition means for acquiring second performance data corresponding to the user's performance performed in response to the user, analysis means for analyzing the relationship between the accompaniment data and the acquired second performance data, and Second output means for outputting information relating to the property of the acquired second performance data in accordance with the analyzed relationship.
本発明の第２の演奏評価システムは、上記課題を解決するために、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムであって、前記端末装置は、前記ネットワークを介して前記サーバ装置から、伴奏データ、及び前記伴奏データに関連する第１演奏データを取得して出力する第１出力手段を有し、前記サーバ装置は、前記ネットワークを介して前記端末装置から、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を、前記ネットワークを介して前記端末装置に出力する第２出力手段と、を有する。 In order to solve the above problems, a second performance evaluation system of the present invention is a performance evaluation system including a terminal device and a server device that can communicate with each other via a network, and the terminal device includes the network. Via the server device, the server device has a first output means for acquiring and outputting the accompaniment data and the first performance data related to the accompaniment data, the server device from the terminal device via the network, Relationship between acquisition means for acquiring second performance data corresponding to a user performance performed in response to the output first performance data, and the accompaniment data and the acquired second performance data And analyzing means for analyzing the characteristics of the acquired second performance data according to the analyzed relationship to the terminal device via the network. A second output means for, the.
本発明のサーバ装置は、上記課題を解決するために、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムのサーバ装置であって、伴奏データ、及び前記伴奏データに関連する第１演奏データを、前記ネットワークを介して前記端末装置に、出力する第１出力手段と、前記ネットワークを介して前記端末装置から、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を、前記ネットワークを介して前記端末装置に、出力する第２出力手段と、を備える。 In order to solve the above problems, a server device of the present invention is a server device of a performance evaluation system including a terminal device and a server device that can communicate with each other via a network, and is related to accompaniment data and the accompaniment data. First performance data to be output to the terminal device via the network, and in response to the output first performance data from the terminal device via the network. In accordance with the analyzed relationship, an acquisition unit that acquires second performance data corresponding to the user's performance, an analysis unit that analyzes the relationship between the accompaniment data and the acquired second performance data And a second output means for outputting information relating to the property of the acquired second performance data to the terminal device via the network.
本発明の端末装置は、上記課題を解決するために、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムの端末装置であって、前記ネットワークを介して前記サーバ装置から、伴奏データ、及び前記伴奏データに関連する第１演奏データを取得して出力する第１出力手段と、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力手段と、を備える。 In order to solve the above problems, a terminal device of the present invention is a terminal device of a performance evaluation system comprising a terminal device and a server device that can communicate with each other via a network, from the server device via the network. A first output means for acquiring and outputting accompaniment data and first performance data related to the accompaniment data; and a second corresponding to a user performance performed in response to the output first performance data. An acquisition means for acquiring performance data, an analysis means for analyzing the relationship between the accompaniment data and the acquired second performance data, and the acquired second according to the analyzed relationship Second output means for outputting information relating to the properties of the performance data.
本発明の演奏評価方法は、上記課題を解決するために、伴奏データ、及び前記伴奏データに関連する第１演奏データを出力する第１出力工程と、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得工程と、前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析工程と、前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力工程と、を備える。 In order to solve the above-described problem, the performance evaluation method of the present invention responds to the first output step of outputting accompaniment data and first performance data related to the accompaniment data, and the output first performance data. An acquisition step of acquiring second performance data corresponding to the performance of the user performed in the step, an analysis step of analyzing a relationship between the accompaniment data and the acquired second performance data, and the analysis And a second output step of outputting information relating to the property of the acquired second performance data in accordance with the relationship.
本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、伴奏データ、及び前記伴奏データに関連する第１演奏データを出力する第１出力手段と、前記再生された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力手段と、として機能させる。 In order to solve the above problems, a computer program according to the present invention provides a computer with first output means for outputting accompaniment data and first performance data related to the accompaniment data, and the reproduced first performance data. An acquisition means for acquiring second performance data corresponding to a user performance performed in response; an analysis means for analyzing a relationship between the accompaniment data and the acquired second performance data; and the analysis In accordance with the relationship that has been made, it functions as second output means for outputting information relating to the nature of the acquired second performance data.
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。 The effect | action and other gain of this invention are clarified from the form for implementing demonstrated below.
本発明の演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム各々に係る実施形態を説明する。 Embodiments according to the performance evaluation system, server device, terminal device, performance evaluation method, and computer program of the present invention will be described.
（第１の演奏評価システム）
実施形態に係る第１の演奏評価システムは、伴奏データ、及び該伴奏データに関連する第１演奏データを出力する第１出力手段と、出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、伴奏データと取得された第２演奏データとの間の関係性を解析する解析手段と、解析された関係性に応じて、取得された第２演奏データの性質に係る情報を出力する第２出力手段と、を備える。
(First performance evaluation system)
The first performance evaluation system according to the embodiment includes a first output means for outputting accompaniment data and first performance data related to the accompaniment data, and a user performed in response to the output first performance data. Acquisition means for acquiring second performance data corresponding to the performance, analysis means for analyzing the relationship between the accompaniment data and the acquired second performance data, and acquired according to the analyzed relationship And a second output means for outputting information relating to the nature of the second performance data.
第１演奏データは、伴奏データに対応する伴奏により規定される、例えばリズム等と調和するように行われた演奏に対応する演奏データである。この第１演奏データは、当該演奏評価システムの運営者により予め用意されてもよいし、他のユーザ行った演奏に対応する演奏データ（つまり、他のユーザがアップロードした演奏データ）であってもよい。 The first performance data is performance data corresponding to a performance that is defined by an accompaniment corresponding to the accompaniment data, for example, in harmony with a rhythm. The first performance data may be prepared in advance by the operator of the performance evaluation system, or may be performance data corresponding to a performance performed by another user (that is, performance data uploaded by another user). Good.
第１出力手段は、伴奏データ及び第１演奏データを出力する（即ち、伴奏データ及び第１演奏データを再生する、又は伴奏データ及び第１演奏データを、例えば音源装置に対して出力する）。 The first output means outputs the accompaniment data and the first performance data (that is, reproduces the accompaniment data and the first performance data, or outputs the accompaniment data and the first performance data to, for example, a sound source device).
第１演奏データは、典型的には、時間軸上で離散的に再生される。第１演奏データが再生されてから、次に第１演奏データが再生されるまでの間に、第１演奏データに呼応したユーザの演奏が行われる。つまり、当該演奏評価システムでは、再生された第１演奏データを「コール（呼びかけ演奏）」、第１演奏データに呼応したユーザの演奏を「レスポンス（応答演奏）」、とする擬似的なコール・アンド・レスポンスが実現される。 The first performance data is typically reproduced discretely on the time axis. A user's performance corresponding to the first performance data is performed after the first performance data is reproduced and before the first performance data is reproduced next. That is, in the performance evaluation system, the first performance data reproduced is “call (calling performance)”, and the user performance corresponding to the first performance data is “response (response performance)”. And response is realized.
取得手段は、第１演奏に呼応して行われたユーザの演奏を音声信号として取り込むと共に、該音声信号を所定形式の第２演奏データに変換する。尚、音声信号を所定形式のデータに変換する方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。 The acquisition means captures a user performance performed in response to the first performance as an audio signal, and converts the audio signal into second performance data in a predetermined format. It should be noted that various known aspects can be applied to the method of converting the audio signal into data of a predetermined format, and therefore the detailed description thereof is omitted.
例えばメモリ・プロセッサ等を備えてなる解析手段は、伴奏データと第２演奏データとの間の関係性を解析する。この解析は、演奏の物理的な解析と音楽理論的な解析とを含むことが望ましい。演奏の物理的な解析の項目としては、例えばメロディ、テンポ、リズム、音量、アクセント位置等が挙げられる。演奏の音楽理論的な解析の項目としては、例えばコードの進行パターン、スケール（音階）等が挙げられる。 For example, an analysis unit including a memory processor analyzes the relationship between accompaniment data and second performance data. This analysis preferably includes a physical analysis of performance and a music theoretical analysis. Examples of physical analysis items for performance include melody, tempo, rhythm, volume, accent position, and the like. Examples of music theoretical analysis items for performance include chord progression patterns, scales (scales), and the like.
伴奏データと第２演奏データとの間の関係性としては、例えば、伴奏データに係る主音と第２演奏データに係るメロディの構成音との関係性、伴奏データに係るスケールと第２演奏データに係るメロディの構成音との関係性、第２演奏データに係るリズムの伴奏データに係るリズムからのずれ量、伴奏データに係る音量と第２演奏データに係る音量との関係性、等が挙げられる。 As the relationship between the accompaniment data and the second performance data, for example, the relationship between the main sound related to the accompaniment data and the constituent sounds of the melody related to the second performance data, the scale related to the accompaniment data, and the second performance data The relationship with the constituent sound of the melody, the amount of deviation from the rhythm related to the accompaniment data of the rhythm related to the second performance data, the relationship between the volume related to the accompaniment data and the volume related to the second performance data, etc. .
例えばメモリ、プロセッサ等を備えてなる第２出力手段は、解析された関係性に応じて、第２演奏データの性質に係る情報を出力する。 For example, the second output means including a memory, a processor, etc. outputs information relating to the property of the second performance data in accordance with the analyzed relationship.
ここで、ユーザが行う演奏には、演奏時におけるユーザの心情や感性が反映されると考えられる。例えば、基準となる伴奏データに係る発音タイミング（又は、演奏タイミング若しくはアタック位置）よりも、第２演奏データに係る発音タイミング（又は、演奏タイミング若しくはアタック位置）が早ければ、第２演奏データは、ユーザの「急ぐ心」や「焦り」（或いは、“急ぐ心”や“焦り”を表現しようとする意図）を反映させたものと解釈することができる。或いは、第２演奏データに係るメロディの構成音が、伴奏データに係るスケールに属していれば、第２演奏データは、ユーザの「協調性」や「落ち着き（伴奏データに係るスケールがユーザの感性に合っていること）」を反映させたものと解釈することができる。 Here, it is considered that the performance performed by the user reflects the emotion and sensitivity of the user during the performance. For example, if the sound generation timing (or performance timing or attack position) related to the second performance data is earlier than the sound generation timing (or performance timing or attack position) related to the accompaniment data serving as the reference, the second performance data is This can be interpreted as reflecting the user's “rushing heart” or “impression” (or an intention to express “rushing heart” or “impression”). Alternatively, if the constituent sound of the melody related to the second performance data belongs to the scale related to the accompaniment data, the second performance data is the user's “cooperativity” or “calm (the scale related to the accompaniment data is the user's sensitivity). Can be interpreted as reflecting "
従って、上述の如く、第２出力手段により、解析された関係性に応じて、第２演奏データの性質に係る情報が出力されれば、第２演奏データがユーザの意図したものであったか否かを、ユーザが比較適用に判断することができる。尚、「第２演奏データの性質に係る情報」は、性質そのものを示す文字情報に限らず、性質に関連する、例えば風景画像や人物の表情を示す画像、画面効果、効果音等に係る情報であってよい。 Therefore, as described above, if the information relating to the property of the second performance data is output by the second output means in accordance with the analyzed relationship, whether or not the second performance data was intended by the user. Can be determined by the user for comparison application. The “information related to the property of the second performance data” is not limited to the character information indicating the property itself, but is related to the property, for example, an image indicating a landscape image or a human facial expression, a screen effect, a sound effect, etc. It may be.
以上の結果、実施形態に係る演奏評価システムによれば、ユーザの楽しみを損ねることなく、ユーザの演奏に対する客観的な評価を出力することができる。当該演奏評価システムに係る評価は、特に、ユーザの自由な感性によるアドリブ演奏に対する評価として好適である。 As a result of the above, according to the performance evaluation system according to the embodiment, it is possible to output an objective evaluation of the user's performance without impairing the user's enjoyment. The evaluation according to the performance evaluation system is particularly suitable as an evaluation for an ad lib performance based on a user's free sensibility.
実施形態に係る演奏評価システムの一態様では、解析手段は、伴奏データ及び取得された第２演奏データ各々に係る音程、発音タイミング及び音圧に少なくとも基づいて、伴奏データと第２演奏データとの間の関係性を解析する。 In one aspect of the performance evaluation system according to the embodiment, the analyzing means includes the accompaniment data and the second performance data based on at least the pitch, pronunciation timing, and sound pressure associated with each of the accompaniment data and the acquired second performance data. Analyze the relationship between them.
この態様によれば、ユーザの心情や感性が反映された第２演奏データの性質を求めるために好適な、伴奏データと第２演奏データとの間の関係性を求めることができる。 According to this aspect, it is possible to obtain the relationship between the accompaniment data and the second performance data, which is suitable for obtaining the properties of the second performance data reflecting the user's feelings and sensibilities.
具体的には例えば、第２演奏データに係る音圧（音量）が、伴奏データに係る音圧よりも高い場合には、第２演奏データの性質として「元気」等を当てはめることができる。他方、第２演奏データに係る音圧が、伴奏データに係る音圧よりも低い場合には、第２演奏データの性質として「消沈」、「疲労」等を当てはめることができる。 Specifically, for example, when the sound pressure (volume) related to the second performance data is higher than the sound pressure related to the accompaniment data, “genki” or the like can be applied as the property of the second performance data. On the other hand, when the sound pressure related to the second performance data is lower than the sound pressure related to the accompaniment data, “sinking”, “fatigue”, etc. can be applied as the properties of the second performance data.
実施形態に係る演奏評価システムの他の態様では、第２出力手段は、取得された第２演奏データの性質に係る情報として、一又は複数の感情的性質に係る情報を出力する。 In another aspect of the performance evaluation system according to the embodiment, the second output means outputs information related to one or more emotional characteristics as information related to the characteristics of the acquired second performance data.
この態様によれば、ユーザの自由な感性によるアドリブ演奏に対する評価として好適な情報を出力することができ、実用上非常に有利である。 According to this aspect, it is possible to output information suitable as an evaluation for ad-lib performance based on the user's free sensibility, which is very advantageous in practice.
実施形態に係る演奏評価システムの他の態様では、出力された性質に係る情報に応じた文字若しくは画像を表示する表示手段、前記伴奏データを前記出力された性質に係る情報に応じた伴奏データに変更する変更手段、及び、前記出力された性質に係る情報に応じて振動する振動手段のうち少なくとも一つを更に備える。 In another aspect of the performance evaluation system according to the embodiment, the display means for displaying characters or images according to the information related to the output property, the accompaniment data into the accompaniment data according to the information related to the output property It further comprises at least one of changing means for changing and vibration means for vibrating according to the information relating to the output property.
この態様によれば、第２演奏データに対する評価としての、第２演奏データの性質に係る情報を、比較的容易にして、ユーザに提示することができ、実用上非常に有利である。 According to this aspect, the information related to the property of the second performance data as the evaluation for the second performance data can be presented to the user relatively easily, which is very advantageous in practice.
（第２の演奏評価システム）
実施形態に係る第２の演奏評価システムは、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える。
(Second performance evaluation system)
The second performance evaluation system according to the embodiment includes a terminal device and a server device that can communicate with each other via a network.
端末装置は、ネットワークを介してサーバ装置から、伴奏データ、及び該伴奏データに関連する第１演奏データを取得して出力する第１出力手段を有する。 The terminal device has first output means for acquiring and outputting accompaniment data and first performance data related to the accompaniment data from the server device via the network.
サーバ装置は、ネットワークを介して端末装置から、出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、伴奏データと取得された第２演奏データとの間の関係性を解析する解析手段と、解析された関係性に応じて、取得された第２演奏データの性質に係る情報を、ネットワークを介して端末装置に出力する第２出力手段と、を有する。 The server device obtains the second performance data corresponding to the user performance performed in response to the output first performance data from the terminal device via the network, and the accompaniment data and the acquired first performance data. Analyzing means for analyzing the relationship between the two performance data, and second information for outputting information relating to the property of the acquired second performance data to the terminal device via the network according to the analyzed relationship Output means.
実施形態に係る第２の演奏評価システムによれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係る第２の演奏評価システムにおいても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。 According to the second performance evaluation system according to the embodiment, the ad lib performance can be objectively evaluated without impairing the enjoyment of the user, similarly to the first performance evaluation system according to the embodiment described above. In addition, also in the 2nd performance evaluation system which concerns on embodiment, the various aspects similar to the various aspects of the 1st performance evaluation system mentioned above can be taken.
（サーバ装置）
実施形態に係るサーバ装置は、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムのサーバ装置である。当該サーバ装置は、伴奏データ、及び該伴奏データに関連する第１演奏データを、ネットワークを介し端末装置に、出力する第１出力手段と、ネットワークを介して端末装置から、出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、伴奏データと取得された第２演奏データとの間の関係性を解析する解析手段と、解析された関係性に応じて、取得された第２演奏データの性質に係る情報を、ネットワークを介して端末装置に、出力する第２出力手段と、を備える。
(Server device)
The server device according to the embodiment is a server device of a performance evaluation system including a terminal device and a server device that can communicate with each other via a network. The server device includes first output means for outputting accompaniment data and first performance data related to the accompaniment data to the terminal device via the network, and the first performance output from the terminal device via the network. An obtaining means for obtaining second performance data corresponding to the user's performance performed in response to the data, and an analysis means for analyzing the relationship between the accompaniment data and the obtained second performance data. Second output means for outputting information related to the property of the acquired second performance data to the terminal device via the network according to the relationship.
実施形態に係るサーバ装置によれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係るサーバ装置においても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。 According to the server device according to the embodiment, the ad lib performance can be objectively evaluated without impairing the enjoyment of the user as in the first performance evaluation system according to the embodiment described above. In the server device according to the embodiment, various aspects similar to the various aspects of the first performance evaluation system described above can be employed.
（端末装置）
実施形態に係る端末装置は、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムの端末装置である。当該端末装置は、ネットワークを介してサーバ装置から、伴奏データ、及び該伴奏データに関連する第１演奏データを取得して出力する第１出力手段と、出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、伴奏データと取得された第２演奏データとの間の関係性を解析する解析手段と、解析された関係性に応じて、取得された第２演奏データの性質に係る情報を出力する第２出力手段と、を備える。
(Terminal device)
The terminal device which concerns on embodiment is a terminal device of a performance evaluation system provided with the terminal device and server apparatus which can communicate mutually via a network. The terminal device acquires first accompaniment data and first performance data related to the accompaniment data from the server device via the network, and outputs the first performance data in response to the output first performance data. According to the analyzed relationship, the acquiring means for acquiring the second performance data corresponding to the performed performance of the user, the analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data And a second output means for outputting information relating to the property of the acquired second performance data.
実施形態に係る端末装置によれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係る端末装置においても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。 According to the terminal device according to the embodiment, the ad lib performance can be objectively evaluated without impairing the enjoyment of the user, similarly to the first performance evaluation system according to the embodiment described above. Note that the terminal device according to the embodiment can also adopt various aspects similar to the various aspects of the first performance evaluation system described above.
（演奏評価方法）
実施形態に係る演奏評価装置は、伴奏データ、及び該伴奏データに関連する第１演奏データを出力する第１出力工程と、出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得工程と、伴奏データと取得された第２演奏データとの間の関係性を解析する解析工程と、解析された関係性に応じて、取得された第２演奏データの性質に係る情報を出力する第２出力工程と、を備える。
(Performance evaluation method)
The performance evaluation apparatus according to the embodiment outputs a first performance step of outputting accompaniment data and first performance data related to the accompaniment data, and a user performance performed in response to the output first performance data. An acquisition step for acquiring the corresponding second performance data, an analysis step for analyzing the relationship between the accompaniment data and the acquired second performance data, and the second acquired according to the analyzed relationship A second output step for outputting information relating to the properties of the performance data.
実施形態に係る演奏評価方法によれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係る演奏評価方法においても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。 According to the performance evaluation method according to the embodiment, the ad lib performance can be objectively evaluated without impairing the enjoyment of the user, similarly to the first performance evaluation system according to the above-described embodiment. In the performance evaluation method according to the embodiment, various aspects similar to the various aspects of the first performance evaluation system described above can be employed.
（コンピュータプログラム）
実施形態に係るコンピュータプログラムは、コンピュータを、伴奏データ、及び該伴奏データに関連する第１演奏データを出力する第１出力手段と、出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、伴奏データと取得された第２演奏データとの間の関係性を解析する解析手段と、解析された関係性に応じて、取得された第２演奏データの性質に係る情報を出力する第２出力手段と、として機能させる。
(Computer program)
The computer program according to the embodiment includes a first output means for outputting accompaniment data and first performance data related to the accompaniment data, and a user program performed in response to the output first performance data. Acquired in accordance with the analyzed relationship, the acquiring means for acquiring the second performance data corresponding to the performance, the analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data It is made to function as the 2nd output means which outputs the information which concerns on the property of 2nd performance data.
実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、第１の演奏評価システムに備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る第１の演奏評価システムを比較的容易にして実現できる。これにより、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。 According to the computer program according to the embodiment, from a recording medium such as a RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (DVD Read Only Memory) or the like that stores the computer program. If the computer program is read and executed by a computer provided in the first performance evaluation system, or if the computer program is executed after being downloaded through the communication means, the above-described embodiment is concerned. The first performance evaluation system can be realized relatively easily. Thereby, similarly to the 1st performance evaluation system which concerns on embodiment mentioned above, an ad lib performance can be objectively evaluated, without impairing a user's pleasure.
本発明の演奏評価システムに係る実施例を、図面に基づいて説明する。 An embodiment according to the performance evaluation system of the present invention will be described with reference to the drawings.
（システムの構成）
実施例に係る演奏評価システムの構成について、図１を参照して説明する。図１は、実施例に係る演奏評価システムの構成を示すブロック図である。
(System configuration)
The configuration of the performance evaluation system according to the embodiment will be described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration of a performance evaluation system according to an embodiment.
図１において、演奏評価システム１は、サーバ１０及び端末２０が、共にネットワーク３０に収容されてなるシステムである。ネットワーク３０は、例えばインターネット等の広域ネットワーク、及び、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の狭域ネットワークから構成されている。 In FIG. 1, a performance evaluation system 1 is a system in which a server 10 and a terminal 20 are both accommodated in a network 30. The network 30 includes a wide area network such as the Internet and a narrow area network such as a LAN (Local Area Network).
サーバ１０は、レスポンス受信部１１、レスポンス解析部１２、伴奏送出部１３、伴奏解析情報記憶部１４、コール送出部１５、コール解析情報記憶部１６、感情特徴量解析部１７、感情特徴量送出部１８及び記憶装置１９を備えて構成されている。 The server 10 includes a response reception unit 11, a response analysis unit 12, an accompaniment transmission unit 13, an accompaniment analysis information storage unit 14, a call transmission unit 15, a call analysis information storage unit 16, an emotion feature amount analysis unit 17, and an emotion feature amount transmission unit. 18 and a storage device 19.
端末２０は、レスポンス演奏入力部２１、レスポンス送出部２２、伴奏受信部２３、コール受信部２４、音楽再生部２５、感情特徴量受信部２６及び感情特徴量表示部２７を備えて構成されている。 The terminal 20 includes a response performance input unit 21, a response transmission unit 22, an accompaniment reception unit 23, a call reception unit 24, a music playback unit 25, an emotion feature amount reception unit 26, and an emotion feature amount display unit 27. .
レスポンス受信部１１、伴奏送出部１３、コール送出部１５、感情特徴量送出部１５、レスポンス送出部２２、伴奏受信部２３、コール受信部２４及び感情特徴量受信部２６は、サーバ１０及び端末２０間におけるデータ通信を実現するための所定の通信規格に準じたインターフェイスである。 The response receiving unit 11, the accompaniment sending unit 13, the call sending unit 15, the emotion feature sending unit 15, the response sending unit 22, the accompaniment receiving unit 23, the call receiving unit 24, and the emotion feature receiving unit 26 are the server 10 and the terminal 20 It is an interface conforming to a predetermined communication standard for realizing data communication between them.
尚、レスポンス受信部１１、伴奏送出部１３、コール送出部１５及び感情特徴量送出部１５が、一つの通信インターフェイスとして構成されてよい。同様に、レスポンス送出部２２、伴奏受信部２３、コール受信部２４及び感情特徴量受信部２６が、一つの通信インターフェイスとして構成されてよい。 The response receiving unit 11, the accompaniment sending unit 13, the call sending unit 15, and the emotion feature amount sending unit 15 may be configured as one communication interface. Similarly, the response sending unit 22, the accompaniment receiving unit 23, the call receiving unit 24, and the emotion feature amount receiving unit 26 may be configured as one communication interface.
当該演奏評価システム１は、コール・アンド・レスポンス（以降、適宜“Ｃ／Ｒ”と称する）と称される一種の即興的演奏コミュニケーションにおける、主に、レスポンス（応答演奏）についての客観的な評価を提供する。 The performance evaluation system 1 is mainly an objective evaluation of response (response performance) in a kind of improvisational performance communication called call and response (hereinafter referred to as “C / R” where appropriate). I will provide a.
Ｃ／Ｒは、即興的演奏コミュニケーションであるので、厳密な決まり事はないが、一般的には、例えば、コールと全く同じ演奏をレスポンスとして返す、コールのリズムをまねる、コールとスケール（音階）を合わせる、或いは、コールの音程と音楽的なしり取りを行う、等、コールとレスポンスとの間には音楽的な繋がり（又は関連性）が必要とされる。 C / R is improvised performance communication, so there are no strict rules. Generally, for example, C / R returns the exact same performance as a call, mimics the rhythm of a call, call and scale (scale) There is a need for a musical connection (or relevance) between the call and the response, such as matching the pitch of the call and performing musical scoring.
人間同士で行われる実際のＣ／Ｒは、一方の演奏者のコール（呼びかけ演奏）に対して、他方の演奏者がレスポンスを返すことにより成立する。他方で、当該演奏評価システム１では、端末２０によりコールに相当する楽曲データが再生され、該再生された楽曲データに呼応してユーザが楽器を演奏することにより、擬似的なＣ／Ｒが実現される。 The actual C / R performed between humans is established when the other player returns a response to the call (calling performance) of one performer. On the other hand, in the performance evaluation system 1, music data corresponding to a call is played by the terminal 20, and a user plays a musical instrument in response to the played music data, thereby realizing pseudo C / R. Is done.
サーバ１０の記憶装置１９は、例えばハードディスク等の比較的大容量の記憶媒体である。記憶装置１９には、擬似的なＣ／Ｒを実現するための、伴奏及びコールに夫々相当する複数の楽曲データが格納されている。 The storage device 19 of the server 10 is a relatively large-capacity storage medium such as a hard disk. The storage device 19 stores a plurality of pieces of music data corresponding to accompaniment and calls for realizing pseudo C / R.
伴奏に相当する楽曲データ（以降、適宜“伴奏データ”と称する）は、演奏全体のリズムを規定するためのデータである。この伴奏データは、例えば臨場感のあるＣ／Ｒを実現するために、或いは、端末２０のユーザがレスポンスのタイミングをつかみやすいように、典型的には、当該演奏評価システム１の運営者により用意される。 The music data corresponding to the accompaniment (hereinafter referred to as “accompaniment data” as appropriate) is data for defining the rhythm of the entire performance. This accompaniment data is typically prepared by the operator of the performance evaluation system 1 so as to realize a realistic C / R, or so that the user of the terminal 20 can easily grasp the timing of response. Is done.
コールに相当する楽曲データ（以降、適宜“コールデータ”と称する）は、特定の伴奏データに対応付けられている。コールデータは、Ｃ／Ｒにおけるコールとして利用可能な比較的短い期間の演奏に対応するデータである。このコールデータは、当該演奏評価システム１の運営者により用意されてもよいし、特定の伴奏データが再生されている際に行われたユーザ（典型的には、端末２０のユーザとは異なるユーザ）の演奏が音声信号として取り込まれたデータであってもよい。 Music data corresponding to a call (hereinafter referred to as “call data” as appropriate) is associated with specific accompaniment data. The call data is data corresponding to a performance of a relatively short period that can be used as a call in C / R. The call data may be prepared by the operator of the performance evaluation system 1 or may be a user (typically, a user different from the user of the terminal 20) who is playing the specific accompaniment data. ) May be data acquired as an audio signal.
端末２０のユーザにより、例えばマウスやキーボード、或いはタッチパネル等の入力手段（図示せず）を介して、例えばビート、テンポ、リズム等の条件が指定されると、サーバ１０の伴奏送出部１３は指定された条件に該当する伴奏データを、コール送出部１５は、該伴奏データに対応するコールデータを、夫々、記憶装置１９から読出し、端末２０に対して送信する。 When conditions such as beat, tempo, rhythm, etc. are specified by the user of the terminal 20 via input means (not shown) such as a mouse, a keyboard, or a touch panel, for example, the accompaniment sending unit 13 of the server 10 specifies The call sending unit 15 reads out the accompaniment data corresponding to the determined condition from the storage device 19 and transmits the call data corresponding to the accompaniment data to the terminal 20.
尚、伴奏データ及びコールデータの選択方法は、本発明の本質的な特徴から外れるので、その詳細についての説明は割愛するが、該選択方法には、本願発明者の他の出願である特願２０１３−１８７１２５及び特願２０１３−１８７１３８に記載の技術を適用可能である。 Note that the accompaniment data and call data selection methods deviate from the essential features of the present invention, and therefore the detailed description thereof will be omitted. The techniques described in 2013-187125 and Japanese Patent Application No. 2013-187138 can be applied.
端末２０の伴奏受信部２３及びコール受信部２４により夫々受信された伴奏データ及びコールデータは、音楽再生部２５により再生される。より具体的には、音楽再生部２５は、伴奏データ及びコールデータが受信バッファ（図示せず）に所定量蓄積された段階で、順次蓄積された伴奏データ及びコールデータをストリーミング再生する。再生された演奏は、端末２０に内蔵された又は外付けされたスピーカ（図示せず）から音声として出力される。 Accompaniment data and call data received by the accompaniment receiving unit 23 and the call receiving unit 24 of the terminal 20 are reproduced by the music reproducing unit 25. More specifically, the music playback unit 25 performs streaming playback of the accompaniment data and call data that are sequentially stored when accompaniment data and call data are stored in a reception buffer (not shown) in a predetermined amount. The reproduced performance is output as sound from a speaker (not shown) built in the terminal 20 or attached externally.
端末２０のレスポンス演奏入力部２１は、再生された伴奏データ及びコールデータに呼応してユーザが行った演奏を、マイクロフォン（図示せず）を介して音声信号として取り込むと共に、該音声信号を、レスポンスに相当する楽曲データ（以降、適宜“レスポンスデータ”と称する）に変換する。尚、レスポンスデータは、再生された伴奏データ及びコールデータと同等のデータ形式である。 The response performance input unit 21 of the terminal 20 captures a performance performed by the user in response to the reproduced accompaniment data and call data as an audio signal via a microphone (not shown), and receives the audio signal as a response. Is converted to music data (hereinafter referred to as “response data” as appropriate). The response data has a data format equivalent to the reproduced accompaniment data and call data.
レスポンス送出部２２は、レスポンスデータを、サーバ１０に対して送信する（即ち、アップロードする）。 The response sending unit 22 sends (that is, uploads) the response data to the server 10.
サーバ１０のレスポンス解析部１２は、レスポンス受信部１１を介して受信されたレスポンスデータに係る演奏内容を解析する。演奏内容には、例えばメロディ、リズム、テンポ、音量、アクセント、コード、スケール等の情報が含まれる。これらのうちメロディ、リズム、テンポ、音量及びアクセントは、演奏の物理的特性に属する。また、コード及びスケールは、演奏の音楽理論的特性に属する。このような演奏内容の解析には、例えば一般化調和解析等の公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。 The response analysis unit 12 of the server 10 analyzes the performance content related to the response data received via the response reception unit 11. The performance content includes, for example, information such as melody, rhythm, tempo, volume, accent, chord, and scale. Of these, melody, rhythm, tempo, volume and accent belong to the physical characteristics of the performance. In addition, chords and scales belong to the musical theoretical characteristics of performance. For such analysis of performance content, various known modes such as generalized harmony analysis can be applied, and the detailed description thereof will be omitted.
感情特徴量解析部１７は、レスポンス解析部１２、伴奏解析情報記憶部１４及びコール解析情報記憶部１６各々の出力に基づいて、レスポンスデータ及びコールデータの感情特徴量を解析する。尚、感情特徴量解析部１７における解析についての詳細は後述する。 The emotion feature amount analysis unit 17 analyzes the emotion feature amounts of the response data and the call data based on the outputs of the response analysis unit 12, the accompaniment analysis information storage unit 14, and the call analysis information storage unit 16, respectively. Details of the analysis in the emotion feature amount analysis unit 17 will be described later.
ここで、伴奏解析情報記憶部１４は、端末２０に送信された伴奏データに係る演奏内容を解析する。同様に、コール解析情報記憶部１６は、端末２０に送信されたコールデータに係る演奏内容を解析する。この演奏内容の解析にも、公知の各種態様を適用可能である。 Here, the accompaniment analysis information storage unit 14 analyzes the performance content related to the accompaniment data transmitted to the terminal 20. Similarly, the call analysis information storage unit 16 analyzes the performance content related to the call data transmitted to the terminal 20. Various known modes can also be applied to the analysis of the performance content.
尚、伴奏解析情報記憶部１４及びコール解析情報記憶部１６各々は、伴奏データ及びコールデータ各々に、例えば曲目、テンポ、演奏パート、演奏者名等の情報を含むメタデータが予め付与されている場合、演奏内容の解析に代えて、該付与されたメタデータを取得してよい。 Note that each of the accompaniment analysis information storage unit 14 and the call analysis information storage unit 16 is preliminarily provided with metadata including information such as a song, tempo, performance part, and performer name, for each accompaniment data and call data. In this case, the assigned metadata may be acquired instead of analyzing the performance content.
感情特徴量送出部１８は、感情特徴量解析部１７により解析された感情特徴量を、端末２０に対して送信する。 The emotion feature quantity sending unit 18 transmits the emotion feature quantity analyzed by the emotion feature quantity analysis unit 17 to the terminal 20.
端末２０の、感情特徴量表示部２７は、感情特徴量受信部２６を介して受信された感情特徴量を、端末２０と一体として形成された又は外付けされたディスプレイ装置（図示せず）上に、視覚情報として表示する。 The emotion feature quantity display unit 27 of the terminal 20 displays the emotion feature quantity received via the emotion feature quantity reception unit 26 on a display device (not shown) formed integrally with the terminal 20 or attached externally. Displayed as visual information.
（演奏評価処理−概要−）
上述の如く構成された演奏評価システム１において実行される演奏評価処理の概要について、図２のフローチャートを参照して説明する。
(Performance evaluation process-overview-)
The outline of the performance evaluation process executed in the performance evaluation system 1 configured as described above will be described with reference to the flowchart of FIG.
図２において、先ず、端末２０のユーザにより指定された条件に該当する伴奏データが選択された際に、サーバ１０の伴奏解析情報記憶部１４は、該選択された伴奏データに係る解析情報を取得する（ステップＳ１０１）。 In FIG. 2, first, when accompaniment data corresponding to a condition specified by the user of the terminal 20 is selected, the accompaniment analysis information storage unit 14 of the server 10 acquires analysis information related to the selected accompaniment data. (Step S101).
ステップＳ１０１の処理と並行して又は相前後して、選択された伴奏データと対応付けられているコールデータが選択された際に、サーバ１０のコール解析情報記憶部１６は、該選択されたコールデータに係る解析情報を取得する（ステップＳ１０２）。 When call data associated with the selected accompaniment data is selected in parallel with or before or after the process of step S101, the call analysis information storage unit 16 of the server 10 selects the selected call. Analysis information related to the data is acquired (step S102).
次に、端末２０の音楽再生部２５は、サーバ１０において選択された伴奏データ及びコールデータ各々を受信して再生する（ステップＳ１０３及びＳ１０４）。続いて、レスポンス演奏入力部２１は、再生された伴奏データ及びコールデータに呼応して行われた演奏を、音声信号として取り込み、レスポンスデータを生成する（ステップＳ１０５）。 Next, the music playback unit 25 of the terminal 20 receives and plays back the accompaniment data and call data selected by the server 10 (steps S103 and S104). Subsequently, the response performance input unit 21 captures the performance performed in response to the reproduced accompaniment data and call data as an audio signal, and generates response data (step S105).
次に、サーバ１０のレスポンス解析部１２は、レスポンスデータに係る演奏内容を解析する（ステップＳ１０６）。続いて、感情特徴量解析部１７は、レスポンスデータに係る演奏内容、並びに、伴奏データ及びコールデータ各々に係る解析情報に基づいて、レスポンスデータ及びコールデータ各々の感情抽出パラメータを算出する（ステップＳ１０７）。 Next, the response analysis unit 12 of the server 10 analyzes the performance content related to the response data (step S106). Subsequently, the emotion feature amount analysis unit 17 calculates the emotion extraction parameters of each of the response data and the call data based on the performance content related to the response data and the analysis information related to each of the accompaniment data and the call data (step S107). ).
次に、感情特徴量解析部１７は、算出された感情抽出パラメータに基づいて、感情特徴量を算出する（ステップＳ１０８）。続いて、感情特徴量解析部１７は、算出された感情特徴量に対応する画像を選択する（ステップＳ１０９）。 Next, the emotion feature amount analysis unit 17 calculates an emotion feature amount based on the calculated emotion extraction parameter (step S108). Subsequently, the emotion feature amount analysis unit 17 selects an image corresponding to the calculated emotion feature amount (step S109).
次に、端末２０の感情特徴量表示部２７は、算出された感情特徴量に対応する画像を表示する（ステップＳ１１０）。 Next, the emotion feature amount display unit 27 of the terminal 20 displays an image corresponding to the calculated emotion feature amount (step S110).
実施例に係る「伴奏送出部１３」、「コール送出部１５」、「伴奏受信部２３」、「コール受信部２４」及び「音楽再生部２５」は、本発明に係る「第１出力手段」の一例である。実施例に係る「レスポンス演奏入力部２１」及び「レスポンス受信部１１」は、本発明に係る「取得手段」の一例である。実施例に係る「感情特徴量解析部１７」は、本発明に係る「解析手段」及び「第２出力手段」の一例である。実施例に係る「感情特徴量表示部２７」は、本発明に係る「表示手段」の一例である。 The “accompaniment sending unit 13”, “call sending unit 15”, “accompaniment receiving unit 23”, “call receiving unit 24”, and “music playback unit 25” according to the embodiment are “first output means” according to the present invention. It is an example. The “response performance input unit 21” and the “response reception unit 11” according to the embodiment are examples of the “acquisition unit” according to the present invention. The “emotional feature amount analysis unit 17” according to the embodiment is an example of the “analysis unit” and the “second output unit” according to the present invention. The “emotional feature amount display unit 27” according to the embodiment is an example of the “display unit” according to the present invention.
（演奏評価処理の詳細−前提−）
次に、上述のステップＳ１０６乃至Ｓ１０９の処理の詳細について、より具体的に説明する。
(Details of performance evaluation process-premise-)
Next, details of the processing in steps S106 to S109 described above will be described more specifically.
米国の心理学者ポール・エクマンによれば、基本的感情（喜び、怒り、哀しみ、驚き、恐怖、嫌悪）というものがあり、該基本的感情の組み合わせにより他の複雑な感情が表される。また、基本的感情を用いて、他の複雑な感情を導出する方法として、プルチック理論が提唱されている。 According to the American psychologist Paul Ekman, there are basic emotions (joy, anger, sadness, surprise, fear, disgust), and other complex emotions are expressed by a combination of these basic emotions. Plutic theory has been proposed as a method for deriving other complex emotions using basic emotions.
本願発明者は、これらの論に着目して、レスポンスデータ及びコールデータ各々に係る演奏内容を解析して得られる複数のパラメータ（即ち、感情抽出パラメータ）を組み合わせることにより、基本的感情を表すという発想に至った。基本的感情を、複数のパラメータの組み合わせにより表現することができれば、他の複雑な感情を導出することは可能である。 The inventor of the present application pays attention to these theories and expresses basic emotions by combining a plurality of parameters (that is, emotion extraction parameters) obtained by analyzing the performance contents of response data and call data. I came up with an idea. If the basic emotion can be expressed by a combination of a plurality of parameters, it is possible to derive other complex emotions.
本願発明者は、上記パラメータとして、心理的な明るさ又は暗さを示す「明暗度」、心理的な軽さ又は重さを示す「軽快度」、不安定又は落ち着きを示す「ストレス度」、並びに、あせり又はゆとりを示す「逼迫度」を選択した。各パラメータの詳細については後述する。 The inventor of the present application includes, as the above parameters, “brightness” indicating psychological brightness or darkness, “lightness” indicating psychological lightness or weight, “stress level” indicating instability or calmness, In addition, the “degree of tightness” indicating a setting or space was selected. Details of each parameter will be described later.
ここで、当該演奏評価システム１で扱われるレスポンスデータ及びコールデータに要求される条件は、（ｉ）単音又は複数の音からなるフレーズであることと、（ｉｉ）該フレーズは、少なくとも一小節以上の長さであること、である。 Here, the conditions required for the response data and call data handled by the performance evaluation system 1 are (i) a phrase composed of a single sound or a plurality of sounds, and (ii) the phrase is at least one measure or more. It is that it is the length of.
また、レスポンスデータ及びコールデータに係る演奏内容が解析される際には、例えば音程（周波数）、音長、リズム、音の強弱、基音（主音）、コード、コード進行、拍子、強拍弱拍、裏拍位置、テンポ、音色、音量、ジャンル、スケール等が用いられる。 Also, when the performance contents related to the response data and the call data are analyzed, for example, the pitch (frequency), tone length, rhythm, sound intensity, fundamental tone (main tone), chord, chord progression, time signature, strong beat weak beat , Back beat position, tempo, tone color, volume, genre, scale, etc. are used.
尚、「ジャンル」は、例えば、伴奏データ等が選択される際に、ユーザにより入力された情報から取得されてもよいし、選択された伴奏データに付与されているメタデータから取得されてもよい。或いは、レスポンスデータに係る強拍弱拍の位置及びコードから、ジャンルが推定されてもよい。 The “genre” may be acquired from information input by the user when accompaniment data or the like is selected, or may be acquired from metadata attached to the selected accompaniment data, for example. Good. Alternatively, the genre may be estimated from the positions and chords of strong and weak beats related to the response data.
（演奏評価処理の詳細−明暗度−）
本実施例に係る感情抽出パラメータのうち「明暗度」について、図３及び図４を参照して説明する。図３は、音度と明暗度との関係を規定する明暗度判定テーブルの一例である。図４は、図３の明暗度判定テーブルを用いて導出したチャーチモードにおける各スケールの明暗度を示す明暗度テーブルの一例である。
(Details of performance evaluation process-brightness-)
Among the emotion extraction parameters according to the present embodiment, “brightness” will be described with reference to FIGS. 3 and 4. FIG. 3 is an example of a brightness determination table that defines the relationship between the sound level and the brightness. FIG. 4 is an example of a brightness table indicating the brightness of each scale in the church mode derived using the brightness determination table of FIG.
サーバ１０の感情特徴量解析部１７（図１参照）は、伴奏又はコールの主音と、レスポンスを構成する各音と、に基づいて、レスポンスが属し、且つ、伴奏又はコールの主音から始まるスケールを特定する。 The emotion feature amount analysis unit 17 (see FIG. 1) of the server 10 determines a scale that the response belongs to and starts from the main tone of the accompaniment or call based on the main tone of the accompaniment or call and each sound constituting the response. Identify.
具体的には例えば、感情特徴量解析部１７は、レスポンスデータに係る音程に基づいて、伴奏又はコールの主音から始まる複数のスケール候補のうち、最も当てはまる音が多いスケール候補を、レスポンスが属するスケールとして特定する。 Specifically, for example, the emotion feature amount analysis unit 17 selects a scale candidate having the most applicable sound among a plurality of scale candidates starting from the accompaniment or the main tone of the call based on the pitch related to the response data. As specified.
レスポンスが属するスケールが特定された後、感情特徴量解析部１７は、例えば図４に示すような明暗度テーブルを参照して、レスポンスに係る明暗度を決定する。具体的には例えば、レスポンスが属するスケールがアイオニアンであると特定された場合、感情特徴量解析部１７は、該レスポンスに係る明暗度を８とする。或いは、レスポンスが属するスケールがリディアンであると特定された場合、感情特徴量解析部１７は、該レスポンスに係る明暗度を９とする。 After the scale to which the response belongs is specified, the emotion feature amount analysis unit 17 refers to a brightness table as illustrated in FIG. 4, for example, and determines the brightness related to the response. Specifically, for example, when it is specified that the scale to which the response belongs is an ionian, the emotion feature amount analysis unit 17 sets the intensity related to the response to 8. Alternatively, when it is specified that the scale to which the response belongs is Lidian, the emotion feature amount analysis unit 17 sets the brightness relating to the response to 9.
ここで、図４に示すような明暗度テーブルは、各スケールの音度と、予め定められた明暗度判定テーブル（図３参照）とに基づいて構築される。 Here, the brightness table as shown in FIG. 4 is constructed based on the soundness of each scale and a predetermined brightness determination table (see FIG. 3).
本実施例に係る明暗度判定テーブルは、メジャースケールを基準として、音楽理論の「長音階」及び「短音階」、並びに音程の「短長」、「完全」及び「増減」を考慮して設定されている。本実施例では、「長短」は、明暗度への影響が大きいとして、＋２（長）、−２（短）と設定されている。「増減」は、明暗度への影響が若干あるとして、＋１（増）、−１（減）と設定されている。「完全」は、明暗度への影響がないとして０と設定されている。 The brightness determination table according to the present embodiment is set in consideration of the “major scale” and “short scale” of the music theory and the “short length”, “complete”, and “increase / decrease” of the pitch with the major scale as a reference. Yes. In this embodiment, “long / short” is set to +2 (long) and −2 (short) because the influence on the brightness is large. “Increase / decrease” is set to +1 (increase) and −1 (decrease), assuming that there is a slight influence on the brightness. “Complete” is set to 0 because there is no influence on the brightness.
図４に示すように、メジャースケールのアイオニアン、リディアン及びミクソリディアン各々に係る明暗度は正の値となっている。他方、マイナースケールのエオリアン、ドリアン、フリジアン及びロクリアン各々に係る明暗度は０又は負の値となっている。 As shown in FIG. 4, the intensity of each of the major scales of Ionian, Lydian and Mixoridian is a positive value. On the other hand, the intensities of minor scales such as aeolian, durian, frisian and rocurian are 0 or negative values.
図４に示した明暗度テーブルは、チャーチモードについての明暗度であるが、チャーチモードに限らず、他のスケールであっても同様の方法により明暗度テーブルを構築可能である。尚、例えば、ペンタトニックスケールについての明暗度と、メジャースケールについての明暗度とを比較する場合等、スケールに含まれる音数が互いに異なる場合には、正規化を行った上で、明暗度テーブルを構築すればよい。 The brightness table shown in FIG. 4 is the brightness for the church mode. However, the brightness table is not limited to the church mode, and the brightness table can be constructed by a similar method even for other scales. Note that, for example, when the number of sounds included in the scale is different from each other, such as when comparing the intensity of the pentatonic scale with the intensity of the major scale, the normality table is used after normalization. Build it.
尚、レスポンスを構成する音の数が多い程、該レスポンスが属するスケールの特定精度が向上する。このため、当該演奏評価システム１のユーザに対して、レスポンスとしての演奏の長さの目安が示されるように、当該演奏評価システム１が構成されてよい。 It should be noted that the greater the number of sounds that make up the response, the better the accuracy of specifying the scale to which the response belongs. Therefore, the performance evaluation system 1 may be configured so that the user of the performance evaluation system 1 is provided with an indication of the length of the performance as a response.
（演奏評価処理の詳細−ストレス度−）
本実施例に係る感情抽出パラメータのうち「ストレス度」について、図５及び図６を参照して説明する。図５は、ストレス度の算出方法を示すフローチャートである。図６は、レスポンスについてのストレス度の変化の一例を示す図である。
(Details of performance evaluation process-stress level)
Of the emotion extraction parameters according to the present embodiment, the “stress level” will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart showing a method of calculating the stress level. FIG. 6 is a diagram illustrating an example of a change in the stress level with respect to the response.
ここで、「ストレス度」は、計測期間に得られたストレス値の累積値である。計測期間は、典型的には、レスポンスデータの長さに対応する期間であるが、例えばレスポンスデータの長さの半分に対応する期間等であってもよい。 Here, the “stress level” is a cumulative value of stress values obtained during the measurement period. The measurement period is typically a period corresponding to the length of the response data, but may be a period corresponding to half the length of the response data, for example.
「ストレス値」は、レスポンスを構成する各音について、伴奏に係るスケール内の音であるか否か、伴奏に係るコードの構成音であるか否か、装飾音であるか否か、が判定されることにより求められる。 The “stress value” is determined for each sound constituting the response, whether it is a sound within a scale related to accompaniment, whether it is a constituent sound of a chord related to accompaniment, or whether it is a decoration sound. Is required.
即ち、レスポンスの構成音が、伴奏に係るスケール内の音であれば、音楽理論的に違和感がない。従って、レスポンスの一の構成音が伴奏に係るスケール内の音である場合、該一の構成音はストレスなしと判定され、該一の構成音が該スケール内の音でない場合、該一の構成音はストレスありと判定される。 That is, if the constituent sound of the response is a sound within the scale related to the accompaniment, there is no sense of incongruity in terms of music theory. Therefore, when one component sound of the response is a sound within the scale related to the accompaniment, the one component sound is determined to be unstressed, and when the one component sound is not a sound within the scale, the one component sound The sound is determined to be stressed.
同様に、レスポンスの構成音が、伴奏に係るコードの構成音であれば、音楽理論的に違和感がない。従って、レスポンスの一の構成音が伴奏に係るコードの構成音である場合、該一の構成音はストレスなしと判定され、該一の構成音が該コードの構成音でない場合、該一の構成音はストレスありと判定される。 Similarly, if the constituent sound of the response is the constituent sound of the chord related to the accompaniment, there is no sense of incongruity in terms of music theory. Therefore, when one constituent sound of the response is a constituent sound of a chord related to the accompaniment, the one constituent sound is determined to be unstressed, and when the one constituent sound is not a constituent sound of the chord, the one constituent sound The sound is determined to be stressed.
調和的非和声音は、伴奏に係るスケール内の音やコードの構成音ではなくてもストレスを与えないと考えられる。ここで、「調和的非和声音」とは、例えばトリル、前打音等の装飾音、例えばグリッサンド、ポルタメント等の経過音、並びに、音楽理論的に調和性を大きく乱さないとされる刺繍音（補助音）、掛留音、倚音、先取音、逸音及び保続音等を含む概念である。従って、レスポンスの一の構成音が調和的非和声音である場合、該一の構成音はストレスなしと判定される。 Harmonic non-harmonic sounds are considered not to give stress even if they are not within the scale of the accompaniment or the sound of chords. Here, the “harmonic non-harmonic sound” means, for example, decorative sounds such as trills, pre-percussion sounds, elapsed sounds such as glissando and portamento, and embroidery sounds that are not greatly disturbed in terms of music theory. It is a concept that includes (auxiliary sound), clasp sound, stuttering sound, preemptive sound, anomalous sound, and sustaining sound. Accordingly, when one component sound of the response is a harmonic non-harmonic sound, it is determined that the one component sound has no stress.
具体的には、図５において、サーバ１０の感情特徴量解析部１７（図１参照）は、レスポンスを構成する一の構成音が、伴奏に係るスケール内の音であるか否かを判定する（ステップＳ２０１）。該一の構成音が該スケール内の音でないと判定された場合（ステップＳ２０１：Ｎｏ）、感情特徴量解析部１７は、該一の構成音が、伴奏に係るコードの構成音であるか否かを判定する（ステップＳ２０２）。 Specifically, in FIG. 5, the emotion feature amount analysis unit 17 (see FIG. 1) of the server 10 determines whether or not one constituent sound constituting the response is a sound within the scale related to the accompaniment. (Step S201). When it is determined that the one component sound is not a sound within the scale (step S201: No), the emotion feature amount analysis unit 17 determines whether the one component sound is a component sound of a chord related to accompaniment. Is determined (step S202).
該一の構成音が該コードの構成音でないと判定された場合（ステップＳ２０２：Ｎｏ）、感情特徴量解析部１７は、該一の構成音が調和的非和声音であるか否かを判定する（ステップＳ２０３）。該一の構成音が調和的非和声音でないと判定された場合（ステップＳ２０３：Ｎｏ）、感情特徴量解析部１７は、該一の構成音をストレスありと判定して（つまり、ストレス値を、例えば１として）、ストレス度を、例えば１だけ増やす。 When it is determined that the one component sound is not a component sound of the chord (step S202: No), the emotion feature amount analysis unit 17 determines whether the one component sound is a harmonic non-harmonic sound. (Step S203). When it is determined that the one component sound is not a harmonic non-harmonic sound (step S203: No), the emotion feature amount analysis unit 17 determines that the one component sound is stressed (that is, sets the stress value). (For example, 1), the stress level is increased by, for example, 1.
レスポンスを構成する一の構成音が、伴奏に係るスケール内の音であると判定された場合（ステップＳ２０１：Ｙｅｓ）、該一の構成音が伴奏に係るコードの構成音であると判定された場合（ステップＳ２０２：Ｙｅｓ）、又は該一の構成音が調和的非和声音であると判定された場合（ステップＳ２０３：Ｙｅｓ）、つまり、該一の構成音自体にはストレスがないと判定された場合、感情特徴量解析部１７は、現在のストレス度（累積値）が１以上であるか否かを判定する（ステップＳ２０４）。 When it is determined that one constituent sound constituting the response is a sound within the scale related to the accompaniment (step S201: Yes), it is determined that the one constituent sound is a constituent sound of the chord related to the accompaniment If (step S202: Yes), or if it is determined that the one component sound is a harmonic non-harmonic sound (step S203: Yes), that is, it is determined that the one component sound itself has no stress. In the case, the emotion feature amount analysis unit 17 determines whether or not the current stress level (cumulative value) is 1 or more (step S204).
ここで、ストレスのない音は、ストレスを与えないだけでなく、ストレスを和らげると考えることができる。そこで、本実施例では、現在のストレス度が１以上であると判定された場合（ステップＳ２０４：Ｙｅｓ）、感情特徴量解析部１７は、ストレス度を、例えば１だけ減らす。他方、現在のストレス度が１以上でない（即ち、現在のストレス度が０である）と判定された場合（ステップＳ２０４：Ｎｏ）、感情特徴量解析部１７は、ストレス度を増減しない。 Here, it can be considered that a sound without stress not only does not give stress but also relieves stress. Therefore, in this embodiment, when it is determined that the current stress level is 1 or more (step S204: Yes), the emotion feature amount analysis unit 17 decreases the stress level by, for example, 1. On the other hand, when it is determined that the current stress level is not 1 or more (that is, the current stress level is 0) (step S204: No), the emotion feature amount analysis unit 17 does not increase or decrease the stress level.
上記の方法により算出されたストレス度は、例えば１〜−１の範囲内の値をとるように、最終的に正規化される。 The stress degree calculated by the above method is finally normalized so as to take a value within a range of 1 to −1, for example.
尚、伴奏に係るスケールやコードを特定する方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。伴奏に係るスケールやコードの特定自体は、サーバ１０の伴奏解析情報記憶部１４（図１参照）において実施される。また、調和的非和声音の抽出（検出）方法にも、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。上記ステップＳ２０１、Ｓ２０２及びＳ２０３各々の処理は、任意の順番で実施されてよい。 It should be noted that various known aspects can be applied to the method for specifying the accompaniment scales and chords, and therefore, detailed description thereof will be omitted. The accompaniment scale and chord specification itself is performed in the accompaniment analysis information storage unit 14 (see FIG. 1) of the server 10. In addition, various known modes can be applied to the harmonic non-harmonic sound extraction (detection) method, and therefore, detailed description thereof is omitted. The processes in steps S201, S202, and S203 may be performed in an arbitrary order.
次に、レスポンスの例を挙げて、ストレス度について具体的に説明する。図６における“メロディ”がレスポンスに相当する。図６に示す例では、伴奏及びレスポンスが共にニ長調の楽曲であるとする。伴奏に係るスケールはアイオニアンであり、伴奏に係るコードはＡ７（９）であるとする。 Next, an example of a response will be given to specifically explain the stress level. “Melody” in FIG. 6 corresponds to a response. In the example shown in FIG. 6, it is assumed that the accompaniment and the response are both in D major. The accompaniment scale is Ionian, and the accompaniment chord is A7 (9).
図６において、音ａ（ファ＃）は、スケール内の音であるので（ニ長調のアイオニアン音階は、レ、ミ、ファ＃、ソ、ラ、シ、ド＃）、図５のフローチャートに従い、ステップＳ２０４に進む。ストレス度（累積値）は０であるので、音ａについてのストレス値は０となる。同様に、音ｂ（ファ＃）についてのストレス値も０となる。 In FIG. 6, the sound a (fa #) is a sound within the scale (the D major Ionian scale is Les, Mi, Fa #, Seo, La, Shi, Do #), and according to the flowchart of FIG. Proceed to step S204. Since the degree of stress (cumulative value) is 0, the stress value for the sound a is 0. Similarly, the stress value for the sound b (Fah #) is also zero.
音ｃ（ミ＃）は、スケール内の音ではないので、図５のフローチャートに従い、ステップＳ２０２に進む。音ｃは、コードの構成音でもないので（コードＡ７（９）の構成音は、ラ、シ、ド＃、ミ、ソ）、ステップＳ２０３に進む。音ｃは調和的非和声音でもないので、該音ｃについてのストレス値は１となり、ストレス度は１となる。同様に、音ｄ（ミ＃）についてのストレス値も１となり、ストレス度は２となる。 Since the sound c (mi #) is not a sound within the scale, the process proceeds to step S202 according to the flowchart of FIG. Since the sound c is not a constituent sound of the chord (the constituent sounds of the chord A7 (9) are la, shi, de #, mi, and so), the process proceeds to step S203. Since the sound c is not a harmonic non-harmonic sound, the stress value for the sound c is 1 and the stress level is 1. Similarly, the stress value for the sound d (mi #) is 1 and the stress level is 2.
音ｅ（レ）は、スケール内の音であるので、図５のフローチャートに従い、ステップＳ２０４に進む。ストレス度が２であるので、音ｅについてのストレス値は−１となり、ストレス度は１となる。同様に、音ｆ（ド＃）についてのストレス値もー１となり、ストレス度は０となる。 Since the sound e (re) is a sound within the scale, the process proceeds to step S204 according to the flowchart of FIG. Since the stress level is 2, the stress value for the sound e is −1 and the stress level is 1. Similarly, the stress value for the sound f (do #) is also −1, and the stress level is 0.
音ｇ（シ）は、スケール内の音であるので、図５のフローチャートに従い、ステップＳ２０４に進む。ストレス度は０であるので、音ｇについてのストレス値は０となる。同様に、音ｈ（シ）についてのストレス値も０となる。 Since the sound g (shi) is a sound within the scale, the process proceeds to step S204 according to the flowchart of FIG. Since the degree of stress is 0, the stress value for the sound g is 0. Similarly, the stress value for the sound h (shi) is also zero.
音ｉ（ド）は、スケール内の音でもなく、コードの構成音でもなく、調和的非和声音でもないので、音ｉについてのストレス値は１となり、ストレス度は１となる。 Since the sound i (do) is neither a sound in the scale nor a constituent sound of the chord nor a harmonic non-harmonic sound, the stress value for the sound i is 1 and the stress level is 1.
（演奏評価処理の詳細−逼迫度−）
本実施例に係る感情抽出パラメータのうち「逼迫度」について、図７を参照して説明する。ここで、「逼迫度」は、計測期間に得られた、レスポンスの発音位置と伴奏の発音位置との間のずれ量の積分値を、レスポンスの発音数で除算した値である。
(Details of performance evaluation process-tightness-)
Of the emotion extraction parameters according to the present embodiment, “degree of tightness” will be described with reference to FIG. Here, the “degree of tightness” is a value obtained by dividing the integral value of the deviation amount between the sounding position of the response and the sounding position of the accompaniment obtained during the measurement period by the number of sounding of the response.
先ず、レスポンスの発音位置と伴奏の発音位置との間のずれ量（以降、適宜“リズムずれ”と称する）の求め方について、図７を参照して説明する。図７は、リズムずれの概念を示す概念図である。図７では、伴奏が３２ビートの曲である場合を例に挙げるが、伴奏のビート数は３２に限られない。尚、図７における“メロディ”がレスポンスに相当する。 First, a description will be given of how to obtain the amount of deviation between the response sounding position and the accompaniment sounding position (hereinafter referred to as “rhythm deviation” as appropriate) with reference to FIG. FIG. 7 is a conceptual diagram showing the concept of rhythm deviation. In FIG. 7, the case where the accompaniment is a 32-beat song is taken as an example, but the number of accompaniment beats is not limited to 32. Note that “melody” in FIG. 7 corresponds to a response.
図７において、伴奏の一の発音位置と、該一の発音位置の直前の発音位置との中間（典型的には、真ん中）から、該一の発音位置と、該一の発音位置の直後の発音位置との中間（典型的には、真ん中）までの区間が、該一の発音位置についての判定区間とされる。尚、判定区間内に、レスポンスの発音がなければ、その判定区間ではリズムずれは算出されない。 In FIG. 7, from the middle (typically in the middle) between one sounding position of the accompaniment and the sounding position immediately before the one sounding position, the one sounding position and the sounding position immediately after the one sounding position. A section to the middle (typically the middle) of the sound generation position is set as a determination section for the one sound generation position. If there is no response sounding in the determination section, no rhythm shift is calculated in the determination section.
リズムずれは、｛（伴奏の発音位置）−（レスポンスの発音位置）｝／（ビート間隔／２）という式により算出される。ここで、「発音位置」は、時間が経過する程大きくなるものとする。つまり、一の音よりも後に発せられた音の発音位置は、該一の音の発音位置よりも大きな値となる。 The rhythm deviation is calculated by the following formula: {(accompaniment sound generation position) − (response sound generation position)} / (beat interval / 2). Here, the “sound generation position” is assumed to increase as time elapses. That is, the sound generation position of a sound emitted after one sound has a larger value than the sound generation position of the one sound.
図７において、レスポンスの音Ａは、基準となる伴奏の音ａよりも前に発音されている。つまり、音Ａの発音位置の値は、音ａの発音位置の値よりも小さい。従って、（伴奏の発音位置）−（レスポンスの発音位置）の値は、正の値となる。 In FIG. 7, the response sound A is pronounced before the reference accompaniment sound a. That is, the value of the sound A sound generation position is smaller than the value of the sound a sound generation position. Therefore, the value of (accompaniment sounding position) − (response sounding position) is a positive value.
他方、レスポンスの音Ｂは、基準となる伴奏の音ｂよりも後に発音されている。つまり、音Ｂの発音位置の値は、音ｂの発音位置の値よりも大きい。従って、（伴奏の発音位置）−（レスポンスの発音位置）の値は、負の値となる。 On the other hand, the response sound B is pronounced after the reference accompaniment sound b. That is, the value of the sounding position of the sound B is larger than the value of the sounding position of the sound b. Therefore, the value of (accompaniment sounding position) − (response sounding position) is a negative value.
レスポンスの音Ｃは、基準となる伴奏の音ｃと同時に発音されている。従って、（伴奏の発音位置）−（レスポンスの発音位置）の値は、０となる。 The response sound C is pronounced simultaneously with the reference accompaniment sound c. Therefore, the value of (accompaniment sounding position) − (response sounding position) is 0.
このように、レスポンスの音が基準となる伴奏の音よりも前に発音される「前ずれ」の場合、リズムずれは正の値となり、レスポンスの音が基準となる伴奏の音よりも後に発音される「後ずれ」の場合、リズムずれは負の値となり、レスポンスの音が基準となる伴奏の音と同時に発音される場合、リズムずれは０となる。 In this way, in the case of “pre-shift” in which the response sound is played before the reference accompaniment sound, the rhythm shift is a positive value, and the response sound is played after the reference accompaniment sound. In the case of “rear shift”, the rhythm shift is a negative value, and the rhythm shift is 0 when the response sound is played simultaneously with the reference accompaniment sound.
リズムずれは、上述の如く、（伴奏の発音位置）−（レスポンスの発音位置）の値が、ビート間隔の半分の値で除算されることにより算出される。このため、最終的には、１〜−１の範囲内の値をとる。 As described above, the rhythm shift is calculated by dividing the value of (accompaniment sounding position)-(response sounding position) by a value half the beat interval. For this reason, the value in the range of 1 to -1 is finally taken.
次に、逼迫度は、上述の如く、リズムずれの積分値を発音数で除算した値である。図７の例では、発音数が３であるので、逼迫度は、（０．４−０．６＋０）／３＝−０．０６７となる。 Next, as described above, the degree of tightness is a value obtained by dividing the integral value of the rhythm deviation by the number of pronunciations. In the example of FIG. 7, since the number of pronunciations is 3, the degree of tightness is (0.4−0.6 + 0) /3=−0.067.
（演奏評価処理の詳細−軽快度−）
本実施例に係る感情抽出パラメータのうち「軽快度」について、図８を参照して説明する。図８は、強拍位置の一例を示す図である。
(Details of performance evaluation process-lightness-)
Of the emotion extraction parameters according to the present embodiment, “lightness” will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of a strong beat position.
本実施例では、「軽快度」は、３つのパラメータに基づいて求められる。即ち、（ｉ）伴奏の強拍に対応するレスポンスの構成音についての逼迫度（以降、適宜“強拍部分逼迫度”と称する）、（ｉｉ）上述の逼迫度、（ｉｉｉ）伴奏の強拍に対応するレスポンスの構成音の平均音圧と、伴奏の弱拍に対応するレスポンスの構成音の平均音圧との比の、参照値からのずれ量（以降、適宜“音圧比”と称する）、に基づいて、「軽快度」が求められる。 In the present embodiment, “lightness” is obtained based on three parameters. That is, (i) the degree of tightness of the constituent sound of the response corresponding to the strong beat of the accompaniment (hereinafter referred to as “strong beat partial tightness” as appropriate), (ii) the above-mentioned tightness, and (iii) the strong beat of the accompaniment Deviation from the reference value of the ratio between the average sound pressure of the constituent sound of the response corresponding to the sound and the average sound pressure of the constituent sound of the response corresponding to the accompaniment weak beat (hereinafter referred to as “sound pressure ratio” as appropriate) Based on the above, “lightness” is required.
（ｉ）強拍部分逼迫度
楽曲の軽快さは、強拍と、該強拍に続く弱拍（又は中強拍）との周期的な繰り返しにより生まれる。一の強拍から次の強拍の前までが、一つのまとまりと捉えられるので、伴奏の強拍に対応するレスポンスの構成音の発音タイミングが特に重要となる。
(I) Strong beat partial tightness The lightness of the music is born by periodic repetition of a strong beat and a weak beat (or medium strong beat) following the strong beat. Since the period from one strong beat to the next strong beat is regarded as one unit, the sounding timing of the constituent sound of the response corresponding to the accompaniment strong beat is particularly important.
そこで本実施例では、伴奏の強拍に対応するレスポンスの構成音についての逼迫度が、軽快度を求めるためのパラメータの一つとして用いられる。尚、伴奏の強拍位置は、例えばメタデータ等として予め伴奏データに付与されてよい、又は、サーバ１０の伴奏解析情報記憶部１４（図１参照）により伴奏データが解析された際に強拍位置が求められてもよい。 Therefore, in the present embodiment, the degree of tightness of the constituent sound of the response corresponding to the accompaniment strong beat is used as one of the parameters for obtaining the lightness. The accompaniment strong beat position may be given to the accompaniment data in advance, for example, as metadata, or the accompaniment data is analyzed by the accompaniment analysis information storage unit 14 (see FIG. 1) of the server 10. The position may be determined.
強拍部分逼迫度は、基本的には、上述の逼迫度と同様の方法により算出される。但し、上述の逼迫度が、レスポンスの構成音全てについてのリズムずれから算出されるのに対し、強拍部分逼迫度は、伴奏の強拍に対応するレスポンスの構成音のみについてのリズムずれから算出される。 The strong beat partial tightness is basically calculated by the same method as the above tightness. However, the above-mentioned tightness is calculated from the rhythm shift for all the constituent sounds of the response, while the strong beat partial tightness is calculated from the rhythm shift for only the response constituent sounds corresponding to the accompaniment strong beat. Is done.
伴奏の強拍位置は、例えば図８に示すように、伴奏のジャンルにより異なる。同一のメロディ（レスポンス）であっても、伴奏のジャンルが異なれば、強拍部分逼迫度の算出に用いられる音が異なる可能性がある。例えば、ロック風の伴奏の場合（図８（ａ）参照）、点線円で囲われた２つの音について、リズムずれが求められた後に、強拍部分逼迫度が算出される。また、ボサノヴァ風の伴奏の場合（図８（ｂ）参照）、点線円で囲われた３つの音について、リズムずれが求められた後に、強拍部分逼迫度が算出される。 The accompaniment strong beat position varies depending on the genre of the accompaniment, for example, as shown in FIG. Even if the melody (response) is the same, if the accompaniment genres are different, the sound used to calculate the strong partial tension may be different. For example, in the case of a rock-like accompaniment (see FIG. 8A), after a rhythm shift is obtained for two sounds surrounded by dotted circles, the strong beat partial tightness is calculated. In the case of accompaniment in the bossa nova style (see FIG. 8 (b)), after a rhythm shift is determined for three sounds surrounded by dotted circles, the strong beat partial tightness is calculated.
（ｉｉ）逼迫度
伴奏の発音タイミングとレスポンスの発音タイミングとの間にずれが生じると、楽曲全体としての印象が低下すると考えられる。そこで本実施例では、逼迫度が、軽快度を求めるためのパラメータの一つとして用いられる。つまり、「逼迫度」は、感情抽出パラメータの一つとして扱われると共に、軽快度を求めるためのパラメータの一つとして扱われる。
(Ii) Degree of tightness When a difference occurs between the accompaniment sounding timing and the response sounding timing, it is considered that the impression of the entire music is lowered. Therefore, in this embodiment, the degree of tightness is used as one of the parameters for obtaining the lightness. That is, the “degree of tightness” is handled as one of emotion extraction parameters and one of parameters for obtaining a lightness level.
（ｉｉｉ）音圧比
伴奏の音のバランスと、レスポンスの音のバランスとが異なると、楽曲全体としての印象が低下すると考えられる。そこで本実施例では、音圧比が、軽快度を求めるためのパラメータの一つとして用いられる。
(Iii) Sound pressure ratio If the balance of the sound of the accompaniment and the balance of the sound of the response are different, it is considered that the impression of the entire music is lowered. Therefore, in this embodiment, the sound pressure ratio is used as one of parameters for obtaining lightness.
サーバ１０の感情特徴量解析部１７は、伴奏の強拍に対応するレスポンスの構成音の音圧の平均値（以降、適宜“強拍部分平均音圧”と称する）を算出する。また、感情特徴量解析部１７は、伴奏の弱拍に対応するレスポンスの構成音の音圧の平均値（以降、適宜“弱拍部分平均音圧”と称する）を算出する。感情特徴量解析部１７は、算出された強拍部分平均音圧と算出された弱拍部分平均音圧との比を、強拍弱拍音圧比として算出する。 The emotion feature amount analysis unit 17 of the server 10 calculates an average value of sound pressures of constituent sounds of responses corresponding to accompaniment strong beats (hereinafter referred to as “strong beat partial average sound pressure” as appropriate). In addition, the emotion feature quantity analysis unit 17 calculates the average value of the sound pressures of the constituent sounds of the response corresponding to the accompaniment weak beats (hereinafter referred to as “weak beat partial average sound pressure” as appropriate). The emotion feature amount analysis unit 17 calculates a ratio between the calculated strong beat partial average sound pressure and the calculated weak beat partial average sound pressure as a strong beat weak beat sound pressure ratio.
同様の方法により、伴奏の強拍音の平均音圧と該伴奏の弱拍音の平均音圧との比が、参照値として算出される。尚、この参照値は、例えばメタデータとして、予め伴奏データに付与されていてもよいし、感情特徴量解析部１７において算出されてもよい。 By a similar method, the ratio between the average sound pressure of the accompaniment strong beat sound and the average sound pressure of the accompaniment weak beat sound is calculated as a reference value. In addition, this reference value may be previously given to accompaniment data, for example as metadata, and may be calculated in the emotion feature-value analysis part 17. FIG.
感情特徴量解析部１７は、参照値から強拍弱拍音圧比を減算した値を、該参照値で除算することにより、音圧比を算出する（即ち、音圧比＝（参照値−強拍弱拍音圧比）／参照値）。 The emotion feature amount analysis unit 17 calculates a sound pressure ratio by dividing a value obtained by subtracting the strong beat weak sound pressure ratio from the reference value by the reference value (that is, sound pressure ratio = (reference value−strong weakness). (Beat pressure ratio) / reference value).
（ｉｖ）軽快度
サーバ１０の感情特徴量解析部１７は、強拍部分逼迫度の絶対値と、逼迫度の絶対値と、音圧比の絶対値との合計値を３で除算した値を、１から減算することにより、軽快度を算出する。つまり、強拍部分逼迫度の絶対値、逼迫度の絶対値及び音圧比の絶対値の平均値が、１から減算されることにより軽快度が算出される。即ち、
軽快度＝１−（｜強拍部分逼迫度｜＋｜逼迫度｜＋｜音圧比｜）／３
である。
(Iv) Lightness The emotion feature amount analysis unit 17 of the server 10 divides the total value of the absolute value of the strong partial tension, the absolute value of the tightness, and the absolute value of the sound pressure ratio by 3, By subtracting from 1, lightness is calculated. That is, the lightness is calculated by subtracting the absolute value of the strong beat partial tightness, the absolute value of the tightness, and the absolute value of the sound pressure ratio from 1. That is,
Nimbleness = 1- (| High-strength partial tightness | + | Squeezing degree | + | Sound pressure ratio |) / 3
It is.
算出された軽快度は、１〜０の範囲内の値となるが、例えば１〜−１の範囲内の値をとるように、最終的に正規化される。尚、軽快度の算出には、強拍部分逼迫度の絶対値、逼迫度の絶対値及び音圧比の絶対値の単純平均値に代えて加重平均値が用いられてよい。 The calculated lightness is a value in the range of 1 to 0, but is finally normalized so as to take a value in the range of 1 to −1, for example. In calculating the lightness, a weighted average value may be used instead of the simple average value of the absolute value of the strong beat partial tightness, the absolute value of the tightness, and the absolute value of the sound pressure ratio.
上述した、「明暗度」、「ストレス度」、「逼迫度」及び「軽快度」各々の算出は、リアルタイム処理により実施されてもよいし、バッチ処理により実施されてもよい。 The above-described calculation of “intensity”, “stress level”, “tightness level”, and “lightness level” may be performed by real-time processing or by batch processing.
（演奏評価処理の詳細−感情への変換−）
次に、上述の如く求められた複数の感情抽出パラメータ（即ち、明暗度、ストレス度、逼迫度及び軽快度）から、レスポンスデータに係る感情特徴量を求める方法について、図９乃至図１１を参照して説明する。図９は、感情抽出パラメータの値と、該感情抽出パラメータが表す状態との関係の一例である。図１０は、一又は複数の感情抽出パラメータの組み合わせと、感情との関係を規定する感情変換テーブルの一例である。図１１は、感情特徴量の算出概念を示す概念図である。
(Details of performance evaluation process-conversion to emotion-)
Next, referring to FIG. 9 to FIG. 11, a method for obtaining the emotion feature amount related to the response data from the plurality of emotion extraction parameters obtained as described above (that is, brightness, stress level, tightness level, and lightness level) will be described. To explain. FIG. 9 is an example of the relationship between the value of the emotion extraction parameter and the state represented by the emotion extraction parameter. FIG. 10 is an example of an emotion conversion table that defines a relationship between a combination of one or more emotion extraction parameters and an emotion. FIG. 11 is a conceptual diagram showing a concept of calculating emotion feature amounts.
図９に示すように、正の値の明暗度が「心理的な明るさ」に対応し、負の値の明暗度が「心理的な暗さ」に対応する。正の値の軽快度が「心理的な軽さ」に対応し、負の値の軽快度が「心理的な重さ」に対応する。正の値のストレス度が「不安定」に対応し、負の値のストレス度が「落ち着き」に対応する。正の値の逼迫度が「あせり」に対応し、負の値の逼迫度が「ゆとり」に対応する。 As shown in FIG. 9, a positive intensity value corresponds to “psychological brightness”, and a negative intensity value corresponds to “psychological darkness”. A positive value of lightness corresponds to “psychological lightness”, and a negative value of lightness corresponds to “psychological weight”. A positive stress level corresponds to “unstable”, and a negative stress level corresponds to “settlement”. A positive value of tightness corresponds to “Asheri”, and a negative value of tightness corresponds to “clear”.
図１０に示すような感情変換テーブルは、次のように構築される。即ち、例えば「喜び」という感情は、「心理的な明るさ」、「心理的な軽さ」及び「落ち着き」各々が高い程、強いと考えられる。そこで、「喜び」は、（明暗度）＋（軽快度）−（ストレス度）と表せる。例えば「恐怖」という感情は、「心理的な暗さ」、「不安定」及び「あせり」各々が高い程、強いと考えられる。そこで、「恐怖」は、−（明暗度）＋（ストレス度）＋（逼迫度）と表せる。同様の手順を繰り返し、図１０に示すように、「喜び」、「好き」、「高ぶり」、「安らぎ」、「驚き」、「恥」、「恐怖」、「哀しみ」、「怒り」及び「嫌悪」という感情が、感情抽出パラメータの組み合わせ（数式）により規定される。 The emotion conversion table as shown in FIG. 10 is constructed as follows. That is, for example, the feeling of “joy” is considered to be stronger as “psychological brightness”, “psychological lightness”, and “settlement” are higher. Therefore, “joy” can be expressed as (lightness) + (lightness) − (stress). For example, the feeling of “fear” is considered to be stronger as each of “psychological darkness”, “unstable”, and “fire” is higher. Therefore, “fear” can be expressed as − (intensity) + (stress level) + (degree of tightness). The same procedure is repeated, and as shown in FIG. 10, “joy”, “like”, “high”, “relax”, “surprise”, “shame”, “fear”, “sadness”, “anger” and “ The feeling of “disgust” is defined by a combination (formula) of emotion extraction parameters.
そして、ある計測期間における明暗度、軽快度、ストレス度及び逼迫度各々の数値が、感情変換テーブルに従って演算されることにより、各感情に係る数値が求められる。ここで、例えば「喜び」を構成する「落ち着き」は、図９に示すように、負の値のストレス度に相当する。従って、「喜び」に係る数値が求められる際に、ストレス度が減算される（即ち、−１倍される）ことにより、ストレス度が負の値（即ち、“落ち着き”）であれば、「喜び」に係る数値が増加する。 And the numerical value regarding each emotion is calculated | required by calculating the numerical value of the brightness, lightness, stress degree, and tightness degree in a certain measurement period according to an emotion conversion table. Here, for example, “calmness” constituting “joy” corresponds to a negative stress level as shown in FIG. Accordingly, when the numerical value related to “joy” is obtained, the stress level is subtracted (ie, multiplied by −1), so that if the stress level is a negative value (ie, “calm”), “ The figure related to “joy” increases.
ここで、ある計測期間において、明暗度が０．５、軽快度が−０．４、ストレス度が０．３、逼迫度が−０．２と算出されたとする。この場合、図１０に従って各感情を数値化すると、「喜び」は、０．５＋（−０．４）−（０．３）＝−０．２となる。同様に、「好き」は、０．５＋（−０．４）−（０．３）−（−０．２）＝０、「高ぶり」は、−（−０．４）＋０．３＝０．７、「安らぎ」は、（−０．４）−（０．３）＝−０．７、「驚き」は、０．３＋（−０．２）＝０．１、「恥」は、−（０．５）＋（−０．４）＋０．３＋（−０．２）＝−０．８、「恐怖」は、−（０．５）＋０．３＋（−０．２）＝−０．４、「哀しみ」は、−（０．５）＝−０．５、「怒り」は、−（０．５）−（−０．４）＋０．３＝０．２、「嫌悪」は、−（０．５）−（−０．４）−（０．３）＝−０．４である。 Here, it is assumed that the brightness is calculated as 0.5, the lightness is −0.4, the stress is 0.3, and the tightness is −0.2 in a certain measurement period. In this case, when each emotion is digitized according to FIG. 10, “joy” is 0.5 + (− 0.4) − (0.3) = − 0.2. Similarly, “like” is 0.5 + (− 0.4) − (0.3) − (− 0.2) = 0, and “high” is − (− 0.4) + 0.3 = 0. .7, “Peace” is (−0.4) − (0.3) = − 0.7, “Surprise” is 0.3 + (− 0.2) = 0.1, “Shame” is − (0.5) + (− 0.4) +0.3 + (− 0.2) = − 0.8, “fear” is − (0.5) +0.3 + (− 0.2) = − 0.4, “sorrow” is − (0.5) = − 0.5, “anger” is − (0.5) − (− 0.4) + 0.3 = 0.2, “disgust” Is-(0.5)-(-0.4)-(0.3) =-0.4.
サーバ１０の感情特徴量解析部１７（図１参照）は、図１１に示すように、感情毎に移動平均値を求めて、感情特徴量を求める。図１１では、計測期間ｔｎ、計測期間ｔｎ―１及び計測期間ｔｎ―２の移動平均から、計測期間ｔｎについての感情特徴量が求められる。 As shown in FIG. 11, the emotion feature amount analysis unit 17 (see FIG. 1) of the server 10 obtains a moving average value for each emotion and obtains an emotion feature amount. In FIG. 11, the emotion feature amount for the measurement period t n is obtained from the moving average of the measurement period t n , the measurement period t n−1, and the measurement period t n−2 .
尚、算出された感情特徴量のうち負の値を全て０とするように感情特徴量解析部１７が構成されてもよい。 Note that the emotion feature amount analysis unit 17 may be configured such that all negative values of the calculated emotion feature amount are set to zero.
次に、感情特徴量解析部１７は、求められた複数の感情特徴量のうち、例えば値の大きい上位３つの感情を、レスポンスデータに係る「感情傾向」とする。図１１に示した例では、「高ぶり」、「驚き」及び「怒り」が、「感情傾向」となる。 Next, the emotion feature amount analysis unit 17 sets, for example, the top three emotions having the largest value among the obtained plurality of emotion feature amounts as “emotion tendency” related to the response data. In the example shown in FIG. 11, “high”, “surprise”, and “anger” are “emotional tendency”.
（演奏評価処理の詳細−ユーザへの提示（Ｉ）−）
次に、感情傾向に基づく演奏の評価方法の一例として、レスポンス単独の評価方法について説明する。
(Details of performance evaluation process-presentation to user (I)-)
Next, a response-only evaluation method will be described as an example of a performance evaluation method based on emotion tendency.
（ｉ）視覚効果
視覚効果として演奏の評価を示す場合、例えば感情傾向に応じて、画面の色、光度又は色温度等が変更される。具体的には例えば、感情傾向としての「哀しみ」の数値が高い程、青を基調とした画像が表示される。或いは、感情傾向としての「喜び」の数値が高い程、光度が高くされる。或いは、感情傾向に応じた場面の画像（例えば、快晴の空、雨天の風景等）が表示される。
(I) Visual effect When performance evaluation is shown as a visual effect, for example, the color, luminous intensity, color temperature, or the like of the screen is changed according to the emotion tendency. Specifically, for example, an image based on blue is displayed as the numerical value of “sadness” as an emotion tendency is higher. Alternatively, the higher the numerical value of “joy” as the emotion tendency, the higher the light intensity. Alternatively, an image of a scene (for example, a clear sky, a rainy landscape, etc.) corresponding to the emotion tendency is displayed.
更に、一つの感情だけでなく、複数の感情を組み合わせて表される感情に応じた画面等が表示されてもよい。例えば、「喜び」の数値が０．５より大きく１未満であり、「高ぶり」の数値が０．５より大きく１未満である場合に「歓喜」に関連する画像等が表示されてよい。或いは、「安らぎ」の数値が０．５より大きく１未満であり、「驚き」の数値が−１より大きく０未満である場合に「静粛」に関連する画像等が表示されてよい。或いは、「驚き」の数値が０．５より大きく１未満であり、「恐怖」の数値が０．５より大きく１未満である場合に「パニック」に関連する画像等が表示されてよい。或いは、「怒り」の数値が０．５より大きく１未満であり、「哀しみ」の数値が０．５より大きく１未満である場合に「嘆き」に関連する画像等が表示されてよい。 Furthermore, not only one emotion but also a screen or the like corresponding to an emotion expressed by combining a plurality of emotions may be displayed. For example, when the value of “joy” is greater than 0.5 and less than 1, and the value of “high” is greater than 0.5 and less than 1, an image related to “joy” may be displayed. Alternatively, an image or the like related to “quiet” may be displayed when the value of “comfort” is greater than 0.5 and less than 1, and the value of “surprise” is greater than −1 and less than 0. Alternatively, when the “surprise” value is greater than 0.5 and less than 1, and the “fear” value is greater than 0.5 and less than 1, an image related to “panic” or the like may be displayed. Alternatively, when the value of “anger” is greater than 0.5 and less than 1, and the value of “sadness” is greater than 0.5 and less than 1, an image or the like related to “wailing” may be displayed.
（ｉｉ）聴覚効果
聴覚効果として演奏の評価を示す場合、例えば感情傾向に応じて、伴奏の音量やリズム・ジャンル等が変更される。具体的には例えば、感情傾向としての「喜び」の数値が高い場合に、伴奏のジャンルがロックからサンバに変更される。
(Ii) Auditory effect When performance evaluation is shown as an auditory effect, for example, the volume of an accompaniment, rhythm / genre, etc. are changed according to an emotion tendency. Specifically, for example, when the value of “joy” as the emotion tendency is high, the genre of accompaniment is changed from rock to samba.
（ｉｉｉ）触覚効果
触覚効果として演奏の評価を示す場合、例えば端末２０が携帯電話であれば、感情傾向に応じて、バイブレーション機能の振動数や振動の強弱周期が変更されるように該携帯電話が制御される。
(Iii) Tactile effect When a performance evaluation is indicated as a tactile effect, for example, if the terminal 20 is a mobile phone, the mobile phone is changed so that the vibration frequency and the frequency of vibration are changed according to the emotion tendency. Is controlled.
（ｉｖ）キーワード
キーワードとして演奏の評価を示す場合、例えば感情傾向に応じたキーワードが表示される。この際、例えば感情傾向の数値の大きさに応じて、文字の大きさが変更されてもよい。或いは、複数の感情を組み合わせて表される感情を示すキーワードが表示されてもよい。
(Iv) Keyword When the performance evaluation is shown as a keyword, for example, a keyword corresponding to the emotion tendency is displayed. At this time, for example, the character size may be changed according to the value of the emotion tendency value. Alternatively, a keyword indicating an emotion expressed by combining a plurality of emotions may be displayed.
図２のフローチャートを用いた説明では、「（ｉ）視覚効果」に相当する、感情特徴量に応じた画像がユーザに提示されるが、画像表示に代えて又は加えて、（ｉｉ）聴覚効果、（ｉｉｉ）触覚効果及び（ｉｖ）キーワードの少なくとも一つに相当する演出がなされてよい。 In the description using the flowchart of FIG. 2, an image corresponding to the emotion feature amount corresponding to “(i) visual effect” is presented to the user, but (ii) auditory effect instead of or in addition to image display. , (Iii) an effect corresponding to at least one of the haptic effect and (iv) the keyword may be made.
（演奏評価処理の詳細−ユーザへの提示（ＩＩ）−）
次に、感情傾向に基づく演奏の評価方法の他の例として、レスポンスとコールとを対比する評価方法について、図１２乃至図１４を参照して説明する。この場合は、コールデータについても、レスポンスデータと同様の方法により、予め感情特徴量（更には感情傾向）が求められる。
(Details of performance evaluation process-presentation to user (II)-)
Next, as another example of a performance evaluation method based on emotion tendency, an evaluation method for comparing a response and a call will be described with reference to FIGS. In this case, the emotion feature quantity (and emotion tendency) is also obtained in advance for the call data by the same method as the response data.
図１２は、コール及びレスポンス各々の感情傾向の時間変化の一例である。図１３は、画像選択処理を示すフローチャートである。図１４は、感情変化点における画像選択処理を示すフローチャートである。 FIG. 12 is an example of a temporal change in emotion tendency of each call and response. FIG. 13 is a flowchart showing image selection processing. FIG. 14 is a flowchart showing an image selection process at an emotion change point.
本実施例では、第１のコールと、該第１のコールに続いて演奏された第２のレスポンスとの間で類似性が判定される。加えて、同一の類似性が継続すると、「継続性が高い」と判定される。 In this embodiment, similarity is determined between the first call and the second response played following the first call. In addition, if the same similarity continues, it is determined that “the continuity is high”.
具体的には、第１のコールの感情傾向の種類と、第１のレスポンスの感情傾向の種類とが一致していれば、「傾向一致」と判定される。第１のコールの感情傾向の種類と、第１のレスポンスの感情傾向の種類とは不一致であるが、第１のコールの感情傾向に含まれる要素の少なくとも一つと相反する要素が第１のレスポンスの感情傾向に含まれている場合には、「傾向相反」と判定される。第１のコールの感情傾向の種類と、第１のレスポンスの感情傾向の種類とは不一致であり、相反する要素も含まれていない場合には「傾向不一致」と判定される。 Specifically, if the type of emotion tendency of the first call matches the type of emotion tendency of the first response, it is determined as “tendency match”. The type of emotion tendency of the first call and the type of emotion tendency of the first response are inconsistent, but an element that conflicts with at least one of the elements included in the emotion tendency of the first call is the first response. If it is included in the emotion tendency, it is determined as “tendency conflict”. If the type of emotion tendency of the first call and the type of emotion tendency of the first response do not match and do not contain conflicting elements, it is determined as “tendency mismatch”.
ここで、相反する要素とは、例えば「喜びに対する哀しみ」、「喜びに対する怒り」、「好きに対する嫌悪」、「好きに対する恐怖」、「安らぎに対する高ぶり」、「安らぎに対する驚き」等である。 Here, the conflicting elements are, for example, “sadness for joy”, “anger for joy”, “hate for love”, “fear for love”, “highness for comfort”, “surprise for comfort”, and the like.
また、第１のコールと、該第１のコールの次に演奏された第２のコールに続いて演奏された第２のレスポンスとの間で追従性が判定される。第１のコールの感情傾向の種類と、第２のレスポンスの感情傾向の種類とが一致していれば「追従性あり」と判定される。そして、「追従性あり」の状態が継続すると、「追従性が高い」と判定される。 In addition, the followability is determined between the first call and the second response played following the second call played after the first call. If the emotion tendency type of the first call matches the emotion tendency type of the second response, it is determined that “follow-up” is present. Then, when the state of “following ability” continues, it is determined that “following ability is high”.
「追従性」を判定することにより、コールの感情傾向の変動が、レスポンスに影響したか否かを明らかにすることができる。 By determining “following ability”, it is possible to clarify whether or not the change in the emotion tendency of the call has affected the response.
尚、図１２では、「継続性」及び「追従性」を「無」、「有低」、「有高」で表しているが、例えば数値等で表されてもよい。 In FIG. 12, “continuity” and “followability” are represented by “none”, “existence low”, and “existence high”, but may be represented by numerical values, for example.
このように、コール及びレスポンス各々の感情傾向から、コール及びレスポンス間の関係性を導き出すことにより、例えばコールに対応する画像と、レスポンスに対応する画像とが互いに連動して変化するような演出が可能となる。 In this way, by deriving the relationship between the call and response from the emotional tendency of each call and response, for example, an effect that the image corresponding to the call and the image corresponding to the response change in conjunction with each other can be produced. It becomes possible.
具体的には例えば、コール及びレスポンスに夫々対応する二人の人物が、コール及びレスポンス間の関連性に応じて行動するような演出がされるとする。類似性が「傾向一致」である場合、二人の人物が感情傾向に応じた同じ行動を行い、継続性が高くなるにつれて、二人の人物間の距離が縮まり、一緒に行動するという演出がなされる。或いは、類似性が「傾向相反」である場合、二人の人物が仲違する若しくは喧嘩するという演出がなされる。或いは、追従性が高くなると、一方の人物が他方の人物を追いかける、若しくは所定時間後に、一方の人物のまねを他方の人物が行う、という演出がなされる。 Specifically, for example, it is assumed that two persons corresponding to a call and a response perform an action according to the relationship between the call and the response. When the similarity is “trend match”, the two people perform the same action according to their emotional tendencies, and as the continuity increases, the distance between the two persons decreases and acts together Made. Alternatively, when the similarity is “tendency conflict”, an effect is given in which two persons are in conflict or fight. Alternatively, when the followability becomes high, there is an effect that one person follows the other person, or that the other person imitates one person after a predetermined time.
次に、コール及びレスポンス間の類似性、継続性及び追従性に基づく画像選択処理について、図１３及び図１４のフローチャートを参照して具体的に説明する。図１３及び図１４では、類似性、継続性及び追従性については、既に判定されているものとする。 Next, image selection processing based on similarity between call and response, continuity, and followability will be specifically described with reference to the flowcharts of FIGS. 13 and 14. In FIGS. 13 and 14, it is assumed that similarity, continuity, and followability have already been determined.
尚、選択される画像を含む複数の画像は、例えばサーバ１０の記憶装置１９（図１参照）等の大容量記憶媒体に予め格納されているものとする。大容量記憶媒体に格納されている複数の画像は、夫々対応する感情に関連付けられている。複数の画像は、更に、継続性や追従性の程度に応じて分類されていることが望ましい。このように構成すれば、例えば「喜び」に対応する画像であっても、継続性が高い程、より喜びが大きな画像が表示され、実用上非常に有利である。 Note that a plurality of images including the images to be selected are stored in advance in a large-capacity storage medium such as the storage device 19 (see FIG. 1) of the server 10, for example. The plurality of images stored in the large-capacity storage medium are each associated with a corresponding emotion. It is desirable that the plurality of images be further classified according to the degree of continuity and followability. With this configuration, for example, even for an image corresponding to “joy”, the higher the continuity, the more joyful an image is displayed, which is very advantageous in practice.
図１３において、サーバ１０の感情特徴量解析部１７（図１参照）は、先ず、コールの感情傾向とレスポンスの感情傾向との継続性があるか否かを判定する（ステップＳ３０１）。継続性があると判定された場合（ステップＳ３０１：Ｙｅｓ）、感情特徴量解析部１７は、コールの感情傾向とレスポンスの感情傾向との類似性のステートを判定する（ステップＳ３０２）。 In FIG. 13, the emotion feature quantity analysis unit 17 (see FIG. 1) of the server 10 first determines whether or not there is continuity between the emotion tendency of the call and the emotion tendency of the response (step S301). When it is determined that there is continuity (step S301: Yes), the emotion feature amount analysis unit 17 determines the state of similarity between the emotion tendency of the call and the emotion tendency of the response (step S302).
類似性のステートが「傾向一致」であると判定された場合（ステップＳ３０２：一致）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ３０３）。この場合、コールに対応する画像と、レスポンスに対応する画像とは、同じ感情を表す画像となる。 When it is determined that the state of similarity is “trend match” (step S302: match), the emotion feature amount analysis unit 17 determines, for example, the storage device 19 or the like according to the emotion tendency and continuity of the call and response. An image is selected from (step S303). In this case, the image corresponding to the call and the image corresponding to the response are images representing the same emotion.
尚、選択された画像は、例えば、コール及びレスポンス各々の感情傾向（感情特徴量）と一緒に、感情特徴量送出部１８（図１参照）を介して端末２０に送信される。 The selected image is transmitted to the terminal 20 via the emotion feature amount sending unit 18 (see FIG. 1) together with the emotion tendency (emotion feature amount) of each call and response, for example.
類似性のステートが「傾向相反」であると判定された場合（ステップＳ３０２：相反）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ３０４）。この場合、コールに対応する画像と、レスポンスに対応する画像とは、相反する感情を表す画像となる。 When it is determined that the similarity state is “trend conflict” (step S302: conflict), the emotion feature amount analysis unit 17 determines, for example, the storage device 19 or the like according to the emotion tendency and continuity of the call and response. An image is selected from (Step S304). In this case, the image corresponding to the call and the image corresponding to the response are images representing conflicting emotions.
類似性のステートが「傾向不一致」であると判定された場合（ステップＳ３０２：不一致）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ３０５）。この場合、コールに対応する画像と、レスポンスに対応する画像とは、夫々の感情を表す画像となる。 When it is determined that the state of similarity is “tendency mismatch” (step S302: mismatch), the emotion feature amount analysis unit 17 determines, for example, the storage device 19 or the like according to the emotion tendency and continuity of the call and response. An image is selected from (Step S305). In this case, the image corresponding to the call and the image corresponding to the response are images representing respective emotions.
上述のステップＳ３０１の処理において、継続性がないと判定された場合（ステップＳ３０１：Ｎｏ）、感情特徴量解析部１７は、ステップＳ３０５の処理を実施する。 When it is determined that there is no continuity in the process of step S301 described above (step S301: No), the emotion feature amount analysis unit 17 performs the process of step S305.
図１４において、感情特徴量解析部１７は、先ず、感情変化点であるか否かを判定する（ステップＳ４０１）。尚、感情変化点は、図１２において逆三角で示す時点である。 In FIG. 14, the emotion feature amount analysis unit 17 first determines whether or not it is an emotion change point (step S <b> 401). Note that the emotion change point is a time point indicated by an inverted triangle in FIG.
感情変化点でないと判定された場合（ステップＳ４０１：Ｎｏ）、感情特徴量解析部１７は、一旦処理を終了する。他方、感情変化点であると判定された場合（ステップＳ４０１：Ｙｅｓ）、感情特徴量解析部１７は、追従性があるか否かを判定する（ステップＳ４０２）。 If it is determined that the point is not an emotion change point (step S401: No), the emotion feature amount analysis unit 17 once ends the process. On the other hand, when it is determined that the point is an emotion change point (step S401: Yes), the emotion feature amount analysis unit 17 determines whether or not there is a follow-up property (step S402).
追従性があると判定された場合（ステップＳ４０２：Ｙｅｓ）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ４０３）。この場合、レスポンスに対応する画像は、該レスポンスの感情を表すと共に追従であることがわかるような画像となる。 When it is determined that there is followability (step S402: Yes), the emotion feature amount analysis unit 17 selects an image from the storage device 19 or the like, for example, according to the emotion tendency of the call and response (step S403). In this case, the image corresponding to the response is an image that represents the emotion of the response and can be understood to be following.
「追従であることがわかるような画像」は、例えば、前回のコール（即ち、追従判定に用いられたコール）に対応する画像として表示された画像や、コール及びレスポンスが二人の人物で表される場合には、二人の人物が追いかけっこをするような画像等である。 An “image that can be seen as following” is, for example, an image displayed as an image corresponding to the previous call (that is, a call used for follow-up determination) or a call and response represented by two persons. In such a case, the image is such that two persons chase after each other.
他方、追従性がないと判定された場合（ステップＳ４０２：Ｎｏ）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ４０４）。 On the other hand, when it is determined that there is no followability (step S402: No), the emotion feature quantity analysis unit 17 selects an image from the storage device 19 or the like, for example, according to the emotion tendency and continuity of the call and response. (Step S404).
上述の如く構成すれば、即興的演奏コミュニケーションであるＣ／Ｒに適した評価をユーザへ提示することができ、実用上非常に有利である。 When configured as described above, an evaluation suitable for C / R, which is improvisational performance communication, can be presented to the user, which is very advantageous in practice.
尚、本実施例では、感情特徴量解析部１７が、コール及びレスポンスの感情傾向等に応じた画像を選択しているが、例えば端末２０の感情特徴量表示部２７（図１参照）が、画像を選択し、該選択された画像をサーバ１０に要求するような構成であってもよい。 In the present embodiment, the emotion feature amount analysis unit 17 selects an image corresponding to the emotion tendency of the call and response. For example, the emotion feature amount display unit 27 (see FIG. 1) of the terminal 20 The configuration may be such that an image is selected and the server 10 is requested for the selected image.
また、画像の表示に限らず、類似性、追従性及び感情傾向の少なくとも一つに応じて、例えばＲＧＢ値、色温度等の色情報、光度等が変更されてよい。或いは、画像等の視覚効果に加えて又は代えて、聴覚効果や触覚効果又はキーワード等により、類似性等が表されてもよい。 Further, not only image display, but color information such as RGB values and color temperatures, luminous intensity, and the like may be changed according to at least one of similarity, followability, and emotion tendency. Alternatively, similarity or the like may be expressed by an auditory effect, a tactile effect, or a keyword in addition to or instead of a visual effect such as an image.
聴覚効果としては、音量の変更や音の定位（パンポット）の変更等が挙げられる。触覚効果としては、例えば端末２０を体感音響装置と連動させた上で、体感音響装置に係る振動の強さ、振動の周期、温度及び硬さの少なくとも一つの変更が挙げられる。キーワードとしては、例えばインターネット等介して情報を取得するためのキーワード等が挙げられる。 Examples of the auditory effect include a change in sound volume and a change in sound localization (pan pot). As the tactile sensation effect, for example, at least one change of the strength of vibration, the period of vibration, the temperature, and the hardness associated with the body sensation acoustic device after the terminal 20 is linked with the body sensation acoustic device can be cited. As a keyword, the keyword etc. for acquiring information via the internet etc. are mentioned, for example.
（まとめ）
実施例に係る演奏評価システム１では、レスポンスデータ（更にはコールデータ）に係る演奏内容が解析されることにより、感情抽出パラメータが求められ、更に、該感情抽出パラメータに応じてレスポンスデータ（更にはコールデータ）に係る感情傾向（感情特徴量）が求められる。そして、求められた感情傾向に応じて、例えば画像等が、ユーザのレスポンスの評価として、ユーザに提示される。
(Summary)
In the performance evaluation system 1 according to the embodiment, an emotion extraction parameter is obtained by analyzing a performance content related to response data (and further call data), and further response data (and further according to the emotion extraction parameter) Emotion tendency (emotional feature amount) related to call data) is obtained. Then, according to the obtained emotion tendency, for example, an image or the like is presented to the user as an evaluation of the user's response.
このように、当該演奏評価システム１では、例えば点数表示等の演奏の良し悪しを示すような評価とは異なる評価がユーザに提示される。特に、レスポンスの感情傾向に応じた評価は、ユーザの自由な感性によるアドリブ演奏に対する客観的評価として好適である。 As described above, in the performance evaluation system 1, the user is presented with an evaluation that is different from an evaluation that indicates whether the performance is good or bad, such as a score display. In particular, the evaluation according to the emotion tendency of the response is suitable as an objective evaluation for the ad lib performance based on the user's free sensibility.
従って、当該演奏評価システム１によれば、ユーザの楽しみを損ねることなく、Ｃ／Ｒ等のようなアドリブ演奏についての客観的評価をユーザに提示することができる。 Therefore, according to the performance evaluation system 1, it is possible to present the user with an objective evaluation of ad-lib performance such as C / R without impairing the user's enjoyment.
＜変形例＞
次に、実施例に係る端末の変形例について、図１５を参照して説明する。図１５は、実施例の変形例に係る端末の構成を示すブロック図である。
<Modification>
Next, a modification of the terminal according to the embodiment will be described with reference to FIG. FIG. 15 is a block diagram illustrating a configuration of a terminal according to a modified example of the embodiment.
図１５において、端末２０ａは、レスポンス演奏入力部２１、伴奏受信部２３、コール受信部２４、音楽再生部２５、感情特徴量表示部２７、伴奏解析情報記憶部４１、コール解析情報記憶部４２、レスポンス解析部４３及び感情特徴量解析部４４を備えて構成されている。 15, the terminal 20a includes a response performance input unit 21, an accompaniment reception unit 23, a call reception unit 24, a music reproduction unit 25, an emotion feature amount display unit 27, an accompaniment analysis information storage unit 41, a call analysis information storage unit 42, A response analysis unit 43 and an emotion feature amount analysis unit 44 are provided.
つまり、変形例では、サーバ側ではなく、端末２０ａにおいてレスポンスデータ等の解析が行われ、該レスポンスデータに対応するレスポンス演奏の感情傾向等が求められる。 That is, in the modified example, the response data or the like is analyzed not on the server side but on the terminal 20a, and the emotion tendency of the response performance corresponding to the response data is obtained.
このように構成すれば、サーバの処理負荷を低減することができ、実用上非常に有利である。 With this configuration, the processing load on the server can be reduced, which is very advantageous in practice.
変形例に係る「感情特徴量解析部４４」は、本発明に係る「解析手段」及び「第２出力手段」の他の例である。 The “emotional feature amount analysis unit 44” according to the modified example is another example of the “analyzing unit” and the “second output unit” according to the present invention.
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。 The present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit or concept of the invention that can be read from the claims and the entire specification. The server device, the terminal device, the performance evaluation method, and the computer program are also included in the technical scope of the present invention.
１…演奏評価システム、１０…サーバ、１１…レスポンス受信部、１２、４３…レスポンス解析部、１３…伴奏送出部、１４、４１…伴奏解析情報記憶部、１５…コール送出部、１６、４２…コール解析情報記憶部、１７、４４…感情特徴量解析部、１８…感情特徴量送出部、１９…記憶装置、２０、２０ａ…端末、２１…レスポンス入力部、２２…レスポンス送出部、２３…伴奏受信部、２４…コール受信部、２５…音楽再生部、２６…感情特徴量受信部、２７…感情特徴量表示部８ DESCRIPTION OF SYMBOLS 1 ... Performance evaluation system, 10 ... Server, 11 ... Response receiving part, 12, 43 ... Response analysis part, 13 ... Accompaniment sending part, 14, 41 ... Accompaniment analysis information storage part, 15 ... Call sending part, 16, 42 ... Call analysis information storage unit, 17, 44 ... Emotion feature amount analysis unit, 18 ... Emotion feature amount transmission unit, 19 ... Storage device, 20, 20a ... Terminal, 21 ... Response input unit, 22 ... Response transmission unit, 23 ... Accompaniment Receiving unit, 24 ... call receiving unit, 25 ... music reproducing unit, 26 ... emotion feature amount receiving unit, 27 ... emotion feature amount display unit 8
Claims (10)
前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、
前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、
前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力手段と、
を備えることを特徴とする演奏評価システム。 First output means for outputting accompaniment data and first performance data related to the accompaniment data;
Obtaining means for obtaining second performance data corresponding to a user performance performed in response to the output first performance data;
Analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data;
Second output means for outputting information related to the properties of the acquired second performance data in accordance with the analyzed relationship;
A performance evaluation system comprising:
前記端末装置は、前記ネットワークを介して前記サーバ装置から、伴奏データ、及び前記伴奏データに関連する第１演奏データを取得して出力する第１出力手段を有し、
前記サーバ装置は、
前記ネットワークを介して前記端末装置から、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、
前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、
前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を、前記ネットワークを介して前記端末装置に出力する第２出力手段と、
を有する
ことを特徴とする演奏評価システム。 A performance evaluation system comprising a terminal device and a server device that can communicate with each other via a network,
The terminal device has first output means for acquiring and outputting accompaniment data and first performance data related to the accompaniment data from the server device via the network,
The server device
Obtaining means for obtaining second performance data corresponding to the performance of the user performed in response to the output first performance data from the terminal device via the network;
Analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data;
Second output means for outputting information related to the properties of the acquired second performance data to the terminal device via the network according to the analyzed relationship;
A performance evaluation system characterized by comprising:
伴奏データ、及び前記伴奏データに関連する第１演奏データを、前記ネットワークを介して前記端末装置に、出力する第１出力手段と、
前記ネットワークを介して前記端末装置から、前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、
前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、
前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を、前記ネットワークを介して前記端末装置に、出力する第２出力手段と、
を備えることを特徴とするサーバ装置。 A server device of a performance evaluation system comprising a terminal device and a server device that can communicate with each other via a network,
First output means for outputting accompaniment data and first performance data related to the accompaniment data to the terminal device via the network;
Obtaining means for obtaining second performance data corresponding to the performance of the user performed in response to the output first performance data from the terminal device via the network;
Analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data;
Second output means for outputting information related to the property of the acquired second performance data to the terminal device via the network according to the analyzed relationship;
A server device comprising:
前記ネットワークを介して前記サーバ装置から、伴奏データ、及び前記伴奏データに関連する第１演奏データを取得して出力する第１出力手段と、
前記再生された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、
前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、
前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力手段と、
を備えることを特徴とする端末装置。 A performance evaluation system terminal device comprising a terminal device and a server device that can communicate with each other via a network,
First output means for acquiring and outputting accompaniment data and first performance data related to the accompaniment data from the server device via the network;
Obtaining means for obtaining second performance data corresponding to a user performance performed in response to the reproduced first performance data;
Analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data;
Second output means for outputting information related to the properties of the acquired second performance data in accordance with the analyzed relationship;
A terminal device comprising:
前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得工程と、
前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析工程と、
前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力工程と、
を備えることを特徴とする演奏評価方法。 A first output step of outputting accompaniment data and first performance data related to the accompaniment data;
An acquisition step of acquiring second performance data corresponding to the performance of the user performed in response to the output first performance data;
An analysis step of analyzing a relationship between the accompaniment data and the acquired second performance data;
A second output step of outputting information relating to the properties of the acquired second performance data in accordance with the analyzed relationship;
A performance evaluation method comprising:
伴奏データ、及び前記伴奏データに関連する第１演奏データを出力する第１出力手段と、
前記出力された第１演奏データに呼応して行われたユーザの演奏に対応する第２演奏データを取得する取得手段と、
前記伴奏データと前記取得された第２演奏データとの間の関係性を解析する解析手段と、
前記解析された関係性に応じて、前記取得された第２演奏データの性質に係る情報を出力する第２出力手段と、
として機能させることを特徴とするコンピュータプログラム。 Computer
First output means for outputting accompaniment data and first performance data related to the accompaniment data;
Obtaining means for obtaining second performance data corresponding to a user performance performed in response to the output first performance data;
Analyzing means for analyzing the relationship between the accompaniment data and the acquired second performance data;
Second output means for outputting information related to the properties of the acquired second performance data in accordance with the analyzed relationship;
A computer program that functions as a computer program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014069907A JP2015191183A (en) | 2014-03-28 | 2014-03-28 | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014069907A JP2015191183A (en) | 2014-03-28 | 2014-03-28 | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015191183A true JP2015191183A (en) | 2015-11-02 |
Family
ID=54425693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014069907A Pending JP2015191183A (en) | 2014-03-28 | 2014-03-28 | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015191183A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110959172A (en) * | 2017-07-25 | 2020-04-03 | 雅马哈株式会社 | Musical performance analysis method and program |
-
2014
- 2014-03-28 JP JP2014069907A patent/JP2015191183A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110959172A (en) * | 2017-07-25 | 2020-04-03 | 雅马哈株式会社 | Musical performance analysis method and program |
| CN110959172B (en) * | 2017-07-25 | 2023-10-31 | 雅马哈株式会社 | Performance analysis method, performance analysis device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI497484B (en) | Performance evaluation device, karaoke device, server device, performance evaluation system, performance evaluation method and program | |
| KR101521451B1 (en) | Display control apparatus and method | |
| JP6060867B2 (en) | Information processing apparatus, data generation method, and program | |
| CN111052223A (en) | Playback control method, playback control device, and program | |
| TW201108202A (en) | System, method, and apparatus for singing voice synthesis | |
| JP2015191194A (en) | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program | |
| JP2007310204A (en) | Musical piece practice support device, control method, and program | |
| JP4479701B2 (en) | Music practice support device, dynamic time alignment module and program | |
| JP7274082B2 (en) | Music generating device, music generating method, and music generating program | |
| JP5346114B1 (en) | Educational device and method for music expression and music performance evaluation device | |
| JP6070652B2 (en) | Reference display device and program | |
| JP2006251697A (en) | Karaoke device | |
| JP2015191183A (en) | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program | |
| JP2015191188A (en) | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program | |
| JP2007322933A (en) | Guidance device, production device for data for guidance, and program | |
| Siegel | Timbral Transformations in Kaija Saariaho's From the Grammar of Dreams | |
| JP2015191190A (en) | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program | |
| JP2013210501A (en) | Synthesis unit registration device, voice synthesis device, and program | |
| JP2015191187A (en) | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program | |
| JP2016180965A (en) | Evaluation device and program | |
| JP2015191184A (en) | Musical performance evaluation system, server device, terminal device, musical performance evaluation method and computer program | |
| Himonides | Mapping a beautiful voice: Theoretical considerations | |
| JP2007225916A (en) | Authoring apparatus, authoring method and program | |
| Aroso | The Gesture's Narrative: Contemporary Music for Percussion | |
| JP2015161888A (en) | singing competition karaoke system |