JP7414048B2 - プログラム、情報処理装置、演奏評価システム及び演奏評価方法 - Google Patents
プログラム、情報処理装置、演奏評価システム及び演奏評価方法 Download PDFInfo
- Publication number
- JP7414048B2 JP7414048B2 JP2021141323A JP2021141323A JP7414048B2 JP 7414048 B2 JP7414048 B2 JP 7414048B2 JP 2021141323 A JP2021141323 A JP 2021141323A JP 2021141323 A JP2021141323 A JP 2021141323A JP 7414048 B2 JP7414048 B2 JP 7414048B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- evaluation
- key
- note data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 117
- 230000010365 information processing Effects 0.000 title claims description 29
- 239000000470 constituent Substances 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 15
- 238000012854 evaluation process Methods 0.000 description 28
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- AAOVKJBEBIDNHE-UHFFFAOYSA-N diazepam Chemical compound N=1CC(=O)N(C)C2=CC=C(Cl)C=C2C=1C1=CC=CC=C1 AAOVKJBEBIDNHE-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/315—Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
- G10H2250/365—Gensound applause, e.g. handclapping; Cheering; Booing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Description
コンピューターに、
複数の演奏操作に応じた複数のノートデータに基づいて、楽曲の調を判定し、
判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
前記調性の評価値が閾値に達したタイミングに応じて、評価に対応する反応音の出力を出力手段に指示する、
処理を実行させる。
図1は、本発明に係る演奏評価システム100の全体構成を示す図である。演奏評価システム100は、情報処理装置1と、電子楽器2と、が通信インターフェース(本実施形態では、MIDI(Musical Instrument Digital Interface)インターフェース)を介して接続されて構成されている。
情報処理装置1は、電子楽器2における演奏操作に基づいて入力されたノートデータに基づいて、電子楽器2における演奏を評価する装置である。情報処理装置1としては、例えば、タブレットPC(Personal Computer)、ノートPC、スマートフォン等が適用可能である。
また、ROM13には、後述する演奏評価処理で使用される反応音の音声データや効果音データが記憶されている。例えば、演奏開始前に出力する演奏催促の拍手等の反応音、演奏開始時に出力する拍手等の反応音、演奏終了時に出力する拍手等の反応音、演奏評価が高い場合に出力する歓喜を表す反応音(反応音タイプ1~3)の音声データや効果音データが記憶されている。
電子楽器2は、例えば、鍵盤楽器であり、キーボード21、音源・サウンドシステム22、MIDIインターフェース23等を備えて構成されている。
キーボード21は、ユーザが演奏操作を行うための複数の鍵(演奏操作子)を有する鍵盤である。
音源・サウンドシステム22は、ユーザによるキーボード21の演奏操作に従って楽音波形を生成し出力する。
MIDIインターフェース23は、情報処理装置1のMIDIインターフェース16に接続され、演奏に応じたノートデータを情報処理装置1に出力する。
(演奏評価処理)
次に、本実施形態の情報処理装置1の動作について説明する。
図2は、情報処理装置1において入力部14により演奏評価処理の実行が指示された場合に、CPU11により実行される演奏評価処理の流れを示すフローチャートである。図2に示す演奏評価処理は、CPU11とROM13に記憶されているプログラムとの協働により実行される。
ここで、タイマー処理は、演奏評価処理の実行中に、所定周期で、例えば、10~20msec周期で実行される処理である。タイマー処理については詳細を後述する。
例えば、CPU11は、後述するタイマー処理で演奏終了と判断された場合、または、演奏評価処理のキャンセルが入力部14により入力された場合に、演奏評価処理の終了条件に該当すると判断する。
MIDIインターフェース16により電子楽器2からのノートデータが受信されたと判断した場合(ステップS4;YES)、CPU11は、受信したノートデータ及びその受信時刻を、受信順を表す番号に対応付けてRAM12に記憶し(ステップS5)、演奏情報処理(図3参照)を実行する(ステップS6)。
図3は、図2のステップS6において実行される演奏情報処理の流れを示すフローチャートである。演奏情報処理は、CPU11とROM13に記憶されているプログラムとの協働により実行される。
受信したノートデータがノートonメッセージを含んでいると判断した場合(ステップS61;YES)、CPU11は、そのノートonメッセージが演奏開始時のノートonメッセージであるか否かを判断する(ステップS62)。
ここで、演奏開始時のノートonメッセージであるか否かは、例えば、受信したノートonメッセージが、演奏評価処理を開始してから受信した最初ノートonメッセージであるか否かで判断する。演奏評価処理を開始してから受信した最初ノートonメッセージである場合に、演奏開始時のノートonメッセージであると判断する。
演奏開始時のノートonメッセージではないと判断した場合(ステップS62;NO)、CPU11は、ステップS64に移行する。
受信したノートonメッセージが最初のノートonメッセージではない(2回目以降のノートonメッセージである)と判断した場合(ステップS64;NO)、CPU11は、前回のノートonメッセージと今回のノートonメッセージの受信時刻の時刻差を算出し、この時刻差を変数elapsedに格納する(ステップS65)。また、その時刻差における出現頻度をヒストグラムとして格納する変数iDistNoteOn[elapsed]をインクリメントする(ステップS66)。
ここで、算出された時刻差はある範囲で量子化される。テンポが120bpmで、4分音符間隔で弾かれた場合は、時刻差が、0.5秒になる。同様に、テンポが、121bpmの場合は、時刻差が、0.4958秒程度になる。そこで、例えば、時刻差を0.003秒程度の範囲で量子化すると、テンポbpmの1桁目を測定できることになるので、その量子化された時刻差elapsedの値の頻度をiDistNoteOn[elapsed]に保持するようにする。
なお、押鍵/離鍵はセットであり、押鍵により演奏操作が開始されるものであるから、押鍵操作が実施されるごとに受信されるノートonメッセージの受信時刻の時間差を求めることで、演奏操作間隔を求めることができる。
elapsed<30msではない(すなわち、elapsedが30ms以上である)と判断した場合(ステップS67;NO)、CPU11は、和音(ほぼ同時の複数の押鍵操作)を1つの演奏操作とみなしたノートonメッセージのカウント用変数であるiRepeatNoteCntをインクリメントするとともに、ノートon時刻差の累計(演奏操作間隔の累計)をカウントするための変数であるiSumIntervalにelapsedの値を加算し(ステップS68)、ステップS69に移行する。
上述のように、押鍵/離鍵はセットであり、押鍵により演奏操作が開始されるものであるから、押鍵操作が実施されるごとに受信されるノートonメッセージをカウントすることにより演奏操作回数をカウントすることができる。
一方、elapsed<30msである(すなわち、elapsedが30msより小さい)と判断した場合(ステップS67;YES)、CPU11は、ステップS69に移行する。
次いで、CPU11は、ベロシティの累計値を算出するためのiSumVelocityに、受信したノートデータに含まれるベロシティ値iVelを加算する(ステップS70)。
そして、CPU11は、受信したノートデータのノート番号をpitとして、そのノート番号(pit)の鍵のon/off(押鍵/離鍵)状態を格納するためのiNoteOn[pit]にon状態であることを示す1を格納するとともに、そのノート番号の鍵が演奏操作された数をカウントするためのiUserPlayPitch[pit]をインクリメントし(ステップS71)、図2のステップS3に戻る。
図4は、演奏評価処理の実行中に所定時間周期で実行されるタイマー処理の流れを示すフローチャートである。タイマー処理は、CPU11とROM13に記憶されているプログラムとの協働により実行される。
ステップS22においては、1が格納されているiNoteOn[pit]の個数(すなわち、現在on状態となっている音の個数)をポリ数iPolyとして算出(取得)する。
iPoly=0であると判断した場合(ステップS24;YES)、CPU11は、演奏開始前であるか否かを判断する(ステップS28)。
例えば、CPU11は、演奏評価処理が開始されてから一度もノートonメッセージが受信されていない状態で所定時間が経過した場合に、演奏開始前であると判断する。
演奏開始前であると判断した場合(ステップS28;YES)、CPU11は、演奏開始前の、演奏を促すような歓声や拍手の反応音の出力を出力部17に指示して出力させ(ステップS29)、タイマー処理を終了する。
例えば、CPU11は、演奏開始後、iPoly=0の状態が所定時間以上経過した場合に、演奏終了と判断する。
演奏終了ではないと判断した場合(ステップS30;NO)、CPU11は、タイマー処理を終了する。
演奏終了であると判断した場合(ステップS30;YES)、CPU11は、演奏終了時の、歓声や拍手等の反応音の出力を出力部17に指示して出力させ(ステップS31)、タイマー処理を終了する。
ここで、ステップS25において、iNoteCnt(ノートonメッセージのカウント用変数)と比較する値である32は、後述する速弾き評価処理で評価を行うために必要なカウント数として予め定められた値であるが、一例であり、これに限定されるものではない。
図5は、速弾き評価処理の流れを示すフローチャートである。速弾き評価処理は、CPU11とROM13に記憶されているプログラムとの協働により実行される。
次いで、CPU11は、doPoly = iSumPoly / iTimeUnitCnt(タイマー処理ごとのポリ数の平均)を算出する(ステップS602)。
次いで、CPU11は、doVel = iSumVelocity / iNoteCnt(ベロシティの平均)を算出する(ステップS603)。
doHighSpeedValue = ( ( doIntvl × A0 + B0 ) + ( A1 × iRepeatNoteCnt + B1 ) ) / 2
…(式1)
doHighSpeedValueの算出式におけるA0、B0、A1、B1は、経験的に求められた係数である。例えば、doIntvlが100msecの時に、doIntvl × A0 + B0=100(点)、doIntvlが180msecの時に、doIntvl × A0 + B0=0(点)になるように、係数A0=100/(100-180), B0=-A0×180が設定される。また、iRepeatNoteCntが32の時に、A1 × iRepeatNoteCnt + B1=100(点)となり、iRepeatNoteCntが8の時に、A1 × iRepeatNoteCnt + B1=0(点)となるように、係数A1=100/(32-8), B1=-A1×8が設定される。 doHighSpeedValueの最大値は、100(点)である。
doChordRepeatValue = ( ( doIntvl × A0 + B0 ) + ( A1 × iRepeatNoteCnt + B1 ) + ( A2 × doPoly + B2 ) ) / 3 …(式2)
doChordRepeatValueの算出式におけるA0、B0、A1、B1 A2、B2は、経験的に求められた係数である。例えば、上述のように、A0=100/(100-180), B0=-A0×180,A1=100/(32-8), B1=-A1×8とする。また、doPolyが4.0の時に、A2 × doPoly + B2=100(点)となり、doPolyが1.5の時に、A2 × doPoly + B2=0(点)となるように、係数A2=100.0/(4.0-1.5)、B2=-A2×1.5が設定される。 doChordRepeatValueの最大値は、100(点)である。
まず、CPU11は、変数iに0をセットする(ステップS606)。
次いで、CPU11は、i>=12であるか否かを判断する(ステップS607)。
ここで、12は、調の種類であり、構成音が異なる調(キー)の数である。なお、本実施形態において、調(キー)には0~11の番号が付与されている。
なお、調(キー)ごとの構成音データをROM13に記憶しておき、ステップS608では、評価値の算出対象のキーiに対応する構成音データをROM13から読み出して取得することとしてもよい。
max < diaValueであると判断した場合(ステップS609;YES)、CPU11は、変数maxにdiaValueを格納し、変数maxmismatchにmismatchを格納し(ステップS610)、ステップS611に移行する。
max < diaValueではないと判断した場合(ステップS609;NO)、CPU11は、ステップS611に移行する。
i>=12と判断された場合(ステップS606;YES)、CPU11は、以下の(式3)によりdoUserPitchClassValue(調性の評価値)を算出する(ステップS612)。
doUserPitchClassValue = 100 × maxmismatch / max …(式3)
doHighSpeedValue>=10であると判断した場合(ステップS613;YES)、CPU11は、歓声等からなる反応音タイプ1を選択し、反応音タイプ1の音声データをROM13から読み出し(ステップS614)、ステップS619に移行する。
doHighSpeedValueが10より小さいと判断した場合(ステップS613;NO)、CPU11は、doChordRepeatValue>=1であるか否かを判断する(ステップS615)。doChordRepeatValue>=1であると判断した場合(ステップS615;YES)、CPU11は、掛け声等からなる反応音タイプ2を選択し、反応音タイプ2の音声データをROM13から読み出し(ステップS616)、ステップS619に移行する。
doChordRepeatValueが1より小さいと判断した場合(ステップS615;NO)、CPU11は、doUserPitchClassValue>=40であるか否かを判断する(ステップS617)。doUserPitchClassValue>=40であると判断した場合(ステップS617;YES)、CPU11は、指笛等からなる反応音タイプ3を選択し、反応音タイプ3の音声データをROM13から読み出し(ステップS618)、ステップS619に移行する。
なお、ステップS613、ステップS615、ステップS617において用いられている予め定められた閾値は、一例であり、上述したものに限定されない。なお、閾値の設定により反応の出やすさをコントロールできる。
反応音の長さ=iNoteCnt × A + B(A, Bは定数) …(式4)
反応音の強さ=C × iSumVelocity/iNoteCnt(Cは定数) …(式5)
ここで、反応音1~3は、歓喜を表す音声(例えば、上述の歓声、掛け声、指笛等)としているが、拍手等の歓喜を表す効果音であってもよく、上記のものに限定されない。
ステップS622においては、iRepeatNoteCnt、iSumInterval、iNoteCnt、iSumVelocity、iUserPlayPitch[ ]、iTimeUnitCnt、iSumPoly、maxをリセットする。
正解の音高データとは、演奏前から予めメモリに記憶されている楽曲の音高データである。通常、ユーザが正しく演奏できているか否かを評価する場合には、ユーザが演奏することで入力される音高データと正解の音高データとの一致、不一致を判断する。本実施形態では、このような判断を実行していない。従って、ユーザがどのように電子楽器を演奏したとしても、すなわちユーザがその場で作曲し、演奏する即興演奏であったとしても、演奏は評価される。
図4のステップS27において、CPU11は、正確さ評価処理を実行する(ステップS27)。
正確さ評価処理は、演奏の正確さを、ノートon時刻差(すなわち、演奏操作間隔)のヒストグラム(iDistNoteOn[elapsed])から求めるものである。例えば、一定テンポ120bpmで、4分音符だけを演奏した場合は、ヒストグラムは、0.5秒の箇所のみにピークが現れる。4分音符を演奏していてもテンポが揺らぐ場合は、0.5秒の周辺にある程度の頻度の箇所が現れる。そこで、正確さ評価処理は、ヒストグラムのピークを探し、そのピークの急峻さを正確さとして評価する。
次いで、CPU11は、i>=iDistNoteOn[elapsed]の個数、すなわち、変数iがelapsed(ノートon時間差、すなわち演奏時間間隔)のヒストグラムのビンの個数以上であるか否かを判断する(ステップS702)。
変数i>=iDistNoteOn[elapsed]の個数、すなわち、elapsedのヒストグラムのビンの個数以上ではないと判断した場合(ステップS702;NO)、CPU11は、iDistNoteOn[i](ヒストグラムのi番目のビンの頻度)がピークであるか否かを判断する(ステップS703)。
例えば、iDistNoteOn[i]の値がiDistNoteOn[i-1]及びiDistNoteOn[i+1]より大きい場合、iDistNoteOn[i]がピークであると判断する。
j<0又はj>i+IPeakAreaではないと判断した場合(ステップS706;NO)、CPU11は、i番めのビン(ピーク)の頻度に対するj番めのビンの頻度の比であるdoDivを、以下の(式6)により算出する(ステップS707)。
doDiv = ( iDistNoteOn[i] - iDistNoteOn[j] ) / iDistNoteOn[i] …(式6)
ステップS706において、j<0又はj>i+IPeakAreaであると判断した場合(ステップS706;YES)、CPU11は、変数iをインクリメントし(ステップS710)、ステップS702に戻る。
doValueAccuracy =doVal / iPeakCnt …(式7)
doValueAccuracy が所定の閾値、例えば12以上であると判断した場合(ステップS712;YES)、CPU11は、正確性が高いと判断して予め定められた反応音(歓声や拍手等)の出力を出力部17に指示して出力させ(ステップS713)、ステップS714に移行する。
doValueAccuracy が所定の閾値、例えば12より小さいと判断した場合(ステップS712;NO)、CPU11は、ステップS714に移行する。
図8は、ノートon時間差(演奏操作間隔)の頻度を表すiDistNoteOn[elapsed]を可視化したヒストグラムの一例を示す図である。
上述のように、例えば、一定テンポ120bpmで、4分音符だけを演奏した場合は、ヒストグラムは、0.5秒の箇所のみにピークが現れる。4分音符を演奏していてもテンポが揺らぐ場合は、0.5秒の周辺にある程度の頻度の箇所が現れる。よって、ノートon時間差(演奏操作間隔)のヒストグラムを確認することによって、ユーザは、自分の演奏がどのぐらいのテンポでどの程度の揺らぎがあるのかを目視で確認できる。例えば、テンポ120で演奏する練習をした場合に、それができたか否かをこのヒストグラムにより確認することができる。
また、ヒストグラムを表示する際には、図8に示すように、ピークの位置が、テンポいくつに相当するのかが瞬時にわかるように表示すると良い。これによりユーザは、自身の演奏テンポを確認することが可能となる。また、ヒストグラムをリセットする手段を追加することとしてもよいし、過去の一定時間の演奏に対してヒストグラムを生成して可視化することとしてもよいし、過去の一定の演奏音符数に対してヒストグラムを生成して可視化するようにしてもよい。
したがって、ユーザが演奏することで入力される音高データと正解の音高データとの一致、不一致を判断することなく演奏を評価することができるので、仮に即興演奏であっても良好に演奏を評価することができる。また、評価に対応する反応音(歓喜を表す音声や効果音等)を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。
例えば、CPU11は、判定された楽曲の調の構成音データと複数のノートデータに基づいて、楽曲の調の構成音に対応する演奏操作子が操作された回数に対する、楽曲の調の構成音以外の音に対応する演奏操作子が操作された回数の比率を算出し、算出した比率に基づいて、調性の評価値を決定する。
したがって、仮に即興演奏であっても、調性に基づき演奏を良好に評価することができる。また、評価に対応する反応音を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。
したがって、仮に即興演奏であっても、演奏における速弾きを良好に評価することができる。また、評価に対応する反応音を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。
したがって、仮に即興演奏であっても、演奏における和音の速弾きを良好に評価することができる。また、評価に対応する反応音を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。
例えば、上記実施形態においては、速弾きの評価値、和音の速弾きの評価値、調性の評価値が所定の閾値以上である場合に、歓喜を表す音声や効果音等の反応音を出力することとしたが、例えば、各評価値に閾値を複数設け、どの閾値以上であるかによって反応音を変化させてもよい。例えば、第1の閾値<第2の閾値として、評価値が第1の閾値以上第2の閾値未満の場合よりも第2の閾値以上の場合のほうが、より激しい反応音を出力することとしてもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
コンピューターに、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
処理を実行させるプログラム。
<請求項2>
前記複数の演奏操作に応じた複数のノートデータと少なくとも1つの調の構成音データとに基づいて、楽曲の調を判定し、
前記評価において、判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
前記指示において、前記調性の評価値が閾値に達したタイミングに応じて、前記調性の評価に対応する反応音の出力を指示する、
請求項1に記載のプログラム。
<請求項3>
判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、前記楽曲の調の構成音に対応する演奏操作子が操作された回数に対する前記楽曲の調の構成音以外の音に対応する演奏操作子が操作された回数の比率を算出し、
算出した前記比率に基づいて、前記調性の評価値を決定する、
請求項2に記載のプログラム。
<請求項4>
前記複数の演奏操作に応じた複数のノートデータに基づいて、前記設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも1つを取得し、
前記評価において、取得された前記演奏操作間隔及び演奏操作回数の少なくとも1つに基づいて、前記スピードの評価である速弾きの評価値を決定し、
前記指示において、前記速弾きの評価値が閾値に達したタイミングに応じて、前記速弾きの評価に対応する反応音の出力を指示する、
請求項1~3のいずれか一項に記載のプログラム。
<請求項5>
前記複数の演奏操作に応じた複数のノートデータに基づいて、同時発音数を取得し、
前記評価において、さらに前記同時発音数に基づいて、和音の速弾きの評価値を決定し、
前記指示において、前記和音の速弾きの評価値が閾値に達したタイミングに応じて、前記和音の速弾きの評価に対応する反応音の出力を指示する、
請求項4に記載のプログラム。
<請求項6>
予め定められたタイミングごとに前記評価を行う、
請求項1~5のいずれか一項に記載のプログラム。
<請求項7>
複数の演奏操作に応じて電子楽器から出力される複数のノートデータを取得する取得部と、
プロセッサと、を備え、
前記プロセッサは、
前記複数の演奏操作に応じた複数のノートデータに基づいて、少なくとも、設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
情報処理装置。
<請求項8>
請求項7に記載の情報処理装置と、
前記情報処理装置にノートデータを出力する電子楽器と、
を備える演奏評価システム。
<請求項9>
コンピューターが、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
演奏評価方法。
1 情報処理装置
11 CPU
12 RAM
13 ROM
14 入力部
15 表示部
16 MIDIインターフェース
17 出力部
2 電子楽器
21 キーボード
22 音源・サウンドシステム
23 MIDIインターフェース
Claims (9)
- コンピューターに、
複数の演奏操作に応じた複数のノートデータに基づいて、楽曲の調を判定し、
判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
前記調性の評価値が閾値に達したタイミングに応じて、評価に対応する反応音の出力を出力手段に指示する、
処理を実行させるプログラム。 - 判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、前記楽曲の調の構成音に対応する演奏操作子が操作された回数に対する前記楽曲の調の構成音以外の音に対応する演奏操作子が操作された回数の比率を算出し、
算出した前記比率に基づいて、前記調性の評価値を決定する、
請求項1に記載のプログラム。 - コンピューターに、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも1つを取得し、
取得された前記演奏操作間隔及び演奏操作回数の少なくとも1つに基づいて、演奏操作のスピードを評価する速弾きの評価値を決定し、
前記速弾きの評価値が閾値に達したタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
処理を実行させるプログラム。 - 前記複数の演奏操作に応じた複数のノートデータに基づいて、同時発音数を取得し、
前記同時発音数に基づいて、和音の速弾きの評価値を決定し、
前記指示において、前記和音の速弾きの評価値が閾値に達したタイミングに応じて、前記和音の速弾きの評価に対応する反応音の出力を指示する、
請求項3に記載のプログラム。 - 複数の演奏操作に応じて電子楽器から出力される複数のノートデータを取得する取得部と、
プロセッサと、を備え、
前記プロセッサは、
複数の演奏操作に応じた複数のノートデータに基づいて、楽曲の調を判定し、
判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
前記調性の評価値が閾値に達したタイミングに応じて、評価に対応する反応音の出力を出力手段に指示する、
情報処理装置。 - 複数の演奏操作に応じて電子楽器から出力される複数のノートデータを取得する取得部と、
プロセッサと、を備え、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも1つを取得し、
取得された前記演奏操作間隔及び演奏操作回数の少なくとも1つに基づいて、演奏操作のスピードを評価する速弾きの評価値を決定し、
前記速弾きの評価値が閾値に達したタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
情報処理装置。 - 請求項5又は6に記載の情報処理装置と、
前記情報処理装置にノートデータを出力する電子楽器と、
を備える演奏評価システム。 - コンピューターが、
複数の演奏操作に応じた複数のノートデータに基づいて、楽曲の調を判定し、
判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
前記調性の評価値が閾値に達したタイミングに応じて、評価に対応する反応音の出力を出力手段に指示する、
演奏評価方法。 - コンピューターが、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を1つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも1つを取得し、
取得された前記演奏操作間隔及び演奏操作回数の少なくとも1つに基づいて、演奏操作のスピードを評価する速弾きの評価値を決定し、
前記速弾きの評価値が閾値に達したタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
演奏評価方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021141323A JP7414048B2 (ja) | 2021-08-31 | 2021-08-31 | プログラム、情報処理装置、演奏評価システム及び演奏評価方法 |
US17/877,330 US20230060290A1 (en) | 2021-08-31 | 2022-07-29 | Method, information processing apparatus and performance evaluation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021141323A JP7414048B2 (ja) | 2021-08-31 | 2021-08-31 | プログラム、情報処理装置、演奏評価システム及び演奏評価方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023034873A JP2023034873A (ja) | 2023-03-13 |
JP7414048B2 true JP7414048B2 (ja) | 2024-01-16 |
Family
ID=85287377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021141323A Active JP7414048B2 (ja) | 2021-08-31 | 2021-08-31 | プログラム、情報処理装置、演奏評価システム及び演奏評価方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230060290A1 (ja) |
JP (1) | JP7414048B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007236765A (ja) | 2006-03-10 | 2007-09-20 | Nintendo Co Ltd | 演奏装置および演奏制御プログラム |
JP2015191194A (ja) | 2014-03-28 | 2015-11-02 | パイオニア株式会社 | 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム |
-
2021
- 2021-08-31 JP JP2021141323A patent/JP7414048B2/ja active Active
-
2022
- 2022-07-29 US US17/877,330 patent/US20230060290A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007236765A (ja) | 2006-03-10 | 2007-09-20 | Nintendo Co Ltd | 演奏装置および演奏制御プログラム |
JP2015191194A (ja) | 2014-03-28 | 2015-11-02 | パイオニア株式会社 | 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230060290A1 (en) | 2023-03-02 |
JP2023034873A (ja) | 2023-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8735709B2 (en) | Generation of harmony tone | |
US10803845B2 (en) | Automatic performance device and automatic performance method | |
CN105529024A (zh) | 音韵信息合成装置、语音合成装置以及音韵信息合成方法 | |
CN111602193A (zh) | 用于处理乐曲的演奏的信息处理方法和装置 | |
JP5541072B2 (ja) | 楽音信号処理装置及びプログラム | |
JP6175812B2 (ja) | 楽音情報処理装置及びプログラム | |
JP5188863B2 (ja) | 電子楽器 | |
JP6288197B2 (ja) | 評価装置及びプログラム | |
JP7414048B2 (ja) | プログラム、情報処理装置、演奏評価システム及び演奏評価方法 | |
JP6102076B2 (ja) | 評価装置 | |
JP2006251697A (ja) | カラオケ装置 | |
JP5678935B2 (ja) | 楽器演奏評価装置、楽器演奏評価システム | |
JP2023016956A (ja) | 電子楽器、伴奏音指示方法、プログラム、及び伴奏音自動生成装置 | |
JP2019101148A (ja) | 通信カラオケシステム | |
JP2007078724A (ja) | 電子楽器 | |
JP4506147B2 (ja) | 演奏再生装置及び演奏再生制御プログラム | |
JP5419171B2 (ja) | 電子楽器 | |
JP2003058153A (ja) | 演奏教習装置及び演奏教習処理のプログラム | |
JP4748593B2 (ja) | 電子楽器 | |
JP3775249B2 (ja) | 自動作曲装置及び自動作曲プログラム | |
JP4595851B2 (ja) | 演奏データ編集装置及びプログラム | |
JP6036800B2 (ja) | 音信号生成装置及びプログラム | |
JP2016057389A (ja) | コード決定装置及びコード決定プログラム | |
JP6650248B2 (ja) | 歌唱評価方法、歌唱評価プログラム、歌唱評価装置、および歌唱評価システム | |
JP4624879B2 (ja) | 楽音情報発生プログラムおよび楽音情報発生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7414048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |