WO2021075014A1

WO2021075014A1 - 演奏解析方法、演奏解析装置およびプログラム

Info

Publication number: WO2021075014A1
Application number: PCT/JP2019/040813
Authority: WO
Inventors: 陽前澤
Original assignee: ヤマハ株式会社
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2021-04-22
Also published as: JPWO2021075014A1; JP7327497B2; US20220238089A1; CN114556465A

Abstract

演奏解析装置は、演奏された音高を表す入力データの時系列を取得する入力データ取得部と、音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記取得された入力データの時系列を入力することで、前記取得された入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する出力データ生成部とを具備する。

Description

演奏解析方法、演奏解析装置およびプログラム

　本開示は、演奏を解析する技術に関する。

　例えば鍵盤楽器のサスティンペダルによる持続効果等の各種の音響効果を、楽器の演奏音に付加する構成が、従来から提案されている。例えば特許文献１には、鍵盤楽器における鍵操作のタイミングとペダル操作のタイミングとが規定された楽曲データを利用して、利用者による演奏に並行してペダルを自動的に駆動する構成が開示されている。

特開２０１７－１０２４１５号公報

　しかし、特許文献１の技術においては、ペダル操作のタイミングを規定する楽曲データを事前に用意する必要がある。したがって、楽曲データが用意されていない楽曲を演奏する場面では、ペダルを自動的に駆動できないという課題がある。なお、以上の説明においてはペダルの動作により付加される持続効果に着目したが、持続効果以外の各種の音響効果を演奏音に付加する場面でも同様の課題が想定される。以上の事情を考慮して、本開示のひとつの態様は、音響効果を規定する楽曲データを必要とすることなく、利用者が演奏した音高に対して適切に音響効果を付加することを目的とする。

　以上の課題を解決するために、本開示のひとつの態様に係る演奏解析方法は、演奏された音高を表す入力データの時系列を取得し、音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記入力データの時系列を入力することで、前記入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する。

　本開示のひとつの態様に係る演奏解析装置は、演奏された音高を表す入力データの時系列を取得する入力データ取得部と、音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記入力データの時系列を入力することで、前記入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する出力データ生成部とを具備する。

　本開示のひとつの態様に係るプログラムは、演奏された音高を表す入力データの時系列を取得する入力データ取得部、および、音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記入力データの時系列を入力することで、前記入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する出力データ生成部、としてコンピュータを機能させる。

第１実施形態に係る演奏システムの構成を例示するブロック図である。演奏システムの機能的な構成を例示するブロック図である。入力データの模式図である。出力データ生成部の構成を例示するブロック図である。推定モデルの具体的な構成を例示するブロック図である。演奏解析処理の具体的な手順を例示するフローチャートである。学習処理部による機械学習の説明図である。学習処理の具体的な手順を例示するフローチャートである。第２実施形態に係る演奏システムの構成を例示するブロック図である。第３実施形態における出力データ生成部の構成を例示するブロック図である。第４実施形態における出力データ生成部の構成を例示するブロック図である。第５実施形態における出力データ生成部の構成を例示するブロック図である。

Ａ：第１実施形態
　図１は、第１実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、利用者が所望の楽曲を演奏するための電子楽器（具体的には電子鍵盤楽器）である。演奏システム１００は、鍵盤１１とペダル機構１２と制御装置１３と記憶装置１４と操作装置１５と放音装置１６とを具備する。なお、演奏システム１００は、単体の装置で実現されるほか、相互に別体で構成された複数の装置でも実現される。

　鍵盤１１は、相異なる音高に対応する複数の鍵の配列で構成される。複数の鍵の各々は、利用者による操作を受付ける操作子である。利用者は、各鍵を順次に操作（押鍵または離鍵）することで所望の楽曲を演奏する。鍵盤１１に対する操作で利用者が順次に指定する音高を有する音を、以下の説明においては「演奏音」と表記する。

　ペダル機構１２は、鍵盤１１を利用した演奏を補助するための機構である。具体的には、ペダル機構１２は、サスティンペダル１２１と駆動機構１２２とを具備する。サスティンペダル１２１は、演奏音に対する持続効果の付加を指示するために利用者が操作する操作子である。具体的には、サスティンペダル１２１は、利用者の足により踏込まれる。持続効果は、離鍵後にも演奏音を持続させる音響効果である。駆動機構１２２は、サスティンペダル１２１を駆動する。駆動機構１２２は、例えばモータまたはソレノイド等のアクチュエータで構成される。以上の説明から理解される通り、第１実施形態のサスティンペダル１２１は、利用者により操作されるほか、駆動機構１２２により操作される。なお、演奏システム１００に対してペダル機構１２を着脱可能な構成も想定される。

　制御装置１３は、演奏システム１００の各要素を制御する。制御装置１３は、単数または複数のプロセッサで構成される。例えば、制御装置１３は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。具体的には、制御装置１３は、鍵盤１１およびペダル機構１２に対する操作に応じた音響信号Ｖを生成する。

　放音装置１６は、制御装置１３が生成した音響信号Ｖが表す音響を放音する。放音装置１６は、例えばスピーカまたはヘッドホンである。なお、音響信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器と、音響信号Ｖを増幅する増幅器とについては、便宜的に図示が省略されている。操作装置１５は、利用者による操作を受付ける入力機器である。操作装置１５は、例えばタッチパネルまたは複数の操作子である。

　記憶装置１４は、制御装置１３が実行するプログラムと制御装置１３が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１４は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成される。なお、複数種の記録媒体の組合せにより記憶装置１４を構成してもよい。また、演奏システム１００に着脱可能な可搬型の記録媒体、または、演奏システム１００が通信可能な外部記録媒体（例えばオンラインストレージ）を、記憶装置１４として利用してもよい。

　図２は、制御装置１３の機能的な構成を例示するブロック図である。制御装置１３は、記憶装置１４に記憶されたプログラムを実行することで、音響信号Ｖを生成するための複数の機能（演奏処理部２１，音源部２２，入力データ取得部２３，出力データ生成部２４，効果制御部２５および学習処理部２６）を実現する。なお、制御装置１３の機能の一部または全部を、例えばスマートフォン等の情報端末により実現してもよい。

　演奏処理部２１は、利用者による演奏の内容を表す演奏データＤを生成する。演奏データＤは、鍵盤１１を利用して利用者が演奏した音高の時系列を表す時系列データである。例えば、演奏データＤは、利用者が演奏した音高および強度を音符毎に指定するＭＩＤＩ（Musical Instrument Digital Interface）データである。

　音源部２２は、演奏データＤに応じた音響信号Ｖを生成する。音響信号Ｖは、演奏データＤが表す音高の時系列に対応した演奏音の波形を表す時間信号である。また、音源部２２は、サスティンペダル１２１に対する操作の有無に応じて演奏音に対する持続効果を制御する。具体的には、音源部２２は、サスティンペダル１２１が操作された状態においては、持続効果が付加された演奏音の音響信号Ｖを生成し、サスティンペダル１２１が解放された状態においては、持続効果が付加されていない演奏音の音響信号Ｖを生成する。なお、音響信号Ｖの生成に専用される電子回路により音源部２２を実現してもよい。

　入力データ取得部２３は、演奏データＤから入力データＸの時系列を生成する。入力データＸは、利用者が演奏した音高を表すデータである。時間軸上の単位期間毎に入力データＸが順次に生成される。単位期間は、楽曲の１個の音符の継続長よりも充分に短い時間長（例えば０.１秒）の期間である。

　図３は、１個の入力データＸの模式図である。入力データＸは、相異なる音高（＃１，＃２，…，＃Ｎ）に対応するＮ個の要素Ｑで構成されるＮ次元のベクトルである。要素Ｑの個数Ｎは２以上の自然数（例えばＮ＝１２８）である。各単位期間に対応する入力データＸのＮ個の要素Ｑのうち、当該単位期間において利用者が演奏している音高に対応する要素Ｑは１に設定され、当該単位期間において利用者が演奏していない音高に対応する要素Ｑは０に設定される。複数の音高が並列に演奏されている単位期間においては、Ｎ個の要素Ｑのうち、演奏中の複数の音高にそれぞれ対応する複数の要素Ｑが１に設定される。なお、Ｎ個の要素Ｑのうち利用者が演奏している音高に対応する要素Ｑを０に設定し、利用者が演奏していない音高に対応する要素Ｑを１に設定してもよい。

　図２の出力データ生成部２４は、入力データＸの時系列から出力データＺの時系列を生成する。単位期間毎に出力データＺが生成される。すなわち、各単位期間の入力データＸから当該単位期間の出力データＺが生成される。

　出力データＺは、演奏音の持続効果を制御するためのデータである。具体的には、出力データＺは、演奏音に持続効果を付加するか否かを表す２値データである。例えば、出力データＺは、演奏音に持続効果を付加すべき場合には１に設定され、持続効果を付加しない場合には０に設定される。

　効果制御部２５は、ペダル機構１２における駆動機構１２２を出力データＺの時系列に応じて制御する。具体的には、出力データＺの数値が１である場合、効果制御部２５は、サスティンペダル１２１が操作された状態（すなわち踏込まれた状態）に駆動されるように駆動機構１２２を制御する。他方、出力データＺの数値が０である場合、効果制御部２５は、サスティンペダル１２１が解放されるように駆動機構１２２を制御する。例えば、効果制御部２５は、出力データＺの数値が０から１に変化した場合にサスティンペダル１２１の操作を駆動機構１２２に指示し、出力データＺの数値が１から０に変化した場合にサスティンペダル１２１の解放を駆動機構１２２に指示する。サスティンペダル１２１の駆動は、例えばＭＩＤＩのコントロールチェンジにより駆動機構１２２に指示される。以上の説明から理解される通り、第１実施形態の出力データＺは、サスティンペダル１２１の操作／解放を表すデータとも表現される。

　鍵盤楽器の演奏においてサスティンペダル１２１を操作すべきか否かは、当該鍵盤楽器において演奏される音高の時系列（すなわち楽曲の楽譜の内容）に応じて決定されるという一般的な傾向がある。例えば、低音が演奏された直後にはサスティンペダル１２１が一時的に解放されるという傾向がある。また、低音域内で旋律が演奏される場合にはサスティンペダル１２１が小刻みに操作／解放されるという傾向もある。演奏されるコードが変更される時点でサスティンペダル１２１が解放されるという傾向もある。以上のような傾向を考慮して、出力データ生成部２４による出力データＺの生成には、演奏される音高の時系列とサスティンペダル１２１の操作／解放との関係を学習した推定モデルＭが利用される。

　図４は、出力データ生成部２４の構成を例示するブロック図である。出力データ生成部２４は、推定処理部２４１と閾値処理部２４２とを具備する。推定処理部２４１は、推定モデルＭを利用して入力データＸの時系列から暫定値Ｙの時系列を生成する。推定モデルＭは、入力データＸを入力として暫定値Ｙを出力する統計的推定モデルである。暫定値Ｙは、演奏音に付加されるべき持続効果の度合を表す指標である。暫定値Ｙは、サスティンペダル１２１が操作されるべき度合（すなわち踏込量）を表す指標とも表現される。暫定値Ｙは、例えば０以上かつ１以下の範囲内の数値に設定される（０≦Ｙ≦１）。

　閾値処理部２４２は、暫定値Ｙと閾値Ｙthとを比較し、当該比較の結果に応じた出力データＺを生成する。閾値Ｙthは、０を上回り１を下回る範囲内の所定値（０＜Ｙth＜１）に設定される。具体的には、暫定値Ｙが閾値Ｙthを上回る場合、閾値処理部２４２は、出力データＺの数値を１に設定する。他方、暫定値Ｙが閾値Ｙthを下回る場合、閾値処理部２４２は、出力データＺの数値を０に設定する。以上の説明から理解される通り、出力データ生成部２４は、入力データＸの時系列を推定モデルＭに入力することで出力データＺの時系列を生成する。

　図５は、推定モデルＭの具体的な構成を例示するブロック図である。推定モデルＭは、第１処理部３１と第２処理部３２と第３処理部３３とを具備する。第１処理部３１は、入力データＸからＫ次元（Ｋは２以上の自然数）の中間データＷを生成する。第１処理部３１は、例えば再帰型ニューラルネットワークである。具体的には、第１処理部３１は、Ｋ個の隠れユニットを含む長短期記憶（ＬＳＴＭ：Long Short Term Memory）で構成される。なお、縦続に接続された複数の長短期記憶により第１処理部３１を構成してもよい。

　第２処理部３２は、Ｋ次元の中間データＷを１次元の暫定値Ｙ0に圧縮する全結合層である。第３処理部３３は、暫定値Ｙ0を所定の範囲内（０≦Ｙ≦１）の暫定値Ｙに変換する。第３処理部３３が暫定値Ｙ0を暫定値Ｙに変換する処理には、例えばシグモイド関数等の各種の変換関数が利用される。

　以上に例示した推定モデルＭは、入力データＸから暫定値Ｙを生成する演算を制御装置１３に実行させるプログラムと、当該演算に適用される複数の係数（具体的には加重値およびバイアス）との組合せで実現される。プログラムと複数の係数とは記憶装置１４に記憶される。

　図６は、制御装置１３が利用者による演奏を解析する処理（以下「演奏解析処理」という）Ｓaの具体的な手順を例示するフローチャートである。演奏解析処理Ｓaは単位期間毎に実行される。また、演奏解析処理Ｓaは、利用者による楽曲の演奏に並行して実時間的に実行される。すなわち、演奏処理部２１による演奏データＤの生成と音源部２２による音響信号Ｖの生成とに並行して演奏解析処理Ｓaが実行される。演奏解析処理Ｓaは、「演奏解析方法」の一例である。

　入力データ取得部２３は、演奏データＤから入力データＸを生成する（Ｓa1）。出力データ生成部２４は、入力データＸから出力データＺを生成する（Ｓa2およびＳa3）。具体的には、出力データ生成部２４（推定処理部２４１）は、推定モデルＭを利用して入力データＸから暫定値Ｙを生成する（Ｓa2）。出力データ生成部２４（閾値処理部２４２）は、暫定値Ｙと閾値Ｙthとを比較した結果に応じた出力データＺを生成する（Ｓa3）。効果制御部２５は、出力データＺに応じて駆動機構１２２を制御する（Ｓa4）。

　以上に説明した通り、第１実施形態においては、利用者が演奏した音高を表す入力データＸの時系列を推定モデルＭに入力することで、当該入力データＸが表す音高の演奏音における持続効果を制御するための出力データＺの時系列が生成される。したがって、サスティンペダル１２１の操作／解放のタイミングを規定する楽曲データを必要とせずに、演奏音における持続効果を適切に制御可能な出力データＺを生成できる。

　図２の学習処理部２６は、前述の推定モデルＭを機械学習により構築する。図７は、学習処理部２６による機械学習の説明図である。学習処理部２６は、推定モデルＭにおける複数の係数の各々を機械学習により設定する。推定モデルＭの機械学習には複数の訓練データＴが利用される。

　複数の訓練データＴの各々は、訓練用入力データＴxと訓練用出力データＴyとを相互に対応させた既知データである。訓練用入力データＴxは、図３に例示した入力データＸと同様に、相異なる音高に対応するＮ個の要素Ｑにより１個以上の音高を表すＮ次元のベクトルである。訓練用出力データＴyは、出力データＺと同様に、演奏音に持続効果を付加するか否かを表す２値データである。具体的には、各訓練データＴにおける訓練用出力データＴyは、当該訓練データＴの訓練用入力データＴxが表す音高の演奏音に持続効果が付加されるべきか否かを表す。

　学習処理部２６は、以上に説明した複数の訓練データＴを利用した教師あり機械学習により推定モデルＭを構築する。図８は、学習処理部２６が推定モデルＭを構築する処理（以下「学習処理」という）Ｓbの具体的な手順を例示するフローチャートである。例えば操作装置１５に対する利用者からの指示を契機として学習処理Ｓbが開始される。

　学習処理部２６は、複数の訓練データＴの何れか（以下「選択訓練データＴ」という）を選択する（Ｓb1）。学習処理部２６は、選択訓練データＴの訓練用入力データＴxを暫定的な推定モデルＭに入力することで暫定値Ｐを生成する（Ｓb2）。学習処理部２６は、暫定値Ｐと選択訓練データＴの訓練用出力データＴyの数値との誤差Ｅを算定する（Ｓb3）。学習処理部２６は、誤差Ｅが低減されるように推定モデルＭの複数の係数を更新する（Ｓb4）。学習処理部２６は、所定の終了条件が成立するまで以上の処理を反復する（Ｓb5：NO）。終了条件は、例えば、誤差Ｅが所定の閾値を下回ること、または、所定個の訓練データＴを利用して推定モデルＭの複数の係数を更新したことである。終了条件が成立した場合（Ｓb5：YES）、学習処理部２６は学習処理Ｓbを終了する。

　以上の説明から理解される通り、推定モデルＭは、複数の訓練データＴにおける訓練用入力データＴxと訓練用出力データＴyとの間に潜在する関係を学習する。すなわち、学習処理部２６による機械学習後の推定モデルＭは、未知の入力データＸに対して当該関係のもとで統計的に妥当な暫定値Ｙを出力する。以上の説明から理解される通り、推定モデルＭは、訓練用入力データＴxと訓練用出力データＴyとの関係を学習した学習済モデルである。

Ｂ：第２実施形態
　第２実施形態を説明する。なお、以下に例示する各構成において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

　図９は、第２実施形態における演奏システム１００の機能的な構成を例示するブロック図である。第１実施形態の効果制御部２５は、前述の通り、出力データＺの時系列に応じて駆動機構１２２を制御する。第２実施形態の効果制御部２５は、出力データＺの時系列に応じて音源部２２を制御する。第２実施形態の出力データＺは、第１実施形態と同様に、演奏音に持続効果を付加するか否かを表す２値データである。

　音源部２２は、音響信号Ｖが表す演奏音に持続効果を付加するか否かを切替可能である。出力データＺが持続効果の付加を表す場合、効果制御部２５は、演奏音に持続効果が付加されるように音源部２２を制御する。他方、持続効果を演奏音に付加しないことを出力データＺが表す場合、効果制御部２５は、演奏音に持続効果が付加されないように音源部２２を制御する。第２実施形態においても第１実施形態と同様に、利用者が演奏する音高の時系列に対して適切な持続効果が付加された演奏音を生成できる。また、第２実施形態によれば、演奏システム１００がペダル機構１２を具備しない構成においても、持続効果が適切に付加された演奏音を生成できる。

Ｃ：第３実施形態
　図１０は、第３実施形態における出力データ生成部２４の構成を例示するブロック図である。第３実施形態の出力データ生成部２４には、利用者が演奏する楽曲の音楽ジャンルＧが指示される。例えば、操作装置１５に対する操作で利用者が指定した音楽ジャンルＧが、閾値処理部２４２に指示される。音楽ジャンルＧは、楽曲を音楽的な観点で分類した区分（種別）である。例えばロック，ポップス，ジャズ，ダンスまたはブルース等の音楽的な区分が音楽ジャンルＧの典型例である。持続効果が付加される頻度は音楽ジャンルＧ毎に相違するという傾向がある。

　出力データ生成部２４（具体的には閾値処理部２４２）は、音楽ジャンルＧに応じて閾値Ｙthを制御する。すなわち、第３実施形態における閾値Ｙthは可変値である。例えば、持続効果が付加され易い傾向がある音楽ジャンルＧが指示された場合、閾値処理部２４２は、持続効果が付加され難い傾向がある音楽ジャンルＧが指示された場合と比較して、閾値Ｙthを小さい数値に設定する。閾値Ｙthが小さいほど、暫定値Ｙが閾値Ｙthを上回る可能性が上昇する。したがって、持続効果の付加を表す出力データＺが生成される頻度が増加する。

　第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態においては、利用者が演奏する楽曲の音楽ジャンルＧに応じて閾値Ｙthが制御されるから、楽曲の音楽ジャンルＧに応じた適切な持続効果を演奏音に付加できる。

Ｄ：第４実施形態
　図１１は、第４実施形態における出力データ生成部２４の構成を例示するブロック図である。利用者は、操作装置１５を操作することで、閾値Ｙthの変更を出力データ生成部２４に対して指示できる。出力データ生成部２４（具体的には閾値処理部２４２）は、操作装置１５に対する利用者からの指示に応じて閾値Ｙthを制御する。例えば、閾値Ｙthを利用者から指示された数値に設定する構成、または、利用者からの指示に応じて閾値Ｙthを変更する構成が想定される。第３実施形態において前述した通り、閾値Ｙthが小さいほど、暫定値Ｙが閾値Ｙthを上回る可能性が上昇する。したがって、持続効果の付加を表す出力データＺが生成される頻度が増加する。

　第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態においては、利用者からの指示に応じて閾値Ｙthが制御されるから、利用者の嗜好または意図に応じた適切な頻度で演奏音に持続効果を付加できる。

Ｅ：第５実施形態
　図１２は、第５実施形態における出力データ生成部２４の構成を例示するブロック図である。第１実施形態の閾値処理部２４２は、持続効果を付加するか否かを表す２値の出力データＺを生成する。第１実施形態とは対照的に、第５実施形態においては閾値処理部２４２が省略される。したがって、推定処理部２４１が生成する暫定値Ｙが出力データＺとして出力される。すなわち、出力データ生成部２４は、演奏音に付加されるべき持続効果の度合を表す多値の出力データＺを生成する。第５実施形態の出力データＺは、サスティンペダル１２１の操作量（すなわち踏込量）を表す多値データとも換言される。

　効果制御部２５は、出力データＺに応じた操作量だけサスティンペダル１２１が操作されるように駆動機構１２２を制御する。すなわち、サスティンペダル１２１は、完全に踏込まれた状態と解放された状態との中間の状態に制御され得る。具体的には、出力データＺの数値が１に近いほどサスティンペダル１２１の操作量が増加し、出力データＺの数値が０に近いほどサスティンペダル１２１の操作量は減少する。

　第５実施形態においても第１実施形態と同様の効果が実現される。また、第５実施形態においては、持続効果の度合を表す多値の出力データＺが生成されるから、演奏音に付加される持続効果を精細に制御できるという利点がある。

　なお、以上の説明においては、第１実施形態と同様に効果制御部２５が駆動機構１２２を制御する構成を例示した。しかし、持続効果の度合を表す多値の出力データＺを生成する第５実施形態の構成は、効果制御部２５が音源部２２を制御する第２実施形態にも同様に適用される。具体的には、効果制御部２５は、出力データＺが表す度合の持続効果が演奏音に付加されるように音源部２２を制御する。また、持続効果の度合を表す多値の出力データＺを生成する第５実施形態の構成は、第３実施形態および第４実施形態にも同様に適用される。

Ｆ：変形例
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態においては、持続効果を制御するための出力データＺを例示したが、出力データＺにより制御される音響効果の種類は持続効果に限定されない。例えば、演奏音の音色を変化させる効果（以下「音色変化」という）を制御するための出力データＺを出力データ生成部２４が生成してもよい。すなわち、出力データＺは、音色変化の有無または度合を表す。音色変化としては、例えば、演奏音の帯域毎に信号レベルを調整するイコライザ処理、演奏音の波形を歪ませるディストーション処理、演奏音において信号レベルが高い区間の信号レベルを抑制するコンプレッサ処理等の各種のエフェクト処理が例示される。なお、前述の各形態において例示した持続効果においても演奏音の波形は変化する。したがって、持続効果も音色変化の一例である。

（２）前述の各形態においては、入力データ取得部２３が演奏データＤから入力データＸを生成したが、入力データ取得部２３が外部装置から入力データＸを受信してもよい。すなわち、入力データ取得部２３は、演奏された音高を表す入力データＸの時系列を取得する要素として包括的に表現され、自身が入力データＸを生成する要素と外部装置から入力データＸを受信する要素との双方を包含する。

（３）前述の各形態においては、演奏処理部２１が生成した演奏データＤを入力データ取得部２３に供給したが、入力データ取得部２３に対する入力は演奏データＤに限定されない。例えば、演奏音の波形を表す波形信号を入力データ取得部２３に供給してもよい。具体的には、自然楽器が放射する演奏音を収音する収音機器から入力データ取得部２３に対して波形信号が供給される構成、または、電気弦楽器等の電気楽器から入力データ取得部２３に波形信号が供給される構成が想定される。入力データ取得部２３は、利用者が演奏した１以上の音高を波形信号の解析により単位期間毎に推定し、当該１以上の音高を表す入力データＸを生成する。

（４）前述の各形態においては、出力データＺに応じて音源部２２または駆動機構１２２を制御する構成を例示したが、出力データＺを利用する方法は以上の例示に限定されない。例えば、出力データＺが表す持続効果の有無または度合を利用者に報知してもよい。例えば、出力データＺが持続効果の有無または度合を表す画像を表示装置に表示する構成、または、持続効果の有無または度合を表す音声を放音装置１６から放音する構成が想定される。また、出力データＺの時系列を、楽曲に関する付加的なデータとして記録媒体（例えば記憶装置１４）に記憶してもよい。

（５）前述の各形態においては、鍵盤楽器型の演奏システム１００を例示したが、電子楽器の具体的な形態は以上の例示に限定されない。例えば、利用者による演奏に応じた演奏データＤを出力する電子弦楽器または電子管楽器等の各種の形態の電子楽器に、前述の各形態と同様の構成が適用される。

（６）前述の各形態においては、利用者による楽曲の演奏に並行して演奏解析処理Ｓaを実行したが、演奏解析処理Ｓaの実行前に、楽曲を構成する各音符の音高を表す演奏データＤを用意してもよい。演奏データＤは、例えば利用者による楽曲の演奏または編集の作業により事前に生成される。入力データ取得部２３は、演奏データＤが表す各音符の音高から入力データＸの時系列を生成し、出力データ生成部２４は、入力データＸの時系列から出力データＺの時系列を生成する。

（７）前述の各形態においては、音源部２２を具備する演奏システム１００を例示したが、入力データＸから出力データＺを生成する演奏解析装置としても、本開示は特定される。演奏解析装置は、入力データ取得部２３と出力データ生成部２４とを少なくとも具備する。演奏解析装置に効果制御部２５を搭載してもよい。前述の各形態において例示した演奏システム１００は、演奏処理部２１と音源部２２とを具備する演奏解析装置とも換言される。

（８）前述の各形態においては、学習処理部２６を具備する演奏システム１００を例示したが、演奏システム１００から学習処理部２６を省略してもよい。例えば、学習処理部２６を具備する推定モデル構築装置により構築された推定モデルＭが演奏システム１００に転送され、演奏システム１００による出力データＺの生成に使用される。推定モデル構築装置は、機械学習により推定モデルＭを構築する機械学習装置とも換言される。

（９）前述の各形態においては、推定モデルＭを再帰型のニューラルネットワークで構成したが、推定モデルＭの具体的な構成は任意である。例えば、畳込ニューラルネットワーク等の再帰型以外の深層ニューラルネットワークにより推定モデルＭを構成してもよい。また、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）またはサポートベクタマシン等の各種の統計的推定モデルを推定モデルＭとして利用してもよい。

（１０）携帯電話機またはスマートフォン等の端末装置との間で通信する処理サーバ装置により演奏システム１００の機能を実現してもよい。例えば、処理サーバ装置は、端末装置から受信した演奏データＤを利用して出力データＺを生成し、当該出力データＺを端末装置に送信する。すなわち、処理サーバ装置は、入力データ取得部２３と出力データ生成部２４とを具備する。端末装置は、処理サーバ装置から受信した出力データＺに応じて駆動機構１２２または音源部２２を制御する。

（１１）以上に例示した演奏システム１００の機能は、前述の通り、制御装置１３を構成する単数または複数のプロセッサと記憶装置１４に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。

（１２）推定モデルＭを実現するためのプログラムの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitもしくはNeural Engine等のニューラルネットワーク専用のプロセッサ、または、人工知能に専用されるＤＳＰ（Digital Signal Processor）が、推定モデルＭを実現するためのプログラムを実行してもよい。また、以上の例示から選択された複数種のプロセッサが協働してプログラムを実行してもよい。

Ｇ：付記
　以上に例示した形態から、例えば以下の構成が把握される。

　本開示のひとつの態様（態様１）に係る演奏解析方法は、演奏された音高を表す入力データの時系列を取得し、音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記入力データの時系列を入力することで、前記入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する。以上の態様においては、演奏された音高を表す入力データの時系列を推定モデルに入力することで、当該入力データが表す音高を有する音（以下「演奏音」という）における音響効果を制御するための出力データの時系列が生成される。したがって、音響効果を規定する楽曲データを必要とせずに、演奏音における音響効果を適切に制御可能な出力データの時系列を生成できる。

　態様１の具体例（態様１）において、前記音響効果は、前記入力データの時系列が表す音高を有する音を持続させる持続効果である。以上の態様によれば、演奏音における持続効果を適切に制御可能な出力データの時系列を生成できる。なお、持続効果とは、演奏音を持続させる音響効果を意味する。

　態様２の具体例（態様３）において、前記出力データは、前記持続効果を付加するか否かを表す。以上の態様においては、演奏音に対して持続効果を付加するか否かを適切に制御可能な出力データの時系列を生成できる。なお、持続効果を付加するか否かを表す出力データの典型例は、鍵盤楽器におけるサスティンペダルの踏込（オン）／解放（オフ）を表すデータである。

　態様２の具体例（態様４）において、前記出力データは、前記持続効果の度合を表す。以上の態様においては、演奏音における持続効果の度合を適切に制御可能な出力データの時系列を生成できる。なお、持続効果の度合を表す出力データの典型例は、鍵盤楽器におけるサスティンペダルの操作の度合を表すデータ（例えばサスティンペダルの踏込量について複数の段階の何れかを指定するデータ）である。

　態様２から態様４の何れかの具体例（態様５）に係る演奏解析方法は、さらに、鍵盤楽器のサスティンペダルを駆動する駆動機構を、前記出力データの時系列に応じて制御する。以上の態様によれば、演奏音に対して鍵盤楽器のサスティンペダルを適切に駆動できる。

　態様２から態様４の何れかの具体例（態様６）に係る演奏解析方法は、前記演奏解析方法は、さらに、前記演奏された音高を有する音を生成する音源部を、前記出力データの時系列に応じて制御する。以上の態様においては、音源部が生成する演奏音に対して適切な持続効果を付与できる。「音源部」は、例えばＣＰＵ等の汎用のプロセッサが音源プログラムを実行することで実現される機能、または、音処理に専用されるプロセッサにおいて音を生成する機能である。

　態様１から態様６の何れかの具体例（態様７）において、前記音響効果は、前記入力データの時系列が表す音高を有する音の音色を変化させる効果である。以上の態様においては、音色変化を制御するための出力データが生成されるから、演奏された音高に対して適切な音色の演奏音を生成できるという利点がある。

　態様１から態様７の何れかの具体例（態様８）において、前記推定モデルは、前記各入力データの入力に対して、前記音響効果が付加されるべき度合に応じた暫定値を出力し、前記出力データの時系列の生成においては、前記暫定値と閾値とを比較した結果に応じて前記出力データを生成する。以上の態様においては、音響効果が付加されるべき度合に応じた暫定値と閾値とを比較した結果に応じて出力データが生成されるから、音響効果を付加するか否かを、演奏音の音高に対して適切に制御できる。

　態様８の具体例（態様９）に係る演奏解析方法は、さらに、演奏される楽曲の音楽ジャンルに応じて前記閾値を制御する。以上の態様においては、演奏される楽曲の音楽ジャンルに応じて閾値が制御されるから、楽曲の音楽ジャンルに応じて音響効果の付加の頻度が相違するという傾向のもとで適切に音響効果を付加できる。

　態様８の具体例（態様１０）に係る演奏解析方法は、さらに、利用者からの指示に応じて前記閾値を制御する。以上の態様においては、利用者からの指示に応じて閾値が制御されるから、利用者の嗜好または意図に応じて適切に音響効果を演奏音に付加できる。

　本開示のひとつの態様に係る演奏解析装置は、以上に例示した複数の態様の何れかに係る演奏解析方法を実行する。また、本開示のひとつの態様に係るプログラムは、以上に例示した複数の態様の何れかに係る演奏解析方法をコンピュータに実行させる。

１００…演奏システム、１１…鍵盤、１２…ペダル機構、１２１…サスティンペダル、１２２…駆動機構、１３…制御装置、１４…記憶装置、１５…操作装置、１６…放音装置、２１…演奏処理部、２２…音源部、２３…入力データ取得部、２４…出力データ生成部、２４１…推定処理部、２４２…閾値処理部、２５…効果制御部、２６…学習処理部、３１…第１処理部、３２…第２処理部、３３…第３処理部、Ｄ…演奏データ、Ｅ…誤差、Ｇ…音楽ジャンル、Ｍ…推定モデル、Ｎ…個数、Ｐ…暫定値、Ｑ…要素、Ｓa…演奏解析処理、Ｓb…学習処理、Ｔ…訓練データ、Ｔx…訓練用入力データ、Ｔy…訓練用出力データ、Ｖ…音響信号、Ｗ…中間データ、Ｘ…入力データ、Ｙ…暫定値、Ｙ0…暫定値、Ｙth…閾値、Ｚ…出力データ。

Claims

　演奏された音高を表す入力データの時系列を取得し、
　音高を表す複数の訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す複数の訓練用出力データとの関係を学習した推定モデルに、前記取得された入力データの時系列を入力することで、前記取得された入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する
　コンピュータにより実現される演奏解析方法。
　前記音響効果は、前記取得された入力データの時系列が表す音高を有する音を持続させる持続効果である
　請求項１の演奏解析方法。
　前記出力データは、前記持続効果を付加するか否かを表す
　請求項２の演奏解析方法。
　前記出力データは、前記持続効果の度合を表す
　請求項２の演奏解析方法。
　前記演奏解析方法は、さらに、
　鍵盤楽器のサスティンペダルを駆動する駆動機構を、前記出力データの時系列に応じて制御する
　請求項２から請求項４の何れかの演奏解析方法。
　前記演奏解析方法は、さらに、
　前記演奏された音高を有する音を生成する音源部を、前記出力データの時系列に応じて制御する
　請求項２から請求項４の何れかの演奏解析方法。
　前記音響効果は、前記取得された入力データの時系列が表す音高を有する音の音色を変化させる効果である
　請求項１から請求項６の何れかの演奏解析方法。
　前記推定モデルは、前記各入力データの入力に対して、前記音響効果が付加されるべき度合に応じた暫定値を出力し、
　前記出力データの時系列の生成においては、前記暫定値と閾値とを比較した結果に応じて前記出力データを生成する
　請求項１から請求項７の何れかの演奏解析方法。
　前記演奏解析方法は、さらに、
　演奏される楽曲の音楽ジャンルに応じて前記閾値を制御する
　請求項８の演奏解析方法。
　前記演奏解析方法は、さらに、
　利用者からの指示に応じて前記閾値を制御する
　請求項８の演奏解析方法。
　演奏された音高を表す入力データの時系列を取得する入力データ取得部と、
　音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記取得された入力データの時系列を入力することで、前記取得された入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する出力データ生成部と
　を具備する演奏解析装置。
　前記音響効果は、前記取得された入力データの時系列が表す音高を有する音を持続させる持続効果である
　請求項１１の演奏解析装置。
　前記出力データは、前記持続効果を付加するか否かを表す
　請求項１２の演奏解析装置。
　前記出力データは、前記持続効果の度合を表す
　請求項１２の演奏解析装置。
　鍵盤楽器のサスティンペダルを駆動する駆動機構を、前記出力データの時系列に応じて制御する効果制御部
　をさらに具備する請求項１２から請求項１４の何れかの演奏解析装置。
　前記演奏された音高を有する音を生成する音源部を、前記出力データの時系列に応じて制御する効果制御部
　をさらに具備する請求項１２から請求項１４の何れかの演奏解析装置。
　前記音響効果は、前記取得された入力データの時系列が表す音高を有する音の音色を変化させる効果である
　請求項１１から請求項１６の何れかの演奏解析装置。
　前記推定モデルは、前記各入力データの入力に対して、前記音響効果が付加されるべき度合に応じた暫定値を出力し、
　前記出力データ生成部は、前記暫定値と閾値とを比較した結果に応じて前記出力データを生成する
　請求項１１から請求項１７の何れかの演奏解析装置。
　前記出力データ生成部は、演奏される楽曲の音楽ジャンルに応じて前記閾値を制御する
　請求項１８の演奏解析装置。
　前記出力データ生成部は、利用者からの指示に応じて前記閾値を制御する
　請求項１８の演奏解析装置。
　演奏された音高を表す入力データの時系列を取得する入力データ取得部、および、
　音高を表す訓練用入力データと当該音高を有する音に付加されるべき音響効果を表す訓練用出力データとの関係を学習した推定モデルに、前記取得された入力データの時系列を入力することで、前記取得された入力データの時系列が表す音高を有する音における音響効果を制御するための出力データの時系列を生成する出力データ生成部
　としてコンピュータを機能させるプログラム。