JP6708180B2 - 演奏解析方法、演奏解析装置およびプログラム - Google Patents

Description

本発明は、楽曲の演奏を解析する技術に関する。

例えば特許文献１には、楽曲の演奏音を表す音響信号を処理することで、演奏音のうち任意の楽器の音色を他の楽器の音色に変更する技術が開示されている。また、特許文献１には、特定の音楽的な表情が付与された音響信号を生成する技術が開示されている。

国際公開第２０１０／０９５６２２号

現実の楽曲の演奏においては、演奏者に特有の傾向（音楽的な表情または演奏の癖）が演奏音に付与される。演奏者による演奏の傾向を推定できれば、例えば楽曲のうち特定の傾向で演奏された区間について、特許文献１により特定の音楽的な表情を付与するといった処理が実現され得る。以上の事情を考慮して、本発明は、演奏者による演奏の傾向を推定することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る演奏解析方法は、コンピュータが、利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する。また、本発明の好適な態様に係るプログラムは、利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する演奏解析部としてコンピュータを機能させる。

本発明の第１実施形態に係る演奏解析装置の構成を示すブロック図である。 楽曲情報および単位情報の模式図である。 演奏情報生成部の構成を示すブロック図である。 特徴情報の説明図である。 楽曲情報編集の内容を示すフローチャートである。 第３実施形態に係る演奏解析装置の構成を示すブロック図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る演奏解析装置１００の構成を示すブロック図である。図１に例示される通り、第１実施形態の演奏解析装置１００は、制御装置１１と記憶装置１２と演奏装置１３とを具備するコンピュータシステムで実現される。例えばパーソナルコンピュータ等の各種の機器が演奏解析装置１００として利用される。

制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路を含んで構成される。例えば単数または複数のチップで制御装置１１が実現される。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用される。

本実施形態の記憶装置１２は、楽曲の内容を表す楽曲情報Ｓを記憶する。本実施形態の楽曲情報Ｓは、楽曲を構成する複数の音符の各々について音高と強度と発音期間（発音時刻および継続長）とを指定する。音高および強度を指定して発音または消音を指示する指示データと、各指示データの発音時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲情報Ｓの好適例である。

図２に例示される通り、楽曲情報Ｓは、複数（Ｍ個）の部分（以下「単位情報」という）Ｕ_１〜Ｕ_Ｍに区分される。任意の１個の単位情報Ｕ_ｍ（ｍ＝１〜Ｍ）は、楽曲を時間軸上で区分したＭ個の単位期間Ｑ_１〜Ｑ_Ｍのうち第ｍ番目の単位期間Ｑ_ｍ内の演奏の内容を指定する。すなわち、単位情報Ｕ_ｍは、楽曲の単位期間Ｑ_ｍに含まれる１個以上の音符の各々について音高と強度と発音期間とを指定する。各単位期間Ｑ_ｍは、例えば楽曲の所定の音価（例えば８分音符）に相当する時間長の期間である。

図１の演奏装置１３は、利用者が楽曲の演奏に利用する入力機器である。例えば利用者が操作する複数の鍵が配列された鍵盤楽器型の演奏機器（例えばＭＩＤＩ楽器）が好適に利用される。演奏装置１３は、利用者による操作に連動して指示情報Ｚを順次に出力する。指示情報Ｚは、楽曲を構成する複数の音符の各々について生成され、当該音符の音高と強度とを指定して発音または消音を指示するデータ（例えばＭＩＤＩイベントデータ）である。

第１実施形態の演奏解析装置１００は、利用者が演奏装置１３により楽曲を演奏したときの当該演奏の傾向（以下「演奏傾向」という）Ｅ_ｍを推定する。演奏傾向Ｅ_ｍは、演奏者に特有の音楽的な表情または演奏の癖である。演奏傾向Ｅ_ｍの特定は、単位期間Ｑ_ｍ毎に実行される。相異なる単位期間Ｑ_ｍに対応するＭ個の演奏傾向Ｅ_１〜Ｅ_Ｍの時系列は、利用者が楽曲を演奏したときの演奏傾向の時間的な遷移を意味する。第１実施形態の演奏解析装置１００は、相異なる複数種（Ｋ種類）の演奏傾向（以下「候補傾向」という）の何れかを利用者による演奏傾向Ｅ_ｍとして推定する。

図１に例示される通り、第１実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、指示情報Ｚから演奏傾向Ｅ_ｍを推定するための複数の要素（演奏推定部２１、演奏観測部２２および傾向特定部２３）として機能する。なお、制御装置１１の一部の機能を専用の電子回路により実現してもよい。

図１に例示される通り、演奏推定部２１は、相異なる候補傾向Ｃ_ｋ（ｋ＝１〜Ｋ）に対応するＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋを生成する。候補傾向Ｃ_ｋに対応する推定演奏情報ｙ_ｍ ^ｋは、当該候補傾向Ｃ_ｋに関する変数である。第１実施形態の推定演奏情報ｙ_ｍ ^ｋは、例えば、当該候補傾向Ｃ_ｋのもとで楽曲を演奏したときの演奏速度（テンポ）である。単位期間Ｑ_ｍ毎にＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋが生成される。すなわち、推定演奏情報ｙ_ｍ ^ｋは単位期間Ｑ_ｍ毎に変化し得る。

第１実施形態の演奏推定部２１は、図１に例示される通り、相異なる候補傾向Ｃ_ｋに対応するＫ個の演奏情報生成部Ｇ_１〜Ｇ_Ｋを具備する。任意の１個の演奏情報生成部Ｇ_ｋは、候補傾向Ｃ_ｋに対応する推定演奏情報ｙ_ｍ ^ｋを楽曲情報Ｓから単位期間Ｑ_ｍ毎に生成する。

図３は、任意の１個の演奏情報生成部Ｇ_ｋの構成を示すブロック図である。図３に例示される通り、第１実施形態の演奏情報生成部Ｇ_ｋは、係数特定部３１と演算処理部３２とを具備する。

第１実施形態の推定演奏情報ｙ_ｍ ^ｋは、以下の数式（１）で表現される自己回帰過程により生成される。

図３の係数特定部３１は、単位期間Ｑ_ｍにおける線形予測係数（自己回帰係数）ａ_ｍｊ ^ｋを楽曲情報Ｓから特定する。演奏情報生成部Ｇ_ｋの係数特定部３１は、候補傾向Ｃ_ｋが反映されたニューラルネットワークＮ_ｋを含んで構成される。ニューラルネットワークＮ_ｋは、候補傾向Ｃ_ｋに沿う多数の教師データを利用した機械学習によりモデルパラメータθ_ｋ（θａ，θｂ）が設定された数理モデルである。具体的には、数式（１）により算定される推定演奏情報ｙ_ｍ ^ｋと候補傾向Ｃ_ｋに沿う演奏を表す演奏情報（教師データ）との誤差が最小化されるようにモデルパラメータθ_ｋが設定される。したがって、第１実施形態のニューラルネットワークＮ_ｋは、機械学習に利用された多数の教師データから抽出される候補傾向Ｃ_ｋのもとで楽曲情報Ｓにとって妥当な線形予測係数ａ_ｍｊ ^ｋ（ａ_ｍ１ ^ｋ,ａ_ｍ２ ^ｋ,ａ_ｍ３ ^ｋ,…,ａ_ｍＰ ^ｋ）を出力する。

図３に例示される通り、第１実施形態のニューラルネットワークＮ_ｋは、第１ニューラルネットワークＮａと第２ニューラルネットワークＮｂとで構成される。第１ニューラルネットワークＮａおよび第２ニューラルネットワークＮｂの各々は、例えば、畳込み層と最大値プーリング層を含む複数層の積層にバッチ正規化層と全結合層とを接続した畳込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。活性化関数にはＬｅａｋｙ ＲｅＬＵ（Rectified Linear Unit）が好適である。ただし、ニューラルネットワークＮ（Ｎａ，Ｎｂ）の構造および活性化関数の種類は任意である。

第１ニューラルネットワークＮａは、図４に例示される通り、線形予測係数ａ_ｍｊ ^ｋを特定すべき単位期間Ｑ_ｍ（一の単位期間の例示）における特徴情報Ｆ_ｍ ^ｋを楽曲情報Ｓから特定する。具体的には、第１ニューラルネットワークＮａは、単位期間Ｑ_ｍを含む解析期間Ａ_ｍに対応する複数（２Ｗ＋１個）の単位情報Ｕ_ｍ−ｗ〜Ｕ_ｍ＋ｗから、当該単位期間Ｑ_ｍの特徴情報Ｆ_ｍ ^ｋを生成する。解析期間Ａ_ｍは、単位期間Ｑ_ｍの過去（前方）の単位期間Ｑ_ｍ−ｗから後方の単位期間Ｑ_ｍ＋ｗまでの期間である。

図４に例示される通り、特徴情報Ｆ_ｍ ^ｋは、解析期間Ａ_ｍ内の複数の単位情報Ｕ_ｍ−ｗ〜Ｕ_ｍ＋ｗにそれぞれ対応する複数の特徴量Φ_ｍ−ｗ〜Φ_ｍ＋ｗの系列である。第１ニューラルネットワークＮａのモデルパラメータθａは、複数の単位情報の時系列と特徴情報とを含む多数の教師データを利用した機械学習により設定される。したがって、第１ニューラルネットワークＮａは、多数の教師データから抽出される傾向のもとで複数の単位情報Ｕ_ｍ−ｗ〜Ｕ_ｍ＋ｗにとって妥当な特徴情報Ｆ_ｍ ^ｋを出力する。特徴情報Ｆ_ｍ ^ｋは、解析期間Ａ_ｍ内の演奏内容の音楽的な特徴を要約した情報に相当する。具体的には、楽曲内の音符の時系列に加えて種々の音楽的な表現を表す特徴情報Ｆ_ｍ ^ｋが生成される。特徴情報Ｆ_ｍ ^ｋに反映される音楽的な表現（コンテキスト）としては、楽曲内の調号、拍点の位置、強弱記号（例えばクレッシェンド）および速度記号（例えばリタルダンド）等が例示される。

図３の第２ニューラルネットワークＮｂは、第１ニューラルネットワークＮａにより生成された特徴情報Ｆ_ｍ ^ｋと、単位期間Ｑ_ｍの過去の期間におけるＰ個（Ｐは２以上の自然数）の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとから、単位期間Ｑ_ｍの線形予測係数ａ_ｍｊ ^ｋを特定する。第２ニューラルネットワークＮｂのモデルパラメータθｂは、特徴情報および複数の演奏情報の時系列を含むベクトルと線形予測係数とを含む多数の教師データを利用した機械学習により設定される。したがって、第２ニューラルネットワークＮｂは、候補傾向Ｃ_ｋのもとで特徴情報Ｆ_ｍ ^ｋとＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとにとって妥当な線形予測係数ａ_ｍｊ ^ｋを出力する。以上の説明から理解される通り、第１実施形態では、単位期間Ｑ_ｍの過去におけるＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋが、当該単位期間Ｑ_ｍにおける推定演奏情報ｙ_ｍ ^ｋの特定のためにフィードバックされる。

図３の演算処理部３２は、係数特定部３１が特定した線形予測係数ａ_ｍｊ ^ｋと過去のＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとについて前述の数式（１）の演算を実行することで、単位期間Ｑ_ｍの推定演奏情報ｙ_ｍ ^ｋを生成する。以上の説明から理解される通り、第１実施形態の演奏情報生成部Ｇ_ｋは、楽曲情報Ｓ（複数の単位情報Ｕ_ｍ−ｗ〜Ｕ_ｍ＋ｗ）と過去のＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとをニューラルネットワークＮ_ｋに付与することで、候補傾向Ｃ_ｋが反映された推定演奏情報ｙ_ｍ ^ｋを単位期間Ｑ_ｍについて生成する。単位期間Ｑ_ｍに対応する特徴情報Ｆ_ｍ ^ｋと過去のＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとから推定演奏情報ｙ_ｍ ^ｋを特定する処理は、楽曲内のＭ個の単位期間Ｑ_１〜Ｑ_Ｍの各々について時系列の順番で逐次的に実行される。以上の処理により演奏情報生成部Ｇ_ｋが生成するＭ個の推定演奏情報ｙ_１ ^ｋ〜ｙ_Ｍ ^ｋの時系列は、候補傾向Ｃ_ｋのもとで楽曲を演奏したときの演奏速度の時間変化に相当する。

以上の説明から理解される通り、第１実施形態の演奏推定部２１は、相異なる候補傾向Ｃ_ｋが反映されたＫ個のニューラルネットワークＮ_１〜Ｎ_Ｋの各々に楽曲情報Ｓを付与することで、各候補傾向Ｃ_ｋのもとで楽曲を演奏したときの推定演奏情報ｙ_ｍ ^ｋを生成する。

図１の演奏観測部２２は、演奏装置１３により供給される複数の指示情報Ｚの時系列から観測演奏情報ｘ_ｍ（ｘ_１〜ｘ_Ｍ）を順次に生成する。観測演奏情報ｘ_ｍは、楽曲の演奏の傾向に関する変数である。第１実施形態の観測演奏情報ｘ_ｍは、推定演奏情報ｙ_ｍ ^ｋと同様に、楽曲の演奏速度である。観測演奏情報ｘ_ｍは、単位期間Ｑ_ｍ毎に順次に生成される。すなわち、観測演奏情報ｘ_ｍは単位期間Ｑ_ｍ毎に変化し得る。以上の説明から理解される通り、Ｋ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋのうち、利用者の演奏傾向に類似する候補傾向Ｃ_ｋに対応した推定演奏情報ｙ_ｍ ^ｋは、演奏観測部２２が生成する観測演奏情報ｘ_ｍに類似するという傾向がある。

傾向特定部２３は、演奏推定部２１が生成したＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋと演奏観測部２２が生成した観測演奏情報ｘ_ｍとから利用者の演奏傾向Ｅ_ｍを推定する。具体的には、傾向特定部２３は、Ｋ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋの各々と観測演奏情報ｘ_ｍとを対比する。そして、傾向特定部２３は、Ｋ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋのうち観測演奏情報ｘ_ｍに相関する推定演奏情報ｙ_ｍ ^ｋに対応する候補傾向Ｃ_ｋを、利用者の演奏傾向Ｅ_ｍとして特定する。傾向特定部２３による演奏傾向Ｅ_ｍの特定は、単位期間Ｑ_ｍ毎に順次に実行される。

第１実施形態の傾向特定部２３は、候補傾向Ｃ_ｋと楽曲情報Ｓとが付与された条件のもとで観測演奏情報ｘ_ｍが観測される事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)に応じて演奏傾向Ｅ_ｍを特定する。事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)は、単位情報Ｕｍが指定する音符を候補傾向Ｃ_ｋのもとで演奏したときに観測演奏情報ｘ_ｍが観測される条件付確率である。具体的には、傾向特定部２３は、以下の数式（２）で表現される通り、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋのうち、事後確率ｐ(ｘ_ｍ|Ｕ_ｍ,Ｃ_ｋ)が最大となる候補傾向Ｃ_ｋを、利用者の演奏傾向Ｅ_ｍとして選択する。なお、事後確率ｐ(ｘ_ｍ|Ｕ_ｍ,Ｃ_ｋ)の確率分布は、例えば正規分布である。以上の説明から理解される通り、第１実施形態の制御装置１１は、利用者による楽曲の演奏に関する観測演奏情報ｘ_ｍから演奏傾向Ｅ_ｍを特定する要素（演奏解析部）として機能する。

図５は、制御装置１１が利用者の演奏傾向Ｅ_ｍを推定する処理（以下「演奏解析処理」という）の内容を例示するフローチャートである。例えば演奏解析装置１００に対する利用者からの指示を契機として図５の演奏解析処理が開始される。

演奏解析処理を開始すると、制御装置１１は、楽曲内のＭ個の単位期間Ｑ_１〜Ｑ_Ｍのうち未選択の最先の単位期間Ｑ_ｍを選択する（Ｓ1）。制御装置１１は、演奏推定処理Ｓ2と演奏観測処理Ｓ3と傾向特定処理Ｓ4とを単位期間Ｑ_ｍについて実行する。演奏推定処理Ｓ2は演奏推定部２１が実行し、演奏観測処理Ｓ3は演奏観測部２２が実行し、傾向特定処理Ｓ4は傾向特定部２３が実行する。なお、演奏観測処理Ｓ3の実行後に演奏推定処理Ｓ2を実行してもよい。

演奏推定処理Ｓ2は、楽曲情報Ｓと過去のＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとを各ニューラルネットワークＮ_ｋに付与することで、相異なる候補傾向Ｃ_ｋに対応するＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋを単位期間Ｑ_ｍについて生成する処理（Ｓ21−Ｓ23）である。なお、楽曲内の先頭の単位期間Ｑ_１が選択された段階では、初期値として用意された推定演奏情報ｙ_０が楽曲情報Ｓとともに各ニューラルネットワークＮ_ｋに付与される。

具体的には、演奏情報生成部Ｇ_ｋの係数特定部３１は、楽曲情報Ｓのうち単位期間Ｑ_ｍの周辺の解析期間Ａ_ｍに対応する複数の単位情報Ｕ_ｍ−ｗ〜Ｕ_ｍ＋ｗに応じた特徴情報Ｆ_ｍ ^ｋを、第１ニューラルネットワークＮａにより生成する（Ｓ21）。係数特定部３１は、特徴情報Ｆ_ｍ ^ｋと過去のＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとに応じた線形予測係数ａ_ｍｊ ^ｋを、第２ニューラルネットワークＮｂにより特定する（Ｓ22）。そして、演算処理部３２は、線形予測係数ａ_ｍｊ ^ｋと過去のＰ個の推定演奏情報ｙ_ｍ−１ ^ｋ〜ｙ_ｍ−Ｐ ^ｋとから単位期間Ｑ_ｍの推定演奏情報ｙ_ｍ ^ｋを生成する（Ｓ23）。

演奏観測処理Ｓ3は、演奏装置１３が出力する複数の指示情報Ｚの時系列から単位期間Ｑ_ｍの観測演奏情報ｘ_ｍを生成する処理である。傾向特定処理Ｓ4は、演奏推定処理Ｓ2で生成されたＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋと、演奏観測処理Ｓ3で生成された観測演奏情報ｘ_ｍとから利用者の演奏傾向Ｅ_ｍを推定する処理である。

傾向特定処理Ｓ4を実行すると、制御装置１１は、楽曲内の全部（Ｍ個）の単位期間Ｑ_１〜Ｑ_Ｍについて以上の処理（Ｓ2〜Ｓ4）が完了したか否かを判定する（Ｓ5）。未処理の単位期間Ｑ_ｍがある場合（Ｓ5：ＮＯ）、制御装置１１は、現時点で選択されている単位期間Ｑ_ｍの直後の単位期間Ｑ_ｍ＋１を新たに選択して（Ｓ1）、演奏推定処理Ｓ2と演奏観測処理Ｓ3と傾向特定処理Ｓ4とを実行する。他方、楽曲内の全部の単位期間Ｑ_１〜Ｑ_Ｍについて処理が完了すると（Ｓ5：ＹＥＳ）、制御装置１１は、図５の演奏解析処理を終了する。演奏解析処理を終了する時点では、楽曲の全区間にわたる演奏傾向Ｅ_１〜Ｅ_Ｍが特定される。

以上に説明した通り、第１実施形態では、利用者による楽曲の演奏に関する観測演奏情報ｘ_ｍから利用者の演奏傾向Ｅ_ｍを特定することが可能である。第１実施形態では、相異なる候補傾向Ｃ_ｋのもとで楽曲を演奏したときのＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋの各々が観測演奏情報ｘ_ｍと対比される。したがって、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋの何れかを利用者の演奏傾向Ｅ_ｍとして特定できる。

第１実施形態によれば、候補傾向Ｃ_ｋが反映されたニューラルネットワークＮ_ｋに楽曲の楽曲情報Ｓを付与することで、当該候補傾向Ｃ_ｋのもとで当該楽曲を演奏したときの推定演奏情報ｙ_ｍ ^ｋを適切に生成することが可能である。また、候補傾向Ｃ_ｋと楽曲情報Ｓとが付与された条件のもとで推定演奏情報ｙ_ｍ ^ｋが観測される事後確率ｐ(ｘ_ｍ|Ｕ_ｍ,Ｃ_ｋ)に応じて、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋの何れかが利用者の演奏傾向Ｅ_ｍとして特定される。したがって、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋのうち最尤の演奏傾向Ｅ_ｍを適切に特定することが可能である。

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態の傾向特定部２３は、前掲の数式（２）の通り、候補傾向Ｃ_ｋと楽曲情報Ｓとが付与された条件のもとで観測演奏情報ｘ_ｍが観測される事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)が最大となる候補傾向Ｃ_ｋを利用者の演奏傾向Ｅ_ｍとして選択した。第２実施形態の傾向特定部２３は、以下の数式（３）で表現される通り、事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)と候補傾向Ｃ_ｋの生起確率π_ｋとに応じて、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋの何れかを利用者の演奏傾向Ｅ_ｍとして選択する。

生起確率π_ｋは、候補傾向Ｃ_ｋが生起される確率であり、候補傾向Ｃ_ｋ毎に個別に設定される。具体的には、多数の演奏者の演奏について観測され易い候補傾向Ｃ_ｋの生起確率π_ｋは大きい数値に設定され、演奏者が少数に限定される一般的でない候補傾向Ｃ_ｋの生起確率π_ｋは小さい数値に設定される。例えば演奏解析装置１００の提供者が、楽曲の演奏傾向の統計資料を参照して、各候補傾向Ｃ_ｋの生起確率π_ｋを適切に設定する。なお、各候補傾向Ｃ_ｋの生起確率π_ｋを、演奏解析装置１００の利用者から指示された数値に設定してもよい。

数式（３）から理解される通り、第２実施形態の傾向特定部２３は、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋのうち、事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)と生起確率π_ｋとの積を最大化する候補傾向Ｃ_ｋを、利用者の演奏傾向Ｅ_ｍとして選択する。したがって、生起確率π_ｋが大きい候補傾向Ｃ_ｋほど利用者の演奏傾向Ｅ_ｍとして選択され易いという傾向がある。

傾向特定部２３の動作以外は第１実施形態と同様である。したがって、第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)に加えて各候補傾向Ｃ_ｋの生起確率π_ｋが演奏傾向Ｅ_ｍの特定に加味される。したがって、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋの各々が現実の演奏の場面で観測され易いか否かという傾向のもとで、利用者の演奏傾向Ｅ_ｍを高精度に推定できるという利点がある。

＜第３実施形態＞
図６は、第３実施形態における演奏解析装置１００の構成を示すブロック図である。図６に例示される通り、第３実施形態の演奏推定部２１は、演奏に関する特定の傾向（以下「基準傾向」という）Ｃ_ＲＥＦのもとで楽曲を演奏したときの推定演奏情報ｙｍを単位期間Ｑ_ｍ毎に生成する。具体的には、第３実施形態の演奏推定部２１は、第１実施形態における任意の１個の演奏情報生成部Ｇ_ｋと同様の構成であり、基準傾向Ｃ_ＲＥＦが反映されたニューラルネットワークＮを具備する。すなわち、演奏推定部２１は、楽曲情報Ｓ（複数の単位情報Ｕ_ｍ−ｗ〜Ｕ_ｍ＋ｗ）と過去のＰ個の推定演奏情報ｙ_ｍ−１〜ｙ_ｍ−ＰとをニューラルネットワークＮに付与することで、基準傾向Ｃ_ＲＥＦが反映された推定演奏情報ｙ_ｍを単位期間Ｑ_ｍについて生成する。演奏観測部２２の構成および動作は第１実施形態と同様である。

傾向特定部２３は、演奏推定部２１が生成した推定演奏情報ｙ_ｍと演奏観測部２２が生成した観測演奏情報ｘ_ｍとを対比することで、利用者の演奏傾向Ｅ_ｍを特定する。第３実施形態の演奏傾向Ｅ_ｍは、推定演奏情報ｙ_ｍと観測演奏情報ｘ_ｍとの相関（例えば類似性）の指標である。すなわち、利用者の演奏の傾向と基準傾向Ｃ_ＲＥＦとの近似の度合を示す評価値が、演奏傾向Ｅ_ｍとして特定される。例えば、模範的な演奏の傾向を基準傾向Ｃ_ＲＥＦとして設定すれば、利用者の演奏の習熟度（模範的な演奏にどれほど近いか）の指標として演奏傾向Ｅ_ｍを利用できる。

以上の説明から理解される通り、第３実施形態によれば、利用者の演奏と基準傾向Ｃ_ＲＥＦとの関係の指標を演奏傾向Ｅ_ｍとして特定できる。なお、第３実施形態の例示から理解される通り、相異なる候補傾向Ｃ_ｋに対応するＫ個の推定演奏情報ｙ_ｍ ^１〜ｙ_ｍ ^Ｋを生成する構成、および、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋの何れかを利用者の演奏傾向Ｅ_ｍとして選択する構成は、本発明において必須ではない。

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）単位期間Ｑ_ｍ毎にＫ種類の候補傾向Ｃ_１〜Ｃ_Ｋの何れかを選択する構成（第１実施形態または第２実施形態）では、演奏傾向Ｅ_ｍとして選択される候補傾向Ｃ_ｋが単位期間Ｑ_ｍ毎に変更され得る。他方、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋのなかには遷移し易い組合せと遷移し難い組合せとがある。以上の事情を考慮すると、任意の２種類の候補傾向Ｃ_ｋの一方から他方に遷移する確率（以下「遷移確率」という）τを演奏傾向Ｅ_ｍの特定に加味する構成も好適である。

具体的には、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋから２種類を選択する組合せ毎に、当該組合せの一方の候補傾向Ｃ_ｋ１から他方の候補傾向Ｃ_ｋ２に遷移する遷移確率τが設定される（ｋ１＝１〜Ｋ，ｋ２＝１〜Ｋ）。例えば、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋから重複を許容して２種類の候補傾向Ｃ_ｋを選択する全通りの組合せについて遷移確率τが設定される。組合せの一方の候補傾向Ｃ_ｋ１から他方の候補傾向Ｃ_ｋ２に遷移し易いほど、当該組合せの遷移確率τは大きい数値に設定される。

傾向特定部２３は、事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)に加えて遷移確率τも加味して、Ｋ種類の候補傾向Ｃ_１〜Ｃ_Ｋの何れかを利用者の演奏傾向Ｅ_ｍとして選択する。具体的には、傾向特定部２３は、直前の演奏傾向Ｅ_ｍ−１として選択された候補傾向Ｃ_ｋからの遷移確率τが高い候補傾向Ｃ_ｋほど、単位期間Ｑ_ｍの演奏傾向Ｅ_ｍとして選択され易くなるように、Ｋ種類の候補傾向Ｃ_ｋの何れかを演奏傾向Ｅ_ｍとして選択する。以上の構成によれば、現実の演奏における傾向の遷移を反映した自然な組合せで演奏傾向Ｅ_ｍを遷移させることが可能である。なお、事後確率ｐ(ｘ_ｍ｜Ｕ_ｍ,Ｃ_ｋ)と遷移確率τとに加えて第２実施形態の生起確率π_ｋを加味して利用者の演奏傾向Ｅ_ｍを特定してもよい。

（２）前述の各形態では、単位期間Ｑ_ｍを中心とした解析期間Ａ_ｍを例示したが、単位期間Ｑ_ｍと解析期間Ａ_ｍとの関係は以上の例示に限定されない。解析期間Ａ_ｍ内において単位期間Ｑ_ｍの過去に位置する単位期間の個数と後方に位置する単位期間の個数とを相違させてもよい。

（３）例えば移動体通信網またはインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により演奏解析装置１００を実現することも可能である。具体的には、演奏解析装置１００は、端末装置から受信した指示情報Ｚと楽曲情報Ｓとから演奏傾向Ｅ_ｍを順次に特定し、各演奏傾向Ｅ_ｍを端末装置に送信する。なお、端末装置内の演奏観測部２２が生成した観測演奏情報ｘ_ｍを端末装置から演奏解析装置１００に送信する構成では、演奏解析装置１００から演奏観測部２２が省略される。

（４）前述の各形態では、楽曲の演奏速度を推定演奏情報ｙ_ｍ ^ｋとして例示したが、推定演奏情報ｙ_ｍ ^ｋが表す変数は以上の例示に限定されない。例えば、楽曲の演奏強度など、演奏者毎に相違し得る音楽的な表情に関する任意の変数が、推定演奏情報ｙ_ｍ ^ｋとして利用される。観測演奏情報ｘ_ｍについても同様に、演奏速度には限定されない。すなわち、音楽的な表情に関する各種の変数（例えば演奏強度）が観測演奏情報ｘ_ｍとして利用される。

（５）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る演奏解析方法は、コンピュータが、利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する。以上の態様によれば、利用者による楽曲の演奏に関する観測演奏情報から当該利用者の演奏傾向を特定することが可能である。
＜態様２＞
態様１の好適例（態様２）において、前記演奏傾向の特定は、相異なる複数の候補傾向の各々について、当該候補傾向のもとで前記楽曲を演奏したときの推定演奏情報を生成する演奏推定処理と、前記複数の候補傾向についてそれぞれ生成された複数の推定演奏情報の各々と前記観測演奏情報とを対比することで、前記複数の候補傾向の何れかを前記利用者の演奏傾向として特定する傾向特定処理とを含む。以上の態様では、相異なる候補傾向のもとで楽曲を演奏したときの複数の推定演奏情報の各々が観測演奏情報と対比される。したがって、複数の候補傾向の何れかを利用者の演奏傾向として特定することが可能である。
＜態様３＞
態様２の好適例（態様３）において、前記演奏推定処理では、前記複数の候補傾向の各々について、当該候補傾向が反映されたニューラルネットワークに、前記楽曲の内容を表す楽曲情報を付与することで、前記推定演奏情報を生成する。以上の態様では、候補傾向が反映されたニューラルネットワークに楽曲情報を付与することで、当該候補傾向のもとで楽曲を演奏したときの推定演奏情報を適切に生成することが可能である。
＜態様４＞
態様２または態様３の好適例（態様４）において、前記傾向特定処理では、前記各候補傾向と前記楽曲情報とが付与された条件のもとで前記観測演奏情報が観測される事後確率に応じて、前記複数の候補傾向の何れかを前記利用者の演奏傾向として特定する。以上の態様によれば、複数の候補傾向のうち最尤の演奏傾向を適切に特定することが可能である。
＜態様５＞
態様４の好適例（態様５）において、前記傾向特定処理では、前記各候補傾向に対応する事後確率と当該候補傾向の生起確率とに応じて、前記複数の候補傾向の何れかを前記利用者の演奏傾向として特定する。以上の態様によれば、例えば、複数の候補傾向の各々が現実の演奏の場面で観測され易いか否かという傾向のもとで、利用者の演奏傾向を高精度に推定できるという利点がある。
＜態様６＞
態様１の好適例（態様６）において、前記演奏傾向の特定は、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報を生成する演奏推定処理と、前記推定演奏情報と前記観測演奏情報とを対比することで前記利用者の演奏傾向を特定する傾向特定処理とを含む。以上の態様によれば、利用者の演奏と特定の傾向との関係の指標を演奏傾向として特定できる。
＜態様７＞
本発明の好適な態様（態様７）に係るプログラムは、利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する演奏解析部としてコンピュータを機能させる。以上の態様によれば、利用者による楽曲の演奏に関する観測演奏情報から当該利用者の演奏傾向を特定することが可能である。

態様７に係るプログラムは、例えばコンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。

１００…演奏解析装置、１１…制御装置、１２…記憶装置、１３…演奏装置、２１…演奏推定部、２２…演奏観測部、２３…傾向特定部、３１…係数特定部、３２…演算処理部。

Claims (8)

1. 利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する
   コンピュータにより実現される演奏解析方法。
2. 前記演奏傾向の特定は、
   相異なる複数の候補傾向の各々について、当該候補傾向のもとで前記楽曲を演奏したときの推定演奏情報を生成する演奏推定処理と、
   前記複数の候補傾向についてそれぞれ生成された複数の推定演奏情報の各々と前記観測演奏情報とを対比することで、前記複数の候補傾向の何れかを前記利用者の演奏傾向として特定する傾向特定処理とを含む
   請求項１の演奏解析方法。
3. 前記演奏推定処理においては、前記複数の候補傾向の各々について、当該候補傾向が反映された学習モデルに、前記楽曲の内容を表す楽曲情報を付与することで、前記推定演奏情報を生成する
   請求項２の演奏解析方法。
4. 前記傾向特定処理においては、前記各候補傾向と前記楽曲情報とが付与された条件のもとで前記観測演奏情報が観測される事後確率に応じて、前記複数の候補傾向の何れかを前記利用者の演奏傾向として特定する
   請求項２または請求項３の演奏解析方法。
5. 前記傾向特定処理においては、前記各候補傾向に対応する事後確率と当該候補傾向の生起確率とに応じて、前記複数の候補傾向の何れかを前記利用者の演奏傾向として特定する
   請求項４の演奏解析方法。
6. 前記演奏傾向の特定は、
   特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報を生成する演奏推定処理と、
   前記推定演奏情報と前記観測演奏情報とを対比することで前記利用者の演奏傾向を特定する傾向特定処理とを含む
   請求項１の演奏解析方法。
7. 利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する
   演奏解析装置。
8. 利用者による楽曲の演奏に関する観測演奏情報と、特定の傾向のもとで前記楽曲を演奏したときの推定演奏情報とから、前記利用者の演奏傾向を特定する演奏解析部としてコンピュータを機能させるプログラム。

Images