JP2022063777A - 演奏情報予測装置、有効弦振動判定モデル訓練装置、演奏情報生成システム、演奏情報予測方法及び有効弦振動判定モデル訓練方法 - Google Patents

Abstract

【課題】電子弦楽器の演奏を演奏情報に高精度に変換するための技術を提供することである。【解決手段】本開示の一態様は、弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する前処理部と、訓練済み有効弦振動判定モデルを利用して、前記音量ピッチ特徴化データから前記弦楽器演奏の演奏情報を予測する演奏情報予測部と、を有する演奏情報予測装置に関する。【選択図】図１

Description

本開示は、演奏情報予測装置、有効弦振動判定モデル訓練装置、演奏情報生成システム、演奏情報予測方法及び有効弦振動判定モデル訓練方法に関する。

ギターのような楽器の弦振動波形を、マグネティックピックアップもしくはピエゾピックアップによって電気信号化し、そのピッチや音量を分析することで、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）メッセージ等のデジタル演奏データに変換するギターコントローラ（もしくはギターシンセサイザー）という電子楽器が存在する。このようなタイプのコントローラは音源を鳴らすためのみの専用ギターコントローラと異なり、通常のギターのシェイプや機能を残しつつ、そこに演奏情報取得用の各弦に独立のピックアップを搭載することでＭＩＤＩ演奏も可能となるという大きなメリットがあり、最も一般的な形態であると言える。

特開平９－６３３９号公報 特開２０００－１０５５９０号公報

このような非鍵盤楽器において、長年解決されていない大きな問題の１つは、演奏者が意図せずに発生させた弦振動も区別なく演奏情報に変換されてしまうことである。例えば、３弦を押さえて演奏している際に、開放されている４弦に手のひらが触れてしまって、わずかに振動してしまったり、１弦をピックで弾いた際に、勢い余って２弦にも接触してしまい、僅かな間、振動が発生してしまうということは、スキルの高い演奏者の演奏でも度々起きることある。必要な弦振動だけ残して不要な弦振動を全てミュートすることができれば理想的ではあるが、演奏によってはほぼ不可能なケースも多々ある。

また、ギターコントローラ特有の問題もあり、これらの現象は、通常のギターの生音や電気音による演奏と異なり、ギターコントローラとして使用する際には以下に示すような理由により問題がより深刻になる。

ケース１：ダイナミックレンジの狭い演奏
エレクトリックギターでも意図的に音量に強弱をつけて演奏することもあるが、むしろディストーションサウンドのように演奏音の大小にかかわらず同じ音の大きさで発音することが好まれることも多い。しかし、通常のエレクトリックギターでは全弦の信号がミックスされてディストーションを掛けるために、小さい開放弦の音は振幅の大きい弦の音にかき消されてしまうため、さほど問題にならない。ところがギターコントローラを使った演奏でシンセサイザーなどを鳴らす場合は、遥かに問題が大きくなる。シンセサイザーの発音も強弱を付けないことは珍しくなく、弦ごとに独立した音源をもつギターシンセサイザーを発音させる場合は、僅かな弦振動の開放弦と、普通に演奏した弦の振動に対する発音が同じ音量になってしまうために、不要な弦振動の楽音が意図的に演奏した楽音と同じくらいの音量で再生されてしまい、演奏に大きく支障を来す。

ケース２：表示や演奏解析
ギターコントローラは音源を鳴らすだけではなく、演奏を譜面表示させたり、コード判別させたり、フレーズをコンピュータに入力して曲データを作成したりと、いろいろな用途に演奏情報を使用する可能性がある。この際、全く不要な音符情報が混入してしまうと、非常に見にくい譜面になったり、全く誤ったコードと解釈されたりと、致命的な不具合になりかねない。これを解決するために記録された演奏情報から不要情報を個々に取り除く必要があり、大きな手間がかかってしまったりする。

ケース３：モノフォニックモード
ギターの弦は複数本あって和音が演奏できるが、ソロやメロディーの演奏のために、敢えてモノフォニック（単音）で演奏したいケースがある。特にポルタメント効果をかけて別の音程に滑らかに移動するレガートのフレーズを演奏することもある。鍵盤楽器においては同様の理由から和音を演奏することができるポリフォニックの鍵盤楽器で、敢えて単音しか発生しないモノフォニックモードを用意しているものも多い。ギターシンセサイザーでも、そのようなモノフォニックモードに対応した音源を内蔵しているものや、外部にＭＩＤＩ信号を送信することで外部のモノフォニック音源をドライブするケースもある。鍵盤を複数押鍵しても１つのキーのみが有効になるのと同様に、ギターのモノフォニックモードの場合も複数の弦が同時に振動しても有効なのはいずれか一本の弦振動となる。鍵盤の場合は高音優先、低音優先、後着優先などのルールによって１音が決定するのが一般的であるが、ギターコントローラの場合は後着優先のケースが多い。ところが、ギターの場合は鍵盤楽器と比較するとかけ離れた音程のノートが不用意に発生するケースがあるために、単音フレーズの中に不必要なノートが混入してしまうと演奏フレーズが大きく崩れてしまう。つまり別の発音が消音されて、その不用意なノートの発音に置き換わってしまうのである。さらに影響が大きいのは、前述したポルタメント効果を掛けている際の演奏である。例えば、１弦、２弦のハイポジションを使った演奏をしている際に、遠く離れた６弦の開放弦の音が一瞬振動するということはよくあることであるが、この場合には発音中のピッチが全く意図しない低い方向に突然移動してしまい、次に正しいノートを発生してピッチが戻ってくるまでの間に無意味かつ大きなピッチ変化が発生してしまう。

従来、一般的に従来のギターコントローラでは、これらの不必要な弦振動に対して弦の信号レベルを監視して、単純に所定の音量以下の音を無効にするという対策が取られている。

しかしながら、この対策の副作用として、弱いピッキングや音量の小さいタッピングなどによる奏法の楽音も一緒に無視されるということである。発音すべきものが発音されないというのは、深刻な問題であり、高速なフレーズ演奏などに対して大きな障害となっているのが現状である。

上記課題を鑑み、本開示の課題は、電子弦楽器の演奏を演奏情報に高精度に変換するための技術を提供することである。

上記課題を解決するため、本開示の一態様は、弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する前処理部と、訓練済み有効弦振動判定モデルを利用して、前記音量ピッチ特徴化データから前記弦楽器演奏の演奏情報を予測する演奏情報予測部と、を有する演奏情報予測装置に関する。

本開示によると、電子弦楽器の演奏を演奏情報に高精度に変換することができる。

本開示の一実施例によるギターコントローラを示す概略図である。 本開示の一実施例による演奏情報の構成を示す図である。 本開示の一実施例によるＴＡＢ譜を示す図である。 本開示の一実施例によるギターコントローラの外観を示す図である。 本開示の一実施例によるギターのハードウェア構成を示すブロック図である。 本開示の一実施例による制御装置のハードウェア構成を示すブロック図である。 本開示の一実施例による演奏情報予測装置及び有効弦振動判定モデル訓練装置の機能構成を示すブロック図である。 本開示の一実施例による音量ピッチ特徴化データフレームを示す概略図である。 本開示の一実施例による音量検出及びピッチ検出を示す概略図である。 本開示の一実施例による演奏情報生成処理を示す概略図である。 本開示の一実施例による有効弦振動判定モデルのアーキテクチャを示す図である。 本開示の他の実施例による有効弦振動判定モデルのアーキテクチャを示す図である。 本開示の一実施例による演奏情報予測処理を示すフローチャートである。 本開示の一実施例による有効弦振動判定モデル訓練装置の動作を示す概略図である。 本開示の一実施例による有効弦振動判定モデル訓練処理を示すフローチャートである。

以下の実施例では、ギターの演奏によって生成される弦振動波形から演奏情報（例えば、ＭＩＤＩメッセージなど）を生成するギターコントローラが開示される。なお、本開示は、ギターコントローラに限定されず、弦振動波形抽出機能を備えた弦楽器の演奏から演奏情報を生成する他の何れかの演奏情報生成装置に適用されてもよい。
［本開示の概要］
後述される実施例を概略すると、図１に示されるように、本開示の一実施例によるギターコントローラ１０は、ギター５０及び制御装置１００を有する。ギターコントローラ１０は、ニューラルネットワークなどの機械学習モデルとして実現される有効弦振動判定モデルを利用して、ギター５０の演奏によって生成される弦振動波形から演奏情報を生成する。

本開示の一実施例による演奏情報は、図２に示されるように、発音情報、消音情報及びピッチ変更情報の演奏種別を示す。

発音情報は、分類モデルとしての有効弦振動判定モデルによって判別される意図的な撥弦と、エンベロープ検出による撥弦の強さとを示す。発音をＭＩＤＩメッセージにより表現する場合、意図的な撥弦のノート番号及び撥弦の強さはＮｏｔｅ Ｏｎ：０ｘ９ｎ，ｋｋ，ｖｖによって表してもよい。

また、消音情報は、エンベロープ検出によって検出され、０）発音停止及び１）置き換えを表す。消音をＭＩＤＩメッセージにより表現する場合、Ｎｏｔｅ Ｏｆｆ：０ｘ８ｎ，ｋｋ，ｖｖによって表してもよい。

また、ピッチ変更情報は、ゼロクロスカウントによって検出される。ピッチ変化をＭＩＤＩメッセージにより表現する場合、Ｐｉｔｃｈ Ｂｅｎｄ：０ｘＥｎ，ｌｌ，ｍｍによって表してもよい。

図１に示された実施例では、ギターコントローラ１０は、有効弦振動判定モデルを訓練する訓練モードと、訓練した有効弦振動判定モデルを利用して演奏情報を予測する演奏モードとの２つの動作モードを有し、制御装置１００は、訓練モードにおいて利用される有効弦振動判定モデル訓練装置２００と、演奏モードにおいて利用される演奏情報予測装置３００とを有する。

まず、訓練モードにおいて、ギターコントローラ１０は、訓練用演奏情報データベース８０から訓練データを取得する。訓練データは、例えば、楽譜データ（例えば、ＴＡＢ譜など）と、当該楽譜データに対応するＭＩＤＩファイルとのペアから構成される。ＴＡＢ譜は、例えば、図３に示されるような周知の記法に従って記述されたものであってもよい。ユーザが取得した訓練用楽譜データの楽譜に従ってギター５０を演奏すると、有効弦振動判定モデル訓練装置２００は、ユーザの演奏に基づきギター５０によって生成された弦振動情報を訓練対象の有効弦振動判定モデルに入力し、有効弦振動判定モデルから出力される演奏情報としてのＭＩＤＩメッセージと訓練用ＭＩＤＩファイルとを比較し、これらの誤差が小さくなるように有効弦振動判定モデルを訓練する。本開示では、弦振動波形データから抽出された音量及びピッチに基づき特徴化された音量ピッチ特徴化データを利用して、有効弦振動判定モデルによって有効と判定された弦振動から演奏情報を取得する。訓練が終了すると、有効弦振動判定モデル訓練装置２００は、訓練した有効弦振動判定モデルを演奏情報予測装置３００に提供する。

次に、演奏モードでは、ユーザがギター５０を演奏すると、演奏情報予測装置３００は、ユーザの演奏に基づきギター５０によって生成された弦振動情報を訓練済み有効弦振動判定モデルに入力し、ＭＩＤＩメッセージなどの演奏情報を取得する。取得した演奏情報は、例えば、外部の再生装置やコンピュータに送信され、ユーザは、再生装置を介してユーザによる演奏を再生したり、演奏情報をコンピュータ上で利用できる。

これにより、電子弦楽器の演奏を演奏情報に変換する際の不要な弦振動を排除し、有効な弦振動による演奏情報を生成することが可能になる。

なお、以下に説明する実施例によるギターコントローラ１０は、有効弦振動判定モデル訓練装置２００を有するが、本開示はこれに限定されず、例えば、有効弦振動判定モデルは、外部のコンピュータやサーバによって訓練され、訓練された有効弦振動判定モデル及び／又は有効弦振動判定モデルの更新情報が外部のコンピュータやサーバから演奏情報予測装置３００に提供されてもよい。
［ハードウェア構成］
次に、図４を参照して、ギターコントローラ１０の物理的構成を説明する。図４は、本開示の一実施例によるギターコントローラ１０の外観を示す図である。

図４に示されるように、ギターコントローラ１０は、相互接続されたギター５０と制御装置１００とから構成されるセパレートタイプの演奏情報生成システムである。

ギター５０は、通常のエレクトリックギターに、６つの弦の各弦の独立した振動を拾うためのヘクサディバイデッドピックアップ、演奏情報の音量をコントロールするためのＭＩＤＩボリューム、制御装置１００に対してパッチメモリ番号の上下切り替えを行うためのアップダウンスイッチ、を搭載したものである。これらの情報とノーマルなピックアップの出力が、マルチケーブルによって制御装置１００に送信されている。また、電源は制御装置１００からマルチケーブル経由で供給される。本実施例のヘクサディバイデッドピックアップは、ノーマルピックアップと同じマグネティック（磁気）ピックアップである。

一方、制御装置１００は、ギターの弦振動の入力を受け、ＭＩＤＩフォーマットによる演奏情報を生成する。演奏情報の送信先は、限定することなく、音源ユニットやコンピュータ等であってもよい。制御装置１００は、図１に示されるように、各種設定を記憶したパッチメモリのバンク番号とナンバーを切り替えるフットスイッチ、任意の演奏メッセージを割り当てて送信することができるＣＯＮＴＲＯＬスイッチとフットペダルを有する。現在選択されているパッチメモリの番号はＢＡＮＫ／ＮＵＭ画面に表示される。メインの表示デバイスとしてＬＣＤがあるが、画面上にはタッチパネルが装着される。また、データを入力する際のロータリエンコーダもパネル上に装備される。端子として、ギター５０からのマルチケーブルの入力端子ＧＵＩＴＡＲ ＩＮＰＵＴ、ノーマルピックアップのオーディオ出力端子ＧＵＩＴＡＲ ＯＵＴ、ＭＩＤＩ演奏信号の出力端子ＭＩＤＩ ＯＵＴ、ホストコンピュータとの接続端子ＵＳＢ ｔｏ ＨＯＳＴ、ＡＣ電源入力端子ＡＣ ＰＯＷＥＲが備えられる。

次に、図５を参照して、本開示の一実施例によるギター５０のハードウェア構成を説明する。図５は、本開示の一実施例によるギター５０のハードウェア構成を示すブロック図である。

図５に示されるように、ギター５０は、ヘクサディバイデッドピックアップのバッファアンプを通した信号、ＭＩＤＩボリュームコントロール、パッチメモリのアップダウンスイッチ、そしてノーマルピックアップの信号がマルチケーブルで制御装置１００に送信される。３つのノーマルピックアップはピックアップセレクターで選択され、トーンコントロール回路と、ボリュームコントロール回路を経てバッファアンプを通過したものが制御装置１００に送信される。

次に、図６を参照して、本開示の一実施例による制御装置１００のハードウェア構成を説明する。図６は、本開示の一実施例による制御装置のハードウェア構成を示すブロック図である。

図６に示されるように、制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）から構成され、ＣＰＵは制御装置１００全体の機能及び処理を管理し、ＤＳＰは高速処理が必要な波形解析処理を実行する。ＣＰＵのバスには、ＣＰＵが使用するＲＡＭ、Ｆｌａｓｈ ＲＯＭ、ＬＣＤをコントロールするＬＣＤコントローラ、各種Ｉ／Ｏデバイスと接続されるＩ／Ｏインターフェース、ＤＳＰ、ＵＳＢインターフェース、及びＭＩＤＩインターフェースが接続される。さらに、Ｉ／Ｏインターフェースにはフットスイッチ、ロータリエンコーダ、ＬＣＤタッチパネル、ギター５０のＭＩＤＩボリュームと、制御装置１００のペダルの位置を検出するためのＡ／Ｄコンバータ、パッチメモリの番号表示用のＬＥＤが接続される。１つのＡ／Ｄコンバータしか図示されていないが、マルチプレクサによって入力ソースを時分割で切り替えて値を読み込んでいる。専用のＲＡＭとＦｌａｓｈ ＲＯＭが接続されているＤＳＰには、ヘクサディバイデッドピックアップの６つの弦の出力を高速にデジタル信号化するための独立したＡ／Ｄコンバータが接続されており高速な解析処理を行うことができる。

しかしながら、ギター５０及び制御装置１００は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成により実現されてもよい。
［演奏情報予測装置］
次に、図７～１２を参照して、本開示の一実施例による演奏情報予測装置３００を説明する。演奏情報予測装置３００は、有効弦振動判定モデル訓練装置２００によって訓練された有効弦振動判定モデルを利用して、演奏者によるギター５０の演奏から演奏情報（例えば、ＭＩＤＩファイルなど）を予測する。具体的には、演奏情報予測装置３００は、ギター５０からギター演奏を表す弦振動波形データを取得すると、取得した各弦の弦振動波形データフレームに対して音量検出及びピッチ検出を実行し、検出した各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを取得する。そして、演奏情報予測装置３００は、取得した音量ピッチ特徴化データを訓練済み有効弦振動判定モデルに入力し、各弦の撥弦の有効性を判定する。演奏情報予測装置３００は、有効であると判定された各弦の音量及びピッチに基づきそれぞれ消音情報及びピッチ変更情報を生成すると共に、音量に基づき撥弦の強さ（速度）を示すベロシティー情報を生成し、発音情報に付加する。このようにして、演奏情報予測装置３００は、各時刻の音量ピッチ特徴化データから発音情報、消音情報及び／又はピッチ変更情報を含む各時刻の演奏情報（例えば、ＭＩＤＩメッセージなど）を生成し、外部機器（例えば、再生装置、コンピュータ等）に送信する。例えば、これらの演奏情報生成処理は、ＣＰＵによって実現されてもよい。

図７Ａは、本開示の一実施例による演奏情報予測装置３００の機能構成を示すブロック図である。

図７Ａに示されるように、演奏情報予測装置３００は、前処理部３１０及び演奏情報予測部３２０を有する。

前処理部２１０は、弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する。具体的には、演奏者によってギター５０が演奏されると、ギター５０は、時間と各弦の振幅とを示す弦振動波形データを取得し、演奏情報予測装置３００に送信する。すなわち、ギター５０は６弦からなるため、６種類の弦振動波形データが生成される。例えば、弦振動波形データは、弦振動の解析に十分な２０ＫＨｚ（５０μｓｅｃ間隔）のサンプリングレート及びデータワード長１６ビットにより取得されうる。

前処理部３１０は、各弦の弦振動波形データに対して音量検出及びピッチ検出を実行し、図８に示されるような弦毎の音量エンベロープ及びピッチエンベロープを取得する。例えば、音量検出について、前処理部３１０は、図９（ａ）に示されるように、弦振動波形データを絶対値化し、ローパスフィルタリングを実行し、フィルタリングされた波形の振幅レベルを当該基準時刻における音量として決定してもよい。当該基準時刻に対して訓練済み有効弦振動判定モデルが有効な撥弦を検出しなかった場合、あるいは、検出した音量が消音状態と認められる所定の閾値以下であった場合、前処理部３１０は、発音がなかったと判断し、演奏情報として消音情報を出力する。そうでない場合、前処理部３１０は、発音があったと判断し、検出した音量を当該発音のベロシティー値とし、有効弦振動判定モデルから出力されたノート番号と共に当該ベロシティー値を発音情報に含める。

また、ピッチ検出について、前処理部３２０は、図９（ｂ）に示されるように、弦振動波形データに対してハイパスフィルタリング及びローパスフィルタリングを実行し、ゼロクロス点を計数し、ピッチ情報を生成する。そして、前処理部３２０は、直近のピッチ情報又は発音情報と差異があった場合、ピッチ変更があったと判断し、ピッチ変更情報を出力する。

なお、前処理部３１０は、全ての弦に対して上述した処理を並列に実行し、図８に示されるように、所定の処理周期ｓで弦振動を検出し、時間軸に関して重複する弦振動波形データフレームを生成する。図８に示されるように、前処理部３１０は、各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データフレームを生成する。

演奏情報予測部３２０は、訓練済み有効弦振動判定モデルを利用して、音量ピッチ特徴化データから弦楽器演奏の演奏情報を予測する。具体的には、演奏情報予測部３２０は、前処理部３１０によって生成された音量ピッチ特徴化データフレームを訓練済み有効弦振動判定モデルに入力し、各弦の有効又は無効を判定する。例えば、訓練済み有効弦振動判定モデルは、基準時刻の音量ピッチ特徴化データフレーム、基準時刻直前のｐ個の音量ピッチ特徴化データフレーム及び基準時刻直後のｎ個の音量ピッチ特徴化データフレームを入力として受け取り、基準時刻の各弦の有効又は無効を示す有効性情報を判定する。ここで、所定数ｐ，ｎは同一又は異なる所定値であってもよい。例えば、所定数ｐ，ｎは、演奏者によるギター５０の撥弦と、演奏情報予測装置３００における演奏情報の出力とのタイムラグが演奏者によって認知できない程度の値に設定されることが好ましい。このように一定の時間範囲の音量ピッチ特徴化データフレームを利用することによって、フレーム間の前後関係を考慮して各弦が意図された撥弦であるか判断することができると共に、撥弦の時間変化を判断することが可能になる。

このようにして、各弦の有効性を判定すると、演奏情報予測部３２０は、図１０に示されるように、演奏情報予測部３２０は、基準時刻における弦振動が有効であると判定された弦については、当該弦について検出された音量を当該弦の音量として決定し、基準時刻における弦振動が無効であると判定された弦については、当該弦について検出された音量をゼロに設定する。そして、演奏情報予測部３２０は、有効な弦振動のみ発音情報を構成し、検出されたピッチによってピッチ変更情報を構成することによって、演奏情報を生成する。

なお、基準時刻において発音がなかった場合、すなわち、基準時刻が消音状態であった場合、有効弦振動判定モデルは、全ての弦について無効を出力するように訓練されてもよい。

一実施例では、有効弦振動判定モデルは、ニューラルネットワークによって実現されてもよい。例えば、有効弦振動判定モデルは、図１１に示されるようなネットワークアーキテクチャを有するニューラルネットワークであってもよい。この場合、演奏情報予測部３２０は、ニューラルネットワークの入力層に基準時刻の音量ピッチ特徴化データフレームと、基準時刻前後の（ｐ＋ｎ）個の音量ピッチ特徴化データフレームとを入力し、中間層における演算を介し出力層から各弦の有効又は無効を示す値を取得する。

また、他の実施例では、有効弦振動判定モデルは、図１２に示されるような再帰型ニューラルネットワークによって実現されてもよい。この場合、演奏情報予測部３２０は、上述したｐ，ｎによる時間範囲より広い時間範囲の音量ピッチ特徴化データフレームを利用してもよく、例えば、基準時刻ｔの音量ピッチ特徴化データフレーム、基準時刻直前のｂ個（ｂ＞ｐ）の音量ピッチ特徴化データフレーム、及び基準時刻直後のｆ個（ｆ＞ｎ）の音量ピッチ特徴化データフレームを再帰型ニューラルネットワークの入力層Ｘ_ｔ－ｂ，・・・Ｘ_ｔ－１，Ｘ_ｔ，Ｘ_ｔ＋１，・・・，Ｘ_ｔ＋ｆに入力し、中間層における演算を介し出力層から各弦の有効又は無効を示す値を取得してもよい。再帰型ニューラルネットワークは、時系列データの処理に適しており、一定の時間範囲の音量ピッチ特徴化データフレームから各弦の有効性を高精度に予測することができると考えられる。
［演奏情報予測処理］
次に、図１３を参照して、本開示の一実施例による演奏情報予測処理を説明する。当該演奏情報予測処理は、上述した演奏情報予測装置３００によって実現され、例えば、プロセッサがプログラム又は命令を実行することによって実現されてもよい。図１３は、本開示の一実施例による演奏情報予測処理を示すフローチャートである。

図１３に示されるように、ステップＳ１０１において、演奏情報予測装置３００は、弦番号ｓを０に初期化する。ギター５０は６弦から構成されるため、弦番号ｓは０～５の値をとる。

ステップＳ１０２において、演奏情報予測装置３００は、弦振動波形データから弦ｓの現在の音量ｌ［ｓ］を検出する。例えば、演奏情報予測装置３００は、弦振動波形データに対して絶対値化及びローパスフィルタリングを適用し、音量ｌ［ｓ］を検出してもよい。

ステップＳ１０３において、演奏情報予測装置３００は、弦振動波形から弦ｓの現在のピッチｐ［ｓ］を検出する。例えば、演奏情報予測装置３００は、弦振動波形データに対してハイパスフィルタリング及びローパスフィルタリングを適用し、ピッチｐ［ｓ］を検出してもよい。

ステップＳ１０４において、演奏情報予測装置３００は、弦番号ｓを１だけインクリメントする。

ステップＳ１０５において、演奏情報予測装置３００は、全ての弦について音量及びピッチを検出したか判断する。

ステップＳ１０６において、演奏情報予測装置３００は、６つの弦のそれぞれの現在の音量ｌ［０］～ｌ［５］及びピッチｐ［０］～ｐ［５］を格納する。

ステップＳ１０７において、演奏情報予測装置３００は、基準時刻の音量ピッチ特徴化データフレーム、基準時刻直前のｐ個の音量ピッチ特徴化データフレーム及び基準時刻直後のｎ個の音量ピッチ特徴化データフレームを訓練済み有効弦振動判定モデルに入力する。

ステップＳ１０８において、演奏情報予測装置３００は、各弦に対する判定結果をそれぞれａ［０］～ａ［５］に格納する。

ステップＳ１０９において、演奏情報予測装置３００は、デジタル信号プロセッサ（ＤＳＰ）に各弦の判定結果を示す弦振動有効性情報ａ［０］～ａ［５］をわたし、レベル信号を制御する。すなわち、ＤＳＰは、判定結果が有効弦振動である弦については弦振動のレベルを維持し、判定結果が有効弦振動でない弦については弦振動のレベルを無音に設定してもよい。

ステップＳ１１０において、演奏情報予測装置３００は、弦番号ｓを０にリセットする。

ステップＳ１１１において、演奏情報予測装置３００は、ＤＳＰの出力する音量情報をｌ［ｓ］に格納する。

ステップＳ１１２において、演奏情報予測装置３００は、ＤＳＰの出力するピッチ情報をｐ［ｓ］に格納する。

ステップＳ１１３において、演奏情報予測装置３００は、弦ｓが発音中であるか判断する。弦ｓが発音中でない場合（Ｓ１１３：Ｎｏ）、演奏情報予測装置３００は、ステップＳ１１７に移行する。他方、弦ｓが発音中である場合（Ｓ１１３：Ｙｅｓ）、演奏情報予測装置３００は、ステップＳ１１４において、弦ｓの弦振動が無効なものであるか、すなわち、弦ｓの弦振動有効性情報がａ［ｓ］＝０であるか判断する。

弦ｓの弦振動が無効である場合（Ｓ１１４：Ｙｅｓ）、演奏情報予測装置３００は、ステップＳ１１６に移行する。他方、弦ｓの弦振動が有効である場合（Ｓ１１４：Ｎｏ）、演奏情報予測装置３００は、ステップＳ１１５において、音量ｌ［ｓ］が所定の発音最低音量未満であるか判断する。

ステップＳ１１５において、演奏情報予測装置３００は、音量ｌ［ｓ］が所定の発音レベルより大きいか判断する。音量ｌ［ｓ］が所定の発音レベルより大きい場合（Ｓ１１５：Ｙｅｓ）、演奏情報予測装置３００は、ステップＳ１１６において、弦ｓの現在の発音に対する消音情報を発生させる。他方、音量ｌ［ｓ］が所定の発音レベル以下である場合（Ｓ１１５：Ｎｏ）、演奏情報予測装置３００は、ステップＳ１１７に移行する。

ステップＳ１１７において、演奏情報予測装置３００は、ｌ［ｓ］が発音レベルより大きいか判断する。ｌ［ｓ］が発音レベルより大きい場合（Ｓ１１７：Ｙｅｓ）、演奏情報予測装置３００は、ステップＳ１１８に移行する。他方、ｌ［ｓ］が発音レベル以下である場合（Ｓ１１７：Ｎｏ）、演奏情報予測装置３００は、ステップＳ１２２に移行する。

ステップＳ１１８において、演奏情報予測装置３００は、弦ｓの弦振動有効性情報がａ［ｓ］＝０であるか判断する。弦ｓの弦振動有効性情報がａ［ｓ］＝０である場合（Ｓ１１８：Ｙｅｓ）、演奏情報予測装置３００は、ステップＳ１２２に移行する。他方、弦ｓの弦振動有効性情報がａ［ｓ］＝０でない場合（Ｓ１１８：Ｎｏ）、演奏情報予測装置３００は、ステップＳ１１９において、ｐ［ｓ］に基づきノート番号ｋを計算する。

ステップＳ１２０において、演奏情報予測装置３００は、ｌ［ｓ］に基づきベロシティー情報ｖを計算する。

ステップＳ１２１において、演奏情報予測装置３００は、ノート番号ｋ及びベロシティー情報ｖの発音情報を生成する。

ステップＳ１２２において、演奏情報予測装置３００は、ピッチｐ［ｓ］が前回の弦ｓのピッチＰ０［ｓ］に一致するか判断する。一致する場合（Ｓ１２２：Ｙｅｓ）、演奏情報予測装置３００は、ステップＳ１２５に移行する。他方、一致しない場合（Ｓ１２２：Ｎｏ）、演奏情報予測装置３００は、差分を求めてピッチベンド情報を生成する。

ステップＳ１２４において、演奏情報予測装置３００は、Ｐ０［ｓ］をｐによって更新する。

ステップＳ１２５において、演奏情報予測装置３００は、弦番号ｓを１だけインクリメントする。

ステップＳ１２６において、演奏情報予測装置３００は、全ての弦が処理されたか判断し、全ての弦が処理されていない場合（Ｓ１２６：Ｙｅｓ）、ステップＳ１１１に戻り、全ての弦が処理されている場合（Ｓ１２６：Ｎｏ）、当該処理を終了する。
［有効弦振動判定モデル訓練装置］
次に、図１４及び７Ｂを参照して、本開示の一実施例による有効弦振動判定モデル訓練装置２００を説明する。図１４は、本開示の一実施例による有効弦振動判定モデル訓練装置２００の動作を示す概略図である。

図１４に示されるように、有効弦振動判定モデル訓練装置２００は、訓練データを格納する訓練用演奏情報データベース８０に格納されている訓練データを利用して有効弦振動判定モデルを訓練する。具体的には、訓練データは、訓練用楽譜データと当該楽譜データに対応する訓練用演奏情報とのペアから構成され、訓練用楽譜データに基づき表示された楽譜（例えば、ＴＡＢ譜など）を演奏者に表示し、演奏者は、メトロノームによるテンポ制御の下でギター５０を演奏する。当該演奏を表す弦振動波形データは、有効弦振動判定モデル訓練装置２００に提供され、有効弦振動判定モデル訓練装置２００は、取得した各弦の弦振動波形データに対して音量検出及びピッチ検出を実行し、各弦の音量及びピッチから構成される音量ピッチ特徴化データフレームを生成する。そして、有効弦振動判定モデル訓練装置２００は、基準時及び基準時前後の音量ピッチ特徴化データフレームを訓練対象の有効弦振動判定モデルに入力する。そして、有効弦振動判定モデル訓練装置２００は、有効弦振動判定モデルからの出力と訓練用演奏情報の発音情報（例えば、発音情報及び消音情報など）とを比較し、その誤差に応じて有効弦振動判定モデルのパラメータを更新する。有効弦振動判定モデル訓練装置２００は、所定の終了条件が充足されるまで上述した処理を繰り返し、有効弦振動判定モデルからの出力が訓練用演奏情報の発音情報に近づくように有効弦振動判定モデルを最適化する。

図７Ｂは、本開示の一実施例による有効弦振動判定モデル訓練装置２００の機能構成を示すブロック図である。

図７Ｂに示されるように、有効弦振動判定モデル訓練装置２００は、前処理部２１０及び有効弦振動判定モデル訓練部２２０を有する。

前処理部２１０は、訓練用演奏情報に従って演奏された弦楽器演奏を表す弦振動波形データから各弦の音量及びピッチから構成される音量ピッチ特徴化データを生成する。具体的には、演奏者によってギター５０が演奏されると、ギター５０は、時間と各弦の振幅とを示す弦振動波形データを取得し、有効弦振動判定モデル訓練装置２００に送信する。すなわち、ギター５０は６弦からなるため、６種類の弦振動波形データが生成される。

前処理部２１０は、各弦の弦振動波形データに対して音量検出及びピッチ検出を実行し、検出した各弦の音量及びピッチから構成される音量ピッチ特徴化データを取得する。例えば、前処理部２１０は、弦振動波形データから時間軸に関して重複する窓幅ｗの弦振動波形フレームを抽出し、サンプリング毎に音量検出及びピッチ検出を実行し、各弦振動波形フレームを音量ピッチ特徴化データフレームに変換してもよい。前処理部２１０は、音量ピッチ特徴化データを生成し、有効弦振動判定モデル訓練部２２０に提供する。

有効弦振動判定モデル訓練部２２０は、訓練用演奏情報を利用して、基準時刻の音量ピッチ特徴化データフレームと、当該基準時刻の音量ピッチ特徴化データフレームの前後の音量ピッチ特徴化データフレームとから弦楽器演奏における各弦の有効性を判定する有効弦振動判定モデルを訓練する。ここで、訓練対象の有効弦振動判定モデルは、予測対象の基準時刻の演奏情報を予測する際、当該基準時刻の音量ピッチ特徴化データフレームだけでなく、当該基準時刻の前後の時刻の音量ピッチ特徴化データフレームを入力として取得し、基準時刻における各弦の有効性情報を出力する。例えば、有効弦振動判定モデル訓練部２２０は、基準時刻の音量ピッチ特徴化データフレームと、基準時刻直前のｐ個の音量ピッチ特徴化データフレームと、基準時刻直後のｎ個の音量ピッチ特徴化データフレームとを有効弦振動判定モデルに入力してもよい。ここで、所定数ｐ，ｎは同一又は異なる所定値であってもよい。例えば、所定数ｐ，ｎは、演奏者によるギター５０の撥弦と、演奏情報予測装置３００における演奏情報の出力とのタイムラグが演奏者によって認知できない程度の値に設定されることが好ましい。

このように一定の時間範囲の音量ピッチ特徴化データフレームを利用することによって、フレーム間の前後関係を考慮して新たな撥弦が発生したか判断することができると共に、撥弦の時間変化を判断することが可能になる。

また、訓練対象の有効弦振動判定モデルは、事前訓練された機械学習モデルであってもよく、有効弦振動判定モデル訓練部２２０は、上述した訓練処理によって、事前訓練された有効弦振動判定モデルをファインチューニングするようにしてもよい。これにより、初期状態の機械学習モデルから有効弦振動判定モデルを訓練するのと比較して、少ない訓練データにより高精度な有効弦振動判定モデルを構築することが可能になる。

有効弦振動判定モデルから各弦の有効性情報を取得すると、有効弦振動判定モデル訓練部２２０は、取得した有効性情報に基づき導出される発音情報と、訓練用演奏情報の発音情報とを比較し、これらが一致するように有効弦振動判定モデルのパラメータを更新する。例えば、有効弦振動判定モデルがニューラルネットワークにより実現される場合、有効弦振動判定モデル訓練部２２０は、周知の誤差逆伝播法に従って比較結果に応じてニューラルネットワークのパラメータを更新してもよい。なお、訓練用演奏情報の発音情報が無いにも関わらず発音情報が出力された場合、当該発音情報は不要弦振動と見做す。

有効弦振動判定モデル訓練部２２０は、所定の終了条件が充足されるまで、上述した処理を繰り返し、有効弦振動判定モデルを訓練し、所定の終了条件が充足されると、当該時点における有効弦振動判定モデルを訓練済み有効弦振動判定モデルとして演奏情報予測装置３００にわたす。ここで、所定の終了条件は、準備された全ての訓練データを処理したことなどであってもよい。
［有効弦振動判定モデル訓練処理］
次に、図１５を参照して、本開示の一実施例による有効弦振動判定モデル訓練処理を説明する。当該有効弦振動判定モデル訓練処理は、上述した有効弦振動判定モデル訓練装置２００によって実現され、例えば、プロセッサがプログラム又は命令を実行することによって実現されてもよい。図１５は、本開示の一実施例による有効弦振動判定モデル訓練処理を示すフローチャートである。

図１５に示されるように、ステップＳ２０１において、有効弦振動判定モデル訓練装置２００は、訓練用演奏情報データベース８０から訓練用演奏情報を選択する。具体的には、有効弦振動判定モデル訓練装置２００は、ランダム、順次、ユーザ選択によって訓練用演奏情報を自動選択してもよい。

ステップＳ２０２において、有効弦振動判定モデル訓練装置２００は、演奏情報をＴＡＢ譜の表示情報に変換する。

ステップＳ２０３において、有効弦振動判定モデル訓練装置２００は、ＴＡＢ譜を制御装置１００のＬＣＤなどに表示する。

ステップＳ２０４において、有効弦振動判定モデル訓練装置２００は、演奏情報のテンポに合わせてＭＩＤＩプレーヤーをスタートする。

ステップＳ２０５において、有効弦振動判定モデル訓練装置２００は、テンポに合わせてメトロノームをスタートする。

ステップＳ２０６において、ＭＩＤＩプレーヤーは、演奏情報を再生する。

ステップＳ２０７において、メトロノームは、演奏情報を再生する。これにより、演奏者の演奏を取得するための準備が整い、演奏者は演奏を開始する。

ステップＳ２０８において、有効弦振動判定モデル訓練装置２００は、ＭＩＤＩプレーヤーから発生したｓチャネルの発音情報又は消音情報をメモリｐに格納する。

ステップＳ２０９において、有効弦振動判定モデル訓練装置２００は、演奏者による演奏を表す弦振動波形から音量ピッチ特徴化データフレームを生成し、基準時刻における各弦の有効又は無効を示す有効性情報を訓練対象の有効弦振動判定モデルに入力し、判定された有効性情報に基づき発音情報又は消音情報を生成し、メモリｏに格納する。

ステップＳ２１０において、有効弦振動判定モデル訓練装置２００は、メモリｐの発音情報又は消音情報と、メモリｏの有効弦振動判定モデルの発音情報又は消音情報とを比較する。

ステップＳ２１１において、有効弦振動判定モデル訓練装置２００は、メモリｐの発音情報又は消音情報とメモリｏの発音情報又は消音情報との間に差分があるか判断する。

有意な差分があった場合（Ｓ２１１：Ｙｅｓ）、有効弦振動判定モデル訓練装置２００は、ステップＳ２１２において、当該差分から有効弦振動判定モデルを更新するための最適化情報を有効弦振動判定モデルに適用し、ステップＳ２１３に移行する。他方、有意な差分がなかった場合（Ｓ２１１：Ｎｏ）、有効弦振動判定モデル訓練装置２００は、有効弦振動判定モデルを更新することなく、ステップＳ２１３に移行する。

ステップＳ２１３において、有効弦振動判定モデル訓練装置２００は、演奏が終了したか判断し、終了していない場合（Ｓ２１３：Ｎｏ）、ステップＳ２０６に戻る。

ステップＳ２１４において、有効弦振動判定モデル訓練装置２００は、メトロノーム及びＭＩＤＩプレーヤーを停止する。

ステップＳ２１５において、有効弦振動判定モデル訓練装置２００は、ユーザなどによる終了操作があったか判断し、終了操作がない場合（Ｓ２１５：Ｎｏ）、ステップＳ２０１に戻り、次の演奏情報を選択し、終了操作があった場合（Ｓ２１５：Ｙｅｓ）、当該処理を終了する。

なお、上述した実施例では、ギター５０などの弦楽器の弦振動波形データから演奏情報を予測する有効弦振動判定モデルを訓練し、訓練した有効弦振動判定モデルを利用して演奏情報を予測する演奏情報予測システムを説明したが、本開示はこれに限定されず、管楽器に適用されてもよい。すなわち、本開示は、管楽器の空気振動波形データから演奏情報を予測する有効弦振動判定モデルを訓練し、訓練した有効弦振動判定モデルを利用して演奏情報を予測する演奏情報予測システムに適用されてもよい。

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記］
本開示の一態様では、
弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する前処理部と、
訓練済み有効弦振動判定モデルを利用して、前記音量ピッチ特徴化データから前記弦楽器演奏の演奏情報を予測する演奏情報予測部と、
を有する演奏情報予測装置が提供される。

一実施例では、前記演奏情報は、発音情報、消音情報及びピッチ変更情報から構成されてもよい。

一実施例では、前記訓練済み有効弦振動判定モデルは、各弦の振動が有効又は無効であるかを出力してもよい。

一実施例では、前記訓練済み有効弦振動判定モデルは、ニューラルネットワークにより実現されてもよい。

一実施例では、前記演奏情報は、ＭＩＤＩプロトコルに従って記述されてもよい。

本開示の他の態様では、
訓練用演奏情報に従って演奏された弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する前処理部と、
前記訓練用演奏情報を利用して、前記音量ピッチ特徴化データから各弦の振動の有効性を判定する有効弦振動判定モデルを訓練する有効弦振動判定モデル訓練部と、
を有する有効弦振動判定モデル訓練装置が提供される。

本開示の他の態様では、
電子弦楽器と、
上述した演奏情報予測装置と、
上述した有効弦振動判定モデル訓練装置と、
を有する演奏情報生成システムが提供される。

本開示の他の態様では、
１つ以上のプロセッサが、弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成するステップと、
前記１つ以上のプロセッサが、訓練済み有効弦振動判定モデルを利用して、前記音量ピッチ特徴化データから前記弦楽器演奏の演奏情報を予測するステップと、
を有する演奏情報予測方法が提供される。

本開示の他の態様では、
１つ以上のプロセッサが、訓練用演奏情報に従って演奏された弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成するステップと、
前記１つ以上のプロセッサが、前記訓練用演奏情報を利用して、前記音量ピッチ特徴化データから各弦の振動の有効性を判定する有効弦振動判定モデルを訓練するステップと、
を有する有効弦振動判定モデル訓練方法が提供される。

１０ ギターコントローラ
５０ ギター
１００ 制御装置
２００ 有効弦振動判定モデル訓練装置
２１０ 前処理部
２２０ 有効弦振動判定モデル訓練部
３００ 演奏情報予測装置
３１０ 前処理部
３２０ 演奏情報予測部

Claims (9)

1. 弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する前処理部と、
   訓練済み有効弦振動判定モデルを利用して、前記音量ピッチ特徴化データから前記弦楽器演奏の演奏情報を予測する演奏情報予測部と、
   を有する演奏情報予測装置。
2. 前記演奏情報は、発音情報、消音情報及びピッチ変更情報から構成される、請求項１記載の演奏情報予測装置。
3. 前記訓練済み有効弦振動判定モデルは、各弦の振動が有効又は無効であるかを出力する、請求項１又は２記載の演奏情報予測装置。
4. 前記訓練済み有効弦振動判定モデルは、ニューラルネットワークにより実現される、請求項１乃至３何れか一項記載の演奏情報予測装置。
5. 前記演奏情報は、ＭＩＤＩプロトコルに従って記述される、請求項１乃至４何れか一項記載の演奏情報予測装置。
6. 訓練用演奏情報に従って演奏された弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成する前処理部と、
   前記訓練用演奏情報を利用して、前記音量ピッチ特徴化データから各弦の振動の有効性を判定する有効弦振動判定モデルを訓練する有効弦振動判定モデル訓練部と、
   を有する有効弦振動判定モデル訓練装置。
7. 電子弦楽器と、
   請求項１乃至５何れか一項記載の演奏情報予測装置と、
   請求項６記載の有効弦振動判定モデル訓練装置と、
   を有する演奏情報生成システム。
8. １つ以上のプロセッサが、弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成するステップと、
   前記１つ以上のプロセッサが、訓練済み有効弦振動判定モデルを利用して、前記音量ピッチ特徴化データから前記弦楽器演奏の演奏情報を予測するステップと、
   を有する演奏情報予測方法。
9. １つ以上のプロセッサが、訓練用演奏情報に従って演奏された弦楽器演奏を表す弦振動波形データから各弦の音量情報及びピッチ情報を含む音量ピッチ特徴化データを生成するステップと、
   前記１つ以上のプロセッサが、前記訓練用演奏情報を利用して、前記音量ピッチ特徴化データから各弦の振動の有効性を判定する有効弦振動判定モデルを訓練するステップと、
   を有する有効弦振動判定モデル訓練方法。

Images