JP6614356B2 - 演奏解析方法、自動演奏方法および自動演奏システム - Google Patents
演奏解析方法、自動演奏方法および自動演奏システム Download PDFInfo
- Publication number
- JP6614356B2 JP6614356B2 JP2018528863A JP2018528863A JP6614356B2 JP 6614356 B2 JP6614356 B2 JP 6614356B2 JP 2018528863 A JP2018528863 A JP 2018528863A JP 2018528863 A JP2018528863 A JP 2018528863A JP 6614356 B2 JP6614356 B2 JP 6614356B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- music
- likelihood
- automatic
- automatic performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明の好適な態様に係る自動演奏方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定し、前記演奏位置の進行に同期するように前記楽曲の自動演奏を自動演奏装置に実行させ、前記演奏位置の推定においては、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。
本発明の好適な態様に係る自動演奏システムは、楽曲を演奏する演奏者の合図動作を検出する合図検出部と、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定する解析処理部と、前記合図検出部が検出する合図動作と前記演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部とを具備し、前記解析処理部は、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定する尤度算定部と、前記観測尤度の分布に応じて前記演奏位置を推定する位置推定部とを含み、前記尤度算定部は、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。
図1は、本発明の第1実施形態に係る自動演奏システム100のブロック図である。自動演奏システム100は、複数の演奏者Pが楽器を演奏する音響ホール等の空間に設置され、複数の演奏者Pによる楽曲(以下「演奏対象曲」という)の演奏に並行して演奏対象曲の自動演奏を実行するコンピュータシステムである。なお、演奏者Pは、典型的には楽器の演奏者であるが、演奏対象曲の歌唱者も演奏者Pであり得る。すなわち、本出願における「演奏」には、楽器の演奏だけでなく歌唱も包含される。また、実際には楽器の演奏を担当しない者(例えば、コンサート時の指揮者またはレコーディング時の音響監督など)も、演奏者Pに含まれ得る。
本発明の第2実施形態を説明する。なお、以下に例示する各形態において作用または機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
[態様A1]
本発明の好適な態様(態様A1)に係る演奏解析方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。以上の態様では、音響信号の解析結果に加えて合図動作の検出結果が演奏位置の推定に加味されるから、例えば音響信号の解析結果のみを考慮する構成と比較して演奏位置を高精度に推定することが可能である。
[態様A2]
態様A1の好適例(態様A2)において、前記観測尤度の分布の算定では、前記楽曲内の各時点が演奏位置に該当する確度の指標である第1尤度を前記音響信号から算定し、前記合図動作が検出されない状態において第1値に設定され、前記合図動作が検出された場合には、前記基準点の前方の期間において、前記第1値を下回る第2値に設定される第2尤度を算定し、前記第1尤度と前記第2尤度との乗算により前記観測尤度を算定する。以上の態様では、音響信号から算定された第1尤度と合図動作の検出結果に応じた第2尤度との乗算により観測尤度を簡便に算定できるという利点がある。
[態様A3]
態様A2の好適例(態様A3)において、前記第1値は1であり、前記第2値は0である。以上の態様によれば、合図動作が検出された場合と検出されない場合とで観測尤度を明確に区別することが可能である。
[態様A4]
本発明の好適な態様(態様A4)に係る自動演奏方法は、楽曲を演奏する演奏者の合図動作を検出し、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定し、前記演奏位置の進行に同期するように前記楽曲の自動演奏を自動演奏装置に実行させ、前記演奏位置の推定においては、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定し、前記観測尤度の分布に応じて前記演奏位置を推定し、前記観測尤度の分布の算定において、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。以上の態様では、音響信号の解析結果に加えて合図動作の検出結果が演奏位置の推定に加味されるから、例えば音響信号の解析結果のみを考慮する構成と比較して演奏位置を高精度に推定することが可能である。
[態様A5]
態様A4の好適例(態様A5)において、前記観測尤度の分布の算定では、前記楽曲内の各時点が演奏位置に該当する確度の指標である第1尤度を前記音響信号から算定し、前記合図動作が検出されない状態において第1値に設定され、前記合図動作が検出された場合には、前記基準点の前方の期間において、前記第1値を下回る第2値に設定される第2尤度を算定し、前記第1尤度と前記第2尤度との乗算により前記観測尤度を算定する。以上の態様では、音響信号から算定された第1尤度と合図動作の検出結果に応じた第2尤度との乗算により観測尤度を簡便に算定できるという利点がある。
[態様A6]
態様A4または態様A5の好適例(態様A6)において、前記楽曲の演奏内容を表す楽曲データに従って前記自動演奏装置に自動演奏を実行させ、前記複数の基準点は、前記楽曲データにより指定される。以上の態様では、自動演奏装置に自動演奏を指示する楽曲データにより各基準点が指定されるから、楽曲データとは別個に複数の基準点を指定する構成と比較して構成および処理が簡素化されるという利点がある。
[態様A7]
態様A4から態様A6の何れかの好適例(態様A7)において、前記自動演奏の進行を表す画像を表示装置に表示させる。以上の態様によれば、自動演奏装置による自動演奏の進行を演奏者が視覚的に確認して自身の演奏に反映させることが可能である。すなわち、演奏者による演奏と自動演奏装置による自動演奏とが相互に作用し合う自然な演奏が実現される。
[態様A8]
本発明の好適な態様(態様A8)に係る自動演奏システムは、楽曲を演奏する演奏者の合図動作を検出する合図検出部と、前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定する解析処理部と、前記合図検出部が検出する合図動作と前記演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部とを具備し、前記解析処理部は、前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である観測尤度の分布を算定する尤度算定部と、前記観測尤度の分布に応じて前記演奏位置を推定する位置推定部とを含み、前記尤度算定部は、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間における観測尤度を低下させる。以上の態様では、音響信号の解析結果に加えて合図動作の検出結果が演奏位置の推定に加味されるから、例えば音響信号の解析結果のみを考慮する構成と比較して演奏位置を高精度に推定することが可能である。
[態様B1]
本発明の好適な態様(態様B1)に係る自動演奏システムは、楽曲を演奏する演奏者の合図動作を検出する合図検出部と、演奏された音を表す音響信号を当該演奏に並行して解析することで楽曲内の演奏位置を順次に推定する演奏解析部と、合図検出部が検出する合図動作と演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部と、自動演奏の進行を表す画像を表示装置に表示させる表示制御部とを具備する。以上の構成では、演奏者による合図動作と演奏位置の進行とに同期するように自動演奏装置による自動演奏が実行される一方、自動演奏装置による自動演奏の進行を表す画像が表示装置に表示される。したがって、自動演奏装置による自動演奏の進行を演奏者が視覚的に確認して自身の演奏に反映させることが可能である。すなわち、演奏者による演奏と自動演奏装置による自動演奏とが相互に作用し合う自然な演奏が実現される。
[態様B2]
態様B1の好適例(態様B2)において、演奏制御部は、楽曲のうち演奏解析部が推定した演奏位置に対して後方の時点の演奏を自動演奏装置に指示する。以上の態様では、演奏解析部が推定した演奏位置に対して時間的に後方の時点の演奏内容が自動演奏装置に指示される。したがって、演奏制御部による演奏の指示に対して自動演奏装置による実際の発音が遅延する場合でも、演奏者による演奏と自動演奏とを高精度に同期させることが可能である。
[態様B3]
態様B2の好適例(態様B3)において、演奏解析部は、音響信号の解析により演奏速度を推定し、演奏制御部は、楽曲のうち、演奏解析部が推定した演奏位置に対して演奏速度に応じた調整量だけ後方の時点の演奏を、自動演奏装置に指示する。以上の態様では、演奏解析部が推定した演奏速度に応じた可変の調整量だけ演奏位置に対して後方の時点の演奏が自動演奏装置に指示される。したがって、例えば演奏速度が変動する場合でも、演奏者による演奏と自動演奏とを高精度に同期させることが可能である。
[態様B4]
態様B1から態様B3の何れかの好適例(態様B4)において、合図検出部は、撮像装置が演奏者を撮像した画像の解析により合図動作を検出する。以上の態様では、撮像装置が撮像した画像の解析により演奏者の合図動作が検出されるから、例えば演奏者の身体に装着した検出器により合図動作を検出する場合と比較して、演奏者による演奏に対する影響を低減しながら合図動作を検出できるという利点がある。
[態様B5]
態様B1から態様B4の何れかの好適例(態様B5)において、表示制御部は、自動演奏による演奏内容に応じて動的に変化する画像を表示装置に表示させる。以上の態様では、自動演奏による演奏内容に応じて動的に変化する画像が表示装置に表示されるから、演奏者が自動演奏の進行を視覚的および直観的に把握できるという利点がある。
[態様B6]
本発明の好適な態様(態様B6)に係る自動演奏方法は、コンピュータシステムが、楽曲を演奏する演奏者の合図動作を検出し、演奏された音を表す音響信号を当該演奏に並行して解析することで楽曲内の演奏位置を順次に推定し、合図動作と演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させ、自動演奏の進行を表す画像を表示装置に表示させる。
本発明の好適な態様は、以下のように表現され得る。
1.前提
自動演奏システムとは、人間の演奏に対し、機械が合わせて伴奏を生成するシステムである。ここでは、クラシック音楽のように、自動演奏システムと人間それぞれが弾くべき楽譜表現が与えられている自動演奏システムについて論じる。このような自動演奏システムは、音楽演奏の練習支援、または、演奏者に合わせてエレクトロニクスを駆動するような音楽の拡張表現など、幅広い応用がある。なお、以下では、合奏エンジンが演奏するパートのことを「伴奏パート」と呼ぶ。音楽的に整合した合奏を行うためには、伴奏パートの演奏タイミングを適切に制御することが必要である。適切なタイミング制御には、以下に記載する4つの要求がある。
従来の自動演奏システムでは、楽譜追従を用いることで演奏者の演奏タイミングを推定する。その上で、合奏エンジンと人間を協調させるため、大きく分けて二つのアプローチが用いられる。第一に、多数のリハーサルを通じて演奏者と合奏エンジンの演奏タイミングに対する関係性を回帰することで、楽曲における平均的な挙動、もしくは時々刻々と変化する挙動、を獲得することが提案されている。このようなアプローチでは、合奏の結果自体を回帰するため、結果的に伴奏パートの音楽性と、伴奏パートの追従性を同時に獲得できる。一方、演奏者のタイミング予測、合奏エンジンの生成過程と、合わせる度合いを切り分けて表現することが難しいため、リハーサル中に追従性または音楽性を独立に操作することは難しいと考えられる。また、音楽的な追従性を獲得するためには、人間同士の合奏データを別途解析する必要があるため、コンテンツ整備にコストがかかる。第二に、少ないパラメータで記述される動的システムを用いることでテンポ軌跡に対して制約を設けるアプローチがある。このアプローチでは、テンポの連続性といった事前情報を設けた上で、リハーサルを通じて演奏者のテンポ軌跡などを学習する。また、伴奏パートは伴奏パートの発音タイミングを別途学習できる。これらは少ないパラメータでテンポ軌跡を記述するため、リハーサル中に伴奏パートまたは人間の「癖」を容易に手動で上書きできる。しかし、追従性を独立に操作することは難しく、追従性は演奏者と合奏エンジンそれぞれが独立に演奏した時における発音タイミングのばらつきから間接的に得られていた。リハーサル中における瞬発力を高めるためには、自動演奏システムによる学習と、自動演奏システムと演奏者との対話を交互に行うことが有効と考えられる。そこで、追従性を独立に操作するため、合奏再生ロジック自体を調整する方法が提案されている。本手法では、このようなアイディアに基づき、「合わせ方」「伴奏パートの演奏タイミング」「演奏者の演奏タイミング」を独立かつ対話的に制御できるような数理モデルを考える。
自動演奏システムの構成を図12に示す。本手法では、演奏者の位置を追従するために、音響信号とカメラ映像に基づき楽譜追従を行う。また、楽譜追従の事後分布から得られた統計情報を元に、演奏者の演奏している位置の生成過程に基づき、演奏者の位置を予測する。伴奏パートの発音タイミングを決定するためには、演奏者のタイミングを予測モデルと、伴奏パートが取りうるタイミングの生成過程を結合することで、伴奏パートのタイミングを生成する。
演奏者が現在弾いている楽曲中の位置を推定するために、楽譜追従を用いる。本システムの楽譜追従手法では、楽譜の位置と演奏されているテンポを同時に表現する離散的な状態空間モデルを考える。観測音を状態空間上の隠れマルコフ過程(hidden Markov model;HMM)としてモデル化し、状態空間の事後分布をdelayed-decision型のforward-backwardアルゴリズムで逐次推定する。delayed-decision型のfoward-backwardアルゴリズムとは、forwardアルゴリズムを逐次実行し、現在の時刻がデータの終端と見なしbackwardアルゴリズムを走らせることで、現在の時刻より数フレーム前の状態に対する事後分布を算出することを言う。事後分布のMAP値が楽譜上でオンセットとみなされる位置を通過した時点で、事後分布のラプラス近似を出力する。
合奏エンジンは、楽譜追従から通知された情報(tn,μn,σn 2)を元に、適切な合奏エンジンの再生位置を計算する。合奏エンジンが演奏者に合わせるためには、(1)演奏者が演奏するタイミングの生成過程、(2)伴奏パートが演奏するタイミングの生成過程、(3)演奏者を聞きながら伴奏パートが演奏する過程の三つを独立にモデル化することが好ましい。このようなモデルを使い、伴奏パート生成したい演奏タイミングと、演奏者の予測位置を加味しながら、最終的な伴奏パートのタイミングを生成する。
演奏者の演奏タイミングを表現するため、演奏者が、tnとtn+1の間で楽譜上の位置を、速度vn (p)で直線運動していると仮定する。すなわち、xn (p)をtnでの演奏者が弾いている楽譜上の位置とし、εn (p)を速度または楽譜上の位置に対するノイズとし、次のような生成過程を考える。ただし、ΔTm,n=tm−tnとする。
前述したような、演奏者のタイミングモデルを使うことで、演奏者の内部状態[xn (p),vn (p)]を、楽譜追従が報告した位置の履歴から推論することができる。自動演奏システムは、このような推論と、伴奏パートがどのように「弾きたいか」というクセを協調させながら、最終的な発音タイミングを推論する。そこで、ここでは伴奏パートがどのように「弾きたいか」という、伴奏パートにおける演奏タイミングの生成過程について考える。
ここまでは、演奏者の発音タイミングと、伴奏パートの発音タイミングをそれぞれ独立にモデル化した。ここでは、これらの生成過程を踏まえた上で、演奏者を聞きながら、伴奏パートが「合わせる」過程について述べる。そこで、伴奏パートが人に合わせる際、伴奏パートが現在弾こうとする位置の予測値と、演奏者の現在位置の予測値の誤差を徐々に補正するような挙動を記述することを考える。以下では、このような、誤差を補正する程度を記述した変数を「結合係数」と呼ぶ。結合係数は、伴奏パートと演奏者の主従関係に影響される。例えば、演奏者が伴奏パートよりも明瞭なリズムを刻んでいる場合、伴奏パートは演奏者に強めに合わせること多い。また、リハーサル中に主従関係を演奏者から指示された場合は、指示されたように合わせ方を変える必要がある。つまり、結合係数は、楽曲のコンテキストまたは演奏者との対話に応じて変わる。そこで、tnを受け取った際の楽譜位置における結合係数γn∈[0,1]が与えられたとき、伴奏パートが演奏者に合わせる過程を以下のように記述する。
結合係数γnに表すような演奏者同士の同期度合いは、いくつかの要因により設定される。まず、楽曲中のコンテキストに主従関係が影響される。例えば、合奏をリードするのは、分かりやすいリズムを刻むパートであることが多い。また、対話を通じて主従関係を変えることもある。楽曲中のコンテキストから主従関係を設定するため、楽譜情報から、音の密度φn=[伴奏パートに対する音符密度の移動平均、演奏者パートに対する音符密度の移動平均]を算出する。音の数が多いパートの方が、テンポ軌跡を決めやすいため、このような特徴量を使うことで近似的に結合係数を抽出できると考えられる。このとき、伴奏パートが演奏を行っていない場合(φn,0=0)、合奏の位置予測は演奏者に完全に支配され、また、演奏者が演奏を行わない箇所(φn,1=0)では、合奏の位置予測は演奏者を完全に無視するような挙動が望ましい。そこで、次のようにγnを決定する。
自動演奏システムの運用時は、(tn,μn,σn 2)を受け取ったタイミングで、前述の演奏タイミングモデルの事後分布を更新する。提案手法はカルマンフィルタを用いて効率的に推論することができる。(tn,μn,σn 2)が通知された時点でカルマンフィルタのpredictとupdateステップを実行し、時刻tにおいて伴奏パートが演奏すべき位置を以下のように予測する。
本システムを評価するため、まず演奏者の位置推定精度を評価する。合奏のタイミング生成に関しては、合奏のテンポを規定値に引き戻そうとする項であるβ、または、伴奏パートを演奏者にどれだけ合わせるかの指標であるγの有用性を、演奏者へのヒアリングを行うことで評価する。
楽譜追従精度の評価を行うため、Bergmullerのエチュードに対する追従精度を評価した。評価データとして、Bergmullerのエチュード(Op.100)のうち、14曲(1番,4番-10番,14番,15番,19番,20番,22番,23番)をピアニストが演奏したデータを収録したものを使い、譜面追従精度を評価した。なお、この実験ではカメラの入力は使用しなかった。評価尺度にはMIREXに倣い、Total precisionを評価した。Total precisionとは、アラインメントの誤差がある閾値τに収まる場合を正解とした場合の、コーパス全体に対する精度を示す。
演奏タイミング結合モデルの検証は、演奏者へのヒアリングを通じて行った。本モデルの特徴としては、合奏エンジンが想定テンポに引き戻そうとするβと、結合係数γの存在であり、これら両者についての有効性を検証した。
演奏者の「癖」を獲得するため、楽譜追従から算出された時刻tでのMAP状態^stと、その入力特徴系列{ct}T t=1をもとに、hsiとωifおよびテンポ軌跡を推定する。ここでは、これらの推定方法について簡単に述べる。hsiとωifの推定においては、次のようなPoisson-Gamma 系のInformed NMFモデルを考え、事後分布を推定する。
Claims (6)
- 楽曲を演奏する演奏者の合図動作を検出し、
前記楽曲を演奏した音を表す音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である第1尤度を算定し、
前記合図動作を検出しない場合には第1値に設定され、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間において、前記第1値を下回る第2値に設定される第2尤度を算定し、
前記第1尤度と前記第2尤度との乗算により観測尤度を算定し、
前記観測尤度の分布に応じて前記演奏位置を推定する
演奏解析方法。 - 前記第1値は1であり、前記第2値は0である
請求項1の演奏解析方法。 - 楽曲を演奏する演奏者の合図動作を検出し、
前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定し、
前記演奏位置の進行に同期するように前記楽曲の自動演奏を自動演奏装置に実行させ、
前記演奏位置の推定においては、
前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である第1尤度を算定し、
前記合図動作を検出しない場合には第1値に設定され、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間において、前記第1値を下回る第2値に設定される第2尤度を算定し、
前記第1尤度と前記第2尤度との乗算により観測尤度を算定し、
前記観測尤度の分布に応じて前記演奏位置を推定する
自動演奏方法。 - 前記楽曲の演奏内容を表す楽曲データに従って前記自動演奏装置に自動演奏を実行させ、
前記基準点は、前記楽曲データにより指定される
請求項3の自動演奏方法。 - 前記自動演奏の進行を表す画像を表示装置に表示させる
請求項3または請求項4の自動演奏方法。 - 楽曲を演奏する演奏者の合図動作を検出する合図検出部と、
前記楽曲を演奏した音を表す音響信号の解析により前記楽曲内の演奏位置を推定する解析処理部と、
前記合図検出部が検出する合図動作と前記演奏解析部が推定する演奏位置の進行とに同期するように楽曲の自動演奏を自動演奏装置に実行させる演奏制御部とを具備し、
前記解析処理部は、
前記音響信号の解析により、前記楽曲内の各時点が演奏位置に該当する確度の指標である第1尤度を算定する第1演算部と、
前記合図動作を検出しない場合には第1値に設定され、前記合図動作を検出した場合には、前記楽曲について時間軸上に指定された基準点の前方の期間において、前記第1値を下回る第2値に設定される第2尤度を算定する第2演算部と、
前記第1尤度と前記第2尤度との乗算により観測尤度を算定する第3演算部と、
前記観測尤度の分布に応じて前記演奏位置を推定する位置推定部とを含む
自動演奏システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016144944 | 2016-07-22 | ||
JP2016144944 | 2016-07-22 | ||
PCT/JP2017/026271 WO2018016582A1 (ja) | 2016-07-22 | 2017-07-20 | 演奏解析方法、自動演奏方法および自動演奏システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018016582A1 JPWO2018016582A1 (ja) | 2019-01-17 |
JP6614356B2 true JP6614356B2 (ja) | 2019-12-04 |
Family
ID=60992644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018528863A Active JP6614356B2 (ja) | 2016-07-22 | 2017-07-20 | 演奏解析方法、自動演奏方法および自動演奏システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10580393B2 (ja) |
EP (1) | EP3489945B1 (ja) |
JP (1) | JP6614356B2 (ja) |
CN (1) | CN109478399B (ja) |
WO (1) | WO2018016582A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018016636A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | タイミング予想方法、及び、タイミング予想装置 |
WO2018016581A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 楽曲データ処理方法およびプログラム |
JP7383943B2 (ja) * | 2019-09-06 | 2023-11-21 | ヤマハ株式会社 | 制御システム、制御方法、及びプログラム |
JP6708179B2 (ja) * | 2017-07-25 | 2020-06-10 | ヤマハ株式会社 | 情報処理方法、情報処理装置およびプログラム |
US10403247B2 (en) * | 2017-10-25 | 2019-09-03 | Sabre Music Technology | Sensor and controller for wind instruments |
JP6737300B2 (ja) * | 2018-03-20 | 2020-08-05 | ヤマハ株式会社 | 演奏解析方法、演奏解析装置およびプログラム |
JP7243026B2 (ja) * | 2018-03-23 | 2023-03-22 | ヤマハ株式会社 | 演奏解析方法、演奏解析装置およびプログラム |
JP7147384B2 (ja) * | 2018-09-03 | 2022-10-05 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
WO2020072591A1 (en) * | 2018-10-03 | 2020-04-09 | Google Llc | Placement and manipulation of objects in augmented reality environment |
JP7226709B2 (ja) * | 2019-01-07 | 2023-02-21 | ヤマハ株式会社 | 映像制御システム、及び映像制御方法 |
CN113796091B (zh) * | 2019-09-19 | 2023-10-24 | 聚好看科技股份有限公司 | 一种演唱界面的显示方法及显示设备 |
US11257471B2 (en) * | 2020-05-11 | 2022-02-22 | Samsung Electronics Company, Ltd. | Learning progression for intelligence based music generation and creation |
CN111680187B (zh) * | 2020-05-26 | 2023-11-24 | 平安科技(深圳)有限公司 | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 |
CN112669798B (zh) * | 2020-12-15 | 2021-08-03 | 深圳芒果未来教育科技有限公司 | 一种对音乐信号主动跟随的伴奏方法及相关设备 |
JPWO2022190403A1 (ja) * | 2021-03-09 | 2022-09-15 | ||
KR102577734B1 (ko) * | 2021-11-29 | 2023-09-14 | 한국과학기술연구원 | 라이브 공연의 자막 동기화를 위한 인공지능 학습 방법 |
EP4350684A1 (en) * | 2022-09-28 | 2024-04-10 | Yousician Oy | Automatic musician assistance |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2071389B (en) * | 1980-01-31 | 1983-06-08 | Casio Computer Co Ltd | Automatic performing apparatus |
US5177311A (en) * | 1987-01-14 | 1993-01-05 | Yamaha Corporation | Musical tone control apparatus |
US4852180A (en) * | 1987-04-03 | 1989-07-25 | American Telephone And Telegraph Company, At&T Bell Laboratories | Speech recognition by acoustic/phonetic system and technique |
US5288938A (en) * | 1990-12-05 | 1994-02-22 | Yamaha Corporation | Method and apparatus for controlling electronic tone generation in accordance with a detected type of performance gesture |
US5663514A (en) * | 1995-05-02 | 1997-09-02 | Yamaha Corporation | Apparatus and method for controlling performance dynamics and tempo in response to player's gesture |
US5648627A (en) * | 1995-09-27 | 1997-07-15 | Yamaha Corporation | Musical performance control apparatus for processing a user's swing motion with fuzzy inference or a neural network |
US5890116A (en) * | 1996-09-13 | 1999-03-30 | Pfu Limited | Conduct-along system |
US6166314A (en) * | 1997-06-19 | 2000-12-26 | Time Warp Technologies, Ltd. | Method and apparatus for real-time correlation of a performance to a musical score |
US5913259A (en) * | 1997-09-23 | 1999-06-15 | Carnegie Mellon University | System and method for stochastic score following |
JP4626087B2 (ja) * | 2001-05-15 | 2011-02-02 | ヤマハ株式会社 | 楽音制御システムおよび楽音制御装置 |
JP3948242B2 (ja) * | 2001-10-17 | 2007-07-25 | ヤマハ株式会社 | 楽音発生制御システム |
JP2007241181A (ja) * | 2006-03-13 | 2007-09-20 | Univ Of Tokyo | 自動伴奏システム及び楽譜追跡システム |
JP4672613B2 (ja) * | 2006-08-09 | 2011-04-20 | 株式会社河合楽器製作所 | テンポ検出装置及びテンポ検出用コンピュータプログラム |
US9171531B2 (en) * | 2009-02-13 | 2015-10-27 | Commissariat À L'Energie et aux Energies Alternatives | Device and method for interpreting musical gestures |
US8889976B2 (en) * | 2009-08-14 | 2014-11-18 | Honda Motor Co., Ltd. | Musical score position estimating device, musical score position estimating method, and musical score position estimating robot |
JP5654897B2 (ja) * | 2010-03-02 | 2015-01-14 | 本田技研工業株式会社 | 楽譜位置推定装置、楽譜位置推定方法、及び楽譜位置推定プログラム |
JP5338794B2 (ja) * | 2010-12-01 | 2013-11-13 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
JP5712603B2 (ja) * | 2010-12-21 | 2015-05-07 | カシオ計算機株式会社 | 演奏装置および電子楽器 |
JP5790496B2 (ja) * | 2011-12-29 | 2015-10-07 | ヤマハ株式会社 | 音響処理装置 |
JP5958041B2 (ja) * | 2012-04-18 | 2016-07-27 | ヤマハ株式会社 | 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置 |
CN103377647B (zh) * | 2012-04-24 | 2015-10-07 | 中国科学院声学研究所 | 一种基于音视频信息的自动音乐记谱方法及*** |
CN104395953B (zh) * | 2012-04-30 | 2017-07-21 | 诺基亚技术有限公司 | 来自音乐音频信号的拍子、和弦和强拍的评估 |
JP6179140B2 (ja) * | 2013-03-14 | 2017-08-16 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
JP6123995B2 (ja) * | 2013-03-14 | 2017-05-10 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
JP6187132B2 (ja) * | 2013-10-18 | 2017-08-30 | ヤマハ株式会社 | スコアアライメント装置及びスコアアライメントプログラム |
WO2017109139A1 (en) * | 2015-12-24 | 2017-06-29 | Symphonova, Ltd | Techniques for dynamic music performance and related systems and methods |
WO2018016581A1 (ja) * | 2016-07-22 | 2018-01-25 | ヤマハ株式会社 | 楽曲データ処理方法およびプログラム |
-
2017
- 2017-07-20 WO PCT/JP2017/026271 patent/WO2018016582A1/ja active Application Filing
- 2017-07-20 JP JP2018528863A patent/JP6614356B2/ja active Active
- 2017-07-20 CN CN201780044191.3A patent/CN109478399B/zh active Active
- 2017-07-20 EP EP17831098.3A patent/EP3489945B1/en active Active
-
2019
- 2019-01-18 US US16/252,086 patent/US10580393B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10580393B2 (en) | 2020-03-03 |
US20190156806A1 (en) | 2019-05-23 |
JPWO2018016582A1 (ja) | 2019-01-17 |
WO2018016582A1 (ja) | 2018-01-25 |
CN109478399A (zh) | 2019-03-15 |
CN109478399B (zh) | 2023-07-25 |
EP3489945B1 (en) | 2021-04-14 |
EP3489945A4 (en) | 2020-01-15 |
EP3489945A1 (en) | 2019-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6614356B2 (ja) | 演奏解析方法、自動演奏方法および自動演奏システム | |
JP6597903B2 (ja) | 楽曲データ処理方法およびプログラム | |
US10825433B2 (en) | Electronic musical instrument, electronic musical instrument control method, and storage medium | |
JP6801225B2 (ja) | 自動演奏システムおよび自動演奏方法 | |
JP7383943B2 (ja) | 制御システム、制御方法、及びプログラム | |
US10846519B2 (en) | Control system and control method | |
Poli | Methodologies for expressiveness modelling of and for music performance | |
JP6140579B2 (ja) | 音響処理装置、音響処理方法、及び音響処理プログラム | |
JP7448053B2 (ja) | 学習装置、自動採譜装置、学習方法、自動採譜方法及びプログラム | |
CN109478398B (zh) | 控制方法以及控制装置 | |
JP6035702B2 (ja) | 音響処理装置および音響処理方法 | |
CN107077836A (zh) | 用于跟踪乐谱的方法以及相关的建模方法 | |
JP2002082668A (ja) | 音符ベース・コードの生成 | |
WO2018070286A1 (ja) | 演奏制御方法および演奏制御装置 | |
JP6642714B2 (ja) | 制御方法、及び、制御装置 | |
CN114446266A (zh) | 音响处理***、音响处理方法及程序 | |
Otsuka et al. | Design and implementation of two-level synchronization for interactive music robot | |
JP6977813B2 (ja) | 自動演奏システムおよび自動演奏方法 | |
Van Nort et al. | A system for musical improvisation combining sonic gesture recognition and genetic algorithms | |
WO2024085175A1 (ja) | データ処理方法およびプログラム | |
US20230419929A1 (en) | Signal processing system, signal processing method, and program | |
Shayda et al. | Stanford Research Series: Grand Digital Piano: Multimodal Transfer of Learning of Sound and Touch | |
Shayda et al. | Grand digital piano: multimodal transfer of learning of sound and touch | |
JP2004004874A (ja) | 押鍵加速度推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191021 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6614356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |