JP6729515B2 - 楽曲解析方法、楽曲解析装置およびプログラム - Google Patents
楽曲解析方法、楽曲解析装置およびプログラム Download PDFInfo
- Publication number
- JP6729515B2 JP6729515B2 JP2017140368A JP2017140368A JP6729515B2 JP 6729515 B2 JP6729515 B2 JP 6729515B2 JP 2017140368 A JP2017140368 A JP 2017140368A JP 2017140368 A JP2017140368 A JP 2017140368A JP 6729515 B2 JP6729515 B2 JP 6729515B2
- Authority
- JP
- Japan
- Prior art keywords
- points
- selection
- point
- candidate
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 20
- 238000000034 method Methods 0.000 claims description 110
- 230000008569 process Effects 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Auxiliary Devices For Music (AREA)
Description
本発明は、楽曲の音を表す音響信号を解析する技術に関する。
楽曲の音を表す音響信号を解析することで楽曲内の複数の拍点を推定する技術が従来から提案されている。例えば特許文献１には、音響信号のパワースペクトルの変化量が大きい時点を拍点として検出する構成が開示されている。特許文献２には、拍点間におけるコードの遷移確率が設定された確率モデル（例えば隠れマルコフモデル）と、最尤の状態系列を推定するビタビアルゴリズムとを利用して、音響信号から拍点を推定する技術が開示されている。また、非特許文献１には、再帰型のニューラルネットワークを利用して音響信号から拍点を推定する技術が開示されている。
S. Bock, F. Krebs, and G. Widmer, "Joint beat and downbeat tracking with recurrent neural networks," In Proc. of the 17th Int. Society for Music Information Retrieval Conf.(ISMIR), 2016
特許文献１または特許文献２の技術においては、拍点の推定に必要な演算量が少ないという利点はあるものの、拍点の高精度な推定は実際には困難であるという問題がある。他方、非特許文献１の技術においては、特許文献１または特許文献２のような技術と比較して高精度に拍点を推定できるという利点はあるものの、演算量が多いという問題がある。なお、以上の説明では楽曲内の拍点の推定に着目したが、拍点だけでなく、例えば小節の先頭など、楽曲内で音楽的に意味のある時点を特定する場面では、同様の問題が発生し得る。以上の事情を考慮して、本発明の好適な態様は、演算量を削減しながら楽曲内の時点を高精度に推定することを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る楽曲解析方法は、コンピュータが、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する。
本発明の他の態様に係るプログラムは、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部としてコンピュータを機能させる。
本発明の他の態様に係るプログラムは、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部としてコンピュータを機能させる。
図１は、本発明の好適な形態に係る楽曲解析装置１００の構成を示すブロック図である。図１に例示される通り、本実施形態の楽曲解析装置１００は、制御装置１１と記憶装置１２とを具備するコンピュータシステムで実現される。例えばパーソナルコンピュータ等の各種の情報処理装置が楽曲解析装置１００として利用される。
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路を含んで構成される。例えば単数または複数のチップで制御装置１１が実現される。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用され得る。
本実施形態の記憶装置１２は、楽曲の音（例えば楽器音または歌唱音）を表す音響信号Ａを記憶する。本実施形態の楽曲解析装置１００は、音響信号Ａを解析することで楽曲の拍点を推定する。拍点は、楽曲のリズムの基礎となる時間軸上の時点であり、基本的には時間軸上に等間隔に存在する。
図１に例示される通り、本実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、音響信号Ａの解析により楽曲内の複数の拍点を推定するための複数の要素（第１処理部２１，候補点選択部２２，第２処理部２３および推定処理部２４）として機能する。なお、制御装置１１の一部の機能を専用の電子回路により実現してもよい。
第１処理部２１は、楽曲内の拍点の候補となる複数の時点（以下「暫定点」という）Ｐaを、当該楽曲の音響信号Ａに対する第１処理により推定する。図２に例示される通り、楽曲の全体にわたる暫定点Ｐaが第１処理により推定される。複数の暫定点Ｐaは、楽曲の実際の拍点（表拍）に該当する可能性もあるが、例えば裏拍に該当する可能性もある。すなわち、複数の暫定点Ｐaの時系列と、実際の複数の拍点の時系列との間には、位相差が存在する可能性がある。ただし、楽曲の１拍の時間長（以下「拍周期」という）は、相前後する２個の暫定点Ｐaの間隔に近似または合致する可能性が高いという傾向がある。
図１の候補点選択部２２は、第１処理部２１が推定した複数の暫定点Ｐaを含む複数（Ｎ個）の候補点Ｐbの一部を、複数の選択点Ｐcとして選択する（Ｎは２以上の自然数）。図２に例示される通り、Ｎ個の候補点Ｐbは、第１処理部２１が推定した複数の暫定点Ｐaと、複数の暫定点Ｐaの間隔を区分する複数の分割点Ｐdとで構成される。本実施形態の分割点Ｐdは、時間軸上で相前後する２個の暫定点Ｐaの間隔（拍周期）をΔｎ個に等分する時点である。すなわち、楽曲の１拍がΔｎ個（図２においてはΔｎ＝４）に区分される。
候補点選択部２２は、Ｎ個の候補点ＰbのうちＫ個（Ｋ＜Ｎ）の候補点Ｐbを選択点Ｐcとして選択する（Ｋは２以上の自然数）。第２処理部２３は、候補点選択部２２が選択したＫ個の選択点Ｐcの各々について、第１処理とは異なる第２処理により、当該選択点Ｐcが拍点である確率（事後確率）Ｂnを算定する（ｎ＝１〜Ｎ）。なお、図２においては、確率Ｂnが符号Ｂで表記されている。
図１の推定処理部２４は、第２処理部２３による第２処理の結果から楽曲内の複数の拍点を推定する。具体的には、推定処理部２４は、第２処理部２３が各選択点Ｐcについて算定した確率Ｂnから、候補点選択部２２が選択しなかった各候補点Ｐb（以下「非選択点Ｐe」という）について、当該非選択点Ｐeが拍点である確率Ｂnを算定する。すなわち、Ｋ個の選択点Ｐcと(Ｎ−Ｋ)個の非選択点Ｐeとで構成されるＮ個の候補点Ｐbの各々について確率Ｂnが算定される。そして、推定処理部２４は、Ｎ個の候補点Ｐbの各々の確率Ｂn（Ｂ1〜ＢN）から楽曲内の拍点を推定する。すなわち、Ｎ個の候補点Ｐbの一部が楽曲内の拍点として選択される。以上の説明から理解される通り、第２処理部２３および推定処理部２４は、Ｋ個の選択点Ｐcの各々について第２処理により確率Ｂnを算定した結果から楽曲内の拍点を推定する要素（特定点推定部）として機能する。
第１処理および第２処理の具体例について説明する。第１処理と第２処理とは相異なる処理である。具体的には、第１処理は、第２処理と比較して演算量が少ない処理である。他方、第２処理は、第１処理と比較して拍点の推定精度が高い処理である。
第１処理は、例えば、音響信号Ａが表す楽器音または歌唱音の発音点を暫定点Ｐaとして推定する処理である。具体的には、音響信号Ａの信号強度またはスペクトルが変化する時点を暫定点Ｐaとして推定する処理が第１処理として好適である。和声が変化する時点を暫定点Ｐaとして推定する処理を第１処理として実行してもよい。また、特許文献２の開示のように隠れマルコフモデル等の確率モデルとビタビアルゴリズムとを利用して音響信号Ａから暫定点Ｐaを推定する処理を第１処理として採用してもよい。
第２処理は、例えばニューラルネットワークを利用して拍点を推定する処理である。図３は、ニューラルネットワーク３０を利用した第２処理の説明図である。図３に例示されたニューラルネットワーク３０は、畳込み層Ｌ1と最大値プーリング層Ｌ2とを含む処理単位Ｕの３層以上を積層し、第１全結合層Ｌ3とバッチ正規化層Ｌ4と第２全結合層Ｌ5とを接続した構造の深層ニューラルネットワーク（DNN：Deep Neural Network）である。畳込み層Ｌ1および第１全結合層Ｌ3の活性化関数は、例えば正規化線形ユニット（ReLU：Rectified Linear Unit）であり、第２全結合層Ｌ5の活性化関数は、例えばソフトマックス関数である。
本実施形態のニューラルネットワーク３０は、音響信号Ａの任意の候補点Ｐbにおける特徴量Ｆから、当該候補点Ｐbが楽曲内の拍点である確率Ｂnを出力する数理モデルである。第２処理により算定される確率Ｂnは０または１の何れかに設定される。任意の１個の候補点Ｐbにおける特徴量Ｆは、時間軸上で当該候補点Ｐbを含む単位期間内のスペクトログラムである。具体的には、候補点Ｐbの特徴量Ｆは、単位期間内の複数の候補点Ｐbに対応する複数の強度スペクトルｆの時系列である。任意の１個の強度スペクトルｆは、例えばメル周波数でスケーリングされた対数スペクトル（MSLS：Mel-Scale Log-Spectrum）である。
特徴量Ｆと確率Ｂn（正解データ）とを含む複数の教師データを利用した機械学習により、第２処理で利用されるニューラルネットワーク３０が生成される。本実施形態では、再帰的（リカレント）な接続を含まない非再帰型のニューラルネットワーク３０が利用される。したがって、音響信号Ａの任意の候補点Ｐbについて、過去の時点に関する処理の結果を必要とすることなく確率Ｂnを出力することが可能である。
前述の通り、第２処理は第１処理と比較して拍点の推定精度が高いから、推定精度の向上という観点のみからすれば、楽曲の全区間にわたり第２処理を実行することが望ましい。しかし、第２処理は第１処理と比較して演算量が多いから、楽曲の全区間にわたり第２処理を実行することは現実的ではない。以上の事情を考慮して、本実施形態では、第１処理で推定された複数の暫定点Ｐaを含むＮ個の候補点Ｐbから、候補点選択部２２がＫ個の選択点Ｐcを選択し、Ｋ個の選択点Ｐcの各々について第２処理部２３が第２処理を実行することで確率Ｂnを算定する。すなわち、第１処理は楽曲の全区間にわたり実行されるのに対し、第２処理は、楽曲の一部（Ｎ個の候補点ＰbのなかのＫ個の選択点Ｐc）について限定的に実行される。
Ｎ個の候補点Ｐbのうち何れの候補点Ｐbを選択点Ｐcとして選択すべきかを検討する。選択点Ｐcの選択においては、第２処理で確率Ｂnを算定する選択点Ｐcの個数を削減しながら、選択点Ｐcについて算定された確率Ｂnから非選択点Ｐeの確率Ｂnを適切に算定できることが重要である。以上の事情を考慮して、本実施形態では、Ｋ個の選択点Ｐcに対応する確率Ｂnの系列Ｇcと、(Ｎ−Ｋ)個の非選択点Ｐeに対応する(Ｎ−Ｋ)個の確率Ｂnの系列Ｇeとの間の相互情報量Ｉ(Ｇc;Ｇe)が最大化されるように、Ｎ個の候補点ＰbからＫ個の選択点Ｐcを選択する。
いま、確率Ｂnをガウス過程としてモデル化する。ガウス過程とは、任意の変数Ｘおよび変数Ｙに対して、以下の数式(1)で表現される確率過程である。なお、数式(1)の記号Ｎ(a,b)は、平均ａおよび分散ｂの正規分布（ガウス分布）を意味する。
数式(1)の記号ΣX,Yは、変数Ｘと変数Ｙとの相互相関である。すなわち、相互相関ΣX,Yは、Ｎ個の候補点Ｐbから選択された任意の２個の候補点Ｐb（第Ｘ番目および第Ｙ番目）が共起される度合を意味する。相互相関ΣX,Yは、例えば既知の楽曲について事前（具体的には本実施形態による処理前）に学習される。例えば、楽曲内の全部の候補点Ｐbについて前述の第２処理により確率Ｂnを算定し、各候補点Ｐbの確率Ｂnを利用した機械学習により相互相関ΣX,Yが算定されて記憶装置１２に保持される。楽曲内の相関の構造が時不変であり、かつ、相異なる楽曲間で共通であると仮定すると、既知の楽曲について学習された相互相関ΣX,Yを、任意の未知の楽曲について適用することが可能である。なお、相互相関ΣX,Yを生成する方法は、以上に例示した機械学習に限定されない。例えば、特徴量Ｆの自己相関行列を相互相関ΣX,Yとして近似的に利用することもできる。
各選択点Ｐcの確率Ｂnの系列Ｇcと各非選択点Ｐeの確率Ｂnの系列Ｇeとの相互情報量は、選択点Ｐcの個数Ｋが候補点Ｐbの個数Ｎに対して充分に小さい場合には、劣モジュラ性を満たす評価指標である。劣モジュラ性とは、集合に１個の要素が追加された場合における関数の増加量が、集合の拡大（要素の増加）に連動して減少する性質である。相互情報量を最大化する問題（いわゆるセンサ配置問題）はＮＰ困難であるが、以上のように相互情報量の劣モジュラ性に着目すると、最適解に充分に近似する結果を貪欲法（greedy algorithm）により効率的に取得することが可能である。以上の知見を背景として、Ｋ個の選択点Ｐcに対応する系列Ｇcと、(Ｎ−Ｋ)個の非選択点Ｐeに対応する系列Ｇeとの間における相互情報量Ｉ(Ｇc;Ｇe)の最大化を以下に検討する。
Ｎ個の候補点Ｐbから順次に選択された選択点Ｐcの集合Ｓkを想定し（ｋ＝１〜Ｋ）、Ｋ個の選択点Ｐcに対応する系列Ｇcと(Ｎ−Ｋ)個の非選択点Ｐeに対応する系列Ｇeとの間の相互情報量Ｉ(Ｇc;Ｇe)が最大化されるように候補点Ｐb（識別子ｎ）を選択点Ｐcとして逐次的に集合Ｓkに追加する。選択点ＰcがＫ個に到達した時点で集合ＳKが確定する。系列Ｇcと系列Ｇeとの間の相互情報量Ｉ(Ｇc;Ｇe)が最大化されるように候補点Ｐb（識別子ｎ）を集合Ｓkに追加する処理は、以下の数式(2)で表現される。なお、数式(2)における記号Ｉ(Ｓk-1)は、Ｎ個の候補点Ｐbから選択された(ｋ−１)個の選択点Ｐcの集合Ｓk-1と、集合Ｓk-1以外の残余の候補点Ｐbの集合との間の相互情報量である。
数式(2)内の括弧｛｝内は、識別子ｎの候補点Ｐbを集合Ｓk-1に追加する前後における相互情報量の増加量（Ｉ(Ｓk-1∪ｎ)−Ｉ(Ｓk-1)）が最大となる識別子ｎを選択する演算である。したがって、数式(2)は、相互情報量の増加量を最大化する識別子ｎの候補点Ｐbを、直前の集合Ｓk-1に選択点Ｐcとして追加することで集合Ｓkとする演算を意味する。
数式(2)を以下の数式(3)のように表現する。
数式(1)および数式(2)を考慮すると、数式(3)の関数δnを表現する以下の数式(4)が導出される。
数式(4)から理解される通り、楽曲内の任意の候補点Ｐbが拍点である確率Ｂnは、数式(4)の演算に不要である。したがって、確率Ｂnを算定する第２処理の実行前に、数式(3)および数式(4)を利用して、Ｎ個の候補点ＰbからＫ個の選択点Ｐcを選択することが可能である。
図４は、制御装置１１が楽曲内の拍点を推定する処理（楽曲解析方法）の内容を例示するフローチャートである。例えば利用者からの指示を契機として図４の処理が開始される。
まず、第１処理部２１は、音響信号Ａについて第１処理を実行することで、楽曲内の拍点の候補となる複数の暫定点Ｐaを推定する（Ｓ1）。候補点選択部２２は、第１処理で推定された複数の暫定点Ｐaと複数の分割点Ｐdとを含むＮ個の候補点ＰbからＫ個の選択点Ｐcを選択する（Ｓ2）。具体的には、候補点選択部２２は、数式(3)の演算を反復することでＫ個の選択点Ｐc（集合ＳK）を選択する。すなわち、Ｋ個の選択点Ｐcの集合ＳKと(Ｎ−Ｋ)個の非選択点Ｐeの集合との間における相互情報量（劣モジュラ性の評価指標の例示）が最大化されるように、候補点選択部２２はＮ個の候補点ＰbからＫ個の選択点Ｐcを選択する。
第２処理部２３は、候補点選択部２２が選択したＫ個の選択点Ｐcの各々について、非再帰型のニューラルネットワーク３０を利用した第２処理により確率Ｂnを算定する（Ｓ3）。具体的には、第２処理部２３は、音響信号Ａの解析により各選択点Ｐcの特徴量Ｆを算定し、特徴量Ｆをニューラルネットワーク３０に付与することで当該選択点Ｐcの確率Ｂnを算定する。
推定処理部２４は、第２処理部２３による第２処理の結果（各選択点Ｐcが拍点である確率Ｂn）から楽曲内の拍点を推定する（Ｓ4）。具体的には、推定処理部２４が楽曲内の複数の拍点を推定する処理は、複数の非選択点Ｐeの各々について確率Ｂnを算定する処理（Ｓ41）と、Ｎ個の候補点Ｐbについて算定された確率Ｂnから拍点を推定する処理（Ｓ42）とを含む。各処理の具体例を以下に詳述する。
まず、推定処理部２４は、第２処理部２３が第２処理により各選択点Ｐcについて算定した確率Ｂnから、候補点選択部２２が選択しなかった(Ｎ−Ｋ)個の非選択点Ｐeの各々について確率Ｂnを算定する（Ｓ41）。具体的には、推定処理部２４は、各非選択点Ｐeの確率Ｂnに関する確率分布を算定する。非選択点Ｐeの確率Ｂnの確率分布は、以下の数式(5)で表現される期待値Ｅ(Ｂn)と数式(6)で表現される分散Ｖ(Ｂn)とで規定される。
推定処理部２４は、各候補点Ｐbの確率Ｂnに応じてＮ個の候補点Ｐbの一部を楽曲内の拍点として選択する。具体的には、推定処理部２４は、確率Ｂnの総和が最大となる複数の候補点Ｐbの時系列を、楽曲内の複数の拍点として推定する。
前述の通り、Ｎ個の候補点Ｐbは、第１処理部２１が推定した複数の暫定点Ｐaと、各暫定点の間隔をΔｎ個に区分する複数の分割点Ｐdとで構成される。したがって、Ｎ個の候補点Ｐbのうち第Λ番目の１個の候補点（以下「特定候補点」という）Ｐbが拍点に該当することを推定できたと仮定すると、特定候補点Ｐb以降において拍点と推定される候補点Ｐbの識別子ｎは、以下の数式(7)で表現される。数式(7)の記号ｍは非負の整数（ｍ＝０,１,２,…）である。例えば拍周期が４等分される場合（Δｎ＝４）を想定すると、Ｎ個の候補点Ｐbのうち、第Λ番目（特定候補点Ｐb），第(Λ＋４)番目，第(Λ＋８)番目，第(Λ＋１２)番目，…の各候補点Ｐbが楽曲内の拍点に該当する。
特定候補点Ｐbの識別子Λは、以下の数式(8)で表現される通り、確度指標Ｒ(λ)を最大化する変数λに設定される。
数式(8)の確度指標Ｒ(λ)は、以下の数式(9)で表現される。
数式(9)から理解される通り、確度指標Ｒ(λ)は、第λ番目の候補点Ｐbから拍周期毎に存在する複数の候補点Ｐbについて確率Ｂnを総和した数値である。以上の説明から理解される通り、確度指標Ｒ(λ)は、第λ番目の候補点Ｐbから拍周期毎に存在する複数の候補点Ｐbの時系列が、楽曲内の拍点に該当する確度の指標である。すなわち、確度指標Ｒ(λ)が大きいほど、第λ番目の候補点Ｐbから拍周期毎に存在する複数の候補点Ｐbが楽曲の拍点に該当する可能性が高い。
推定処理部２４は、数式(9)の確度指標Ｒ(λ)を複数の候補点Ｐbの各々について算定し、確度指標Ｒ(λ)が最大となる変数λを特定候補点Ｐbの識別子Λとして選択する（数式(8)）。そして、数式(7)の通り、Ｎ個の候補点Ｐbのうち第Λ番目の特定候補点Ｐbと、当該特定候補点Ｐbから拍周期毎に存在する候補点Ｐbとを、楽曲内の拍点として推定する。
以上に説明した通り、本実施形態では、第１処理により推定された複数の暫定点Ｐaを含むＮ個の候補点ＰbからＫ個の選択点Ｐcが選択され、Ｋ個の選択点Ｐcの各々について第２処理により算定された確率Ｂnに応じて楽曲内の複数の拍点が推定される。したがって、楽曲内の全区間にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減しながら楽曲内の拍点を高精度に推定することが可能である。
本実施形態では特に、第１処理は第２処理と比較して演算量が少ないから、楽曲の全体にわたり第２処理を実行する構成と比較して、楽曲内の拍点の推定に必要な演算量が削減される。他方、第２処理は第１処理と比較して拍点の推定精度が高いから、第１処理のみで楽曲内の拍点を推定する構成と比較して拍点を高精度に推定できる。すなわち、演算量を削減しながら拍点を高精度に推定できるという効果は格別に顕著である。
また、本実施形態では、劣モジュラ性の評価指標（具体的には相互情報量）が最大化されるようにＮ個の候補点ＰbからＫ個の選択点が選択される。したがって、例えば貪欲法等の手法により適切な選択点を効率的に選択できるという利点がある。
また、本実施形態では、非選択点Ｐeが拍点である確率Ｂnが、選択点Ｐcの確率Ｂnに応じて算定される。すなわち、楽曲内のＮ個の候補点Ｐbの各々について確率Ｂn（Ｂ1〜ＢN）が算定される。以上の態様によれば、選択点Ｐcの確率Ｂnに加えて非選択点Ｐeの確率Ｂnも加味することで、楽曲内の拍点を高精度に推定できるという利点がある。
図５は、楽曲内の拍点の推定精度を示す図表である。図５には、Ｎ個の候補点Ｐbから選択される選択点Ｐcの個数Ｋを相違させた複数の場合（Ｋ＝Ｎ,４,８,１６,３２）の各々について、複数の楽曲のうち拍点を正確に推定できなかった楽曲の比率（以下「誤推定率」という）が表記されている。図５の結果１は、音響信号Ａに対する第１処理で推定された暫定点Ｐaを拍点として確定した場合である。また、結果２（Ｋ＝Ｎ）は、Ｎ個の候補点Ｐbの全部について第２処理により確率Ｂnを算定したうえで拍点を推定した場合である。なお、候補点Ｐbの個数Ｎは１７００個程度である。
図５から理解される通り、Ｎ個の候補点Ｐbのうちの８個以上を選択点Ｐcとして選択することで、第１処理のみで拍点を推定する場合（結果１）と比較して高精度に拍点を推定することが可能である。また、Ｎ個の候補点Ｐbのうちの３２個を選択点Ｐcとして選択した場合に、Ｎ個の候補点Ｐbの全部について第２処理で確率Ｂを算定する場合（結果２）と同等の精度（誤推定率６.１％）で拍点を推定できることが、図５から確認できる。すなわち、楽曲内の拍点の推定精度を同等に維持しながら、第２処理の対象となる選択点Ｐcの個数を約９８％も削減する（１７００個→３２個）ことが可能である。
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
（１）前述の形態では、楽曲内の拍点を推定したが、本発明の好適な態様により特定される楽曲内の時点は拍点に限定されない。例えば、楽曲内の小節の先頭の時点を特定する場合にも本発明を適用することができる。以上の説明から理解される通り、本発明の好適な態様は、楽曲内で音楽的な意味をもつ特定点（例えば拍点、小節の先頭など）を推定するために好適に利用される。なお、前述の形態により推定される拍点は、音楽再生や音響処理等の各種の用途に有効に利用される。
（２）前述の形態では、相互情報量を最大化する場合を例示したが、劣モジュラ性の評価指標は相互情報量に限定されない。例えばエントロピーまたは分散を、劣モジュラ性の評価指標として最大化してもよい。
（３）前述の形態では、移動体通信網またはインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により楽曲解析装置１００を実現することも可能である。具体的には、楽曲解析装置１００は、端末装置から受信した音響信号Ａに対する処理で楽曲内の複数の拍点を推定し、推定結果（例えば各拍点の位置を示すデータ）を端末装置に送信する。
（４）以上に例示した形態から、例えば以下の構成が把握される。
＜態様１＞
本発明の好適な態様（態様１）に係る楽曲解析方法は、コンピュータ（単体のコンピュータまたは複数のコンピュータで構成されるコンピュータシステム）が、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する。以上の態様では、第１処理により推定された複数の暫定点を含む複数の候補点の一部が複数の選択点として選択され、複数の選択点の各々について第２処理により算定された確率に応じて楽曲内の複数の特定点が推定される。したがって、楽曲の全体にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減することが可能である。
＜態様２＞
態様１の好適例（態様２）において、前記第２処理は、当該選択点が特定点である確率を、前記音響信号の当該選択点に対応する特徴量から算定する処理である。以上の態様によれば、音響信号における各選択点に対応する特徴量から、当該選択点が特定点である確率が算定されるから、楽曲内の特定点を適切に推定することが可能である。
＜態様３＞
態様１または態様２の好適例（態様３）において、前記複数の選択点の選択では、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する。以上の態様では、劣モジュラ性の評価指標が最大化されるように複数の選択点が選択される。したがって、例えば貪欲法等の手法により適切な選択点を効率的に選択できるという利点がある。
＜態様４＞
態様３の好適例（態様４）において、前記複数の非選択点の各々について、前記第２処理により前記各選択点について算定された確率に応じて、当該非選択点が特定点である確率を算定し、前記複数の特定点の推定においては、前記各選択点について算定された確率と前記各非選択点について算定された確率とに応じて前記楽曲内の複数の特定点を推定する。以上の態様では、非選択点が特定点である確率が、選択点の確率に応じて算定され、選択点と非選択点とを含む複数の暫定点の各々が特定点である確率に応じて、楽曲内の特定点が推定される。したがって、楽曲内の複数の特定点を高精度に推定できるという利点がある。
＜態様５＞
態様１から態様４の何れかの好適例（態様５）において、前記第１処理は、前記第２処理と比較して演算量が少ない。以上の態様では、第１処理は第２処理と比較して演算量が少ないから、楽曲の全体にわたり第２処理を実行する構成と比較して、楽曲内の特定点の推定に必要な演算量が低減される。
＜態様１＞
本発明の好適な態様（態様１）に係る楽曲解析方法は、コンピュータ（単体のコンピュータまたは複数のコンピュータで構成されるコンピュータシステム）が、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する。以上の態様では、第１処理により推定された複数の暫定点を含む複数の候補点の一部が複数の選択点として選択され、複数の選択点の各々について第２処理により算定された確率に応じて楽曲内の複数の特定点が推定される。したがって、楽曲の全体にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減することが可能である。
＜態様２＞
態様１の好適例（態様２）において、前記第２処理は、当該選択点が特定点である確率を、前記音響信号の当該選択点に対応する特徴量から算定する処理である。以上の態様によれば、音響信号における各選択点に対応する特徴量から、当該選択点が特定点である確率が算定されるから、楽曲内の特定点を適切に推定することが可能である。
＜態様３＞
態様１または態様２の好適例（態様３）において、前記複数の選択点の選択では、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する。以上の態様では、劣モジュラ性の評価指標が最大化されるように複数の選択点が選択される。したがって、例えば貪欲法等の手法により適切な選択点を効率的に選択できるという利点がある。
＜態様４＞
態様３の好適例（態様４）において、前記複数の非選択点の各々について、前記第２処理により前記各選択点について算定された確率に応じて、当該非選択点が特定点である確率を算定し、前記複数の特定点の推定においては、前記各選択点について算定された確率と前記各非選択点について算定された確率とに応じて前記楽曲内の複数の特定点を推定する。以上の態様では、非選択点が特定点である確率が、選択点の確率に応じて算定され、選択点と非選択点とを含む複数の暫定点の各々が特定点である確率に応じて、楽曲内の特定点が推定される。したがって、楽曲内の複数の特定点を高精度に推定できるという利点がある。
＜態様５＞
態様１から態様４の何れかの好適例（態様５）において、前記第１処理は、前記第２処理と比較して演算量が少ない。以上の態様では、第１処理は第２処理と比較して演算量が少ないから、楽曲の全体にわたり第２処理を実行する構成と比較して、楽曲内の特定点の推定に必要な演算量が低減される。
＜態様６＞
態様１から態様５の何れかの好適例（態様６）において、第２処理は第１処理と比較して特定点の推定精度が高い。以上の態様では、第１処理のみで楽曲内の特定点を推定する構成と比較して特定点を高精度に推定できる。態様５および態様６の双方を具備する構成によれば、演算量を削減しながら特定点を高精度に推定できるという利点がある。
＜態様７＞
本発明の好適な態様（態様７）に係るプログラムは、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部としてコンピュータを機能させる。以上の態様では、第１処理により推定された複数の暫定点を含む複数の候補点の一部が複数の選択点として選択され、複数の選択点の各々について第２処理により算定された確率に応じて楽曲内の複数の特定点が推定される。したがって、楽曲の全体にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減することが可能である。
態様１から態様５の何れかの好適例（態様６）において、第２処理は第１処理と比較して特定点の推定精度が高い。以上の態様では、第１処理のみで楽曲内の特定点を推定する構成と比較して特定点を高精度に推定できる。態様５および態様６の双方を具備する構成によれば、演算量を削減しながら特定点を高精度に推定できるという利点がある。
＜態様７＞
本発明の好適な態様（態様７）に係るプログラムは、楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、前記複数の選択点の各々について、当該選択点が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部としてコンピュータを機能させる。以上の態様では、第１処理により推定された複数の暫定点を含む複数の候補点の一部が複数の選択点として選択され、複数の選択点の各々について第２処理により算定された確率に応じて楽曲内の複数の特定点が推定される。したがって、楽曲の全体にわたり第２処理を実行する構成と比較して、第２処理の演算量を削減することが可能である。
本発明の好適な態様に係るプログラムは、例えばコンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
１００…楽曲解析装置、１１…制御装置、１２…記憶装置、２１…第１処理部、２２…候補点選択部、２３…第２処理部、２４…推定処理部、Ｐa…暫定点、Ｐb…候補点、Ｐc…選択点、Ｐd…分割点、Ｐe…非選択点。
Claims (7)
- 楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定し、
前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の分割点とを含む複数の候補点の一部を複数の選択点として選択し、
前記複数の選択点の各々が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定し、
前記複数の選択点の選択においては、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する
コンピュータにより実現される楽曲解析方法。 - 前記第２処理は、前記各選択点が特定点である確率を、前記音響信号の当該選択点に対応する特徴量から算定する処理である
請求項１の楽曲解析方法。 - 前記複数の非選択点の各々について、前記第２処理により前記各選択点について算定された確率に応じて、当該非選択点が特定点である確率を算定し、
前記複数の特定点の推定においては、前記各選択点について算定された確率と前記各非選択点について算定された確率とに応じて前記楽曲内の複数の特定点を推定する
請求項１または請求項２の楽曲解析方法。 - 前記第１処理は、前記第２処理と比較して演算量が少ない
請求項１から請求項３の何れかの楽曲解析方法。 - 前記第２処理は、前記第１処理と比較して特定点の推定精度が高い
請求項１から請求項４の何れかの楽曲解析方法。 - 楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部と、
前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部と、
前記複数の選択点の各々が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部とを具備し、
前記候補点選択部は、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する
楽曲解析装置。 - 楽曲内で音楽的な意味をもつ特定点の候補となる複数の暫定点を当該楽曲の音響信号から第１処理により推定する第１処理部、
前記複数の暫定点と前記複数の暫定点の間隔を分割する複数の時点とを含む複数の候補点の一部を複数の選択点として選択する候補点選択部、および、
前記複数の選択点の各々が特定点である確率を、前記第１処理とは異なる第２処理により算定した結果から、前記楽曲内の複数の特定点を推定する特定点推定部
としてコンピュータを機能させるプログラムであって、
前記候補点選択部は、前記複数の選択点の集合と、前記複数の候補点のうち前記選択点として選択されない複数の非選択点の集合との間における劣モジュラ性の評価指標が最大化されるように、前記複数の候補点から前記複数の選択点を選択する
プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140368A JP6729515B2 (ja) | 2017-07-19 | 2017-07-19 | 楽曲解析方法、楽曲解析装置およびプログラム |
| PCT/JP2018/026002 WO2019017242A1 (ja) | 2017-07-19 | 2018-07-10 | 楽曲解析方法、楽曲解析装置およびプログラム |
| US16/743,909 US11328699B2 (en) | 2017-07-19 | 2020-01-15 | Musical analysis method, music analysis device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140368A JP6729515B2 (ja) | 2017-07-19 | 2017-07-19 | 楽曲解析方法、楽曲解析装置およびプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019020631A JP2019020631A (ja) | 2019-02-07 |
| JP2019020631A5 JP2019020631A5 (ja) | 2020-04-02 |
| JP6729515B2 true JP6729515B2 (ja) | 2020-07-22 |
Family
ID=65015942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017140368A Active JP6729515B2 (ja) | 2017-07-19 | 2017-07-19 | 楽曲解析方法、楽曲解析装置およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11328699B2 (ja) |
| JP (1) | JP6729515B2 (ja) |
| WO (1) | WO2019017242A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7105880B2 (ja) * | 2018-05-24 | 2022-07-25 | ローランド株式会社 | ビート音発生タイミング生成装置 |
| US11024288B2 (en) * | 2018-09-04 | 2021-06-01 | Gracenote, Inc. | Methods and apparatus to segment audio and determine audio segment similarities |
| JP7318253B2 (ja) | 2019-03-22 | 2023-08-01 | ヤマハ株式会社 | 楽曲解析方法、楽曲解析装置およびプログラム |
| WO2022181477A1 (ja) * | 2021-02-25 | 2022-09-01 | ヤマハ株式会社 | 音響解析方法、音響解析システムおよびプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4940588B2 (ja) | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
| JP5625235B2 (ja) * | 2008-11-21 | 2014-11-19 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
| US8478012B2 (en) * | 2009-09-14 | 2013-07-02 | General Electric Company | Methods, apparatus and articles of manufacture to process cardiac images to detect heart motion abnormalities |
| JP6179140B2 (ja) | 2013-03-14 | 2017-08-16 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
| JP6123995B2 (ja) * | 2013-03-14 | 2017-05-10 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
| CN104217729A (zh) * | 2013-05-31 | 2014-12-17 | 杜比实验室特许公司 | 音频处理方法和音频处理装置以及训练方法 |
| JP2015079151A (ja) * | 2013-10-17 | 2015-04-23 | パイオニア株式会社 | 楽曲判別装置、楽曲判別装置の判別方法、プログラム |
| JP6252147B2 (ja) * | 2013-12-09 | 2017-12-27 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
| JP6372072B2 (ja) * | 2013-12-09 | 2018-08-15 | ヤマハ株式会社 | 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム |
| JP6295794B2 (ja) * | 2014-04-09 | 2018-03-20 | ヤマハ株式会社 | 音響信号分析装置及び音響信号分析プログラム |
| US20160086086A1 (en) * | 2014-09-18 | 2016-03-24 | Victor Ferdinand Gabillon | Multi-media content-recommender system that learns how to elicit user preferences |
| WO2017178598A1 (en) * | 2016-04-13 | 2017-10-19 | Universität Hamburg | Cluster analysis based on tangles in abstract separations systems |
| US10713703B2 (en) * | 2016-11-30 | 2020-07-14 | Apple Inc. | Diversity in media item recommendations |
| CN106875406B (zh) * | 2017-01-24 | 2020-04-14 | 北京航空航天大学 | 图像引导的视频语义对象分割方法及装置 |
| US11055317B2 (en) * | 2017-06-01 | 2021-07-06 | Adobe Inc. | Methods and systems for determining and outputting correlations between metrics in a web analytic dataset |
-
2017
- 2017-07-19 JP JP2017140368A patent/JP6729515B2/ja active Active
-
2018
- 2018-07-10 WO PCT/JP2018/026002 patent/WO2019017242A1/ja active Application Filing
-
2020
- 2020-01-15 US US16/743,909 patent/US11328699B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019017242A1 (ja) | 2019-01-24 |
| JP2019020631A (ja) | 2019-02-07 |
| US11328699B2 (en) | 2022-05-10 |
| US20200152162A1 (en) | 2020-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6729515B2 (ja) | 楽曲解析方法、楽曲解析装置およびプログラム | |
| JP6017687B2 (ja) | オーディオ信号分析 | |
| JP4640407B2 (ja) | 信号処理装置、信号処理方法及びプログラム | |
| US20150094835A1 (en) | Audio analysis apparatus | |
| Stark et al. | Real-time beat-synchronous analysis of musical audio | |
| US9646592B2 (en) | Audio signal analysis | |
| US10586519B2 (en) | Chord estimation method and chord estimation apparatus | |
| Degara et al. | Onset event decoding exploiting the rhythmic structure of polyphonic music | |
| GB2533654A (en) | Analysing audio data | |
| JP6392450B2 (ja) | マッチング装置、判定装置、これらの方法、プログラム及び記録媒体 | |
| JP7337169B2 (ja) | オーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器 | |
| CN104143339B (zh) | 音乐信号处理设备和方法 | |
| JP2017090848A (ja) | 楽曲解析装置および楽曲解析方法 | |
| CN113196381B (zh) | 音响解析方法以及音响解析装置 | |
| US11837205B2 (en) | Musical analysis method and music analysis device | |
| CN113223485B (zh) | 节拍检测模型的训练方法、节拍检测方法及装置 | |
| CN109584902A (zh) | 一种音乐节奏确定方法、装置、设备及存储介质 | |
| JP7243147B2 (ja) | コード推定方法、コード推定装置およびプログラム | |
| JP2019028107A (ja) | 演奏解析方法およびプログラム | |
| US20230351988A1 (en) | Method for identifying a song | |
| Cantri et al. | Cumulative Scores Based for Real-Time Music Beat Detection System | |
| JP5262875B2 (ja) | 追従性評価システム，カラオケシステムおよびプログラム | |
| JP7176114B2 (ja) | 楽曲解析装置、プログラムおよび楽曲解析方法 | |
| EP4270374A1 (en) | Method for tempo adaptive backing track | |
| JP2010085664A (ja) | 追従性評価システム，カラオケシステムおよびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200218 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200218 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200218 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6729515 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |