JP7337169B2 - オーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器 - Google Patents
オーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器 Download PDFInfo
- Publication number
- JP7337169B2 JP7337169B2 JP2021535923A JP2021535923A JP7337169B2 JP 7337169 B2 JP7337169 B2 JP 7337169B2 JP 2021535923 A JP2021535923 A JP 2021535923A JP 2021535923 A JP2021535923 A JP 2021535923A JP 7337169 B2 JP7337169 B2 JP 7337169B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- location
- candidate
- cumulative
- feature sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000004590 computer program Methods 0.000 title claims description 16
- 230000001186 cumulative effect Effects 0.000 claims description 205
- 239000011159 matrix material Substances 0.000 claims description 130
- 238000012545 processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本願は、2019年05月24日に提出された、出願番号が201910441366.5であり、発明名称が「オーディオクリップのマッチング方法及びその装置、コンピュータ可読媒体並びに電子機器」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
第1オーディオクリップに対応する第1特徴シーケンス及び第2オーディオクリップに対応する第2特徴シーケンスを取得するステップと、
前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置する、ステップと、
前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定するステップと、
前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定するステップと、
前記最小距離に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するステップと、を含む。
サーバが第1オーディオクリップに対応する第1特徴シーケンス及び第2オーディオクリップに対応する第2特徴シーケンスを取得するステップと、
前記サーバが前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置する、ステップと、
前記サーバが前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定するステップと、
前記サーバが前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定するステップと、
前記サーバが前記最小距離に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するステップと、を含む。
第1オーディオクリップに対応する第1特徴シーケンス及び第2オーディオクリップに対応する第2特徴シーケンスを取得するように構成される取得ユニットと、
前記取得ユニットから、前記第1特徴シーケンス及び前記第2特徴シーケンスを取得し、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するように構成される構築ユニットであって、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置する、構築ユニットと、
前記構築ユニットから前記距離行列を取得し、前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定し、前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定し、前記最小距離に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するように構成される処理ユニットと、を備える。
前記開始位置から第1候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第1候補位置は、前記開始位置と前記ターゲット位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記開始位置から前記第1候補位置までの累積距離及び前記第1候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第1候補累積距離を決定し、前記第1候補累積距離のうちの最小値を前記第1累積距離として決定するように構成される。
決定サブユニットは更に、前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定するように構成される。
決定サブユニットは更に、前記開始位置から前記第1候補位置までの累積距離と前記第1候補位置に対応する前記重み付け距離値に対して加算を行い、前記第1候補位置に対応する距離合計値を得て、前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定するように構成される。
前記終了位置から第2候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第2候補位置は、前記ターゲット位置と前記終了位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記終了位置から前記第2候補位置までの累積距離及び前記第2候補位置で表される距離値に基づいて、前記終了位置から前記ターゲット位置までの第2候補累積距離を決定し、前記第2候補累積距離のうちの最小値を前記第2累積距離として決定するように構成される。
前記ターゲット位置で表される距離値、前記第1累積距離及び前記第2累積距離に基づいて、前記ターゲット位置に対応する最小累積距離を決定し、前記ターゲット位置に対応する最小累積距離から最小値を選択し、前記最小値を前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離として決定するように構成される決定サブユニットを備える。
又は、
前記決定サブユニットは更に、前記ターゲット位置で表される距離値と前記ターゲット位置に対応する重み値に対して重み付け演算を行い、前記ターゲット位置に対応する重み付け距離値を得て、前記重み付け距離値、前記第1累積距離及び前記第2累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るように構成される。
前記取得ユニットは更に、n個の前記第1特徴シーケンスとn個の前記第2特徴シーケンスとの間のn個の最小距離を取得するように構成され、
処理ユニットは更に、n個の前記最小距離に対して重み付け加算を行い、前記第1オーディオクリップと前記第2オーディオクリップとの重み付け距離値を得て、前記重み付け距離値に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するように構成される。
本願の一実施例において、ターゲット位置で表される距離値、第1累積距離及び第2累積距離に対して加算を行い、ターゲット位置に対応する最小累積距離を得る。例えば、ターゲット位置は、(i,j)であり、ターゲット位置で表される距離値は、d(i,j)であり、第1累積距離は、D_forward(i,j)であり、第2累積距離は、D_backward(i,j)であると、ターゲット位置に対応する最小累積距離は、D_total(i,j)=D_forward(i,j)+D_backward(i,j)+d(i,j)である。
構築ユニット1204は、前記取得ユニット1202から、前記第1特徴シーケンス及び前記第2特徴シーケンスを取得し、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するように構成され、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置し、
処理ユニット1206は、前記構築ユニット1204から前記距離行列を取得し、前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定し、前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定し、前記最小距離に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するように構成される。
前記開始位置から第1候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第1候補位置は、前記開始位置と前記ターゲット位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記開始位置から前記第1候補位置までの累積距離及び前記第1候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第1候補累積距離を決定し、前記第1候補累積距離のうちの最小値を前記第1累積距離として決定するように構成される。
決定サブユニットは更に、前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定するように構成される。
決定サブユニットは更に、前記開始位置から前記第1候補位置までの累積距離と前記第1候補位置に対応する前記重み付け距離値に対して加算を行い、前記第1候補位置に対応する距離合計値を得て、前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定するように構成される。
前記終了位置から第2候補位置までの累積距離を決定するように構成される決定サブユニットであって、前記第2候補位置は、前記ターゲット位置と前記終了位置との間に位置する、決定サブユニットを備え、
決定サブユニットは更に、前記終了位置から前記第2候補位置までの累積距離及び前記第2候補位置で表される距離値に基づいて、前記終了位置から前記ターゲット位置までの第2候補累積距離を決定し、前記第2候補累積距離のうちの最小値を前記第2累積距離として決定するように構成される。
前記ターゲット位置で表される距離値、前記第1累積距離及び前記第2累積距離に基づいて、前記ターゲット位置に対応する最小累積距離を決定し、前記ターゲット位置に対応する最小累積距離から最小値を選択し、前記最小値を前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離として決定するように構成される決定サブユニットを備える。
又は、
前記決定サブユニットは更に、前記ターゲット位置で表される距離値と前記ターゲット位置に対応する重み値に対して重み付け演算を行い、前記ターゲット位置に対応する重み付け距離値を得て、前記重み付け距離値、前記第1累積距離及び前記第2累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るように構成される。
前記取得ユニット1202は更に、n個の前記第1特徴シーケンスとn個の前記第2特徴シーケンスとの間のn個の最小距離を取得するように構成され、
処理ユニット1206は更に、n個の前記最小距離に対して重み付け加算を行い、前記第1オーディオクリップと前記第2オーディオクリップとの重み付け距離値を得て、前記重み付け距離値に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するように構成される。
本願は、上記で説明した、また図面において示した精確な構造に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本願の範囲は、添付の特許請求の範囲によってのみ限定される。
1202 取得ユニット
1204 構築ユニット
1206 処理ユニット
Claims (14)
- コンピュータ機器が実行するオーディオクリップのマッチング方法であって、
第1オーディオクリップに対応する第1特徴シーケンス及び第2オーディオクリップに対応する第2特徴シーケンスを取得するステップであって、前記第1オーディオクリップは、複数の第1特徴シーケンスに対応し、前記第2オーディオクリップは、複数の第2特徴シーケンスに対応するステップと、
前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置する、ステップと、
前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定するステップであって、前記ターゲット位置は、前記第1特徴シーケンスに位置するある位置点と前記第2特徴シーケンスに位置するある位置点とから構成され、前記開始位置及び前記終了位置からそれぞれ前記ターゲット位置までの最短経路を決定するステップを含む、ステップと、
前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定するステップであって、前記第1特徴シーケンスと前記第2特徴シーケンスとは、同一の特徴に対応する、ステップと、
複数の前記最小距離に対して重み付け加算を行い、前記第1オーディオクリップと前記第2オーディオクリップとの重み付け距離値を得るステップと、
前記重み付け距離値に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するステップと、を含み、
前記複数の第1特徴シーケンス及び前記複数の第2特徴シーケンスのそれぞれは、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも2つに対応する、方法。 - 前記距離行列における開始位置からターゲット位置までの第1累積距離を決定するステップは、
前記開始位置から第1候補位置までの累積距離を決定するステップであって、前記第1候補位置は、前記開始位置と前記ターゲット位置との間に位置する、ステップと、
前記開始位置から前記第1候補位置までの累積距離及び前記第1候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第1候補累積距離を決定するステップと、
前記第1候補累積距離のうちの最小値を前記第1累積距離として決定するステップと、を含むことを特徴とする
請求項1に記載の方法。 - 前記開始位置から前記第1候補位置までの累積距離及び前記第1候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第1候補累積距離を決定するステップは、
前記累積距離と前記第1候補位置で表される前記距離値に対して加算を行い、前記第1候補位置に対応する距離合計値を得るステップであって、前記累積距離は、前記開始位置から前記第1候補位置までの距離である、ステップと、
前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定するステップと、を含むことを特徴とする
請求項2に記載の方法。 - 前記開始位置から前記第1候補位置までの累積距離及び前記第1候補位置で表される距離値に基づいて、前記開始位置から前記ターゲット位置までの第1候補累積距離を決定するステップは、
前記第1候補位置で表される距離値及び前記第1候補位置に対応する重み値に基づいて、各前記第1候補位置で表される距離値に対して重み付け演算を行い、前記第1候補位置に対応する重み付け距離値を得るステップと、
前記累積距離と前記第1候補位置に対応する前記重み付け距離値に対して加算を行い、前記第1候補位置に対応する距離合計値を得るステップであって、前記累積距離は、前記開始位置から前記第1候補位置までの距離である、ステップと、
前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定するステップと、を含むことを特徴とする
請求項2に記載の方法。 - 前記距離合計値を前記第1候補位置に対応する前記第1候補累積距離として決定する前に、前記方法は、
前記第1候補位置と前記距離行列の対角線との間の距離を決定するステップであって、前記対角線は、前記開始位置と前記終了位置を連結した直線である、ステップと、
各前記第1候補位置と前記対角線との間の距離に基づいて、各前記第1候補位置に対応する重み値を決定するステップと、更に含むことを特徴とする
請求項4に記載の方法。 - 前記第1候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第1候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものであることを特徴とする
請求項2に記載の方法。 - 前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を算出するステップは、
前記終了位置から第2候補位置までの累積距離を決定するステップであって、前記第2候補位置は、前記ターゲット位置と前記終了位置との間に位置する、ステップと、
前記終了位置から前記第2候補位置までの累積距離及び前記第2候補位置で表される距離値に基づいて、前記終了位置から前記ターゲット位置までの第2候補累積距離を決定するステップと、
前記第2候補累積距離のうちの最小値を前記第2累積距離として決定するステップと、を含むことを特徴とする
請求項1に記載の方法。 - 前記第2候補位置と前記ターゲット位置との間に関連関係が存在し、前記関連関係は、前記第2候補位置が前記ターゲット位置の周辺の所定の距離範囲内にあることを表すためのものであることを特徴とする
請求項7に記載の方法。 - 前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定するステップは、
前記ターゲット位置で表される距離値、前記第1累積距離及び前記第2累積距離に基づいて、前記ターゲット位置に対応する最小累積距離を決定するステップと、
前記ターゲット位置に対応する最小累積距離から最小値を選択し、前記最小値を前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離として決定するステップと、を含むことを特徴とする
請求項1から8のうちいずれか一項に記載の方法。 - 前記第1累積距離、前記第2累積距離及び前記ターゲット位置で表される距離値に基づいて、前記ターゲット位置に対応する最小累積距離を決定するステップは、
前記ターゲット位置で表される距離値、前記第1累積距離及び前記第2累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るステップ、
又は、
前記ターゲット位置で表される距離値と前記ターゲット位置に対応する重み値に対して重み付け演算を行い、前記ターゲット位置に対応する重み付け距離値を得て、前記重み付け距離値、前記第1累積距離及び前記第2累積距離に対して加算を行い、前記ターゲット位置に対応する前記最小累積距離を得るステップを含むことを特徴とする
請求項9に記載の方法。 - オーディオクリップのマッチング方法であって、
サーバが第1オーディオクリップに対応する第1特徴シーケンス及び第2オーディオクリップに対応する第2特徴シーケンスを取得するステップであって、前記第1オーディオクリップは、複数の第1特徴シーケンスに対応し、前記第2オーディオクリップは、複数の第2特徴シーケンスに対応するステップと、
前記サーバが前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するステップであって、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置する、ステップと、
前記サーバが前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定するステップであって、前記ターゲット位置は、前記第1特徴シーケンスに位置するある位置点と前記第2特徴シーケンスに位置するある位置点とから構成され、前記開始位置及び前記終了位置からそれぞれ前記ターゲット位置までの最短経路を決定するステップを含む、ステップと、
前記サーバが前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定するステップであって、前記第1特徴シーケンスと前記第2特徴シーケンスとは、同一の特徴に対応する、ステップと、
前記サーバが複数の前記最小距離に対して重み付け加算を行い、前記第1オーディオクリップと前記第2オーディオクリップとの重み付け距離値を得るステップと、
前記サーバが前記重み付け距離値に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定するステップと、を含み、
前記複数の第1特徴シーケンス及び前記複数の第2特徴シーケンスのそれぞれは、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも2つに対応する、
方法。 - オーディオクリップのマッチング装置であって、
第1オーディオクリップに対応する第1特徴シーケンス及び第2オーディオクリップに対応する第2特徴シーケンスを取得し、前記第1オーディオクリップは、複数の第1特徴シーケンスに対応し、前記第2オーディオクリップは、複数の第2特徴シーケンスに対応するように構成される取得ユニットと、
前記取得ユニットから、前記第1特徴シーケンス及び前記第2特徴シーケンスを取得し、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の距離行列を構築するように構成される構築ユニットであって、前記距離行列における要素は、第1位置点と第2位置点との間の距離を表すためのものであり、前記第1位置点は、前記第1特徴シーケンスに位置し、前記第2位置点は、前記第2特徴シーケンスに位置する、構築ユニットと、
前記構築ユニットから前記距離行列を取得し、前記距離行列における開始位置からターゲット位置までの第1累積距離、及び前記距離行列における終了位置から前記ターゲット位置までの第2累積距離を決定し、前記ターゲット位置は、前記第1特徴シーケンスに位置するある位置点と前記第2特徴シーケンスに位置するある位置点とから構成され、前記開始位置及び前記終了位置からそれぞれ前記ターゲット位置までの最短経路を決定し、前記第1累積距離及び前記第2累積距離に基づいて、前記第1特徴シーケンスと前記第2特徴シーケンスとの間の最小距離を決定し、複数の前記最小距離に対して重み付け加算を行い、前記第1オーディオクリップと前記第2オーディオクリップとの重み付け距離値を取得し、前記重み付け距離値に基づいて、前記第1オーディオクリップと前記第2オーディオクリップとの間のマッチング度を決定し、前記第1特徴シーケンスと前記第2特徴シーケンスとは、同一の特徴に対応し、前記複数の第1特徴シーケンス及び前記複数の第2特徴シーケンスのそれぞれは、音高特徴、楽音エネルギー、周波数ケプストラム係数、フレーム毎の二乗平均平方根エネルギー値のうちの少なくとも2つに対応するように構成される処理ユニットと、を備える、装置。 - コンピュータプログラムであって、
プロセッサにより実行される時、前記プロセッサに請求項1から11のうちいずれか一項に記載のオーディオクリップのマッチング方法を実施させる、コンピュータプログラム。 - 電子機器であって、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶するように構成される記憶装置と、を備え、前記1つ以上のプログラムが前記1つ以上のプロセッサにより実行される時、前記1つ以上のプロセッサに請求項1から11のうちいずれか一項に記載のオーディオクリップのマッチング方法を実施させる、電子機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910441366.5 | 2019-05-24 | ||
CN201910441366.5A CN111986698B (zh) | 2019-05-24 | 2019-05-24 | 音频片段的匹配方法、装置、计算机可读介质及电子设备 |
PCT/CN2020/091698 WO2020238777A1 (zh) | 2019-05-24 | 2020-05-22 | 音频片段的匹配方法、装置、计算机可读介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022515173A JP2022515173A (ja) | 2022-02-17 |
JP7337169B2 true JP7337169B2 (ja) | 2023-09-01 |
Family
ID=73437134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021535923A Active JP7337169B2 (ja) | 2019-05-24 | 2020-05-22 | オーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11929090B2 (ja) |
EP (1) | EP3979241B1 (ja) |
JP (1) | JP7337169B2 (ja) |
CN (1) | CN111986698B (ja) |
WO (1) | WO2020238777A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724583A (zh) * | 2021-01-05 | 2022-07-08 | 北京字跳网络技术有限公司 | 一种音乐片段的定位方法、装置、设备及存储介质 |
CN113268630B (zh) * | 2021-06-08 | 2023-03-10 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频检索方法、设备及介质 |
CN113488083B (zh) * | 2021-08-23 | 2023-03-21 | 北京字节跳动网络技术有限公司 | 数据匹配方法、装置、介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347659A (ja) | 1999-03-26 | 2000-12-15 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2001134584A (ja) | 1999-11-04 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 類似データの検索方法,検索装置および類似データ検索プログラム記録媒体 |
JP2009092970A (ja) | 2007-10-10 | 2009-04-30 | Yamaha Corp | 素片検索装置およびプログラム |
JP2012123230A (ja) | 2010-12-09 | 2012-06-28 | Yamaha Corp | 情報処理装置 |
JP2015169698A (ja) | 2014-03-05 | 2015-09-28 | カシオ計算機株式会社 | 音声検索装置、音声検索方法及びプログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5727299A (en) * | 1980-07-28 | 1982-02-13 | Fujitsu Ltd | Feature vector time series interval distance calculating device |
JPS5945583A (ja) * | 1982-09-06 | 1984-03-14 | Nec Corp | パタンマッチング装置 |
JPS61292697A (ja) * | 1985-06-21 | 1986-12-23 | 三菱電機株式会社 | パタン類似度計算装置 |
JPS62144200A (ja) * | 1985-12-18 | 1987-06-27 | 富士通株式会社 | 連続音声認識装置 |
JPS62147496A (ja) * | 1985-12-23 | 1987-07-01 | 富士通株式会社 | 連続音声認識装置 |
US20070048695A1 (en) * | 2005-08-31 | 2007-03-01 | Wen-Chen Huang | Interactive scoring system for learning language |
EP1785891A1 (en) * | 2005-11-09 | 2007-05-16 | Sony Deutschland GmbH | Music information retrieval using a 3D search algorithm |
RU2419890C1 (ru) * | 2009-09-24 | 2011-05-27 | Общество с ограниченной ответственностью "Центр речевых технологий" | Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания |
CN103871426A (zh) * | 2012-12-13 | 2014-06-18 | 上海八方视界网络科技有限公司 | 对比用户音频与原唱音频相似度的方法及其*** |
US9344759B2 (en) * | 2013-03-05 | 2016-05-17 | Google Inc. | Associating audio tracks of an album with video content |
GB201310861D0 (en) * | 2013-06-18 | 2013-07-31 | Nokia Corp | Audio signal analysis |
US9390727B2 (en) * | 2014-01-13 | 2016-07-12 | Facebook, Inc. | Detecting distorted audio signals based on audio fingerprinting |
WO2015120184A1 (en) * | 2014-02-06 | 2015-08-13 | Otosense Inc. | Instant real time neuro-compatible imaging of signals |
KR101551122B1 (ko) * | 2014-09-26 | 2015-09-08 | 중앙대학교 산학협력단 | 사용자 단말에서의 패턴 인식 방법 및 그 장치 |
US9501568B2 (en) * | 2015-01-02 | 2016-11-22 | Gracenote, Inc. | Audio matching based on harmonogram |
CN106547797B (zh) * | 2015-09-23 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 音频生成方法和装置 |
US20170294185A1 (en) * | 2016-04-08 | 2017-10-12 | Knuedge Incorporated | Segmentation using prior distributions |
CN106910494B (zh) * | 2016-06-28 | 2020-11-13 | 创新先进技术有限公司 | 一种音频识别方法和装置 |
US10453475B2 (en) * | 2017-02-14 | 2019-10-22 | Adobe Inc. | Automatic voiceover correction system |
CN106935248B (zh) * | 2017-02-14 | 2021-02-05 | 广州孩教圈信息科技股份有限公司 | 一种语音相似度检测方法及装置 |
US20180254054A1 (en) * | 2017-03-02 | 2018-09-06 | Otosense Inc. | Sound-recognition system based on a sound language and associated annotations |
CN107563297B (zh) * | 2017-08-07 | 2020-06-09 | 中国石油天然气集团公司 | 一种波形匹配方法及装置 |
CN108417226A (zh) * | 2018-01-09 | 2018-08-17 | 平安科技(深圳)有限公司 | 语音对比方法、终端及计算机可读存储介质 |
CN110322897B (zh) * | 2018-03-29 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 一种音频检索识别方法及装置 |
CN109192223B (zh) * | 2018-09-20 | 2020-10-27 | 广州酷狗计算机科技有限公司 | 音频对齐的方法和装置 |
CN109493853B (zh) * | 2018-09-30 | 2022-03-22 | 福建星网视易信息***有限公司 | 一种音频相似度的确定方法及终端 |
-
2019
- 2019-05-24 CN CN201910441366.5A patent/CN111986698B/zh active Active
-
2020
- 2020-05-22 EP EP20815214.0A patent/EP3979241B1/en active Active
- 2020-05-22 JP JP2021535923A patent/JP7337169B2/ja active Active
- 2020-05-22 WO PCT/CN2020/091698 patent/WO2020238777A1/zh unknown
-
2021
- 2021-06-02 US US17/336,562 patent/US11929090B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000347659A (ja) | 1999-03-26 | 2000-12-15 | Nippon Telegr & Teleph Corp <Ntt> | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 |
JP2001134584A (ja) | 1999-11-04 | 2001-05-18 | Nippon Telegr & Teleph Corp <Ntt> | 類似データの検索方法,検索装置および類似データ検索プログラム記録媒体 |
JP2009092970A (ja) | 2007-10-10 | 2009-04-30 | Yamaha Corp | 素片検索装置およびプログラム |
JP2012123230A (ja) | 2010-12-09 | 2012-06-28 | Yamaha Corp | 情報処理装置 |
JP2015169698A (ja) | 2014-03-05 | 2015-09-28 | カシオ計算機株式会社 | 音声検索装置、音声検索方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11929090B2 (en) | 2024-03-12 |
EP3979241B1 (en) | 2024-05-15 |
EP3979241A1 (en) | 2022-04-06 |
WO2020238777A1 (zh) | 2020-12-03 |
JP2022515173A (ja) | 2022-02-17 |
CN111986698B (zh) | 2023-06-30 |
EP3979241A4 (en) | 2022-08-10 |
CN111986698A (zh) | 2020-11-24 |
US20210287696A1 (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7337169B2 (ja) | オーディオクリップのマッチング方法及びその装置、コンピュータプログラム並びに電子機器 | |
JP4640407B2 (ja) | 信号処理装置、信号処理方法及びプログラム | |
US11568244B2 (en) | Information processing method and apparatus | |
CN111680187A (zh) | 乐谱跟随路径的确定方法、装置、电子设备及存储介质 | |
US11328699B2 (en) | Musical analysis method, music analysis device, and program | |
CN109326270A (zh) | 音频文件的生成方法、终端设备及介质 | |
WO2011018985A1 (ja) | カラオケホスト装置及びプログラム | |
CN113674723A (zh) | 一种音频处理方法、计算机设备及可读存储介质 | |
CN113140230A (zh) | 音符音高值的确定方法、装置、设备及存储介质 | |
KR102497878B1 (ko) | 노트 레벨의 오디오 데이터를 기초로 학습을 수행하는 보컬 채보 학습 방법 및 장치 | |
JP4601643B2 (ja) | 信号特徴抽出方法、信号探索方法、信号特徴抽出装置、コンピュータプログラム、及び、記録媒体 | |
US20190213989A1 (en) | Technologies for generating a musical fingerprint | |
US20230139415A1 (en) | Systems and methods for importing audio files in a digital audio workstation | |
WO2020196321A1 (ja) | 楽曲解析方法および楽曲解析装置 | |
CN114664277A (zh) | 音频评估方法及装置 | |
CN105630831A (zh) | 哼唱检索方法及*** | |
KR20140054810A (ko) | 반주음악 제작 서비스 시스템 및 그 방법, 그리고 이에 적용되는 장치 | |
JP6680029B2 (ja) | 音響処理方法および音響処理装置 | |
JP6077492B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Makhmutov et al. | Momos-mt: mobile monophonic system for music transcription: sheet music generation on mobile devices | |
EP4270373A1 (en) | Method for identifying a song | |
WO2024004564A1 (ja) | 音響解析システム、音響解析方法およびプログラム | |
CN114822456A (zh) | 基于乐谱的乐谱音频检测方法、装置、设备和计算机介质 | |
CN115658957A (zh) | 基于模糊聚类算法的音乐旋律轮廓提取方法及装置 | |
US10297271B1 (en) | Accurate extraction of chroma vectors from an audio signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210618 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |