JP6736711B2 - メタデータ保存オーディオ・オブジェクト・クラスタリング - Google Patents
メタデータ保存オーディオ・オブジェクト・クラスタリング Download PDFInfo
- Publication number
- JP6736711B2 JP6736711B2 JP2019027225A JP2019027225A JP6736711B2 JP 6736711 B2 JP6736711 B2 JP 6736711B2 JP 2019027225 A JP2019027225 A JP 2019027225A JP 2019027225 A JP2019027225 A JP 2019027225A JP 6736711 B2 JP6736711 B2 JP 6736711B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- audio
- audio object
- clusters
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004321 preservation Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 16
- 230000005236 sound signal Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 description 33
- 238000013459 approach Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 230000002829 reductive effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012804 iterative process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 230000006854 communication Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Stereophonic System (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本願は2014年12月11日に出願された中国特許出願第201410765578.6号および2015年1月6日に出願された米国仮特許出願第62/100,183号の優先権の利益を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。
本稿に開示される例示的実施形態は、概括的にはオーディオ・コンテンツ処理に、より詳細には、メタデータが保存されることを許容するオーディオ・オブジェクト・クラスタリングのための方法およびシステムに関する。
・カテゴリー0:保存されるべき情報のないすべてのオーディオ・オブジェクト;
・カテゴリー1:音楽オブジェクト、ゾーン・マスクなし;
・カテゴリー2:サウンド効果オブジェクト、ゾーン・マスク「サラウンドのみ」をもつ;
・カテゴリー3:英語ダイアログ・オブジェクト;
・カテゴリー4:スペイン語ダイアログ・オブジェクト、ゾーン・マスク「前方のみ」をもつ。
をもつMn個のクラスター重心があり、{Cn(1),Cn(2),…,Cn(Mn)}と表わすとする。dis(on(i),{Cn(1),Cn(2),…,Cn(Mn)})が、オーディオ・オブジェクトon(i)についての、Mn個のクラスター重心にクラスタリングするときの空間的歪みを表わしてもよい(この場合、あるカテゴリー内のオーディオ・オブジェクトは、そのカテゴリーに関連付けられたクラスターにのみ割り振られるとする)。カテゴリーnについての空間的歪みは、次のように表現されてもよい:
〔EEE1〕
オーディオ・オブジェクト・クラスタリングにおいてオブジェクト・メタデータを保存する方法であって:オーディオ・オブジェクトをカテゴリーに割り振る段階であって、各カテゴリーは保存を必要とするメタデータの一つまたは一意的な組み合わせを表わす、段階と;利用可能なクラスターの全体的な(最大)数および全体的な誤差基準のもとで、クラスタリング・プロセスを通じて各カテゴリーについていくつかのクラスターを生成する段階とを含み、当該方法はさらに:ファジー・オブジェクト・カテゴリー分離またはハード・オブジェクト・カテゴリー分離を含む、方法。
〔EEE2〕
前記ファジー・オブジェクト・カテゴリー分離は:たとえば最も重要な諸オブジェクトを選択することによって諸出力クラスター重心を決定する段階と、(1)各オブジェクトの位置メタデータ
〔EEE3〕
前記コスト関数は、オブジェクト・カテゴリー識別情報noとクラスター・カテゴリー識別情報nmの間の不一致に関連するコストを考慮する、EEE2記載の方法。
〔EEE4〕
前記ハード・オブジェクト・カテゴリー分離は:全体的な空間的歪みを最小にすることによって各カテゴリーについての最適なクラスター数を決定し、各カテゴリー内にオブジェクトをクラスタリングすることを含み、クラスタリング・プロセスは各カテゴリーについて独立して実行される、EEE1記載の方法。
〔EEE5〕
前記全体的な空間的歪みが:もとのオブジェクト位置とクラスタリング後の位置との間の差を測る各カテゴリー内の空間的歪み、各カテゴリーの重要性および各カテゴリーのクラスター数変化を含む、EEE4記載の方法。
〔EEE6〕
各カテゴリーについての最適なクラスター数を決定する工程は逐次反復プロセスであり、各反復工程において、クラスターは、該クラスターを最も必要とするカテゴリーに加えられるまたは割り当てられる、EEE4記載の方法。
〔EEE7〕
最適なクラスター数を決定する工程がさらに、一つのカテゴリーにおける大きな空間的歪みを避けるために、オブジェクト再割り振りを含む、EEE4記載の方法。
〔態様1〕
メタデータが保存されるオーディオ・オブジェクト・クラスタリングのための方法であって:
複数のオーディオ・オブジェクトを、該複数のオーディオ・オブジェクトに関連付けられたメタデータにおいて保存されるべき情報に基づいていくつかのカテゴリーに分類する段階と;
所定数のクラスターを前記カテゴリーに割り当てる段階と;
前記カテゴリーのそれぞれにおけるオーディオ・オブジェクトを前記割り当てに基づいて前記クラスターのうちの少なくとも一つに割り振る段階とを含む、
方法。
〔態様2〕
前記情報は、オーディオ・オブジェクトのサイズ情報、ゾーン・マスク情報、スナップ情報、コンテンツ型またはレンダリング・モードの一つまたは複数を含む、態様1記載の方法。
〔態様3〕
複数のオーディオ・オブジェクトを、該複数のオーディオ・オブジェクトに関連付けられたメタデータにおいて保存されるべき情報に基づいていくつかのカテゴリーに分類する段階が:
保存されるべき情報のないオーディオ・オブジェクトを一つのカテゴリーに分類し;
保存されるべき異なる情報をもつオーディオ・オブジェクトを異なるカテゴリーに分類することを含む、
態様1記載の方法。
〔態様4〕
所定数のクラスターを前記カテゴリーに割り当てる段階が:
前記複数のオーディオ・オブジェクトからの前記所定数のオーディオ・オブジェクトを、各オーディオ・オブジェクトの他のオーディオ・オブジェクトに対する重要度に基づいて決定し;
前記カテゴリーの間での前記所定数のオーディオ・オブジェクトの分配を決定し;
前記所定数のクラスターを、前記分配に基づいて前記カテゴリーに割り当てることを含む、
態様1記載の方法。
〔態様5〕
所定数のクラスターを前記カテゴリーに割り当てる段階が:
前記カテゴリーについての全体的な空間的歪みを減らすことに基づいて前記所定数のクラスターを前記カテゴリーに割り当てることを含む、
態様1記載の方法。
〔態様6〕
前記カテゴリーについての前記全体的な空間的歪みは、前記カテゴリーの個々の空間的歪みの間での最大の空間的歪みまたは前記カテゴリーの個々の空間的歪みの重み付けされた和を含み、
各カテゴリーについての空間的歪みは、そのカテゴリー内の各オーディオ・オブジェクトのもとの空間位置および前記クラスターのうちの少なくとも一つのクラスターの空間位置に関連する、
態様5記載の方法。
〔態様7〕
各オーディオ・オブジェクトの再構成された空間位置が前記少なくとも一つのクラスターの空間位置に基づいて決定され、各カテゴリーについての空間的歪みが、そのカテゴリー内の各オーディオ・オブジェクトのもとの空間位置とそのオーディオ・オブジェクトの再構成された空間位置との間の距離に基づいて決定される、態様6記載の方法。
〔態様8〕
前記複数のオーディオ・オブジェクトはオーディオ信号の一つのフレーム内であり、各カテゴリーについての空間位置はさらに、現在フレームおよび前のフレームにおいてそのカテゴリーに割り当てられるクラスター数の間の差に基づく、態様6記載の方法。
〔態様9〕
前記カテゴリーについての全体的な空間的歪みを減らすことに基づいて前記所定数のクラスターを前記カテゴリーに割り当てることが:
前の反復工程でのあるカテゴリーについての空間的歪みの量、または
現在の反復工程および前の反復工程でのあるカテゴリーに付いての空間的歪みの間の差
のうちの少なくとも一方に基づいて前記カテゴリーについての全体的な空間的歪みを逐次反復的に減らすことを含む、
態様5記載の方法。
〔態様10〕
所定数のクラスターを前記カテゴリーに割り当てる段階がさらに:
各カテゴリーに割り当てられるべきクラスターの数についての第一の閾値、
各カテゴリーについての空間的歪みについての第二の閾値または
各カテゴリーの他のカテゴリーに対する重要性
のうちの一つまたは複数に基づく、態様4ないし9のうちいずれか一項記載の方法。
〔態様11〕
あるカテゴリー内の少なくとも一つのオーディオ・オブジェクトを、そのカテゴリーについての空間的歪みに基づいて別のカテゴリーに分類し直す段階をさらに含む、
態様1記載の方法。
〔態様12〕
前記カテゴリーのそれぞれにおけるオーディオ・オブジェクトを前記割り当てに基づいて前記クラスターのうちの少なくとも一つに割り振る段階が:
それぞれのカテゴリーにおけるオーディオ・オブジェクトを、そのカテゴリーに関連する歪みコストを減らすことに基づいて、そのカテゴリーに割り当てられた前記クラスターのうちの少なくとも一つに割り振ることを含む、
態様1記載の方法。
〔態様13〕
前記カテゴリーのそれぞれにおけるオーディオ・オブジェクトを前記割り当てに基づいて前記クラスターのうちの少なくとも一つに割り振る段階が:
それぞれのカテゴリーにおけるオーディオ・オブジェクトを、前記カテゴリーのうちの一つまたは複数に割り当てられたクラスターのうちの少なくとも一つに、前記カテゴリーに関連する歪みコストを減らすことに基づいて割り振ることを含む、
態様1記載の方法。
〔態様14〕
前記歪みコストは、各オーディオ・オブジェクトのもとの空間位置、前記少なくとも一つのクラスターの空間位置、各オーディオ・オブジェクトが分類されるカテゴリーの識別情報または前記少なくとも一つのクラスターが割り当てられる各カテゴリーの識別情報のうちの一つまたは複数に関連する、態様12または13記載の方法。
〔態様15〕
前記歪みコストが:
各オーディオ・オブジェクトのもとの空間位置と前記少なくとも一つのクラスターの空間位置との間の距離;
各オーディオ・オブジェクトのもとの空間位置と前記少なくとも一つのクラスターの空間位置に基づいて決定されるそのオーディオ・オブジェクトの再構成された空間位置との間の距離;または
各オーディオ・オブジェクトが分類されるカテゴリーの識別情報と前記少なくとも一つのクラスターが割り当てられる各カテゴリーの識別情報との間の不一致、
のうちの一つまたは複数に基づいて決定される、態様14記載の方法。
〔態様16〕
各クラスター内のオーディオ・オブジェクトを組み合わせて、クラスタリングされたオーディオ・オブジェクトを得る段階と;
各クラスター内のオーディオ・オブジェクトのメタデータを組み合わせて、前記クラスタリングされたオーディオ・オブジェクトのメタデータを得る段階とをさらに含む、
態様1記載の方法。
〔態様17〕
メタデータが保存されるオーディオ・オブジェクト・クラスタリングのためのシステムであって:
複数のオーディオ・オブジェクトを、該複数のオーディオ・オブジェクトに関連付けられたメタデータにおいて保存されるべき情報に基づいていくつかのカテゴリーに分類するよう構成されたオーディオ・オブジェクト分類ユニットと;
所定数のクラスターを前記カテゴリーに割り当てるよう構成されたクラスター割り当てユニットと;
前記カテゴリーのそれぞれにおけるオーディオ・オブジェクトを前記割り当てに基づいて前記クラスターのうちの少なくとも一つに割り振るよう構成されたオーディオ・オブジェクト割り振りユニットとを有する、
システム。
〔態様18〕
前記情報は、オーディオ・オブジェクトのサイズ情報、ゾーン・マスク情報、スナップ情報、コンテンツ型またはレンダリング・モードの一つまたは複数を含む、態様17記載のシステム。
〔態様19〕
前記オーディオ・オブジェクト分類ユニットは、保存されるべき情報のないオーディオ・オブジェクトを一つのカテゴリーに分類し、保存されるべき異なる情報をもつオーディオ・オブジェクトを異なるカテゴリーに分類するようさらに構成される、態様17記載のシステム。
〔態様20〕
前記クラスター割り当てユニットが:
前記複数のオーディオ・オブジェクトからの前記所定数のオーディオ・オブジェクトを、各オーディオ・オブジェクトの他のオーディオ・オブジェクトに対する重要度に基づいて決定するよう構成された重要性ベースの決定ユニットと;
前記カテゴリーの間での前記所定数のオーディオ・オブジェクトの分配を決定するよう構成された分配決定ユニットとをさらに有し、
前記クラスター割り当てユニットは、前記所定数のクラスターを、前記分配に基づいて前記カテゴリーに割り当てるようさらに構成される、
態様17記載のシステム。
〔態様21〕
前記クラスター割り当てユニットがさらに、前記カテゴリーについての全体的な空間的歪みを減らすことに基づいて前記所定数のクラスターを前記カテゴリーに割り当てるよう構成される、態様17記載のシステム。
〔態様22〕
前記カテゴリーについての前記全体的な空間的歪みは、前記カテゴリーの個々の空間的歪みの間での最大の空間的歪みまたは前記カテゴリーの個々の空間的歪みの重み付けされた和を含み、
各カテゴリーについての空間的歪みは、そのカテゴリー内の各オーディオ・オブジェクトのもとの空間位置および前記クラスターのうちの少なくとも一つのクラスターの空間位置に関連する、
態様21記載のシステム。
〔態様23〕
各オーディオ・オブジェクトの再構成された空間位置が前記少なくとも一つのクラスターの空間位置に基づいて決定され、各カテゴリーについての空間的歪みが、そのカテゴリー内の各オーディオ・オブジェクトのもとの空間位置とそのオーディオ・オブジェクトの再構成された空間位置との間の距離に基づいて決定される、態様22記載のシステム。
〔態様24〕
前記複数のオーディオ・オブジェクトはオーディオ信号の一つのフレーム内であり、各カテゴリーについての空間位置はさらに、現在フレームおよび前のフレームにおいてそのカテゴリーに割り当てられるクラスター数の間の差に基づく、態様22記載のシステム。
〔態様25〕
前記クラスター割り当てユニットがさらに:
前の反復工程でのあるカテゴリーについての空間的歪みの量、または
現在の反復工程および前の反復工程でのあるカテゴリーに付いての空間的歪みの間の差
のうちの少なくとも一方に基づいて前記カテゴリーについての全体的な空間的歪みを逐次反復的に減らすよう構成されている、
態様21記載のシステム。
〔態様26〕
前記クラスター割り当てユニットが、さらに、前記所定数のクラスターを前記カテゴリーに割り当てることを:
各カテゴリーに割り当てられるべきクラスターの数についての第一の閾値、
各カテゴリーについての空間的歪みについての第二の閾値または
各カテゴリーの他のカテゴリーに対する重要性
のうちの一つまたは複数に基づいて行なうよう構成されている、態様20ないし25のうちいずれか一項記載のシステム。
〔態様27〕
あるカテゴリー内の少なくとも一つのオーディオ・オブジェクトを、そのカテゴリーについての空間的歪みに基づいて別のカテゴリーに分類し直すよう構成されたオーディオ・オブジェクト再分類ユニットをさらに有する、
態様17記載のシステム。
〔態様28〕
前記オーディオ・オブジェクト割り振りユニットがさらに、それぞれのカテゴリーにおけるオーディオ・オブジェクトを、そのカテゴリーに関連する歪みコストを減らすことに基づいて、そのカテゴリーに割り当てられた前記クラスターのうちの少なくとも一つに割り振るよう構成される、態様17記載のシステム。
〔態様29〕
前記オーディオ・オブジェクト割り振りユニットがさらに、それぞれのカテゴリーにおけるオーディオ・オブジェクトを、前記カテゴリーのうちの一つまたは複数に割り当てられたクラスターのうちの少なくとも一つに、前記カテゴリーに関連する歪みコストを減らすことに基づいて割り振るよう構成されている、態様17記載のシステム。
〔態様30〕
前記歪みコストは、各オーディオ・オブジェクトのもとの空間位置、前記少なくとも一つのクラスターの空間位置、各オーディオ・オブジェクトが分類されるカテゴリーの識別情報または前記少なくとも一つのクラスターが割り当てられる各カテゴリーの識別情報のうちの一つまたは複数に関連する、態様28または29記載のシステム。
〔態様31〕
前記歪みコストが:
各オーディオ・オブジェクトのもとの空間位置と前記少なくとも一つのクラスターの空間位置との間の距離;
各オーディオ・オブジェクトのもとの空間位置と前記少なくとも一つのクラスターの空間位置に基づいて決定されるそのオーディオ・オブジェクトの再構成された空間位置との間の距離;または
各オーディオ・オブジェクトが分類されるカテゴリーの識別情報と前記少なくとも一つのクラスターが割り当てられる各カテゴリーの識別情報との間の不一致、
のうちの一つまたは複数に基づいて決定される、態様30記載のシステム。
〔態様32〕
各クラスター内のオーディオ・オブジェクトを組み合わせて、クラスタリングされたオーディオ・オブジェクトを得るよう構成されたオーディオ・オブジェクト組み合わせユニットと;
各クラスター内のオーディオ・オブジェクトのメタデータを組み合わせて、前記クラスタリングされたオーディオ・オブジェクトのメタデータを得るよう構成されたメタデータ組み合わせユニットとをさらに有する、
態様17記載のシステム。
〔態様33〕
態様1ないし16のうちいずれか一項記載の方法を実行するためのプログラム・コードを含むコンピュータ・プログラムを、機械可読媒体上に具現されて有する、コンピュータ・プログラム・プロダクト。
Claims (3)
- エンコードされたオーディオ信号を復号する方法であって:
前記エンコードされたオーディオ信号を受領し、前記エンコードされたオーディオ信号から少なくとも一つのオーディオ・オブジェクトを決定する段階と;
前記少なくとも一つのオーディオ・オブジェクトを、該少なくとも一つのオーディオ・オブジェクトに関連付けられたメタデータにおいて保存されるべきレンダリング・モード情報に基づいて少なくとも一つのカテゴリーに分類する段階と;
各カテゴリーについて、前記メタデータに基づいて少なくとも一つのクラスターを決定する段階と;
前記少なくとも一つのクラスターについての前記レンダリング・モードに関連付けられた保存されるメタデータに基づいて、前記少なくとも一つのオーディオ・オブジェクトをレンダリングする段階とを含む、
方法。 - エンコードされたオーディオ信号を復号するシステムであって:
前記エンコードされたオーディオ信号を受領し、前記エンコードされたオーディオ信号から少なくとも一つのオーディオ・オブジェクトを決定する受領器と;
前記少なくとも一つのオーディオ・オブジェクトを、該少なくとも一つのオーディオ・オブジェクトに関連付けられたメタデータにおいて保存されるべきレンダリング・モード情報に基づいて少なくとも一つのカテゴリーに分類するオーディオ・オブジェクト分類部と;
各カテゴリーについて、前記メタデータに基づいて少なくとも一つのクラスターを決定するクラスター割り当て部と;
前記少なくとも一つのクラスターについての前記レンダリング・モードに関連付けられた保存されるメタデータに基づいて、前記少なくとも一つのオーディオ・オブジェクトをレンダリングするレンダラーとを有する、
システム。 - 請求項1記載の方法をコンピュータに実行させるためのコンピュータ・プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410765578.6A CN105895086B (zh) | 2014-12-11 | 2014-12-11 | 元数据保留的音频对象聚类 |
CN201410765578.6 | 2014-12-11 | ||
US201562100183P | 2015-01-06 | 2015-01-06 | |
US62/100,183 | 2015-01-06 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545884A Division JP6486489B2 (ja) | 2014-12-11 | 2015-12-10 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020121374A Division JP7061162B2 (ja) | 2014-12-11 | 2020-07-15 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019115055A JP2019115055A (ja) | 2019-07-11 |
JP6736711B2 true JP6736711B2 (ja) | 2020-08-05 |
Family
ID=56108191
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545884A Active JP6486489B2 (ja) | 2014-12-11 | 2015-12-10 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
JP2019027225A Active JP6736711B2 (ja) | 2014-12-11 | 2019-02-19 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
JP2020121374A Active JP7061162B2 (ja) | 2014-12-11 | 2020-07-15 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
JP2022067385A Active JP7362826B2 (ja) | 2014-12-11 | 2022-04-15 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
JP2023172770A Pending JP2023181199A (ja) | 2014-12-11 | 2023-10-04 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545884A Active JP6486489B2 (ja) | 2014-12-11 | 2015-12-10 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020121374A Active JP7061162B2 (ja) | 2014-12-11 | 2020-07-15 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
JP2022067385A Active JP7362826B2 (ja) | 2014-12-11 | 2022-04-15 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
JP2023172770A Pending JP2023181199A (ja) | 2014-12-11 | 2023-10-04 | メタデータ保存オーディオ・オブジェクト・クラスタリング |
Country Status (8)
Country | Link |
---|---|
US (2) | US11363398B2 (ja) |
EP (2) | EP3231196B1 (ja) |
JP (5) | JP6486489B2 (ja) |
KR (5) | KR102616326B1 (ja) |
CN (3) | CN105895086B (ja) |
BR (2) | BR122021017564B1 (ja) |
RU (1) | RU2678650C2 (ja) |
WO (1) | WO2016094674A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102088337B1 (ko) * | 2015-02-02 | 2020-03-13 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 인코딩된 오디오 신호를 프로세싱하기 위한 장치 및 방법 |
WO2019106221A1 (en) * | 2017-11-28 | 2019-06-06 | Nokia Technologies Oy | Processing of spatial audio parameters |
BR112021008089A2 (pt) | 2018-11-02 | 2021-08-03 | Dolby International Ab | codificador de áudio e decodificador de áudio |
US11317137B2 (en) * | 2020-06-18 | 2022-04-26 | Disney Enterprises, Inc. | Supplementing entertainment content with ambient lighting |
US20240187807A1 (en) * | 2021-02-20 | 2024-06-06 | Dolby Laboratories Licensing Corporation | Clustering audio objects |
EP4399887A1 (en) * | 2021-09-09 | 2024-07-17 | Dolby Laboratories Licensing Corporation | Systems and methods for headphone rendering mode-preserving spatial coding |
CN113963724A (zh) * | 2021-09-18 | 2022-01-21 | 赛因芯微(北京)电子科技有限公司 | 音频内容元数据和产生方法、电子设备及存储介质 |
CN116069288A (zh) * | 2021-11-03 | 2023-05-05 | 华为技术有限公司 | 一种音频播放方法及***、电子设备 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100397387C (zh) * | 2002-11-28 | 2008-06-25 | 新加坡科技研究局 | 数字声音数据的摘要制作方法和设备 |
US7707148B1 (en) * | 2003-10-07 | 2010-04-27 | Natural Selection, Inc. | Method and device for clustering categorical data and identifying anomalies, outliers, and exemplars |
FR2862799B1 (fr) | 2003-11-26 | 2006-02-24 | Inst Nat Rech Inf Automat | Dispositif et methode perfectionnes de spatialisation du son |
US8363865B1 (en) * | 2004-05-24 | 2013-01-29 | Heather Bottum | Multiple channel sound system using multi-speaker arrays |
EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
WO2007046048A1 (en) * | 2005-10-17 | 2007-04-26 | Koninklijke Philips Electronics N.V. | Method of deriving a set of features for an audio input signal |
JP4910582B2 (ja) * | 2006-09-12 | 2012-04-04 | ソニー株式会社 | 情報処理装置および方法、並びに、プログラム |
JP5541928B2 (ja) * | 2007-03-09 | 2014-07-09 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
US8639368B2 (en) * | 2008-07-15 | 2014-01-28 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
EP2146522A1 (en) * | 2008-07-17 | 2010-01-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating audio output signals using object based metadata |
KR101805212B1 (ko) * | 2009-08-14 | 2017-12-05 | 디티에스 엘엘씨 | 객체-지향 오디오 스트리밍 시스템 |
MY154641A (en) * | 2009-11-20 | 2015-07-15 | Fraunhofer Ges Forschung | Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear cimbination parameter |
US8842842B2 (en) | 2011-02-01 | 2014-09-23 | Apple Inc. | Detection of audio channel configuration |
TWI476761B (zh) * | 2011-04-08 | 2015-03-11 | Dolby Lab Licensing Corp | 用以產生可由實施不同解碼協定之解碼器所解碼的統一位元流之音頻編碼方法及系統 |
KR102185941B1 (ko) * | 2011-07-01 | 2020-12-03 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법 |
CN102982804B (zh) * | 2011-09-02 | 2017-05-03 | 杜比实验室特许公司 | 音频分类方法和*** |
KR101861590B1 (ko) * | 2011-10-26 | 2018-05-29 | 삼성전자주식회사 | 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 |
CN104054126B (zh) * | 2012-01-19 | 2017-03-29 | 皇家飞利浦有限公司 | 空间音频渲染和编码 |
US10051400B2 (en) * | 2012-03-23 | 2018-08-14 | Dolby Laboratories Licensing Corporation | System and method of speaker cluster design and rendering |
US9761229B2 (en) * | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
EP2863657B1 (en) * | 2012-07-31 | 2019-09-18 | Intellectual Discovery Co., Ltd. | Method and device for processing audio signal |
WO2014025752A1 (en) * | 2012-08-07 | 2014-02-13 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
WO2014099285A1 (en) * | 2012-12-21 | 2014-06-26 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
US9788119B2 (en) | 2013-03-20 | 2017-10-10 | Nokia Technologies Oy | Spatial audio apparatus |
JP6228388B2 (ja) * | 2013-05-14 | 2017-11-08 | 日本放送協会 | 音響信号再生装置 |
EP2997743B1 (en) * | 2013-05-16 | 2019-07-10 | Koninklijke Philips N.V. | An audio apparatus and method therefor |
CN110085240B (zh) * | 2013-05-24 | 2023-05-23 | 杜比国际公司 | 包括音频对象的音频场景的高效编码 |
EP3028476B1 (en) | 2013-07-30 | 2019-03-13 | Dolby International AB | Panning of audio objects to arbitrary speaker layouts |
RU2716037C2 (ru) | 2013-07-31 | 2020-03-05 | Долби Лэборетериз Лайсенсинг Корпорейшн | Обработка пространственно-диффузных или больших звуковых объектов |
US10492014B2 (en) | 2014-01-09 | 2019-11-26 | Dolby Laboratories Licensing Corporation | Spatial error metrics of audio content |
-
2014
- 2014-12-11 CN CN201410765578.6A patent/CN105895086B/zh active Active
- 2014-12-11 CN CN202011623482.8A patent/CN112954580B/zh active Active
- 2014-12-11 CN CN202011619810.7A patent/CN112802496A/zh active Pending
-
2015
- 2015-12-10 KR KR1020227024875A patent/KR102616326B1/ko active IP Right Grant
- 2015-12-10 US US15/535,398 patent/US11363398B2/en active Active
- 2015-12-10 KR KR1020237043469A patent/KR20230175334A/ko active Application Filing
- 2015-12-10 KR KR1020177015648A patent/KR101985185B1/ko active IP Right Grant
- 2015-12-10 EP EP15823426.0A patent/EP3231196B1/en active Active
- 2015-12-10 BR BR122021017564-0A patent/BR122021017564B1/pt active IP Right Grant
- 2015-12-10 JP JP2017545884A patent/JP6486489B2/ja active Active
- 2015-12-10 KR KR1020197015122A patent/KR102120258B1/ko active IP Right Grant
- 2015-12-10 RU RU2017124012A patent/RU2678650C2/ru active
- 2015-12-10 BR BR112017012247-2A patent/BR112017012247B1/pt active IP Right Grant
- 2015-12-10 KR KR1020207015728A patent/KR102423965B1/ko active IP Right Grant
- 2015-12-10 EP EP20192613.6A patent/EP3780661A3/en active Pending
- 2015-12-10 WO PCT/US2015/065023 patent/WO2016094674A1/en active Application Filing
-
2019
- 2019-02-19 JP JP2019027225A patent/JP6736711B2/ja active Active
-
2020
- 2020-07-15 JP JP2020121374A patent/JP7061162B2/ja active Active
-
2022
- 2022-04-15 JP JP2022067385A patent/JP7362826B2/ja active Active
- 2022-05-05 US US17/737,184 patent/US11937064B2/en active Active
-
2023
- 2023-10-04 JP JP2023172770A patent/JP2023181199A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6736711B2 (ja) | メタデータ保存オーディオ・オブジェクト・クラスタリング | |
JP6012884B2 (ja) | 知覚的基準に基づいてオブジェクト・ベースのオーディオ・コンテンツをレンダリングするためのオブジェクト・クラスタリング | |
US10638246B2 (en) | Audio object extraction with sub-band object probability estimation | |
US10362426B2 (en) | Upmixing of audio signals | |
US10277997B2 (en) | Processing object-based audio signals | |
US10278000B2 (en) | Audio object clustering with single channel quality preservation | |
EP3488623B1 (en) | Audio object clustering based on renderer-aware perceptual difference | |
RU2773512C2 (ru) | Кластеризация аудиообъектов с сохранением метаданных |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6736711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |