JP2015525897A - System, method, apparatus and computer readable medium for backward compatible audio encoding - Google Patents
System, method, apparatus and computer readable medium for backward compatible audio encoding Download PDFInfo
- Publication number
- JP2015525897A JP2015525897A JP2015521630A JP2015521630A JP2015525897A JP 2015525897 A JP2015525897 A JP 2015525897A JP 2015521630 A JP2015521630 A JP 2015521630A JP 2015521630 A JP2015521630 A JP 2015521630A JP 2015525897 A JP2015525897 A JP 2015525897A
- Authority
- JP
- Japan
- Prior art keywords
- basis function
- group
- channel signals
- coefficients
- function coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000006870 function Effects 0.000 claims description 123
- 239000011159 matrix material Substances 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 28
- 230000002441 reversible effect Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000003491 array Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 101000666657 Homo sapiens Rho-related GTP-binding protein RhoQ Proteins 0.000 description 4
- 102100038339 Rho-related GTP-binding protein RhoQ Human genes 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 102100026038 Lens fiber membrane intrinsic protein Human genes 0.000 description 1
- 101710115990 Lens fiber membrane intrinsic protein Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005284 basis set Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/86—Arrangements characterised by the broadcast information itself
- H04H20/88—Stereophonic broadcast systems
- H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
音場を記述する基底関数係数のセットの後方互換性のある符号化のためのシステム、方法、および装置が提示される。【選択図】図2ASystems, methods, and apparatus for backward compatible encoding of a set of basis function coefficients that describe a sound field are presented. [Selection] Figure 2A
Description
[0001]本特許出願は、2012年7月15日に出願され、本譲受人に譲渡された、「空間オーディオ表現のために球面調和関数係数を使用する場合の後方互換性の提供(“PROVIDING BACKWARD COMPATIBILITY WHEN USING SPHERICAL HARMONICS COEFFICIENTS FOR SPATIAL AUDIO REPRESENTATION”)」と題された仮特許出願第61/671,789号の優先権を主張する。 [0001] This patent application was filed on Jul. 15, 2012 and assigned to the assignee of "Providing Backward Compatibility when Using Spherical Harmonic Function Coefficients for Spatial Audio Representation (" PROVIDING BACKWARD COMPATIBILITY WHEN USING SPHERICAL HARMONICS COEFFICIENTS FOR SPATIAL AUDIO REPRESENTATION ")".
[0002]本開示は、空間オーディオ符号化(spatial audio coding)に関する。 [0002] This disclosure relates to spatial audio coding.
[0003]サラウンドサウンドの発展は、今日のエンターテインメントのために多くの出力フォーマットを利用可能にした。市場におけるサラウンドサウンドフォーマットの範囲は、ポピュラーな5.1ホームシアターシステムフォーマットを含み、これは、ステレオ以上にリビングルームに進出しているという点で、最も成功したものである。このフォーマットは、次の6つのチャネルを含む:前方左(L)、前方右(R)、中央または前方中央(C)、後方左またはサラウンド左(Ls)、後方右またはサラウンド右(Rs)、および低周波数効果(LFE:low frequency effects)。サラウンドサウンドフォーマットの他の例は、例えば、超高精細度テレビジョン規格での使用のために、NHK(Nippon Hoso Kyokaiすなわち日本放送協会)よって開発された先進的な(futuristic)22.2フォーマットおよび発展中の7.1フォーマットを含む。サラウンドサウンドフォーマットにとっては、2次元および/または3次元でオーディオをエンコードすることが望ましくありうる。 [0003] The development of surround sound has made many output formats available for today's entertainment. The range of surround sound formats on the market includes the popular 5.1 home theater system format, which is the most successful in that it has entered the living room beyond stereo. This format includes the following six channels: Front Left (L), Front Right (R), Center or Front Center (C), Back Left or Surround Left (Ls), Back Right or Surround Right (Rs), And low frequency effects (LFE). Other examples of surround sound formats include, for example, the advanced 22.2 format developed by NHK (Nippon Hoso Kyokai or Nippon Broadcasting Corporation) for use in ultra-high definition television standards and Includes the developing 7.1 format. For surround sound formats, it may be desirable to encode audio in two and / or three dimensions.
[0004]一般的な構成による、複数の基底関数係数を処理する方法が説明される。複数の基底関数係数は、時間間隔の間の音場を記述する。この方法は、複数のチャネル信号を生成するために、複数の基底関数係数の第1のグループに対して可逆変換(reversible transform)を実行することを含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。この方法はまた、複数のチャネル信号に基づいて、(A)複数の基底関数係数の第2のグループの表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成することを含む。有形の特徴を読み取る機械にこのような方法を実行させる該特徴を有するコンピュータ可読記憶媒体(例えば、非一時的な媒体)がまた、開示される。 [0004] A method for processing a plurality of basis function coefficients according to a general configuration is described. The plurality of basis function coefficients describe the sound field during the time interval. The method includes performing a reversible transform on a first group of a plurality of basis function coefficients to generate a plurality of channel signals, where each of the plurality of channel signals is , Associated with the corresponding different spatial regions. The method is also based on a plurality of channel signals, (A) a representation of a second group of a plurality of basis function coefficients, wherein the second group is different from the first group, and (B) Generating a data structure including a plurality of channel signal representations separate from the second group representation. Also disclosed is a computer readable storage medium (eg, non-transitory media) having such features that causes a machine that reads tangible features to perform such methods.
[0005]一般的な構成による、複数の基底関数係数を処理するための装置が説明される。複数の基底関数係数は、時間間隔の間の音場を記述する。この装置は、複数のチャネル信号を生成するために、複数の基底関数係数の第1のグループに対して可逆変換を実行するための手段を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。この装置はまた、複数のチャネル信号に基づいて、(A)複数の基底関数係数の第2のグループの表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するための手段を含む。 [0005] An apparatus for processing a plurality of basis function coefficients according to a general configuration is described. The plurality of basis function coefficients describe the sound field during the time interval. The apparatus includes means for performing a reversible transform on the first group of the plurality of basis function coefficients to generate a plurality of channel signals, wherein each of the plurality of channel signals corresponds to Associated with different spatial regions. The apparatus also includes (A) a representation of a second group of a plurality of basis function coefficients based on a plurality of channel signals, wherein the second group is different from the first group, and (B) Means for generating a data structure comprising a representation of a plurality of channel signals separate from the representation of the second group.
[0006]別の一般的な構成による、複数の基底関数係数を処理するための装置が説明される。複数の基底関数係数は、時間間隔の間の音場を記述する。この装置は、複数のチャネル信号を生成するために、複数の基底関数係数の第1のグループに対して可逆変換を実行するように構成された計算器を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。この装置はまた、複数のチャネル信号に基づいて、(A)複数の基底関数係数の第2のグループの表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するように構成されたデータフォーマッタを含む。 [0006] An apparatus for processing a plurality of basis function coefficients according to another general configuration is described. The plurality of basis function coefficients describe the sound field during the time interval. The apparatus includes a calculator configured to perform a reversible transformation on a first group of a plurality of basis function coefficients to generate a plurality of channel signals, where Each is associated with a corresponding different spatial region. The apparatus also includes (A) a representation of a second group of a plurality of basis function coefficients based on a plurality of channel signals, wherein the second group is different from the first group, and (B) A data formatter configured to generate a data structure that includes a representation of a plurality of channel signals separate from the representation of the second group.
[0029]その文脈によって明確に限定されていない限り、「信号」という用語は、ここでは、ワイヤ、バス、または他の伝送媒体上で表される記憶場所(memory location)(または、記憶場所のセット)の状態を含む、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「発生する(generating)」という用語は、ここでは、計算する(computing)またはさもなければ生成する(producing)など、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「計算する(calculating)」という用語は、ここでは、複数の値から選択する、推定する、評価する、および/または計算する(computing)など、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「得る(obtaining)」という用語は、計算する、導出する、(例えば、外部デバイスから)受信する、および/または(例えば、記憶要素のアレイから)取り出すなど、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されていない限り、「選択する(selecting)」という用語は、2つ以上のセットのうちの、少なくとも1つ、およびすべてよりも少数を使用する、適用する、示す、および/または識別するなど、その通常の意味のいずれをも示すために使用される。「備える(comprising)」という用語は、本説明と特許請求の範囲とにおいて使用される場合、他の要素または動作を除外するものではない。「〜に基づく」(「AはBに基づく」など)という用語は、(i)「〜から導出される」(例えば、「BはAの前の形(precursor)である」)、(ii)「少なくとも〜に基づく」(例えば、「Aは少なくともBに基づく」)、および特定の文脈において適切な場合には、(iii)「〜に等しい」(例えば、「AはBに等しい」)という場合を含む、その通常の意味のいずれをも示すために使用される。同様に、「〜に応答して」という用語は、「少なくとも〜に応答して」を含む、その通常の意味のいずれをも示すために使用される。 [0029] Unless explicitly limited by its context, the term “signal” is used herein to refer to a memory location (or storage location) represented on a wire, bus, or other transmission medium. Used to indicate any of its usual meanings, including the state of (set). Unless explicitly limited by its context, the term “generating” here refers to any of its usual meanings, such as computing or otherwise producing. Used for. Unless explicitly limited by its context, the term “calculating” is used herein to refer to its normal, such as selecting, estimating, evaluating, and / or computing from multiple values. Used to indicate any of the meanings. Unless explicitly limited by its context, the term “obtaining” may be calculated, derived, received (eg, from an external device), and / or retrieved (eg, from an array of storage elements). Etc. to indicate any of its usual meanings. Unless expressly limited by its context, the term “selecting” uses, applies, indicates, and at least one, and less than all, of two or more sets. Used to indicate any of its usual meanings, such as / or identifying. The term “comprising”, when used in the present description and claims, does not exclude other elements or acts. The terms “based on” (such as “A is based on B”) are (i) “derived from” (eg, “B is the precursor of A”), (ii) ) “Based on at least” (eg, “A is based on at least B”), and (iii) “equal to” (eg, “A is equal to B”) if appropriate in the particular context. Is used to indicate any of its ordinary meanings. Similarly, the term “in response to” is used to indicate any of its ordinary meanings, including “in response to at least”.
[0030]マルチマイクロフォンオーディオ感知デバイスのマイクロフォンの「位置(location)」への参照は、文脈によって別段に示されていない限り、マイクロフォンの音響的に敏感な面の中心の位置を示す。「チャネル」という用語は、特定の文脈に応じて、ときには、信号経路を示すために使用され、またその他のときには、そのような経路によって搬送される信号を示すために使用される。別段に示されていない限り、「一連(series)」という用語は、2つ以上のアイテムのシーケンスを示すために使用される。「対数(logarithm)」という用語は、10を底とする対数を示すために使用されるが、他の底へのこのような演算の拡張は本開示の範囲内である。「周波数成分」という用語は、(例えば、高速フーリエ変換によって生成されるような)信号の周波数領域表現のサンプル、または信号のサブバンド(例えば、バーク尺度またはメル尺度のサブバンド)など、信号の周波数帯域または周波数のセットの中の1つを示すために使用される。 [0030] A reference to the microphone "location" of a multi-microphone audio sensing device indicates the location of the center of the acoustically sensitive surface of the microphone, unless otherwise indicated by context. The term “channel” is sometimes used to indicate signal paths, and at other times, to indicate signals carried by such paths, depending on the particular context. Unless otherwise indicated, the term “series” is used to indicate a sequence of two or more items. Although the term “logarithm” is used to indicate a logarithm with base 10, extension of such operations to other bases is within the scope of this disclosure. The term “frequency component” refers to a signal's frequency domain representation (eg, as generated by a fast Fourier transform), or a signal subband (eg, a Bark scale or Mel scale subband). Used to indicate one of a frequency band or set of frequencies.
[0031]別段に示されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する(その逆も同様)ように明確に意図され、また、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する(その逆も同様)ように明確に意図される。「構成」という用語は、その特定の文脈によって示されるように、方法、装置、および/またはシステムに関して使用されうる。「方法」、「プロセス」、「プロシージャ(procedure)」、および「技法(technique)」という用語は、特定の文脈によって別段に示されていない限り、一般的に、および交換可能に使用される。「装置」および「デバイス」という用語も、特定の文脈によって別段に示されていない限り、一般的に、および交換可能に使用される。「要素」および「モジュール」という用語は、一般に、より大きな構成の一部分を示すために使用される。その文脈によって明確に限定されていない限り、「システム」という用語は、ここでは、「共通の目的を果たすために相互作用する要素のグループ」を含む、その通常の意味のいずれをも示すために使用される。 [0031] Unless otherwise indicated, any disclosure of operation of a device having a particular feature is expressly intended to disclose a method having a similar feature (and vice versa) Any disclosure of the operation of a device according to a configuration is specifically intended to disclose a method according to a similar configuration (and vice versa). The term “configuration” may be used in reference to a method, apparatus, and / or system as indicated by its particular context. The terms “method”, “process”, “procedure”, and “technique” are used generically and interchangeably unless otherwise indicated by a particular context. The terms “apparatus” and “device” are also used generically and interchangeably unless otherwise indicated by a particular context. The terms “element” and “module” are generally used to indicate a portion of a larger configuration. Unless specifically limited by its context, the term “system” is used herein to indicate any of its ordinary meanings, including “a group of elements that interact to serve a common purpose”. used.
[0032]また、文書の一部分の参照によるいかなる組み込みも、その部分内で参照される用語または変数の定義が、その文書中の他の場所、ならびに組み込まれた部分中で参照される任意の図に現れた場合、そのような定義を組み込んでいることを理解されたい。最初に定冠詞によって前置き(introduced)されていない限り、請求項の要素を修飾するために使用される順序を表す用語(例えば、「第1の」、「第2の」、「第3の」など)は、それ自体では別のものに対する請求項の要素のいかなる優先度または順序も示すものではなく、むしろ、請求項の要素を、(順序を表す用語の使用以外では)同じ名称を有する別の請求項の要素から単に区別する。その文脈によって明確に限定されていない限り、「複数」および「セット」という用語の各々は、ここでは、1よりも大きい整数の量を示ために使用される。 [0032] In addition, any incorporation by reference to a portion of a document may include definitions of terms or variables referenced within that portion elsewhere in the document, as well as any figure referenced in the incorporated portion. It should be understood that such a definition is incorporated. Terms representing the order used to modify claim elements (eg, “first”, “second”, “third”, etc.) unless first introduced by a definite article ) By itself does not indicate any priority or order of the claim elements over another, but rather claims elements other than those having the same name (other than the use of order terms) Simply distinguish from the elements of the claims. Unless specifically limited by the context, each of the terms “plurality” and “set” is used herein to indicate an integer quantity greater than one.
[0033]消費者向けオーディオにおける当該技術分野の現状は、チャネルベースのサラウンドサウンドを使用する空間符号化であり、これは、前もって指定されたポジションにおけるラウドスピーカを通じて再生されるように意図される。空間オーディオ符号化に対する別のアプローチが、オブジェクトベースのオーディオであり、これは、(他の情報の中でも)空間におけるオブジェクトの位置座標を含む関連するメタデータを有する、単一オーディオのオブジェクトのための離散パルス符号変調(PCM:pulse-code-modulation)データを伴う。 [0033] The current state of the art in consumer audio is spatial encoding using channel-based surround sound, which is intended to be played through a loudspeaker in a pre-specified position. Another approach to spatial audio coding is object-based audio, which is for single audio objects that have associated metadata that includes the position coordinates of the object in space (among other information). Accompanying pulse-code-modulation (PCM) data.
[0034]空間オーディオ符号化に対する(例えば、サラウンドサウンド符号化に対する)更なるアプローチが、シーンベースのオーディオであり、これは、球面調和関数の基底関数の係数を使用して音場を表現することを伴う。このような係数はまた、「球面調和関数係数(spherical harmonic coefficients)」すなわちSHCと呼ばれる。図1Aは、シーンベースのアプローチによる、簡単なエンコーディングおよびデコーディングのプロセスを図示する。この例では、シーンベースのエンコーダ SE10は、SHCの記述を生成し、それは、送信され(および/または記憶され)、(例えば、SHレンダラ SR10による)レンダリングのためにSHCを受信するシーンベースのデコーダ SD10においてデコードされる。このようなエンコーディングは、(例えば、1つまたは複数のコードブックインデックスへの)量子化、誤り訂正符号化、冗長符号化などのような、帯域圧縮のための1つまたは複数のロッシー(lossy)またはロスレス(lossless)の符号化技法を含みうる。追加または代替として、このようなエンコーディングは、Bフォーマット、Gフォーマット、または高次アンビソニックス(HOA:Higher-order Ambisonics)などの、アンビソニックフォーマットにオーディオチャネル(例えば、マイクロフォン出力)をエンコードすることを含みうる。一般に、エンコーダ SE10は、(ロッシーまたはロスレスの符号化のいずれかについての)無関係性(irrelevancies)および/または係数の中の冗長性(redundancies)を利用する技法を使用して、SHCをエンコードしうる。 [0034] A further approach to spatial audio coding (eg, for surround sound coding) is scene-based audio, which represents the sound field using coefficients of spherical harmonic basis functions. Accompanied by. Such coefficients are also referred to as “spherical harmonic coefficients” or SHC. FIG. 1A illustrates a simple encoding and decoding process according to a scene-based approach. In this example, the scene-based encoder SE10 generates an SHC description that is transmitted (and / or stored) and receives the SHC for rendering (eg, by the SH renderer SR10). Decoded in SD10. Such encoding may include one or more lossy for band compression, such as quantization (e.g., into one or more codebook indexes), error correction coding, redundancy coding, etc. Or it may include lossless encoding techniques. Additionally or alternatively, such encoding may encode an audio channel (eg, microphone output) into an ambisonic format, such as a B format, G format, or higher-order ambisonics (HOA). May be included. In general, encoder SE10 may encode SHC using techniques that exploit irrelevancies (for either lossy or lossless encoding) and / or redundancy among coefficients. .
[0035]標準化されたビットストリームへの空間オーディオ情報のエンコーディングと、レンダラの位置における音響状態およびスピーカの幾何学的配置に不可知(agnostic)および適合可能な後続するデコーディングとを提供することが望ましくありうる。このようなアプローチは、再生(reproduction)のために最終的に使用される特定のセットアップにかかわらず、均一なリスニング(listening)体験の目標を提供しうる。図1Bは、MPEGコーデックを使用する、このような標準化についての一般的な構造を例示する。この例では、エンコーダ MP10への入力オーディオソースは、例えば、次のうちの任意の1つまたは複数を含みうる:チャネルベースのソース(例えば、1.0(モノフォニック)、2.0(ステレオフォニック)、5.1、7.1、11.1、22.2)、オブジェクトベースのソース、およびシーンベースのソース(例えば、高次球面調和関数、アンビソニックス)。同様に、デコーダ(およびレンダラ)MP20によって生成されるオーディオ出力は、例えば、次のうちの任意の1つまたは複数を含みうる:モノフォニック、ステレオフォニック、5.1、7.1、および/または22.2のラウドスピーカアレイ用のフィード、不規則に分散されたラウドスピーカアレイ用のフィード、ヘッドホン用のフィード、インタラクティブオーディオ。 [0035] Providing encoding of spatial audio information into a standardized bitstream and subsequent decoding that is agnostic and adaptable to the acoustic state and speaker geometry at the renderer location. It may be desirable. Such an approach can provide the goal of a uniform listening experience regardless of the particular setup that is ultimately used for reproduction. FIG. 1B illustrates the general structure for such standardization using an MPEG codec. In this example, input audio sources to encoder MP10 may include, for example, any one or more of the following: channel-based sources (eg, 1.0 (monophonic), 2.0 (stereophonic)) 5.1, 7.1, 11.1, 22.2), object-based sources, and scene-based sources (eg, higher order spherical harmonics, ambisonics). Similarly, the audio output generated by the decoder (and renderer) MP20 may include, for example, any one or more of the following: monophonic, stereophonic, 5.1, 7.1, and / or 22 .2 loudspeaker array feed, randomly distributed loudspeaker array feed, headphones feed, interactive audio.
[0036]また、オーディオマテリアルが、(例えば、コンテンツクリエータによって)1度作られ、その後、異なる出力およびラウドスピーカセットアップへデコードおよびレンダリングされうるフォーマットにエンコードされる、「1度作り、何度も使う(create-once, use-many)」という原理に従うことが望ましくありうる。例えば、ハリウッドスタジオのようなコンテンツクリエータは、通常、映画用のサウンドトラックを1度だけ作成するのが好ましく、可能なラウドスピーカ構成ごとにそれをリミックスする労力を費やしたくない。 [0036] Also, the audio material is created once (eg, by a content creator) and then encoded into a format that can be decoded and rendered to a different output and loudspeaker setup. It may be desirable to follow the principle of (create-once, use-many). For example, content creators such as Hollywood studios typically create a movie soundtrack only once and do not want to spend the effort remixing it for each possible loudspeaker configuration.
[0037]図1Bの標準化された例におけるMPEGエンコーダ MP10への入力は、オプションとして、チャネルベースのフォーマット、オブジェクトベースのフォーマット、およびシーンベースのフォーマットのうちの1つである。シーンベースのフォーマットを使用することの多数の利点が存在する。しかしながら、このようなフォーマットを使用することの1つの考えらえる欠点が、既存の消費者向けオーディオシステムに対する後方互換性の欠如である。SHCを使用した場合の後方互換性の欠如は、SHCがPCMデータではないという事実によるものである。(「レガシー」システムとも呼ばれる)新しいシーンベースのデコーダが欠如している既存の受信機は、このような信号をデコードすることができず、プログラムを再生することができない。本開示は、音場を表現するために係数の階層的なセット(例えば、SHC、またはその他の基底関数セットの係数)を使用する場合に、この後方互換性の欠如に対処するために使用されうる方法、システム、および装置を説明する。 [0037] The input to the MPEG encoder MP10 in the standardized example of FIG. 1B is optionally one of a channel-based format, an object-based format, and a scene-based format. There are a number of advantages of using a scene-based format. However, one possible disadvantage of using such a format is the lack of backward compatibility with existing consumer audio systems. The lack of backward compatibility when using SHC is due to the fact that SHC is not PCM data. Existing receivers that lack a new scene-based decoder (also referred to as a “legacy” system) cannot decode such signals and cannot play back programs. This disclosure is used to address this lack of backward compatibility when using a hierarchical set of coefficients (eg, SHC, or other basis set coefficients) to represent the sound field. A possible method, system and apparatus are described.
[0038]ここで説明されるアプローチは、音場のSHCベースの表現の使用における潜在的な欠点に対する解決策を提供する。この解決策なしでは、SHCベースの表現は、何百万もの既存のレガシー再生システムで機能性を有することができないことにより課せられる著しい欠点により、展開するのが困難である。 [0038] The approach described here provides a solution to potential shortcomings in the use of SHC-based representations of sound fields. Without this solution, SHC-based representations are difficult to deploy due to significant drawbacks imposed by the inability to have functionality in millions of existing legacy playback systems.
[0039]レガシーモノフォニック再生システムが互換性を保持することが必要であったので、後方互換性は、ステレオフォニックフォーマットが最初に導入されたときでさえも懸念であった。このケースでは、モノラル−ステレオの後方互換性は、マトリクス化を使用して保持された。ステレオ「M−ミドル(middle)」および「S−サイド(Side)」フォーマットは、Mチャネルのみを使用することによって、モノラル対応のシステムとの互換性を保持することができる。図1Cに示されるように、ステレオ対応のシステムは、「L−左」および「R−右」のチャネルをデコードするために、単純な2×2マトリクス演算を実行する。 [0039] Backward compatibility was a concern even when the stereophonic format was first introduced, as it was necessary for legacy monophonic playback systems to retain compatibility. In this case, mono-stereo backward compatibility was preserved using matrixing. Stereo “M-middle” and “S-Side” formats can maintain compatibility with monaural systems by using only M channels. As shown in FIG. 1C, a stereo enabled system performs a simple 2 × 2 matrix operation to decode the “L-Left” and “R-Right” channels.
[0040]M−S信号は、(同一になっている(happens to be))上記マトリクスの逆のものを使用することによって、L−R信号から計算されうる。このように、レガシーモノフォニックプレーヤは、機能性を保持し、一方、ステレオフォニックプレーヤは、左および右のチャネルを正確にデコードしうる。同様の方法で、モノフォニックプレーヤおよびステレオフォニックプレーヤの機能性を保存して、3−チャネルプレーヤの機能性を追加する、後方互換性を保持する第3のチャネルが追加されうる。 [0040] The MS signal can be calculated from the LR signal by using the inverse of the matrix (happens to be). In this way, legacy monophonic players retain functionality, while stereophonic players can accurately decode the left and right channels. In a similar manner, a third channel with backward compatibility can be added that preserves monophonic and stereophonic player functionality and adds 3-channel player functionality.
[0041]追加のチャネルを含むための、従来の5.1チャネルベースのマトリクス化されたオーディオアプローチの拡張は、拡張されたチャネルフォーマットのサブセットとして5.1サンプルを含むことによって、後方互換性の問題を回避しうる。例えば、ほとんどの既存の消費者向けオーディオシステムは、5.1−チャネル入力を受け入れる。後方互換性のある拡張されたビットストリームでは、5.1サンプルは、レガシーシステムによって認識された位置にあり、余分のチャネルは、例えば、すべてのチャネルサンプルを含むフレームパケットの拡張された部分に位置する。このようなアプローチの別の例が、ドルビーデジタルプラスビットストリーム(ドルビーラボラトリーズ、Inc.、サンフランシスコ、CA)であり、これは、5.1ミックスを有するコアパケットと、7.1ミックスの4つのサラウンドチャネルを有する拡張パケットとを含む。代替として、デコーダは、より高い数のチャネルに対してマトリクス化動作を実行することによって、5.1チャネルデータを決定するように構成されうる。 [0041] An extension of the traditional 5.1 channel-based matrixed audio approach to include additional channels is backward compatible by including 5.1 samples as a subset of the extended channel format. The problem can be avoided. For example, most existing consumer audio systems accept 5.1-channel input. In the backward compatible extended bitstream, 5.1 samples are in the position recognized by the legacy system, and the extra channel is, for example, located in the extended part of the frame packet containing all channel samples. To do. Another example of such an approach is Dolby Digital Plus Bitstream (Dolby Laboratories, Inc., San Francisco, CA), which has a core packet with 5.1 mix and four surrounds with 7.1 mix. And an extension packet having a channel. Alternatively, the decoder can be configured to determine 5.1 channel data by performing a matrixing operation on a higher number of channels.
[0042]オブジェクトベースのフォーマットにおける後方互換性の問題に対処するための1つの提案されるアプローチが、オブジェクトとともに、ダウンミックスされた5.1チャネル信号を送ることである。このようなシナリオでは、レガシーチャネルベースのシステムは、ダウンミックスされた5.1チャネルベースのオーディオを再生するであろう一方で、より高度なレンダラは、音場をレンダリングするために、5.1オーディオと個々のオーディオオブジェクトの組み合わせ、または個々のオブジェクトのみのいずれかを使用するであろう。不都合なことに、後方互換性に対するこのようなアプローチは、2つの異なるフォーマットで同じオーディオ情報を送ることによって、帯域幅を非効率的に使用しうる。 [0042] One proposed approach to address the backward compatibility problem in object-based formats is to send a downmixed 5.1 channel signal along with the object. In such a scenario, a legacy channel-based system will play downmixed 5.1 channel-based audio, while a more advanced renderer will use 5.1 to render the sound field. Either a combination of audio and individual audio objects, or only individual objects will be used. Unfortunately, such an approach to backward compatibility can use bandwidth inefficiently by sending the same audio information in two different formats.
[0043]本開示は、音場を記述する要素の階層的なセット(例えば、SHCのセット)の2つの部分が異なって処理されるシステム、方法、および装置の説明を含む。このアプローチでは、要素のサブセットは、マルチチャネルオーディオ信号のセットを得るために、(例えば、以下に詳しく述べる変換マトリクスを使用して)変換される。このようなアプローチは、階層的なセットのサブセット(「基本セット(basic set)」)を、従来のマルチチャネルオーディオフォーマットとの互換性があるオーディオの複数のチャネルに変換するために使用されうる。このようなアプローチはまた、後方互換性を維持するために、任意の所望の数のチャネルを得るように構成されうる。このような後方互換性のあるシステムの態様の例は、エンコーダとデコーダの両方の構造についての説明とともに、図2A、図2B、および図3Aのシステム図において要約される。 [0043] This disclosure includes descriptions of systems, methods, and apparatus in which two parts of a hierarchical set of elements describing a sound field (eg, a set of SHC) are processed differently. In this approach, a subset of the elements is transformed (eg, using a transformation matrix detailed below) to obtain a set of multi-channel audio signals. Such an approach can be used to convert a hierarchical subset of a set ("basic set") into multiple channels of audio that are compatible with conventional multi-channel audio formats. Such an approach can also be configured to obtain any desired number of channels in order to maintain backward compatibility. Examples of such backward compatible system aspects are summarized in the system diagrams of FIGS. 2A, 2B, and 3A, with descriptions of both encoder and decoder structures.
[0044]図2Aは、このようなエンコーディングアプローチの一般的な例を示す。1つの特定の使用は、(さもなければ、後方互換性が問題でない場合に使用されうる)SHCの完全なセットの基本セットを、(例えば、変換マトリクス TM10および再エンコーダ/トランスコーダ TC10によって生成されるような)従来のマルチチャネルオーディオフォーマットを表す複数のチャネルに変換することである。SHCのセットの残り(例えば、サブセットの一部でない係数)は、変換されない拡張されたセットとみなされ、(例えば、ここで説明され、この例ではビットストリームマルチプレクサ MX10によって生成されるような、パケットまたはビットストリームにおいて)後方互換性のあるマルチチャネルオーディオエンコードされた信号と平行して(alongside)、記憶のために、および/または、送信チャネル(例えば、ワイヤードおよび/またはワイヤレスチャネル)を介した送信のために、(例えば、帯域圧縮のために、シーンベースのエンコーダ SE10の実装 SE20によって)別々にエンコードされうる。例えば、これらのエンコードされたビットは、フレームのためのビットストリームの拡張された部分またはパケットの拡張された部分(例えば、ユーザ定義の部分)にパックされうる。 [0044] FIG. 2A shows a general example of such an encoding approach. One particular use is to generate a basic set of complete sets of SHC (which can be used if backward compatibility is not an issue otherwise) (eg, generated by transform matrix TM10 and re-encoder / transcoder TC10). Conversion to multiple channels representing a conventional multi-channel audio format. The rest of the set of SHCs (eg, coefficients that are not part of the subset) are considered an extended set that is not transformed, and packets (eg, as described herein and generated in this example by the bitstream multiplexer MX10) (Or in a bitstream) alongside a backward compatible multi-channel audio encoded signal, for storage and / or transmission over a transmission channel (eg, wired and / or wireless channel) Can be encoded separately (eg, by band-compression, implementation of scene-based encoder SE10 SE20). For example, these encoded bits can be packed into an extended portion of the bitstream for the frame or an extended portion of the packet (eg, a user-defined portion).
[0045]受信側において、ビットストリームは、(例えば、デマルチプレクサ DX10によって)逆多重化され、従来のデコーダ(例えば、レガシーデコーダ LD10)のみをサポートするレガシーシステムは、後方互換性のあるマルチチャネルオーディオコンテンツのみを使用し、したがって、機能性を保持し、図2Bに示されるように、フレームのパケットまたはビットストリームの拡張された部分を無視する。 [0045] On the receiving side, the bitstream is demultiplexed (eg, by demultiplexer DX10), and legacy systems that support only conventional decoders (eg, legacy decoder LD10) are backward compatible multi-channel audio. Uses only the content, thus retaining functionality and ignoring the extended portion of the packet or bitstream of the frame, as shown in FIG. 2B.
[0046]シーンベースのデコーディングをサポートする受信機が、図3Aに示される一般的な例に従って、デコーディングプロセスを実行することができ、これは、図2Aに示されたようなエンコーディングアプローチの逆(reciprocal)である。チャネルが再エンコードまたはトランスコードされている場合、デコーディングの中間ステップが実行されうる。例えば、トランス−デコーダ TC20は、後方互換性のあるビットストリームを、マルチチャネルオーディオ信号に変換するために使用されうる。その後、逆変換マトリクス IM10は、マルチチャネルオーディオ信号を、階層的なセットの元のサブセット(例えば、SHCの基本セット)に変換するために使用される。階層的なセットの残り(例えば、SHCの拡張されたセット)は、(例えば、パケットまたはビットストリームの拡張された部分から)シーンベースのデコーダ SD10の実装 SD20によって復元される。このように、完全な階層的なセット(例えば、SHCの完全なセット)は、復元されて、様々なタイプの音場レンダリングが行われることを可能にするために、SHレンダラ SR10によって処理されうる。 [0046] A receiver that supports scene-based decoding may perform a decoding process according to the general example shown in FIG. 3A, which is an encoding approach as shown in FIG. 2A. The reverse (reciprocal). If the channel is re-encoded or transcoded, an intermediate step of decoding may be performed. For example, the trans-decoder TC20 can be used to convert a backward compatible bitstream into a multi-channel audio signal. The inverse transformation matrix IM10 is then used to transform the multi-channel audio signal into the original subset of the hierarchical set (eg, the basic set of SHC). The rest of the hierarchical set (eg, the extended set of SHC) is recovered by the implementation SD20 of the scene-based decoder SD10 (eg, from the extended portion of the packet or bitstream). In this way, a complete hierarchical set (eg, a complete set of SHC) can be reconstructed and processed by the SH renderer SR10 to allow various types of sound field rendering to occur. .
[0047]音場を表現するためにSHCのセットを使用することは、音場を表現するために要素の階層的なセットを使用する一般的なアプローチの特定の例である。SHCのセットのような、要素の階層的なセットは、低次要素(lower-ordered elements)の基本セットが、モデル化された音場の完全な表現を提供するように、要素が順序付けられた(ordered)セットである。セットが高次要素を含むように拡張されるにつれて、空間における音場の表現は、より詳細になる。 [0047] Using a set of SHC to represent a sound field is a specific example of a general approach that uses a hierarchical set of elements to represent a sound field. Hierarchical sets of elements, such as SHC sets, are ordered elements so that the basic set of lower-ordered elements provides a complete representation of the modeled sound field. (Ordered) set. As the set is expanded to include higher order elements, the representation of the sound field in space becomes more detailed.
[0048](例えば、図3Aに示されるような)ソースSHCは、シーンベース対応の(scene-based-capable)録音スタジオでミキシング技師によってミックスされたようなソース信号でありうる。ソースSHCはまた、マイクロフォンアレイによって捕えられた信号から、またはラウドスピーカのサラウンドアレイによる音波表現(sonic presentation)の録音から生成されうる。SHCのソースセットへのPCMストリームおよび関連する位置情報(例えば、オーディオオブジェクト)の変換もまた、企図される。 [0048] The source SHC (eg, as shown in FIG. 3A) may be a source signal as mixed by a mixing engineer in a scene-based-capable recording studio. The source SHC can also be generated from a signal captured by a microphone array or from a sonic presentation recording by a surround array of loudspeakers. Conversion of PCM streams and associated location information (eg, audio objects) to SHC source sets is also contemplated.
[0049]音場は、以下のような式を使用して、SHCに関して表現されうる:
この式は、音場の任意の点{rr,θr,φr}における圧力piが、
によって一意的に表されうることを示す。ここで、波数k=ω/cであり、cは、音速(約343m/s)であり、{rr,θr,φr}は、基準点(または観測点)であり、jn(・)は、次数nの球ベッセル関数であり、
は、次数nおよび下位次数(suborder)mの球面調和関数の基底関数である(SHCのいくつかの記述は、nを(すなわち、対応するルジャンドル多項式の)ディグリー(degree)およびmを次数と呼ぶ(label))。角括弧内の項は、離散フーリエ変換(DFT)、離散コサイン変換(DCT)、またはウェーブレット変換などの、様々な時間周波数変換によって近似されうる信号(すなわち、S(ω、rr,θr,φr))の周波数領域表現であることが認識されうる。 Are basis functions of spherical harmonics of order n and suborder m (some descriptions of SHC refer to degree (ie, of the corresponding Legendre polynomial) degree and m as order) (Label)). The terms in square brackets are signals (ie S (ω, r r , θ r , It can be recognized that this is a frequency domain representation of φ r )).
[0050]図4は、次数0および1の球面調和関数の基底関数の大きさの表面メッシュプロットの例を示す。関数
の大きさは、球状および全方向性(omnidirectional)である。関数
は、それぞれ+yおよび−yの方向に広がる、正および負の球状ローブを有する。関数
は、それぞれ+zおよび−zの方向に広がる、正および負の球状ローブを有する。関数
は、それぞれ+xおよび−xの方向に広がる、正および負の球状ローブを有する。 Has positive and negative spherical lobes extending in the + x and -x directions, respectively.
[0051]図5は、次数2の球面調和関数の基底関数の大きさの表面メッシュプロットの例を示す。関数
は、x−y平面に広がるローブを有する。関数
は、y−z平面に広がるローブを有し、関数
は、x−z平面に広がるローブを有する。関数
は、+zおよび−zの方向に広がる正ローブと、x−y平面に広がるドーナツ形の(toroidal)負ローブとを有する。 Has a positive lobe extending in the + z and -z directions and a toroidal negative lobe extending in the xy plane.
[0052]セットにおけるSHCの総数は、様々な要因に依存しうる。シーンベースのオーディオの場合、例えば、SHCの総数は、録音アレイにおけるマイクロフォントランスデューサの数によって制約されうる。チャネルベースおよびオブジェクトベースのオーディオの場合、SHCの総数は、利用可能な帯域幅によって決定されうる。1つの例では、各周波数について25個の係数を伴う4次の表現(すなわち、0≦n≦4,−n≦m≦+n)が使用される。ここで説明されるアプローチで使用されうる階層的なセットの他の例は、ウェーブレット変換係数のセットおよび多重解像度の基底関数(multiresolution basis functions)の係数の他のセットを含む。 [0052] The total number of SHC in the set may depend on various factors. For scene-based audio, for example, the total number of SHC can be constrained by the number of microphone transducers in the recording array. For channel-based and object-based audio, the total number of SHCs can be determined by the available bandwidth. In one example, a fourth-order representation with 25 coefficients for each frequency (ie, 0 ≦ n ≦ 4, −n ≦ m ≦ + n) is used. Other examples of hierarchical sets that can be used in the approaches described herein include sets of wavelet transform coefficients and other sets of coefficients of multiresolution basis functions.
[0053]
は、4面体または球状のマイクロフォンアレイなどの、任意の様々なマイクロフォンアレイ構成を使用して物理的に捕捉された(例えば、記録された)信号から導出されうる。この形式の入力は、提案されたエンコーダへのシーンベースのオーディオ入力を表す。限定されない例では、SHCエンコーダへの入力は、アイゲンマイク(Eigenmike)(登録商標)(mhアコースティックス LLC、サンフランシスコ、CA)のような、マイクロフォンアレイの異なる出力チャネルであると仮定される。アイゲンマイク(登録商標)アレイの1つの例が、em32アレイであり、これは、i=1から32の出力信号pi(t)の各々が、マイクロフォンiによって時間サンプルtにおいて記録された圧力であるように、直径8.4センチメートルの球体の表面上に配置された32個のマイクロフォンを含む。代替として、
は、音場のチャネルベースまたはオブジェクトベースの記述から導出されうる。例えば、個々のオーディオオブジェクトに対応する音場についての係数
は、
として表されることができ、ここで、iは、√−1であり、
は、次数nの(第2種の)球ハンケル関数であり、{rs,θs,φs}は、オブジェクトの位置であり、g(ω)は、周波数の関数としてのソースエネルギである。 Is a sphere Hankel function of order n (second kind), {r s , θ s , φ s } is the position of the object, and g (ω) is the source energy as a function of frequency. .
[0054]周波数の関数としてのソースエネルギg(ω)を知ることは、我々に、各PCMオブジェクトとその位置を、
に変換することを与える。このソースエネルギは、例えば、PCMストリームに対して高速フーリエ変換(例えば、256−、512−、または1024−点FFT)を実行することによってなど、時間周波数解析技法を使用して得られうる。さらに、(上記は、線形および直交の分解なので)各オブジェクトについての
係数は、加法的(additive)であることが示されうる。このように、多数のPCMオブジェクトが、(例えば、個々のオブジェクトについての係数ベクトルの合計として)
係数によって表されうる。本質的に、これらの係数は、音場についての情報(3D座標の関数としての圧力)を含み、上記は、観測点{rr,θr,φr}の近接における、個々のオブジェクトから音場全体の表現への変換を表す。 It can be represented by a coefficient. In essence, these coefficients contain information about the sound field (pressure as a function of 3D coordinates), which includes sound from individual objects in the proximity of observation points {r r , θ r , φ r }. Represents the conversion of the entire field into a representation.
[0055]当業者であれば、動径成分(radial component)を含まない表現などの、式(2)に示された表現以外の係数
(または、同等に、対応する時間領域の係数
)の表現を認識するであろう。当業者であれば、(例えば、実数、複素数、正規化(例えば、N3D)、半正規化(例えば、SN3D)、ファース・モーム(Furse-Malham)(FuMaまたはFMH)などの)球面調和関数の基底関数のいくつかの少し異なる定義が知られていること、および、その結果として、式(1)(すなわち、音場の球面調和関数分解)および式(2)(すなわち、点源(point source)によって生成された音場の球面調和関数分解)は、少し異なった形態で本書に現れうることを認識するであろう。本説明は、球面調和関数の基底関数の任意の特定の形態に限定されず、実際に、要素の他の階層的なセットにも同様に、一般的に適用可能である。 ) Will be recognized. A person skilled in the art will know the spherical harmonics (such as real, complex, normalization (eg N3D), semi-normalization (eg SN3D), Furse-Malham (FuMa or FMH) etc.) Several slightly different definitions of basis functions are known, and as a result, Equation (1) (ie, spherical harmonic decomposition of the sound field) and Equation (2) (ie, point source It will be appreciated that the spherical harmonic decomposition of the sound field generated by) can appear in this document in a slightly different form. This description is not limited to any particular form of spherical harmonic basis functions, and in fact is generally applicable to other hierarchical sets of elements as well.
[0056]図3Bは、時間間隔の間の音場を記述する複数の基底関数係数を処理するための方法 M100のフローチャートを示す。方法 M100は、タスク T100およびタスク T200を含む。タスク T100は、複数のチャネル信号を生成するために、複数の基底関数係数の第1のグループ(「基本セット」)に対して可逆変換を実行し、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。複数のチャネル信号に基づいて、タスク T200は、(A)複数の基底関数係数の第2のグループ(「拡張されたセット」)の表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成する。 [0056] FIG. 3B shows a flowchart of a method M100 for processing a plurality of basis function coefficients describing a sound field during a time interval. Method M100 includes task T100 and task T200. Task T100 performs a reversible transformation on a first group of basis function coefficients (a “basic set”) to generate a plurality of channel signals, where each of the plurality of channel signals is Associated with a corresponding different spatial region. Based on the plurality of channel signals, task T200 includes (A) a representation of a second group (“extended set”) of a plurality of basis function coefficients, wherein the second group is a first group. Unlike (B), a data structure is generated that includes a representation of a plurality of channel signals that is different from the representation of the second group.
[0057]方法 M100の実装の設計は、マルチチャネルオーディオに(例えば、従来のフォーマットに)変換される元の階層的なセットのサブセット(すなわち、基本セット)を選択することを含みうる。このようなアプローチが少なくとも従来の5.1サラウンド/ホームシアター能力との互換性を維持するために実装されるであろうことが予期されうる。5.1フォーマットの場合、マルチチャネルオーディオチャネルは、前方左(L)、中央(C)、前方右(R)、左サラウンド(Ls)、右サラウンド(Rs)、および低周波数効果(LFE)である。7.1フォーマットは、左後方(Lb)および右後方(Rb)のチャネルを追加する。以下の説明では、5.1フォーマットは、典型的なターゲットマルチチャネルオーディオフォーマットとして使用され、実例的なアプローチが詳しく述べられる。同じ手法が他のマルチチャネルオーディオフォーマット(例えば、7.1、22.2など)に汎用化されうることが、企図され、ここに開示される。 [0057] Design of an implementation of M100 may include selecting a subset (ie, a base set) of an original hierarchical set that is converted to multi-channel audio (eg, to a conventional format). It can be expected that such an approach would be implemented to maintain compatibility with at least the conventional 5.1 surround / home theater capability. In the 5.1 format, multi-channel audio channels are forward left (L), center (C), front right (R), left surround (Ls), right surround (Rs), and low frequency effects (LFE). is there. The 7.1 format adds left rear (Lb) and right rear (Rb) channels. In the following description, the 5.1 format is used as a typical target multi-channel audio format and an illustrative approach is detailed. It is contemplated and disclosed herein that the same approach can be generalized to other multi-channel audio formats (eg, 7.1, 22.2, etc.).
[0058]基本セットを選択するための様々なアプローチが可能である。5.1フォーマットでは、(特定の位置からの全帯域オーディオに対応する)5つの信号が利用可能であるので(これに加えて、LFE信号−これは、標準化された位置を持たず、これら5つのチャネルをローパスフィルタリングすることによって決定されうる)、1つのアプローチは、5.1フォーマットに変換するために、SHCのうちの5つを使用することである。さらに、対応する基底関数の空間的オリエンテーションに従って基本セットを選択することが望ましくありうる。5.1フォーマットは、2Dレンダリングのみ可能であるので、例えば、基本セットが、何らかの水平情報を搬送するSHCのみを含むことが望ましくありうる。言い換えれば、そのエネルギが、(例えば、x−y平面のような)ラウドスピーカ位置を含む平面内の少なくとも1つの方向に沿って集中された基底関数に対応するSHCを選択することが望ましくありうる。図4に見られるように、係数
は、例えば、水平指向性についてのごくわずかの情報を搬送し、したがって、このサブセットから除外されうる。
実数部分または虚数部分のいずれかについても同じことが当てはまる(例えば、
として図5に示される基底関数を参照)。基本セットのために選択される特定の係数は、例えば、実装において選ばれる球面調和関数の基底関数の定義に依存して変化しうる(本書においては、様々な定義が存在する:実数、虚数、複素数、または組み合わせ)。 As the basis function shown in FIG. The particular coefficients selected for the basic set can vary depending on, for example, the definition of the spherical harmonic basis function chosen in the implementation (in this document, there are various definitions: real, imaginary, Complex, or combination).
[0059]このように、5つの
係数が、変換のために選ばれうる。係数
は、全方向性の情報を搬送するので、この係数を常に使用することが望ましくありうる。同様に、それらが著しい水平指向性の情報を搬送するので、
の実数部分および
の虚数部分を含むことが望ましくありうる。最後に残った2つの係数については、可能な候補は、
の実数および虚数の部分を含む。様々な他の組み合わせもまた、可能である。例えば、基本セットは、
と、
の実数部分と、
の虚数部分との3つの係数のみを含むように選択されうる。基本セットについては、以下に説明されるように、望まれたチャネルの数、そしてまた、変換マトリクスに対する可逆性の制約に依存して、より多くまたはより少ない係数を含むことが可能である。 Can be selected to include only three coefficients with the imaginary part of. For the basic set, as will be explained below, more or fewer coefficients may be included depending on the number of channels desired and also depending on the reversibility constraints on the transformation matrix.
[0060]ここで説明されるような、5.1と互換性のあるシステムのための設計の詳細は、異なるターゲットフォーマットのために適宜調整されうる。例として、7.1システムについての互換性を可能にするために、2つの余分のオーディオコンテンツチャネルが互換性要件に追加され、結果として生じる変換マトリクスが正方であり、したがって可逆になるように、さらに2つのSHCが基本セットに追加されうる。7.1システム(例えば、ドルビーTrueHD)のための大多数のラウドスピーカ配置が依然として水平面上にあるので、SHCの選択は、依然として高さ情報を有するものを除外しうる。このように、水平面信号レンダリングは、レンダリングシステムにおける追加されたラウドスピーカチャネルから利益を得るであろう。高さのダイバーシティを有するラウドスピーカを含むシステム(例えば、9.1、11.1および22.2システム)では、高さ情報を有するSHCを基本セットに含むことが望ましくありうる。 [0060] The design details for a 5.1 compatible system, as described herein, may be adjusted accordingly for different target formats. As an example, in order to allow compatibility for 7.1 systems, two extra audio content channels are added to the compatibility requirement, so that the resulting transformation matrix is square and therefore reversible: Two more SHCs can be added to the basic set. Since the majority of loudspeaker arrangements for 7.1 systems (eg, Dolby TrueHD) are still on the horizontal plane, the selection of SHC may exclude those that still have height information. Thus, horizontal plane signal rendering will benefit from the added loudspeaker channel in the rendering system. In systems that include loudspeakers with height diversity (eg, 9.1, 11.1, and 22.2 systems), it may be desirable to include SHC with height information in the basic set.
[0061]我々は、マルチチャネルに対する一般論を述べたが、一方で、現在の市場における重点は、5.1チャネルに関するものであり、これは、それがセットトップボックスのようなレガシー消費者向けオーディオシステムの機能性を保証するための「最小公分母(least common denominator)」であるからである。ステレオおよびモノラルのようなより低い数のチャネルについては、多くの先行技術における既存の5.1解決策が、コンテンツ情報を維持するためにダウンミックスをカバーするのに十分であろう。これらのケース(すなわち、1.0および2.0)は、自明であると考えられ、本開示においてさらに説明されることはない。 [0061] While we have described the general theory for multi-channel, the current market focus is on 5.1 channel, which is for legacy consumers like set-top boxes This is because it is a “least common denominator” to guarantee the functionality of the audio system. For lower numbers of channels such as stereo and mono, the existing 5.1 solution in many prior arts will be sufficient to cover the downmix to maintain content information. These cases (ie, 1.0 and 2.0) are considered self-explanatory and are not further described in this disclosure.
[0062]発生しうる別の問題は、(例えば、SHCの)基本セットからマルチチャネルオーディオへ、そして基本セットに戻すまでの、順方向および逆方向の変換において、どれだけの誤りが生成されるかである。タスク T100は、各々が対応する異なる空間領域(例えば、対応する異なるラウドスピーカ位置)と関連づけられる複数のチャネル信号を生成するために、複数の基底関数係数の基本セットに対して可逆変換を実行する。SHCの基本セット(例えば、上述されたように選択された5つの係数)を、5.1フォーマットにおける5つの全帯域オーディオ信号に変換するために可逆マトリクスを適用するために、タスク T100を実装することが望ましくありうる。可逆性に対する要望は、分解能の損失が無いか少ない状態で、5つの全帯域オーディオ信号をSHCの基本セットに戻す変換を可能にすることである。 [0062] Another problem that may arise is how much error is generated in forward and reverse conversions from basic set (eg, SHC) to multi-channel audio and back to basic set. It is. Task T100 performs a reversible transformation on a basic set of basis function coefficients to generate a plurality of channel signals each associated with a corresponding different spatial region (eg, a corresponding different loudspeaker position). . Implement task T100 to apply a reversible matrix to convert a basic set of SHC (eg, five coefficients selected as described above) into five full-band audio signals in 5.1 format It may be desirable. The desire for reversibility is to allow conversion of five full-band audio signals back to the basic set of SHC with little or no loss of resolution.
[0063]この変換マトリクス(例えば、図2Aに示されるようなマトリクス TM10)を決定するための1つの可能な方法が、「モード整合」として知られる動作である。したがって、ラウドスピーカフィードは、各ラウドスピーカが球面波を生成すると仮定することによって計算される。このようなシナリオでは、
番目のスピーカによる、ある特定のポジションr,θ,φにおける(周波数の関数として)圧力は、
によって与えられ、ここで、{rl,θl,φl}は、
番目のラウドスピーカのポジションを表し、gl(ω)は、(周波数領域における)
番目のスピーカのラウドスピーカフィードである。5つすべてのスピーカによる全圧力Ptは、したがって、
によって与えられる。 Given by.
[0064]我々はまた、5つのSHCに関しての全圧力は、式
によって与えられることを知っている。 Know that is given by.
[0065]上記2つの式を等しいと定義することは、以下のように、SHCに関してのラウドスピーカフィードを表すために、変換マトリクスを使用することを我々に可能にする。
[0066]この式は、5つのラウドスピーカフィードと選択されたSHCとの間に直接的な関係があることを示す。変換マトリクスは、例えば、サブセット(例えば、基本セット)においてどの係数が使用されたか、および球面調和関数の基底関数のどの定義が使用されたかに依存して変化しうる。同様の方法で、選択された基本セットから異なるチャネルフォーマット(例えば、7.1、22.2)に変換するための変換マトリクスが構築されうる。上記変換マトリクスが「モード整合」基準から導出された一方で、代替の変換マトリクスが、圧力整合、エネルギ整合などのような、他の基準からも導出されうる。 [0066] This equation shows that there is a direct relationship between the five loudspeaker feeds and the selected SHC. The transformation matrix may vary depending on, for example, which coefficients were used in the subset (eg, the basic set) and which definition of the spherical harmonic basis functions was used. In a similar manner, a conversion matrix can be constructed for converting from a selected basic set to a different channel format (eg, 7.1, 22.2). While the conversion matrix has been derived from “mode matching” criteria, alternative conversion matrices can also be derived from other criteria, such as pressure matching, energy matching, and the like.
[0067]上記式での変換マトリクスが、ラウドスピーカフィードからSHCへの変換を可能にする一方で、我々はまた、SHCから始まり、我々が5つのチャネルフィードを算出(work out)することができ、そしてその後、デコーダにおいて、(高度な(すなわち、レガシーでない)レンダラが存在する場合)我々がオプションとしてSHCに変換し戻すことができるように、マトリクスが可逆であることが好ましい。例えば、変換マトリクスについては、整数入力に応答して整数出力を生成することが望ましくありうる。マトリクスの可逆性を保証するために上記フレームワークを操作する様々な方法が、利用されうる。これらは、それに限定されるものではないが、正則化技法(例えば、周波数に依存する正則化)およびしばしばフルランクおよび明確に定義された固有値を保証するように働く様々な他のマトリクス操作技術などの、数学的技法を含む。 [0067] While the transformation matrix in the above equation allows a loudspeaker feed to SHC conversion, we can also start with SHC and we can work out 5 channel feeds. And then in the decoder it is preferred that the matrix is reversible so that we can optionally convert back to SHC (if there is an advanced (ie non-legacy) renderer). For example, for a transformation matrix, it may be desirable to generate an integer output in response to an integer input. Various ways of manipulating the framework to ensure the reversibility of the matrix can be used. These include, but are not limited to, regularization techniques (eg, frequency dependent regularization) and various other matrix manipulation techniques that often work to ensure full rank and well-defined eigenvalues, etc. Including mathematical techniques.
[0068]可逆性を保証するための技法はまた、それに限定されるものではないが、1つまたは複数のラウドスピーカのポジションを変化させることを含む。このような技法は、例えば、5.1システムの5つのラウドスピーカのうちの1つまたは複数のポジションを、それらが依然として(例えば、ITU−R BS.775−1勧告、国際電気通信連合、ジェノバ、CH、によって指定されるような)指定された角度公差に従うように、調整することを含みうる。図6は、使用されうる5.1システムのためのラウドスピーカ角度の規格準拠の例を示すT−設計に従うもののような、トランスデューサの標準間隔は、典型的に行儀のよい(well behaved)ものである。 [0068] Techniques for ensuring reversibility also include, but are not limited to, changing the position of one or more loudspeakers. Such a technique can, for example, position one or more of the five loudspeakers of a 5.1 system so that they are still (eg ITU-R BS.775-1 recommendation, International Telecommunication Union, Genoa , CH, so as to follow a specified angular tolerance (as specified by CH). FIG. 6 shows that the standard spacing of transducers is typically well behaved, such as that according to a T-design showing a loudspeaker angle standard compliant example for a 5.1 system that can be used. is there.
[0069]代替として、タスク T100は、基本セットを平面において等間隔を置かれたラウドスピーカ角度に対応するチャネル信号のセットに変換する変換マトリクスを適用するために実装されうる。可逆性は、このような変換マトリクスについて典型的に保証される。図7は、5.1ターゲットシステムのためのラウドスピーカ角度のこのような配置の例を示す。このような等間隔を置かれた配置は、5.1規格と厳密には準拠していない可能性もあるが、それは、依然としてラウドスピーカフィードの適切な後方互換性のあるセットを提供し、また、係数の基本セットを復元するための可逆変換マトリクスを得る確実な方法を提供する。タスク T100の7−チャネルの実装について、図8および図9は、それぞれ、7.1システムのためのラウドスピーカ角度の規格準拠のセット、および平面において等間隔を置かれたラウドスピーカ角度の対応するセットの類似した例を示す。 [0069] Alternatively, task T100 may be implemented to apply a transformation matrix that transforms the base set into a set of channel signals corresponding to equally spaced loudspeaker angles in the plane. Reversibility is typically guaranteed for such a transformation matrix. FIG. 7 shows an example of such an arrangement of loudspeaker angles for a 5.1 target system. Such an evenly spaced arrangement may not be strictly compliant with the 5.1 standard, but it still provides a suitable back-compatible set of loudspeaker feeds, and It provides a reliable way to obtain a reversible transformation matrix for restoring the basic set of coefficients. For a 7-channel implementation of task T100, FIGS. 8 and 9 respectively correspond to a standard-compliant set of loudspeaker angles for a 7.1 system and the loudspeaker angles equally spaced in a plane. A similar example of a set is shown.
[0070]5.1、7.1、および22.2などの、少なくとも1つの低周波数効果(LFE)チャネルを含むターゲットチャネルフォーマットについては、このようなチャネルも同様に含むようにチャネル信号のセットを生成するために、方法 M100を実装することが望ましくありうる。1つの例では、方法 M100は、タスク T100によって生成されるチャネル信号をローパスフィルタリングすることと、結果として生じるローパス信号を合計することとによって、LFEチャネルを生成するタスクを含む。複数のLFEチャネル(例えば、22.2フォーマットのための左LFEチャネルおよび右LFEチャネル)が必要とされるケースについて、このようなタスクは、各ターゲット位置に空間的に最も近いローパス信号を合計することによって、これらのチャネルを生成するために実装されうる。この方法で生成されたLFEチャネルは冗長であるが、それは、依然としてレガシーLFEチャネルに適した信号を提供し、このようなアプローチはまた、変換マトリクスに対するいかなる変更も回避する。 [0070] For target channel formats that include at least one low frequency effect (LFE) channel, such as 5.1, 7.1, and 22.2, a set of channel signals to include such channels as well It may be desirable to implement method M100 to generate In one example, method M100 includes the task of generating an LFE channel by low pass filtering the channel signal generated by task T100 and summing the resulting low pass signal. For cases where multiple LFE channels are required (eg left LFE channel and right LFE channel for 22.2 format), such a task sums the low pass signals spatially closest to each target location. Can be implemented to generate these channels. Although the LFE channel generated in this way is redundant, it still provides a signal suitable for the legacy LFE channel, and such an approach also avoids any changes to the transformation matrix.
[0071]すべての操作後に、修正されたマトリクスが実際に、正しいおよび/または受け入れ可能なラウドスピーカフィードを生成することを保証するために、変換マトリクスによってレンダリングされたチャネル信号を(例えば、心理音響的に)テストすることが望ましくありうる。可逆性が保存されている限り、SHCの正しいデコーディングを保証する逆問題は、典型的に問題ではない。基本セット(例えば、SHCのサブセット)と従来のマルチチャネルオーディオとの間の変換を可能にするマトリクスが導出されうるということ、また、(マルチチャネルオーディオの忠実性を低減させない)操作後に、同様に可逆であるわずかに修正されたマトリクスも、公式化されうるということで、典型的に十分である。 [0071] After all operations, the channel signal rendered by the transformation matrix (eg, psychoacoustic) is used to ensure that the modified matrix actually produces a correct and / or acceptable loudspeaker feed. It may be desirable to test). As long as reversibility is preserved, the inverse problem that ensures correct decoding of the SHC is typically not a problem. A matrix that allows conversion between a basic set (eg, a subset of SHC) and conventional multi-channel audio can be derived, and after operation (does not reduce multi-channel audio fidelity) as well It is typically sufficient that slightly modified matrices that are reversible can also be formulated.
[0072]複数のチャネル信号に基づいて、タスク T200は、(A)複数の基底関数係数の第2のグループ(例えば、「拡張されたセット」)の表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成する。データ構造は、(例えば、1つまたは複数のライブのビットストリームまたはパケットのストリームを含む)時間における構造、および/または、(例えば、記憶媒体に記憶された1つまたは複数のビットストリーム、またはバッファに記憶された1つまたは複数のパケットを含む)空間における構造でありうる。 [0072] Based on the plurality of channel signals, task T200 includes (A) a representation of a second group (eg, an “extended set”) of a plurality of basis function coefficients, where the second group is Unlike the first group, a data structure is generated that includes (B) a representation of a plurality of channel signals that is different from the representation of the second group. The data structure may be a structure in time (eg, including one or more live bitstreams or a stream of packets) and / or one or more bitstreams or buffers (eg, stored in a storage medium) Structure in space) that includes one or more packets stored in
[0073]式(6)に示されたように、タスク T100は、周波数領域におけるチャネル信号を生成するために、各周波数において基本セットに変換マトリクスを適用するために実装されうる。方法 M100は、対応する時間領域チャネル信号(例えば、線形PCMストリーム)を生成するために、これらの周波数領域チャネル信号の各々に対して逆周波数変換(例えば、逆FFT)を実行するタスクを含むために実装されうる。 [0073] As shown in equation (6), task T100 may be implemented to apply a transform matrix to a basic set at each frequency to generate a channel signal in the frequency domain. Method M100 includes a task that performs an inverse frequency transform (eg, inverse FFT) on each of these frequency domain channel signals to generate a corresponding time domain channel signal (eg, a linear PCM stream). Can be implemented.
[0074]これらチャネル信号は、HDMI(登録商標)インタフェース(高精細度マルチメディアインタフェース、HDMIライセンス、LLC、サニーヴェール、CA)によって、線形PCMストリームとして搬送されうる。別の例では、これらチャネル信号は、CD、DVD、DVDオーディオ、またはブルーレイ(登録商標)ディスクなどの、光ディスク上に線形PCMストリームとして記憶されうる。ブルーレイディスク(例えば、ブルーレイディスクアプリケーション定義 BD−J、2005年3月、ブルーレイディスク協会、www−dot−blu−raydisc−dot−com、に準拠した光データ記憶媒体)は、MPEG−2トランスポートストリームを含むファイル「zzzzz.m2ts」を含むことができ、ここで、「zzzzz」は、AVストリームファイルをクリップ情報ファイルと関連づける5桁の番号である。ストリームファイル「zzzzz.m2ts」は、複数のエレメンタリオーディオストリーム(elementary audio streams)を含みうる。タスク T200は、LPCMストリームとしてタスク T100によって生成されたチャネル信号の時間領域バージョンを含む、このようなストリームファイルを生成するために実装されうる。 [0074] These channel signals may be carried as linear PCM streams by the HDMI interface (High Definition Multimedia Interface, HDMI License, LLC, Sunnyvale, CA). In another example, these channel signals may be stored as a linear PCM stream on an optical disc, such as a CD, DVD, DVD audio, or Blu-ray disc. Blu-ray Discs (for example, optical data storage media conforming to the Blu-ray Disc Application Definition BD-J, March 2005, Blu-ray Disc Association, www-dot-blu-raydisc-dot-com) are MPEG-2 transport streams. File “zzzzz.m2ts”, where “zzzzz” is a 5-digit number that associates the AV stream file with the clip information file. The stream file “zzzzz.m2ts” may include a plurality of elementary audio streams. Task T200 may be implemented to generate such a stream file that includes a time domain version of the channel signal generated by task T100 as an LPCM stream.
[0075]帯域幅および/または記憶のリソースの使用を低減させるためには、LPCMチャネルストリームを圧縮するために、タスク T200を実装することが望ましくありうる。SHCの基本セットの復元性を保証するためには、ロスレス圧縮スキームを使用してこのような圧縮を実行することが望ましくありうる。1つの例では、タスク T200は、DVDオーディオに準拠したビットストリームを生成するために、メリディアンロスレス圧縮(MLP:Meridian Lossless Packing)を使用してPCMストリームをエンコードするために実装される。別の例では、タスク T200は、AACコアコーデックに対してMPEG−4 SLS(スケーラブル・ツー・ロスレス(Scalable to Lossless))ロスレス拡張を使用して、PCMストリームをエンコードするために実装される。更なる例では、タスク T200は、MLPの改善されたバージョンを使用して7.1オーディオをエンコードするドルビーTrueHD、および/または、ロスレスのオプションで同様に7.1オーディオをエンコードするDTS−HDマスタオーディオ(DTS、Inc.、カラバサス、CA)を使用して、PCMストリームをロスレスにエンコーディングすることによって生成されるエレメンタリオーディオストリームを含むストリームファイル(例えば、上述されたような、ブルーレイ準拠のm2tsファイル)を生成するために実装される。 [0075] In order to reduce the use of bandwidth and / or storage resources, it may be desirable to implement task T200 to compress the LPCM channel stream. It may be desirable to perform such compression using a lossless compression scheme to ensure the resiliency of the basic set of SHC. In one example, task T200 is implemented to encode a PCM stream using Meridian Lossless Packing (MLP) to generate a bitstream compliant with DVD audio. In another example, task T200 is implemented to encode a PCM stream using an MPEG-4 SLS (Scalable to Lossless) lossless extension to the AAC core codec. In a further example, task T200 uses Dolby TrueHD to encode 7.1 audio using an improved version of MLP and / or a DTS-HD master that also encodes 7.1 audio with a lossless option. A stream file containing an elementary audio stream generated by lossless encoding of a PCM stream using audio (DTS, Inc., Calabasas, CA) (eg, a Blu-ray compliant m2ts file as described above) Implemented to generate).
[0076]タスク T200は、さもなければ、(例えば、トランスコーダ TC10の動作によって、図2Aに例示されるように)チャネル信号を記述する後方互換性のある符号化された信号へとチャネル信号をエンコードするために実装されうる。このようなエンコーディングは、チャネル信号に対してロッシー圧縮スキームを実行することを含みうる。タスク T200のこのような実装において使用されうる後方互換性のあるコーデックの例は、(例えば、ATSC規格:デジタルオーディオ圧縮、Doc.A/52:2012、2012年3月23日、高度テレビジョンシステム委員会、ワシントン、DC、において説明され;また、ATSC A/52またはドルビーデジタルとも呼ばれ、ロッシーMDCT圧縮を使用する)AC3、(ロッシー圧縮のオプションを含む)ドルビーTrueHD、(同様にロッシー圧縮のオプションを含む)DTS−HDマスタオーディオ、およびMPEGサラウンド(MPS、ISO/IEC 14496−3、高効率アドバンストオーディオ符号化すなわちHeAACとも呼ばれ、そこで、5.1フォーマット信号の6つのチャネルは、レンダラにおいて残りのチャネルの合成(synthesis)を可能にする、両耳間レベル差、両耳間時間差、およびチャネル間コヒーレンスなどの、対応するサイド情報(side information)により、モノラルまたはステレオのPCMストリームへダウンミックスされる)を含む。これらのコーデックは、典型的に、入力として時間領域チャネル信号(例えば、線形PCMストリームのセット)を受け入れる。このようなトランスコーディングは、チャネル信号が、多くの消費者向けデバイスおよびセットトップボックス内にあるAC3デコーダとの後方互換性を保持することを可能にする。例えば、エンコードされたチャネルは、所望の対応するチャネルベースのフォーマットに準拠するパケットの対応する部分にパックされうる。 [0076] Task T200 otherwise converts the channel signal into a backward compatible encoded signal that describes the channel signal (eg, as illustrated in FIG. 2A by the operation of transcoder TC10). Can be implemented to encode. Such encoding may include performing a lossy compression scheme on the channel signal. Examples of backward compatible codecs that can be used in such an implementation of task T200 are (for example, ATSC standard: digital audio compression, Doc. A / 52: 2012, March 23, 2012, Advanced Television System). Described in the Commission, Washington, DC; also called ATSC A / 52 or Dolby Digital, using Lossy MDCT compression) AC3, including the option of Lossy compression, Dolby TrueHD (also Lossy compression) DTS-HD master audio (including options) and MPEG Surround (MPS, ISO / IEC 14496-3, also known as High Efficiency Advanced Audio Coding or HeAAC), where the six channels of 5.1 format signal are in the renderer Downmix to mono or stereo PCM stream with corresponding side information such as interaural level difference, interaural time difference, and interchannel coherence to allow synthesis of the remaining channels Included). These codecs typically accept time domain channel signals (eg, a set of linear PCM streams) as input. Such transcoding allows channel signals to remain backward compatible with many consumer devices and AC3 decoders in set top boxes. For example, encoded channels can be packed into corresponding portions of packets that conform to the desired corresponding channel-based format.
[0077]このようなケースでは、方法 M100は、トランスコードされたビットストリームの1つまたは複数の拡張された部分(例えば、AC3パケットの「auxdata」部分)での送信(および/または記憶)のために、別々に階層的なセットの残り(例えば、サブセットの一部でなかったSHC)をエンコードするために実装されうる。このような動作は、例えば、ビットストリームマルチプレクサ MX10の動作によって、図2Aに例示される。方法 M100のこのような実装については、送信および/または記憶のための2つの異なる後方互換性のあるビットストリームを生成するために、各々がマルチチャネル信号を異なるそれぞれのフォーマットに符号化する、2つ以上の異なるトランスコーディング動作(例えば、AC3トランスコーディングおよびドルビーTrueHDトランスコーディング)を含むことも可能である。 [0077] In such cases, method M100 may transmit (and / or store) transmissions in one or more extended portions of the transcoded bitstream (eg, the “auxdata” portion of the AC3 packet). Thus, it can be implemented to encode the remainder of the hierarchical set separately (eg, SHC that was not part of the subset). Such an operation is illustrated in FIG. 2A, for example, by the operation of the bitstream multiplexer MX10. Method For such an implementation of M100, each encodes a multi-channel signal into a different respective format to generate two different backward compatible bitstreams for transmission and / or storage. It is also possible to include two or more different transcoding operations (eg, AC3 transcoding and Dolby TrueHD transcoding).
[0078]上述されたように、ドルビーデジタルプラスのビットストリームは、5.1ミックスを有するコア(A)パケットと、7.1ミックスの4つのサラウンドチャネルを有する拡張(B)パケットとを含む。このようなコーデックとの互換性のための方法 M100の実装は、このようなAパケットおよびBパケットにエンコーディングするために、(各周波数についての)7つのSHCの基本セットを7つのチャネルに変換するように構成されたタスク T100の実装を含みうる。このようなケースでは、タスク T200は、拡張されたセットにおいて8番目およびそれ以上のSHCを含むか、あるいは代替として、拡張されたセットにおいて6番目およびそれ以上のSHCを含むために実装されることができ、ここで、拡張されたセットは、1つまたは複数の更なる拡張パケットへとエンコードされうる。 [0078] As described above, the Dolby Digital Plus bitstream includes a core (A) packet having 5.1 mix and an extended (B) packet having four surround channels of 7.1 mix. Method for compatibility with such codecs The M100 implementation transforms a basic set of 7 SHCs (for each frequency) into 7 channels to encode into such A and B packets. An implementation of task T100 configured as follows may be included. In such cases, task T200 may be implemented to include the 8th and higher SHCs in the extended set, or alternatively to include the 6th and higher SHCs in the extended set. Where the extended set may be encoded into one or more additional extension packets.
[0079]異なる長さの時間間隔に対応するパケットを生成するために、タスク T200を実装することが望ましくありうる。例えば、より短い間隔が、オーディオ入力における一時的な(transient)イベントをエンコードするために使用されることができ、一方で、より長い間隔は、定常(stationary)信号をエンコードするために使用されることができる。1つのこのような例では、タスク T200は、後方互換性のためにPCMチャネルにおける一定の時間間隔をエンコードするためであるが、異なる間隔長を拡張されたセットにエンコードするために実装される。別のこのような例では、タスク T200は、対応する時間間隔の持続時間のインジケーションとともに、異なる長さの間隔をPCMストリームにエンコードするために実装される。AC−3符号化が使用されるケースでは、例えば、タスク T200は、256サンプルおよび512サンプルの2つのブロック長のオプションの間で切り替えるために実装されうる。 [0079] It may be desirable to implement task T200 to generate packets corresponding to different length time intervals. For example, shorter intervals can be used to encode transient events in the audio input, while longer intervals are used to encode stationary signals. be able to. In one such example, task T200 is implemented to encode certain time intervals in the PCM channel for backward compatibility, but to encode different interval lengths into an extended set. In another such example, task T200 is implemented to encode different length intervals into a PCM stream, with a corresponding time interval duration indication. In the case where AC-3 encoding is used, for example, task T200 may be implemented to switch between two block length options of 256 samples and 512 samples.
[0080]図2Aに例示されるように、係数の拡張されたセットは、送信および/または記憶のために、エンコードされたチャネル信号と関連づけられる(例えば、多重化される)前に、エンコードされうる。このようなエンコーディングは、帯域圧縮を含みうる。例えば、拡張されたセットは、(例えば、1つまたは複数のコードブックインデックスへの)量子化、誤り訂正符号化、冗長符号化などのような、1つまたは複数のロッシーまたはロスレスの符号化技法、および/またはパケット化を適用することによって(例えば、エンコーダ SE20によって)エンコードされうる。追加または代替として、このようなエンコーディングは、Bフォーマット、Gフォーマット、または高次アンビソニックス(HOA)などの、アンビソニックフォーマットにエンコードすることを含みうる。1つの例では、係数の拡張されたセットは、HOA Bフォーマットにエンコードされ、その後、Bフォーマット信号は、アドバンストオーディオ符号化(AAC;例えば、ISO/IEC 14496−3:2009、「情報テクノロジー−オーディオビジュアルオブジェクトの符号化−パート3:オーディオ」、国際標準化機構、ジェノバ、CH、において定義される)を使用してエンコードされる。(例えば、エンコーダ SE20によって)拡張されたセットに対して実行されうる、SHCのセットをエンコードするための他の方法の説明が、例えば、米国特許出願公開第2012/0155653 A1号(Jax他)および第2012/0314878 A1号(Daniel他)において見つけられうる。係数の拡張されたセットは、例えば、異なる時間における同じ次数の係数の間の差および/または異なる次数の係数の間の差としてエンコードされうる。 [0080] As illustrated in FIG. 2A, the expanded set of coefficients is encoded before being associated (eg, multiplexed) with the encoded channel signal for transmission and / or storage. sell. Such encoding can include band compression. For example, the extended set may be one or more lossy or lossless encoding techniques, such as quantization (e.g., to one or more codebook indexes), error correction encoding, redundancy encoding, and the like. And / or by applying packetization (eg, by encoder SE20). Additionally or alternatively, such encoding may include encoding into an ambisonic format, such as a B format, G format, or higher order ambisonics (HOA). In one example, the expanded set of coefficients is encoded into the HOA B format, after which the B format signal is advanced audio encoded (AAC; eg, ISO / IEC 14496-3: 2009, “Information Technology—Audio Visual Object Coding-Part 3: Audio ", defined in International Organization for Standardization, Genoa, CH). Descriptions of other methods for encoding a set of SHCs that can be performed on an extended set (eg, by encoder SE20) include, for example, US Patent Application Publication No. 2012/0155653 A1 (Jax et al.) And No. 2012/0314878 A1 (Daniel et al.). The expanded set of coefficients may be encoded, for example, as a difference between coefficients of the same order at different times and / or between coefficients of different orders.
[0081](例えば、ストリーミング、ブロードキャスト、マルチキャスト、記憶、および/またはメディアマスタリング(例えば、CD、DVD、およびまたはブルーレイ(登録商標)ディスクのメディアマスタリング)のためのビットストリームを生成するために)ここで説明されるような方法 M100の実装を実行するために、図1Bに示されるようなMPEGエンコーダ MP10を実装することが望ましくありうる。 [0081] Here (eg, to generate a bitstream for streaming, broadcast, multicast, storage, and / or media mastering (eg, CD, DVD, and / or Blu-Ray disc media mastering)) It may be desirable to implement an MPEG encoder MP10 as shown in FIG. 1B to perform an implementation of the method M100 as described in FIG.
[0082]後方互換性のあるデータ構造から基底関数係数の完全なセットを得ることは、チャネル信号を得るために(例えば、デマルチプレクサ DX10、トランス−デコーダ TC20、およびシーンベースのデコーダ SD20を介して)任意の介在する符号化レイヤおよび/または領域変換を除去し、その後、これらチャネル信号に対して、(例えば、図3Aに示されるマトリクス IM10のような)上述された可逆変換の逆を適用することによって、類似の方法で実行されうる。図10Aは、一般的な構成による、時間間隔の間の音場を記述する複数の基底関数係数を得る方法 M200のフローチャートを示す。上述されたように、複数の基底関数係数の各々は、直交基底関数のセットのうちの一意的な1つ(例えば、球面調和関数の基底関数のセットのうちの一意的な1つ)に対応しうる。 [0082] Obtaining a complete set of basis function coefficients from a backward-compatible data structure can be obtained via a demultiplexer DX10, a trans-decoder TC20, and a scene-based decoder SD20, for example. ) Remove any intervening coding layer and / or region transforms, and then apply the inverse of the reversible transform described above (eg, like the matrix IM10 shown in FIG. 3A) to these channel signals Can be implemented in a similar manner. FIG. 10A shows a flowchart of a method M200 for obtaining a plurality of basis function coefficients describing a sound field during a time interval according to a general configuration. As described above, each of the plurality of basis function coefficients corresponds to a unique one of a set of orthogonal basis functions (eg, a unique one of a set of spherical harmonic basis functions). Yes.
[0083]方法 M200は、タスク T300およびT 400を含む。データ構造から、タスク T300は、(A)複数の基底関数係数の第2のグループ(「拡張されたセット」)の表現と、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現とを得る。複数のチャネル信号のサブセットの各々は、対応する異なる空間領域(例えば、5.1または7.1フォーマットの同一平面上の方向)と関連づけられ、一方で、複数のチャネル信号はまた、LTEチャネルのような、1つまたは複数の無指向性(または全方向性)の信号を含みうる。周波数領域における複数のチャネル信号のサブセットを得るために、LPCMストリームのセットに対してFFTを実行するために、タスク T300を実装することが望ましくありうる。タスク T400は、複数の基底関数係数の第1のグループ(「基本セット」)を生成するために、複数のチャネル信号のサブセットに対して変換を実行し、ここで、第1のグループは、第2のグループとは異なる。データ構造において係数の拡張されたセットの表現が存在すると検出した際にのみ、方法 M200を実行し、さもなければ、チャネル信号を、それらを係数の基本セットに変換することなく、後方互換性のある方法で(例えば、ラウドスピーカフィードとして)レンダリングすることが望ましくありうる。 [0083] Method M200 includes tasks T300 and T400. From the data structure, task T300 includes a plurality of (A) a representation of a second group of multiple basis function coefficients ("extended set") and (B) a separate representation of the second group of representations. And a representation of the channel signal. Each of the subsets of the plurality of channel signals is associated with a corresponding different spatial region (eg, a coplanar direction of 5.1 or 7.1 format), while the plurality of channel signals are also associated with LTE channels Such one or more omnidirectional (or omnidirectional) signals may be included. It may be desirable to implement task T300 to perform an FFT on a set of LPCM streams to obtain a subset of multiple channel signals in the frequency domain. Task T400 performs a transformation on a subset of the plurality of channel signals to generate a first group of multiple basis function coefficients (a “basic set”), where the first group includes the first group Different from the two groups. Only when it is detected that there is a representation of an extended set of coefficients in the data structure, method M200 is performed, otherwise the channel signals are backward compatible without converting them to a basic set of coefficients. It may be desirable to render in some way (eg, as a loudspeaker feed).
[0084]方法 M200は、そこから基本セットが復元された複数のチャネル信号と関連づけられたものとは異なるラウドスピーカの幾何学的配置に、基底関数係数の完全なセットをレンダリングするために実装されうる。図10Bは、タスク T500を含む方法 M200のこのような実装 M210のフローチャートを示す。複数の基底関数係数に基づいて、タスク T500は、第2の複数のチャネル信号を生成する。このケースでは、複数のチャネル信号のサブセットの各信号は、同一平面上の方向のセットのうちの対応する異なる1つと関連づけられ、一方、第2の複数のチャネル信号の各々は、3次元空間に広がる方向のセットのうちの対応する異なる1つと関連づけられる。例えば、第2の複数のチャネル信号は、基準面の上方(above)にあるラウドスピーカ位置に対応するか、さもなければ、高さ情報を提供する、1つまたは複数のチャネルを含みうる。1つの例では、タスク T500は、(例えば、典型的に、いかなる可逆性の制約もないが、式(3)−(6)への参照により)上述されたような、係数の基本セットを後方互換性のあるチャネル信号に変換するための変換マトリクスの導出と類似の方法で得られる、特定のラウドスピーカの幾何学的配置についてのレンダリングマトリクスを適用するために実装される。 [0084] Method M200 is implemented to render a complete set of basis function coefficients in a different loudspeaker geometry than that associated with the plurality of channel signals from which the basic set was recovered. sell. FIG. 10B shows a flowchart of such an implementation M210 of method M200 that includes task T500. Based on the plurality of basis function coefficients, task T500 generates a second plurality of channel signals. In this case, each signal of the subset of the plurality of channel signals is associated with a corresponding different one of the set of coplanar directions, while each of the second plurality of channel signals is in three-dimensional space. Associated with a corresponding different one of the set of spreading directions. For example, the second plurality of channel signals may include one or more channels that correspond to a loudspeaker position above the reference plane or otherwise provide height information. In one example, task T500 moves backwards through a basic set of coefficients, as described above (eg, typically without any reversibility constraints, but with reference to equations (3)-(6)). Implemented to apply a rendering matrix for a particular loudspeaker geometry, obtained in a manner similar to the derivation of a transformation matrix for conversion to a compatible channel signal.
[0085]したがって、上記は、要素の階層的なセット(例えば、SHCのセット)と複数のオーディオチャネルとの間で変換するためのロスレスメカニズムを表す。マルチチャネルオーディオ信号が更なる符号化ノイズにさらされない限り、いかなる誤りも生じない(incurred)。(例えば、ロッシー圧縮動作を介して)それらが符号化ノイズにさられるケースでは、SHCへの変換は誤りを生じうる。しかしながら、係数の値をモニタリングし、それらの影響を低減させるための適切なアクションを取ることによって、これらの誤りを考慮する(account for)ことが可能である。これらの方法は、SHC表現における固有の冗長性を含む、SHCの特性を考慮しうる。 [0085] Thus, the above represents a lossless mechanism for translating between a hierarchical set of elements (eg, a set of SHC) and multiple audio channels. As long as the multi-channel audio signal is not exposed to further coding noise, it will not incur any errors. In cases where they are subject to coding noise (eg, via a lossy compression operation), conversion to SHC can cause errors. However, it is possible to account for these errors by monitoring the values of the coefficients and taking appropriate actions to reduce their effects. These methods may take into account SHC characteristics, including inherent redundancy in the SHC representation.
[0086]図3Cは、時間間隔の間の音場を記述する複数の基底関数係数を処理するための装置 MF100のブロック図を示す。装置 MF100は、(例えば、タスク T100および変換マトリクス TM10の実装を参照してここで説明されたように、)複数のチャネル信号を生成するために、複数の基底関数係数の第1のグループ(「基本セット」)に対して可逆変換を実行するための手段 F100を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。装置 MF100はまた、(例えば、タスク T200、トランスコーダ TC10、エンコーダ SE20、およびマルチプレクサ MX10の実装を参照してここで説明されたように、)複数のチャネル信号に基づいて、(A)複数の基底関数係数の第2のグループ(「拡張されたセット」)の表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するための手段 F200を含む。 [0086] FIG. 3C shows a block diagram of an apparatus MF100 for processing a plurality of basis function coefficients describing a sound field during a time interval. The apparatus MF100 is configured to generate a plurality of channel function signals (eg, as described herein with reference to the implementation of task T100 and transformation matrix TM10). Means F100 for performing a reversible transformation on the basic set "), wherein each of the plurality of channel signals is associated with a corresponding different spatial region. The apparatus MF100 may also be based on a plurality of channel signals (eg, as described herein with reference to an implementation of task T200, transcoder TC10, encoder SE20, and multiplexer MX10) (A) a plurality of bases. A representation of a second group of function coefficients ("extended set"), where the second group is different from the first group and (B) separate from the representation of the second group Means F200 for generating a data structure comprising a plurality of channel signal representations.
[0087]図3Dは、時間間隔の間の音場を記述する複数の基底関数係数を処理するための装置 A100のブロック図を示す。装置 A100は、(例えば、タスク T100および変換マトリクス TM10の実装を参照してここで説明されたように、)複数のチャネル信号を生成するために、複数の基底関数係数の第1のグループ(「基本セット」)に対して可逆変換を実行するように構成された計算器100を含み、ここで、複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる。装置 A100はまた、(例えば、タスク T200、トランスコーダ TC10、エンコーダ SE20、およびマルチプレクサ MX10の実装を参照してここで説明されたように、)複数のチャネル信号に基づいて、(A)複数の基底関数係数の第2のグループ(「拡張されたセット」)の表現と、ここで、第2のグループは、第1のグループとは異なり、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現と、を含むデータ構造を生成するように構成されたデータフォーマッタ200を含む。フォーマッタ200は、パケタイザ(packetizer)を含みうる。
[0087] FIG. 3D shows a block diagram of an apparatus A100 for processing a plurality of basis function coefficients that describe a sound field during a time interval. Apparatus A100 may perform a first group of basis function coefficients (“", eg, as described herein with reference to the implementation of task T100 and transform matrix TM10). Including a calculator 100 configured to perform a reversible transformation on a “basic set”), wherein each of the plurality of channel signals is associated with a corresponding different spatial region. Apparatus A100 may also be based on multiple channel signals (eg, as described herein with reference to an implementation of task T200, transcoder TC10, encoder SE20, and multiplexer MX10) (A) multiple bases. A representation of a second group of function coefficients ("extended set"), where the second group is different from the first group and (B) separate from the representation of the second group A data formatter 200 configured to generate a data structure that includes a representation of a plurality of channel signals. The
[0088]図11Aは、一般的な構成による、時間間隔の間の音場を記述する複数の基底関数係数を得るための装置 MF200のブロック図を示す。装置 MF200は、(例えば、タスク T300、デマルチプレクサ DX10、トランスコーダ TC20、およびデコーダ SD20の実装を参照してここで説明されたように、)データ構造から、(A)複数の基底関数係数の第2のグループ(「拡張されたセット」)の表現と、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現とを得るための手段 F300を含む。装置 MF200はまた、(例えば、タスク T400および逆変換マトリクス IM10の実装を参照してここで説明されたように、)複数の基底関数係数の第1のグループ(「基本セット」)を生成するために、複数のチャネル信号のサブセットに対して変換を実行するための手段 F400を含み、ここで、第1のグループは、第2のグループとは異なる。図11Bは、(例えば、タスク T500およびレンダラ SR10の実装を参照してここで説明されたように、)複数の基底関数係数に基づいて、第2の複数のチャネル信号を生成するための手段 F500を含む装置 MF200の実装 MF210のフローチャートを示す。 [0088] FIG. 11A shows a block diagram of an apparatus MF200 for obtaining a plurality of basis function coefficients describing a sound field during a time interval according to a general configuration. The apparatus MF200 may, from the data structure (eg, as described herein with reference to the implementation of task T300, demultiplexer DX10, transcoder TC20, and decoder SD20), from (A) a plurality of basis function coefficients. Means F300 for obtaining a representation of two groups (“extended set”) and (B) a representation of a plurality of channel signals that is different from the representation of the second group. The apparatus MF200 also generates a first group (“basic set”) of a plurality of basis function coefficients (eg, as described herein with reference to the implementation of task T400 and inverse transform matrix IM10). Means F400 for performing a transformation on a subset of the plurality of channel signals, wherein the first group is different from the second group. FIG. 11B illustrates a means for generating a second plurality of channel signals based on a plurality of basis function coefficients (eg, as described herein with reference to an implementation of task T500 and renderer SR10) F500. An apparatus including MF200 is shown.
[0089]図11Cは、一般的な構成による、時間間隔の間の音場を記述する複数の基底関数係数を得るための装置 A200のブロック図を示す。装置 A200は、(例えば、タスク T300、デマルチプレクサ DX10、トランスコーダ TC20、およびデコーダ SD20の実装を参照してここで説明されたように、)データ構造から、(A)複数の基底関数係数の第2のグループ(「拡張されたセット」)の表現と、(B)第2のグループの該表現とは別である、複数のチャネル信号の表現とを得るように構成されたデータ抽出器(data extractor)300を含む。抽出器300は、デパケタイザ(depacketizer)を含みうる。装置 A200はまた、(例えば、タスク T400および逆変換マトリクス IM10の実装を参照してここで説明されたように、)複数の基底関数係数の第1のグループ(「基本セット」)を生成するために、複数のチャネル信号のサブセットに対して変換を実行するように構成された計算器400を含み、ここで、第1のグループは、第2のグループとは異なる。図11Dは、(例えば、タスク T500およびレンダラ SR10の実装を参照してここで説明されたように、)複数の基底関数係数に基づいて、第2の複数のチャネル信号を生成するように構成されたレンダラ500を含む装置 A200の実装 A210のフローチャートを示す。 [0089] FIG. 11C shows a block diagram of an apparatus A200 for obtaining a plurality of basis function coefficients describing a sound field during a time interval according to a general configuration. Apparatus A200 may include (A) a plurality of basis function coefficient firsts from a data structure (eg, as described herein with reference to an implementation of task T300, demultiplexer DX10, transcoder TC20, and decoder SD20). A data extractor (data) configured to obtain a representation of two groups ("extended set") and (B) a representation of a plurality of channel signals that is different from the representation of the second group. extractor) 300. The extractor 300 can include a depacketizer. Apparatus A200 also generates a first group of multiple basis function coefficients (eg, “basic set”) (eg, as described herein with reference to task T400 and inverse transform matrix IM10 implementation). Includes a calculator 400 configured to perform the transformation on a subset of the plurality of channel signals, wherein the first group is different from the second group. FIG. 11D is configured to generate a second plurality of channel signals based on the plurality of basis function coefficients (eg, as described herein with reference to an implementation of task T500 and renderer SR10). A flowchart of apparatus A200 including renderer 500 is shown.
[0090]更なる例では、方法 M100は、2つ以上の基底関数係数のセットを組み合わせるタスクを含むために実装され、ここで、各セットは、対応する時間間隔の間の対応する音場を記述し、タスク T100への入力として組み合わされたセットを提供する。例えば、このようなタスクは、組み合わされた音場の記述を生成するために、(例えば、SHCベクトルの係数ベクトル加法を実行するように)係数の複数のセットを追加するために実装されうる。基底関数係数の各セットは、例えば、オーディオオブジェクトを表しうる。このような基底関数係数のセット(例えば、1つのオブジェクトのためのSHCベクトル)は、(例えば、複数のオブジェクトのうちの別のもののための)基底関数係数の別のセットよりも高い次数(例えば、より長い長さ)を有しうる。例えば、フォアグラウンドにおけるオブジェクト(例えば、主演男優の音声)は、バックグラウンドにおけるオブジェクト(例えば、音響効果)よりも高次のセットで表されうる。 [0090] In a further example, method M100 is implemented to include the task of combining two or more sets of basis function coefficients, where each set has a corresponding sound field during a corresponding time interval. Describes and provides a combined set as input to task T100. For example, such a task may be implemented to add multiple sets of coefficients (eg, to perform coefficient vector addition of SHC vectors) to generate a combined sound field description. Each set of basis function coefficients may represent, for example, an audio object. Such a set of basis function coefficients (eg, an SHC vector for one object) has a higher order (eg, for another set of basis function coefficients (eg, for another of the plurality of objects) , Longer length). For example, objects in the foreground (eg, the voice of the leading actor) can be represented in a higher order set than objects in the background (eg, acoustic effects).
[0091]図11Eは、一般的な構成による装置 P100のためのブロック図を示す。装置 P100は、対応するデータ構造を生成するために、時間間隔の間の音場を記述する複数の基底関数係数に対して、ここで説明されたような方法 M100の実装を実行するように構成されたプロセッサ P10を含む。装置 P100はまた、プロセッサ P10によって生成されたデータ構造を記憶するように構成されたメモリ ME10を含む。 [0091] FIG. 11E shows a block diagram for an apparatus P100 according to a general configuration. Apparatus P100 is configured to perform an implementation of method M100 as described herein on a plurality of basis function coefficients describing a sound field during a time interval to generate a corresponding data structure. Processor P10. Apparatus P100 also includes a memory ME10 configured to store a data structure generated by processor P10.
[0092]音響信号を受信するように構成された2つ以上のマイクロフォンのアレイを有する携帯用オーディオ感知デバイス内で、ここで説明されたような方法(例えば、方法 M100またはM200)を実行することが望ましくありうる。このようなアレイを含むために実装されることができ、かつ、録音および/または音声通信アプリケーションのために使用されることができる携帯用オーディオ感知デバイスの例は、電話ハンドセット(例えば、セルラ電話ハンドセット)、ワイヤードまたはワイヤレスのヘッドセット(例えば、Bluetooth(登録商標)ヘッドセット)、ハンドヘルドオーディオおよび/またはビデオレコーダ(例えば、カムコーダ)、オーディオおよび/またはビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤ、携帯情報端末(PDA)または他のハンドヘルドコンピューティングデバイス、およびノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、あるいはその他の携帯用コンピューティングデバイスを含む。 [0092] Performing a method as described herein (eg, method M100 or M200) in a portable audio sensing device having an array of two or more microphones configured to receive an acoustic signal. May be desirable. Examples of portable audio sensing devices that can be implemented to include such arrays and that can be used for recording and / or voice communication applications include telephone handsets (eg, cellular telephone handsets) ), Wired or wireless headsets (eg, Bluetooth® headsets), handheld audio and / or video recorders (eg, camcorders), personal media players configured to record audio and / or video content Personal digital assistants (PDAs) or other handheld computing devices and notebook computers, laptop computers, netbook computers, tablet computers, or Including other portable computing device.
[0093]ここで開示された方法および装置は、概して、このようなアプリケーションの移動型またはさもなければ携帯型の事例を含む、任意のトランシービングおよび/またはオーディオ感知のアプリケーションにおいて、および/または、遠距離にあるソースからの信号成分の感知の際に適用されうる。例えば、ここで開示された構成の範囲は、符号分割多元接続(CDMA)無線インタフェースを用いるように構成されたワイヤレス電話通信システムに存在する通信デバイスを含む。それにもかかわらず、当業者であれば、ここで説明されたような特徴を有する方法および装置が、ワイヤードおよび/またはワイヤレス(例えば、CDMA、TDMA、FDMA、および/または、TD−SCDMA)の送信チャネル上でボイスオーバーIP(VoIP)を用いるシステムのような、当業者に知られている幅広い範囲の技術を用いる任意の様々な通信システムに存在しうることを理解するであろう。 [0093] The methods and apparatus disclosed herein are generally in any transceiving and / or audio sensing application, including mobile or otherwise portable cases of such applications, and / or It can be applied when sensing signal components from a source at a long distance. For example, the scope of the configurations disclosed herein includes communication devices residing in a wireless telephone communication system configured to use a code division multiple access (CDMA) radio interface. Nonetheless, those skilled in the art will appreciate that methods and apparatus having features as described herein may be used for wired and / or wireless (eg, CDMA, TDMA, FDMA, and / or TD-SCDMA) transmissions. It will be appreciated that it can be present in any of a variety of communication systems using a wide range of techniques known to those skilled in the art, such as systems using voice over IP (VoIP) over a channel.
[0094]ここで開示された通信デバイス(例えば、スマートフォン、タブレットコンピュータ)が、パケット交換(例えば、VoIPのようなプロトコルに従ってオーディオ送信を搬送するように構成されている、ワイヤードおよび/またはワイヤレスネットワーク)および/または回線交換であるネットワークでの使用のために適合されうることは、明確に企図され、ここに開示されている。また、ここで開示された通信デバイスが、狭帯域符号化システム(例えば、約4または5キロヘルツのオーディオ周波数範囲をエンコードするシステム)での使用のために、および/または、全帯域広帯域符号化システムと分割帯域広帯域符号化システムを含む、広帯域符号化システム(例えば、5キロヘルツよりも大きいオーディオ周波数をエンコードするシステム)での使用のために、適合されうることも、明確に企図され、ここに開示されている。 [0094] Communication devices (eg, smartphones, tablet computers) disclosed herein are packet switched (eg, wired and / or wireless networks configured to carry audio transmissions according to protocols such as VoIP). It is specifically contemplated and disclosed herein that it can be adapted for use in networks that are and / or circuit switched. Also, the communication device disclosed herein is for use in a narrowband encoding system (eg, a system encoding an audio frequency range of about 4 or 5 kilohertz) and / or a fullband wideband encoding system. It is also specifically contemplated and disclosed herein that it may be adapted for use in wideband coding systems (eg, systems that encode audio frequencies greater than 5 kilohertz), including split-band wideband coding systems. Has been.
[0095]説明された構成の先の提示は、いかなる当業者であっても、ここに開示された方法および他の構造の製造または使用を可能にするように提供される。ここで説明および示されたフローチャート、ブロック図、および他の構造は、例にすぎず、これらの構造の他の変形もまた、本開示の範囲内にある。これらの構成に対する様々な修正が可能であり、ここで提示された一般的な原理は、他の構成にも適用されうる。したがって、本開示は、上記に示された構成に限定されるようには意図されず、当初の開示の一部を形成する、提出された添付の特許請求の範囲を含む、何らかの形でここに開示された原理および新規な特徴と一致する最も広い範囲を与えられることとなる。 [0095] The previous presentation of the described configurations is provided to enable any person skilled in the art to make or use the methods and other structures disclosed herein. The flowcharts, block diagrams, and other structures described and illustrated herein are examples only, and other variations of these structures are also within the scope of the disclosure. Various modifications to these configurations are possible, and the general principles presented here may be applied to other configurations. Accordingly, the present disclosure is not intended to be limited to the arrangements shown above, but is hereby incorporated in some form, including the appended claims that form part of the original disclosure. The broadest range consistent with the disclosed principles and novel features will be given.
[0096]当業者であれば、情報および信号は、様々な異なる技術および技法のうちの任意のものを用いて表されうることを理解するであろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、およびシンボルは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表されうる。 [0096] Those skilled in the art will appreciate that information and signals may be represented using any of a variety of different technologies and techniques. For example, data, instructions, commands, information, signals, bits, and symbols that may be referred to throughout the above description are by voltage, current, electromagnetic wave, magnetic field or magnetic particle, light field or light particle, or any combination thereof. Can be represented.
[0097]ここで開示されたような構成の実装のための重要な設計要件は、特に、圧縮されたオーディオまたはオーディオビジュアル情報(例えば、ここで識別された例のうちの1つのような、圧縮フォーマットにしたがってエンコードされたファイルまたはストリーム)の再生のような、計算集中的なアプリケーションに対して、または、広帯域通信(例えば、12、16、44.1、48、または192kHzのような、8キロヘルツよりも高いサンプリングレートにおける音声通信)のためのアプリケーションに対して、(典型的には、1秒当たり数百万の命令、すなわちMIPSにおいて測定される)処理遅延および/または計算の複雑さを最小化することを含みうる。 [0097] Important design requirements for the implementation of configurations such as those disclosed herein are in particular compressed audio or audiovisual information (eg, compression, such as one of the examples identified herein). 8 kilohertz for computationally intensive applications such as playing files or streams encoded according to a format, or for broadband communications (eg, 12, 16, 44.1, 48, or 192 kHz) Minimize processing delays and / or computational complexity (typically measured in millions of instructions per second, ie MIPS) for applications for voice communications at higher sampling rates Can include.
[0098]マルチマイクロフォン処理システムの目的は、全体的なノイズ低減において10ないし12dBを達成すること、所望のスピーカの動きの間の、音声レベルおよび色を保存すること、積極的なノイズ除去、スピーチの残響除去の代わりにノイズがバックグラウンドに移ったとの知覚を得ること、および/または、より積極的なノイズ低減のために後処理のオプションを可能にすることを含みうる。 [0098] The purpose of the multi-microphone processing system is to achieve 10-12 dB in overall noise reduction, to preserve audio levels and colors during the desired speaker movement, active noise reduction, speech Instead of removing dereverberation, it may include obtaining a perception that noise has moved to the background, and / or enabling post-processing options for more aggressive noise reduction.
[0099]ここで開示されたような装置(例えば、任意の装置 A100、A200、A210、MF100、MF200、MF210、およびP100)は、意図されたアプリケーションに適していると思われる、ソフトウェアを有するおよび/またはファームウェアを有するハードウェアの任意の組み合わせにおいて実装されうる。例えば、このような装置の要素は、例えば、同じチップ上またはチップセット中の2つ以上のチップの間に存在する、電子デバイスおよび/または光デバイスとして組み立てられうる。このようなデバイスの1つの例は、トランジスタまたは論理ゲートのような、論理要素の固定アレイまたはプログラマブルアレイであり、任意のこれらの要素が、1つまたは複数のこのようなアレイとして実装されうる。装置の要素のうちの任意の2つ以上またはすべてさえが、同じアレイまたは複数のアレイ内で実装されうる。このようなアレイまたは複数のアレイは、1つまたは複数のチップ内で(例えば、2つ以上のチップを含むチップセット内で)実装されうる。 [0099] Devices such as those disclosed herein (eg, any device A100, A200, A210, MF100, MF200, MF210, and P100) have software that appears suitable for the intended application and And / or implemented in any combination of hardware with firmware. For example, elements of such an apparatus can be assembled as electronic devices and / or optical devices, eg, existing between two or more chips on the same chip or in a chipset. One example of such a device is a fixed or programmable array of logic elements, such as transistors or logic gates, and any of these elements can be implemented as one or more such arrays. Any two or more or even all of the elements of the device can be implemented in the same array or multiple arrays. Such an array or arrays may be implemented in one or more chips (eg, in a chipset that includes two or more chips).
[0100]ここで開示された装置(例えば、任意の装置 A100、A200、A210、MF100、MF200、MF210、およびP100)の様々な実装の1つまたは複数の要素はまた、マイクロプロセッサ、組み込まれたプロセッサ、IPコア、デジタル信号プロセッサ、FPGA(フィールドプログラマブルゲートアレイ)、ASSP(特定用途向け規格品)、およびASIC(特定用途向け集積回路)などの、論理要素の1つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の1つまたは複数のセットとして全体的にまたは部分的に実装されうる。ここで開示されたような装置の実装の任意の様々な要素はまた、1つまたは複数のコンピュータ(例えば、「プロセッサ」とも呼ばれる、命令の1つまたは複数のセットまたはシーケンスを実行するようにプログラムされた1つまたは複数のアレイを含む機械)として具現化されることができ、これらの要素のうちの、任意の2つ以上またはすべてさえも、このような同じコンピュータまたは複数のコンピュータ内で実装されることができる。 [0100] One or more elements of various implementations of the devices disclosed herein (eg, any device A100, A200, A210, MF100, MF200, MF210, and P100) may also be incorporated into a microprocessor. One or more fixed arrays or programmable logic elements, such as processors, IP cores, digital signal processors, FPGAs (Field Programmable Gate Arrays), ASSPs (Application Specific Standards), and ASICs (Application Specific Integrated Circuits) It may be implemented in whole or in part as one or more sets of instructions configured to execute on the array. Any of the various elements of an implementation of a device as disclosed herein may also be programmed to execute one or more sets or sequences of instructions, also referred to as one or more computers (eg, also referred to as “processors”). Any two or more of these elements can be implemented within the same computer or computers. Can be done.
[0101]ここで開示されたような処理のためのプロセッサまたは他の手段(例えば、プロセッサ P10)は、例えば、同じチップ上またはチップセット中の2つ以上のチップの間に存在する、1つまたは複数の電子デバイスおよび/または光デバイスとして組み立てられうる。このようなデバイスの1つの例は、トランジスタまたは論理ゲートのような、論理要素の固定アレイまたはプログラマブルアレイであり、任意のこれらの要素は、1つまたは複数のこのようなアレイとして実装されうる。このようなアレイまたは複数のアレイは、1つまたは複数のチップ内で(例えば、2つ以上のチップを含むチップセット内で)実装されうる。このようなアレイの例は、マイクロプロセッサ、組み込まれたプロセッサ、IPコア、DSP、FPGA、ASSP、およびASICなどの、論理要素の固定アレイまたはプログラマブルアレイを含む。ここで開示されたようなプロセッサまたは処理のための他の手段はまた、1つまたは複数のコンピュータ(例えば、命令の1つまたは複数のセットまたはシーケンスを実行するようにプログラムされた1つまたは複数のアレイを含む機械)または他のプロセッサとして具現化されうる。プロセッサがその中に組み込まれているデバイスまたはシステム(例えば、オーディオ感知デバイス)の別の動作に関連するタスクのような、ここで説明されたようなオーディオ符号化プロシージャに直接的に関連しない命令の他のセットを実行するか、あるいはタスクを実行するために、ここで説明されたようなプロセッサが使用されることが可能である。ここで開示されたような方法の一部を、オーディオ感知デバイスのプロセッサによって実行し、この方法の別の部分を、1つまたは複数の他のプロセッサの制御下で実行することも可能である。 [0101] A processor or other means for processing as disclosed herein (eg, processor P10) is present, for example, one that exists between two or more chips on the same chip or in a chipset. Or it can be assembled as multiple electronic and / or optical devices. One example of such a device is a fixed or programmable array of logic elements, such as transistors or logic gates, and any of these elements can be implemented as one or more such arrays. Such an array or arrays may be implemented in one or more chips (eg, in a chipset that includes two or more chips). Examples of such arrays include fixed or programmable arrays of logic elements such as microprocessors, embedded processors, IP cores, DSPs, FPGAs, ASSPs, and ASICs. A processor or other means for processing as disclosed herein also includes one or more computers (eg, one or more programmed to execute one or more sets or sequences of instructions). Machine) or other processor. Instructions that are not directly related to the audio encoding procedure as described herein, such as tasks related to another operation of the device or system in which the processor is incorporated (eg, an audio sensing device) A processor as described herein can be used to perform other sets or perform tasks. It is also possible for some of the methods as disclosed herein to be performed by the processor of the audio sensing device and another part of the method to be performed under the control of one or more other processors.
[0102]当業者であれば、ここで開示された構成に関連して説明された様々な例示的なモジュール、論理ブロック、回路、およびテストおよび他の動作は、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されうることを理解するであろう。このようなモジュール、論理ブロック、回路、および動作は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASICまたはASSP、FPGAまたは他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは、ここで開示されたような構成を生成するように設計されたこれらの任意の組み合わせで実装または実行されうる。例えば、このような構成は、ハードワイヤード回路として、特定用途向け集積回路中に組み立てられた回路構成として、または機械可読コードとしてデータ記憶媒体からあるいはデータ記憶媒体へロードされたソフトウェアプログラムまたは不揮発性記憶装置中にロードされたファームウェアプログラムとして、少なくとも部分的に実装されることができ、このようなコードは、汎用プロセッサまたは他のデジタル信号処理ユニットのような、論理要素のアレイによって実行可能な命令である。汎用プロセッサは、マイクロプロセッサでありうるが、代替において、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン(state machine)でありうる。プロセッサはまた、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携した1つまたは複数のマイクロプロセッサ、あるいはその他任意のこのような構成である、コンピューティングデバイスの組み合わせとして実装されうる。ソフトウェアモジュールは、RAM(ランダムアクセスメモリ)、ROM(読み出し専用メモリ)、フラッシュRAMのような不揮発性RAM(NVRAM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、レジスタ、ハードディスク、リムーバルディスク、またはCD−ROMなどの非一時的な記憶媒体において、あるいは当該技術分野において周知であるその他任意の形態の記憶媒体において存在しうる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、また記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと一体化されうる。プロセッサおよび記憶媒体は、ASIC内に存在しうる。ASICは、ユーザ端末内に存在しうる。代替において、プロセッサおよび記憶媒体は、ユーザ端末内にディスクリートコンポーネントとして存在しうる。 [0102] Those of ordinary skill in the art will recognize various exemplary modules, logic blocks, circuits, and tests and other operations described in connection with the configurations disclosed herein for electronic hardware, computer software, or It will be understood that it can be implemented as a combination of both. Such modules, logic blocks, circuits, and operations may be performed by general purpose processors, digital signal processors (DSPs), ASICs or ASSPs, FPGAs or other programmable logic devices, discrete gate or transistor logic, discrete hardware components, or Can be implemented or implemented with any combination of these designed to produce a configuration as disclosed in. For example, such a configuration may be a software program or non-volatile storage loaded from or to a data storage medium as a hardwired circuit, as a circuit configuration assembled in an application specific integrated circuit, or as machine readable code. The code can be implemented at least in part as a firmware program loaded into the device, such code being instructions executable by an array of logic elements, such as a general purpose processor or other digital signal processing unit. is there. A general purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. The processor is also implemented as a combination of computing devices, eg, a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors associated with a DSP core, or any other such configuration. sell. Software modules include RAM (random access memory), ROM (read only memory), non-volatile RAM (NVRAM) such as flash RAM, erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), registers, It may reside in a non-transitory storage medium such as a hard disk, a removable disk, or a CD-ROM, or in any other form of storage medium known in the art. An exemplary storage medium is coupled to the processor such that the processor can read information from, and write information to, the storage medium. In the alternative, the storage medium may be integral to the processor. The processor and the storage medium may reside in an ASIC. The ASIC may exist in the user terminal. In the alternative, the processor and the storage medium may reside as discrete components in a user terminal.
[0103]ここで開示された様々な方法(例えば、任意の方法 M100、M200、およびM210)は、プロセッサのような論理要素のアレイによって実行されることができ、また、ここで説明されたような装置の様々な要素は、このようなアレイ上で実行するように設計されたモジュールとして実装されることができることに留意されたい。ここで使用される場合、「モジュール」または「サブモジュール」という用語は、ソフトウェア、ハードウェア、またはファームウェアの形態においてコンピュータ命令(例えば、論理式(logical expressions))を含む、任意の方法、装置、デバイス、ユニットまたはコンピュータ可読データ記憶媒体を指しうる。複数のモジュールまたはシステムを組み合わせて、1つのモジュールまたはシステムにすることができ、ならびに、同じ機能を実行するために、1つのモジュールまたはシステムを、複数のモジュールまたはシステムに分離できることが理解されるべきである。ソフトウェアまたは他のコンピュータ実行可能な命令で実装される場合、プロセスの要素は本質的に、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および、これに類するものなどによって、関連するタスクを実行するためのコードセグメントである。「ソフトウェア」という用語は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理要素のアレイによって実行可能な命令の任意の1つまたは複数のセットまたはシーケンス、ならびに、このような例の任意の組み合わせを含むことが理解されるべきである。プログラムまたはコードセグメントは、プロセッサ可読記憶媒体中に記憶されることができ、または、送信媒体または通信リンク上で、搬送波で具現化されるコンピュータデータ信号によって送信されることができる。 [0103] The various methods disclosed herein (eg, any method M100, M200, and M210) may be performed by an array of logical elements, such as a processor, and as described herein. It should be noted that various elements of such devices can be implemented as modules designed to run on such arrays. As used herein, the term “module” or “submodule” refers to any method, apparatus, including computer instructions (eg, logical expressions) in the form of software, hardware, or firmware. Device, unit or computer readable data storage medium. It should be understood that multiple modules or systems can be combined into one module or system, and that one module or system can be separated into multiple modules or systems to perform the same function It is. When implemented in software or other computer-executable instructions, process elements are essentially intended to perform related tasks, such as by routines, programs, objects, components, data structures, and the like. This is a code segment. The term “software” refers to source code, assembly language code, machine code, binary code, firmware, macro code, microcode, any one or more sets or sequences of instructions executable by an array of logic elements, and It should be understood to include any combination of such examples. The program or code segment can be stored in a processor readable storage medium or transmitted by a computer data signal embodied in a carrier wave on a transmission medium or communication link.
[0104]ここで開示された方法、スキーム、および技法の実装はまた、論理要素のアレイ(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有形のステートマシン)を含む機械によって可読および/または実行可能な命令の1つまたは複数のセットとして、(例えば、ここでリストされたような1つまたは複数のコンピュータ可読媒体において)有形的(tangibly)に具現化されうる。「コンピュータ可読媒体」という用語は、揮発性、不揮発性、取り外し可能および取り外し不可能な媒体を含む、情報を記憶または転送しうる任意の媒体を含みうる。コンピュータ可読媒体の例は、電子回路、半導体メモリデバイス、ROM、フラッシュメモリ、消去可能ROM(EROM)、フロッピー(登録商標)ディスケットまたは他の磁気記憶装置、CD−ROM/DVDまたは他の光記憶装置、ハードディスク、光ファイバー媒体、無線周波数(RF)リンク、あるいは、所望の情報を記憶するために使用されることができ、かつアクセスされることができるその他任意の媒体を含む。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバー、無線、電磁気、RFリンクなどのような、送信媒体上で伝搬しうる任意の信号を含みうる。コードセグメントは、インターネットまたはイントラネットのようなコンピュータネットワークを介してダウンロードされうる。任意のケースでは、本開示の範囲は、このような実施形態によって限定されるようには解釈されるべきでない。 [0104] Implementations of the methods, schemes, and techniques disclosed herein may also be readable and / or by a machine that includes an array of logic elements (eg, a processor, microprocessor, microcontroller, or other tangible state machine). It may be tangibly embodied as one or more sets of executable instructions (eg, in one or more computer readable media as listed herein). The term “computer-readable medium” may include any medium that can store or transfer information, including volatile, non-volatile, removable and non-removable media. Examples of computer readable media are electronic circuits, semiconductor memory devices, ROM, flash memory, erasable ROM (EROM), floppy diskette or other magnetic storage device, CD-ROM / DVD or other optical storage device , Hard disks, fiber optic media, radio frequency (RF) links, or any other media that can be used and accessed to store desired information. A computer data signal may include any signal that can propagate over a transmission medium, such as an electronic network channel, optical fiber, wireless, electromagnetic, RF link, and the like. The code segment can be downloaded via a computer network such as the Internet or an intranet. In any case, the scope of the present disclosure should not be construed as limited by such embodiments.
[0105]ここで説明された方法のタスクの各々は、直接的に、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら2つの組み合わせにおいて、具現化されうる。ここで開示されたような方法の実装の典型的なアプリケーションにおいて、論理要素(例えば、論理ゲート)のアレイは、方法の様々なタスクのうちの、1つ、1つより多くのもの、またはすべてさえも、実行するように構成される。タスクのうちの1つまたは複数(場合によってはすべて)は、コード(例えば、命令の1つまたは複数のセット)としても実装されることができ、論理要素のアレイ(例えば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有形のステートマシン)を含む機械(例えば、コンピュータ)によって可読および/また実行可能なコンピュータプログラム製品(例えば、ディスク、フラッシュまたは他の不揮発性メモリカード、半導体メモリチップなどのような、1つまたは複数のデータ記憶媒体)で具現化されることができる。ここで開示されたような方法の実装のタスクはまた、1つより多くのこのようなアレイまたは機械によって実行されうる。これらのまたは他の実装では、これらタスクは、このような通信能力を有するセルラ電話または他のデバイスなどの、ワイヤレス通信のためのデバイス内で実行されうる。このようなデバイスは、(例えば、VoIPのような1つまたは複数のプロトコルを使用する)回線交換ネットワークおよび/またはパケット交換ネットワークと通信するように構成されうる。例えば、このようなデバイスは、エンコードされたフレームを受信および/または送信するように構成されたRF回路を含みうる。 [0105] Each of the method tasks described herein may be implemented directly in hardware, in a software module executed by a processor, or in a combination of the two. In a typical application of a method implementation as disclosed herein, an array of logic elements (eg, logic gates) is one, more than one, or all of the various tasks of the method. Even configured to perform. One or more (possibly all) of the tasks can also be implemented as code (eg, one or more sets of instructions), and an array of logical elements (eg, processor, microprocessor, A computer program product (eg, disk, flash or other non-volatile memory card, semiconductor memory chip, etc.) readable and / or executable by a machine (eg, a computer) including a microcontroller, or other tangible state machine) One or more data storage media). The task of implementing a method as disclosed herein may also be performed by more than one such array or machine. In these or other implementations, these tasks may be performed in a device for wireless communication, such as a cellular phone or other device having such communication capabilities. Such a device may be configured to communicate with a circuit switched network and / or a packet switched network (eg, using one or more protocols such as VoIP). For example, such a device may include an RF circuit configured to receive and / or transmit an encoded frame.
[0106]ここで開示された様々な方法が、ハンドセット、ヘッドセット、または携帯情報端末(PDA)のような、携帯用通信デバイスによって実行されうること、およびここで説明された様々な装置がこのようなデバイス内に含まれうることが明確に開示される。典型的なリアルタイム(例えば、オンライン)アプリケーションは、このようなモバイルデバイスを使用して実施される電話会話である。 [0106] The various methods disclosed herein may be performed by a portable communication device, such as a handset, headset, or personal digital assistant (PDA), and the various devices described herein may be It is expressly disclosed that it can be included in such a device. A typical real-time (eg, online) application is a telephone conversation conducted using such a mobile device.
[0107]1つまたは複数の典型的な実施形態では、ここで説明された動作は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実装されうる。ソフトウェアで実装される場合、このような動作は、コンピュータ可読媒体上で、1つまたは複数の命令またはコードとして記憶または送信されうる。「コンピュータ可読媒体」という用語は、コンピュータ可読記憶媒体と通信(例えば、送信)媒体の両方を含む。限定ではなく例として、コンピュータ可読記憶媒体は、(限定はしないが、動的または静的なRAM、ROM、EEPROM、および/またはフラッシュRAMを含みうる)半導体メモリ、または、強誘電体、磁気抵抗、オボニック(ovonic)、高分子、または相転移メモリのような、記憶要素のアレイ、CD−ROMまたは他の光ディスク記憶装置、および/または磁気ディスク記憶装置または他の磁気記憶デバイスを備えうる。このような記憶媒体は、コンピュータによってアクセスされうる命令またはデータ構造の形態で情報を記憶しうる。通信媒体は、1つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータによってアクセスされうる命令またはデータ構造の形態で所望のプログラムコードを搬送するために使用されうる任意の媒体を備えうる。また、任意の接続は、コンピュータ可読媒体と厳密には称されうる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、電波、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、またはその他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、電波、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ここで使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多目的ディスク(DVD)、フロッピーディスクおよびブルーレイ(登録商標)ディスク(ブルーレイディスクアソシエィション、ユニバーサルシティ、CA)を含み、ここでディスク(disks)は、通常磁気的にデータを再生し、一方ディスク(discs)は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。 [0107] In one or more exemplary embodiments, the operations described herein may be implemented in hardware, software, firmware, or any combination thereof. If implemented in software, such operations may be stored or transmitted as one or more instructions or code on a computer-readable medium. The term “computer-readable medium” includes both computer-readable storage media and communication (eg, transmission) media. By way of example, and not limitation, computer-readable storage media include semiconductor memory (including but not limited to dynamic or static RAM, ROM, EEPROM, and / or flash RAM), or ferroelectric, magnetoresistive May comprise an array of storage elements, CD-ROM or other optical disk storage, and / or magnetic disk storage or other magnetic storage devices, such as ovonic, polymer, or phase change memory. Such storage media may store information in the form of instructions or data structures that can be accessed by a computer. Communication media is used to carry the desired program code in the form of instructions or data structures that can be accessed by a computer, including any medium that facilitates transfer of a computer program from one place to another. Any medium can be provided. Also, any connection may be strictly referred to as a computer readable medium. For example, the software can use a coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or wireless technology such as infrared, radio, and microwave from a website, server, or other remote source When transmitted, this coaxial cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, radio and microwave are included in the definition of the medium. As used herein, disk and disc are compact disc (CD), laser disc (registered trademark), optical disc, digital multipurpose disc (DVD), floppy disc and Blu-ray (registered trademark) disc ( Blu-ray Disc Association, Universal City, CA), where disks typically reproduce data magnetically, while discs optically reproduce data using a laser. Combinations of the above should also be included within the scope of computer-readable media.
[0108]ここで説明されたような音響信号処理装置(例えば、装置 A100またはMF100)は、ある動作を制御するためにスピーチ入力を受け入れるか、さもなければ、バックグラウンドノイズからの所望のノイズの分離から利益を得ることができる、通信デバイスのような電子デバイス中に組み込まれることができる。多くのアプリケーションは、複数の方向から生じるバックグラウンドサウンドから、所望のクリアなサウンドをエンハンスするまたは分離することから、利益を得ることができる。このようなアプリケーションは、音声認識と検出、スピーチエンハンスメントと分離、音声によりアクティブ化される制御、およびこれに類するものなどの能力を組み込む電子デバイスまたはコンピューティングデバイスにおけるヒューマンマシンインタフェースを含みうる。限定された処理能力のみを提供するデバイスにおいて適切であるように、このような音響信号処理装置を実装することが望ましくありうる。 [0108] An acoustic signal processing device (eg, device A100 or MF100) as described herein accepts a speech input to control certain operations, or otherwise produces a desired noise from background noise. It can be incorporated into an electronic device, such as a communication device, that can benefit from separation. Many applications can benefit from enhancing or separating the desired clear sound from background sound originating from multiple directions. Such applications may include human machine interfaces in electronic or computing devices that incorporate capabilities such as voice recognition and detection, speech enhancement and separation, voice activated controls, and the like. It may be desirable to implement such an acoustic signal processing device as appropriate in a device that provides only limited processing capabilities.
[0109]ここで説明されたモジュール、要素、およびデバイスの様々な実装の要素は、例えば、同じチップ上またはチップセット中の2つ以上のチップの間に存在する、電子デバイスおよび/または光デバイスとして組み立てられうる。このようなデバイスの1つの例は、トランジスタまたはゲートのような、論理要素の固定アレイまたはプログラマブルアレイである。ここで説明された装置の様々な実装の1つまたは複数の要素はまた、マイクロプロセッサ、組み込まれたプロセッサ、IPコア、デジタル信号プロセッサ、FPGA、ASSP、およびASICなどの、論理要素の1つまたは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の1つまたは複数のセットとして全体的にまたは部分的に実装されうる。 [0109] Elements of the various implementations of the modules, elements, and devices described herein may be electronic and / or optical devices that exist, for example, between two or more chips on the same chip or in a chipset Can be assembled as One example of such a device is a fixed or programmable array of logic elements, such as transistors or gates. One or more elements of the various implementations of the devices described herein may also include one or more of the logic elements such as a microprocessor, embedded processor, IP core, digital signal processor, FPGA, ASSP, and ASIC. It may be implemented in whole or in part as one or more sets of instructions configured to execute on multiple fixed or programmable arrays.
[0110]装置がその中に組み込まれているデバイスまたはシステムの別の動作に関連するタスクのような、装置の動作に直接的に関連しない命令の他のセットを実行するか、あるいはタスクを実行するために、ここで説明されたような装置の実装の1つまたは複数の要素が使用されることが可能である。このような装置の実装の1つまたは複数の要素が、共通の構造(例えば、異なる時間において、異なる要素に対応するコードの一部を実行するために使用されるプロセッサ、異なる時間において、異なる要素に対応するタスクを実行するように実行される命令のセット、あるいは、異なる時間において、異なる要素に対する動作を実行する、電子デバイスおよび/または光デバイスの構成)を有することも可能である。 [0110] Perform another set of instructions or perform a task that is not directly related to the operation of the device, such as a task related to another operation of the device or system in which the device is incorporated In order to do this, one or more elements of the implementation of the device as described herein can be used. One or more elements of an implementation of such a device may have a common structure (eg, a processor used to execute a portion of code corresponding to a different element at different times, a different element at different times It is also possible to have a set of instructions that are executed to perform a task corresponding to, or a configuration of electronic and / or optical devices that perform operations on different elements at different times.
Claims (38)
複数のチャネル信号を生成するために、前記複数の基底関数係数の第1のグループに対して可逆変換を実行することと、ここにおいて、前記複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる、
前記複数のチャネル信号に基づいて、(A)前記複数の基底関数係数の第2のグループの表現と、ここにおいて、前記第2のグループは、前記第1のグループとは異なり、(B)前記第2のグループの前記表現とは別である、前記複数のチャネル信号の表現と、を含むデータ構造を生成することと
を備える、方法。 A method of processing a plurality of basis function coefficients describing a sound field during a time interval, the method comprising:
Performing a reversible transformation on the first group of basis function coefficients to generate a plurality of channel signals, wherein each of the plurality of channel signals includes a corresponding different spatial region and Associated with,
Based on the plurality of channel signals, (A) a representation of the second group of the plurality of basis function coefficients, wherein the second group is different from the first group, and (B) the Generating a data structure that includes a representation of the plurality of channel signals that is separate from the representation of the second group.
請求項1に記載の方法。 The plurality of basis function coefficients are a plurality of coefficients of a spherical harmonic basis function,
The method of claim 1.
を含む、請求項1に記載の方法。 The plurality of channel signals includes a first channel signal associated with a first loudspeaker position and a second channel signal associated with a second loudspeaker position different from the first loudspeaker position. The method of claim 1 comprising:
を含む、請求項1に記載の方法。 The plurality of channel signals includes a first channel signal associated with a first spatial direction and a second channel signal associated with a second spatial direction different from the first spatial direction. The method of claim 1.
請求項4に記載の方法。 For each of the coefficients of the first group, the coefficient is in at least one direction within the first plane such that its energy is at least as much as along any direction outside the first plane. Corresponding to basis functions concentrated along, the first plane includes the first and second spatial directions;
The method of claim 4.
前記第1のグループの他の係数の各々について、前記係数は、そのエネルギが、第1の平面内の少なくとも1つの方向に沿って集中された基底関数に対応し、前記第1の平面は、前記第1および第2の空間方向を含む、
請求項4に記載の方法。 The first coefficient of the first group corresponds to a basis function that is omnidirectional;
For each of the other coefficients of the first group, the coefficient corresponds to a basis function whose energy is concentrated along at least one direction in the first plane, the first plane being Including the first and second spatial directions;
The method of claim 4.
請求項4に記載の方法。 For each of at least some of the coefficients of the second group, the coefficient is a basis function whose energy is concentrated along at least one direction out of the plane including the first and second spatial directions. Corresponding to
The method of claim 4.
請求項1に記載の方法。 The plurality of channel signals includes a set of channel signals, each signal of the set of channel signals being associated with a corresponding different one of a set of coplanar directions that are equally spaced from each other.
The method of claim 1.
前記複数の基底関数係数の前記第1のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第2のグループの前記係数の前記次数の中で最も低いものよりも少ない、
請求項1に記載の方法。 Each of the plurality of basis function coefficients has a corresponding order in the plurality of
For each of the first group of the plurality of basis function coefficients, the order of the coefficient is less than the lowest order of the coefficients of the second group of the plurality of basis function coefficients. Less
The method of claim 1.
前記複数の基底関数係数の前記第2のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第1のグループの前記係数の前記次数の中で最も高いものよりも大きい、
請求項1に記載の方法。 Each of the plurality of basis function coefficients has a corresponding order in the plurality of
For each of the second groups of the plurality of basis function coefficients, the order of the coefficients is higher than the order of the coefficients of the first group of the plurality of basis function coefficients. Is also big,
The method of claim 1.
請求項1に記載の方法。 The performing the reversible transformation comprises (A) calculating a product of the first group of the plurality of basis function coefficients and (B) a reversible matrix;
The method of claim 1.
を含む、請求項1に記載の方法。 The method of claim 1, wherein the data structure includes a first stream that includes the representation of the second group and a second stream that includes the representation of the plurality of channel signals.
前記複数のチャネル信号の前記表現は、前記時間領域サンプルのシーケンスに基づく、
請求項1に記載の方法。 The method includes converting each of the plurality of channel signals into a sequence of time domain samples;
The representation of the plurality of channel signals is based on the sequence of time domain samples;
The method of claim 1.
請求項1に記載の方法。 The method includes encoding a plurality of audio input signals to generate the plurality of basis function coefficients.
The method of claim 1.
請求項14に記載の方法。 Each of the plurality of audio input signals is based on a signal generated by a corresponding microphone of the microphone array;
The method according to claim 14.
データ構造から、(A)前記複数の基底関数係数の第2のグループの表現と、(B)前記第2のグループの前記表現とは別である、複数のチャネル信号の表現とを得ることと、ここにおいて、前記複数のチャネル信号のサブセットの各々は、対応する異なる空間領域と関連づけられる、
前記複数の基底関数係数の第1のグループを生成するために、前記複数のチャネル信号の前記サブセットに対して変換を実行することと、ここにおいて、前記第1のグループは、前記第2のグループとは異なる、
を備える、方法。 A method for obtaining a plurality of basis function coefficients describing a sound field during a time interval, the method comprising:
Obtaining from the data structure (A) a representation of the second group of the plurality of basis function coefficients and (B) a representation of a plurality of channel signals that is different from the representation of the second group. Where each of the plurality of subsets of channel signals is associated with a corresponding different spatial region;
Performing a transformation on the subset of the plurality of channel signals to generate a first group of the plurality of basis function coefficients, wherein the first group is the second group Different from the
A method comprising:
請求項16に記載の方法。 Each of the plurality of basis function coefficients corresponds to a unique one of the set of orthogonal basis functions;
The method of claim 16.
請求項16に記載の方法。 Each of the plurality of basis function coefficients corresponds to a unique one of a set of basis functions of spherical harmonics;
The method of claim 16.
前記複数のチャネル信号の前記サブセットの各信号は、同一平面上の方向のセットのうちの対応する異なる1つと関連づけられ、
前記第2の複数のチャネル信号の各々は、3次元空間に広がる方向のセットのうちの対応する異なる1つと関連づけられる、
請求項16に記載の方法。 The method comprises generating a second plurality of channel signals based on the plurality of basis function coefficients;
Each signal of the subset of the plurality of channel signals is associated with a corresponding different one of a set of coplanar directions;
Each of the second plurality of channel signals is associated with a corresponding different one of a set of directions extending in a three-dimensional space;
The method of claim 16.
複数のチャネル信号を生成するために、前記複数の基底関数係数の第1のグループに対して可逆変換を実行するための手段と、ここにおいて、前記複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる、
前記複数のチャネル信号に基づいて、(A)前記複数の基底関数係数の第2のグループの表現と、ここにおいて、前記第2のグループは、前記第1のグループとは異なり、(B)前記第2のグループの前記表現とは別である、前記複数のチャネル信号の表現と、を含むデータ構造を生成するための手段と
を備える、装置。 An apparatus for processing a plurality of basis function coefficients describing a sound field during a time interval, the apparatus comprising:
Means for performing a reversible transform on the first group of basis function coefficients to generate a plurality of channel signals, wherein each of the plurality of channel signals has a corresponding different space; Associated with a region,
Based on the plurality of channel signals, (A) a representation of the second group of the plurality of basis function coefficients, wherein the second group is different from the first group, and (B) the Means for generating a data structure comprising: a representation of the plurality of channel signals separate from the representation of the second group.
請求項20に記載の装置。 The plurality of basis function coefficients are a plurality of coefficients of a spherical harmonic basis function,
The apparatus of claim 20.
請求項20に記載の装置。 The plurality of channel signals includes a first channel signal associated with a first spatial direction and a second channel signal associated with a second spatial direction different from the first spatial direction.
The apparatus of claim 20.
請求項20に記載の装置。 For each of at least some of the coefficients of the second group, the coefficient is a basis function whose energy is concentrated along at least one direction out of the plane including the first and second spatial directions. Corresponding to
The apparatus of claim 20.
請求項20に記載の装置。 The plurality of channel signals includes a set of channel signals, each signal of the set of channel signals being associated with a corresponding different one of a set of coplanar directions that are equally spaced from each other.
The apparatus of claim 20.
前記複数の基底関数係数の前記第1のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第2のグループの前記係数の前記次数の中で最も低いものよりも少ない、
請求項20に記載の装置。 Each of the plurality of basis function coefficients has a corresponding order in the plurality of
For each of the first group of the plurality of basis function coefficients, the order of the coefficient is less than the lowest order of the coefficients of the second group of the plurality of basis function coefficients. Less
The apparatus of claim 20.
請求項20に記載の装置。 The means for performing the reversible transformation comprises means for calculating the product of (A) the first group of the plurality of basis function coefficients and (B) a reversible matrix.
The apparatus of claim 20.
前記複数のチャネル信号の前記表現は、前記時間領域サンプルのシーケンスに基づく、
請求項20に記載の装置。 The apparatus includes means for converting each of the plurality of channel signals into a sequence of time domain samples;
The representation of the plurality of channel signals is based on the sequence of time domain samples;
The apparatus of claim 20.
請求項20に記載の装置。 The apparatus includes means for encoding a plurality of audio input signals to generate the plurality of basis function coefficients;
The apparatus of claim 20.
複数のチャネル信号を生成するために、前記複数の基底関数係数の第1のグループに対して可逆変換を実行するように構成された計算器と、ここにおいて、前記複数のチャネル信号の各々は、対応する異なる空間領域と関連づけられる、
前記複数のチャネル信号に基づいて、(A)前記複数の基底関数係数の第2のグループの表現と、ここにおいて、前記第2のグループは、前記第1のグループとは異なり、(B)前記第2のグループの前記表現とは別である、前記複数のチャネル信号の表現と、を含むデータ構造を生成するように構成されたデータフォーマッタと
を備える、装置。 An apparatus for processing a plurality of basis function coefficients describing a sound field during a time interval, the apparatus comprising:
A calculator configured to perform a reversible transform on the first group of basis function coefficients to generate a plurality of channel signals, wherein each of the plurality of channel signals comprises: Associated with different corresponding spatial regions,
Based on the plurality of channel signals, (A) a representation of the second group of the plurality of basis function coefficients, wherein the second group is different from the first group, and (B) the An apparatus comprising: a data formatter configured to generate a data structure comprising: a representation of the plurality of channel signals separate from the representation of the second group.
請求項29に記載の装置。 The plurality of basis function coefficients are a plurality of coefficients of a spherical harmonic basis function,
30. Apparatus according to claim 29.
を含む、請求項29に記載の装置。 The plurality of channel signals includes a first channel signal associated with a first spatial direction and a second channel signal associated with a second spatial direction different from the first spatial direction. 30. Apparatus according to claim 29.
請求項29に記載の装置。 For each of at least some of the coefficients of the second group, the coefficient is a basis function whose energy is concentrated along at least one direction out of the plane including the first and second spatial directions. Corresponding to
30. Apparatus according to claim 29.
請求項29に記載の装置。 The plurality of channel signals includes a set of channel signals, each signal of the set of channel signals being associated with a corresponding different one of a set of coplanar directions that are equally spaced from each other.
30. Apparatus according to claim 29.
前記複数の基底関数係数の前記第1のグループの中の各々について、前記係数の前記次数は、前記複数の基底関数係数の前記第2のグループの前記係数の前記次数の中で最も低いものよりも少ない、
請求項29に記載の装置。 Each of the plurality of basis function coefficients has a corresponding order in the plurality of
For each of the first group of the plurality of basis function coefficients, the order of the coefficient is less than the lowest order of the coefficients of the second group of the plurality of basis function coefficients. Less
30. Apparatus according to claim 29.
請求項29に記載の装置。 The calculator is configured to calculate a product of (A) the first group of the plurality of basis function coefficients and (B) a reversible matrix.
30. Apparatus according to claim 29.
前記複数のチャネル信号の前記表現は、前記時間領域サンプルのシーケンスに基づく、
請求項29に記載の装置。 The apparatus includes a second calculator configured to convert each of the plurality of channel signals into a sequence of time domain samples;
The representation of the plurality of channel signals is based on the sequence of time domain samples;
30. Apparatus according to claim 29.
請求項29に記載の装置。 The apparatus includes an encoder configured to encode a plurality of audio input signals to generate the plurality of basis function coefficients.
30. Apparatus according to claim 29.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261671789P | 2012-07-15 | 2012-07-15 | |
US61/671,789 | 2012-07-15 | ||
US13/844,447 US9288603B2 (en) | 2012-07-15 | 2013-03-15 | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
US13/844,447 | 2013-03-15 | ||
PCT/US2013/046369 WO2014014600A1 (en) | 2012-07-15 | 2013-06-18 | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015525897A true JP2015525897A (en) | 2015-09-07 |
JP2015525897A5 JP2015525897A5 (en) | 2016-06-30 |
JP6105062B2 JP6105062B2 (en) | 2017-03-29 |
Family
ID=49914001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015521630A Active JP6105062B2 (en) | 2012-07-15 | 2013-06-18 | System, method, apparatus and computer readable medium for backward compatible audio encoding |
Country Status (9)
Country | Link |
---|---|
US (2) | US9288603B2 (en) |
EP (1) | EP2873252B1 (en) |
JP (1) | JP6105062B2 (en) |
KR (2) | KR101751241B1 (en) |
CN (1) | CN104471960B (en) |
ES (1) | ES2734512T3 (en) |
HU (1) | HUE044246T2 (en) |
IN (1) | IN2014MN02567A (en) |
WO (1) | WO2014014600A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180066137A (en) * | 2015-10-08 | 2018-06-18 | 돌비 인터네셔널 에이비 | Layered coding for compressed sound or sound field representations |
JP2018165841A (en) * | 2013-06-05 | 2018-10-25 | ドルビー・インターナショナル・アーベー | Audio signal encoding method and apparatus and audio signal decoding method and apparatus |
JP2022120119A (en) * | 2012-05-14 | 2022-08-17 | ドルビー・インターナショナル・アーベー | Method or apparatus for compressing or decompressing higher-order ambisonics signal representation |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
US8923997B2 (en) | 2010-10-13 | 2014-12-30 | Sonos, Inc | Method and apparatus for adjusting a speaker system |
US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
US8811630B2 (en) | 2011-12-21 | 2014-08-19 | Sonos, Inc. | Systems, methods, and apparatus to filter audio |
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
US9524098B2 (en) | 2012-05-08 | 2016-12-20 | Sonos, Inc. | Methods and systems for subwoofer calibration |
USD721352S1 (en) | 2012-06-19 | 2015-01-20 | Sonos, Inc. | Playback device |
US9106192B2 (en) | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9706323B2 (en) | 2014-09-09 | 2017-07-11 | Sonos, Inc. | Playback device calibration |
US9668049B2 (en) | 2012-06-28 | 2017-05-30 | Sonos, Inc. | Playback device calibration user interfaces |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US9690539B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration user interface |
US9690271B2 (en) | 2012-06-28 | 2017-06-27 | Sonos, Inc. | Speaker calibration |
US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
US9473870B2 (en) * | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
CN104471641B (en) | 2012-07-19 | 2017-09-12 | 杜比国际公司 | Method and apparatus for improving the presentation to multi-channel audio signal |
US8930005B2 (en) | 2012-08-07 | 2015-01-06 | Sonos, Inc. | Acoustic signatures in a playback system |
US8965033B2 (en) | 2012-08-31 | 2015-02-24 | Sonos, Inc. | Acoustic optimization |
US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
USD721061S1 (en) | 2013-02-25 | 2015-01-13 | Sonos, Inc. | Playback device |
US9769586B2 (en) | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
EP3293734B1 (en) | 2013-09-12 | 2019-05-15 | Dolby International AB | Decoding of multichannel audio content |
KR102381216B1 (en) | 2013-10-21 | 2022-04-08 | 돌비 인터네셔널 에이비 | Parametric reconstruction of audio signals |
US9489955B2 (en) | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
US10068577B2 (en) | 2014-04-25 | 2018-09-04 | Dolby Laboratories Licensing Corporation | Audio segmentation based on spatial metadata |
US9794712B2 (en) | 2014-04-25 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Matrix decomposition for rendering adaptive audio using high definition audio codecs |
US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
US10134403B2 (en) * | 2014-05-16 | 2018-11-20 | Qualcomm Incorporated | Crossfading between higher order ambisonic signals |
WO2016001355A1 (en) * | 2014-07-02 | 2016-01-07 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation |
KR102363275B1 (en) | 2014-07-02 | 2022-02-16 | 돌비 인터네셔널 에이비 | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation |
EP2963948A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
EP3164868A1 (en) * | 2014-07-02 | 2017-05-10 | Dolby International AB | Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation |
EP2963949A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation |
US9367283B2 (en) | 2014-07-22 | 2016-06-14 | Sonos, Inc. | Audio settings |
USD883956S1 (en) | 2014-08-13 | 2020-05-12 | Sonos, Inc. | Playback device |
US9891881B2 (en) | 2014-09-09 | 2018-02-13 | Sonos, Inc. | Audio processing algorithm database |
US10127006B2 (en) | 2014-09-09 | 2018-11-13 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9910634B2 (en) | 2014-09-09 | 2018-03-06 | Sonos, Inc. | Microphone calibration |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
US9774974B2 (en) * | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
US9984693B2 (en) * | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
US9973851B2 (en) | 2014-12-01 | 2018-05-15 | Sonos, Inc. | Multi-channel playback of audio content |
CN107106603A (en) * | 2015-01-14 | 2017-08-29 | 辉瑞大药厂 | Orally taken product |
WO2016172593A1 (en) | 2015-04-24 | 2016-10-27 | Sonos, Inc. | Playback device calibration user interfaces |
US10664224B2 (en) | 2015-04-24 | 2020-05-26 | Sonos, Inc. | Speaker calibration user interface |
USD886765S1 (en) | 2017-03-13 | 2020-06-09 | Sonos, Inc. | Media playback device |
USD906278S1 (en) | 2015-04-25 | 2020-12-29 | Sonos, Inc. | Media player device |
US20170085972A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Media Player and Media Player Design |
USD920278S1 (en) | 2017-03-13 | 2021-05-25 | Sonos, Inc. | Media playback device with lights |
USD768602S1 (en) | 2015-04-25 | 2016-10-11 | Sonos, Inc. | Playback device |
WO2016194563A1 (en) * | 2015-06-02 | 2016-12-08 | ソニー株式会社 | Transmission device, transmission method, media processing device, media processing method, and reception device |
US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
US9729118B2 (en) | 2015-07-24 | 2017-08-08 | Sonos, Inc. | Loudness matching |
US9538305B2 (en) | 2015-07-28 | 2017-01-03 | Sonos, Inc. | Calibration error conditions |
US9736610B2 (en) | 2015-08-21 | 2017-08-15 | Sonos, Inc. | Manipulation of playback device response using signal processing |
US9712912B2 (en) | 2015-08-21 | 2017-07-18 | Sonos, Inc. | Manipulation of playback device response using an acoustic filter |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
WO2017049169A1 (en) | 2015-09-17 | 2017-03-23 | Sonos, Inc. | Facilitating calibration of an audio playback device |
US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
US10249312B2 (en) | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
US9961467B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US9881628B2 (en) * | 2016-01-05 | 2018-01-30 | Qualcomm Incorporated | Mixed domain coding of audio |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
US9886234B2 (en) | 2016-01-28 | 2018-02-06 | Sonos, Inc. | Systems and methods of distributing audio to one or more playback devices |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
US9860670B1 (en) | 2016-07-15 | 2018-01-02 | Sonos, Inc. | Spectral correction using spatial calibration |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
US9913061B1 (en) | 2016-08-29 | 2018-03-06 | The Directv Group, Inc. | Methods and systems for rendering binaural audio content |
US10412473B2 (en) | 2016-09-30 | 2019-09-10 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
USD827671S1 (en) | 2016-09-30 | 2018-09-04 | Sonos, Inc. | Media playback device |
USD851057S1 (en) | 2016-09-30 | 2019-06-11 | Sonos, Inc. | Speaker grill with graduated hole sizing over a transition area for a media device |
US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
CN108200003B (en) * | 2016-12-08 | 2021-05-28 | 武汉斗鱼网络科技有限公司 | Audio data mixing processing method and device |
EP3566473B8 (en) * | 2017-03-06 | 2022-06-15 | Dolby International AB | Integrated reconstruction and rendering of audio signals |
GB2566992A (en) * | 2017-09-29 | 2019-04-03 | Nokia Technologies Oy | Recording and rendering spatial audio signals |
EP3756355A1 (en) * | 2018-02-22 | 2020-12-30 | Dolby International AB | Method and apparatus for processing of auxiliary media streams embedded in a mpeg-h 3d audio stream |
US10602298B2 (en) * | 2018-05-15 | 2020-03-24 | Microsoft Technology Licensing, Llc | Directional propagation |
US11062713B2 (en) | 2018-06-25 | 2021-07-13 | Qualcomm Incorported | Spatially formatted enhanced audio data for backward compatible audio bitstreams |
US20200013426A1 (en) * | 2018-07-03 | 2020-01-09 | Qualcomm Incorporated | Synchronizing enhanced audio transports with backward compatible audio transports |
US11081116B2 (en) * | 2018-07-03 | 2021-08-03 | Qualcomm Incorporated | Embedding enhanced audio transports in backward compatible audio bitstreams |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
US10932081B1 (en) | 2019-08-22 | 2021-02-23 | Microsoft Technology Licensing, Llc | Bidirectional propagation of sound |
CN113220287B (en) * | 2021-05-19 | 2024-06-11 | 类人思维(山东)智慧科技有限公司 | Computer automatic programming method, system, terminal and storage medium |
US11877143B2 (en) | 2021-12-03 | 2024-01-16 | Microsoft Technology Licensing, Llc | Parameterized modeling of coherent and incoherent sound |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012059385A1 (en) * | 2010-11-05 | 2012-05-10 | Thomson Licensing | Data structure for higher order ambisonics audio data |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09244663A (en) | 1996-03-04 | 1997-09-19 | Taimuuea:Kk | Transient response signal generating method, and method and device for sound reproduction |
US6577738B2 (en) | 1996-07-17 | 2003-06-10 | American Technology Corporation | Parametric virtual speaker and surround-sound system |
US6072878A (en) | 1997-09-24 | 2000-06-06 | Sonic Solutions | Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics |
EP1275272B1 (en) | 2000-04-19 | 2012-11-21 | SNK Tech Investment L.L.C. | Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions |
US7660424B2 (en) | 2001-02-07 | 2010-02-09 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
US20030007648A1 (en) | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
FR2847376B1 (en) * | 2002-11-19 | 2005-02-04 | France Telecom | METHOD FOR PROCESSING SOUND DATA AND SOUND ACQUISITION DEVICE USING THE SAME |
US7558393B2 (en) | 2003-03-18 | 2009-07-07 | Miller Iii Robert E | System and method for compatible 2D/3D (full sphere with height) surround sound reproduction |
US7447317B2 (en) | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
WO2005098821A2 (en) | 2004-04-05 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Multi-channel encoder |
DE102004042819A1 (en) | 2004-09-03 | 2006-03-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a coded multi-channel signal and apparatus and method for decoding a coded multi-channel signal |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US20090313029A1 (en) * | 2006-07-14 | 2009-12-17 | Anyka (Guangzhou) Software Technologiy Co., Ltd. | Method And System For Backward Compatible Multi Channel Audio Encoding and Decoding with the Maximum Entropy |
WO2008063034A1 (en) | 2006-11-24 | 2008-05-29 | Lg Electronics Inc. | Method for encoding and decoding object-based audio signal and apparatus thereof |
EP2094032A1 (en) | 2008-02-19 | 2009-08-26 | Deutsche Thomson OHG | Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same |
GB0817950D0 (en) | 2008-10-01 | 2008-11-05 | Univ Southampton | Apparatus and method for sound reproduction |
ES2733878T3 (en) | 2008-12-15 | 2019-12-03 | Orange | Enhanced coding of multichannel digital audio signals |
US8332229B2 (en) * | 2008-12-30 | 2012-12-11 | Stmicroelectronics Asia Pacific Pte. Ltd. | Low complexity MPEG encoding for surround sound recordings |
GB2476747B (en) | 2009-02-04 | 2011-12-21 | Richard Furse | Sound system |
JP5163545B2 (en) | 2009-03-05 | 2013-03-13 | 富士通株式会社 | Audio decoding apparatus and audio decoding method |
WO2011104463A1 (en) | 2010-02-26 | 2011-09-01 | France Telecom | Multichannel audio stream compression |
CN102823277B (en) | 2010-03-26 | 2015-07-15 | 汤姆森特许公司 | Method and device for decoding an audio soundfield representation for audio playback |
NZ587483A (en) | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
WO2012025580A1 (en) | 2010-08-27 | 2012-03-01 | Sonicemotion Ag | Method and device for enhanced sound field reproduction of spatially encoded audio input signals |
US20120093323A1 (en) | 2010-10-14 | 2012-04-19 | Samsung Electronics Co., Ltd. | Audio system and method of down mixing audio signals using the same |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
WO2012122397A1 (en) | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
EP2541547A1 (en) | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
WO2013068402A1 (en) | 2011-11-10 | 2013-05-16 | Sonicemotion Ag | Method for practical implementations of sound field reproduction based on surface integrals in three dimensions |
US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
US9190065B2 (en) | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
CN104584588B (en) | 2012-07-16 | 2017-03-29 | 杜比国际公司 | The method and apparatus for audio playback is represented for rendering audio sound field |
CN104471641B (en) | 2012-07-19 | 2017-09-12 | 杜比国际公司 | Method and apparatus for improving the presentation to multi-channel audio signal |
US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
US9131298B2 (en) | 2012-11-28 | 2015-09-08 | Qualcomm Incorporated | Constrained dynamic amplitude panning in collaborative sound systems |
US9736609B2 (en) | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
US9412385B2 (en) | 2013-05-28 | 2016-08-09 | Qualcomm Incorporated | Performing spatial masking with respect to spherical harmonic coefficients |
EP2866475A1 (en) | 2013-10-23 | 2015-04-29 | Thomson Licensing | Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups |
-
2013
- 2013-03-15 US US13/844,447 patent/US9288603B2/en active Active
- 2013-06-18 JP JP2015521630A patent/JP6105062B2/en active Active
- 2013-06-18 ES ES13731630T patent/ES2734512T3/en active Active
- 2013-06-18 KR KR1020157004013A patent/KR101751241B1/en active IP Right Grant
- 2013-06-18 CN CN201380037334.XA patent/CN104471960B/en active Active
- 2013-06-18 WO PCT/US2013/046369 patent/WO2014014600A1/en active Application Filing
- 2013-06-18 EP EP13731630.3A patent/EP2873252B1/en active Active
- 2013-06-18 KR KR1020177017001A patent/KR101993587B1/en active IP Right Grant
- 2013-06-18 IN IN2567MUN2014 patent/IN2014MN02567A/en unknown
- 2013-06-18 HU HUE13731630 patent/HUE044246T2/en unknown
-
2016
- 2016-02-11 US US15/041,965 patent/US9788133B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012059385A1 (en) * | 2010-11-05 | 2012-05-10 | Thomson Licensing | Data structure for higher order ambisonics audio data |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022120119A (en) * | 2012-05-14 | 2022-08-17 | ドルビー・インターナショナル・アーベー | Method or apparatus for compressing or decompressing higher-order ambisonics signal representation |
US11792591B2 (en) | 2012-05-14 | 2023-10-17 | Dolby Laboratories Licensing Corporation | Method and apparatus for compressing and decompressing a higher order Ambisonics signal representation |
JP7471344B2 (en) | 2012-05-14 | 2024-04-19 | ドルビー・インターナショナル・アーベー | Method or apparatus for compressing or decompressing a high-order Ambisonics signal representation - Patents.com |
JP2018165841A (en) * | 2013-06-05 | 2018-10-25 | ドルビー・インターナショナル・アーベー | Audio signal encoding method and apparatus and audio signal decoding method and apparatus |
KR20180066137A (en) * | 2015-10-08 | 2018-06-18 | 돌비 인터네셔널 에이비 | Layered coding for compressed sound or sound field representations |
KR102661914B1 (en) | 2015-10-08 | 2024-04-30 | 돌비 인터네셔널 에이비 | Layered coding of compressed sounds or sound field representations |
US12020714B2 (en) | 2015-10-08 | 2024-06-25 | Dolby International Ab | Layered coding for compressed sound or sound field represententations |
Also Published As
Publication number | Publication date |
---|---|
JP6105062B2 (en) | 2017-03-29 |
CN104471960A (en) | 2015-03-25 |
US9788133B2 (en) | 2017-10-10 |
EP2873252B1 (en) | 2019-04-10 |
KR20150038095A (en) | 2015-04-08 |
ES2734512T3 (en) | 2019-12-10 |
EP2873252A1 (en) | 2015-05-20 |
US9288603B2 (en) | 2016-03-15 |
KR101751241B1 (en) | 2017-06-27 |
US20140016784A1 (en) | 2014-01-16 |
CN104471960B (en) | 2017-03-08 |
IN2014MN02567A (en) | 2015-07-24 |
KR101993587B1 (en) | 2019-06-27 |
WO2014014600A1 (en) | 2014-01-23 |
KR20170075025A (en) | 2017-06-30 |
HUE044246T2 (en) | 2019-10-28 |
US20160219389A1 (en) | 2016-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6105062B2 (en) | System, method, apparatus and computer readable medium for backward compatible audio encoding | |
US9473870B2 (en) | Loudspeaker position compensation with 3D-audio hierarchical coding | |
US9478225B2 (en) | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients | |
KR102516625B1 (en) | Systems and methods for capturing, encoding, distributing, and decoding immersive audio | |
US9761229B2 (en) | Systems, methods, apparatus, and computer-readable media for audio object clustering | |
AU2015330758B2 (en) | Signaling layers for scalable coding of higher order ambisonic audio data | |
EP3204942B1 (en) | Signaling channels for scalable coding of higher order ambisonic audio data | |
US20140086416A1 (en) | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients | |
CN112823534B (en) | Signal processing device and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160511 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160511 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6105062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |