JP2022130638A - 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 - Google Patents
音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 Download PDFInfo
- Publication number
- JP2022130638A JP2022130638A JP2022105790A JP2022105790A JP2022130638A JP 2022130638 A JP2022130638 A JP 2022130638A JP 2022105790 A JP2022105790 A JP 2022105790A JP 2022105790 A JP2022105790 A JP 2022105790A JP 2022130638 A JP2022130638 A JP 2022130638A
- Authority
- JP
- Japan
- Prior art keywords
- hoa
- residual
- signal
- decompressed
- directional signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000007906 compression Methods 0.000 description 21
- NTABMUJQZABQGD-UHFFFAOYSA-N dimethylindole red Chemical compound CC1(C)C2=CC=CC=C2N(C)\C1=C\C=C\C1=CC=[N+](CCCS([O-])(=O)=O)C2=CC=CC=C12 NTABMUJQZABQGD-UHFFFAOYSA-N 0.000 description 20
- 230000006835 compression Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 16
- 230000005428 wave function Effects 0.000 description 14
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 13
- 230000006837 decompression Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 238000009499 grossing Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/86—Arrangements characterised by the broadcast information itself
- H04H20/88—Stereophonic broadcast systems
- H04H20/89—Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Percussion Or Vibration Massage (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】圧縮された高次アンビソニックス(HOA)表現を圧縮解除する方法および装置を提供する。【解決手段】方法は、圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号及び圧縮された残差の成分信号を知覚復号し、圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のHOA成分を取得し、圧縮解除された残差のHOA成分を、対応する低次化された残差のHOA成分に基づいて決定し、予測された方向性信号を決定し、圧縮解除された支配的な方向性信号と、予測された方向性信号と、圧縮解除された残差のHOA成分とに基づいて、HOA音場表現を決定する。【選択図】図2a
Description
本発明は、音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置に関する。
HOAと称する高次アンビソニックス表現は、三次元音声を表現する1つの方法である。他の技術は波面合成法(WFS)や22.2のようなチャンネルに基づく方法である。チャンネルに基づく方法と比較して、HOA表現には、特定のラウドスピーカの設定とは独立しているという利点がある。しかしながら、この柔軟性を得るためには特定のラウドスピーカの設定でHOA表現を再生するための復号処理が必要となる。通常、必要なラウドスピーカの数が大変多くなるWFSのアプローチと比較して、HOAは極めて少ない数のラウドスピーカのみで構成される設定にすることできる。HOAのさらなる利点は、ヘッドフォンへのバイノーラル・レンダリングにも変更を必要とすることなく同じ表現を利用することができる点にある。
HOAは、切断球面調和関数(SH)展開による複素調和平面波振幅の空間密度の表現に基づいている。各展開係数は角周波数の関数であり、これを時間領域関数によって同等に表現することができる。したがって、一般性を失うことなく、完全なHOA音場表現は、実際には、“Ο”時間領域関数から構成されるものと考えることができる。ここで、Οは、展開係数の数を表している。これらの時間領域関数と同等の意味を有するものとして、以下のHOA係数列を参照する。
HOA表現の空間解像度は、展開の最大次数Nの増加とともに向上する。残念ながら、展開係数の数“Ο”は、次数Nに対して二乗的に増加し、特にΟ=(N+1)2となる。例えば、次数N=4を使用した一般的なHOA表現には、Ο=25の個数のHOA(展開)係数が必要となる。上記の点を考慮して、HOA表現の伝送のための合計ビットレートは、所望の単一チャンネルのサンプリング・レートfsおよびサンプル毎のビットの数Nbが与えられると、Ο・fs・Nbによって求めることができる。サンプル毎にNb=16の個数のビットを使用してfs=48kHzのサンプリング・レートでの次数N=4のHOA表現を伝送すると、結果として、ビットレートは、19.2メガビット/秒となるが、これは、多くの実用的なアプリケーション、例えば、ストリーミングでは極めて高いビットレートである。したがって、HOA表現を圧縮することが大いに望まれている。
1次よりも高いHOA表現の圧縮を取り扱う既存の方法は殆ど存在しない。E.Hellerud、I.Burnett、A.Solvang、およびU.P.Svenssonによって探究されている最も直接的なアプローチ「Encoding Higher Order Ambisonics with AAC(AACを用いた高次アンビソニックスの符号化)」第124回AESコンベンション、アムステルダム、2008年は、知覚符号化アルゴリズムである、AAC(Advanced Audio Coding)を用いて個々のHOA係数列の直接的な符号化を行うものである。しかしながら、この手法に伴う固有の問題は、全く聴かれることのない信号の知覚符号化である。再構築された再生信号は、通常、HOA係数列の加重和によって得られ、特定のラウドスピーカの設定で圧縮解除されたHOA表現がレンダリングされる場合には、知覚符号化ノイズをマスク除去する可能性が高い。知覚符号化ノイズのマスク除去の抱える主要な問題は、個々のHOA係数列間の高い相互相関である。個々のHOA係数列における符号化ノイズ信号は、互いに相関していないため、知覚符号化ノイズの構造的な重畳が発生することがあり、それと同時に、その重畳でノイズのないHOA係数列がキャンセルされてしまう。別の問題は、これらの相互相関が知覚符号化器の効率の低下につながる点である。
双方の影響の程度を最小限にするために、欧州特許出願第2469742号(EP2469742A2)では、HOA表現を知覚符号化の前に離散空間領域において、等価な表現に変換することが提案されている。形式的には、離散空間領域は、何らかの離散方向でサンプリングされる、複素調和平面波振幅の空間密度と等価な時間領域である。したがって、離散空間領域は、“Ο”個の従来の時間領域信号によって表現される。この信号は、サンプリング方向から到来する一般的な平面波として解釈することができ、空間領域変換に対して想定されるものと厳密に同じ方向にラウドスピーカが位置しているのであれば、ラウドスピーカ信号に対応するであろう。
離散空間領域への変換により、個々の空間領域信号間の相互相関が低減するが、これらの相互相関は、完全には除去されない。比較的に高い相互相関の例は、空間領域信号によって包含される複数の隣接した方向の間を方向とする方向性信号である。
双方のアプローチの主な欠点は、知覚符号化される信号の数が(N+1)2であり、圧縮されたHOA表現のデータ・レートがアンビソニックスの次数Nの二乗で増加することである。
知覚符号化される信号の数を減少させるために、欧州特許出願公開第2665208号は、HOA表現を所与の最大数の支配的な方向性信号と残差のアンビエント成分とに分解することを提案している。知覚符号化されるべき信号の数の減少は、残差のアンビエント成分の次数を減少させることによって成し遂げることができる。この手法の背景にある理論的根拠は、支配的な方向性信号に関して高い空間解像度を維持する一方で、より低い次数のHOA表現によって十分な精度で残差を表現することにある。
このアプローチは、音場に関する仮定が満たされる限り、すなわち、音場が少ない数の支配的な方向性信号(これは、完全な次数Nで符号化された一般的な平面波関数を表現するものである。)と、方向性を有しない残差のアンビエント成分とからなるという仮定が満たされる限り、大変良好に機能する。しかしながら、分解の後、残差のアンビエント成分が依然として幾らかの支配的な方向性成分を含んでいる場合には、低次元化によって、分解の後のレンダリングの際に顕著に知覚される誤りが生じる。その仮定が満たされない場合のHOA表現の一般的な例は、Nよりも低い次数で符号化される一般的な平面波である。このようなNよりも低い次数の一般的な平面波は、音源の範囲が広がりを有するよう感じられるようにする芸術的な創作の結果として生ずることがあり、球形マイクロフォンによるHOA音場表現の収録に伴って生ずることもある。双方の例において、音場は、多数の相関性の高い空間領域信号によって表現される(説明については、高次アンビソニックスの空間解像度の項目を参照されたい。)。
本発明によって解決される課題は、欧州特許出願公開第2665208号に記載された処理の結果として生ずる不都合を解消することによって、他の従来技術の上述した不都合を回避することにある。この課題は、請求項1および3に開示されている方法によって解決される。これらの方法を利用する対応する装置は、請求項2および4に開示されている。
本発明は、欧州特許出願公開第2665208号に記載されたHOA音場表現圧縮処理を改良する。まず、欧州特許出願公開第2665208号と同様に、HOA表現が支配的な音源の存在に対して分析され、その方向が推定される。支配的な音源の方向の情報を用いて、HOA表現は一般的な平面波を表現する複数の支配的な方向性信号と残差の成分とに分解される。しかしながら、この残差のHOA成分の次数を直ちに減少させる代わりに、残差のHOA成分を表現する均一なサンプリング方向における一般的な平面波関数を取得するために、この残差のHOA成分が離散空間領域へ変換される。この後、これらの平面波関数が支配的な方向性信号から予測される。この処理を行う理由は、残差のHOA成分の部分が支配的な方向性信号と高い相関性を有している場合があるからである。
その予測は、少量の副情報のみを生み出すといった単純なものとすることができる。最も単純な場合では、予測は適切なスケーリングおよび遅延からなる。最終的に、予測誤りは再びHOA領域に変換され、低次元化が行われる残差のアンビエントHOA成分とされる。
有利には、残差のHOA成分から予測可能な信号を差し引く効果は、その全体の次数および支配的な方向性信号の残量を減少させることであり、このようにして、低次元化の結果として生じる分解誤りを低減することにある。
原理的には、本発明の圧縮方法は、音場に対するHOAと称する高次アンビソニックス表現を圧縮するのに適している。この方法は、
-HOA係数の現在の時間フレームから支配的な音源方向を推定するステップと、
-上記HOA係数および上記支配的な音源方向に依存して、上記HOA表現を時間領域内の支配的な方向性信号と残差のHOA成分とに分解するステップであって、上記残差のHOA成分を表現する均一なサンプリング方向において平面波関数を取得するために、上記残差のHOA成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータがもたらされ、対応する予測誤りが上記HOAの領域に再び変換される、上記分解するステップと、
-上記残差のHOA成分の現在の次数をより低い次数に低減するステップであって、結果として、低次元化された残差のHOA成分が得られる、上記低減するステップと、
-上記低次元化された残差のHOA成分を相関除去して対応する残差のHOA成分時間領域信号を取得するステップと、
-圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のHOA成分時間領域信号を知覚符号化するステップと、を含む。
-HOA係数の現在の時間フレームから支配的な音源方向を推定するステップと、
-上記HOA係数および上記支配的な音源方向に依存して、上記HOA表現を時間領域内の支配的な方向性信号と残差のHOA成分とに分解するステップであって、上記残差のHOA成分を表現する均一なサンプリング方向において平面波関数を取得するために、上記残差のHOA成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータがもたらされ、対応する予測誤りが上記HOAの領域に再び変換される、上記分解するステップと、
-上記残差のHOA成分の現在の次数をより低い次数に低減するステップであって、結果として、低次元化された残差のHOA成分が得られる、上記低減するステップと、
-上記低次元化された残差のHOA成分を相関除去して対応する残差のHOA成分時間領域信号を取得するステップと、
-圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のHOA成分時間領域信号を知覚符号化するステップと、を含む。
原理的には、本発明の圧縮装置は、音場に対するHOAと称する高次アンビソニックス表現の圧縮に適している。この装置は、
-HOA係数の現在の時間フレームから支配的な音源方向を推定するように構成された手段と、
-上記HOA係数および上記支配的な音源方向に依存して、上記HOA表現を時間領域内の支配的な方向性信号と残差のHOA成分とに分解するように構成された手段であって、上記残差のHOA成分を表現する均一なサンプリング方向で平面波関数を取得するために、上記残差のHOA成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータが供給され、対応する予測誤りが上記HOAの領域に再び変換される、上記手段と、
-上記残差のHOA成分の現在の次数をより低い次数に低減するように構成された手段であって、結果として、低次元化された残差のHOA成分が生成される、上記手段と、
-上記低次元化された残差のHOA成分を相関除去して、対応する残差のHOA成分時間領域信号を取得するように構成された手段と、
-圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のHOA成分時間領域信号を知覚符号化するように構成された手段と、を含む。
-HOA係数の現在の時間フレームから支配的な音源方向を推定するように構成された手段と、
-上記HOA係数および上記支配的な音源方向に依存して、上記HOA表現を時間領域内の支配的な方向性信号と残差のHOA成分とに分解するように構成された手段であって、上記残差のHOA成分を表現する均一なサンプリング方向で平面波関数を取得するために、上記残差のHOA成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータが供給され、対応する予測誤りが上記HOAの領域に再び変換される、上記手段と、
-上記残差のHOA成分の現在の次数をより低い次数に低減するように構成された手段であって、結果として、低次元化された残差のHOA成分が生成される、上記手段と、
-上記低次元化された残差のHOA成分を相関除去して、対応する残差のHOA成分時間領域信号を取得するように構成された手段と、
-圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のHOA成分時間領域信号を知覚符号化するように構成された手段と、を含む。
原理的には、本発明の圧縮解除方法は、上述した圧縮方法に従って圧縮された高次アンビソニックス表現の圧縮解除に適している。この方法は、
-圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するステップと、
-上記圧縮解除された時間領域信号を再相関させて、対応する低次元化された残差のHOA成分を取得するステップと、
-上記低次元化された残差のHOA成分の次数を当初の次数に拡張するステップであって、対応する圧縮解除された残差のHOA成分を供給する、上記拡張するステップと、
-上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のHOA成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用して、HOA係数の対応する圧縮解除され、再合成されたフレームを合成するステップと、を含む。
-圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するステップと、
-上記圧縮解除された時間領域信号を再相関させて、対応する低次元化された残差のHOA成分を取得するステップと、
-上記低次元化された残差のHOA成分の次数を当初の次数に拡張するステップであって、対応する圧縮解除された残差のHOA成分を供給する、上記拡張するステップと、
-上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のHOA成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用して、HOA係数の対応する圧縮解除され、再合成されたフレームを合成するステップと、を含む。
原理的には、本発明の圧縮解除装置は、上述した圧縮方法に従って圧縮された高次アンビソニックス表現の圧縮解除に適している。この装置は、
-圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するように構成された手段と、
-上記圧縮解除された時間領域信号を再相関させるように構成された手段であって、対応する低次元化された残差のHOA成分を取得する、上記手段と、
-上記低次元化された残差のHOA成分の次数を当初の次数に拡張するように構成された手段であって、対応する圧縮解除された残差のHOA成分を供給する、上記手段と、
-上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のHOA成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用することによってHOA係数の対応する圧縮解除され、再合成されたフレームを合成するように構成された手段と、を含む。
-圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するように構成された手段と、
-上記圧縮解除された時間領域信号を再相関させるように構成された手段であって、対応する低次元化された残差のHOA成分を取得する、上記手段と、
-上記低次元化された残差のHOA成分の次数を当初の次数に拡張するように構成された手段であって、対応する圧縮解除された残差のHOA成分を供給する、上記手段と、
-上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のHOA成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用することによってHOA係数の対応する圧縮解除され、再合成されたフレームを合成するように構成された手段と、を含む。
本発明の有利な追加的な実施形態は、各々の従属請求項に開示されている。
本発明の例示的な実施形態は、添付図面を参照して説明される。
圧縮処理
本発明に係る圧縮処理は、図1aおよび図1bの各々に例示されたステップである2つの連続するステップを含む。個々の信号の正確な定義は、HOA分解および再合成の詳細な説明の項目に記載されている。長さBのHOA係数列の重複しない入力フレームD(k)を用いた圧縮のためのフレーム単位の処理が使用される。ここで、kは、フレームのインデックスを表す。フレームは、下記の式(1)に特定されたHOA係数列に関して規定される。
ここで、Tsは、サンプリング期間を表す。
本発明に係る圧縮処理は、図1aおよび図1bの各々に例示されたステップである2つの連続するステップを含む。個々の信号の正確な定義は、HOA分解および再合成の詳細な説明の項目に記載されている。長さBのHOA係数列の重複しない入力フレームD(k)を用いた圧縮のためのフレーム単位の処理が使用される。ここで、kは、フレームのインデックスを表す。フレームは、下記の式(1)に特定されたHOA係数列に関して規定される。
図1aにおいて、HOA係数列のフレームD(k)は、支配的な音源方向推定ステップまたはステージ11に入力され、このステップ11で、支配的な方向性信号の存在に対してHOA表現が分析され、その方向が推定される。その方向の推定が行われ、例えば、欧州特許出願公開第2665208号に記載された処理によって行うことができる。その推定された方向は、
によって表される。ここで、添字Dは方向推定値の個数を表す。方向推定値は行列
に、下記のように配列されるものと仮定される。
暗黙的に、方向推定値は、これらを従前のフレームからの方向推定値に割り当てることによって適切に順序付けられるものと仮定される。したがって、個々の方向推定値の時間的な列は、支配的な音源の方向軌跡を記述するものと仮定される。特に、d番目の支配的な音源がアクティブでないと想定される場合には、
に無効値を割り当てることによってこれを示すことができる。そして、
において推定された方向を利用して、HOA表現は、分解ステップまたはステージ12に
おいて最大の数Dの支配的な方向性信号XDIR(k-1)と、支配的な方向性信号からの残差のHOA成分の空間領域信号の予測を記述する幾らかのパラメータζ(k-1)と、予測誤りを表すアンビエントHOA成分DA(k-2)とに分解される。HOA分解の項目でこの分解についての詳細な説明を行う。
おいて最大の数Dの支配的な方向性信号XDIR(k-1)と、支配的な方向性信号からの残差のHOA成分の空間領域信号の予測を記述する幾らかのパラメータζ(k-1)と、予測誤りを表すアンビエントHOA成分DA(k-2)とに分解される。HOA分解の項目でこの分解についての詳細な説明を行う。
図1bにおいて、方向性信号XDIR(k-1)の知覚符号化、および残差のアンビエントHOA成分DA(k-2)の知覚符号化が示されている。方向性信号XDIR(k-1)は、従来の時間領域信号であり、この信号は、任意の既存の知覚圧縮技術を使用して個々に圧縮することができる。アンビエントHOA領域成分DA(k-2)の圧縮は、2つの連続したステップまたはステージで実行することができる。低次元化ステップまたはステージ13において、アンビソニックス次数NREDの低減が行われる。ここで、例えばNRED=1である。結果として、アンビエントHOA成分DA,RED(k-2)が得られる。このような低次元化は、DA(k-2)において、NREDHOA係数のみを保持し、他の係数を破棄することによって行われる。復号器側では、以下に説明するように、省略された値に対して対応する零値が付加される。
なお、欧州特許出願公開第2665208号のアプローチと比較して、低減された次数NREDは、一般的には、小さくなるように選択されることがある。この理由は、全体の次数、さらに、残差のアンビエントHOA成分の方向性の残量が小さくなるからである。したがって、低次元化により、欧州特許出願公開第2665208号の場合と比較して誤りが小さくなる。
以下の相関除去ステップまたはステージ14において、低次元化されたアンビエントHOA成分DA,RED(k-2)を表現するHOA係数列は相関除去され、時間領域信号WA,RED(k-2)が得られる。この時間領域信号は、任意の知覚圧縮技術によって動作する(バンクの)パラレル知覚符号化器またはコンプレッサ15に入力される。この相関除去は、圧縮解除した後にHOA表現をレンダリングする際に知覚符号化ノイズのマスク除去を回避するために行われる(説明については、欧州特許出願第12305860号参照)。近似的な相関除去は、欧州特許出願公開第2469742号に記載されているように、球面調和変換を適用してDA,RED(k-2)を空間領域内のΟRED等価信号に変換することによって成し遂げることができる。
代替的には、欧州特許出願第12305861号において提案されている適応的球面調和変換を使用できる。ここでは、最大限の相関除去効果を得るためにサンプリング方向のグリッドを回転させる。別の代替的な相関解除技術は、欧州特許出願第12305860号に記載されているカルーネンレーベ変換(KLT)である。なお、これらの最後の2つのタイプの相関除去のために、HOA圧縮解除ステージでの相関除去の逆処理を可能にするべく、α(k-2)で表される何らかの副情報が供給される。
一実施形態においては、符号化効率を改善するために、全ての時間領域信号XDIR(k-1)およびWA,RED(k-2)の知覚圧縮が共に行われる。
圧縮解除処理
圧縮解除処理は図2aおよび図2bに示されている。圧縮処理の場合と同様に、圧縮解除処理は2つの連続したステップからなる。図2aにおいて、方向性信号
および残差のアンビエントHOA成分を表現する時間領域信号
の知覚圧縮解除が、知覚復号または知覚圧縮解除のステップまたはステージ21において行われる。結果として得られる知覚圧縮解除された時間領域信号
は次数NREDの残差の成分のHOA表現
を供給するために、再相関ステップまたはステージ22において再相関される。必要に応じて、この再相関は、ステップ/ステージ14に記載された2つの代替的な処理に対して記載されたのとは逆の手順で実行することができ、使用された相関解除方法に依存して送信あるいは格納されたパラメータα(k-2)が使用される。その後、次数拡張によって、次数拡張ステップまたはステージ23において、
から、次数Nの適切なHOA表現
が推定される。次数拡張は、対応する「零」値の列を
に付加することによって行われ、これにより、より高い次数に関し、HOA係数が零値を有するものと仮定する。
圧縮解除処理は図2aおよび図2bに示されている。圧縮処理の場合と同様に、圧縮解除処理は2つの連続したステップからなる。図2aにおいて、方向性信号
図2bにおいて、全てのHOA表現は、圧縮解除された支配的な方向性信号
が対応する方向
および予測パラメータζ(k-1)とから、さらに、残差のアンビエントHOA成分
から、合成ステップまたはステージ24において再合成される。結果として、HOA係数の圧縮解除され再合成されたフレーム
となる。
符号化効率を改善するために、全ての時間領域信号XDIR(k-1)およびWA,RED(k-2)の知覚圧縮が共に行われた場合には、圧縮された方向性信号
および圧縮された時間領域信号
の知覚圧縮解除もまた、対応する方法で共に行われる。
再合成の詳細な説明は、HOA再合成の項目に存在する。
HOA分解
HOA分解のために実行される処理を例示するブロック図が図3に与えられている。この処理を以下のように要約する。最初に、平滑化された支配的な方向性信号XDIR(k-1)は計算され、知覚圧縮のために出力される。次に、支配的な方向性信号のHOA表現DDIR(k-1)と当初のHOA表現D(k-1)との間の残差は、“Ο”個の数の方向性信号
によって表現される。これは、均一に分布した方向からの一般的な平面波と考えることができる。これらの方向性信号は、支配的な方向性信号XDIR(k-1)から予測される。ここで、予測パラメータζ(k-1)が出力される。最終的に、当初のHOA表現D(k-2)と支配的な方向性信号のHOA表現DDIR(k-1)との間の残差DA(k-2)が均一に分布した方向からの予測された方向性信号のHOA表現
と共に計算され、出力される。
HOA分解のために実行される処理を例示するブロック図が図3に与えられている。この処理を以下のように要約する。最初に、平滑化された支配的な方向性信号XDIR(k-1)は計算され、知覚圧縮のために出力される。次に、支配的な方向性信号のHOA表現DDIR(k-1)と当初のHOA表現D(k-1)との間の残差は、“Ο”個の数の方向性信号
詳細について述べる前に、連続するフレームの間の方向の変化が合成の間の全ての計算された信号に不連続を生じさせることがある点について述べる。したがって、まず、2Bの長さを有する重複するフレームの各々の信号の瞬時推定値が計算される。第2に、連続する重複するフレームの結果が適切な窓関数を使用して平滑化される。しかしながら、各平滑化は、1フレーム分の待ち時間を伴う。
瞬時支配的な方向性信号の計算
HOA係数列の現在のフレームD(k)に対する
内の推定された音源方向からの、ステップまたはステージ30での瞬時支配的な方向信号の計算は、M.A.Poletti著、“Three-Dimensional Surround Sound Systems Based on Spehrical Harmonics(球面調和関数に基づく3次元サラウンド・サウンド・システム)”、アメリカ音響学会誌、53(11)、1004~1025頁、2005年、に記載されたモード・マッチングに基づいている。特に、所与のHOA信号の最も良い近似となるHOA表現の方向性信号がサーチされる。
HOA係数列の現在のフレームD(k)に対する
さらに、一般性を失うことなく、下記の式に従って、傾斜角θDOM,d(k)∈[0,π]および方位角φDOM,d(k)∈[0,2π](図5に示す内容を参照されたい。)のベクトルによって、アクティブな支配的な音源の各方向の推定値
を明確に特定できるものと仮定する。
まず、アクティブ音源の方向推定値に基づくモード行列は、下記の式に従って計算され、
ここで、
式(4)において、DACT(k)は、k番目のフレームに対するアクティブな方向の数を表しており、dACT,j(k),1≦j≦DACT(k)は、それらの添え字を示している。また、
は、実数値の球面調和関数を示しており、これは、実数値の球面調和関数の定義の項目で定義されている。
第2に、行列
が下記の式にしたがって計算され、これは、(k-1)番目およびk番目のフレームに対する全ての支配的な方向性信号の瞬時推定値を含む。
ここで、
この計算は、2つのステップで行うことができる。第1のステップにおいては、アクティブでない方向に対応する列の方向性信号サンプルが零に設定され、すなわち、以下のようになる。
ここで、MACT(k)は、アクティブな方向の組である。第2のステップにおいて、アクティブな方向に対応する方向性信号サンプルは、まず、これらを下記に従った行列に配列することによって取得できる。
この行列は、次に、下記の誤りのユークリッドノルムを最小にするように計算される。
この解は、下記の式によって与えられる。
時間的平滑化
ステップまたはステージ31に関しては、方向性信号
についてのみ平滑化を説明する。その理由は、信号の他のタイプの平滑化は、完全に類似の方法で行うことができるからである。式(6)に従った行列
にサンプルが含まれる方向性信号の推定値
は、適切な窓関数w(l)によって窓を掛けられる。
この窓関数は、重複領域においてシフトされたバージョンを用いて(B個のサンプルのシフトがあると仮定する)、合計で「1」となる条件を満たさなければならない。
このような窓関数の例は、下記の式によって定義されるハン窓(Hann window)によって与えられる。
(k-1)番目のフレームに対する平滑化された方向性信号は、下記の式に従って窓を掛けられた瞬時推定値の適切な重ね合わせによって計算される。
(k-1)番目のフレームに対する全ての平滑化された方向性信号のサンプルは、下記の行列XDIR(k-1)に配列される。
ここで、
平滑化された支配的な方向性信号xDIR,d(l)は連続した信号であると想定され、これらの信号は知覚符号化器に順次入力される。
ステップまたはステージ31に関しては、方向性信号
平滑化された支配的な方向性信号のHOA表現の計算
XDIR(k-1)および
から、ステップまたはステージ32において、連続的な信号xDIR,d(l)に依存して、HOA合成のために行われる処理と同様の処理を真似るために、平滑化された支配的な方向性信号のHOA表現が計算される。連続するフレーム間の方向推定値の変化が不連続を生じさせることがあるため、長さ2Bの重複するフレームの瞬時HOA表現が再び計算され、連続して重複するフレームの結果が適切な窓関数を使用することによって平滑化される。よって、HOA表現DDIR(k-1)は、以下の式によって取得される。
ここで、
さらに、
XDIR(k-1)および
均一なグリッド上の方向性信号によって残差HOA表現を表現すること
DDIR(k-1)およびD(k-1)(すなわち、フレーム遅延381によって遅延されたD(k))から、均一なグリッド上の方向性信号による残差HOA表現がステップまたはステージ33で計算される。この処理の目的は、残差[D(k-2)D(k-1)]-[DDIR(k-2)DDIR(k-1)]を表すために、何らかの固定された、ほぼ均一に分布する方向
(グリッド方向とも称する)から到来する方向性信号(すなわち、一般的な平面波関数)を取得することにある。
DDIR(k-1)およびD(k-1)(すなわち、フレーム遅延381によって遅延されたD(k))から、均一なグリッド上の方向性信号による残差HOA表現がステップまたはステージ33で計算される。この処理の目的は、残差[D(k-2)D(k-1)]-[DDIR(k-2)DDIR(k-1)]を表すために、何らかの固定された、ほぼ均一に分布する方向
支配的な方向性信号からの均一なグリッド上の方向性信号の予測
およびXDIR(k-1)から、ステップまたはステージ34で均一なグリッド上の方向性信号が予測される。方向性信号からのグリッド方向
から構成される均一なグリッド上の方向性信号の予測は、平滑化の目的で、2つの連続したフレームに基づく、すなわち、(長さ2Bの)グリッド信号
の拡張されたフレームは、平滑化された支配的な方向性信号の拡張されたフレームから下記のように予測される。
最初に、
に含まれる各グリッド信号
が
に含まれる支配的な方向性信号
に割り当てられる。この割り当ては、グリッド信号と全ての支配的な方向性信号との間の正規化された相互相関関数の計算に基づくことができる。特に、その支配的な方向性信号はグリッド信号に割り当てられ、これは正規化された相互相関関数の最も高い値をもたらすグリッド。この割り当ての結果は、ο番目のグリッド信号をfA,k-1(ο)番目の支配的な方向性信号に割り当てる割り当て関数
によって定式化することができる。
次に、各グリッド信号
は、割り当てられた支配的な方向性信号
から予測される。予測されたグリッド信号
は、割り当てられた支配的な方向性信号
からの遅延およびスケーリングによって、以下のように計算することができる。
ここで、Kο(k-1)は、スケーリング係数であり、Δο(k-1)は、サンプル遅延を示している。これらのパラメータは、予測誤りを最小にするように選択される。
予測誤りの次数がグリッド信号自体のものよりも大きい場合には、予測が失敗していると想定される。そして、各予測パラメータを任意の無効値に設定することができる。
なお、予測を他のタイプにすることも可能である。例えば、全帯域のスケーリング係数を計算するかわりに、知覚指向の周波数帯域に対するスケーリング係数を求めることも合理的である。しかしながら、この処理では、予測が改善するものの、副情報の量が増えてしまう。
残差のアンビエント音場成分のHOA表現の計算
の(ステップ/ステージ36における)時間的平滑化されたバージョンである
と、D(k)の2フレーム遅延されたバージョンである(遅延381および383)D(k-2)と、DDIR(k-1)の1フレーム遅延されたバージョン(遅延382)であるDDIR(k-2)とから、残差のアンビエント音場成分のHOA表現がステップまたはステージ37において、下記の式によって計算される。
HOA再合成
図4における個々のステップまたはステージの処理について詳細に説明する前に、概要について述べる。均一に分布した方向に対して方向性信号
は、予測パラメータ
を使用して、復号された支配的な方向性信号
から予測される。次に、支配的な方向性信号のHOA表現
と、予測された方向性信号のHOA表現
と、残差のアンビエントHOA成分
とから、全体のHOA表現
が合成される。
図4における個々のステップまたはステージの処理について詳細に説明する前に、概要について述べる。均一に分布した方向に対して方向性信号
支配的な方向性信号のHOA表現の計算
および
は、支配的な方向性信号のHOA表現を求めるために、ステップまたはステージ41に入力される。モード行列
および
をk番目および(k-1)番目のフレームに対するアクティブな音源の方向推定値に基づいて方向推定値
および
から計算した後、支配的な方向性信号
のHOA表現は、下記のように取得される。
ここで、
並びに、
支配的な方向性信号から均一なグリッド上の方向性信号の予測
および
は、支配的な方向性信号から均一なグリッド上の方向性信号を予測するため
に、ステップまたはステージ43に入力される。均一なグリッド上の予測された方向性信
号の拡張フレームは、下記の式に従って要素
から構成される。
これは、下記の式によって支配的な方向性信号から予測される。
に、ステップまたはステージ43に入力される。均一なグリッド上の予測された方向性信
号の拡張フレームは、下記の式に従って要素
均一なグリッド上の予測された方向性信号のHOA表現の計算
均一なグリッド上の予測された方向性信号のHOA表現を計算するステップまたはステージ44において、予測されたグリッド方向性信号のHOA表現は、下記の式によって取得される。
ここで、ΞGRIDは、所定のグリッド方向に対するモード行列を表す(定義については、等式(21)を参照。)。
均一なグリッド上の予測された方向性信号のHOA表現を計算するステップまたはステージ44において、予測されたグリッド方向性信号のHOA表現は、下記の式によって取得される。
HOA音場表現の合成
(すなわち、フレーム遅延42によって遅延された
)と、
(ステップ/ステージ45において、
の時間的平滑化されたバージョン)と、
とから、ステップまたはステージ46において全体の音場表現が最終的に下記のように合成される。
高次アンビソニックスの基礎
高次アンビソニックスは注目されるコンパクトな領域内の音場の記述に基づいていており、音源が存在しないものと仮定される。その場合、注目領域内の時間tおよび位置xでの音圧p(t,x)の空間時間的な挙動は、均質媒質の波動方程式によって物理的に完全に求められる。以下の内容は、図5に示された球面座標システムに基づいている。x軸は、前方の位置を指し、y軸は、左側を指し、z軸は上方を指す。空間内の位置x=(r,θ,φ)Tは、半径r>0(すなわち、座標原点へ距離)、極軸zから測定される傾斜角θ∈[0,π]、さらに、x軸からの、x-y平面内で反時計周りに測定される、方位角φ∈[0,2π]によって表される。(・)Tは、転置を表す。
高次アンビソニックスは注目されるコンパクトな領域内の音場の記述に基づいていており、音源が存在しないものと仮定される。その場合、注目領域内の時間tおよび位置xでの音圧p(t,x)の空間時間的な挙動は、均質媒質の波動方程式によって物理的に完全に求められる。以下の内容は、図5に示された球面座標システムに基づいている。x軸は、前方の位置を指し、y軸は、左側を指し、z軸は上方を指す。空間内の位置x=(r,θ,φ)Tは、半径r>0(すなわち、座標原点へ距離)、極軸zから測定される傾斜角θ∈[0,π]、さらに、x軸からの、x-y平面内で反時計周りに測定される、方位角φ∈[0,2π]によって表される。(・)Tは、転置を表す。
Ft(・)によって表される時間に対する音圧のフーリエ変換、すなわち、
は下記の式に従った一連の球面調和関数に拡張される(E.G. Williams著“Fourier Acoustics(フーリエ・アコースティックス))”、応用数理科学、第93巻、アカデミックプレス社、1999年参照)。ここで、ωは角周波数を表し、iは虚数単位を表す。
ここで、csは音速を示し、kは角波数を示し、この角波数kはk=ω/csによって角周波数ωに関連している。jn(・)は、第1種球ベッセル関数を表しており、
は、実数値の球面調和関数の定義の項目で定義されている次数nおよび位数mの実数値の球面調和関数を示している。展開係数
は、角波数kのみに依存する。なお、音圧は、空間的に帯域制限されているものと暗黙的に仮定されている。したがって、級数が次数インデックスnに対して上限Nで打ち切られ、これは、HOA表現の次数と呼ばれる。
音場が相異なる角周波数の調和平面波ωの無限個の重ね合わせによって表現され、角の組(θ,φ)によって特定される全ての想定可能な方向から到来する場合には、各々の平面波複素振幅関数D(ω,θ,φ)は、下記の球面調和展開によって表すことができることが分かる(B. Rafaely著、“Plane-wave Decomposition of the Sound Field on a Sphere by Spherical Convolution(球面畳み込みによる球面上の音場の平面波分解)”、米国音響学会誌4(116)、2149-2157頁、2004年参照)。
ここで、展開係数
は、
と下記の式によって関連する。
個々の係数
が角周波数ωの関数であると仮定すると、逆フーリエ変換(
によって示される)を適用することにより、各次数nおよび位数mに対し、下記の時間領域関数をもたらす。
これは、次数nおよび位数mに対して、下記の単一のベクトルにまとめられる。
ベクトルd(t)内の時間領域関数
の位置インデックスは、n(n+1)+1+mによって与えられる。
最終的なアンビソニックス形式は、サンプリング周波数fsを使用して、下記のd(t)のサンプリングされたバージョンをもたらす。
ここで、Ts=1/fsは、サンプリング期間を示す。d(lTs)の要素は、アンビソニックス係数として参照される。なお、時間領域信号、
は、実数値であり、したがって、アンビソニックス係数は、実数値である。
実数値の球面調和関数の定義
実数値の球面調和関数
は、下記の式によって与えられる。
ここで
関連するルジャンドル関数Pn,m(x)は、下記の式で定義される。
ここで、ルジャンドル多項式Pn(x)を用い、上述した、E.G.Williams著のテキストブックの場合とは異なり、コンドン-ショートレーの位相項(-1)mを用いない。
実数値の球面調和関数
高次アンビソニックスの空間解像度
方向Ω0=(θ0,φ0)Tから到来する一般的な平面波関数x(t)は、下記の式によってHOAにおいて表現される。
平面波振幅の対応する空間密度
は、下記の式によって与えられる。
式(48)から理解されるように、これは、一般的な平面波関数x(t)と空間分散関数νN(θ)との積であり、空間分散関数νN(θ)は、下記の式の特性を有するΩとΩ0との間の角度θのみに依存するように示されている。
想定のとおり、無限次元の極限、つまり、N→∞である場合おいて、空間分散関数はディラックのデルタ関数δ(・)、すなわち、下記のように変化する。
しかしながら、有限次元Nの場合には、方向Ω0からの一般的な平面波の寄与は、近隣の方向ににじみ、このにじみの度合いは次数の増加に伴い減少する。Nの複数の異なる値に対する正規化された関数νN(θ)のプロットが図6に示されている。任意の方向Ωでの平面波振幅の空間密度の時間領域の挙動は、他の任意の方向での平面波振幅の空間密度の時間領域の挙動の倍数となることが指摘される。特に、時間tに対して、何らかの固定方向Ω1およびΩ2についての関数d(t,Ω1)およびd(t,Ω2)は、高い相関性がある。
方向Ω0=(θ0,φ0)Tから到来する一般的な平面波関数x(t)は、下記の式によってHOAにおいて表現される。
離散空間領域
平面波振幅の空間密度がΟ個の空間方向Ωo(1≦ο≦Οで離散化される場合、空間方向Ωoは単位球面上でほぼ均一に分布するのだが、Ο個の方向性信号d(t,Ωo)が取得される。これらの信号をベクトルにまとめると、下記の式で表され、
式(47)を使用してこのベクトルを、下記のような単純な行列乗算によって式(41)に定義される連続的なアンビソニックス表現d(t)から計算することができることを検証できる。
dSPAT(t)=ΨHd(t) (52)
ここで、(・)Hは、複素共役転置を示し、Ψは、下記の式によって定義されるモード行列を表す。
ここで、
方向Ωoは単位球面上にほぼ均一に分布しているため、一般的には、モード行列は可逆である。したがって、連続的なアンビソニックス表現は、方向性信号d(t,Ωo)から下記の式によって計算することができる。
d(t)= Ψ-HdSPAT(t) (55)
双方の式は、アンビソニックス表現と空間領域との間の変換および逆変換を構成する。本願において、これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。
平面波振幅の空間密度がΟ個の空間方向Ωo(1≦ο≦Οで離散化される場合、空間方向Ωoは単位球面上でほぼ均一に分布するのだが、Ο個の方向性信号d(t,Ωo)が取得される。これらの信号をベクトルにまとめると、下記の式で表され、
dSPAT(t)=ΨHd(t) (52)
ここで、(・)Hは、複素共役転置を示し、Ψは、下記の式によって定義されるモード行列を表す。
d(t)= Ψ-HdSPAT(t) (55)
双方の式は、アンビソニックス表現と空間領域との間の変換および逆変換を構成する。本願において、これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。
符号化側、さらに復号側においても、本発明の処理を単一のプロセッサまたは電子回路、または、並列に動作する、および/または、本発明の処理の複数の異なる部分に対して動作する、幾つかのプロセッサまたは電子回路で実行することができる。
本発明は、家庭環境におけるラウドスピーカ構成上で、または、劇場におけるラウドスピーカ構成上でレンダリングおよび再生が可能な音声信号に対応する処理に適用することができる。
いくつかの態様を記載しておく。
〔態様1〕
音場に対するHOAと称する高次アンビソニックス表現を圧縮する方法であって、
-HOA係数(D(k))の現在の時間フレームから支配的な音源方向(
)を推定するステップ(11)と、
-前記HOA係数(D(k))および前記支配的な音源方向(
)に依存して、前記HOA表現を時間領域内の支配的な方向性信号(XDIR(k-1))と残差のHOA成分(DA(k-2))とに分解するステップ(12)であって、該残差のHOA成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のHOA成分が離散空間領域に変換され(33)、前記平面波関数が前記支配的な方向性信号(XDIR(k-1))から予測されること(34)によって、前記予測を記述するパラメータ(ζ(k-1))がもたらされ、対応する予測誤りが前記HOAの領域に再び変換される(35)、該ステップ(12)と、
-前記残差のHOA成分(DA(k-2))の現在の次数(N)をより低い次数(NRED)に低減するステップ(13)であって、結果として、低次元化された残差のHOA成分(DA,RED(k-2))が得られる、該ステップ(13)と、
-前記低次元化された残差のHOA成分(DA,RED(k-2)を相関除去して対応する残差のHOA成分時間領域信号(WA,RED(k-2))を取得するステップ(14)と、
-圧縮された支配的な方向性信号(
)および圧縮された残差の成分信号(
)を供給するように、前記支配的な方向性信号(XDIR(k-1))および前記残差のHOA成分時間領域信号(WA,RED(k-2))を知覚符号化するステップ(15)と、
を含む、前記方法。
〔態様2〕
音場に対するHOAと称する高次アンビソニックス表現を圧縮する装置であって、
-HOA係数(D(k))の現在の時間フレームから支配的な音源方向(
)を推定するように構成された手段(11)と、
-前記HOA係数(D(k))および前記支配的な音源方向(
)に依存して、前記HOA表現を時間領域内の支配的な方向性信号(XDIR(k-1))と残差のHOA成分(DA(k-2))とに分解するように構成された手段(12)であって、該残差のHOA成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のHOA成分が離散空間領域に変換され(33)、前記平面波関数が前記支配的な方向性信号(XDIR(k-1)から予測されること(34)によって前記予測を記述するパラメータ(ζ(k-1))がもたらされ、対応する予測誤りが前記HOAの領域に再び変換される(35)、前記手段(12)と、
-前記残差のHOA成分(DA(k-2))の現在の次数(N)をより低い次数(NRED)に低減するように構成された手段(13)であって、結果として、低次元化された残差のHOA成分(DA,RED(k-2))を生成する、該手段(13)と、
-前記低次元化された残差のHOA成分(DA,RED(k-2)を相関除去して、対応する残差のHOA成分時間領域信号(WA,RED(k-2))を取得するように構成された手段(14)と、
-圧縮された支配的な方向性信号(
)および圧縮された残差の成分信号(
)を供給するように、前記支配的な方向性信号(XDIR(k-1)および前記残差のHOA成分時間領域信号(WA,RED(k-2))を知覚符号化するように構成された手段と、
を備える、前記装置。
〔態様3〕
態様1に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する方法であって、
-圧縮解除された支配的な方向性信号(
)および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号(
)を供給するように、前記圧縮された支配的な方向性信号(
)および前記圧縮された残差の成分信号(
)を知覚復号するステップ(21)と、
-前記圧縮解除された時間領域信号(
)を再相関させて、対応する低次元化された残差のHOA成分(
)を取得するステップ(22)と、
-前記低次元化された残差のHOA成分(
)の次数(NRED)を当初の次数(N)に拡張するステップ(23)であって、それによって対応する圧縮解除された残差のHOA成分(
)を供給する、該ステップ(23)と、
-前記圧縮解除された支配的な方向性信号(
)と、前記推定された(11)支配的な音源方向(
)と、前記予測を記述する前記パラメータ(ζ(k-1))とを使用して、HOA係数の対応する圧縮解除され、再合成されたフレーム
を合成するステップ(24)と、
を含む、前記方法。
〔態様4〕
態様1に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する装置であって、
-圧縮解除された支配的な方向性信号(
)および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号(
)を供給するように、前記圧縮された支配的な方向性信号(
)および前記圧縮された残差の成分信号(
)を知覚復号するように構成された手段(21)と、
-前記圧縮解除された時間領域信号(
)を再相関させて、対応する低次元化された残差のHOA成分(
)を取得するように構成された手段(22)と、
-前記低次元化された残差のHOA成分(
)の次数(NRED)を当初の次数(N)に拡張するように構成された手段(23)であって、それによって対応する圧縮解除されたHOA成分(
)を供給する、該手段(23)と、
-前記圧縮解除された支配的な方向性信号(
)と、前記当初の次数の圧縮解除された残差のHOA成分(
)と、前記予測を記述する前記パラメータ(ζ(k-1))とを使用して、HOA係数の対応する圧縮解除され、再合成されたフレーム(
)を合成するように構成された手段(24)と、
を備える、前記装置。
〔態様5〕
前記低次元化された残差のHOA成分(DA,RED(k-2))の前記相関除去(14)は、球面調和関数変換を使用して、前記低次元化された残差のHOA成分を空間領域内で対応する次数の等価信号に変換することによって行われる、態様1に記載の方法、または態様2に記載の装置。
〔態様6〕
前記低次元化された残差のHOA成分(DA,RED(k-2))の前記相関除去(14)は、球面調和関数変換を使用して、前記低次元化された残差のHOA成分を空間領域内で対応する次数の等価信号に変換することによって行われ、前記相関除去の反転を可能にする副情報(α(k-2))を提供することによって、サンプリング方向のグリッドが回転されて最大限の相関除去効果を得る、態様1に記載の方法、または態様2に記載の装置。
〔態様7〕
前記支配的な方向性信号(XDIR(k-1))および前記残差のHOA成分時間領域信号(WA,RED(k-2))の知覚圧縮(15)が共に行われ、前記圧縮された方向性信号(
)および前記圧縮された時間領域信号(
)の前記知覚圧縮(21)が対応する方法で共に行われる、態様1、3、5、および6のいずれか1項に記載の方法、または態様2および4~6のいずれか1項に記載の装置に従った方法。
〔態様8〕
前記分解するステップ(12)は、
-HOA係数の現在のフレーム(D(k))に対して(
)における推定された音源方向から支配的な方向性信号(
)を計算するステップ(30)であって、その後の時間的平滑化(31)によって平滑化された支配的な方向性信号(XDIR(k-1))が取得される、該ステップと、
-(
)における前記推定された音源方向および前記平滑化された支配的な方向性信号(XDIR(k-1))から平滑化された支配的な方向性信号(DDIR(k-1))のHOA表現を計算するステップ(32)と、
)による対応する残差のHOA表現を表現するステップ(33)と、
-前記平滑化された支配的な方向性信号(XDIR(k-1))および方向性信号(
)による前記残差のHOA表現から、均一なグリッド上の方向性信号(
)を予測し(34)、該予測から均一なグリッド上の予測された方向性信号のHOA表現を計算し(35)、その後、時間的平滑化を行う(36)、ステップと、
-均一なグリッド上での前記平滑化された予測された方向性信号(
)と、HOA係数の前記現在のフレーム(D(k))の2フレーム遅延したバージョンと、前記平滑化された支配的な方向性信号(XDIR(k-1))の1フレーム遅延したバージョンとから、残差のアンビエント音場成分のHOA表現(DA(k-2))を計算するステップと、
を含む、態様1および5~7のいずれか1項に記載の方法に従った方法、または態様2および5~7のいずれか1項に記載の装置に従った装置。
〔態様9〕
前記合成するステップ(24)は、
-HOA係数の現在のフレーム(D(k))に対して前記推定された音源方向(
)と、前記圧縮解除された支配的な方向性信号(
)とから、支配的な方向性信号(
)のHOA表現を計算するステップ(41)と、
前記圧縮解除された支配的な方向性信号(
)と、前記予測を記述した前記パラメータ(ζ(k-1))とから、均一なグリッド上の方向性信号
を予測するステップ(43)と、当該予測から、均一なグリッド上の予測された方向性信号のHOA表現
を計算するステップ(44)であって、その後に、時間的平滑化を行う
、該ステップと、
-均一なグリッド上の予測された方向性信号
の前記平滑化されたHOA表現と、支配的な方向性信号(
)の前記HOA表現の1フレーム遅延された(42)バージョンと、前記圧縮解除された残差のHOA成分(
)とから、HOA音場表現(
)を合成するステップ(46)と、
を含む、態様3または7に記載の方法に従った方法、または態様4または7に記載の装置に従った装置。
〔態様10〕
均一なグリッド上の方向性信号(
)の前記予測(34)において、予測されたグリッド信号(
)が、割り当てられた支配的な方向性信号(
)からの遅延および全帯域スケーリングによって計算される、態様8に記載の方法に従った方法、または態様8に記載の装置に従った装置。
〔態様11〕
均一なグリッド上の方向性信号(
)の前記予測(34)において、知覚指向の周波数帯域に対するスケーリング係数が求められる、態様8に記載の方法に従った方法、または態様8に記載の装置に従った装置。
〔態様12〕
態様1、5~8、10、および11のいずれか1項に記載の方法に従って符号化されるディジタル・オーディオ信号。
〔態様1〕
音場に対するHOAと称する高次アンビソニックス表現を圧縮する方法であって、
-HOA係数(D(k))の現在の時間フレームから支配的な音源方向(
-前記HOA係数(D(k))および前記支配的な音源方向(
-前記残差のHOA成分(DA(k-2))の現在の次数(N)をより低い次数(NRED)に低減するステップ(13)であって、結果として、低次元化された残差のHOA成分(DA,RED(k-2))が得られる、該ステップ(13)と、
-前記低次元化された残差のHOA成分(DA,RED(k-2)を相関除去して対応する残差のHOA成分時間領域信号(WA,RED(k-2))を取得するステップ(14)と、
-圧縮された支配的な方向性信号(
を含む、前記方法。
〔態様2〕
音場に対するHOAと称する高次アンビソニックス表現を圧縮する装置であって、
-HOA係数(D(k))の現在の時間フレームから支配的な音源方向(
-前記HOA係数(D(k))および前記支配的な音源方向(
-前記残差のHOA成分(DA(k-2))の現在の次数(N)をより低い次数(NRED)に低減するように構成された手段(13)であって、結果として、低次元化された残差のHOA成分(DA,RED(k-2))を生成する、該手段(13)と、
-前記低次元化された残差のHOA成分(DA,RED(k-2)を相関除去して、対応する残差のHOA成分時間領域信号(WA,RED(k-2))を取得するように構成された手段(14)と、
-圧縮された支配的な方向性信号(
を備える、前記装置。
〔態様3〕
態様1に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する方法であって、
-圧縮解除された支配的な方向性信号(
-前記圧縮解除された時間領域信号(
-前記低次元化された残差のHOA成分(
-前記圧縮解除された支配的な方向性信号(
を含む、前記方法。
〔態様4〕
態様1に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する装置であって、
-圧縮解除された支配的な方向性信号(
-前記圧縮解除された時間領域信号(
-前記低次元化された残差のHOA成分(
-前記圧縮解除された支配的な方向性信号(
を備える、前記装置。
〔態様5〕
前記低次元化された残差のHOA成分(DA,RED(k-2))の前記相関除去(14)は、球面調和関数変換を使用して、前記低次元化された残差のHOA成分を空間領域内で対応する次数の等価信号に変換することによって行われる、態様1に記載の方法、または態様2に記載の装置。
〔態様6〕
前記低次元化された残差のHOA成分(DA,RED(k-2))の前記相関除去(14)は、球面調和関数変換を使用して、前記低次元化された残差のHOA成分を空間領域内で対応する次数の等価信号に変換することによって行われ、前記相関除去の反転を可能にする副情報(α(k-2))を提供することによって、サンプリング方向のグリッドが回転されて最大限の相関除去効果を得る、態様1に記載の方法、または態様2に記載の装置。
〔態様7〕
前記支配的な方向性信号(XDIR(k-1))および前記残差のHOA成分時間領域信号(WA,RED(k-2))の知覚圧縮(15)が共に行われ、前記圧縮された方向性信号(
〔態様8〕
前記分解するステップ(12)は、
-HOA係数の現在のフレーム(D(k))に対して(
-(
-前記平滑化された支配的な方向性信号(XDIR(k-1))および方向性信号(
-均一なグリッド上での前記平滑化された予測された方向性信号(
を含む、態様1および5~7のいずれか1項に記載の方法に従った方法、または態様2および5~7のいずれか1項に記載の装置に従った装置。
〔態様9〕
前記合成するステップ(24)は、
-HOA係数の現在のフレーム(D(k))に対して前記推定された音源方向(
前記圧縮解除された支配的な方向性信号(
-均一なグリッド上の予測された方向性信号
を含む、態様3または7に記載の方法に従った方法、または態様4または7に記載の装置に従った装置。
〔態様10〕
均一なグリッド上の方向性信号(
〔態様11〕
均一なグリッド上の方向性信号(
〔態様12〕
態様1、5~8、10、および11のいずれか1項に記載の方法に従って符号化されるディジタル・オーディオ信号。
Claims (3)
- 圧縮された高次アンビソニックス(HOA)表現を圧縮解除する方法であって、当該方法は:
圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号するステップと、
前記圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のHOA成分を取得するステップと、
圧縮解除された残差のHOA成分を、前記対応する低次化された残差のHOA成分に基づいて決定するステップと、
少なくともあるパラメータに基づいて、予測された方向性信号を決定するステップと、
前記圧縮解除された支配的な方向性信号と、前記予測された方向性信号と、前記圧縮解除された残差のHOA成分とに基づいて、HOA音場表現を決定するステップと、
を含み、
前記パラメータはアクティブな方向性信号の数に関係する、
方法。 - プロセッサによって実行されたときに請求項1に記載の方法を実行する命令を記憶している非一時的なコンピュータ読み取り可能な記憶媒体。
- 高次アンビソニックス(HOA)表現を圧縮解除する装置であって、当該装置は、
圧縮解除された支配的な方向性信号および空間領域内の残差のHOA成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号する復号器と、
前記圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のHOA成分を取得する再相関器と、
圧縮解除された残差のHOA成分を、前記対応する低次化された残差のHOA成分に基づいて決定するよう構成されたプロセッサであって、前記プロセッサはさらに、少なくともあるパラメータに基づいて、予測された方向性信号を決定するよう構成されている、プロセッサとを有しており、
前記プロセッサはさらに、前記圧縮解除された支配的な方向性信号と、前記予測された方向性信号と、前記圧縮解除された残差のHOA成分とに基づいて、HOA音場表現を決定するよう構成されており、
前記パラメータはアクティブな方向性信号の数に関係する、
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023151430A JP2023169304A (ja) | 2012-12-12 | 2023-09-19 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12306569.0 | 2012-12-12 | ||
EP12306569.0A EP2743922A1 (en) | 2012-12-12 | 2012-12-12 | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
JP2019235978A JP6869322B2 (ja) | 2012-12-12 | 2019-12-26 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2021067565A JP7100172B2 (ja) | 2012-12-12 | 2021-04-13 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021067565A Division JP7100172B2 (ja) | 2012-12-12 | 2021-04-13 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023151430A Division JP2023169304A (ja) | 2012-12-12 | 2023-09-19 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022130638A true JP2022130638A (ja) | 2022-09-06 |
JP7353427B2 JP7353427B2 (ja) | 2023-09-29 |
Family
ID=47715805
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015546945A Active JP6285458B2 (ja) | 2012-12-12 | 2013-12-04 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2018016193A Active JP6640890B2 (ja) | 2012-12-12 | 2018-02-01 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2019235978A Active JP6869322B2 (ja) | 2012-12-12 | 2019-12-26 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2021067565A Active JP7100172B2 (ja) | 2012-12-12 | 2021-04-13 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2022105790A Active JP7353427B2 (ja) | 2012-12-12 | 2022-06-30 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2023151430A Pending JP2023169304A (ja) | 2012-12-12 | 2023-09-19 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015546945A Active JP6285458B2 (ja) | 2012-12-12 | 2013-12-04 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2018016193A Active JP6640890B2 (ja) | 2012-12-12 | 2018-02-01 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2019235978A Active JP6869322B2 (ja) | 2012-12-12 | 2019-12-26 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
JP2021067565A Active JP7100172B2 (ja) | 2012-12-12 | 2021-04-13 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023151430A Pending JP2023169304A (ja) | 2012-12-12 | 2023-09-19 | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Country Status (12)
Country | Link |
---|---|
US (7) | US9646618B2 (ja) |
EP (4) | EP2743922A1 (ja) |
JP (6) | JP6285458B2 (ja) |
KR (5) | KR102202973B1 (ja) |
CN (9) | CN104854655B (ja) |
CA (6) | CA3125246C (ja) |
HK (1) | HK1216356A1 (ja) |
MX (6) | MX344988B (ja) |
MY (2) | MY169354A (ja) |
RU (2) | RU2744489C2 (ja) |
TW (6) | TW202338788A (ja) |
WO (1) | WO2014090660A1 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2665208A1 (en) | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
US9685163B2 (en) | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
US9769586B2 (en) | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
EP2824661A1 (en) | 2013-07-11 | 2015-01-14 | Thomson Licensing | Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals |
CN105981100B (zh) | 2014-01-08 | 2020-02-28 | 杜比国际公司 | 用于改善对声场的高阶高保真度立体声响复制表示进行编码所需的边信息的编码的方法和装置 |
US9489955B2 (en) | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
CN109410961B (zh) | 2014-03-21 | 2023-08-25 | 杜比国际公司 | 用于对压缩的hoa信号进行解码的方法、装置和存储介质 |
EP4089674A1 (en) | 2014-03-21 | 2022-11-16 | Dolby International AB | Method for decompressing a compressed hoa signal and apparatus for decompressing a compressed hoa signal |
EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
US10770087B2 (en) * | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
US9792924B2 (en) * | 2014-06-27 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
EP2960903A1 (en) | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
WO2015197517A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Coded hoa data frame representation that includes non-differential gain values associated with channel signals of specific ones of the data frames of an hoa data frame representation |
US9922657B2 (en) | 2014-06-27 | 2018-03-20 | Dolby Laboratories Licensing Corporation | Method for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
EP3164868A1 (en) * | 2014-07-02 | 2017-05-10 | Dolby International AB | Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
EP2963948A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation |
WO2016001355A1 (en) * | 2014-07-02 | 2016-01-07 | Thomson Licensing | Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation |
EP2963949A1 (en) * | 2014-07-02 | 2016-01-06 | Thomson Licensing | Method and apparatus for decoding a compressed HOA representation, and method and apparatus for encoding a compressed HOA representation |
KR102363275B1 (ko) * | 2014-07-02 | 2022-02-16 | 돌비 인터네셔널 에이비 | Hoa 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치 |
US9847088B2 (en) * | 2014-08-29 | 2017-12-19 | Qualcomm Incorporated | Intermediate compression for higher order ambisonic audio data |
US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
US10140996B2 (en) * | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
EP3007167A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field |
US10468037B2 (en) | 2015-07-30 | 2019-11-05 | Dolby Laboratories Licensing Corporation | Method and apparatus for generating from an HOA signal representation a mezzanine HOA signal representation |
US10257632B2 (en) | 2015-08-31 | 2019-04-09 | Dolby Laboratories Licensing Corporation | Method for frame-wise combined decoding and rendering of a compressed HOA signal and apparatus for frame-wise combined decoding and rendering of a compressed HOA signal |
US9961467B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from channel-based audio to HOA |
US9961475B2 (en) | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
US10249312B2 (en) * | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
SG11201803909TA (en) * | 2015-11-17 | 2018-06-28 | Dolby Laboratories Licensing Corp | Headtracking for parametric binaural output system and method |
US9881628B2 (en) * | 2016-01-05 | 2018-01-30 | Qualcomm Incorporated | Mixed domain coding of audio |
CN108476373B (zh) * | 2016-01-27 | 2020-11-17 | 华为技术有限公司 | 一种处理声场数据的方法和装置 |
EP3338462B1 (en) | 2016-03-15 | 2019-08-28 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus, method or computer program for generating a sound field description |
CN107945810B (zh) * | 2016-10-13 | 2021-12-14 | 杭州米谟科技有限公司 | 用于编码和解码hoa或多声道数据的方法和装置 |
US10332530B2 (en) * | 2017-01-27 | 2019-06-25 | Google Llc | Coding of a soundfield representation |
JP6811312B2 (ja) | 2017-05-01 | 2021-01-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 符号化装置及び符号化方法 |
US10657974B2 (en) * | 2017-12-21 | 2020-05-19 | Qualcomm Incorporated | Priority information for higher order ambisonic audio data |
US10264386B1 (en) * | 2018-02-09 | 2019-04-16 | Google Llc | Directional emphasis in ambisonics |
JP2019213109A (ja) * | 2018-06-07 | 2019-12-12 | 日本電信電話株式会社 | 音場信号推定装置、音場信号推定方法、プログラム |
CN111193990B (zh) * | 2020-01-06 | 2021-01-19 | 北京大学 | 一种抗高频空间混叠的3d音频***及实现方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120155653A1 (en) * | 2010-12-21 | 2012-06-21 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
WO2014013070A1 (en) * | 2012-07-19 | 2014-01-23 | Thomson Licensing | Method and device for improving the rendering of multi-channel audio signals |
JP6640890B2 (ja) * | 2012-12-12 | 2020-02-05 | ドルビー・インターナショナル・アーベー | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG45281A1 (en) * | 1992-06-26 | 1998-01-16 | Discovision Ass | Method and arrangement for transformation of signals from a frequency to a time domain |
JP2004500595A (ja) | 1999-11-12 | 2004-01-08 | ジェリー・モスコヴィッチ | 水平方向3スクリーンlcd表示装置 |
FR2801108B1 (fr) | 1999-11-16 | 2002-03-01 | Maxmat S A | Analyseur chimique ou biochimique a regulation de la temperature reactionnelle |
US8009966B2 (en) * | 2002-11-01 | 2011-08-30 | Synchro Arts Limited | Methods and apparatus for use in sound replacement with automatic synchronization to images |
US7983922B2 (en) * | 2005-04-15 | 2011-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
EP1829424B1 (en) * | 2005-04-15 | 2009-01-21 | Dolby Sweden AB | Temporal envelope shaping of decorrelated signals |
US8139685B2 (en) * | 2005-05-10 | 2012-03-20 | Qualcomm Incorporated | Systems, methods, and apparatus for frequency control |
JP4616074B2 (ja) * | 2005-05-16 | 2011-01-19 | 株式会社エヌ・ティ・ティ・ドコモ | アクセスルータ、サービス制御システム、サービス制御方法 |
TW200715145A (en) * | 2005-10-12 | 2007-04-16 | Lin Hui | File compression method of digital sound signals |
US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
US8165124B2 (en) * | 2006-10-13 | 2012-04-24 | Qualcomm Incorporated | Message compression methods and apparatus |
EP2118887A1 (en) * | 2007-02-06 | 2009-11-18 | Koninklijke Philips Electronics N.V. | Low complexity parametric stereo decoder |
FR2916078A1 (fr) * | 2007-05-10 | 2008-11-14 | France Telecom | Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes |
GB2453117B (en) * | 2007-09-25 | 2012-05-23 | Motorola Mobility Inc | Apparatus and method for encoding a multi channel audio signal |
GB2467668B (en) * | 2007-10-03 | 2011-12-07 | Creative Tech Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
WO2009067741A1 (en) * | 2007-11-27 | 2009-06-04 | Acouity Pty Ltd | Bandwidth compression of parametric soundfield representations for transmission and storage |
EP2205007B1 (en) * | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
RU2520329C2 (ru) * | 2009-03-17 | 2014-06-20 | Долби Интернешнл Аб | Усовершенствованное стереофоническое кодирование на основе комбинации адаптивно выбираемого левого/правого или среднего/побочного стереофонического кодирования и параметрического стереофонического кодирования |
US20100296579A1 (en) * | 2009-05-22 | 2010-11-25 | Qualcomm Incorporated | Adaptive picture type decision for video coding |
US8705750B2 (en) * | 2009-06-25 | 2014-04-22 | Berges Allmenndigitale Rådgivningstjeneste | Device and method for converting spatial audio signal |
EP2268064A1 (en) * | 2009-06-25 | 2010-12-29 | Berges Allmenndigitale Rädgivningstjeneste | Device and method for converting spatial audio signal |
WO2011041834A1 (en) * | 2009-10-07 | 2011-04-14 | The University Of Sydney | Reconstruction of a recorded sound field |
KR101717787B1 (ko) * | 2010-04-29 | 2017-03-17 | 엘지전자 주식회사 | 디스플레이장치 및 그의 음성신호 출력 방법 |
CN101977349A (zh) * | 2010-09-29 | 2011-02-16 | 华南理工大学 | Ambisonic声重发***解码的优化改进方法 |
US8855341B2 (en) * | 2010-10-25 | 2014-10-07 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals |
EP2451196A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Method and apparatus for generating and for decoding sound field data including ambisonics sound field data of an order higher than three |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
US9190065B2 (en) * | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
EP2688066A1 (en) | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
EP2765791A1 (en) * | 2013-02-08 | 2014-08-13 | Thomson Licensing | Method and apparatus for determining directions of uncorrelated sound sources in a higher order ambisonics representation of a sound field |
EP2800401A1 (en) * | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
US9769586B2 (en) * | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
-
2012
- 2012-12-12 EP EP12306569.0A patent/EP2743922A1/en not_active Withdrawn
-
2013
- 2013-12-04 CA CA3125246A patent/CA3125246C/en active Active
- 2013-12-04 RU RU2017118830A patent/RU2744489C2/ru active
- 2013-12-04 CN CN201380064856.9A patent/CN104854655B/zh active Active
- 2013-12-04 CA CA3125228A patent/CA3125228C/en active Active
- 2013-12-04 RU RU2015128090A patent/RU2623886C2/ru active
- 2013-12-04 EP EP21209477.5A patent/EP3996090A1/en active Pending
- 2013-12-04 CN CN201910024898.9A patent/CN109448743B/zh active Active
- 2013-12-04 CN CN202310889802.1A patent/CN117037813A/zh active Pending
- 2013-12-04 CA CA2891636A patent/CA2891636C/en active Active
- 2013-12-04 CA CA3168322A patent/CA3168322C/en active Active
- 2013-12-04 CN CN201910024906.XA patent/CN109545235B/zh active Active
- 2013-12-04 KR KR1020157015332A patent/KR102202973B1/ko active IP Right Grant
- 2013-12-04 CN CN201910024895.5A patent/CN109448742B/zh active Active
- 2013-12-04 EP EP13801563.1A patent/EP2932502B1/en active Active
- 2013-12-04 CN CN201910024905.5A patent/CN109616130B/zh active Active
- 2013-12-04 WO PCT/EP2013/075559 patent/WO2014090660A1/en active Application Filing
- 2013-12-04 CN CN202311300470.5A patent/CN117392989A/zh active Pending
- 2013-12-04 KR KR1020237020580A patent/KR102664626B1/ko active IP Right Grant
- 2013-12-04 US US14/651,313 patent/US9646618B2/en active Active
- 2013-12-04 KR KR1020247014936A patent/KR20240068780A/ko active Search and Examination
- 2013-12-04 CN CN202310889797.4A patent/CN117037812A/zh active Pending
- 2013-12-04 EP EP18196348.9A patent/EP3496096B1/en active Active
- 2013-12-04 JP JP2015546945A patent/JP6285458B2/ja active Active
- 2013-12-04 CA CA3125248A patent/CA3125248C/en active Active
- 2013-12-04 CA CA3168326A patent/CA3168326A1/en active Pending
- 2013-12-04 KR KR1020217000640A patent/KR102428842B1/ko active IP Right Grant
- 2013-12-04 MX MX2015007349A patent/MX344988B/es active IP Right Grant
- 2013-12-04 CN CN201910024894.0A patent/CN109410965B/zh active Active
- 2013-12-04 MY MYPI2015001234A patent/MY169354A/en unknown
- 2013-12-04 KR KR1020227026512A patent/KR102546541B1/ko active IP Right Grant
- 2013-12-05 TW TW111146080A patent/TW202338788A/zh unknown
- 2013-12-05 TW TW102144508A patent/TWI611397B/zh active
- 2013-12-05 TW TW107135270A patent/TWI681386B/zh active
- 2013-12-05 TW TW108142367A patent/TWI729581B/zh active
- 2013-12-05 TW TW106137200A patent/TWI645397B/zh active
- 2013-12-05 TW TW110115843A patent/TWI788833B/zh active
-
2015
- 2015-06-10 MX MX2022008693A patent/MX2022008693A/es unknown
- 2015-06-10 MX MX2022008697A patent/MX2022008697A/es unknown
- 2015-06-10 MX MX2022008695A patent/MX2022008695A/es unknown
- 2015-06-10 MX MX2023008863A patent/MX2023008863A/es unknown
- 2015-06-10 MX MX2022008694A patent/MX2022008694A/es unknown
-
2016
- 2016-04-11 HK HK16104077.0A patent/HK1216356A1/zh unknown
-
2017
- 2017-02-16 US US15/435,175 patent/US10038965B2/en active Active
-
2018
- 2018-02-01 JP JP2018016193A patent/JP6640890B2/ja active Active
- 2018-06-26 US US16/019,256 patent/US10257635B2/en active Active
- 2018-11-07 MY MYPI2018704146A patent/MY191376A/en unknown
-
2019
- 2019-02-14 US US16/276,363 patent/US10609501B2/en active Active
- 2019-12-26 JP JP2019235978A patent/JP6869322B2/ja active Active
-
2020
- 2020-03-25 US US16/828,961 patent/US11184730B2/en active Active
-
2021
- 2021-04-13 JP JP2021067565A patent/JP7100172B2/ja active Active
- 2021-11-22 US US17/532,246 patent/US11546712B2/en active Active
-
2022
- 2022-06-30 JP JP2022105790A patent/JP7353427B2/ja active Active
- 2022-12-19 US US18/068,096 patent/US20230179940A1/en active Pending
-
2023
- 2023-09-19 JP JP2023151430A patent/JP2023169304A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120155653A1 (en) * | 2010-12-21 | 2012-06-21 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
JP2012133366A (ja) * | 2010-12-21 | 2012-07-12 | Thomson Licensing | 二次元または三次元音場のアンビソニックス表現の一連のフレームをエンコードおよびデコードする方法および装置 |
EP2665208A1 (en) * | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
JP2015520411A (ja) * | 2012-05-14 | 2015-07-16 | トムソン ライセンシングThomson Licensing | 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置 |
WO2014013070A1 (en) * | 2012-07-19 | 2014-01-23 | Thomson Licensing | Method and device for improving the rendering of multi-channel audio signals |
JP6640890B2 (ja) * | 2012-12-12 | 2020-02-05 | ドルビー・インターナショナル・アーベー | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7353427B2 (ja) | 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 | |
JP2022120119A (ja) | 高次アンビソニックス信号表現を圧縮又は圧縮解除するための方法又は装置 | |
JP2015520411A5 (ja) | ||
RU2823441C2 (ru) | Способ и устройство для сжатия и восстановления представления системы амбисоник высшего порядка для звукового поля |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220630 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7353427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |