KR101970080B1 - 음장의 고차 앰비소닉스 hoa 신호 표현의 낮은 비트 레이트 압축을 위한 방법 및 장치 - Google Patents
음장의 고차 앰비소닉스 hoa 신호 표현의 낮은 비트 레이트 압축을 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR101970080B1 KR101970080B1 KR1020177009547A KR20177009547A KR101970080B1 KR 101970080 B1 KR101970080 B1 KR 101970080B1 KR 1020177009547 A KR1020177009547 A KR 1020177009547A KR 20177009547 A KR20177009547 A KR 20177009547A KR 101970080 B1 KR101970080 B1 KR 101970080B1
- Authority
- KR
- South Korea
- Prior art keywords
- rti
- representation
- hoa
- subband
- matrix
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000006835 compression Effects 0.000 title claims description 16
- 238000007906 compression Methods 0.000 title claims description 16
- 238000002156 mixing Methods 0.000 claims abstract description 65
- 230000003595 spectral effect Effects 0.000 claims abstract description 17
- 230000006837 decompression Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 138
- 230000010076 replication Effects 0.000 claims description 23
- 230000008030 elimination Effects 0.000 claims description 19
- 238000003379 elimination reaction Methods 0.000 claims description 19
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 27
- 239000013598 vector Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000002596 correlated effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000001131 transforming effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010367 cloning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명은 음장의 낮은 비트 레이트 압축된 및 압축 해제된 고차 앰비소닉스 HOA 신호 표현을 개선하기에 적합하며, 상기 압축 해제는 공간적으로 희소한 디코딩된 HOA 표현 및 이 표현의 계수 시퀀스들의 인덱스들의 세트를 제공한다. 원래의 HOA 표현의 재구성된 신호들로부터 상관성 제거 필터들을 사용하여 다수의 수정된 위상 스펙트럼 신호들이 생성되며, 이 수정된 위상 스펙트럼 신호들은 상기 원래의 표현의 신호들과 비상관된다. 복제된 주변 HOA 성분을 제공하기 위해, 수정된 위상 스펙트럼 신호들은 미리 결정된 혼합 파라미터들을 사용하여 서로 혼합된다. 마지막으로 공간적으로 희소한 디코딩된 HOA 표현은 복제된 시간 영역 HOA 표현을 사용하여 향상된다.
Description
본 발명은 음장의 고차 앰비소닉스 HOA 신호 표현의 낮은 비트 레이트 압축을 위한 방법 및 장치에 관한 것으로, HOA 신호 표현은 낮은 비트 레이트 때문에 공간적으로 희소하다.
고차 앰비소닉스(Higher Order Ambisonics, HOA)는 파면 음장 합성(WFS)이나 22.2와 같은 채널 기반 접근법과 같은 여러 기법들 중에서도 3차원 사운드를 표현할 수 있는 하나의 가능성을 제공한다. 그러나, 채널 기반 방법들과 달리, HOA 표현은 특정 라우드스피커 셋업(loudspeaker set-up)에 독립적이라는 이점을 제공한다. 그러나, 이 유연성은 특정의 라우드스피커 셋업에서 HOA 표현의 재생을 위해 요구되는 디코딩 프로세스를 희생한다. 요구되는 라우드스피커의 수가 대체로 매우 많은 WFS 접근법에 비해, HOA는 소수의 라우드스피커만으로 구성된 셋업으로 렌더링될 수 있다. HOA의 추가 이점은 헤드폰으로의 양이성 렌더링(binaural rendering)을 위한 임의의 수정 없이도 동일한 표현이 사용될 수 있다는 것이다.
HOA는 절단된 구면 조화 함수들(Spherical Harmonics, SH) 확장에 의한 복소 조화 평면파 진폭(complex harmonic plane wave amplitude)들의 공간 밀도의 표현에 기초한다. 각각의 확장 계수는 시간 영역 함수에 의해 등가적으로 표현될 수 있는 각주파수(angular frequency)의 함수이다. 따라서, 일반성을 잃지 않고, 완전한 HOA 음장 표현은 실제로는 
개의 시간 영역 함수들로 구성되는 것으로 가정될 수 있으며, 여기서, 
는 확장 계수의 개수를 나타낸다. 이들 시간 영역 함수는 이하에서는 등가적으로 HOA 계수 시퀀스 또는 HOA 채널이라고 지칭될 것이다.
HOA 표현의 공간 분해능은 확장의 최대 차수 N이 증가함에 따라 향상된다. 불행하게도, 확장 계수의 수 
는 차수 
과 함께 2차식으로 증가하는데, 특히 
이다. 예를 들어, 차수 
를 사용하는 일반적인 HOA 표현들은 
개의 HOA (확장) 계수들을 필요로 한다. 이전에 고려된 고려 사항들에 따르면, 원하는 단일 채널 샘플링 레이트 
및 샘플 당 비트 수 
가 주어지면, HOA 표현의 송신을 위한 총 비트 레이트는 
에 의해 결정된다. 결과적으로, 샘플 당 
비트를 사용하는 
의 샘플링 레이트로 차수 
의 HOA 표현을 송신하는 것은 
의 비트 레이트를 야기하며, 이는 예를 들어 스트리밍과 같은 많은 실제 응용들에 대해 매우 높다. 따라서, HOA 표현의 압축이 매우 바람직하다.
HOA 음장 표현의 압축은 EP 2665208 A1, EP 2743922 A1 및 국제 출원 PCT/EP2013/059363에서 제안되었다(2014년 7월, ISO/IEC DIS 23008-3, MPEG-H 3D 오디오 참조). 이들 접근법들은, 음장 분석을 수행하고 주어진 HOA 표현을 방향 성분 및 잔여 주변 성분으로 분해한다는 공통점을 갖고 있다. 최종 압축된 표현은, 한편으로는, 방향 및 벡터 기반 신호들은 물론 주변 HOA 성분의 관련성 있는 계수 시퀀스들의 지각 코딩(perceptual coding)으로부터 얻어진, 다수의 양자화된 신호들로 이루어져 있는 것으로 가정된다. 다른 한편, 그것은 양자화된 신호들과 관련되는 추가의 부수 정보를 포함하는 것으로 가정되며, 그 부수 정보는 그것의 압축된 버전으로부터의 HOA 표현의 재구성을 위해 필요하다. 양자화된 신호들의 합리적인 최소 수는 EP 2665208 A1, EP 2743922 A1 및 국제 출원 PCT/EP2013/059363에서의 접근법들에 대해 '8'이다. 따라서, 각각의 개개의 지각 코더에 대해 32kbit/s의 데이터 레이트를 가정할 때 이들 방법들 중 하나에서의 데이터 레이트는 전형적으로 256kbit/s보다 낮지 않다. 예를 들어, 모바일 디바이스들로 오디오 스트리밍하는 것과 같은 특정 응용들에서, 이 총 데이터 레이트는 너무 높을 수 있으며, 이는 상당히 낮은 데이터 레이트들, 예를 들어, 128kbit/s에 대한 바람직한 HOA 압축 방법들을 만든다.
유럽 특허 출원 EP 14306077.0에서, 기본적으로 원래의 HOA 표현의 작은 서브세트인, 더 소수의 양자화된 신호를 사용하는 음장의 HOA 표현의 낮은 비트-레이트 압축을 위한 방법이 기술되어 있다. 누락된 HOA 계수들의 복제를 위해, 양자화된 신호들로부터 추가적인 방향 HOA 성분들을 예측하기 위해 상이한 주파수 대역들에 대한 예측 파라미터들이 획득된다.
EP 14306077.0 처리에서, 모든 HOA 성분이 소수의 양자화된 신호들만으로 재구성되기 때문에 재구성된 HOA 표현은 고도로 상관된 성분들로 구성된다. 이러한 소수의 양자화된 신호로 인해, 그의 방향 HOA 성분의 예측은 만족스럽지 못할 수 있으며, 재구성된 HOA 표현이 공간적으로 희소한 효과로 이어질 수 있다. 이렇게 하면 음이 원래의 HOA 표현보다 건조하고 조용해질 수 있다. 전형적으로 공간적으로 비상관되는 신호 성분들로 구성되는 주변 음장들은 양자화된 신호의 수가 매우 작으면, 예를 들어 '1' 또는 '2'이면 적절히 재구성되지 않는다.
본 발명에 의해 해결되어야 할 문제는 음장의 HOA 표현들의 낮은 비트-레이트 압축을 개선하는 것이다. 이 문제는 청구항 1 및 청구항 8에 개시된 방법들에 의해 해결된다. 이들 방법을 이용하는 장치들은 청구항 2 및 청구항 9에 개시되어 있다.
본 발명의 유리한 추가적인 실시예들은 각각의 종속 청구항들에 개시되어 있다.
이하에서 설명되는 처리는 낮은 비트 레이트들에서 고차 앰비소닉스 표현의 압축을 다루고, 주변 음장 성분들을 재생성하며, 이는 매우 소수의 양자화된 신호의 경우 상술 한 EP 14306077.0 처리를 향상시킨다.
설명된 처리는 파라메트릭 앰비언스 복제(Parametric Ambience Replication, PAR)라고 불리며, 그것은 자체로부터 파라미터에 의해 복제되는, 잠재적으로 누락된 주변 성분들에 의해 재구성되고 공간적으로 희소한 HOA 표현을 보완한다. 복제는 먼저 희소한 HOA 표현(방향 신호들 및 주변 성분을 포함할 수 있음)의 신호들로부터 수정된 위상 스펙트럼들을 갖고, 따라서 이전 신호들과 비상관되는 다수의 새로운 신호들을 생성함으로써 수행된다. 둘째로, 새로 생성된 신호들은 복제된 주변 HOA 성분을 제공하기 위해 서로 혼합된다. 최종 향상된 HOA 표현은 원래의 희소한 HOA 표현과 복제된 주변 HOA 성분의 중첩에 의해 계산된다. 혼합은 최종 HOA 표현의 공간 음향 특성을 원래의 HOA 표현의 공간 음향 특성과 매칭시키도록 수행된다. 바람직하게는, 혼합은 주파수 영역에서 수행되어, 상이한 주파수 대역들 사이에 달라지는 가능성을 제공한다. 희소한 HOA 표현으로부터 비상관된 신호들을 생성하는 프로세스가 결정론적으로 특정된다고 가정하면, 압축된 HOA 표현에 포함될 PAR에 대한 부수 정보는 본질적으로 복소수 값의 혼합 행렬들인 혼합 파라미터들로만 구성된다.
PAR에 대한 부수 정보의 양을 줄이려는 목적으로 희소한 HOA 표현으로부터 비상관된 신호들을 생성하는 하나의 특정한 방법은 먼저, 단위 구체상에 가능한 한 균일하게 분포되어야 하는, 일부 미리 정의된 방향들로부터의 가상 라우드스피커 신호들에 의해(또는 등가적으로 일반적인 평면파 함수에 의해) 희소한 HOA 표현들을 표현하는 것이다. HOA 표현으로부터 가상 라우드스피커 신호들을 생성하기 위한 렌더링은 이하에서 공간 변환으로 지칭된다. 둘째로, 이들 방향들 각각에 대해, 상관성 제거 필터(de-correlation filter)를 사용하여 희소한 HOA 표현의 대응하는 가상 라우드스피커 신호의 위상 스펙트럼을 수정함으로써 하나의 비상관된 신호가 생성된다. 셋째로, 복제된 주변 HOA 성분도 동일한 방향들에 대해 가상 라우드스피커 신호에 의해 표현되는데, 특정 방향에 대한 각각의 가상 라우드스피커 신호는 그 특정 방향의 부근에서 미리 정의된 방향들에 대해 생성된 비상관된 신호들만으로 혼합된다. 소수의 비상관된 신호들만으로의 혼합은 하나의 비상관된 신호들을 생성하기 위한 혼합 계수의 수뿐만 아니라, PAR에 대한 부수 정보의 양도 낮게 유지할 수 있다는 이점을 제공한다. 또 다른 이점은 복제된 주변 HOA 성분의 개개의 가상 라우드스피커 신호들의 혼합을 위해 공간 이웃으로부터의 신호들만, 따라서 유사한 진폭 스펙트럼을 갖는 신호들만 고려된다는 점이다. 이러한 동작은 희소한 HOA 표현의 방향 성분들이 바람직하지 않게 모든 방향들에 걸쳐 공간적으로 분포되는 것을 방지한다.
이 접근법의 경우, 상관성 제거 필터들은 쌍으로 상이하며 그 수는 가상 라우드스피커 방향의 수와 동일하다고 가정한다. 이러한 많은 상관성 제거 필터들의 실제적인 구성은 통상적으로 각각의 개개의 필터가 제한된 상관성 제거 효과만을 갖게 한다. 가상 방향들(또는 등가적으로 공간 위치들)로의 상관성 제거 필터들의 할당은 복제된 주변 HOA 성분의 단일 가상 라우드스피커 신호들을 생성하기 위해 혼합될 신호들 간의 상관성을 최소화하기 위해 합리적으로 선택되어야 한다.
가상 라우드스피커 방향의 수는 개개의 주파수 대역들에 대해 달라지도록 허용되며 복제된 주변 HOA 성분의 주파수 의존 순서를 특정하는 데 사용될 수 있다.
희소한 HOA 표현으로부터 비상관된 신호들을 생성하는 방법의 추가 확장은 복제된 주변 HOA 성분의 가상 라우드스피커 신호의 혼합을 위해 고려되어야 할 비상관된 신호들의 시변 수(time-varying number)의 사용이다. 혼합될 비상관된 신호들의 수는 희소한 HOA 표현에서의 누락된 앰비언스의 양에 따라 달라진다. 이러한 변화는 통상적으로 가상 라우드스피커 위치들로의 상관성 제거 필터들의 할당의 변경으로 이어질 것이다. 시간 할당 변경으로 인한 상관성 제거된 신호들의 불연속성을 피하기 위해, 희소한 HOA 표현의 가상 라우드스피커 신호들로의 상관성 제거 필터들의 할당은 상관성 제거 필터들로의 가상 라우드스피커 신호들의 등가적인 할당에 의해 교환될 수 있다. 이 할당은 단순한 치환 행렬에 의해 표현될 수 있다. 할당이 변경되는 경우, 각각의 상관성 제거 필터로의 입력은 2개의 상이한 할당들로부터 발생하는 신호들 간의 중첩 가산(overlap-add)에 의해 계산될 수 있다. 따라서, 각각의 상관성 제거 필터의 입력 및 출력은 연속적이다. 그 후, 각각의 상관성 제거 필터의 출력을 각각의 가상 라우드스피커 방향으로 재할당하기 위해 할당은 반전되어야 한다.
멀티-채널 오디오의 맥락에서, 주변 음 성분들을 생성하는 문제는 2006년 6월, 스웨덴, 피테오, AES 28차 국제 회의에서의 V. Pulkki의 "Directional audio coding in spatial sound reproduction and stereo upmixing"에서, Vilkamo, T. Baeckstroem, A. Kuntz의 "Optimized covariance domain framework for time-frequency processing of spatial audio"(2013년, J.Audio Eng.Soc, vol.61(6), 페이지 403-411)에서, ISO/IEC 23003-1 MPEG 서라운드에서, 그리고 ISO/IEC 23003-2 공간 오디오 객체 코딩에서 다루어지고 있다.
그러나, 이 출원은 HOA 표현들의 맥락에서 앰비언스의 생성을 위한 처리를 설명한다.
원칙적으로, 본 발명의 압축 개선 방법은 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록, 음장의 낮은 비트 레이트 압축된 및 압축 해제된 고차 앰비소닉스 HOA 신호 표현을 개선하기 위해 적응되며, 상기 압축 해제는 공간적으로 희소한 디코딩된 HOA 표현 및 이 표현의 계수 시퀀스들의 인덱스들의 세트를 제공하고, 상기 방법은:
- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수의 복소수 값의 주파수 영역 부대역 표현들로 변환하고 분석 필터 뱅크를 사용하여 상기 HOA 신호 표현의 대응 지연된 버전을 대응하는 수의 복소수 값의 주파수 영역 부대역 표현들로 변환하는 단계;
- 상기 부대역들을 다수의 부대역 그룹들로 그룹화하고, 이들 부대역 그룹들의 각각의 부대역 그룹 내에서:
-- 상관성 제거 필터들을 사용하여, 상기 복소수 값의 주파수 영역 부대역 표현으로부터 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현과 비상관되는 다수의 수정된 위상 스펙트럼 신호들을 생성하는 단계;
-- 상기 수정된 위상 스펙트럼 신호들로부터 부대역 그룹 내의 각각의 부대역에 대해 상관성 제거 공분산 행렬을 계산하는 단계;
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현을 그것의 공간 영역 표현으로 변환하고 이로부터 대응하는 공분산 행렬을 계산하는 단계;
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 HOA 신호 표현에 대한 복소수 값의 주파수 영역 부대역 표현을 그것의 공간 영역 표현으로 변환하고 이로부터 대응하는 공분산 행렬을 계산하는 단계,
각각의 부대역 그룹에 대해:
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 상관성 제거 공분산 행렬 
을 제공하도록 상기 상관성 제거 공분산 행렬들을 결합하는 단계;
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬 
을 제공하도록 상기 복소수 값의 주파수 영역 부대역 표현들의 상기 공간 영역 표현에 대한 공분산 행렬들을 결합하는 단계;
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬 
을 제공하도록 상기 HOA 신호 표현에 대한 상기 복소수 값의 주파수 영역 부대역 표현들의 상기 공간 영역 표현에 대한 공분산 행렬들을 결합하는 단계;
-- 행렬 
을 제공하도록, 상기 결합된 공분산 행렬들 
및 
사이의 잔차를 형성하는 단계;
-- 행렬 
및 행렬 
을 사용하여, 대응하는 혼합 행렬을 계산하는 단계;
-- 상기 부대역 그룹에 대한 파라미터 세트를 제공하도록 상기 혼합 행렬을 인코딩하는 단계;
- 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록 상기 부대역 그룹들에 대한 상기 파라미터 세트들 및 인코딩된 부대역 구성 데이터 및 파라메트릭 앰비언스 복제 코딩 파라미터들을 멀티플렉싱하는 단계를 포함한다.
원칙적으로, 본 발명의 압축 개선 장치는 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록, 음장의 낮은 비트 레이트 압축된 및 압축 해제된 고차 앰비소닉스 HOA 신호 표현을 개선하기 위해 적응되며, 상기 압축 해제는 공간적으로 희소한 디코딩된 HOA 표현 및 이 표현의 계수 시퀀스들의 인덱스들의 세트를 제공하고, 상기 장치는:
- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수의 복소수 값의 주파수 영역 부대역 표현들로 변환하고 분석 필터 뱅크를 사용하여 상기 HOA 신호 표현의 대응 지연된 버전을 대응하는 수의 복소수 값의 주파수 영역 부대역 표현들로 변환하고;
- 상기 부대역들을 다수의 부대역 그룹들로 그룹화하고, 이들 부대역 그룹들의 각각의 부대역 그룹 내에서:
-- 상관성 제거 필터들을 사용하여, 상기 복소수 값의 주파수 영역 부대역 표현으로부터 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현과 비상관되는 다수의 수정된 위상 스펙트럼 신호들을 생성하고;
-- 상기 수정된 위상 스펙트럼 신호들로부터 부대역 그룹 내의 각각의 부대역에 대해 상관성 제거 공분산 행렬을 계산하고;
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현을 그것의 공간 영역 표현으로 변환하고 이로부터 대응하는 공분산 행렬을 계산하고;
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 HOA 신호 표현에 대한 복소수 값의 주파수 영역 부대역 표현을 그것의 공간 영역 표현으로 변환하고 이로부터 대응하는 공분산 행렬을 계산하고,
각각의 부대역 그룹에 대해:
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 상관성 제거 공분산 행렬 
을 제공하도록 상기 상관성 제거 공분산 행렬들을 결합하고;
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬 
을 제공하도록 상기 복소수 값의 주파수 영역 부대역 표현들의 상기 공간 영역 표현에 대한 공분산 행렬들을 결합하고;
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬 
을 제공하도록 상기 HOA 신호 표현에 대한 상기 복소수 값의 주파수 영역 부대역 표현들의 상기 공간 영역 표현에 대한 공분산 행렬들을 결합하고;
-- 행렬 
을 제공하도록, 상기 결합된 공분산 행렬들 
및 
사이의 잔차를 형성하고;
-- 행렬 
및 행렬 
을 사용하여, 대응하는 혼합 행렬을 계산하고;
-- 상기 부대역 그룹에 대한 파라미터 세트를 제공하도록 상기 혼합 행렬을 인코딩하고;
- 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록 상기 부대역 그룹들에 대한 상기 파라미터 세트들 및 인코딩된 부대역 구성 데이터 및 파라메트릭 앰비언스 복제 코딩 파라미터들을 멀티플렉싱하도록 구성된 수단을 포함한다.
원칙적으로, 본 발명의 압축 해제 개선 방법은 상기 압축 개선 방법에 따라 생성된 파라메트릭 앰비언스 복제 파라미터 세트를 사용하여, 공간적으로 희소한 디코딩된 HOA 표현 - 이 표현의 계수 시퀀스들의 인덱스들의 세트는 상기 디코딩에 의해 제공된 것임 - 을 개선하기 위해 적응되며, 상기 방법은:
- 상기 공간적으로 희소한 디코딩된 HOA 표현, 상기 계수 시퀀스들의 인덱스들의 세트 및 상기 파라메트릭 앰비언스 복제 파라미터 세트로부터 개선된 HOA 표현을 재구성하는 단계 - 상기 재구성하는 단계는:
-- 상기 파라메트릭 앰비언스 복제 파라미터 세트로부터 부대역 구성을 결정하는 단계;
-- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수의 주파수 대역 HOA 표현들로 변환하는 단계;
-- 상기 부대역 구성에 따라, 주파수 대역 HOA 표현들의 대응하는 그룹들과 함께 관련된 파라미터들을, 복제된 앰비언스 HOA 표현의 상관성 제거된 계수 시퀀스들을 생성하는 대응하는 수의 파라메트릭 앰비언스 복제 부대역 디코더 단계들 또는 스테이지들에 할당하는 단계;
-- 상기 복제된 앰비언스 HOA 표현의 상기 계수 시퀀스들을 복제된 시간 영역 HOA 표현으로 변환하는 단계를 포함함 -;
- 향상된 압축 해제된 HOA 표현을 제공하도록, 상기 복제된 시간 영역 HOA 표현을 사용하여 상기 공간적으로 희소한 디코딩된 HOA 표현을 향상시키는 단계를 포함한다.
원칙적으로, 본 발명의 압축 해제 개선 장치는 상기 압축 개선 방법에 따라 생성된 파라메트릭 앰비언스 복제 파라미터 세트를 사용하여, 공간적으로 희소한 디코딩된 HOA 표현 - 이 표현의 계수 시퀀스들의 인덱스들의 세트는 상기 디코딩에 의해 제공된 것임 - 을 개선하기 위해 적응되며, 상기 장치는:
- 상기 공간적으로 희소한 디코딩된 HOA 표현, 상기 계수 시퀀스들의 인덱스들의 세트 및 상기 파라메트릭 앰비언스 복제 파라미터 세트로부터 개선된 HOA 표현을 재구성하고 - 상기 재구성은:
-- 상기 파라메트릭 앰비언스 복제 파라미터 세트로부터 부대역 구성을 결정하고;
-- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수의 주파수 대역 HOA 표현들로 변환하고;
-- 상기 부대역 구성에 따라, 주파수 대역 HOA 표현들의 대응하는 그룹들과 함께 관련된 파라미터들을, 복제된 앰비언스 HOA 표현의 상관성 제거된 계수 시퀀스들을 생성하는 대응하는 수의 파라메트릭 앰비언스 복제 부대역 디코더 단계들 또는 스테이지들에 할당하고;
-- 상기 복제된 앰비언스 HOA 표현의 상기 계수 시퀀스들을 복제된 시간 영역 HOA 표현으로 변환하는 것을 포함함 -;
- 향상된 압축 해제된 HOA 표현을 제공하도록, 상기 복제된 시간 영역 HOA 표현을 사용하여 상기 공간적으로 희소한 디코딩된 HOA 표현을 향상시키도록 구성된 수단을 포함한다.
본 발명의 예시적인 실시예들이 첨부 도면들을 참조하여 설명되며, 첨부 도면들에서:
도 1은 PAR 인코더를 포함하는 HOA 데이터 인코더를 도시하고;
도 2는 PAR 인코더를 더 상세히 도시하는 것으로,
이고;
도 3은 PAR 부대역 인코더를 도시하고;
도 4는 PAR 디코더를 포함하는 HOA 데이터 압축 해제기를 도시하고;
도 5는 PAR 디코더를 더 상세히 도시하고;
도 6은 PAR 부대역 디코더를 도시하고;
도 7은 구면 좌표계를 도시한다.
도 1은 PAR 인코더를 포함하는 HOA 데이터 인코더를 도시하고;
도 2는 PAR 인코더를 더 상세히 도시하는 것으로,
도 3은 PAR 부대역 인코더를 도시하고;
도 4는 PAR 디코더를 포함하는 HOA 데이터 압축 해제기를 도시하고;
도 5는 PAR 디코더를 더 상세히 도시하고;
도 6은 PAR 부대역 디코더를 도시하고;
도 7은 구면 좌표계를 도시한다.
비록 명시적으로 기술되어 있지 않지만, 이하의 실시예들은 임의의 조합 또는 부분 조합으로 이용될 수 있다.
HOA
인코더
파라메트릭 앰비언스 복제(Parametric Ambient Replication, PAR) 처리는 도 1에 도시된 바와 같이, 기본 HOA 압축을 확장하는 추가적인 코딩 도구로서 사용되며, 도 1에서는 프레임 인덱스 
를 갖는 프레임들의 프레임 기반 처리가 가정된다. HOA 인코더 단계 또는 스테이지(11)는 EP 2665208 A1, EP 2743922 A1, 국제 출원 PCT/EP2013/059363 및 유럽 특허 출원 EP 14306077.0에 기술된 바와 같이 HOA 표현 
를 전송 신호 행렬 
및 HOA 부수 정보의 세트 
로 압축 해제한다. 프레임 인덱스 
에 대한 HOA 표현 행렬 
는 
개의 행들로 구성되며, 각각의 행은 대응하는 HOA 계수의 L개의 시간 영역 샘플들을 보유하고, 그것은 또한 프레임 지연 단계 또는 스테이지(14)에 공급된다. 행렬 
의 행들은 
가 구성된 전송 신호들의 L개의 시간 영역 샘플들을 보유한다. 
로부터의 시간 영역 신호들은 지각 오디오 인코더 단계 또는 스테이지(15)에서 멀티플렉서 및 프레임 동기화 단계 또는 스테이지(16)에 공급되는 전송 신호 파라미터 세트 
로 지각적으로 인코딩된다. 희소한 HOA 표현의 
행렬 
는 HOA 디코더 단계 또는 스테이지(12)에서 
및 
로부터 복원되며, 이는 또한 활성 앰비언스 계수들 
를 제공한다. 이 HOA 디코더 단계/스테이지(12)는 도 4에 도시된 HOA 데이터 압축 해제기에서 사용되는 HOA 디코더 단계 또는 스테이지(43)와 동일하다.
'희소한(sparse)' 또는 '공간적으로 희소한 HOA 표현'이라는 용어는 이 표현에서 원래의 음장의 공간적으로 비상관된 신호 성분들이 누락되어 있음을 의미한다. 특히, '희소한'이라는 용어는 각각의 HOA 표현의 대부분의 계수 시퀀스들이 0이라는 것을 의미할 수도 있지만, 이를 의미하지 않아도 된다. 예를 들어, 단지 2개의 평면파에 의해 코딩/표현되는 음장은 공간적으로 희소한 것을 의미한다. 그러나, 통상적으로 각각의 HOA 계수 시퀀스들 중 하나도 0이 아닐 것이다.
희소한 HOA 표현 
는 지연 보상된 HOA 표현 
, 활성 앰비언스 계수들의 세트 
, 및 단계/스테이지(14)에서 지연 보상되는 PAR 인코더 파라미터들 
, 
, 
및 
와 함께 PAR 인코더 단계 또는 스테이지(13)로 공급된다. PAR 처리는 NSB개의 부대역 그룹들에서 수행되고, 여기서 행렬 
의 행들은 각각의 대응하는 부대역 그룹에 대한 PAR 필터 뱅크의 첫 번째 및 마지막 부대역 인덱스를 보유한다. 벡터 
는 모든 PAR 부대역 그룹들에 대해 처리에 사용되는 HOA 차수를 포함한다. 인덱스 세트 
는 PAR 처리에 사용되는 
로부터의 행들의 인덱스들을 보유한다. 복제된 주변 HOA 표현의 하나의 공간 영역 신호를 계산하는 데 사용되는 부대역 그룹당 공간 영역 신호들의 수는 프레임 
에 대한 벡터 
에 의해 정의된다. 벡터 
는 각각의 부대역 그룹에 대해 PAR 혼합 행렬의 원소들이 복소수 값의 수들인지 또는 실수 값의 음이 아닌 수들인지를 나타낸다. 이들 입력 신호들 및 파라미터들로부터 PAR 인코더는 단계/스테이지(16)에 또한 공급되는 인코딩된 PAR 파라미터 세트 
를 계산한다.
멀티플렉서 및 프레임 동기화 단계/스테이지(16)는 파라미터 세트들 
, 
및 
의 프레임 지연들을 동기화시키고, 이들을 코딩된 HOA 프레임 
으로 결합한다.
HOA 인코더 지연은 
에 의해 정의되며, 여기서 HOA 디코더는 추가적인 지연을 도입하지 않는다고 가정한다. 지각 인코더 지연 
에 대해서도 동일한 정의들이 성립된다. PAR 처리도 하나의 프레임의 지연을 추가하며, 따라서 전체적인 지연은 
이다.
PAR 인코더
PAR 처리의 기본 특징은 희소한 HOA 표현 
로부터 상관성 제거된 신호들을 생성하고, 이들 상관성 제거된 신호들을, 원래의 HOA 표현 
의 공간 특성들과 매칭시키기 위해, 희소하고 고도로 상관된 HOA 표현을 향상시키는 복제된 주변 HOA 표현에 결합하는 혼합 행렬들을 주파수 영역에서 획득하는 것이다. 상관성 제거는 이 맥락에서 부대역 신호들의 위상이 그의 크기를 변경하지 않고 수정된다는 것을 의미한다. 따라서 도 2에 도시된 PAR 인코더는 HOA 표현들 
및 
로부터 PAR 인코딩 파라미터들 
, 
, 
및 
를 고려하여 코딩된 PAR 파라미터 세트 
를 계산하며, 여기서 간략화를 위해 인덱스 
가 도입된다.
PAR 처리는 주파수 영역에서 수행된다. PAR 분석 필터 뱅크는 입력 HOA 표현을 그의 복소수 값의 주파수 영역 표현으로 변환하며, 여기서 시간 영역 샘플의 수가 주파수 영역 샘플의 수와 같다고 가정한다. 예를 들어, 
개의 부대역들을 갖는 QMF(Quadrature Mirror Filter) 뱅크들이 필터 뱅크들로서 사용될 수 있다. 제1 필터 뱅크(24)는 
행렬 
를 
개의 주파수 영역 
행렬들 
로 변환하고(여기서 
및 
임), 제2 필터 뱅크(23)는 
행렬 
를 
개의 주파수 영역 
행렬들 
로 변환한다(여기서 
및 
임). 
, 
, 
및 
를 또한 수신하는, 단계 또는 스테이지(25)에서, 이들 부대역들은 
개의 부대역 그룹들로 그룹화된다. 각각의 부대역 그룹 
의 신호들은 대응하는 수의 PAR 부대역 인코더 단계들 또는 스테이지들(26 및 27)에 의해 개별적으로 인코딩된다.
PAR 부대역 구성은 다음 행렬
에 의해 정의되며, 여기서 제1 및 제2 열들은 대응하는 부대역 그룹 
의 첫 번째 및 마지막 부대역 인덱스의 인덱스 
를 유지한다. 부대역 구성은 단계 또는 스테이지(21)에서 유럽 특허 출원 EP 14306347.7에서 기술된 방법에 의해 파라미터 세트 
로 인코딩된다. 그것은 각각의 프레임 인덱스 
에 대해 고정되기 때문에, 그것은 초기화를 위해 한 번만 디코더에 송신되어야 한다.
단계/스테이지(25)에서의 부대역들의 그룹화는 입력 신호들 및 파라미터들을 주어진 부대역 구성에 따라 각각의 PAR 부대역 인코더 단계/스테이지(26, 27)로 보내고, 따라서 부대역 그룹 
의 각각의 PAR 부대역 인코더는 모든 
에 대한 입력으로서 
, 
, 
, 
, 및 
를 획득한다.
파라미터 
는 PAR 인코더가 파라미터들을 계산하는 HOA 차수를 나타낸다. 이 차수는 HOA 표현 
의 HOA 차수 
이하이다. 그것은 인코딩된 PAR 파라미터들 
을 송신하기 위한 데이터 레이트를 감소시키는 데 사용된다. 다음 벡터
는 모든 부대역 그룹들에 대한 HOA 차수들을 보유한다.
복제된 주변 HOA 표현의 하나의 공간 영역 신호를 생성하는 데 사용되는 상관성 제거된 신호의 수는 다음 벡터
에 의해 정의되며, 여기서 
및 
이다. 그것은 요구되는 신호의 수가 HOA 표현에 의존하기 때문에 프레임마다 업데이트된다. 고도로 공간적으로 확산되는 장면들을 포함하는 HOA 표현들의 경우, 덜 공간적으로 확산되는 HOA 표현보다 더 많은 상관성 제거된 신호들이 요구된다. 인코딩된 PAR 파라미터들에 대한 데이터 레이트는 사용된 상관성 제거된 신호의 수에 따라 증가하기 때문에, 이 파라미터도 데이터 레이트를 감소시키는 데 사용될 수 있다.
상관성 제거된 신호들의 혼합은 행렬 곱셈에 의해 행해지며, 여기서 인코딩된 행렬은 PAR 파라미터 세트 
에 포함된다. 다음 벡터
는 혼합 행렬의 원소들이 실수 값의 음이 아닌 수 또는 복소수 값의 수인지 여부를 나타내는 부울 변수를 포함하며, 여기서 
에 대해 복소수 값의 원소들의 행렬이 부대역 그룹 
에서 사용된다. 전송 신호들 
의 압축으로 인해, 디코딩된 전송 신호들의 위상 정보는 파라메트릭 코딩 도구들로 인해 디코더 측에서 손실될 수 있다(예를 들어, 스펙트럼 대역 복제 방법이 적용되는 경우). 이 경우 PAR 처리는 누락된 앰비언스 성분들의 공간 전력 분포만 복제할 수 있으며, 이는 PAR 혼합 행렬의 위상 정보가 더이상 쓸모가 없는 것을 의미한다.
또한 파라미터 
는 각각의 PAR 부대역 인코더 단계/스테이지(26, 27)에 입력된다. 이 세트는 상관성 제거된 신호들을 생성하는 데 사용되는 
로부터의 희소한 HOA 계수 시퀀스들의 인덱스들을 보유한다. 이 인덱스들은 원래의 HOA 표현 
의 시퀀스들과 크게 다르지 않아야 하는, HOA 차수 
내의 계수 시퀀스들을 다루어야 한다. 최선의 경우 그 시퀀스들은 PAR 인코더에서 동일하며 따라서 디코더 측에서 선택된 시퀀스들은 지각 코딩에 의해 부가된 왜곡들만큼만 다르다.
마지막으로, 멀티플렉서 및 프레임 동기화 단계 또는 스테이지(22)에서, 인코딩된 PAR 파라미터 세트들 
, 인코딩된 부대역 구성 세트 
및 PAR 코딩 파라미터들 
, 
및 
는 그들의 프레임 인덱스들에 의해 동기화되고 PAR 비트 스트림 파라미터 세트 
로 멀티플렉싱된다.
PAR
부대역
인코더
PAR 부대역 인코더 단계들/스테이지들(26 및 27)은 도 3에 더 상세히 도시된다. PAR 부대역 
의 각각의 부대역 
에 대해, 행렬들 
및 
는 단계들 또는 스테이지들(311, 312, 313)에서 아래 공간 변환 섹션에서 설명되는 공간 변환에 의해 그들의 공간 영역 표현들 
및 
로 변환된다. 이로부터 단계들 또는 스테이지들(321, 322, 323 및 324)에서 다음 공분산 행렬들
가 계산되고 여기서 
는 행렬 
의 에리미트 전치 행렬(hermitian transposed)을 나타낸다. 이전 프레임의 행렬들은 PAR 디코더에서 2개의 인접한 프레임들의 행렬들 사이의 크로스-페이드(cross-fade)를 가능하게 하기 위해 현재 및 이전 프레임에 대해 유효한 공분산 행렬들을 획득하기 위해 포함된다.
단계들 또는 스테이지들(331 및 332)에서의 상관성 제거된 신호들의 생성은 사용된 계수들의 인덱스 세트 
에 따라 선택되는 
로부터의 계수 시퀀스들의 서브세트를 공간 영역으로 변환하고 이들 공간 영역 신호들을, 행렬 
를 생성하는 대응하는 상관 제거기들에 할당하기 위해 치환 행렬 
로 치환한다. 이러한 처리 단계들에 대한 상세한 설명은 아래 상관성 제거된 신호들의 생성 섹션에서 설명된다.
단계들 또는 스테이지들(341 및 342)에서 대응하는 공간 영역 신호들의 공분산 행렬을 획득하기 위해, 
에 포함된 순열은 행렬 
에 의해 반전되어야 한다. 따라서 상관성 제거된 신호들의 공분산 행렬들이 다음
로부터 획득된다.
각각의 부대역의 HOA 표현들은 서로 독립적이며, 따라서 부대역 그룹의 공분산 행렬은 그의 부대역들의 공분산 행렬들의 합에 의해 계산될 수 있다고 가정한다. 따라서, PAR 부대역 인코더는 다음 공분산 행렬
을 결합기 단계 또는 스테이지(352)에서 계산하고, 다음 공분산 행렬
을 결합기 단계 또는 스테이지(354)에서 계산하고, 다음 공분산 행렬
을 결합기 단계 또는 스테이지(351)에서 계산한다.
상관성 제거된 신호들의 공분산 행렬 
로부터, 결합기 단계 또는 스테이지(353)에서 생성된 다음 행렬
로부터, 그리고 행렬들 
및 
로부터, 혼합 행렬 
이 혼합 행렬 계산 단계 또는 스테이지(36)에 의해 획득되고, 이 처리에 대해서는 혼합 행렬의 계산 섹션에서 설명된다.
마지막으로 단계 또는 스테이지(37)에서 혼합 행렬의 인코딩 섹션에서 설명된 바와 같이 혼합 행렬 
이 양자화되어 파라미터 세트 
로 인코딩된다.
공간 변환
공간 변환에서 입력 HOA 표현 
는 주어진 HOA 차수 
에 대한 실수 값의 구면 조화 함수들의 정의 섹션으로부터의 구면 조화 변환을 사용하여 그것의 공간 영역 표현 
로 변환된다. HOA 차수 
는 통상적으로 입력 HOA 차수 
보다 작기 때문에, 
보다 높은 인덱스를 갖는 
로부터의 행들은 구면 조화 변환이 적용될 수 있기 전에 제거되어야 한다.
상관성 제거된 신호들의 생성
상관성 제거된 신호들의 생성은 다음과 같은 처리 단계들을 포함한다:
- 희소한 HOA 표현 
로부터 사용된 계수들의 인덱스 세트 
에 의해 정의된 계수 시퀀스들의 서브세트를 선택한다;
- HOA 차수 
에 대한 공간 변환 섹션에 따라 선택된 계수 시퀀스들의 공간 변환을 수행한다;
- HOA 차수 
및 앰비언스 복제를 위해 사용되는 신호들의 수 
에 대해 선택되는, 치환 행렬 
에 의한 상관성 제거기들로의 할당을 위한 공간 영역 신호들의 치환;
- 부대역 신호의 크기를 가장 잘 보존하면서 부대역 신호들의 위상을 수정하는 개개의 처리를 사용하여 치환된 신호들의 상관성을 제거한다.
이하에서는 이러한 처리 단계들에 대한 상세한 설명이 제공된다.
상관성 제거기는 인덱스 세트 
의 원소가 아닌 인덱스를 갖는 행들을 0들의 
벡터로 대체함으로써 입력 행렬 
로부터 모든 비활성 HOA 계수 시퀀스들를 제거한다. 그 후 결과 행렬 
는 공간 변환 섹션으로부터의 공간 변환을 사용하여 그의 
공간 영역 표현 행렬 
로 변환된다.
혼합 행렬 
의 각각의 행을 계산하는 동안, 
로부터의 공간적으로 인접한 신호들이 선택된다. 따라서 행렬 
는 
로부터의 신호들을 상관성 제거기들로 보내기 위해 치환되며, 따라서 
개의 선택된 신호들 간의 최고의 상관성 제거가 보장된다. 
및 
의 각각의 미리 정의된 조합에 대해 고정된 
치환 행렬 
가 정의되어야 한다. 이러한 치환 행렬들의 계산 및 대응하는 신호 선택 테이블들은 치환 및 선택 행렬들의 계산 섹션에서 제공된다. 그 후 실제 치환이 다음
에 의해 수행되며, 여기서 
는 
의 원소들로부터의 대각 행렬을 형성한다. 상이한 치환 행렬들 간의 스위칭을 위한 페이드-인 및 페이드-아웃 벡터들은 다음
에 의해 정의되며 그 원소들은 다음
로부터 획득된다.
하나의 치환 행렬로부터 다른 치환 행렬로의 페이딩은 상관성 제거기들의 입력 신호들의 불연속성을 방지한다. 그 후 
의 각각의 행에서의 
신호들은 행렬 
를 형성하기 위해 대응하는 상관성 제거기들에 의해 상관성 제거된다. 사용된 상관성 관계 제거 방법은 MPEG 서라운드 표준 ISO/IEC FDIS 23003-1, MPEG 서라운드, 섹션 6.6에 정의되어 있다.
기본적으로 각각의 상관성 제거기는 각각의 주파수 대역 신호를 개개의 샘플 수만큼 지연시키며, 여기서 지연은 모든 
상관 제거기들에 대해 동일하다. 또한 상관성 제거기들 각각은 그의 입력 신호에 개개의 전역 통과 필터를 적용한다. 상관성 제거기들의 상이한 구성들은 공간 영역 신호들 
의 위상 정보를 상이하게 왜곡시키고, 이는 공간 영역 신호들의 상관성 제거를 야기한다.
혼합 행렬의 계산
혼합 행렬 
은 변수 
에 의해 시그널링되는 실수 값의 음이 아닌 또는 복소수 값의 행렬 원소들에 대해 계산될 수 있다. 
= 1에 대해, 복소수 값의 혼합 행렬은 복소수 값의 혼합 행렬들 섹션에 따라 계산되며, 이 계산은 전송 채널들의 지각 코딩이 부대역 그룹 
내의 샘플들의 위상 정보를 파괴하지 않는 경우에만 적용 가능하다.
그렇지 않은 경우 실수 값의 음이 아닌 원소들의 혼합 행렬이면 복제된 주변 HOA 표현의 추출에 충분하다. 실수 값의 음이 아닌 혼합 행렬의 계산을 위한 예시적인 처리는 실수 값의 음이 아닌 혼합 행렬들 섹션에서 제공된다.
복소수 값의 혼합 행렬들
혼합 행렬의 계산은 전술한 Vilkamo/Baeckstroem/Kuntz 논문에서 설명된 방법에 기초한다. 혼합 행렬 
은 다중 채널 신호들 
를 
에 의해 더 많은 수의 채널을 갖는 신호들 
로 상향 혼합(up-mixing)하기 위해 계산된다.
여기서
을 만족시키는 혼합 행렬 
에 대한 해는 다음
에 의해 주어지며, 여기서
이고, 여기서 
는 행렬의 프로베니우스 놈(Frobenius norm)을 나타내고, 신호 벡터 
및 
의 공분산 행렬 
는 알려져 있다. 프로토타입 혼합 행렬 
는 
가 
의 양호한 근사가 되도록 
를 만족시킨다. 
및 
로부터의 신호들의 에너지들이 다를 수 있기 때문에, 대각 행렬 
는 
의 에너지를 
의 에너지로 정규화하며 여기서 
의 대각 원소들은 다음
에 의해 주어지며 
및 
는 
및 
의 대각 원소들이다. 
번째 부대역 그룹의 각각의 부대역 
에 대해 향상된 공간 영역 신호들의 행렬 
은 희소한 HOA 표현의 공간 영역 신호들 및 혼합된 공간 영역 상관성 제거된 신호들의 합으로부터 다음
에 의해 계산되는 것으로 가정되며, 여기서 표기법 
은 혼합 행렬 
이 현재 프레임 및 이전 프레임에 대해 유효하다는 것을 표현하기 위해 사용된다.
공간 영역 신호들 
및 
는 정의마다 비상관되는 것으로 가정되므로, 향상된 공간 영역 신호들 
의 상관 행렬 
은 2개의 성분들의 상관 행렬들의 합으로서 다음
에 의해 표현될 수 있다.
음향 심리학적 관점에서 향상된 희소한 HOA 표현이 원래의 HOA 표현 
과 같이 들리게 하기 위해, 그들의 상관 행렬들이 매칭될 수 있는데, 즉, 다음
과 같다.
이 요건은 혼합 행렬의 다음의 제약 조건:
를 야기하며, 여기서 
은 수학식 12에서 정의된다.
수학식 18과 수학식 27을 비교하면 다음과 같은 할당들
를 야기하며, 여기서 
및 
는 
및 
의 특이 값 분해로부터 계산될 수 있다.
마지막으로 제안된 방법에 대해 행렬 
가 정의되어야 한다. 행렬 
는 
의 양호한 근사이어야 하기 때문에, 
는 다음
의 해를 구해야 한다.
이 문제에 대한 잘 알려진 해결책은 다음
으로 정의된 근사 오차의 유클리드 놈(Euclidean norm)을 무어-펜로즈 의사 역행렬(Moore-Penrose pseudoinverse)을 사용하여 최소화하는 것이다.
혼합 행렬을 송신하기 위한 데이터 레이트의 감소를 위해, 
로부터의 
개의 공간적으로 인접한 신호들이 복제된 주변 HOA 표현의 각각의 공간 영역 신호의 계산을 위해 선택될 수 있다. 따라서 혼합 행렬 
의 각각의 행은 다음 선택 행렬
에 따라 개별적으로 계산되어야 하며, 여기서 원소들 
는 복제된 주변 HOA 표현의 
번째 공간 영역 신호를 생성하는 데 사용되는 
로부터의 행 벡터들의 인덱스를 나타내며 여기서 
이다. 혼합 행렬의 각각의 행에 대해 개별적으로 수학식 19의 해를 구하기 위해, 그것은 다음
로 변환되어야 하며, 여기서 
이다.
가 정의되며 
는 
의 
열 벡터들 중 하나이다. 
의 
행들 각각의 계산을 위해, 다음과 같은 부분 행렬
가 구성되며 벡터 
은 다음
에 의해 결정되며, 여기서 
는 
로부터의 
번째 행 벡터이고 
는 무어-펜로즈 의사 역행렬을 나타낸다. 일부 경우에 
는 의사 역행렬의 계산에서 정규화를 필요로 할 수도 있는 불량 조건일 수 있다.
적어도 혼합 행렬 
의 원소들 
이 다음
에 할당되며, 여기서 
은 벡터 
의 원소들이고 
이다.
실수 값의 음이 아닌 혼합 행렬들
그러나, 지각 코딩의 스펙트럼 대역폭 복제에 의해 영향을 받을 수 있는 고주파수 부대역 그룹들 
에 대해, 복소수 값의 혼합 행렬들 섹션에 설명된 방법은 합당하지 않은데 그 이유는 희소한 HOA 표현의 재구성된 부대역 신호들의 위상들이 원래의 부대역 신호들의 위상과 기본적으로 유사한 것으로조차 가정할 수 없기 때문이다.
그러한 경우들에 대해 위상들은 무시될 수 있다. 대신, 혼합 행렬들 
의 계산을 위해 신호 전력들에만 집중한다. 예측 계수들의 결정을 위한 합당한 기준은 다음 오차
를 최소화하는 것이고, 여기서 연산 
는 행렬들에 원소별로 적용되는 것으로 가정한다. 환언하면, 혼합 행렬은 상관성 제거된 HOA 표현의 모든 가중된 공간 부대역 신호들의 전력들의 합이 희소한 HOA 표현의 공간 영역 부대역 신호들 및 원본의 나머지의 전력에 가장 잘 근사하도록 선택된다. 이 경우, 이 최적화 문제를 해결하기 위해 비음수 행렬 분해(Nonnegative Matrix Factorisation, NMF) 기법들이 사용될 수 있다. NMF에 대한 소개에 대해서는, 예를 들어, D.D. Lee, H.S. Seung의 "Learning the parts of objects by nonnegative matrix factorization"(Nature, vol.401, 페이지 788-791, 1999)를 참조한다.
혼합 행렬의 인코딩
각각의 부대역 그룹 
의 혼합 행렬 
은 양자화되고 파라미터 세트 
로 인코딩되어야 하며, 여기서 행렬 
에 의해 정의된 
부분 행렬만이 코딩된다. 행렬 원소들의 양자화는 복제된 주변 HOA 표현의 지각된 오디오 품질을 감소시키지 않고 데이터 레이트를 감소시켜야 한다. 그러므로 중첩되는 프레임들에 대한 공분산 행렬들의 계산으로 인해, 연속 프레임들의 혼합 행렬들 사이에는 높은 상관성이 존재한다는 사실이 이용될 수 있다. 특히, 각각의 부분 행렬 원소는 그의 크기 및 그의 각도에 의해 표현될 수 있으며, 그 후 연속 프레임들 사이의 각도들 및 크기들의 차이들이 코딩된다.
크기가 구간 
내에 있다고 가정하면, 크기 차이는 구간 
내에 있다. 각도들의 차이는 구간 
내에 있다고 가정한다. 이러한 차이들의 양자화를 위해 크기 및 각도 차이에 대한 미리 정의된 비트 수들이 대응하여 사용된다. 실수 값의 음이 아닌 원소들을 갖는 혼합 행렬들을 사용하는 경우에는, 위상 차이가 항상 0이기 때문에 크기 차이들만이 코딩된다.
본 발명자들은 개개의 차이들의 발생 확률들이 매우 불균일한 방식으로 분포되어 있음을 실험적으로 발견하였다. 특히, 각도들뿐만 아니라 크기들에서의 작은 차이들이 큰 것들보다 현저히 더 빈번하게 발생한다. 따라서, 혼합 행렬 원소마다 평균 비트 수를 크게 감소시키기 위해 코딩될 개개의 값들의 선험적 확률들에 기초하는 코딩 방법(허프만 코딩 등)이 이용될 수 있다.
또한 
의 값은 프레임마다 송신되어야 한다. 이 목적을 위해 미리 정의된 테이블의 인덱스가 시그널링될 있으며, 이 인덱스는 각각의 유효한 PAR HOA 차수에 대해 정의된다.
치환 및 선택 행렬들의 계산
혼합 행렬들의 송신을 위한 데이터 레이트를 감소시키기 위해, 행마다의 활성(즉, 0이 아닌) 원소들의 수가 감소될 수 있다. 활성 행 원소들은, 이제는 타깃 신호(타깃 신호)라고 불리는, 복제된 주변 HOA 표현의 하나의 공간 영역 신호를 혼합하기 위해 사용되는 공간 영역 내의 
상관성 제거된 신호들의 
에 대응한다. 혼합될 상관성 제거된 공간 영역 신호들의 복소수 값의 부대역 신호들은 이상적으로는 타깃 신호로서 스케일링된 크기 스펙트럼을 갖지만, 상이한 위상 스펙트럼들을 가져야 한다. 이것은 타깃 신호의 공간 부근으로부터 혼합될 신호들을 선택함으로써 달성될 수 있다.
따라서, 각각의 
번째 타깃 신호 위치 
에 대한 제1 단계에서, 
개의 공간적으로 인접한 위치들의 그룹들이 각각의 HOA 차수 
에 대해 그리고 각각의 활성 행들의 수 
에 대해 발견되어야 한다. 제2 단계에서, 각각의 그룹에서 
신호들 간의 상호 상관성을 최소화하기 위해 
상관성 제거기들로의 
입력 신호들의 할당이 획득된다.
주어진 HOA 차수 
에 대한 그룹의 
개의 신호들을 찾는 하나의 방법은 모든 공간 영역 위치들과 
번째 타깃 신호의 위치 사이의 각도 거리를 계산하고, 
번째 그룹으로의 
개의 최소 거리들에 속하는 신호 인덱스들을 선택하는 것이다. 따라서 수학식 34의 행렬 
의 
번째 행 벡터는 
번째 그룹의 오름차순으로 정렬된 인덱스들로 구성된다. 
및 
의 각각의 미리 정의된 조합에 대한 행렬들은 PAR 인코더 및 디코더에서 알려진 것으로 가정된다.
이제 
및 
의 각각의 미리 정의된 조합에 대해 상관성 제거기들로의 공간 영역 신호들의 할당이 발견되고 치환 행렬 
에 저장되어야 한다. 따라서 특정 기준에 따라 최선의 할당을 찾기 위해 가능한 모든 할당들에 대한 검색이 적용된다. 하나의 가능한 기준은 모든 상관성 제거기들의 전역 통과 임펄스 응답들의 공분산 행렬 
을 구성하는 것이다. 할당의 페널티는 다음과 같은 단계들에 의해 계산된다:
- 각각의 그룹에 대해 해당 그룹의 신호들에 할당되는 행렬 
로부터의 원소들만 선택함으로써 공분산 부분 행렬을 구성한다;
- 각각의 공분산 부분 행렬의 최대 및 최소 특이 값의 몫을 합산한다.
가장 낮은 페널티를 갖는 할당으로부터 치환 행렬 
가 획득되고, 따라서 상관성 제거된 신호들의 생성 섹션으로부터의 행렬 
의 각각의 행이 할당된 상관성 제거기의 대응하는 인덱스로 치환된다.
HOA
디코더
프레임워크
PAR 디코더를 포함하는 HOA 디코더/HOA 압축 해제기의 프레임워크가 도 4에 도시된다. 비트 스트림 파라미터 세트 
는 디멀티플렉서 단계 또는 스테이지(41)에서 부수 정보 파라미터 세트들 
및 
, 및 신호 파라미터 세트 
로 디멀티플렉싱된다. 부수 정보와 신호 파라미터들 사이의 지연은 HOA 인코더에서 이미 정렬되었기 때문에, 디코더 측은 이미 동기화된 그의 데이터를 수신한다.
신호 파라미터 세트 
는 신호 파라미터 세트 
로부터 희소한 HOA 표현 
를 디코딩하는 지각 오디오 디코더 단계 또는 스테이지(42)에 공급된다. 그 다음의 HOA 디코더 단계 또는 스테이지(43)는 디코딩된 전송 신호들 
및 부수 정보 파라미터 세트 
로부터 디코딩된 희소한 HOA 표현 
를 구성한다. 인덱스 세트 
도 HOA 디코더 단계/스테이지(43)에 의해 재구성된다. 디코딩된 희소한 HOA 표현 
, 인덱스 세트 
및 PAR 부수 정보 파라미터 세트 
는 PAR 디코더 단계 또는 스테이지(44)에 공급되며, 이 단계는 이로부터 복제된 주변 HOA 표현을 재구성하고 디코딩된 희소한 HOA 표현 
를 디코딩된 HOA 표현 
로 향상시킨다.
PAR 디코더
프레임워크
도 5에 도시된 PAR 디코더 프레임워크는 디코딩된 HOA 표현 
를 재구성하기 위해 디코딩된 복제된 주변 HOA 표현 
에 의해 디코딩된 희소한 HOA 표현 
를 향상시킨다. 디코딩된 HOA 표현 
의 샘플들은 적용된 필터 뱅크들의 분석 및 합성 지연들에 따라 지연된다. PAR 부수 정보 파라미터 세트 
는 디멀티플렉서 단계 또는 스테이지(51)에서 각각의 부대역 그룹 
에 대해 부대역 구성 세트 
, PAR 파라미터들 
, 
, 
, 및 인코딩된 혼합 행렬들의 데이터 세트들 
로 디멀티플렉싱된다.
병행하여 디코딩된 희소한 HOA 표현 
는 분석 필터 뱅크 단계 또는 스테이지(52)에서 
개의 주파수-대역 HOA 표현 행렬들 
로 변환된다. 적용된 필터 뱅크는 인코더 측에서 PAR 인코더에서 사용된 것과 동일해야 한다.
부대역 구성들의 세트 
로부터 부대역 그룹들의 수 
및 수학식 1에 정의된 바와 같은 부대역 구성 행렬 
가 단계 또는 스테이지(53)에서 디코딩되고, 그룹 할당 단계 또는 스테이지(54)에 공급된다. 이들 파라미터에 따라, 그룹 할당 단계 또는 스테이지(54)는 단계들/스테이지들(51 및 53)로부터의 파라미터들 및 단계/스테이지(52)로부터의 주파수-대역 HOA 표현들 
를 부대역들 
에 대해 대응하는 PAR 부대역 디코더 단계들 또는 스테이지들(55, 56)로 보낸다.
각각의 주파수-대역의 결과적인 복제된 주변 HOA 표현 행렬들 
는 합성 필터 뱅크 단계 또는 스테이지(58)에서 시간 영역 HOA 표현 
로 변환된다. 마지막으로 
는 결합 단계 또는 스테이지(59)에서 디코딩된 HOA 표현 
를 생성하도록, (필터 뱅크 지연 보상(57)에서) 지연 보상된 희소한 HOA 표현 
에 샘플별로 추가된다.
PAR
부대역
디코더
도 6에 도시된 PAR 부대역 디코더는 부대역 그룹 
의 주파수-대역들 
에 대해 주파수 영역 복제된 주변 HOA 표현 행렬들 
를 생성한다.
병행하여 단계들 또는 스테이지들(611, 612)에서 파라미터들 
, 
및 
를 사용하여 희소한 HOA 표현 행렬들의 계수 시퀀스들 
로부터 치환되고 상관성 제거된 공간 영역 신호 행렬들 
가 생성되며, 이 처리는 PAR 부대역 인코더에서 사용되는 상관성 제거된 신호들의 생성 섹션으로부터의 처리와 동일하다.
또한, 혼합 행렬 디코딩 단계 또는 스테이지(63)에서 파라미터들 
, 
및 
를 사용하여 인코딩된 혼합 행렬 
의 데이터 세트로부터 혼합 행렬 
이 획득된다. 혼합 행렬 원소들의 실제 디코딩은 혼합 행렬의 디코딩 섹션에서 설명된다.
그 후 앰비언스 복제 단계들 또는 스테이지들(621, 622)에서, 부대역 그룹 
의 각각의 주파수 대역 
에 대해 앰비언스 복제 섹션에서 설명된 앰비언스 복제 처리에 의해, 
, 
및 
을 사용하여, 대응하는 상관성 제거된 공간 영역 신호들 
로부터 복제된 주변 HOA 표현의 공간 영역 신호들 
가 생성된다.
마지막으로 복제된 주변 HOA 표현 
의 공간 영역 신호들은 단계들 또는 스테이지들(641, 642)에서 
및 역 공간 변환을 사용하여 그들의 HOA 표현으로 역변환되며, 여기서 구면 조화 변환 섹션으로부터의 구면 조화 변환이 적용된다. 생성된 복제된 주변 HOA 표현 행렬 
는 대응하는 PAR HOA 차수 
의 처음 
개의 행들만이 0이 아닌 원소들을 갖는 치수들 
을 가져야 한다.
혼합 행렬의 디코딩
인코딩된 혼합 행렬의 원소들의 인덱스들은 현재 선택 행렬 
에 의해 정의되며, 따라서 혼합 행렬마다 
× 
원소들이 디코딩되어야 한다.
따라서 제1 단계에서 각각의 행렬 원소의 각도 및 크기 차이들이 PAR 인코더에서 적용된 대응하는 엔트로피 인코딩에 따라 디코딩된다. 그 후, 디코딩된 각도 및 크기 차이들이 이전 프레임의 재구성된 
각도 및 크기 혼합 행렬들에 추가되고, 여기서 현재 선택 행렬 
로부터의 원소들만이 사용되고 다른 모든 원소들은 0으로 설정되어야 한다. 업데이트된 재구성된 각도 및 크기 혼합 행렬들로부터 디코딩된 혼합 행렬 
의 복소수 값들이 다음
에 의해 복원되며, 여기서 
은 a번째 행 및 b번째 열에 있는 
의 원소이고, 
및 
은 업데이트된 재구성된 각도 및 크기 혼합 행렬들의 대응하는 원소들이다.
앰비언스
복제
앰비언스 복제는 파라미터들 
및 
에 대해 치환 행렬에 의해 정의되는, 상관성 제거된 공간 영역 신호들의 역 치환을 수행하고, 이어서 혼합 행렬 
과의 곱셈을 수행한다. 인접한 프레임들의 파라미터들의 매끄러운 전이를 위해, 현재 프레임으로부터의 상관성 제거된 신호들이 처리되고 현재 및 이전 프레임의 파라미터들을 사용하여 크로스-페이딩된다. 따라서 앰비언스 복제의 처리는 다음
에 의해 정의되며, 여기서 수학식 14 및 수학식 15로부터의 크로스-페이드 함수가 사용된다.
고차
앰비소닉스의
기초
고차 앰비소닉스(Higher Order Ambisonics, HOA)는 음원이 없는 것으로 가정되는, 작은 관심 영역 내의 음장에 대한 설명에 기초한다. 그 경우, 관심 영역 내의 시간 t 및 위치 x에서의 음압 p(t,x)의 시공간적 거동은 동차 파동 방정식(homogeneous wave equation)에 의해 물리적으로 완전히 결정된다. 이하에서는 도 7에 도시된 바와 같은 구면 좌표계가 가정된다. 사용된 좌표계에서 x 축은 정면 위치를 가리키고, y 축은 좌측을 가리키고, z 축은 상부를 가리킨다. 공간상의 위치 
는 반경 
(즉, 좌표 원점까지의 거리), 극축 z로부터 측정된 경사각 
및 x 축으로부터 x-y 평면에서 반시계 방향으로 측정된 방위각 
에 의해 표현된다. 또한, 
는 전치를 나타낸다.
그 후, "Fourier Acoustics" 교과서로부터 
로 표시된 시간에 대한 음압의 푸리에 변환, 즉
(여기서 ω는 각 주파수를 나타내고 i는 허수 단위를 나타냄)은 다음
에 따라 구면 조화 함수들의 급수로 확장될 수 있으며, 여기서 
는 음의 속도를 나타내고 
는 
에 의해 각주파수 ω와 관련되는 각파수(angular wave number)를 나타낸다. 또한, 
는 제1 종의 구면 베셀 함수들을 나타내고 
는 실수 값의 구면 조화 함수들의 정의 섹션에서 정의되는 차수(order) n 및 차수(degree) m의 실수 값의 구면 조화 함수들을 나타낸다. 확장 계수들 
는 각파수 
에만 의존한다. 음압은 공간적으로 대역 제한되는 것이 암시적으로 가정되었다는 점에 주목한다. 따라서, 급수는 HOA 표현의 차수라고 불리는 상한 
에서 차수 인덱스 n에 대해 절단된다.
음장이 각도 튜플 
에 의해 명시된 모든 가능한 방향들로부터 도착하는 상이한 각주파수 ω의 무한 수의 조화 평면파들의 중첩에 의해 표현된다면, 각각의 평면파 복소수 진폭 함수 
가 다음의 구면 조화 함수들 확장
에 의해 표현될 수 있으며, 여기서 확장 계수들 
는 확장 계수들 
과 다음
에 의해 관련된다는 것을 알 수 있다(B. Rafaely, "Plane-wave decomposition of the sound field on a sphere by spherical convolution", J. Acoust. Soc. Am., vol.4(116), 페이지 2149-2157, 2004년 10월 참조).
개개의 계수들 
가 각주파수 ω의 함수라고 가정하면, 역 푸리에 변환(
에 의해 표시됨)을 적용하면 각각의 차수 n 및 차수 m에 대해 다음 시간 영역 함수들
이 제공된다. 이들 시간 영역 함수들은 여기에서 연속 시간 HOA 계수 시퀀스들이라고 불리며, 이는 다음
에 의해 단일 벡터 
에 수집될 수 있다. 벡터 
내의 HOA 계수 시퀀스 
의 위치 인덱스는 n(n+1)+1+m에 의해 주어진다. 벡터 
내의 원소들의 전체 수는 
에 의해 주어진다.
최종 앰비소닉스 포맷은 샘플링 주파수 
를 사용하여 
의 샘플링된 버전을 다음
로서 제공하며, 여기서 
는 샘플링 주기를 나타낸다. 
의 원소들은 이산 시간 HOA 계수 시퀀스들이라고 불리며, 이들은 항상 실수 값인 것으로 제시될 수 있다. 이 특성은 연속 시간 버전들 
에 대해서도 성립한다.
실수 값의 구면 조화 함수들의 정의
실수 값의 구면 조화 함수들 
(J. Daniel, 
de champs acoustiques, application 
transmission et 
reproduction de 
sonores complexes dans un contexte 
, 파리 대학 박사 학위 논문, 6, 2001, chapter 3.1에 따른 SN3D 정규화를 가정)은 다음
에 의해 주어지며, 여기서
이다.
연관된 르장드르 함수 
는 다음
으로서 정의되며, 르장드르 다항식 
는 있고, E.G. Williams, "Fourier Acoustics"(Applied Mathematical Sciences의 vol.93, Academic Press, 1999)에서와 달리, 콘던-쇼틀리 위상(Condon-Shortley phase) 항 
은 없다.
구면 조화 변환
HOA 시퀀스의 공간 표현이 단위 구체상에 거의 균일하게 분포되어 있는 다수의 
개의 공간 방향들 
에서 이산화되면, 
개의 방향 신호들 
이 획득된다. 이 신호들을 다음
로서 벡터로 수집하면, 그것은 수학식 48에서 정의된 연속 앰비소닉스 표현 
로부터
로서 단순 행렬 곱셈에 의해 계산될 수 있으며, 여기서 
는 조인트 전치 및 공액(joint transposition and conjugation)을 나타내고, 
는 다음
에 의해 정의된 모드-행렬을 나타내며, 여기서
이다. 방향들 
은 단위 구체상에서 거의 균일하게 분포되기 때문에, 모드 행렬은 일반적으로 가역적이다. 따라서, 연속 앰비소닉스 표현은 방향 신호들 
로부터 다음
에 의해 계산될 수 있다.
양쪽 수학식은 앰비소닉스 표현과 공간 영역 사이의 변환 및 역변환을 구성한다. 이들 변환은 구면 조화 변환 및 역 구면 조화 변환이라고 불린다. 방향들 
은 단위 구체상에서 거의 균일하게 분포되기 때문에, 다음 근사
을 이용할 수 있으며, 이는 수학식 54에서 
대신에 
를 사용하는 것을 정당화한다. 유리하게도, 언급한 모든 관계들은 이산 시간 영역에 대해서도 유효하다.
기술된 처리는 단일 프로세서 또는 전자 회로에 의해, 또는 병렬로 동작하는 및/또는 완전한 처리의 상이한 부분들에서 동작하는 수 개의 프로세서 또는 전자 회로에 의해 수행될 수 있다. 기술된 처리에 따라 프로세서 또는 프로세서들을 동작시키기 위한 명령들은 하나 이상의 메모리에 저장될 수 있다. 적어도 하나의 프로세서는 이들 명령을 수행하도록 구성된다.
Claims (17)
- 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록, 음장의 고차 앰비소닉스 HOA 신호 표현
을 처리하기 위한 방법으로서, 상기 방법은:
- 상기 HOA 신호 표현을 압축하는(11) 단계;
- 상기 압축된 HOA 신호 표현을 압축 해제하는(12) 단계 - 상기 압축 해제(12)는 공간적으로 희소한 디코딩된 HOA 표현
및 이 표현의 계수 시퀀스들의 인덱스들의 세트
를 제공하고, 상기 k는 프레임 인덱스이고, 상기 k'는 k-kHOA이고, 상기 kHOA는 상기 압축 및 상기 압축 해제에 의해 초래된 지연을 정의함 -;
- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수
의 복소수 값의 주파수 영역 부대역 표현들
로 변환하고(23) 분석 필터 뱅크를 사용하여 상기 HOA 신호 표현
의 대응 지연된 버전을 대응하는 수
의 복소수 값의 주파수 영역 부대역 표현들
로 변환하는(24) 단계;
- 상기 부대역들을 다수의 부대역 그룹들로 그룹화하는(25) 단계로서, 이들 부대역 그룹들의 각각의 부대역 그룹 내에서:
-- 상관성 제거 필터들(331, 332)을 사용하여, 상기 복소수 값의 주파수 영역 부대역 표현으로부터 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현
과 비상관되는 다수의 수정된 위상 스펙트럼 신호들
을 생성하는 단계;
-- 상기 수정된 위상 스펙트럼 신호들로부터 부대역 그룹 내의 각각의 부대역에 대해 상관성 제거 공분산 행렬을 계산하는(341, 342) 단계;
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현을 그것의 공간 영역 표현
으로 변환하고(311, 312) 이로부터 대응하는 공분산 행렬을 계산하는(321, 322) 단계;
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 HOA 신호 표현에 대한 복소수 값의 주파수 영역 부대역 표현
을 그것의 공간 영역 표현
으로 변환하고(313, 314) 이로부터 대응하는 공분산 행렬을 계산하는(323, 324) 단계,
각각의 부대역 그룹에 대해:
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 상관성 제거 공분산 행렬을 제공하도록 상기 상관성 제거 공분산 행렬들을 결합하는(351) 단계;
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬을 제공하도록 상기 복소수 값의 주파수 영역 부대역 표현들
의 상기 공간 영역 표현
에 대한 공분산 행렬들을 결합하는(352) 단계;
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬을 제공하도록 상기 HOA 신호 표현
에 대한 상기 복소수 값의 주파수 영역 부대역 표현들
의 상기 공간 영역 표현
에 대한 공분산 행렬들을 결합하는(354) 단계;
-- 행렬을 제공하도록, 상기 결합된 공분산 행렬들
및
사이의 잔차를 형성하는(353) 단계;
-- 행렬및 행렬
을 사용하여, 대응하는 혼합 행렬
을 계산하는(36) 단계;
-- 상기 부대역 그룹에 대한 파라미터 세트를 제공하도록 상기 혼합 행렬을 인코딩하는(37) 단계;
- 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록 상기 부대역 그룹들에 대한 상기 파라미터 세트들
및 인코딩된 부대역 구성 데이터
및 파라메트릭 앰비언스 복제 코딩 파라미터들을 멀티플렉싱하는(22) 단계를 포함하는, 방법.
- 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록, 음장의 고차 앰비소닉스 HOA 신호 표현
을 처리하기 위한 장치로서, 상기 장치는:
- 상기 HOA 신호 표현을 압축하고(11);
- 상기 압축된 HOA 신호 표현을 압축 해제하고(12) - 상기 압축 해제(12)는 공간적으로 희소한 디코딩된 HOA 표현
및 이 표현의 계수 시퀀스들의 인덱스들의 세트
를 제공하고, 상기 k는 프레임 인덱스이고, 상기 k'는 k-kHOA이고, 상기 kHOA는 상기 압축 및 상기 압축 해제에 의해 초래된 지연을 정의함 -;
- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수
의 복소수 값의 주파수 영역 부대역 표현들
로 변환하고(23) 분석 필터 뱅크를 사용하여 상기 HOA 신호 표현
의 대응 지연된 버전을 대응하는 수
의 복소수 값의 주파수 영역 부대역 표현들
로 변환하고(24);
- 상기 부대역들을 다수의 부대역 그룹들로 그룹화하고(25), 이들 부대역 그룹들의 각각의 부대역 그룹 내에서:
-- 상관성 제거 필터들(331, 332)을 사용하여, 상기 복소수 값의 주파수 영역 부대역 표현으로부터 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현
과 비상관되는 다수의 수정된 위상 스펙트럼 신호들
을 생성하고;
-- 상기 수정된 위상 스펙트럼 신호들로부터 부대역 그룹 내의 각각의 부대역에 대해 상관성 제거 공분산 행렬을 계산하고(341, 342);
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 복소수 값의 주파수 영역 부대역 표현을 그것의 공간 영역 표현
으로 변환하고(311, 312) 이로부터 대응하는 공분산 행렬을 계산하고(321, 322);
-- 부대역 그룹 내의 각각의 부대역에 대해 상기 HOA 신호 표현에 대한 복소수 값의 주파수 영역 부대역 표현
을 그것의 공간 영역 표현
으로 변환하고(313, 314) 이로부터 대응하는 공분산 행렬을 계산하고(323, 324),
각각의 부대역 그룹에 대해:
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 상관성 제거 공분산 행렬을 제공하도록 상기 상관성 제거 공분산 행렬들을 결합하고(351);
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬을 제공하도록 상기 복소수 값의 주파수 영역 부대역 표현들
의 상기 공간 영역 표현
에 대한 공분산 행렬들을 결합하고(352);
-- 부대역 그룹의 모든 부대역들에 대해, 부대역 그룹 공분산 행렬을 제공하도록 상기 HOA 신호 표현
에 대한 상기 복소수 값의 주파수 영역 부대역 표현들
의 상기 공간 영역 표현
에 대한 공분산 행렬들을 결합하고(354);
-- 행렬을 제공하도록, 상기 결합된 공분산 행렬들
및
사이의 잔차를 형성하고(353);
-- 행렬및 행렬
을 사용하여, 대응하는 혼합 행렬
을 계산하고(36);
-- 상기 부대역 그룹에 대한 파라미터 세트를 제공하도록 상기 혼합 행렬을 인코딩하고(37);
- 파라메트릭 앰비언스 복제 파라미터 세트를 제공하도록 상기 부대역 그룹들에 대한 상기 파라미터 세트들
및 인코딩된 부대역 구성 데이터
및 파라메트릭 앰비언스 복제 코딩 파라미터들을 멀티플렉싱하도록(22) 구성된 수단을 포함하는, 장치.
- 제1항에 있어서,
상기 혼합은 상기 주파수 영역에서 수행되는 방법. - 제1항 또는 제3항에 있어서,
상기 공간적으로 희소한 디코딩된 HOA 표현은 가능한 한 균일하게 단위 구체상에 분포된 다수의 미리 정의된 방향들로부터의 가상 라우드스피커 신호들에 의해 표현되고,
상기 미리 정의된 방향들 각각에 대해 상기 상관성 제거 필터들(331, 332)을 사용하여 대응하는 가상 라우드스피커 신호의 위상 스펙트럼을 수정함으로써 하나의 비상관된 신호가 생성되고,
상기 수정된 위상 스펙트럼 신호들의 상기 혼합은 각각의 가상 라우드스피커 신호 및 그의 특정 방향에 대하여 그 특정 방향의 이웃으로부터의 수정된 위상 스펙트럼 신호들만이 사용되도록 수행되는 방법. - 제4항에 있어서,
상기 상관성 제거 필터들은 쌍으로 상이하며 그들의 수는 상기 미리 정의된 방향들의 수와 동일한 방법. - 제4항에 있어서,
상기 미리 정의된 방향들의 수는 상이한 주파수 대역들에서 변화하는(25) 방법. - 제4항에 있어서,
상기 상관성 제거 필터들로의 상기 가상 라우드스피커 신호들의 할당(331, 332)은 치환 행렬에 의해 표현되는 방법. - 제1항 또는 제3항에 따라 생성된 파라메트릭 앰비언스 복제 파라미터 세트를 사용하여, 공간적으로 희소한 디코딩된(42, 43) HOA 표현
- 이 표현의 계수 시퀀스들의 인덱스들의 세트
는 상기 디코딩에 의해 제공된 것임 - 을 개선하기 위한 방법으로서, 상기 방법은:
- 상기 공간적으로 희소한 디코딩된 HOA 표현, 상기 계수 시퀀스들의 인덱스들의 세트
및 상기 파라메트릭 앰비언스 복제 파라미터 세트
로부터 개선된 HOA 표현
을 재구성하는(44) 단계 - 상기 재구성하는(44) 단계는:
-- 상기 파라메트릭 앰비언스 복제 파라미터 세트로부터 부대역 구성을 결정하는(51, 53) 단계;
-- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수
의 주파수 대역 HOA 표현들
로 변환하는(52) 단계;
-- 상기 부대역 구성에 따라, 주파수 대역 HOA 표현들의 대응하는 그룹들과 함께 관련된 파라미터들을, 복제된 앰비언스 HOA 표현
의 상관성 제거된 계수 시퀀스들을 생성하는 대응하는 수
의 파라메트릭 앰비언스 복제 부대역 디코더 단계들 또는 스테이지들(55, 56)에 할당하는(54) 단계;
-- 상기 복제된 앰비언스 HOA 표현의 상기 계수 시퀀스들을 복제된 시간 영역 HOA 표현
으로 변환하는(58) 단계를 포함함 -;
- 향상된 압축 해제된 HOA 표현을 제공하도록, 상기 복제된 시간 영역 HOA 표현
을 사용하여 상기 공간적으로 희소한 디코딩된 HOA 표현
을 향상시키는(59) 단계를 포함하는, 방법.
- 제2항에 따라 생성된 파라메트릭 앰비언스 복제 파라미터 세트를 사용하여, 공간적으로 희소한 디코딩된(42, 43) HOA 표현
- 이 표현의 계수 시퀀스들의 인덱스들의 세트
는 상기 디코딩에 의해 제공된 것임 - 을 개선하기 위한 장치로서, 상기 장치는:
- 상기 공간적으로 희소한 디코딩된 HOA 표현, 상기 계수 시퀀스들의 인덱스들의 세트
및 상기 파라메트릭 앰비언스 복제 파라미터 세트
로부터 개선된 HOA 표현
을 재구성하고(44) - 상기 재구성(44)은:
-- 상기 파라메트릭 앰비언스 복제 파라미터 세트로부터 부대역 구성을 결정하고(51, 53);
-- 상기 공간적으로 희소한 디코딩된 HOA 표현을 다수
의 주파수 대역 HOA 표현들
로 변환하고(52);
-- 상기 부대역 구성에 따라, 주파수 대역 HOA 표현들의 대응하는 그룹들과 함께 관련된 파라미터들을, 복제된 앰비언스 HOA 표현
의 상관성 제거된 계수 시퀀스들을 생성하는 대응하는 수
의 파라메트릭 앰비언스 복제 부대역 디코더 단계들 또는 스테이지들(55, 56)에 할당하고(54);
-- 상기 복제된 앰비언스 HOA 표현의 상기 계수 시퀀스들을 복제된 시간 영역 HOA 표현
으로 변환하고(58);
- 향상된 압축 해제된 HOA 표현을 제공하도록, 상기 복제된 시간 영역 HOA 표현
을 사용하여 상기 공간적으로 희소한 디코딩된 HOA 표현
을 향상시키도록(59) 구성된 수단을 포함하는, 장치.
- 제8항에 있어서,
상기 공간적으로 희소한 디코딩된 HOA 표현, 상기 계수 시퀀스들의 인덱스들의 세트
로부터 그리고 수신된 앰비언스 복제 코딩 파라미터들
로부터 압축 측에서 사용되는 상관성 제거 필터들과 같은 상관성 제거 필터들을 사용하여 상관성 제거된 공간 영역 신호 신호들
이 생성되고(611, 612), 혼합 행렬
이 제공되고,
상기 상관성 제거된 공간 영역 신호들로부터 복제된 주변 HOA 표현의 공간 영역 신호들
이 생성되고(621, 622),
상기 복제된 주변 HOA 표현의 공간 영역 신호들은 상기 향상(59)에서 사용되는 상기 복제된 주변 HOA 표현 신호들
로 역변환되는(641, 642), 방법.
- 컴퓨터상에서 실행될 때, 제1항 또는 제3항에 따른 방법을 수행하는, 명령들을 포함하는 컴퓨터 판독가능 기록 매체.
- 제2항에 있어서,
상기 혼합은 상기 주파수 영역에서 수행되는 장치. - 제2항 또는 제12항에 있어서,
상기 공간적으로 희소한 디코딩된 HOA 표현은 가능한 한 균일하게 단위 구체상에 분포된 다수의 미리 정의된 방향들로부터의 가상 라우드스피커 신호들에 의해 표현되고,
상기 미리 정의된 방향들 각각에 대해 상기 상관성 제거 필터들(331, 332)을 사용하여 대응하는 가상 라우드스피커 신호의 위상 스펙트럼을 수정함으로써 하나의 비상관된 신호가 생성되고,
상기 수정된 위상 스펙트럼 신호들의 상기 혼합은 각각의 가상 라우드스피커 신호 및 그의 특정 방향에 대하여 그 특정 방향의 이웃으로부터의 수정된 위상 스펙트럼 신호들만이 사용되도록 수행되는 장치. - 제13항에 있어서,
상기 상관성 제거 필터들은 쌍으로 상이하며 그들의 수는 상기 미리 정의된 방향들의 수와 동일한 장치. - 제13항에 있어서,
상기 미리 정의된 방향들의 수는 상이한 주파수 대역들에서 변화하는(25) 장치. - 제13항에 있어서,
상기 상관성 제거 필터들로의 상기 가상 라우드스피커 신호들의 할당(331, 332)은 치환 행렬에 의해 표현되는 장치. - 제9항에 있어서,
상기 공간적으로 희소한 디코딩된 HOA 표현, 상기 계수 시퀀스들의 인덱스들의 세트
로부터 그리고 수신된 앰비언스 복제 코딩 파라미터들
로부터 압축 측에서 사용되는 상관성 제거 필터들과 같은 상관성 제거 필터들을 사용하여 상관성 제거된 공간 영역 신호 신호들
이 생성되고(611, 612), 혼합 행렬
이 제공되고,
상기 상관성 제거된 공간 영역 신호들로부터 복제된 주변 HOA 표현의 공간 영역 신호들
이 생성되고(621, 622),
상기 복제된 주변 HOA 표현의 공간 영역 신호들은 상기 향상(59)에서 사용되는 상기 복제된 주변 HOA 표현 신호들
로 역변환되는(641, 642) 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14306607.4A EP3007167A1 (en) | 2014-10-10 | 2014-10-10 | Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field |
| EP14306607.4 | 2014-10-10 | ||
| PCT/EP2015/072064 WO2016055284A1 (en) | 2014-10-10 | 2015-09-25 | Method and apparatus for low bit rate compression of a higher order ambisonics hoa signal representation of a sound field |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170055512A KR20170055512A (ko) | 2017-05-19 |
| KR101970080B1 true KR101970080B1 (ko) | 2019-04-17 |
Family
ID=51842455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177009547A KR101970080B1 (ko) | 2014-10-10 | 2015-09-25 | 음장의 고차 앰비소닉스 hoa 신호 표현의 낮은 비트 레이트 압축을 위한 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10262663B2 (ko) |
| EP (2) | EP3007167A1 (ko) |
| JP (1) | JP6378432B2 (ko) |
| KR (1) | KR101970080B1 (ko) |
| CN (1) | CN107077853B (ko) |
| TW (1) | TW201614638A (ko) |
| WO (1) | WO2016055284A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MC200186B1 (fr) * | 2016-09-30 | 2017-10-18 | Coronal Encoding | Procédé de conversion, d'encodage stéréophonique, de décodage et de transcodage d'un signal audio tridimensionnel |
| FR3060830A1 (fr) * | 2016-12-21 | 2018-06-22 | Orange | Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne |
| WO2019012131A1 (en) | 2017-07-14 | 2019-01-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | CONCEPT FOR GENERATING AN ENHANCED AUDIO FIELD DESCRIPTION OR A MODIFIED AUDIO FIELD DESCRIPTION USING A MULTIPOINT SOUND FIELD DESCRIPTION |
| BR112020000779A2 (pt) | 2017-07-14 | 2020-07-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | aparelho para gerar uma descrição de campo sonoro aprimorada, aparelho para gerar uma descrição de campo sonoro modificada a partir de uma descrição de campo sonoro e metadados com relação às informações espaciais da descrição de campo sonoro, método para gerar uma descrição de campo sonoro aprimorada, método para gerar uma descrição de campo sonoro modificada a partir de uma descrição de campo sonoro e metadados com relação às informações espaciais da descrição de campo sonoro, programa de computador e descrição de campo sonoro aprimorada. |
| WO2019012133A1 (en) | 2017-07-14 | 2019-01-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | CONCEPT OF GENERATING AN ENHANCED AUDIO FIELD DESCRIPTION OR A MODIFIED AUDIO FIELD DESCRIPTION USING A MULTILAYER DESCRIPTION |
| CN109389987B (zh) * | 2017-08-10 | 2022-05-10 | 华为技术有限公司 | 音频编解码模式确定方法和相关产品 |
| KR102159631B1 (ko) * | 2018-11-21 | 2020-09-24 | 에스티엑스엔진 주식회사 | 부대역 조향 공분산 행렬을 이용한 적응형 빔형성기의 신호처리방법 |
| US11637608B2 (en) * | 2019-08-01 | 2023-04-25 | Lenovo (Singapore) Pte. Ltd. | Method and apparatus for generating a channel state information report adapted to support a partial omission |
| US11601135B2 (en) * | 2020-02-27 | 2023-03-07 | BTS Software Solutions, LLC | Internet of things data compression system and method |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101411214B (zh) * | 2006-03-28 | 2011-08-10 | 艾利森电话股份有限公司 | 用于多信道环绕声音的解码器的方法和装置 |
| CN101067931B (zh) * | 2007-05-10 | 2011-04-20 | 芯晟(北京)科技有限公司 | 一种高效可配置的频域参数立体声及多声道编解码方法与*** |
| EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
| EP2637427A1 (en) * | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
| EP2665208A1 (en) | 2012-05-14 | 2013-11-20 | Thomson Licensing | Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation |
| EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
| EP2743922A1 (en) * | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
| EP2800401A1 (en) | 2013-04-29 | 2014-11-05 | Thomson Licensing | Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation |
| EP2993665A1 (en) | 2014-09-02 | 2016-03-09 | Thomson Licensing | Method and apparatus for coding or decoding subband configuration data for subband groups |
-
2014
- 2014-10-10 EP EP14306607.4A patent/EP3007167A1/en not_active Withdrawn
-
2015
- 2015-09-25 JP JP2017518906A patent/JP6378432B2/ja active Active
- 2015-09-25 WO PCT/EP2015/072064 patent/WO2016055284A1/en active Application Filing
- 2015-09-25 US US15/509,596 patent/US10262663B2/en active Active
- 2015-09-25 EP EP15767514.1A patent/EP3204940B1/en active Active
- 2015-09-25 CN CN201580056173.8A patent/CN107077853B/zh active Active
- 2015-09-25 KR KR1020177009547A patent/KR101970080B1/ko active IP Right Grant
- 2015-10-02 TW TW104132462A patent/TW201614638A/zh unknown
Non-Patent Citations (1)
| Title |
|---|
| WD1-HOA Text of MPEG-H 3D Audio. ISO/IEC JTC1/SC29/WG11 N14264. 2014.02.21. |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6378432B2 (ja) | 2018-08-22 |
| CN107077853B (zh) | 2020-09-08 |
| EP3204940B1 (en) | 2019-08-14 |
| TW201614638A (en) | 2016-04-16 |
| KR20170055512A (ko) | 2017-05-19 |
| US20170243589A1 (en) | 2017-08-24 |
| JP2017534909A (ja) | 2017-11-24 |
| EP3007167A1 (en) | 2016-04-13 |
| CN107077853A (zh) | 2017-08-18 |
| US10262663B2 (en) | 2019-04-16 |
| EP3204940A1 (en) | 2017-08-16 |
| WO2016055284A1 (en) | 2016-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101970080B1 (ko) | 음장의 고차 앰비소닉스 hoa 신호 표현의 낮은 비트 레이트 압축을 위한 방법 및 장치 | |
| JP6866519B2 (ja) | ノイズ削減のための多チャネルｈｏａオーディオ信号をエンコードする方法および装置ならびにノイズ削減のための多チャネルｈｏａオーディオ信号をデコードする方法および装置 | |
| KR102664626B1 (ko) | 사운드 필드를 위해 고차 앰비소닉스 표현을 압축 및 압축 해제하기 위한 방법 및 장치 | |
| KR102381202B1 (ko) | Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 장치 | |
| EP3165005B1 (en) | Method and apparatus for decoding a compressed hoa representation, and method and apparatus for encoding a compressed hoa representation | |
| KR102410307B1 (ko) | Hoa 데이터 프레임 표현의 데이터 프레임들 중 특정 데이터 프레임들의 채널 신호들과 연관된 비차분 이득 값들을 포함하는 코딩된 hoa 데이터 프레임 표현 | |
| CN106471579B (zh) | 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置 | |
| CN106463130B (zh) | 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置 | |
| JP6585095B2 (ja) | 圧縮ｈｏａ表現をデコードする方法および装置ならびに圧縮ｈｏａ表現をエンコードする方法および装置 | |
| KR102428425B1 (ko) | Hoa 데이터 프레임 표현의 압축을 위해 비차분 이득 값들을 표현하는 데 필요하게 되는 비트들의 최저 정수 개수를 결정하는 방법 | |
| CN106463131B (zh) | 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |