KR102479741B1

KR102479741B1 - 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스

Info

Publication number: KR102479741B1
Application number: KR1020217000212A
Authority: KR
Inventors: 요하네스 뵘; 플로리안 카일러
Original assignee: 돌비 인터네셔널 에이비
Priority date: 2014-03-24
Filing date: 2015-03-24
Publication date: 2022-12-22
Also published as: AU2015238448B2; RU2018118336A; JP2022126881A; CN106165451A; RU2658888C2; KR102596944B1; AU2015238448A1; US10893372B2; CN106165451B; AU2023201911A1; EP4273857A2; TWI711034B; JP7333855B2; AU2021204754A1; TWI833562B; RU2018118336A3; JP6246948B2; US20210314719A1; KR20230003642A; HK1258770A1

Abstract

DRC(Dynamic Range Control)가 HOA(Higher Order Ambisonics) 기반 신호들에 단순히 적용될 수 없다. HOA 신호에 대해 DRC를 수행하는 방법은 HOA 신호를 공간 영역으로 변환하는 단계, 변환된 HOA 신호를 분석하는 단계, 및 상기 분석하는 단계의 결과들로부터, 동적 압축을 위해 사용가능한 이득 인자들을 획득하는 단계를 포함한다. 이득 인자들이 HOA 신호와 함께 전송될 수 있다. DRC를 적용할 때, HOA 신호가 공간 영역으로 변환되고, 이득 인자들이 추출되며 공간 영역에서 변환된 HOA 신호와 곱해지고, 여기서 이득 보상된 변환된 HOA 신호가 획득된다. 이득 보상된 변환된 HOA 신호는 다시 HOA 영역으로 변환되고, 여기서 이득 보상된 HOA 신호가 획득된다.

Description

고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스{METHOD AND DEVICE FOR APPLYING DYNAMIC RANGE COMPRESSION TO A HIGHER ORDER AMBISONICS SIGNAL}

본 발명은 앰비소닉스 신호에, 그리고 상세하게는 HOA(Higher Order Ambisonics: 고차 앰비소닉스) 신호에 DRC(Dynamic Range Compression: 동적 범위 압축)를 수행하는 방법 및 디바이스에 관한 것이다.

DRC(Dynamic Range Compression)의 목적은 오디오 신호의 동적 범위를 감소시키는 데 있다. 시변 이득 인자(time-varying gain factor)가 오디오 신호에 적용된다. 전형적으로, 이 이득 인자는 이득을 제어하기 위해 사용되는 신호의 진폭 엔벨로프(amplitude envelope)에 의존한다. 매핑은 일반적으로 비선형이다. 큰 진폭은 보다 작은 진폭에 매핑되는 반면, 희미한 소리는 종종 증폭된다. 시나리오들은 잡음이 많은 환경, 늦은 밤의 청취, 소형 스피커 또는 모바일 헤드폰 청취이다.

오디오를 스트리밍하거나 방송하는 것에 대한 통상의 개념은 전송 이전에 DRC 이득을 발생시키고 수신 및 디코딩 이후에 이 이득을 적용하는 것이다. DRC를 사용하는 것의 원리 - 즉, DRC가 오디오 신호에 보통 어떻게 적용되는지 - 는 도 1의 a)에 도시되어 있다. 보통 신호 엔벨로프인 신호 레벨이 검출되고, 관련된 시변 이득(g_DRC)이 계산된다. 이득은 오디오 신호의 진폭을 변경하는 데 사용된다. 도 1의 b)는 인코딩/디코딩을 위해 DRC를 사용하는 것의 원리를 나타내고, 여기서 이득 인자들을 코딩된 오디오 신호와 함께 전송된다. 디코더측에서, 디코딩된 오디오 신호의 동적 범위를 감소시키기 위해 디코딩된 오디오 신호에 이득이 적용된다.

3D 오디오의 경우, 상이한 공간 위치들을 나타내는 스피커 채널들에 상이한 이득들이 적용될 수 있다. 정합하는 이득 세트를 발생시킬 수 있기 위해, 이 위치들을 그러면 송신측에서 알고 있을 필요가 있다. 이것이 보통 이상화된 조건에 대해서만 가능한 반면, 현실의 경우에는 스피커들의 개수 및 그의 배치가 많은 방식으로 변한다. 이것은 규격들로부터보다는 실제의 고려사항들로부터 더 많은 영향을 받는다. HOA(Higher Order Ambisonics)는 유연한 렌더링을 가능하게 하는 오디오 포맷이다. HOA 신호는 소리 레벨(sound level)들을 직접 표현하지 않는 계수 채널(coefficient channel)들로 이루어져 있다. 따라서, DRC가 HOA 기반 신호에는 간단히 적용될 수 없다.

본 발명은 적어도 DRC가 HOA 신호에 어떻게 적용될 수 있는지의 문제를 해결한다. 하나 이상의 이득 계수들을 획득하기 위해 HOA 신호가 분석된다. 일 실시예에서, 적어도 2 개의 이득 계수들이 획득되고, HOA 신호의 분석은 공간 영역(spatial domain)으로의 변환(iDSHT)을 포함한다. 하나 이상의 이득 계수들이 원래의 HOA 신호와 함께 전송된다. 모든 이득 계수들이 같은지를 표시하기 위해 특수 표시가 전송될 수 있다. 소위 단순화된 모드(simplified mode)에서는 이러한 반면, 비단순화된 모드(non-simplified mode)에서는 적어도 2 개의 상이한 이득 계수들이 사용된다. 디코더에서, 하나 이상의 이득들이 HOA 신호에 적용될 수 있다(그렇지만 꼭 그럴 필요는 없음). 사용자는 하나 이상의 이득들을 적용할지 여부를 선택할 수 있다. 단순화된 모드의 장점은, 단지 하나의 이득 인자가 사용되기 때문에, 상당히 더 적은 계산을 필요로 하고, 이득 인자가 HOA 영역(HOA domain)에서 HOA 신호의 계수 채널들에 직접 적용될 수 있기 때문에, 따라서 공간 영역으로의 변환과 HOA 영역으로의 차후의 변환이 생략될 수 있다는 것이다. 단순화된 모드에서는, 이득 인자가 HOA 신호의 0차 계수 채널만의 분석에 의해 획득된다.

본 발명의 일 실시예에 따르면, HOA 신호에 대해 DRC를 수행하는 방법은 (역 DSHT(inverse DSHT)에 의해) HOA 신호를 공간 영역으로 변환하는 단계, 변환된 HOA 신호를 분석하는 단계 및 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 이득 인자들을 획득하는 단계를 포함한다. 추가의 단계들에서, 획득된 이득 인자들이 변환된 HOA 신호와 (공간 영역에서) 곱해지고, 여기서 이득 압축된(gain compressed) 변환된 HOA 신호가 획득된다. 마지막으로, 이득 압축된 변환된 HOA 신호가 (DSHT에 의해) 다시 HOA 영역, 즉 계수 영역(coefficient domain)으로 변환되고, 여기서 이득 압축된 HOA 신호가 획득된다.

게다가, 본 발명의 일 실시예에 따르면, 단순화된 모드에서 HOA 신호에 대해 DRC를 수행하는 방법은 HOA 신호를 분석하는 단계 및 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 이득 인자를 획득하는 단계를 포함한다. 추가의 단계들에서, 표시의 평가 시에, 획득된 이득 인자가 (HOA 영역에서) HOA 신호의 계수 채널들과 곱해지고, 여기서 이득 압축된 HOA 신호가 획득된다. 또한 표시의 평가 시에, HOA 신호의 변환이 생략될 수 있는 것으로 결정될 수 있다. 단순화된 모드 - 즉, 단지 하나의 이득 인자가 사용된다는 것 - 를 표시하는 표시가 암시적으로 - 예컨대, 하드웨어 또는 다른 제한들로 인해 단순화된 모드만이 사용될 수 있는 경우 - 또는 명시적으로 - 예컨대, 단순화된 모드 또는 비단순화된 모드 중 어느 하나의 사용자 선택 시에 - 설정될 수 있다.

게다가, 본 발명의 일 실시예에 따르면, HOA 신호에 DRC 이득 인자들을 적용하는 방법은 HOA 신호, 표시 및 이득 인자들을 수신하는 단계, 표시가 비단순화된 모드를 나타내는 것으로 결정하는 단계, (역 DSHT를 사용하여) HOA 신호를 공간 영역으로 변환하는 단계 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 동적 범위 압축된(dynamic range compressed) 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 (DSHT를 사용하여) 다시 HOA 영역(즉, 계수 영역)으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다. 이득 인자들이 HOA 신호와 함께 또는 별개로 수신될 수 있다. 게다가, 본 발명의 일 실시예에 따르면, HOA 신호에 DRC 이득 인자를 적용하는 방법은 HOA 신호, 표시 및 이득 인자를 수신하는 단계, 표시가 단순화된 모드를 나타내는 것으로 결정하는 단계, 및 상기 결정 시에, 이득 인자를 HOA 신호와 곱하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다. 이득 인자들이 HOA 신호와 함께 또는 별개로 수신될 수 있다.

HOA 신호에 DRC 이득 인자들을 적용하는 디바이스가 청구항 11에 개시되어 있다.

일 실시예에서, 본 발명은 컴퓨터로 하여금, 앞서 기술된 바와 같은 단계들을 포함하는, DRC 이득 인자들을 HOA 신호에 적용하는 방법을 수행하게 하는 실행가능 명령어들을 가지는 컴퓨터 판독가능 매체를 제공한다.

일 실시예에서, 본 발명은 컴퓨터로 하여금, 앞서 기술된 바와 같은 단계들을 포함하는, HOA 신호에 대해 DRC를 수행하는 방법을 수행하게 하는 실행가능 명령어들을 가지는 컴퓨터 판독가능 매체를 제공한다.

본 발명의 유리한 실시예들이 종속 청구항들, 이하의 설명 및 도면들에 개시되어 있다.

본 발명의 예시적인 실시예들이 첨부 도면을 참조하여 기술된다.
도 1은 오디오에 적용되는 DRC의 일반 원리를 나타낸 도면;
도 2는 본 발명에 따른, HOA 기반 신호에 DRC를 적용하는 일반적인 접근법을 나타낸 도면;
도 3은 N=1 내지 N=6에 대한 구면 스피커 그리드(spherical speaker grid)를 나타낸 도면;
도 4는 HOA에 대한 DRC 이득들을 생성하는 것을 나타낸 도면;
도 5는 HOA 신호에 DRC를 적용하는 것을 나타낸 도면;
도 6은 디코더측에서의 동적 범위 압축 처리를 나타낸 도면;
도 7은 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸 도면;
도 8은 단일의 DRC 이득 그룹의 간단한 경우에 대해 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸 도면.

본 발명은 DRC가 HOA에 어떻게 적용될 수 있는지를 기술한다. 이것이 종래에는 용이하지 않았는데 그 이유는 HOA가 음장 디스크립션(sound field description)이기 때문이다. 도 2는 접근법의 원리를 나타낸 것이다. 인코딩측 또는 전송측에서는, 도 2의 a)에 도시된 바와 같이, HOA 신호들이 분석되고, DRC 이득들 g가 HOA 신호의 분석으로부터 계산되며, DRC 이득들이 코딩되고 HOA 콘텐츠의 코딩된 표현과 함께 전송된다. 이것은 다중화된 비트스트림 또는 2 개 이상의 개별 비트스트림들일 수 있다.

디코딩측 또는 수신측에서는, 도 2의 b)에 도시된 바와 같이, 이득들 g가 이러한 비트스트림 또는 비트스트림들로부터 추출된다. 디코더에서 비트스트림 또는 비트스트림들을 디코딩한 후에, 이득들 g가 이하에서 기술되는 바와 같이 HOA 신호에 적용된다. 이것에 의해, 이득들이 HOA 신호에 적용된다 - 즉, 일반적으로, 동적 범위 감소된 HOA 신호가 획득된다 -. 마지막으로, 동적 범위 조절된 HOA 신호가 HOA 렌더러에서 렌더링된다.

이하에서, 사용되는 가정들 및 정의들이 설명된다.

가정들은 HOA 렌더러가 에너지 보존(energy preserving)적 - 즉, N3D 정규화된 구면 조화함수(Spherical Harmonics)가 사용되고, HOA 표현 내부에 코딩된 단일 방향 신호의 에너지가 렌더링 후에 유지됨 - 이라는 것이다. 이 에너지 보존 HOA 렌더링을 어떻게 달성하는지는, 예컨대, WO2015/007889A_(PD130040)에 기술되어 있다.

사용되는 용어들의 정의들은 다음과 같다.

는 τ 개의 HOA 샘플들의 블록인

를 나타내고, 여기서 벡터

는 앰비소닉스 계수들을 ACN 순서로 포함한다(벡터 인덱스 o = n² + n + m + 1이고, 여기서 n은 계수 위수 인덱스(coefficient order index)이고 m은 계수 차수 인덱스(coefficient degree index)임). N은 HOA 절단 차수(HOA truncation order)를 나타낸다. b에서의 고차 계수들의 개수는 (N + 1)²이다. 하나의 데이터 블록에 대한 샘플 인덱스는 t이다. τ는 보통 하나의 샘플부터 64 개의 샘플 또는 그 이상까지의 범위에 있을 수 있다.

0차 신호

는 B의 첫 번째 행이다.

는 공간 영역에서 HOA 샘플들의 블록을 L 개의 스피커 채널의 블록으로 렌더링하는 에너지 보존 렌더링 행렬을 나타내고: W = DB이고, 여기서

이다. 이것은 도 2의 b)에서의 HOA 렌더러의 가정된 절차(HOA 렌더링)이다.

는 구면 상에 아주 규칙적인 방식으로 - 모든 이웃하는 위치들이 동일한 거리를 공유하는 방식으로 - 배치되는 L_L = (N + 1)² 개의 채널들에 관련된 렌더링 행렬을 나타낸다. D _L은 양호 조건(well-conditioned)이고, 그의 역 D _L ^-1이 존재한다. 이와 같이, 둘 다는 한 쌍의 변환 행렬(DSHT - Discrete Spherical Harmonics Transform)을 정의한다:

W _L = D _L B, B = D _L ^-1 W _L

g는 L_L = (N + 1)² 개의 이득 DRC 값들의 벡터이다. 이득 값들은 τ 개의 샘플들의 블록에 적용되는 것으로 가정되고, 블록 간에 매끄러운(smooth) 것으로 가정된다. 전송을 위해, 동일한 값들을 공유하는 이득 값들이 이득 그룹들로 결합될 수 있다. 단지 하나의 이득 그룹이 사용되면, 이것은, 여기서 g₁에 의해 표시되는, 단일의 DRC 이득 값이 모든 스피커 채널 τ 개 샘플들에 적용된다는 것을 의미한다.

모든 HOA 절단 차수 N에 대해, 이상적인 L_L = (N + 1)² 가상 스피커 그리드 및 관련된 렌더링 행렬 D _L이 정의된다. 가상 스피커 위치들은 가상 청취자를 둘러싸는 공간 영역들을 샘플링한다. N=1 내지 6에 대한 그리드들은 도 3에 도시되어 있고, 여기서 스피커에 관련된 영역들은 음영 처리된 셀이다. 하나의 샘플링 위치는 항상 중앙 스피커 위치(방위각(azimuth) = 0, 경사각(inclination) = π/2; 방위각이 청취 위치에 관련된 정면 방향(frontal direction)으로부터 측정된다는 것에 유의할 것)에 관련되어 있다. DRC 이득들이 생성될 때 인코더측에서는 샘플링 위치 D _L, D _L ^-1을 알고 있다. 디코더측에서는, 이득 값들을 적용하기 위해 D _L 및 D _L ^-1을 알고 있을 필요가 있다.

HOA에 대한 DRC 이득들의 생성은 다음과 같이 행해진다.

HOA 신호가 W _L = D _L B에 의해 공간 영역으로 변환된다. 최대 L_L = (N + 1)² 개의 DRC 이득들

이 이 신호들을 분석하는 것에 의해 생성된다. 콘텐츠가 HOA와 AO(Audio Object: 오디오 객체)의 조합이면, 예컨대, 대화 트랙과 같은 AO 신호들이 사이드 체이닝(side chaining)을 위해 사용될 수 있다. 이것이 도 4의 b)에 도시되어 있다. 상이한 공간 영역들에 관련된 상이한 DRC 이득 값들을 생성할 때, 이 이득들이 디코더측에서의 공간 이미지 안정성(spatial image stability)에 영향을 주지 않도록 주의를 기울일 필요가 있다. 이것을 피하기 위해, 가장 간단한 경우(소위 단순화된 모드)에, 단일의 이득이 L 개의 채널들 모두에 할당될 수 있다. 이것은 모든 공간 신호들 W를 분석하는 것에 의해 또는 0차 HOA 계수 샘플 블록

을 분석하는 것에 의해 행해질 수 있고, 공간 영역으로의 변환이 필요하지 않다(도 4의 a)). 후자는 W의 다운믹스 신호(downmix signal)를 분석하는 것과 동일하다. 추가 상세가 이하에서 주어진다.

도 4에서, HOA에 대한 DRC 이득들을 생성하는 것이 도시되어 있다. 도 4의 a)는 (단일의 이득 그룹에 대한) 단일의 이득 g₁이 0차 HOA 성분

으로부터(임의로 AO들로부터의 사이드 체이닝에 의해) 어떻게 도출될 수 있는지를 나타낸다. 0차 HOA 성분

은 DRC 분석 블록(41s)에서 분석되고, 단일의 이득 g₁이 도출된다. 단일의 이득 g₁이 DRC 이득 인코더(42s)에서 별도로 인코딩된다. 인코딩된 이득은 이어서 인코더(43)에서 HOA 신호 B와 함께 인코딩되고, 인코더(43)는 인코딩된 비트스트림을 출력한다. 임의로, 추가의 신호들(44)이 인코딩에 포함될 수 있다. 도 4의 b)는 2 개 이상의 DRC 이득들이 어떻게 HOA 표현을 공간 영역으로 변환(40)하는 것에 의해 생성되는지를 나타낸다. 변환된 HOA 신호 W _L은 이어서 DRC 분석 블록(41)에서 분석되고 이득 값들 g가 추출되어 DRC 이득 인코더(42)에서 인코딩된다. 또한 여기서, 인코딩된 이득이 인코더(43)에서 HOA 신호 B와 함께 인코딩되고, 임의로 추가 신호들(44)이 인코딩에 포함될 수 있다. 일 예로서, 후방으로부터의 소리(예컨대, 배경음(background sound))는 전방 및 측면 방향으로부터 나오는 소리보다 더 많은 감쇠를 받을 수 있다. 이것은 이 예에 대해 g 내의 (N + 1)² 개의 이득 값들이 2 개의 이득 그룹 내에서 전송될 수 있게 할 것이다. 임의로, 또한 여기서 오디오 객체 파형 및 그의 방향 정보에 의한 사이드 체이닝을 사용하는 것이 가능하다. 사이드 체이닝은 신호에 대한 DRC 이득들이 다른 신호로부터 획득된다는 것을 의미한다. 이것은 HOA 신호의 전력을 감소시킨다. 동일한 공간 소스 영역을 AO 전경음(foreground sound)과 공유하는 HOA 믹스(mix) 내의 산만하게 하는 소리(distracting sound)는 공간적으로 떨어져 있는 소리보다 더 큰 감쇠 이득을 받을 수 있다.

이득 값들이 수신기측 또는 디코더측으로 전송된다.

τ 개의 샘플들의 블록에 관련된 가변 개수의(1 내지 L_L = (N + 1)² 개의) 이득 값들이 전송된다. 이득 값들이 전송을 위해 채널 그룹들에 할당될 수 있다. 일 실시예에서, 전송 데이터를 최소화하기 위해 동일한 이득들 모두가 하나의 채널 그룹에 결합된다. 단일의 이득이 전송되는 경우, 그 이득은 L_L 개의 채널들 모두에 관련되어 있다. 채널 그룹 이득 값들

와 그들의 개수가 전송된다. 채널 그룹들의 용도가 시그널링되고, 따라서 수신기 또는 디코더는 이득 값들을 올바르게 적용할 수 있다.

이득 값들은 다음과 같이 적용된다.

수신기/디코더는 전송되는 코딩된 이득 값들의 개수를 결정하고, 관련된 정보를 디코딩(51)하며, 이득들을 L_L = (N + 1)² 개의 채널들에 할당(52 내지 55)할 수 있다. 단지 하나의 이득 값(하나의 채널 그룹)이 전송되는 경우, 도 5의 a)에 도시된 바와 같이, 그 이득 값은 HOA 신호에 직접 적용(52)될 수 있다(B _DRC=g₁ B). 이것은 디코딩이 훨씬 더 간단하고 상당히 더 적은 처리를 필요로 하기 때문에 장점이 있다. 그 이유는 행렬 연산이 필요하지 않고; 그 대신에 이득 값들이 직접 적용(52) - 예컨대, HOA 계수들과 곱해짐 - 될 수 있기 때문이다. 추가 상세에 대해서는, 이하를 참조하기 바란다.

2 개 이상의 이득들이 전송되는 경우, 채널 그룹 이득들이 각각 L 개의 채널 이득들 g = [g₁, ..., g_L]에 할당된다.

규칙적인 가상 스피커 그리드에 대해, DRC 이득들이 적용된 스피커 신호들이 하기의 식에 의해 계산된다.

그 결과 얻어지는 수정된 HOA 표현이 이어서 하기의 식에 의해 계산된다.

도 5의 b)에 도시된 바와 같이, 이것이 단순화될 수 있다. HOA 신호를 공간 영역으로 변환하고, 이득들을 적용하며 그 결과를 다시 HOA 영역으로 변환하는 대신에, 이득 벡터가 하기의 식에 의해 HOA 영역으로 변환(53)되고:

여기서

이다. 이득 행렬이 이득 할당 블록(54)에서 HOA 계수들에 직접 적용된다: B _DRC = GB.

이것은 (N + 1)² < τ에 대해 필요한 계산 작업의 면에서 보다 효율적이다. 즉, 이 해결책은 디코딩이 훨씬 더 간단하고 상당히 더 적은 처리를 필요로 하기 때문에 종래의 해결책들보다 장점이 있다. 그 이유는 행렬 연산이 필요하지 않고; 그 대신에 이득 값들이 직접 적용 - 예컨대, 이득 할당 블록(54)에서 HOA 계수들과 곱해짐 - 될 수 있기 때문이다.

일 실시예에서, 이득 행렬을 적용하는 훨씬 더 효율적인 방식은 하나의 단계에서 렌더러 행렬 수정 블록(57)에서 렌더러 행렬을

에 의해 조작하고 DRC를 적용하며 HOA 신호를 렌더링하는 것이다:

. 이것이 도 5의 c)에 도시되어 있다. 이것은 L < τ인 경우에 유익하다.

요약하면, 도 5는 DRC를 HOA 신호들에 적용하는 다양한 실시예들을 나타낸 것이다. 도 5의 a)에서, 단일의 채널 그룹 이득이 전송되고 디코딩(51)되며 HOA 계수들에 직접 적용(52)된다. 이어서, HOA 계수들이 보통의 렌더링 행렬을 사용하여 렌더링(56)된다.

도 5의 b)에서, 하나 초과의 채널 그룹 이득들이 전송되고 디코딩(51)된다. 디코딩의 결과, (N + 1)² 개의 이득 값들의 이득 벡터 g가 얻어진다. 이득 행렬 G가 생성되고 HOA 샘플들의 블록에 적용(54)된다. 이들이 이어서 보통의 렌더링 행렬을 사용하여 렌더링(56)된다.

도 5의 c)에서, 디코딩된 이득 행렬/이득 값을 HOA 신호에 직접 적용하는 대신에, 그것이 렌더러의 행렬에 직접 적용된다. 이것은 렌더러 행렬 수정 블록(57)에서 수행되고, 이는 DRC 블록 크기 τ가 출력 채널들의 개수 L보다 더 클 경우 계산적으로 유익하다. 이 경우에, HOA 샘플들이 보통의 렌더링 행렬을 사용하여 렌더링(57)된다.

이하에서, DRC에 대한 이상적인 DSHT(Discrete Spherical Harmonics Transform) 행렬의 계산이 기술된다. 이러한 DSHT 행렬은 특히 DRC에서의 사용을 위해 최적화되어 있고, 다른 목적, 예컨대, 데이터 레이트 압축을 위해 사용되는 DSHT 행렬과 상이하다.

이상적 구면 레이아웃에 관련된 이상적인 렌더링 및 인코딩 행렬 D _L 및 D _L ^-1에 대한 요구사항들이 이하에서 도출된다. 마지막으로, 이 요구사항들은 다음과 같다:

(1) 렌더링 행렬 D _L이 가역적(invertible)이어야만 한다 - 즉, D _L ^-1이 존재해야 한다 -;

(2) 공간 영역에서의 진폭들의 합이 공간-HOA 영역 변환 후에 0차 HOA 계수들로서 반영되어야만 하고, 공간 영역으로의 차후의 변환 후에 보존되어야만 한다(진폭 요구사항); 그리고

(3) HOA 영역으로 그리고 다시 공간 영역으로 변환할 때 공간 신호의 에너지가 보존되어야만 한다(에너지 보존 요구사항).

이상적인 렌더링 레이아웃에 대해서도, 요구사항 2 및 요구사항 3이 서로 모순되는 것처럼 보인다. 종래 기술로부터 공지된 것과 같은, DSHT 변환 행렬을 도출하기 위해 간단한 접근법을 사용할 때, 요구사항 2와 요구사항 3 중 단지 하나 또는 다른 하나가 오차 없이 충족될 수 있다. 요구사항 2와 요구사항 3 중 하나의 요구사항을 오차 없이 충족시키는 것의 결과로서, 다른 요구사항에 대해 오차가 3dB를 초과하게 된다. 이것은 보통 가청 아티팩트(audible artifact)를 유발한다. 이 문제점을 극복하는 방법이 이하에서 기술된다.

첫째, L = (N + 1)²를 갖는 이상적인 구면 레이아웃이 선택된다. (가상) 스피커 위치들의 L 개의 방향들이

에 의해 주어지고, 관련된 모드 행렬이

으로서 표시된다. 각각의

은 방향

의 구면 조화함수들을 포함하는 모드 벡터(mode vector)이다. 구면 레이아웃 위치들에 관련된 L 개의 구적법 이득(quadrature gain)들은 벡터

에 모여 있다. 이 구적법 이득들은 이러한 위치들 주위의 구면 면적을 평가하고, 모두 합산하면 1의 반경을 갖는 구의 표면에 관련된 4π의 값으로 된다.

제1 프로토타입 렌더링 행렬(prototype rendering matrix)

는 하기의 식에 의해 도출된다.

유의할 점은 나중의 정규화 단계(이하 참조)로 인해 L로 나누는 것이 생략될 수 있다는 것이다.

둘째, 콤팩트한 특이값 분해가 수행된다:

및 제2 프로토타입 행렬이 하기의 식에 의해 도출된다.

셋째, 프로토타입 행렬이 정규화되고:

여기서 k는 행렬 노름 유형(matrix norm type)을 나타낸다. 2 개의 행렬 노름 유형이 똑같이 양호한 성능을 나타낸다. k = 1 노름 또는 Frobenius 노름 중 어느 하나가 사용되어야만 한다. 이 행렬은 요구사항 3(에너지 보존)을 충족시킨다.

넷째, 마지막 단계에서 요구사항 2를 충족시키기 위해 진폭 오차가 치환된다:

행 벡터 e가

에 의해 계산되고, 여기서 [1,0,0,...,0]은 1의 값을 갖는 첫 번째 요소를 제외하고는 (N + 1)² 개의 모두 영인 요소들의 행 벡터이다.

은

의 행 벡터들의 합을 나타낸다. 렌더링 행렬 D _L이 이제 진폭 오차를 치환하는 것에 의해 도출되고:

여기서 벡터 e가

의 모든 행에 가산된다. 이 행렬은 요구사항 2 및 요구사항 3을 충족시킨다. D _L ^-1 의 첫 번째 행 요소들은 모두 1로 된다.

이하에서, DRC에 대한 상세한 요구사항들이 설명된다.

첫째, g₁의 값을 갖는 L_L 개의 똑같은 이득들이 공간 영역에서 적용되는 것은 이득 g₁을 HOA 계수들에 적용하는 것과 같다:

이것은 요구사항 D _L ^-1 D _L = I - 이는 L = (N + 1)²이고 D _L ^-1이 존재해야 한다(자명함(trivial))는 것을 의미함 - 으로 된다.

둘째, 공간 영역에서 합 신호를 분석하는 것은 0차 HOA 성분을 분석하는 것과 같다. DRC 분석기는 신호의 에너지는 물론 그의 진폭을 사용한다. 이와 같이, 합 신호는 진폭 및 에너지에 관련되어 있다.

HOA의 신호 모델

은 S 개의 방향 신호들의 행렬이고;

은 방향들

에 관련된 N3D 모드 행렬이다. 모드 벡터

는 구면 조화함수로부터 구성된다. N3D 표기법에서, 0차 성분

은 방향과 무관하다.

0차 성분 HOA 신호는 합산 신호의 정확한 진폭을 반영하기 위해 방향 신호들의 합

로 될 필요가 있다. 1 _S는 1의 값을 갖는 S 개의 요소들로 구성된 벡터이다.

이 믹스에서 방향 신호들의 에너지가 보존되는데, 그 이유는

이기 때문이다. 신호들 X _S가 상관되지 않으면 이것은

로 간단화될 것이다.

공간 영역에서의 진폭들의 합은

에 의해 주어지고, 여기서 HOA 패닝 행렬(HOA panning matrix)

이다.

이것은

에 대해

로 된다. 후자의 요구사항이 VBAP와 같은 패닝에서 때때로 사용되는 진폭들의 합 요구사항과 비교될 수 있다. 경험적으로, 이것이 매우 대칭적인 구면 스피커 설정에 대한 양호한 근사에서

에 의해 달성될 수 있다는 것을 알 수 있는데, 그 이유는 거기서

이기 때문이다. 진폭 요구사항이 이어서 필요한 정확도 내에 도달할 수 있다.

이것은 또한 합 신호에 대한 에너지 요구사항이 충족될 수 있도록 보장한다:

공간 영역에서의 에너지 합은 양호한 근사에서

- 이상적인 대칭적 스피커 설정의 존재가 요구됨 - 로 될

에 의해 주어진다.

이것은 요구사항

으로 되고, 그에 부가하여, 신호 모델로부터, 재인코딩된 0차 신호가 진폭 및 에너지를 유지하기 위해 D _L ^-1의 상단 행이 [1,1,1,1,..] - 즉, "1" 요소들을 갖는 길이 L의 벡터 - 일 필요가 있는 것으로 결론내릴 수 있다.

셋째, 에너지 보존이 선행 조건이다: 신호

의 에너지가 HOA로의 변환 및 스피커에 대한 공간 렌더링 후에 신호의 방향

에 관계없이 보존되어야만 한다. 이것은

로 된다. 이것은 D _L을 회전 행렬 및 대각 이득 행렬

로부터 모델링하는 것에 의해 달성될 수 있다(방향

에의 의존성이 명확성을 위해 제거되었음):

구면 조화함수

에 대해, 따라서

에 관련된 모든 이득들 a_o ²이 방정식을 충족시킬 것이다. 모든 이득들이 똑같게 선택되면, 이것은 a_o ² = (N + 1)^-2으로 된다.

요구사항 VV ^T = 1이 L ≥ (N + 1)²에 대해 달성될 수 있고 L < (N + 1)²에 대해서는 근사화될 수 있을 뿐이다.

이것은 요구사항

(단,

임)으로 된다.

일 예로서, (HOA 차수 N=1 내지 N=3에 대한) 이상적인 구면 위치들을 갖는 경우가 이하(표 1 내지 표 3)에서 기술된다. 추가의 HOA 차수(N=4 내지 N=6)에 대한 이상적인 구면 위치들이 이하(표 4 내지 표 6)에서 추가로 기술된다. 이하에서 언급되는 위치들 모두가 [1]에서 발표된 수정된 위치들로부터 도출된다. 이 위치들 및 관련된 구적법 이득들/입체 구적법 이득(cubature gain)들을 도출하는 방법은 [2]에서 발표되었다. 이 표들에서, 방위각이 청취 위치에 관련된 정면 방향으로부터 반시계 방향으로 측정되고, 경사각이 z-축으로부터 측정되며 0의 경사각은 청취 위치 위쪽이다.

N=1 위치들

a)

b)

표 1: a) HOA 차수 N=1에 대한 가상 스피커들의 구면 위치들, 및 b) 그 결과 얻어진 공간 변환(DSHT)에 대한 렌더링 행렬

N=2 위치들

a)

b)

표 2: a) HOA 차수 N=2에 대한 가상 스피커들의 구면 위치들, 및 b) 그 결과 얻어진 공간 변환(DSHT)에 대한 렌더링 행렬

N=3 위치들

표 3 a): HOA 차수 N=3에 대한 가상 스피커들의 구면 위치들

b)

표 3 b): 그 결과 얻어진 공간 변환(DSHT)에 대한 렌더링 행렬

수치 구적법(numerical quadrature)이라는 용어는 종종 구적법으로 축약되고, 특히 1차원 적분(integral)에 적용될 때, 사실상 수치 적분(numerical integration)에 대한 동의어이다. 1 초과의 차원에 걸친 수치 적분이 본원에서 입체 구적법(cubature)이라고 불리운다.

앞서 기술된 바와 같이, DRC 이득을 HOA 신호에 적용하는 전형적인 응용 시나리오가 도 5에 도시되어 있다. 예컨대, HOA + 오디오 객체와 같은, 믹싱된 콘텐츠 응용 분야에 대해, DRC 이득 적용이 유연한 렌더링을 위해 적어도 2 개의 방식으로 실현될 수 있다.

도 6은 디코더측에서의 DRC(Dynamic Range Compression) 처리를 예로서 나타낸 것이다. 도 6의 a)에서, DRC가 렌더링 및 믹싱 이전에 적용된다. 도 6의 b)에서, DRC가 스피커 신호에 - 즉, 렌더링 및 믹싱 이후에 - 적용된다.

도 6의 a)에서, DRC 이득들이 오디오 객체들과 HOA에 개별적으로 적용된다: DRC 이득들이 오디오 객체 DRC 블록(610)에서 오디오 객체들에 적용되고, DRC 이득들이 HOA DRC 블록(615)에서 HOA에 적용된다. 여기서 HOA DRC 블록(615)의 실현은 도 5에서의 것들 중 하나와 일치한다. 도 6의 b)에서, 렌더링된 HOA와 렌더링된 오디오 객체 신호의 혼합 신호의 모든 채널들에 단일의 이득이 적용된다. 여기서 공간 엠퍼시스(emphasis) 및 감쇠가 가능하지 않다. 관련된 DRC 이득이 렌더링된 믹스의 합 신호를 분석하는 것에 의해 생성될 수 없는데, 그 이유는 소비자 사이트의 스피커 레이아웃이 방송 또는 콘텐츠 생성 사이트에서의 생성 시에 알려져 있지 않기 때문이다. DRC 이득이

를 분석하여 도출될 수 있으며 여기서 y _m은 0차 HOA 신호 b _w와 S 개의 오디오 객체들 x _S의 모노 다운믹스(mono downmix)의 믹스이다:

이하에서, 개시된 해결책의 추가 상세가 기술된다.

HOA 콘텐츠에 대한 DRC

DRC가 렌더링 이전에 HOA 신호에 적용되거나, 렌더링과 결합될 수 있다. HOA에 대한 DRC가 시간 영역에서 또는 QMF 필터 뱅크 영역에서 적용될 수 있다.

시간 영역에서의 DRC에 대해, DRC 디코더는 HOA 신호 c의 HOA 계수 채널들의 개수에 따라 (N + 1)² 개의 이득 값들

를 제공한다.

N은 HOA 차수이다.

DRC 이득들이 하기의 식에 따라 HOA 신호들에 적용되고:

여기서 c는 HOA 계수들

의 일회성 샘플의 벡터이고,

및 그의 역 D _L ^-1은 DRC를 위해 최적화된 DSHT(Discrete Spherical Harmonics Transform)에 관련된 행렬이다.

일 실시예에서, 렌더링 단계를 포함시키고 스피커 신호들을

에 의해 직접 계산하는 것이 샘플당 (N + 1)⁴ 개의 연산들에 의해 계산 부하를 감소시키는 데 유리할 수 있고, 여기서 D는 렌더링 행렬이고 (D D _L ^-1)은 미리 계산될 수 있다.

모든 이득들

이, 단순화된 모드에서와 같이, g _drc 의 동일한 값을 가지는 경우, 단일의 이득 그룹이 코더 DRC 이득들을 전송하는 데 사용되었다. 이 경우는 DRC 디코더에 의해 플래깅될 수 있는데, 그 이유는 이 경우에 공간 필터에서의 계산이 필요하지 않고, 따라서 계산이 하기의 식으로 단순화되기 때문이다:

이상에서는 DRC 이득 값들을 어떻게 획득하고 적용해야 하는지를 기술한다. 이하에서, DRC에 대한 DSHT 행렬들의 계산이 기술된다.

이하에서, D _L은 D _DSHT로 이름 변경되어 있다. 공간 필터 D _DSHT 및 그의 역

을 결정하는 행렬은 다음과 같이 계산된다:

표 1 내지 표 4로부터의 HOA 차수 N에 의해 인덱싱되어 있는, 구면 위치들

(단,

임) 및 관련된 구적법(입체 구적법) 이득들

의 세트가 선택된다. 이 위치들에 관련된 모드 행렬

가 앞서 기술된 바와 같이 계산된다. 즉, 모드 행렬

는

에 따른 모드 벡터들을 포함하고, 각각의

은 미리 정의된 방향

(단,

임)의 구면 조화함수를 포함하는 모드 벡터이다. 미리 정의된 방향은, (예로서 1≤N≤6에 대한) 표 1 내지 표 6에 따라, HOA 차수 N에 의존한다. 제1 프로토타입 행렬이

에 의해 계산된다(후속하는 정규화로 인해 (N+1)²으로 나누는 것이 생략될 수 있다). 콤팩트한 특이값 분해가 수행되고

, 새로운 프로토타입 행렬이

에 의해 계산된다. 이 행렬은

에 의해 정규화된다. 행 벡터 e가

는

의 행들의 합을 나타낸다. 최적화된 DSHT 행렬 D _DSHT가 이제

에 의해 도출된다. -e가 e 대신에 사용되는 경우, 본 발명이 약간 더 나쁘지만 여전히 사용가능한 결과들을 제공한다는 것을 알았다.

QMF 필터 뱅크 영역에서의 DRC에 대해, 이하가 적용된다.

DRC 디코더는 (N + 1)² 개의 공간 채널들에 대한 모든 시간 주파수 타일 n, m에 대해 이득 값 g_ch(n, m)을 제공한다. 시간 슬롯 n 및 주파수 대역 m에 대한 이득들이

에 배열되어 있다.

다중 대역 DRC(multiband DRC)가 QMF 필터 뱅크 영역에서 적용된다. 처리 단계들이 도 7에 도시되어 있다. 재구성된 HOA 신호들이 (역 DSHT)에 의해 공간 영역으로 변환되고: W _DSHT = D _DSHT C, 여기서

는 τ 개의 HOA 샘플들의 블록이며,

는 QMF 필터 뱅크의 입력 시간 세분성(input time granularity)과 일치하는 공간 샘플들의 블록이다. 이어서, QMF 분석 필터 뱅크가 적용된다.

이 시간 주파수 타일 (n, m)마다의 공간 채널들의 벡터를 나타낸다고 하자. 이어서, DRC 이득들이 적용된다:

.

계산 복잡도를 최소화하기 위해, DSHT와 스피커 채널들에 대한 렌더링이 결합되고:

, 여기서 D는 HOA 렌더링 행렬을 나타낸다. QMF 신호들은 이어서 추가 처리를 위해 믹서에 피드될 수 있다.

도 7은 렌더링 단계와 결합되는 QMF 영역에서의 HOA에 대한 DRC를 나타낸다.

DRC에 대한 단일의 이득 그룹만이 사용되면, 이것은 DRC 디코더에 의해 플래깅되어야만 하는데, 그 이유는 다시 말하지만 계산 단순화가 가능하기 때문이다. 이 경우에, 벡터 g(n, m)에서의 이득들 모두가 g_DRC(n, m)의 동일한 값을 공유한다. QMF 필터 뱅크는 HOA 신호에 직접 적용될 수 있고, 이득 g_DRC(n, m)은 필터 뱅크 영역에서 곱해질 수 있다.

도 8은 단일의 DRC 이득 그룹의 간단한 경우에 대한 계산 단순화를 갖는, 렌더링 단계와 결합된 QMF 영역(QMF(Quadrature Mirror Filter)의 필터 영역)에서의 HOA에 대한 DRC를 나타낸다.

이상의 내용을 고려하면 명백하게 되는 바와 같이, 일 실시예에서, 본 발명은 동적 범위 압축 이득 인자들을 HOA 신호에 적용하는 방법에 관한 것이고, 본 방법은 HOA 신호 및 하나 이상의 이득 인자들을 수신하는 단계, HOA 신호를 공간 영역으로 변환하는 단계(40) - iDSHT가 가상 스피커들의 구면 위치들로부터 획득된 변환 행렬 및 구적법 이득들(q)과 함께 사용되고, 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 DSHT(Discrete Spherical Harmonics Transform)를 사용하여 다시 계수 영역인 HOA 영역으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다.

게다가, 변환 행렬은

에 따라 계산되고, 여기서

은

의 정규화된 버전이고, U,V는

으로부터 획득되며,

는 가상 스피커들의 사용된 구면 위치들에 관련된 구면 조화함수의 전치 모드 행렬(transposed mode matrix)이고, e ^T는

의 전치된 버전(transposed version)이다.

게다가, 일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 디바이스에 관한 것이고, 본 디바이스는 HOA 신호 및 하나 이상의 이득 인자들을 수신하는 것, HOA 신호를 공간 영역으로 변환하는 것(40) - iDSHT가 가상 스피커들의 구면 위치들로부터 획득된 변환 행렬 및 구적법 이득들(q)과 함께 사용되고, 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 것 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 DSHT(Discrete Spherical Harmonics Transform)를 사용하여 다시 계수 영역인 HOA 영역으로 변환하는 것 - 동적 범위 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다. 게다가, 변환 행렬은

에 따라 계산되고, 여기서

은

의 정규화된 버전이고, U,V는

으로부터 획득되며,

는 가상 스피커들의 사용된 구면 위치들에 관련된 구면 조화함수의 전치 모드 행렬이고, e ^T는

의 전치된 버전이다.

게다가, 일 실시예에서, 본 발명은, 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 동적 범위 압축 이득 인자들을 HOA(Higher Order Ambisonics) 신호에 적용하는 방법을 수행하게 하는 컴퓨터 실행가능 명령어들을 가지는 컴퓨터 판독가능 저장 매체에 관한 것이고, 본 방법은 HOA 신호 및 하나 이상의 이득 인자들을 수신하는 단계, HOA 신호를 공간 영역으로 변환하는 단계(40) - iDSHT가 가상 스피커들의 구면 위치들로부터 획득된 변환 행렬 및 구적법 이득들(q)과 함께 사용되고, 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 DSHT(Discrete Spherical Harmonics Transform)를 사용하여 다시 계수 영역인 HOA 영역으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다. 게다가, 변환 행렬은

에 따라 계산되고, 여기서

은

의 정규화된 버전이고, U,V는

으로부터 획득되며,

의 전치된 버전이다.

게다가, 일 실시예에서, 본 발명은 HOA 신호에 대해 DRC를 수행하는 방법에 관한 것이고, 본 방법은 모드를 설정하거나 결정하는 단계 - 모드는 단순화된 모드 또는 비단순화된 모드 중 어느 하나임 -, 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 단계 - 역 DSHT가 사용됨 -, 비단순화된 모드에서는, 변환된 HOA 신호를 분석하고, 단순화된 모드에서는, HOA 신호를 분석하는 단계, 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 하나 이상의 이득 인자들을 획득하는 단계 - 단순화된 모드에서는 단지 하나의 이득 인자가 획득되고 비단순화된 모드에서는 2 개 이상의 상이한 이득 인자들이 획득됨 -, 단순화된 모드에서는 획득된 이득 인자를 HOA 신호와 곱하는 단계 - 이득 압축된 HOA 신호가 획득됨 -, 비단순화된 모드에서는 획득된 이득 인자들을 변환된 HOA 신호와 곱하는 단계 - 이득 압축된 변환된 HOA 신호가 획득됨 -, 및 이득 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 단계 - 이득 압축된 HOA 신호가 획득됨 - 를 포함한다.

일 실시예에서, 본 방법은 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 나타내는 표시를 수신하는 단계, 상기 표시가 비단순화된 모드를 나타내는 경우 비단순화된 모드를 선택하는 단계, 및 상기 표시가 단순화된 모드를 나타내는 경우 단순화된 모드를 선택하는 단계를 추가로 포함하고, 여기서 HOA 신호를 공간 영역으로 변환하는 단계 및 동적 범위 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 단계는 비단순화된 모드에서만 수행되고, 여기서 단순화된 모드에서는, 단지 하나의 이득 인자가 HOA 신호와 곱해진다.

일 실시예에서, 본 방법은 단순화된 모드에서는 HOA 신호를 분석하고, 비단순화된 모드에서는 변환된 HOA 신호를 분석하는 단계, 이어서 상기 분석하는 단계의 결과들로부터, 동적 범위 압축을 위해 사용가능한 하나 이상의 이득 인자들을 획득하는 단계 - 비단순화된 모드에서는 2 개 이상의 상이한 이득 인자들이 획득되고 단순화된 모드에서는 단지 하나의 이득 인자가 획득됨 - 를 추가로 포함하고, 여기서 단순화된 모드에서는 이득 압축된 HOA 신호가 획득된 이득 인자를 HOA 신호와 곱하는 상기 단계에 의해 획득되고, 여기서 비단순화된 모드에서는 상기 이득 압축된 변환된 HOA 신호가 획득된 2 개 이상의 이득 인자들을 변환된 HOA 신호와 곱하는 단계에 의해 획득되며, 여기서 비단순화된 모드에서는 HOA 신호를 공간 영역으로 변환하는 상기 단계가 역 DSHT를 사용한다.

일 실시예에서, HOA 신호는 주파수 서브대역들로 분할되고, 이득 인자(들)가 획득되고 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다. 일 실시예에서, HOA 신호(또는 변환된 HOA 신호)를 분석하는 단계, 하나 이상의 이득 인자들을 획득하는 단계, 획득된 이득 인자(들)를 HOA 신호(또는 변환된 HOA 신호)와 곱하는 단계, 및 이득 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 단계가 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다. 유의할 점은, HOA 신호를 주파수 서브대역들로 분할하는 것과 HOA 신호를 공간 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있고, 그리고/또는 서브대역들을 합성하는 것과 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있으며, 서로 무관하다는 것이다.

일 실시예에서, 본 방법은, 이득 인자들을 곱하는 단계 이전에, 변환된 HOA 신호를 획득된 이득 인자들 및 이 이득 인자들의 개수와 함께 전송하는 단계를 추가로 포함한다.

일 실시예에서, 변환 행렬은 모드 행렬

및 대응하는 구적법 이득들로부터 계산되고, 여기서 모드 행렬

는

에 따른 모드 벡터들을 포함하고, 각각의

은 미리 정의된 방향

(단,

임)의 구면 조화함수를 포함하는 모드 벡터이다. 미리 정의된 방향은 HOA 차수 N에 의존한다.

일 실시예에서, HOA 신호 B는 변환된 HOA 신호 W _DSHT를 획득하기 위해 공간 영역으로 변환되고, 변환된 HOA 신호 W _DSHT는 W _DSHT = diag(g) D _L B에 따라 샘플 단위로 이득 값들 diag(g)와 곱해지며, 본 방법은 변환된 HOA 신호를

에 따라 상이한 제2 공간 영역으로 변환하는 추가 단계를 포함하고, 여기서

는 초기화 페이즈에서

에 따라 미리 계산되며, 여기서 D는 HOA 신호를 상이한 제2 공간 영역으로 변환하는 렌더링 행렬이다.

일 실시예에서, 적어도 (N + 1)² < τ(단, N은 HOA 차수이고 τ는 DRC 블록 크기임)인 경우, 본 방법은 G = D _L ^-1 diag(g) D _L(단, G는 이득 행렬이고 DL은 상기 DSHT를 정의하는 DSHT 행렬임)에 따라 이득 벡터를 HOA 영역으로 변환하는 단계(53), 및 B _DRC = GB에 따라 이득 행렬 G를 HOA 신호 B의 HOA 계수들에 적용하는 단계 - DRC 압축된 HOA 신호 B _DRC가 획득됨 - 를 추가로 포함한다.

일 실시예에서, 적어도 L < τ(단, L은 출력 채널들의 개수이고 τ는 DRC 블록 크기임)인 경우, 본 방법은

에 따라 이득 행렬 G를 렌더러 행렬 D에 적용하는 단계 - 동적 범위 압축된 렌더러 행렬

가 획득됨 -, 및 동적 범위 압축된 렌더러 행렬을 사용해 HOA 신호를 렌더링하는 단계를 추가로 포함한다.

일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 방법에 관한 것이고, 본 방법은 HOA 신호를 표시 및 하나 이상의 이득 인자들과 함께 수신하는 단계 - 표시는 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 나타내고, 표시가 단순화된 모드를 나타내는 경우 단지 하나의 이득 인자가 수신됨 -, 상기 표시에 따라 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 선택하는 단계, 단순화된 모드에서는, 이득 인자를 HOA 신호와 곱하고 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 단계 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호들과 곱하는 단계 - 동적 범위 압축된 변환된 HOA 신호들이 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 단계 - 동적 범위 압축된 HOA 신호가 획득됨 - 를 포함한다.

게다가, 일 실시예에서, 본 발명은 HOA 신호에 대해 DRC를 수행하는 디바이스에 관한 것이고, 본 디바이스는 모드를 설정하거나 결정하는 것 - 모드는 단순화된 모드 또는 비단순화된 모드 중 어느 하나임 -, 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 것 - 역 DSHT가 사용됨 -, 비단순화된 모드에서는 변환된 HOA 신호를 분석하는 반면, 단순화된 모드에서는 HOA 신호를 분석하는 것, 상기 분석하는 것의 결과들로부터, 동적 범위 압축을 위해 사용가능한 하나 이상의 이득 인자들을 획득하는 것 - 단순화된 모드에서는 단지 하나의 이득 인자가 획득되고 비단순화된 모드에서는 2 개 이상의 상이한 이득 인자들이 획득됨 -, 단순화된 모드에서는 획득된 이득 인자를 HOA 신호와 곱하고 - 이득 압축된 HOA 신호가 획득됨 -, 비단순화된 모드에서는 획득된 이득 인자들을 변환된 HOA 신호와 곱하는 것 - 이득 압축된 변환된 HOA 신호가 획득됨 -, 및 이득 압축된 변환된 HOA 신호를 다시 HOA 영역으로 변환하는 것 - 이득 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다.

비단순화된 모드에만 대한 일 실시예에서, HOA 신호에 대해 DRC를 수행하는 디바이스는 HOA 신호를 공간 영역으로 변환하는 것, 변환된 HOA 신호를 분석하는 것, 상기 분석하는 것의 결과들로부터, 동적 범위 압축을 위해 사용가능한 이득 인자들을 획득하는 것, 획득된 인자들을 변환된 HOA 신호들과 곱하는 것 - 이득 압축된 변환된 HOA 신호들이 획득됨 -, 및 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것 - 이득 압축된 HOA 신호들이 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다. 일 실시예에서, 디바이스는, 획득된 이득 인자 또는 이득 인자들을 곱하기 전에, HOA 신호를 획득된 이득 인자 또는 이득 인자들과 함께 전송하는 전송 유닛을 추가로 포함한다.

여기서 또한 유의할 점은, HOA 신호를 주파수 서브대역들로 분할하는 것과 HOA 신호를 공간 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있고, 서브대역들을 합성하는 것과 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것의 순차적 순서가 바뀔 수 있으며, 서로 무관하다는 것이다.

게다가, 일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 디바이스에 관한 것이고, 본 디바이스는 HOA 신호를 표시 및 하나 이상의 이득 인자들과 함께 수신하는 것 - 표시는 단순화된 모드 또는 비단순화된 모드 중 어느 하나를 나타내고, 표시가 단순화된 모드를 나타내는 경우 단지 하나의 이득 인자가 수신됨 -, 상기 표시에 따라, 디바이스를 단순화된 모드 또는 비단순화된 모드 중 어느 하나로 설정하는 것, 단순화된 모드에서는, 이득 인자를 HOA 신호와 곱하고 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -; 비단순화된 모드에서는, HOA 신호를 공간 영역으로 변환하는 것 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호들과 곱하는 것 - 동적 범위 압축된 변환된 HOA 신호들이 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것 - 동적 범위 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다.

일 실시예에서, 디바이스는, 획득된 인자들을 곱하기 전에, HOA 신호를 획득된 이득 인자들과 함께 전송하는 전송 유닛을 추가로 포함한다. 일 실시예에서, HOA 신호는 주파수 서브대역들로 분할되고, 변환된 HOA 신호를 분석하는 것, 이득 인자들을 획득하는 것, 획득된 인자들을 변환된 HOA 신호들과 곱하는 것 및 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것이 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다.

DRC 이득 인자들을 HOA 신호에 적용하는 디바이스의 일 실시예에서, HOA 신호는 복수의 주파수 서브대역들로 분할되고, 하나 이상의 이득 인자들을 획득하는 것, 획득된 이득 인자들을 HOA 신호 또는 변환된 HOA 신호와 곱하는 것, 및 비단순화된 모드에서 이득 압축된 변환된 HOA 신호들을 다시 HOA 영역으로 변환하는 것이 각각의 주파수 서브대역에, 서브대역마다 개개의 이득들을 사용해, 개별적으로 적용된다.

게다가, 비단순화된 모드만이 사용되는 일 실시예에서, 본 발명은 DRC 이득 인자들을 HOA 신호에 적용하는 디바이스에 관한 것이고, 본 디바이스는 HOA 신호를 이득 인자들과 함께 수신하는 것, (iDSHT를 사용하여) HOA 신호를 공간 영역으로 변환하는 것 - 변환된 HOA 신호가 획득됨 -, 이득 인자들을 변환된 HOA 신호와 곱하는 것 - 동적 범위 압축된 변환된 HOA 신호가 획득됨 -, 및 동적 범위 압축된 변환된 HOA 신호를 (DSHT를 사용하여) 다시 HOA 영역(즉, 계수 영역)으로 변환하는 것 - 동적 범위 압축된 HOA 신호가 획득됨 - 을 위해 구성된 프로세서 또는 하나 이상의 처리 요소들을 포함한다.

이하의 표 4 내지 표 6은 차수 N(단, N=4, 5 또는 6임)의 HOA에 대한 가상 스피커들의 구면 위치들을 열거한다.

본 발명의 바람직한 실시예들에 적용되는 바와 같은 본 발명의 기본적인 새로운 특징들이 도시되고, 기술되며, 언급되어 있지만, 기술되는 장치 및 방법에서의, 개시된 디바이스들의 형태 및 상세에서의, 그리고 그들의 동작에서의 다양한 생략 및 치환 및 변경이 본 발명의 사상을 벗어남이 없이 본 기술 분야의 통상의 기술자에 의해 행해질 수 있다는 것을 알 것이다. 동일한 결과들을 달성하기 위해 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하는 그 요소들의 모든 조합들이 본 발명의 범주 내에 있는 것으로 명백히 의도되어 있다. 하나의 기술된 실시예로부터 다른 것으로의 요소들의 치환이 완전히 의도되어 있으며 생각되고 있다.

본 발명이 순전히 예로서 기술되어 있고 본 발명의 범주를 벗어남이 없이 상세의 수정이 행해질 수 있다는 것을 잘 알 것이다. 설명 및 (적절한 경우) 청구범위 및 도면에 개시된 각각의 특징이 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다.

특징들이, 적절한 경우, 하드웨어, 소프트웨어, 또는 이 둘의 조합으로 구현될 수 있다.

참조 문헌:

[1] "Integration nodes for the sphere", Jorg Fliege 2010, online accessed 2010-10-05 http://www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.html

[2] "A two-stage approach for computing cubature formulae for the sphere", Jorg Fliege and Ulrike Maier, Technical report, Fachbereich Mathematik, Universitat Dortmund, 1999

N=4 위치들

표 4: HOA 차수 N=4에 대한 가상 스피커들의 구면 위치들

N=5 위치들

표 5: HOA 차수 N=5에 대한 가상 스피커들의 구면 위치들

N=6 위치들

표 6: HOA 차수 N=6에 대한 가상 스피커들의 구면 위치들

Claims

동적 범위 압축(Dynamic Range Compression, DRC)을 위한 방법으로서,
재구성된 고차 앰비소닉스(Higher Order Ambisonics; HOA) 오디오 신호 표현을 수신하는 단계;
W _DSHT = D _DSHT C에 기초하여 상기 재구성된 HOA 오디오 신호를 공간 도메인으로 변환하는 단계 - D _DSHT는 역 DSHT(Discrete Spherical Harmonics Transform) 행렬이고, C는 τ개의 HOA 샘플들의 블록이고,
W는 QMF(Quadrature Mirror Filter) 뱅크의 입력 시간 세분성(input time granularity)과 일치하는 공간 샘플들의 블록임 -;

에 기초하여 시간 주파수 타일(n,m)에 대응하는 DRC 이득 값 g(n,m)를 적용하는 단계
-
은 상기 시간 주파수 타일 (n,m)에 대한 공간 채널들의 벡터를 나타냄 -; 및

에 기초하여 스피커 채널에 렌더링하는 단계 -
행렬은 상기 D _DSHT 행렬의 역이고, D는 HOA 렌더링 행렬이고,
상기
및 D _DSHT 행렬들은 DRC 목적을 위해 최적화됨 - 를 포함하는, 방법.
동적 범위 압축(DRC)을 위한 장치로서,
재구성된 고차 앰비소닉스(HOA) 오디오 신호 표현을 수신하는 수신기; 및
오디오 디코더 - 상기 오디오 디코더는:
W _DSHT = D _DSHT C에 기초하여 상기 재구성된 고차 앰비소닉스(HOA) 오디오 신호를 공간 도메인으로 변환하고 - D _DSHT는 역 DSHT 행렬이고, C는 τ개의 HOA 샘플들의 블록이고,
W는 QMF 뱅크의 입력 시간 세분성과 일치하는 공간 샘플들의 블록임 -,

에 기초하여 시간 주파수 타일(n,m)에 대응하는 DRC 이득 값 g(n,m)을 적용하고 -
은 상기 시간 주파수 타일 (n,m)에 대한 공간 채널들의 벡터를 나타냄 -,

에 기초하여 스피커 채널에 렌더링하도록 구성됨 -
행렬은 상기 D _DSHT 행렬의 역이고, D는 HOA 렌더링 행렬이고,
상기
및 D _DSHT 행렬들은 DRC 목적을 위해 최적화됨 -
- 를 포함하는, 장치.
컴퓨터 상에서 실행될 때 상기 컴퓨터로 하여금 제1항의 방법을 수행하게 하는 컴퓨터 실행가능 명령어를 갖는, 비일시적 컴퓨터 판독가능 저장 매체.
삭제