KR102207035B1 - 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치 - Google Patents

고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102207035B1
KR102207035B1 KR1020197037604A KR20197037604A KR102207035B1 KR 102207035 B1 KR102207035 B1 KR 102207035B1 KR 1020197037604 A KR1020197037604 A KR 1020197037604A KR 20197037604 A KR20197037604 A KR 20197037604A KR 102207035 B1 KR102207035 B1 KR 102207035B1
Authority
KR
South Korea
Prior art keywords
panning
matrix
ambisonic
function
order
Prior art date
Application number
KR1020197037604A
Other languages
English (en)
Other versions
KR20200003222A (ko
Inventor
플로리안 케일러
요하네스 뵘
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Priority to KR1020217001737A priority Critical patent/KR102481338B1/ko
Publication of KR20200003222A publication Critical patent/KR20200003222A/ko
Application granted granted Critical
Publication of KR102207035B1 publication Critical patent/KR102207035B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Stereophonic System (AREA)

Abstract

스테레오 라우드스피커(loudspeaker) 셋업에 대한 앰비소닉(Ambisonics)의 디코딩 표현은 1차 앰비소닉 오디오 신호에 대해 공지되어 있다. 그러나 그러한 1차 앰비소닉 접근은 높은 네거티브 사이드 로브 또는 전면 영역에서의 부족한 방향감(localisation)을 갖는다. 본 발명은 고차 앰비소닉 HOA에 대한 스테레오 디코더의 프로세싱을 다룬다. 원하는 패닝 함수(desired panning function)는 라우드스피커들 사이에 가상 소스의 배치에 대한 패닝 법칙으로부터 얻을 수 있다. 각각의 라우드스피커에 대하여, 샘플링 포인트에서 모든 가능한 입력 방향들에 대한 원하는 패닝 함수가 정의된다. 패닝 함수는 원형 조화 함수에 의해 근사치를 얻고, 앰비소닉 차수를 증가시키면서 원하는 패닝 함수가 감소하는 오류로 일치된다. 라우드스피커들 사이의 전면 영역에서, 탄젠트 법칙 또는 VBAP(vector base amplitude panning)와 같은 패닝 법칙이 사용된다. 후방에 대하여 이러한 방향들로부터 사운드의 경미한 감쇠를 갖는 패닝 함수가 정의된다.

Description

고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DECODING STEREO LOUDSPEAKER SIGNALS FROM A HIGHER-ORDER AMBISONICS AUDIO SIGNAL}
본 발명은 원 상의 포인트들을 샘플링하기 위해 패닝 함수(panning function)를 이용하여 고차 앰비소닉(higher-order Ambisonics) 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치에 관한 것이다.
스테레오 라우드스피커 또는 헤드폰 셋업을 위한 앰비소닉의 디코딩 표현들은, 예를 들어, 뉴욕, 1995년 10월 제99회 컨벤션에서 발표된 오디오 공학회 프리프린트의 컨벤션 논문 4138, J.S. Bamford, J. Vender-kooy의 "Ambisonic sound for us"에서의 식(10)으로부터, 및 XiphWiki-Ambisonics(http://wiki.xiph.org/index.php/Ambisonics#Default_channel_conversions_from_B-Format)으로부터 1차 앰비소닉에 대해 공지되어 있다. 이러한 접근들은 영국 특허 제394325호에서 개시된 바와 같은 블룸레인(Blumlein) 스테레오에 기초한다.
또 다른 접근은 모드-매칭(mode-matching)을 이용한다 - 2005년 11월 J. Audio 공학회의 M.A. Poletti "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics", 제53호(11), 페이지 1004 내지 1025 참조 -.
그러한 1차 앰비소닉 접근은 8자 모양의 패턴(2008년 베를린 Springer, S. Weinzierl의 "Handbuch der Audiotechnik"에서 3.3.4.1 부분 참조)을 갖는 가상 마이크로폰을 포함하는 블룸레인 스테레오(영국 특허 제394325호)에 기초한 앰비소닉 디코더와 같이 높은 네거티브 사이드 로브(negative side lobe)를 갖거나, 또는 전방에서의 부족한 방향감(localisation)를 갖는다. 네거티브 사이드 로브로 인해, 예를 들어, 우측 후방으로부터의 사운드 오브젝트들은 좌측 스테레오 라우드스피커에서 재생된다.
본 발명에 의해 해결될 문제는 앰비소닉 신호 디코딩에 향상된 스테레오 신호 출력을 제공하는 것이다. 이러한 문제는 청구항 1 및 청구항 2에서 개시된 방법에 의해 해결된다. 이러한 방법들을 활용하는 장치는 청구항 3에서 개시된다.
본 발명은 고차 앰비소닉 HOA 오디오 신호들에 대한 스테레오 디코더의 프로세싱을 설명한다. 원하는 패닝 함수(desired panning function)는 라우드스피커들 사이에 가상 소스들의 배치에 대한 패닝 법칙으로부터 얻을 수 있다. 각각의 라우드스피커들에서 모든 가능한 입력 방향들에 대한 원하는 패닝 함수가 정의된다. 앰비소닉 디코딩 행렬은, 프랑스 파리, 2010년 5월 6일에서 7일, 앰비소닉 및 구형 음향에 대한 제2회 국제 심포지엄 회보, J.M. Batke, F. Keiler의 "Using VBAP-derived panning functions for 3D Ambisonics decoding", URL http://ambisonics10.ircam.fr/drupal/files/proceedings/presentations/O14_47.pdf, 및 WO 2011/117399 A1에서 대응하는 설명과 유사하게 연산된다. 패닝 함수는 원형 조화 함수(circular harmonic function)에 의해 근사치를 얻고, 앰비소닉 차수를 증가시키면서 원하는 패닝 함수가 감소하는 오류로 일치된다. 특히 라우드스피커들 사이에 전면 영역에서, 탄젠트 법칙 또는 VBAP(vector base amplitude panning)와 같은 패닝 법칙이 사용될 수 있다. 라우드스피커 위치들을 넘는 후방에서, 이러한 방향들로부터의 사운드의 경미한 감쇠를 갖는 패닝 함수가 사용된다.
특정 경우에는 라우드스피커 방향을 후방으로 향하게 하는 심장형 특성(cardioid pattern)의 일 반면이 사용된다.
본 발명에서, 고차 앰비소닉의 더 높은 공간 해상력은 특히 전면 영역에서 활용되고 앰비소닉 차수를 증가시켜 후방에서의 네거티브 사이드 로브의 감쇠를 증가시킨다.
본 발명은 반원에 또는 반원보다 더 작은 원의 세그먼트에 배치된 2개를 초과하는 라우드스피커들을 포함하는 라우드스피커 셋업을 위해 또한 사용될 수 있다.
또한 그것은 일부 공간 영역들이 더 많은 감쇠를 갖는 스테레오에 보다 예술적인 다운믹싱을 용이하게 한다. 이것은 대화의 더 나은 명료성을 가능하게 하는 향상된 직접 사운드 대 확산 사운드(direct-sound-to-diffuse-sound) 비율을 생성하는데 유익하다.
본 발명에 따른 스테레오 디코더는 일부 중요한 특성들 - 라우드스피커들 사이의 전방에서의 바람직한 방향감, 결과 패닝 함수들에서의 매우 작은 네거티브 사이드 로브, 및 후방의 경미한 감쇠 - 을 충족한다. 또한 그것은 감쇠 또는 공간 영역의 마스킹을 가능하게 하는데, 그렇지 않다면 그것들은 2채널 버젼을 청취할 때 방해하는 것 또는 산만하게 하는 것으로서 감지될 수 있을 것이다.
WO 2011/117399 A1에 비교하면, 원하는 패닝 함수는 정의된 원형 세그먼트 방향(segment-wise)이고, 후방이 경미하게 감쇠될 수 있는 반면 라우드스피커 위치들 사이의 전면 영역에서는 공지된 패닝 프로세싱(예를 들어, VBAP 또는 탄젠트 법칙)이 사용될 수 있다. 그러한 특성들은 1차 앰비소닉 디코더들을 이용할 때는 실현 가능하지 않다.
원칙적으로, 본 발명의 방법은 고차 앰비소닉 오디오 신호 a(t)로부터 스테레오 라우드스피커 신호 l(t)를 디코딩하는데 적합하고, 상기 방법은:
좌우 라우드스피커들의 방위각 값들 및 원 상의 S개의 가상 샘플링 포인트들로부터, 모든 가상 샘플링 포인트들에 대한 원하는 패닝 함수를 포함하는 행렬 G를 계산하는 단계 - 여기서
Figure 112019131498606-pat00001
이고, gL(ø) 및 gR(ø) 엘리먼트들은 S개의 상이한 샘플링 포인트들에 대한 패닝 함수임 -,
상기 앰비소닉 오디오 신호 a(t)의 차수 N을 결정하는 단계,
상기 수 S 및 상기 차수 N으로부터, 모드 행렬 Ξ 및 상기 모드 행렬 Ξ의 대응하는 의사 역행렬(pseudo-inverse) Ξ+를 계산하는 단계 - 여기서
Figure 112019131498606-pat00002
이고,
Figure 112019131498606-pat00003
는 상기 앰비소닉 오디오 신호 a(t)의 원형 조화 벡터
Figure 112019131498606-pat00004
의 켤레 복소이고, Ym(ø)는 원형 조화 함수들임 -,
상기 행렬 G 및 Ξ+로부터 디코딩 행렬 D = GΞ+를 계산하는 단계,
라우드스피커 신호 l(t) = Da(t)를 계산하는 단계를 포함한다.
원칙적으로, 본 발명의 방법은 2D 고차 앰비소닉 오디오 신호 a(t)로부터 스테레오 라우드스피커 신호 l(t) = Da(t)를 디코딩하기 위해 사용될 수 있는 디코딩 행렬 D를 결정하는데 적합하고, 상기 방법은:
상기 앰비소닉 오디오 신호 a(t)의 차수 N을 수신하는 단계,
좌우 라우드스피커들의 원하는 방위각 값들 (øL, øR) 및 원 상의 S개의 가상 샘플링 포인트들로부터, 모든 가상 샘플링 포인트들에 대한 원하는 패닝 함수를 포함하는 행렬 G를 계산하는 단계 - 여기서
Figure 112019131498606-pat00005
이고, gL(ø) 및 gR(ø) 엘리먼트들은 S개의 상이한 샘플링 포인트들에 대한 패닝 함수임 -,
상기 수 S 및 상기 차수 N으로부터 모드 행렬 Ξ 및 상기 모드 행렬 Ξ의 대응하는 의사 역행렬 Ξ+를 계산하는 단계 - 여기서
Figure 112019131498606-pat00006
이고,
Figure 112019131498606-pat00007
는 상기 앰비소닉 오디오 신호 a(t)의 원형 조화 벡터
Figure 112019131498606-pat00008
의 켤레 복소이고, Ym(ø)는 원형 조화 함수들임 -,
상기 행렬 G 및 Ξ+로부터 디코딩 행렬 D = GΞ+를 계산하는 단계를 포함한다.
원칙적으로 본 발명의 장치는 고차 앰비소닉 오디오 신호 a(t)로부터 스테레오 라우드스피커 신호 l(t)를 디코딩하는데 적합하고, 상기 장치는:
좌우 라우드스피커들의 방위각 값들 및 원 상의 S개의 가상 샘플링 포인트들로부터, 모든 가상 샘플링 포인트들에 대한 원하는 패닝 함수를 포함하는 행렬 G를 계산하도록 구성되는 수단 - 여기서
Figure 112019131498606-pat00009
이고, gL(ø) 및 gR(ø) 엘리먼트들은 S개의 상이한 샘플링 포인트들에 대한 패닝 함수임 -,
상기 앰비소닉 오디오 신호 a(t)의 차수 N을 결정하도록 구성되는 수단,
상기 수 S 및 상기 차수 N으로부터, 모드 행렬 Ξ 및 상기 모드 행렬 Ξ의 대응하는 의사 역행렬 Ξ+를 계산하도록 구성되는 수단 - 여기서
Figure 112019131498606-pat00010
이고,
Figure 112019131498606-pat00011
는 상기 앰비소닉 오디오 신호 a(t)의 원형 조화 벡터
Figure 112019131498606-pat00012
의 켤레 복소이고, Ym(ø)는 원형 조화 함수들임 -,
상기 행렬 G 및 Ξ+로부터 디코딩 행렬 D = GΞ+를 계산하도록 구성되는 수단,
라우드스피커 신호 l(t) = Da(t)를 계산하도록 구성되는 수단을 포함한다.
본 발명의 바람직한 추가 실시예들은 각각의 종속항들에서 개시된다.
본 발명의 예시적인 실시예들은 첨부 도면들을 참조하여 설명된다.
도 1은 라우드스피커 위치 øL = 30˚, øR = -30˚에 대한 원하는 패닝 함수를 도시한다.
도 2는 라우드스피커 위치 øL = 30˚, øR = -30˚에 대한 원하는 패닝 함수를 극좌표로서 도시한다.
도 3은 라우드스피커 위치 øL = 30˚, øR = -30˚에 대한 N = 4에서의 결과 패닝 함수를 도시한다.
도 4는 라우드스피커 위치 øL = 30˚, øR = -30˚에 대한 N = 4에서의 결과 패닝 함수를 극좌표로서 도시한다.
도 5는 본 발명에 따른 프로세싱의 블록도를 도시한다.
디코딩 프로세싱에서의 제1 단계에서, 라우드스피커의 위치들이 정의되어야 한다. 라우드스피커들은 청취 위치로부터 동일한 거리를 갖는 것으로 가정되고, 이에 따라 라우드스피커 위치들이 방위각으로 정의된다. 방위각은 ø로 나타내고, 반시계 방향으로 측정된다. 좌우 라우드스피커들의 방위각은 øL 및 øR 이고, 대칭 셋업에서 øR = -øL 이다. 전형적인 값은 øL = 30˚이다. 다음 설명에서, 모든 각 값들은 2π (rad) 또는 360˚의 정수배의 오프셋으로 해석될 수 있다.
원 상의 가상 샘플링 포인트들이 정의될 것이다. 이것들은 앰비소닉 디코딩 프로세싱에서 사용된 가상 소스 방향들이고, 이러한 방향들에 대하여, 예를 들어, 2개의 후방 라우드스피커 위치들에 대한 원하는 패닝 함수 값들이 정의된다. 가상 샘플링 포인트들의 수는 S로 나타내고, 대응하는 방향은 균등하게 원 주위에 분배되며, 다음을 초래한다.
Figure 112019131498606-pat00013
S는 2N + 1보다 커야 하고, 여기서 N은 앰비소닉 차수를 나타낸다. 실험들은 바람직한 값이 S = 8N이라는 것을 보여준다.
좌우 라우드스피커에 대한 원하는 패닝 함수 gL(ø) 및 gR(ø)가 정의되어야 한다. WO 2011/117399 A1 및 상기 언급된 Batke/Keiler 논문으로부터의 접근과 대조적으로, 패닝 함수는 다중 세그먼트들에 대해 정의되고, 여기서 세그먼트들에 대하여 상이한 패닝 함수가 사용된다. 예를 들어, 원하는 패닝 함수들에 대하여 3개의 세그먼트들이 사용된다.
a) 2개의 라우드스피커들 사이의 전방에서 공지된 패닝 법칙, 예를 들어, 1997년 6월, V. Pulkki의 "Virtual sound source positioning using vector base amplitude panning", J. Audio 공학회, 45(6), 페이지 456 내지 466에 설명된 바와 같이 탄젠트 법칙 또는 동등하게, VBAP(vector base amplitude panning)가 사용된다.
b) 라우드스피커 원형 부분의 위치들을 넘는 방향들에 대하여, 후방에 대한 경미한 감쇠가 정의되고, 이를 통해 대략적으로 라우드스피커 위치에 반대인 각에서 이러한 패닝 함수의 일부가 0 값에 접근한다.
c) 좌측 라우드스피커에서 우측으로부터의 사운드 및 우측 라우드스피커에서 좌측으로부터의 사운드의 재생을 피하기 위하여 원하는 패닝 함수의 남아있는 부분은 0으로 설정된다.
원하는 패닝 함수가 영으로 접근하는 포인트 또는 각 값들은 좌측 라우드스피커에 대해 øL,0 및 우측 라우드스피커에 대해 øR,0로 정의된다. 좌우 라우드스피커들에 대한 원하는 패닝 함수는 다음과 같이 나타낼 수 있다.
Figure 112019131498606-pat00014
패닝 함수 gL,1(ø) 및 gR,1(ø)는 라우드스피커 위치들 사이의 패닝 법칙을 정의하고, 반면에 패닝 함수 gL,2(ø) 및 gR,2(ø)는 전형적으로 후방에 대한 감쇠를 정의한다. 교차 포인트에서 다음 특성들이 만족되어야 한다.
Figure 112019131498606-pat00015
원하는 패닝 함수는 가상 샘플링 포인트에서 샘플링된다. 모든 가상 샘플링 포인트들에 대해 원하는 패닝 함수값들을 포함하는 행렬은 다음과 같이 정의된다.
Figure 112019131498606-pat00016
실수 또는 복소수 값의 앰비소닉 원형 조화 함수는 m = -N, ..., N 에 대해 Ym(ø)이고, 여기서 N은 상기에 언급된 바와 같이 앰비소닉 차수이다. 원형 조화는 구형 조화의 방위 의존(azimuth-dependent) 부분으로써 나타낸다(1999년 Applied Mathematical Sciences, 제93호, Earl G. Williams의 "Fourier Acoustics", Academic Press 참조).
실수 값의 원형 조화에 대하여,
Figure 112019131498606-pat00017
원형 조화 함수는 전형적으로 다음에 의해 정의된다.
Figure 112019131498606-pat00018
여기서
Figure 112019131498606-pat00019
및
Figure 112019131498606-pat00020
은 사용된 정규화 기법(normalisation scheme)에 따른 스케일링 인자이다.
원형 조화는 벡터에서 결합된다.
Figure 112019131498606-pat00021
(·)*로 나타낸 켤레 복소는 다음으로 나타낸다.
Figure 112019131498606-pat00022
가상 샘플링 포인트에 대한 모드 행렬은 다음에 의해 정의된다.
Figure 112019131498606-pat00023
결과 2D 디코딩 행렬은 다음에 의해 연산된다.
Figure 112019131498606-pat00024
여기서 Ξ+는 행렬 Ξ의 의사 역행렬이다. 식(1)에서 주어진 바와 같이 균등하게 분배된 가상 샘플링 포인트들에 대하여, 의사 역행렬은 Ξ의 수반 행렬(전치 및 켤레 복소)인 ΞH의 스케일링된 버젼으로 대체될 수 있다. 이러한 경우에 디코딩 행렬은
Figure 112019131498606-pat00025
여기서 스케일링 인자 α는 원형 조화의 정규화 기법 및 설계 방향들의 수 S에 의존한다.
시간 인스턴스 t에 대한 라우드스피커 샘플 신호를 나타내는 벡터 l(t)는 다음에 의해 계산된다.
Figure 112019131498606-pat00026
입력 신호로서 3D 고차 앰비소닉 신호 a(t)를 이용하는 경우에, 2D 공간에 대한 적절한 변환이 적용되고, 변환된 앰비소닉 계수 a'(t)를 초래한다. 이러한 경우에 식(16)은 l(t) = Da'(t)로 변경된다.
3D/2D 변환을 이미 포함하고 3D 앰비소닉 신호 a(t)에 직접 적용되는 행렬 D3D를 정의하는 것이 또한 가능하다.
다음에서, 스테레오 라우드스피커 셋업에 대한 패닝 함수의 예가 설명된다. 라우드스피커 위치들 사이에, 식(2) 및 식(3)으로부터 패닝 함수 gL,1(ø), gR,1(ø) 및 VBAP에 따른 패닝 이득이 사용된다. 이러한 패닝 함수는 라우드스피커 위치에서 그것의 최대값을 갖는 심장형 특성의 일 반면으로 이어진다. 각 øL,0 및 øR,0는 라우드스피커 위치에 반대인 위치를 갖도록 정의된다.
Figure 112019131498606-pat00027
정규화된 패닝 이득은 gL,1(øL) = 1 및 gR,1(øR) = 1을 충족한다. øL 및 øR 쪽으로 향하는 심장형 특성은 다음에 의해 정의된다.
Figure 112019131498606-pat00028
디코딩의 평가를 위하여, 임의의 입력 방향에 대한 결과 패닝 함수는 다음에 의해 획득될 수 있다.
Figure 112019131498606-pat00029
여기서
Figure 112019131498606-pat00030
는 고려된 입력 방향의 모드 행렬이다.
Figure 112019131498606-pat00031
는 앰비소닉 디코딩 프로세스를 적용하는 경우에, 사용된 입력 방향 및 사용된 라우드스피커 위치들에 대한 패닝 가중치들을 포함하는 행렬이다.
도 1 및 도 2는 극좌표 포맷에서뿐만 아니라 원하는 (즉, 이론적인 또는 완벽한) 패닝 함수 대 선형 각 스케일의 이득을 각각 도시한다.
앰비소닉 디코딩에 대한 결과 패닝 가중치들은 사용된 입력 방향에 대해 식(21)을 이용하여 연산된다. 도 3 및 도 4는 극좌표 포맷에서뿐만 아니라 앰비소닉 차수 N = 4에 대해 계산된 대응하는 결과 패닝 함수 대 선형 각 스케일을 각각 도시한다.
도 1/도 2와 도 3/도 4의 비교는 원하는 패닝 함수가 잘 일치되고, 결과 네거티브 사이드 로브가 매우 작다는 것을 도시한다.
다음에서, 3D 대 2D 변환에 대한 예는 복소수 값의 구형 및 원형 조화를 위해 제공된다(실수 값 기반 함수에 대하여 유사한 방식으로 수행될 수 있음). 3D 앰비소닉에 대한 구형 조화는 다음과 같다.
Figure 112019131498606-pat00032
여기서 n = 0, ..., N 은 차수 인덱스, m = -n, ..., n은 각도 인덱스, Mn,m은 정규화 기법에 따른 정규화 인자이고, θ는 경사각이며,
Figure 112019131498606-pat00033
는 연관된 르장드르 함수(Legendre function)이다. 3D 경우에 대해 주어진 앰비소닉 계수
Figure 112019131498606-pat00034
를 이용하여, 2D 계수는 다음에 의해 계산된다.
Figure 112019131498606-pat00035
여기서 스케일링 인자는
Figure 112019131498606-pat00036
도 5에서, 원하는 패닝 함수를 계산하는 단계 또는 스테이지(51)는 가상 샘플링 포인트들의 수 S뿐만 아니라 좌우 라우드스피커들의 방위각 øL 및 øR의 값들을 수신하고, - 상기 설명된 - 모든 가상 샘플링 포인트들에 대한 원하는 패닝 함수 값들을 포함하는 행렬 G로부터 계산한다. 앰비소닉 신호 a(t)로부터 차수 N은 단계/스테이지(52)에서 얻는다. S 및 N으로부터 모드 행렬 Ξ는 식(11) 내지 식(13)에 기초하여 단계/스테이지(53)에서 계산된다.
단계 또는 스테이지(54)는 행렬 Ξ의 의사 역행렬 Ξ+를 연산한다. 행렬 G 및 Ξ+로부터 디코딩 행렬 D는 식(15)에 따라 단계/스테이지(55)에서 계산된다. 단계/스테이지(56)에서 라우드스피커 신호 l(t)는 디코딩 행렬 D를 이용하여 앰비소닉 신호 a(t)로부터 계산된다. 앰비소닉 입력 신호 a(t)가 3D 공간 신호인 경우에, 3D 대 2D 변환은 단계 또는 스테이지(57)에서 수행될 수 있고, 단계/스테이지(56)은 2D 앰비소닉 신호 a'(t)를 수신한다.

Claims (14)

  1. 고차 앰비소닉(higher-order Ambisonics) 오디오 신호로부터 스테레오 라우드스피커(loudspeaker) 신호들을 디코딩하는데 사용될 수 있는 디코딩 행렬 D를 결정하기 위한 방법으로서,
    상기 앰비소닉 오디오 신호의 차수 N을 결정하는 단계;
    라우드스피커들의 방위각 값들 및 원 상의 S개의 가상 샘플링 포인트들에 기초하여, 모든 가상 샘플링 포인트들에 대해 원하는 패닝 함수(desired panning function) 값들을 포함하는 행렬 G를 결정하는 단계 - S는 2N+1보다 크고, 상기 패닝 함수들은 복수의 세그먼트들에 대해 정의되며, 상기 세그먼트들에 대해 상이한 패닝 함수들이 사용됨 -;
    상기 S 및 상기 앰비소닉 오디오 신호의 차수 N에 기초하여 행렬
    Figure 112020055726573-pat00037
    를 결정하는 단계; 및
    상기 행렬 G 및 행렬
    Figure 112020055726573-pat00050
    으로부터 디코딩 행렬 D를 결정하는 단계
    를 포함하는 방법.
  2. 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호들을 디코딩하는데 사용될 수 있는 디코딩 행렬 D를 결정하기 위한 장치로서,
    상기 앰비소닉 오디오 신호의 차수 N을 결정하기 위한 수단;
    라우드스피커들의 방위각 값들 및 원 상의 S개의 가상 샘플링 포인트들에 기초하여, 모든 가상 샘플링 포인트들에 대해 원하는 패닝 함수 값들을 포함하는 행렬 G를 결정하기 위한 수단 - S는 2N+1보다 크고, 상기 패닝 함수들은 복수의 세그먼트들에 대해 정의되며, 상기 세그먼트들에 대해 상이한 패닝 함수들이 사용됨 -;
    상기 S 및 상기 차수 N에 기초하여 행렬
    Figure 112020055726573-pat00051
    를 결정하기 위한 수단; 및
    상기 행렬 G 및 행렬
    Figure 112020055726573-pat00052
    으로부터 디코딩 행렬 D를 결정하기 위한 수단
    을 포함하는 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020197037604A 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치 KR102207035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217001737A KR102481338B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305356.3A EP2645748A1 (en) 2012-03-28 2012-03-28 Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
EP12305356.3 2012-03-28
PCT/EP2013/055792 WO2013143934A1 (en) 2012-03-28 2013-03-20 Method and apparatus for decoding stereo loudspeaker signals from a higher-order ambisonics audio signal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147026827A Division KR102059486B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217001737A Division KR102481338B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200003222A KR20200003222A (ko) 2020-01-08
KR102207035B1 true KR102207035B1 (ko) 2021-01-25

Family

ID=47915205

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197037604A KR102207035B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR1020147026827A KR102059486B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR1020217001737A KR102481338B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020147026827A KR102059486B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR1020217001737A KR102481338B1 (ko) 2012-03-28 2013-03-20 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치

Country Status (7)

Country Link
US (5) US9666195B2 (ko)
EP (4) EP2645748A1 (ko)
JP (5) JP6316275B2 (ko)
KR (3) KR102207035B1 (ko)
CN (6) CN107172567B (ko)
TW (8) TWI734539B (ko)
WO (1) WO2013143934A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2645748A1 (en) * 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
US9716959B2 (en) 2013-05-29 2017-07-25 Qualcomm Incorporated Compensating for error in decomposed representations of sound fields
EP2866475A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups
EP2879408A1 (en) * 2013-11-28 2015-06-03 Thomson Licensing Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition
RU2666248C2 (ru) * 2014-05-13 2018-09-06 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство и способ для амплитудного панорамирования с затуханием фронтов
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
US9747910B2 (en) * 2014-09-26 2017-08-29 Qualcomm Incorporated Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework
US10063989B2 (en) 2014-11-11 2018-08-28 Google Llc Virtual sound systems and methods
WO2016172254A1 (en) 2015-04-21 2016-10-27 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
EP3314916B1 (en) 2015-06-25 2020-07-29 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US10249312B2 (en) 2015-10-08 2019-04-02 Qualcomm Incorporated Quantization of spatial vectors
US9961467B2 (en) * 2015-10-08 2018-05-01 Qualcomm Incorporated Conversion from channel-based audio to HOA
US10341802B2 (en) * 2015-11-13 2019-07-02 Dolby Laboratories Licensing Corporation Method and apparatus for generating from a multi-channel 2D audio input signal a 3D sound representation signal
US11387006B2 (en) 2015-11-30 2022-07-12 In Hand Health, LLC Client monitoring, management, communication, and performance system and method of use
EP3209036A1 (en) * 2016-02-19 2017-08-23 Thomson Licensing Method, computer readable storage medium, and apparatus for determining a target sound scene at a target position from two or more source sound scenes
CN110383856B (zh) 2017-01-27 2021-12-10 奥罗技术公司 用于平移音频对象的处理方法和***
CN106960672B (zh) * 2017-03-30 2020-08-21 国家计算机网络与信息安全管理中心 一种立体声音频的带宽扩展方法与装置
WO2018213159A1 (en) * 2017-05-15 2018-11-22 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
EP3625974B1 (en) * 2017-05-15 2020-12-23 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
CN111123202B (zh) * 2020-01-06 2022-01-11 北京大学 一种室内早期反射声定位方法及***
CN111615045B (zh) * 2020-06-23 2021-06-11 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置、设备及存储介质
CN112530445A (zh) * 2020-11-23 2021-03-19 雷欧尼斯（北京）信息技术有限公司 高阶Ambisonic音频的编解码方法及芯片
CN117061983A (zh) * 2021-03-05 2023-11-14 华为技术有限公司 虚拟扬声器集合确定方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011117399A1 (en) * 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB394325A (en) 1931-12-14 1933-06-14 Alan Dower Blumlein Improvements in and relating to sound-transmission, sound-recording and sound-reproducing systems
US4704728A (en) * 1984-12-31 1987-11-03 Peter Scheiber Signal re-distribution, decoding and processing in accordance with amplitude, phase, and other characteristics
JPH05103391A (ja) 1991-10-07 1993-04-23 Matsushita Electric Ind Co Ltd 指向性制御スピーカシステム
JPH06165281A (ja) 1992-11-18 1994-06-10 Matsushita Electric Ind Co Ltd 指向性スピーカ装置
US7231054B1 (en) 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
BRPI0308691A2 (pt) * 2002-04-10 2016-11-16 Koninkl Philips Electronics Nv métodos para codificar um sinal de canal múltiplo e para decodificar informação de sinal de canal múltiplo, arranjos para codificar e decodificar um sinal de canal múltiplo, sinal de dados, meio legível por computador, e, dispositivo para comunicar um sinal de canal múltiplo.
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
EP1538741A1 (en) * 2003-12-05 2005-06-08 Semiconductor Ideas to The Market (ItoM) BV Multiplier device
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
DE602005003342T2 (de) * 2005-06-23 2008-09-11 Akg Acoustics Gmbh Methode zur Modellierung eines Mikrofons
EP1761110A1 (en) * 2005-09-02 2007-03-07 Ecole Polytechnique Fédérale de Lausanne Method to generate multi-channel audio signals from stereo signals
BRPI0615899B1 (pt) * 2005-09-13 2019-07-09 Koninklijke Philips N.V. Unidade decodificadora espacial, dispositivo decodificador espacial, sistema de áudio, dispositivo de consumidor, e método para produzir um par de canais de saída binaurais
JP2007208709A (ja) 2006-02-02 2007-08-16 Kenwood Corp 音声再生装置
US9215544B2 (en) 2006-03-09 2015-12-15 Orange Optimization of binaural sound spatialization based on multichannel encoding
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US7501605B2 (en) * 2006-08-29 2009-03-10 Lam Research Corporation Method of tuning thermal conductivity of electrostatic chuck support assembly
DE602007011955D1 (de) * 2006-09-25 2011-02-24 Dolby Lab Licensing Corp Ür mehrkanal-tonwiedergabesysteme mittels ableitung von signalen mit winkelgrössen hoher ordnung
KR101368859B1 (ko) * 2006-12-27 2014-02-27 삼성전자주식회사 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
TWI424755B (zh) 2008-01-11 2014-01-21 Dolby Lab Licensing Corp 矩陣解碼器
EP2094032A1 (en) 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
JP4922211B2 (ja) * 2008-03-07 2012-04-25 日本放送協会 音響信号変換装置、その方法及びそのプログラム
US8705749B2 (en) * 2008-08-14 2014-04-22 Dolby Laboratories Licensing Corporation Audio signal transformatting
GB0815362D0 (en) * 2008-08-22 2008-10-01 Queen Mary & Westfield College Music collection navigation
EP2356825A4 (en) * 2008-10-20 2014-08-06 Genaudio Inc AUDIO SPACE AND ENVIRONMENT SIMULATION
US20100110368A1 (en) * 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
PL2285139T3 (pl) * 2009-06-25 2020-03-31 Dts Licensing Limited Urządzenie i sposób konwersji przestrzennego sygnału audio
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
JP5826996B2 (ja) 2010-08-30 2015-12-02 日本放送協会 音響信号変換装置およびそのプログラム、ならびに、３次元音響パンニング装置およびそのプログラム
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2645748A1 (en) * 2012-03-28 2013-10-02 Thomson Licensing Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011117399A1 (en) * 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback

Also Published As

Publication number Publication date
KR102059486B1 (ko) 2019-12-26
JP6622344B2 (ja) 2019-12-18
TWI666629B (zh) 2019-07-21
EP3796679B1 (en) 2023-08-09
JP2018137785A (ja) 2018-08-30
CN107182022B (zh) 2019-10-01
CN107241677A (zh) 2017-10-10
JP6898419B2 (ja) 2021-07-07
CN107222824B (zh) 2020-02-21
CN107135460A (zh) 2017-09-05
EP3796679A1 (en) 2021-03-24
EP2645748A1 (en) 2013-10-02
EP4297439A3 (en) 2024-03-20
US11172317B2 (en) 2021-11-09
TWI775497B (zh) 2022-08-21
WO2013143934A1 (en) 2013-10-03
TW202018698A (zh) 2020-05-16
US12010501B2 (en) 2024-06-11
EP2832113A1 (en) 2015-02-04
KR20140138773A (ko) 2014-12-04
TW201742051A (zh) 2017-12-01
CN104205879A (zh) 2014-12-10
TW201937481A (zh) 2019-09-16
KR20230003436A (ko) 2023-01-05
EP2832113B1 (en) 2020-07-22
CN107222824A (zh) 2017-09-29
JP6316275B2 (ja) 2018-04-25
CN107182022A (zh) 2017-09-19
US9913062B2 (en) 2018-03-06
CN107135460B (zh) 2019-11-15
TW201921337A (zh) 2019-06-01
JP2020043590A (ja) 2020-03-19
KR102481338B1 (ko) 2022-12-27
TW202322100A (zh) 2023-06-01
JP7459019B2 (ja) 2024-04-01
CN107172567B (zh) 2019-12-03
CN107241677B (zh) 2019-10-11
TWI675366B (zh) 2019-10-21
JP2021153315A (ja) 2021-09-30
TW201344678A (zh) 2013-11-01
TWI651715B (zh) 2019-02-21
JP2023065646A (ja) 2023-05-12
US20150081310A1 (en) 2015-03-19
US20220182775A1 (en) 2022-06-09
US10433090B2 (en) 2019-10-01
US20170208410A1 (en) 2017-07-20
TWI698858B (zh) 2020-07-11
TW202115714A (zh) 2021-04-16
TWI734539B (zh) 2021-07-21
US20180160249A1 (en) 2018-06-07
TW202217798A (zh) 2022-05-01
EP4297439A2 (en) 2023-12-27
CN104205879B (zh) 2017-08-11
TWI590230B (zh) 2017-07-01
KR20210009448A (ko) 2021-01-26
US20190364376A1 (en) 2019-11-28
KR20200003222A (ko) 2020-01-08
TWI808842B (zh) 2023-07-11
CN107172567A (zh) 2017-09-15
JP2015511800A (ja) 2015-04-20
US9666195B2 (en) 2017-05-30

Similar Documents

Publication Publication Date Title
KR102207035B1 (ko) 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR102678270B1 (ko) 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
TWI845344B (zh) 從三維度空間性高階保真立體音響聲頻訊號解碼立體聲擴音器訊號之方法及裝置，以及所用解碼矩陣之決定方法
KR20240100475A (ko) 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
TW202416269A (zh) 從三維度空間性高階保真立體音響聲頻訊號解碼立體聲擴音器訊號之方法及裝置，以及所用解碼矩陣之決定方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant