KR20110018728A

KR20110018728A - 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Info

Publication number: KR20110018728A
Application number: KR1020090076338A
Authority: KR
Inventors: 문한길; 이철우
Original assignee: 삼성전자주식회사
Priority date: 2009-08-18
Filing date: 2009-08-18
Publication date: 2011-02-24
Also published as: WO2011021845A2; JP2013502608A; WO2011021845A3; CN102483921A; EP2467850A2; EP2467850A4; CN102483921B; EP2467850B1; KR101613975B1; US8798276B2; US20110046964A1; JP5815526B2

Abstract

멀티 채널 오디오 신호의 부호화, 복호화 방법 및 장치가 개시된다. 본 발명에 따르면 멀티 채널 오디오 신호의 부호화시에 다운 믹스된 오디오 신호, 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 다중화하고, 복호화시에는 제 2 부가 정보를 이용하여 소정의 위상차를 갖는 복원된 멀티 채널 오디오 신호들을 결합하고 각 채널의 오디오 신호를 보정함으로써 복원된 오디오 신호의 음질을 향상시킨다.

Description

멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치{Method and apparatus for encoding multi-channel audio signal, and method and apparatus for decoding multi-channel audio signal}

본 발명은 멀티 채널 오디오 신호의 부호화 및 복호화에 관한 것으로, 보다 상세하게는 부호화된 멀티 채널 오디오 신호의 복원시에 각 채널의 음질을 향상시킬 수 있는 레지듀얼 신호를 소정의 파라메터 정보로서 부호화하고, 이를 멀티 채널 오디오 신호의 복호화시에 이용하는 멀티 채널 오디오 신호의 부호화, 복호화 방법 및 장치에 관한 것이다.

일반적으로 멀티 채널 오디오를 부호화하는 방법에는 웨이브폼(waveform) 오디오 코딩와 파라메트릭(parametric) 오디오 코딩이 있다. 웨이브폼 부호화에는 MPEG-2 MC 오디오 코딩, AAC MC 오디오 코딩 및 BSAC/AVS MC 오디오 코딩 등이 있다.

파라메트릭 오디오 코딩에서는 오디오 신호를 주파수 도메인에서 주파수, 진폭과 같은 성분으로 분해하고 이러한 주파수, 진폭 등에 대한 정보를 파라미터화하여 오디오 신호를 부호화한다. 예를 들어, 파라메트릭 오디오 코딩을 이용해 스테 레오 오디오 신호를 부호화하는 경우, 좌채널 오디오와 우채널 오디오를 다운믹스하여 모노 오디오를 생성하고, 생성된 모노 오디오를 부호화한다. 그리고, 복수의 주파수 밴드 각각에 대하여 채널간 세기 차이(IID: Interchannel Intensity Difference), 채널간 상관도(ID: Interchannel Correlation), 전 위상 차이(OPD: Overall Phase Difference) 및 채널간 위상 차이(IPD: Interchannel Phase Difference)와 같은 파라미터들을 부호화한다. 여기서, 채널간 세기 차이(IID)에 대한 파라미터 및 채널간 상관도(ID)에 대한 파라미터는 스테레오 오디오 신호의 복호화시에 좌채널 오디오와 우채널 오디오의 세기를 결정하기 위한 정보로 이용되며, 전위상 차이(OPD)에 대한 파라미터 및 채널간 위상 차이(IPD)에 대한 파라미터는 스테레오 오디오 신호의 복호화시에 좌채널 오디오와 우채널 오디오의 위상을 결정하기 위한 정보로 이용된다.

이와 같은 파라메트릭 오디오 코딩 방식 등에서는 부호화된 후 복원된 오디오 신호와 입력 오디오 신호 사이에 차이가 발생한다. 일반적으로 부호화된 후 복원된 오디오 신호와 입력 오디오 신호와의 차이값을 레지듀얼(residual) 신호라고 정의한다. 이와 같은 레지듀얼 신호는 일종의 부호화 에러를 나타낸다. 오디오 신호의 복원시에 각 채널의 음질을 향상시키기 위해서는 이러한 레지듀얼 신호를 부호화하고 부호화된 레지듀얼 신호를 복원시에 이용할 필요가 있다.

본 발명이 해결하고자 하는 기술적 과제는 멀티 채널 오디오 신호의 부호화시에 복원된 멀티 채널 오디오 신호와 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호가 최소가 되도록 레지듀얼 신호 정보를 효율적으로 전송하는 멀티 채널 오디오 신호의 부호화 방법 및 장치를 제공하는 것이다. 또한, 본 발명이 해결하고자 하는 기술적 과제는 부호화된 레지듀얼 신호 정보를 멀티 채널 오디오 신호의 복호화시에 이용함으로써 각 채널의 음질을 향상시키는 멀티 채널 오디오 신호의 복호화 방법 및 장치를 제공하는 것이다.

본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 방법은 입력 멀티 채널 오디오 신호에 대한 파라메트릭 부호화를 수행하여 다운 믹스된 오디오 신호 및 상기 다운 믹스된 오디오 신호를 상기 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성하는 단계; 상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 복원된 멀티 채널 오디오 신호와 상기 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호를 생성하는 단계; 상기 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 생성하는 단계; 및 상기 다운 믹스된 오디오 신호, 상기 제 1 부가 정보 및 상기 제 2 부가 정보를 다중화하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 장치는 입력 멀티 채널 오디오 신호에 대한 부호화를 수행하여 다운 믹스된 오디오 신호 및 상기 다운 믹스된 오디오 신호를 상기 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성하는 멀티 채널 부호화부; 상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 복원된 멀티 채널 오디오 신호와 상기 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호를 생성하는 레지듀얼 신호 생성부; 상기 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 생성하는 레지듀얼 신호 부호화부; 및 상기 다운 믹스된 오디오 신호, 상기 제 1 부가 정보 및 상기 제 2 부가 정보를 다중화하는 다중화부를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 복호화 방법은 부호화된 오디오 데이터로부터 다운 믹스된 오디오 신호, 상기 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 부호화시에 입력 멀티 채널 오디오 신호와 부호화된 후 복원된 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 추출하는 단계; 상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호를 복원하는 단계; 상기 복원된 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성하는 단계; 및 상기 제 2 부가 정보를 이용하여 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호를 결합하여 최종 복원 오디오 신호를 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 복호화 장치는 부호화된 오디오 데이터로부터 다운 믹스된 오디오 신호, 상기 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 부호화시에 입력 멀티 채널 오디오 신호와 부호화된 후 복원된 멀티 채널 오디오 신호 사이의 차이값 인 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 추출하는 역다중화부; 상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호를 복원하는 멀티 채널 복호화부; 상기 복원된 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성하는 위상 변이부; 및 상기 제 2 부가 정보를 이용하여 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호를 결합하여 최종 복원 오디오 신호를 생성하는 결합부를 포함하는 것을 특징으로 한다.

본 발명에 따르면 부호화시에 최소한의 레지듀얼 신호 정보를 효율적으로 부호화하고, 복호화시에 레지듀얼 신호를 이용하여 멀티 채널 오디오 신호의 각 채널의 음질을 향상시킬 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 장치의 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 장치(100)는 멀티 채널 부호화부(110), 레지듀얼 신호 생성부(120), 레지듀얼 신호 부호화부(130) 및 다중화부(140)를 포함한다. 입력 멀티 채널 오디오 신호들(Ch 1 내지 Ch n)이 디지털 신호가 아닌 경우에는, n개의 입력 멀티 채널 오디오신호들에 대하여 샘플링 및 양자화를 수행하여 디지털 신호로 변환하는 A/D 변환 기(미도시)가 더 포함될 수 있다.

멀티 채널 부호화부(110)는 n개(n은 양의 정수)의 입력 멀티 채널 오디오 신호에 대한 파라메트릭 부호화를 수행하여, 다운 믹스된 오디오 신호 및 다운 믹스된 오디오 신호를 다시 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성한다. 보다 구체적으로, 멀티 채널 부호화부(110)는 n개의 입력 멀티 채널 오디오 신호를 n보다 작은 개수의 채널을 갖는 오디오 신호로 다운 믹스하고, 다운 믹스된 오디오 신호를 다시 n개의 멀티 채널로 복원하기 위해 필요한 제 1 부가 정보를 생성한다. 예를 들어, 입력 신호로서 5.1 채널의 오디오 신호, 즉 레프트(L), 써라운드 레프트(Ls), 센터(C), 서브 우퍼(Sw), 라이트(R), 써라운드 라이트(Rs)의 6개의 멀티 채널의 신호가 멀티 채널 부호화부(110)로 입력되는 경우를 가정해보면, 멀티 채널 부호화부(110)는 5.1 채널의 오디오 신호를 L 및 R의 2채널의 스테레오 신호로 다운 믹스하고, 2채널의 스테레오 신호를 부호화하여 오디오 비트스트림을 생성하는 한편, 2채널의 스테레오 신호를 다시 5.1 채널의 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성한다. 제 1 부가 정보는 다운 믹스되는 신호들의 세기(intensity)를 결정하기 위한 정보 및 다운 믹스되는 신호들 사이의 위상 차이에 대한 정보를 포함할 수 있다. 이하, 멀티 채널 부호화부(110)에서 수행되는 다운 믹스 과정 및 제 1 부가 정보를 생성하는 과정에 대하여 구체적으로 설명한다.

도 2는 도 1의 멀티 채널 부호화부(110)의 일 실시예를 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 멀티 채널 부호화부(110)는 복수 개의 다운 믹스부들(111 내지 118) 및 스테레오 신호 부호화부(119)를 포함한다.

멀티 채널 부호화부(110)는 n개의 입력 멀티 채널 오디오 신호들(Ch 1 내지 Ch n)을 수신하고, 수신된 n개의 입력 멀티 채널 오디오 신호들을 2개의 채널 단위로 가산하여 다운 믹스된 출력 신호를 생성하고, 다운 믹스된 출력 신호를 2개씩 묶어서 다시 다운 믹스하는 과정을 반복함으로써 다운 믹스된 오디오 신호를 출력한다. 예를 들어, 다운 믹스부(111)는 제 1 채널의 입력 오디오 신호(ch 1) 및 제 2 채널의 입력 오디오 신호(ch 2)를 가산하여 다운 믹스된 출력 신호(BM1)를 생성한다. 유사하게 다운 믹스부(112)는 제 3 채널의 입력 오디오 신호(Ch 3) 및 제 4 채널의 입력 오디오 신호(Ch 4)를 가산하여 다운 믹스된 출력 신호(BM2)를 생성한다. 2개의 다운 믹스부들(111, 112)에서 출력되는 2개의 다운 믹스된 출력 신호들(BM1, BM2)는 다시 다운 믹스부(113)을 통해 다운 믹스되어 다운 믹스된 출력 신호(TM1)가 출력된다. 이와 같은 다운 믹스 과정은 도 2에 도시된 바와 같이 L 및 R의 2채널의 스테레오 신호가 발생할 때까지 반복되거나, L 및 R의 스테레오 신호를 다시 다운 믹스하여 모노 신호가 출력될 때까지 반복될 수 있다.

스테레오 신호 부호화부(119)는 다운 믹스부들(111 내지 118)을 통해 다운 믹스된 스테레오 신호를 부호화하여 오디오 비트스트림을 생성한다. 스테레오 신호 부호화부(119)로는 MP3 또는 AAC와 같은 일반적인 오디오 코덱이 이용될 수 있다.

다운 믹스부들(111 내지 118)은 2개의 입력된 오디오 신호를 가산할 때, 2개 의 오디오 신호 중 하나의 오디오 신호의 위상을 다른 신호의 위상과 동일하게 설정한 다음 가산을 수행할 수 있다. 예를 들어, 제 1 채널의 입력 오디오 신호(Ch 1)과 제 2 채널의 입력 오디오 신호(Ch 2)를 가산할 때, 다운 믹스부(111)는 제 2 채널의 입력 오디오 신호(Ch 2)의 위상을 제 1 채널의 입력 오디오 신호(Ch 1)과 동일하게 설정한 다음, 위상이 조절된 제 2 채널의 입력 오디오 신호(Ch 2)를 제 1 채널의 입력 오디오 신호(Ch 1)를 가산함으로써 다운 믹스를 수행할 수 있다. 이에 대한 구체적인 내용은 후술한다.

한편, 다운 믹스부들(111 내지 118)은 2개의 오디오 신호를 다운 믹스하여 하나의 출력 신호를 생성할 때, 하나의 출력 신호를 다시 2개의 오디오 신호로 복원하기 위하여 필요한 제 1 부가 정보를 생성해야 한다. 전술한 바와 같이, 제 1 부가 정보는 다운 믹스되는 신호들의 세기(intensity)를 결정하기 위한 정보 및 다운 믹스되는 신호들 사이의 위상 차이에 대한 정보를 포함할 수 있다. 만약, 다운 믹스부들(111 내지 118)로서 종래 기술과 같이 스테레오 오디오 신호를 모노 오디오 신호로 다운 믹스하는 장치를 이용하는 경우, 하나의 출력 신호에 대하여 채널간 세기 차이(IID: Interchannel Intensity Difference), 채널간 상관도(ID: Interchannel Correlation), 전 위상 차이(OPD: Overall Phase Difference) 및 채널간 위상 차이(IPD: Interchannel Phase Difference)와 같은 파라미터들을 부호화할 필요가 있다. 이 경우, 채널간 세기 차이(IID)에 대한 파라미터 및 채널간 상관도(ID)에 대한 파라미터는 다운 믹스된 출력 신호로부터 다운 믹스되기 이전의 2개의 입력 오디오 신호의 세기를 결정하기 위한 정보로 이용될 수 있으며, 전위상 차이(OPD)에 대한 파라미터 및 채널간 위상 차이(IPD)에 대한 파라미터는 다운 믹스된 출력 신호로부터 다운 믹스되기 이전의 2개의 입력 오디오 신호의 위상을 결정하기 위한 정보로 이용될 수 있다.

특히, 본 발명의 일 실시예에 따른 다운 믹스부들(111 내지 118)은 후술되는 바와 같이 소정의 벡터 공간 내에서 2개의 입력 오디오 신호와 다운 믹스된 신호의 관계를 이용하여, 다운 믹스되기 이전의 2개의 입력 오디오 신호의 세기 및 위상을 결정하기 위한 정보를 포함하는 제 1 부가 정보를 생성한다.

이하에서는 도 3a 및 3b를 참조하여 제 1 부가 정보들을 생성하는 방법에 대하여 상세히 설명한다. 설명의 편의를 위하여 멀티 채널 부호화부(110)에 포함된 복수 개의 다운 믹스부들 중, 제1 채널 입력 오디오(Ch1) 및 제2 채널 입력 오디오(Ch2)를 입력받는 다운 믹스부(111)에서 다운 믹스된 출력 신호(BM1)을 생성하는 과정에서 제 1 부가 정보를 생성하는 과정을 중심으로 설명한다. 다운 믹스부(111)에서 생성되는 제 1 부가 정보 생성 과정은 멀티 채널 부호화부(110)에 포함된 다른 다운 믹스부들에도 동일하게 적용가능하다. 이하에서는 제1 채널 입력 오디오(Ch1) 및 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보를 생성하는 경우와 제1 채널 입력 오디오(Ch1) 및 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보를 생성하는 경우에 대하여 나누어 설명하도록 한다.

(1) 세기를 결정하기 위한 정보

파라메트릭 오디오 코딩에서는 각각의 채널 오디오를 주파수 도메인으로 변환하여 주파수 도메인에서 채널 오디오 각각의 세기 및 위상에 대한 정보를 부호화 한다. 오디오 신호를 고속 퓨리에 변환(Fast Fourier Transform)하면, 오디오 신호는 주파수 도메인에서 이산(discrete)된 값들에 의해 표현될 수 있다. 즉, 오디오 신호는 복수의 정현파들의 합으로 표현될 수 있다. 파라메트릭 오디오 코딩에서는 오디오 신호가 주파수 도메인으로 변환되면, 주파수 도메인을 복수의 서브 밴드들로 분할하고, 각각의 서브 밴드들에서의 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보 및 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보를 부호화한다. 이때, 서브 밴드 k에서의 세기 및 위상에 대한 부가 정보들을 부호화한 후에, 마찬가지로 서브 밴드 k+1에서의 세기 및 위상에 대한 부가 정보들을 부호화한다. 파라메트릭 오디오 코딩에서는 이와 같은 방식으로 전체 주파수 밴드를 복수의 서브 밴드들로 분할하고, 각각의 서브 밴드에 대하여 스테레오 오디오 부가 정보를 부호화한다.

이하에서는 N개 채널의 입력 오디오를 가진 스테레오 오디오의 부호화, 복호화와 관련하여 소정의 주파수 밴드 즉, 서브 밴드 k에서 제1 채널 입력 오디오(Ch1) 및 제2 채널 입력 오디오(Ch2)에 대한 부가 정보를 부호화하는 경우를 예로 들어 설명한다.

종래 기술에 따른 파라메트릭 오디오 코딩에서 스테레오 오디오에 대한 부가 정보들을 부호화할 때에는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 정보로서 채널간 세기 차이(IID: Interchannel Intensity Difference) 및 채널간 상관도(IC: Interchannel Correlation)에 대한 정보를 부호화함은 전술하였다. 이때, 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)의 세기 및 제2 채널 입력 오디오(Ch2)의 세기를 각각 계산하고, 제1 채널 입력 오디오(Ch1)의 세기와 제2 채널 입력 오디오(Ch2)의 세기 사이의 비율을 채널간 세기 차이(IID)에 대한 정보로서 부호화한다. 그러나 두 채널 오디오의 세기 사이의 비율만으로는 복호화하는 측에서 제1 채널 입력 오디오(Ch1)의 세기 및 제2 채널 입력 오디오(Ch2)의 세기를 결정할 수 없으므로, 부가 정보로써 채널간 상관도(IC)에 대한 정보도 함께 부호화하여 비트스트림에 삽입한다.

본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 방법은 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보로서 부호화되는 부가 정보들의 개수를 최소화하기 위하여 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)의 세기에 대한 벡터 및 제2 채널 입력 오디오(Ch2)의 세기에 대한 벡터를 이용한다. 여기서 제1 채널 입력 오디오(Ch1)를 주파수 도메인으로 변환한 주파수 스펙트럼에서 주파수 f1, f2, ... , fn에서 세기들의 평균값이 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)의 세기이고, 후술하는 벡터 Ch1의 크기이다.

마찬가지로, 제2 채널 입력 오디오(Ch2)를 주파수 도메인으로 변환한 주파수 스펙트럼의 주파수 f1, f2, ... , fn에서 세기들의 평균값이 서브 밴드 k에서 제2 채널 입력 오디오(Ch2)의 세기이고, 후술하는 벡터 Ch2의 크기이다. 도 3a 및 3b를 참조하여 상세히 설명한다.

도 3a는 본 발명의 일 실시예에 따라서 제1 채널 입력 오디오 및 제2 채널 입력 오디오의 세기에 대한 정보를 생성하는 방법을 설명하기 위한 참조도이다.

도 3a를 참조하면, 본 발명의 일실시예에 따른 다운 믹스부(111)는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)의 세기에 대한 벡터인 Ch1 벡터와 제2 채널 입력 오디오(Ch2)의 세기에 대한 벡터인 Ch2벡터가 소정의 각도를 이루도록 2차원 벡터 공간을 생성한다. 만일, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)가 좌측 오디오 및 우측 오디오라면, 스테레오 오디오의 청취자가 좌측 음원 방향과 우측 음원 방향이 60도의 각도를 이루는 위치에서 스테레오 오디오를 청취하는 것을 가정하고 스테레오 오디오를 부호화하는 것이 일반적이므로, 2차원 벡터 공간에서 Ch1벡터와 Ch2 벡터 사이의 각도(θ₀)를 60 도로 설정할 수 있다. 하지만, 본 실시예에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)는 좌측 오디오 및 우측 오디오가 아니므로, Ch1벡터와 Ch2 벡터는 임의의 각도(θ₀)를 가질 것이다.

도 3a에서는 Ch1벡터와 Ch2 벡터가 가산되어 생성된 출력 신호(BM1)의 세기에 대한 벡터인 BM1 벡터가 도시되어 있다. 이때, 전술한 바와 같이 만일 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)가 각각 좌측 오디오와 우측 오디오에 대응된다면, 좌측 음원 방향과 우측 음원 방향이 60도의 각도를 이루는 위치에서 스테레오 오디오를 청취하는 청취자는 BM1 벡터의 방향으로 BM1 벡터의 크기에 해당하는 세기의 모노 오디오를 청취하게 된다.

본 발명의 일 실시예에 따른 다운 믹스부(111)는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보로써 채널간 세기 차이(IID)에 대한 정보와 채널간 상관도(IC)에 대한 정보 대신에 BM1 벡터와 Ch1 벡터 사이의 각도(θq) 또는 BM1 벡터와 Ch2 벡터 사이의 각도(θp)에 대한 정보를 생성한다.

또한, 다운 믹스부(111)는 BM1 벡터와 Ch1 벡터 사이의 각도(θq) 또는 BM1 벡터와 Ch2 벡터 사이의 각도(θp)를 생성하는 대신에 cos θq 또는 cos θp와 같이 코사인 값을 생성할 수도 있다. 이는, 각도에 대한 정보를 부호화할 때, 양자화 과정에서 발생하는 손실을 최소화하기 위한 것으로 코사인(cosine) 또는 사인(sine) 등의 삼각함수값을 이용하여 각도 정보를 생성하는 것이 바람직하다.

도 3b는 본 발명의 다른 실시예에 따라서 제1 채널 입력 오디오 및 제 2 채널 입력 오디오의 세기에 대한 정보를 생성하는 방법을 설명하기 위한 참조도이다.

도 3b는 도 3a에서의 벡터 각도를 정규화하는 과정을 도시한 도면이다.

도 3a에서와 같이 Ch1 벡터와 Ch2 벡터 사이의 각도(θ₀)가 90 도가 아닌 경우에는 θ₀을 90 도로 정규화할 수 있고, 이때 θp 또는 θq도 정규화된다.

도 3b에서 BM1 벡터와 Ch2 벡터 사이의 각도(θp)에 대한 정보를 정규화하면, 즉 θ₀을 90 도로 정규화하면 이에 대응하여 θp도 정규화되어 θm=(θ_px90)/θ₀가 계산된다. 다운 믹스부(111)는 정규화되지 않은 θp 또는 정규화된 θm을 제 1 채널 입력 오디오(Ch1)의 세기 및 제 2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보로서 생성할 수 있다. 또한, 다운 믹스부(111)는 θp 또는 θm 대신에, cos θp 또는 cos θm을 제1 채널 입력 오디오(Ch1)의 세기 및 제2 채널 입력 오디 오(Ch2)의 세기를 결정하기 위한 정보로서 생성할 수 있다.

(2) 위상을 결정하기 위한 정보

종래 기술에 따른 파라메트릭 오디오 코딩에서는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보로서 전 위상 차이(OPD: Overall Phase Difference) 및 채널간 위상 차이(Interchannel Phase Difference)에 대한 정보를 부호화하였음은 전술하였다.

즉, 종래에는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)를 가산하여 생성된 제1 최초 모노 오디오(BM1)와 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)의 위상 차이를 계산하여 전 위상 차이에 대한 정보를 생성하여 부호화하고, 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상 차이를 계산하여 채널간 위상 차이에 대한 정보를 생성하고 부호화하였다. 위상 차이는 서브 밴드에 포함된 주파수 f1, f2, ... , fn 에서의 위상 차이들을 각각 계산한 후에 계산된 위상 차이들의 평균을 계산함으로써 구할 수 있다.

본 발명의 일 실시예에 따르면 다운 믹스부(111)는 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보로서 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2) 사이의 위상 차이에 대한 정보만을 생성한다.

본 발명의 일 실시예에서는 다운믹스부가 제1 채널 입력 오디오(Ch1)의 위상과 동일해지도록 제2 채널 입력 오디오(Ch2)의 위상을 조절하여 위상 조절된 제2 채널 입력 오디오(Ch2)를 생성하고, 그 위상 조절된 제2 채널 입력 오디오(Ch2)를 제1 채널 입력 오디오(Ch1)와 가산하기 때문에, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2) 사이의 위상 차이에 대한 정보만 가지고도 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2) 각각의 위상을 계산할 수 있게 된다.

서브 밴드 k의 오디오를 예로 들어 설명하면, 주파수 f1, f2, ... , fn에서 제2 채널 입력 오디오(Ch2)의 위상을 주파수 f1, f2, ... , fn에서 제1 채널 입력 오디오(Ch1)의 위상과 동일해지도록 각각 조절한다. 주파수 f1에서 제1 채널 입력 오디오(Ch1)의 위상을 조절하는 경우를 예로 들어 설명하면, 주파수 f1에서 제1 채널 입력 오디오(Ch1)가 |Ch1|eⁱ ^(2π ^f1t ^+θ1)로 표시되고, 제2 채널 입력 오디오(Ch2)가 |Ch2|e^i(2π ^f1t ^+θ2)로 표시되면, 주파수 f1에서 위상 조절된 제2 채널 입력 오디오(Ch2')는 다음의 수학식; |Ch2|eⁱ ^(2π ^f1t ^+θ1)과 같다. 여기서, θ1은 주파수 f1에서 제1 채널 입력 오디오(Ch1)의 위상이고, θ2는 주파수 f1에서 제2 채널 입력 오디오(Ch2)의 위상을 나타낸다. 이와 같은 위상 조절은 서브 밴드 k의 다른 주파수들 즉, f2, f3, ... , fn에서 제2 채널 입력 오디오(Ch2)에 대해 반복하여 서브 밴드 k에서 위상 조절된 제2 채널 입력 오디오(Ch2)를 생성한다.

서브 밴드 k에서 위상 조절된 제2 채널 입력 오디오(Ch2)는 제1 채널 입력 오디오(Ch1)의 위상과 동일하므로, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상 차이만 부호화하면 출력 신호(BM1)를 복호화하는 측에서 제2 채널 입력 오디오(Ch2)의 위상을 구할 수 있다. 또한, 제1 채널 입력 오디오(Ch1)의 위상과 다운믹스부에서 생성된 출력 신호(BM1)의 위상은 동일하므로, 별도로 제1 채널 입력 오디오(Ch1)의 위상에 대한 정보를 부호화할 필요가 없다.

따라서, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상 차이에 대한 정보만을 부호화하면, 복호화하는 측에서는 그 부호화된 정보를 이용하여 제1 채널 입력 오디오(Ch1) 및 제2 채널 입력 오디오(Ch2)의 위상을 계산할 수 있게 된다.

한편, 전술한 서브 밴드 k에서 채널 오디오들의 세기 벡터를 이용해 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보를 부호화하는 방법과, 위상 조절을 이용해 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보를 부호화하는 방법은 각각 독립적으로 이용될 수도 있고 조합되어 이용될 수 있다. 다시 말해, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보는 본 발명에 따라 벡터를 이용해 부호화하고, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보는 종래 기술과 같이 전 위상 차이(OPD: Overall Phase Difference) 및 채널간 위상 차이(Interchannel Phase Difference)를 부호화할 수 있다. 반대로, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보는 종래 기술에 따라 채널간 세기 차이(IID: Interchannel Intensity Difference) 및 채널간 상관도(IC: Interchannel Correlation)를 이용해 부호화하고, 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보만 본 발명과 같이 위상 조 절을 이용해 부호화할 수도 있다.

전술한 바와 같은 제 1 부가 정보를 생성하는 과정은 도 2에 도시된 다운 믹스부로부터 출력되는 다운 믹스된 오디오 신호로부터 2개의 입력 오디오 신호를 복원하기 위한 제 1 부가 정보들을 생성할 때에도 동일하게 적용될 수 있다.

한편, 멀티 채널 부호화부(110)는 전술한 실시예에 한정되지 않고 멀티 채널의 오디오 신호에 대한 부호화를 수행하여 다운 믹스된 오디오 신호를 출력하고, 다운 믹스된 오디오 신호를 다시 멀티 채널 오디오 신호로 복원하기 위한 부가 정보를 생성하는 다른 파라메트릭 부호화 장치를 이용할 수 있다.

다시 도 1을 참조하면, 멀티 채널 부호화부(110)에서 생성된 다운 믹스된 오디오 신호 및 제 1 부가 정보는 레지듀얼 신호 생성부(120)로 입력된다.

레지듀얼 신호 생성부(120)는 다운 믹스된 오디오 신호 및 제 1 부가 정보를 이용하여 멀티 채널 오디오 신호를 복원하고, 입력 멀티 채널 오디오 신호와 복원된 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호를 생성한다.

도 4는 도 1의 레지듀얼 신호 생성부(120)의 일 실시예를 나타낸 블록도이다.

도 4를 참조하면, 레지듀얼 신호 생성부(120)는 복원부(410) 및 감산부(420)를 포함한다.

복원부(410)는 멀티 채널 부호화부(110)로부터 출력되는 다운 믹스된 오디오 신호 및 제 1 부가 정보를 이용하여 멀티 채널 오디오 신호를 복원한다. 구체적으로 복원부(410)는 제 1 부가 정보를 이용하여 다운 믹스된 오디오 신호 각각으로부 터 2개의 업믹스된 출력 신호를 생성하고, 업믹스된 출력 신호 각각을 다시 업믹스하는 과정을 반복함으로써 멀티 채널 오디오 신호를 복원한다.

감산부(420)는 복원된 멀티 채널 오디오 신호와 입력 오디오 신호 사이의 차이값을 계산하여 채널별 레지듀얼 신호들(Res 1 내지 Res n)을 생성한다.

도 5는 도 4의 복원부(410)의 일 실시예를 나타낸 블록도이다.

도 5를 참조하면, 복원부(510)는 제 1 부가 정보에 기초하여, 다운 믹스된 하나의 오디오 신호로부터 2개의 오디오 신호를 복원하고, 복원된 2개의 오디오 신호 각각을 다시 해당 제 1 부가 정보를 이용하여 2개의 오디오 신호로 복원하는 과정을 반복함으로써 입력 멀티 채널과 동일한 개수의 n개의 복원된 멀티 채널 오디오 신호를 생성한다. 복원부(510)의 각 업믹스부들(511 내지 517)은 제 1 부가 정보를 이용하여 하나의 다운 믹스된 오디오 신호를 업믹스하여 2개의 업믹스된 신호를 출력하고, 이와 같은 업믹스 과정은 입력 멀티 채널과 동일한 개수의 멀티 채널 오디오 신호가 복원될 때까지 반복된다.

구체적으로 업 믹스부들(511 내지 517)의 동작을 설명한다. 다만, 설명의 편의를 위하여 도 5에 도시된 업믹스부들 중 다운 믹스된 오디오 신호(TR_j)에 대한 업믹스를 수행하여 제1 채널 입력 오디오(Ch1) 및 제2 채널 입력 오디오(Ch2)를 출력하는 업믹스부(514)의 동작을 중심으로 설명한다. 업믹스부(514)의 동작 과정은 도 5에 도시된 다른 업믹스부들에도 동일하게 적용가능하다.

도 3a을 다시 참조하면, 업 믹스부(514)는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보로서 다운 믹스된 오디오 신호(TR_j)의 세기에 대한 벡터인 BM1 벡터가 제1 채널 입력 오디오(Ch1)의 세기에 대한 벡터인 Ch1 벡터 또는 제2 채널 입력 오디오(Ch2)의 세기에 대한 벡터인 Ch2 벡터와 이루는 각도에 대한 정보를 이용한다. 바람직하게는 BM1 벡터와 Ch1 벡터 사이의 각도의 코사인 값 또는 BM1 벡터와 Ch2 벡터 사이의 각도의 코사인 값에 대한 정보를 이용할 수 있다.

도 3b의 예에서는 Ch1 벡터와 Ch2 벡터 사이의 각도(θ₀)가 60도라고 가정하면 제1 채널 입력 오디오(Ch1)의 세기, 즉 Ch1 벡터의 크기는 |Ch1|=|BM1|*sin θm/cos (π/12)에 의해 계산될 수 있다. 여기서, |BM1|은 다운 믹스된 오디오 신호(TR_j)의 세기 즉, BM1 벡터의 크기이고, Ch1 벡터와 Ch1' 벡터 사이의 각도는 15 도이다. 마찬가지로 Ch1 벡터와 Ch2 벡터 사이의 각도(θ₀)가 60도라고 가정하면 제2 채널 입력 오디오(Ch2)의 세기 즉, Ch2 벡터의 크기는 |Ch2|=|BM1|*cos θm/cos (π/12)에 의해 계산될 수 있음은 당업자에게 자명하다. 다만, 여기서는 Ch2 벡터와 Ch2' 벡터 사이의 각도가 15 도인 경우를 예로 들었다.

또한, 업 믹스부(514)는 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보로서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상 차이에 대한 정보를 이용할 수 있다. 다운 믹스된 오디오 신호(TR_j)를 부호화할 때에 제1 채널 입력 오디오(Ch1)의 위상 과 동일해지도록 제2 채널 입력 오디오(Ch2)의 위상을 이미 조절한 경우에는 업 믹스부(514)가 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상 차이에 대한 정보만을 이용해서 제1 채널 입력 오디오(Ch1)의 위상 및 제2 채널 입력 오디오(Ch2)의 위상을 계산할 수 있다.

한편, 전술한 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 세기를 결정하기 위한 정보를 벡터를 이용해 복호화하는 방법과, 서브 밴드 k에서 제1 채널 입력 오디오(Ch1)와 제2 채널 입력 오디오(Ch2)의 위상을 결정하기 위한 정보를 위상 조절을 이용해 복호화하는 방법은 각각 독립적으로 이용될 수도 있고 조합되어 함께 이용될 수도 있다.

다시 도 1을 참조하면, 레지듀얼 신호 생성부(120)에서 복원된 멀티 채널 오디오 신호와 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호가 생성되면, 레지듀얼 신호 부호화부(130)는 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 생성한다. 제 2 부가 정보는 복호화측에서 다운 믹스된 오디오 신호 및 제 1 부가 정보를 이용하여 복원된 멀티 채널 오디오 신호가 입력 오디오 신호의 특성과 최대한 동일하게 되도록 복원된 멀티 채널 오디오 신호를 보정하는 일종의 향상 계층 정보에 해당된다. 후술되는 바와 같이, 제 2 부가 정보는 복호화측에서 복원된 멀티 채널 오디오 신호를 보정하는데 이용된다.

다중화부(140)는 멀티 채널 부호화부(110)로부터 출력되는 다운 믹스된 오디오 신호 및 제 1 부가 정보와, 레지듀얼 신호 부호화부(130)에서 출력되는 제 2 부가 정보를 다중화하여 다중화된 오디오 비트스트림을 생성한다.

이하, 레지듀얼 신호 부호화부(130)에서 제 2 부가 정보를 생성하는 과정에 대하여 구체적으로 설명한다.

제 2 부가 정보는 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(ICC: Inter Channel Correlation parameter)를 포함한다. 구체적으로, 입력 멀티 채널의 개수를 N개(N은 양의 정수), 입력 멀티 채널 중 i번째(i=1 부터 N-1 까지의 정수) 채널과 i+1 번째 채널 사이의 채널간 상관도 파라메터를 Φ_i,i+1, k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, d는 소정의 정수값을 갖는 지연값, l은 샘플링 구간의 길이라고 할 때, 레지듀얼 신호 부호화부(130)는 i번째 채널과 i+1 번째 채널간 상관도 파라메터 Φ_i,i+ ₁를 다음의 수학식 1과 같이 계산한다.

예를 들어, 입력 오디오 신호가 5.1 채널의 오디오 신호이며, 레프트(L), 써라운드 레프트(Ls), 센터(C), 서브 우퍼(Sw), 라이트(R), 써라운드 라이트(Rs)의 순서로 채널 인덱스 i가 1부터 6까지의 값을 갖는다면, 레지듀얼 신호 부호화부(130)는 Φ_1,2,Φ_2,3,Φ_3,4,Φ_4,5,Φ_5,6, 및 Φ_1,6 중 적어도 하나의 채널간 상관도 파 라메터를 계산한다. 후술되는 바와 같이, 이러한 채널간 상관도 파라메터(ICC)는 복호화측에서 복원된 제 1 멀티 채널 오디오 신호 및 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 결합하여 최종 복원 오디오 신호를 생성할 때, 제 1 멀티 채널 오디오 신호 및 제 2 멀티 채널 오디오 신호의 결합 비율인 가중치들을 결정하는데 이용된다.

전술한 채널간 상관도 파라메터(ICC) 이외에 레지듀얼 신호 부호화부(130)는 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서 입력 멀티 채널 오디오 신호와 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터를 더 생성할 수 있다.

구체적으로, k는 샘플 인덱스, x_c(k)는 임의의 k에서 샘플링된 센터 채널의 입력 오디오 신호값, x'_c(k)는 임의의 k에서 샘플링된 센터 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때, 레지듀얼 신호 부호화부(130)는 다음의 수학식 2와 같이 중앙 채널 보정 파라메터(κ)를 생성한다.

수학식 2에 기재된 바와 같이 중앙 채널 보정 파라메터(κ)는 입력 중앙 채널 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 것으로, 후술되는 바와 같이 복호화측에서 복원된 중앙 채널의 오디오 신호를 보정하는데 이용된다. 이와 같이 별도로 중앙 채널의 오디오 신호를 보정하기 위한 중앙 채널 보정 파라메터(κ)를 생성하는 이유는 파라메트릭 오디오 코딩시에 중앙 채널의 신호가 열화되는 경향이 있기 때문에 이러한 중앙 채널의 열화 현상을 보상하기 위한 것이다.

또한, 입력 멀티 채널의 개수를 N개(N은 양의 정수), k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, x'_i(k)는 임의의 k에서 샘플링된 i 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때, 레지듀얼 신호 부호화부(130)는 다음의 수학식 3과 같이 전 채널 보정 파라메터(δ)를 생성한다.

수학식 3에 기재된 바와 같이 전 채널 보정 파라메터(δ)는 전 채널에서의 입력 오디오 신호와 복원된 전채널 오디오 신호 사이의 에너지 비율을 나타내는 것으로, 후술되는 바와 같이 복호화측에서 복원된 전채널의 오디오 신호를 보정하는 데 이용된다.

도 6은 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 방법을 나타낸 플로우 차트이다.

도 6을 참조하면, 단계 610에서 입력 멀티 채널 오디오 신호에 대한 파라메트릭 부호화를 수행하여 다운 믹스된 오디오 신호 및 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성한다. 전술한 바와 같이 멀티 채널 부호화부(110)는 입력 멀티 채널 오디오 신호를 스테레오 신호 또는 모노 신호로 다운 믹스하고, 다운 믹스된 오디오 신호를 다시 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성한다. 제 1 부가 정보는 다운 믹스되는 신호들의 세기(intensity)를 결정하기 위한 정보 및 다운 믹스되는 신호들 사이의 위상 차이에 대한 정보를 포함할 수 있다

단계 620에서 다운 믹스된 오디오 신호 및 제 1 부가 정보를 이용하여 복원된 멀티 채널 오디오 신호와 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호를 생성한다. 복원된 멀티 채널 오디오 신호를 생성하는 과정은 도 5를 참조하여 전술한 바와 같이, 다운 믹스된 오디오 신호 각각을 업믹스하여 2개의 업믹스된 출력 신호를 생성하고, 다시 출력 신호 각각을 업믹스하는 과정을 반복함으로써 수행될 수 있다.

단계 630에서, 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 생성한다. 제 2 부가 정보는 복호화 측에서 복호화된 멀티 채널 오디오 신호를 보정하는데 이용되며, 적어도 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(Inter Channel Correlation parameter)를 포함하여야 한다. 부가적으로 제 2 부가 정보로는 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서의 입력 멀티 채널 오디오 신호와 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터가 더 포함될 수 있다.

단계 640에서, 다운 믹스된 오디오 신호, 상기 제 1 부가 정보 및 상기 제 2 부가 정보를 다중화한다.

도 7은 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 복호화 장치를 나타낸 블록도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 복호화 장치(700)는 역다중화부(710), 멀티채널 복호화부(720), 위상 변위부(730) 및 결합부(740)를 포함한다.

역다중화부(710)는 부호화된 오디오 비트스트림을 파싱(parsing)하여, 오디오 비트스트림으로부터 다운 믹스된 오디오 신호, 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 추출한다.

멀티 채널 복호화부(720)는 제 1 부가 정보에 기초하여 다운 믹스된 오디오 신호로부터 제 1 멀티 채널 오디오 신호를 복원한다. 전술한 도 5의 복원부(510)과 동일하게 멀티 채널 복호화부(720)는 제 1 부가 정보를 이용하여 다운 믹스된 오디오 신호 각각으로부터 2개의 업믹스된 출력 신호를 생성하고, 업믹스된 출력 신호 각각을 다시 업믹스하는 과정을 반복함으로써 멀티 채널 오디오 신호를 복원한다. 이와 같이 복원된 멀티 채널 오디오 신호를 제 1 멀티 채널 오디오 신호로 정의한다.

위상 변위부(730)는 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성한다. 즉, 위상 변위부(730)는 제 1 멀티 채널 오디오 신호 중 n 채널의 오디오 신호를 tn, 제 2 멀티 채널 오디오 신호 중 n 채널의 오디오 신호를 tn', 소정의 위상차를 θd라고 할 때, tn'=tn*exp(i*θd)의 관계가 성립되도록 위상 변위된 제 2 멀티 채널 오디오 신호를 생성한다. 예를 들어, 도 8에 도시된 v1 및 v2 신호와 같이 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호는 90도의 위상차를 갖도록 하는 것이 바람직하다.

이와 같이 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성하는 이유는 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호를 결합함으로써 멀티 채널 오디오 신호를 부호화할 때 발생된 위상 손실을 보상하기 위한 것이다. 전술한 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 부호화 장치에 따르면 멀티 채널 오디오 신호를 다운 믹스할 때, 2개의 입력 오디오 신호 사이를 다운믹스한 다음 다시 업믹스를 통해 2개의 입력 오디오 신호를 복원하더라도 2개의 입력 오디오 신호 사이에 존재하던 위상차는 평균화되어 손실된다. 비록, 제 1 부가 정보로서 2개의 입력 오디오 신호 사이의 위상차에 대한 정보를 전송하더라도 이러한 제 1 부가 정보를 통해 복원된 신호는 원래의 오디오 신호들에 존재하던 위상 정보와는 차이가 발생하며 이러한 차이는 복호화된 멀티 채널 오디오 신호의 음질 향상에 저해가 된다.

결합부(740)는 제 2 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호를 결합하여 최종 복원 오디오 신호를 생성한다. 구체적으로, 결합부(740)는 각 채널별로 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호 각각에 소정의 가중치를 곱한 후 가산하여 각 채널별 결합 오디오 신호를 생성한다. 예를 들어, n 채널의 제 1 멀티 채널 오디오 신호(tn)에 곱하여지는 가중치를 α, n 채널의 제 2 멀티 채널 오디오 신호(tn')에 곱하여지는 가중치를 β라고 하면, n 채널의 결합 오디오 신호 u_n은 다음의 수학식; u_n= αt_n+βt_n' 과 같이 표현될 수 있다.

결합부(740)는 제 2 부가 정보에 포함된 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(ICC) 및 2개의 서로 다른 채널 사이의 결합 오디오 신호 사이의 상관도와의 관계를 이용하여 가중치를 계산한다. 입력 멀티 채널의 개수를 N개(N은 양의 정수), 입력 멀티 채널 중 i번째(i=1 부터 N-1 까지의 정수) 채널과 i+1 번째 채널 사이의 채널간 상관도 파라메터를 Φ_i,i+1, k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, d는 소정의 정수값을 갖는 지연값, l은 샘플링 구간의 길이라고 할 때, 다음의 수학식 4를 만족하는 가중치 α및 β를 계산한다.

및

수학식 4를 통해 가중치 α및 β가 결정되면, 결합부(740)는 u_n= αt_n+βt_n'를 통해 계산되는 n 채널의 결합 오디오 신호를 n 채널의 최종 복원 오디오 신호로 결정한다. 결합부(740)는 모든 멀티 채널에 대하여 전술한 과정을 반복하여 최종 복원 오디오 신호를 생성한다.

전술한 바와 같이, 채널간 상관도 파라메터(ICC)를 이용하여 최종 복원 오디오 신호가 생성된 다음, 결합부(740)는 다시 제 2 부가 정보에 구비된 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서 입력 멀티 채널 오디오 신호와 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터를 이용하여 최종 복원 오디오 신호를 보정할 수 있다.

구체적으로, 결합부(740)는 전채널 보정 파라메터를 이용하여 최종 복원 오디오 신호의 전채널의 오디오 신호를 보정한다. 예를 들어, 결합부(740)는 n 채널의 최종 복원 오디오 신호(u_n)과 전 채널 보정 파라메터(δ)를 곱하여 n 채널의 최 종 복원 오디오 신호(u_n)을 보정한다. 이와 같은 과정은 모든 채널에 대하여 수행된다. 또한, 결합부(740)는 중앙 채널의 최종 복원 오디오 신호에 전 채널 보정 파라메터(δ) 및 중앙 채널 보정 파라메터(κ)를 곱함으로써 파라메트릭 부호화시에 열화되기 쉬운 중앙 채널의 오디오 신호를 보정할 수 있다.

전술한 바와 같이 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 복호화 장치는 채널간 상관도를 이용하여 위상차를 갖는 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호를 결합하는 한편, 전 채널 보정 파라메터(δ) 및 중앙 채널 보정 파라메터(κ)를 이용하여 모든 채널의 복원 오디오 신호 및 중앙 채널의 오디오 신호를 보정함으로써 복원된 멀티 채널 오디오 신호의 음질을 향상시킬 수 있다.

도 9는 본 발명의 일 실시예에 따른 멀티 채널 오디오 신호의 복호화 방법을 나타낸 플로우 차트이다.

도 9를 참조하면, 단계 910에서 부호화된 오디오 데이터로부터 다운 믹스된 오디오 신호, 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 부호화시에 입력 멀티 채널 오디오 신호와 부호화된 후 복원된 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 추출한다.

단계 920에서 다운 믹스된 오디오 신호 및 제 1 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호를 복원한다. 전술한 바와 같이 제 1 멀티 채널 오디오 신 호는 제 1 부가 정보를 이용하여 다운 믹스된 오디오 신호 각각으로부터 2개의 업믹스된 출력 신호를 생성하고, 업믹스된 출력 신호 각각을 다시 업믹스하는 과정을 반복함으로써 생성된다.

단계 930에서 복원된 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성한다. 소정의 위상차는 90도인 것이 바람직하다.

단계 940에서 제 2 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호를 결합함으로써 최종 복원 오디오 신호를 생성한다. 구체적으로, 결합부(740)는 제 2 부가 정보에 포함된 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(ICC) 및 2개의 서로 다른 채널 사이의 결합 오디오 신호 사이의 상관도와의 관계를 이용하여 제 1 멀티 채널 오디오 신호 및 제 2 멀티 채널 오디오 신호에 곱하여지는 가중치를 계산한다. 그리고, 결합부(740)는 계산된 가중치를 이용하여 제 1 멀티 채널 오디오 신호와 제 2 멀티 채널 오디오 신호의 가중합을 계산함으로써 최종 복원 오디오 신호를 생성한다. 부가적으로, 결합부(740)는 전 채널 보정 파라메터(δ) 및 중앙 채널 보정 파라메터(κ)를 이용하여 모든 채널의 복원 오디오 신호 및 중앙 채널의 오디오 신호를 보정함으로써 복원된 멀티 채널 오디오 신호의 음질을 향상시킬 수 있다.

한편, 상술한 본 발명의 실시예들에 따른 멀티 채널 오디오 신호의 부호화 및 복호화 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터 로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 5는 도 4의 복원부(410)의 일 실시예를 나타낸 블록도이다.

도 8은 서로 90도의 위상차를 갖는 오디오 신호들을 나타낸 그래프이다.

Claims

멀티 채널 오디오 신호의 부호화 방법에 있어서,

입력 멀티 채널 오디오 신호에 대한 파라메트릭 부호화를 수행하여 다운 믹스된 오디오 신호 및 상기 다운 믹스된 오디오 신호를 상기 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성하는 단계;

상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 복원된 멀티 채널 오디오 신호와 상기 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호를 생성하는 단계;

상기 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 생성하는 단계; 및

상기 다운 믹스된 오디오 신호, 상기 제 1 부가 정보 및 상기 제 2 부가 정보를 다중화하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 1항에 있어서,

상기 입력 멀티 채널 오디오 신호에 대한 부호화를 수행하는 단계는

상기 입력 멀티 채널 오디오 신호들을 2개의 채널 단위로 가산하여 다운 믹스된 출력 신호를 생성하고, 상기 다운 믹스된 출력 신호를 2개씩 묶어서 다시 다운 믹스하는 과정을 반복함으로써 상기 다운 믹스된 오디오 신호를 출력하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 2항에 있어서, 상기 제 1 부가 정보는

상기 다운 믹스되는 신호들의 세기(intensity)를 결정하기 위한 정보 및 상기 다운 믹스되는 신호들 사이의 위상 차이에 대한 정보를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 3항에 있어서, 상기 세기를 결정하기 위한 정보는

상기 다운 믹스되는 2개의 신호들 중 제 1 신호의 세기에 대한 제 1 벡터 및 제 2 신호의 세기에 대한 제 2 벡터가 소정의 각도를 이루도록 벡터 공간을 생성하고, 상기 벡터 공간에서 상기 제 1 벡터와 상기 제 2 벡터를 가산하여 제 3 벡터를 생성하였을 때, 상기 제 3 벡터의 크기에 대한 정보 및 상기 벡터 공간에서 상기 제 1 벡터 또는 제 2 벡터 중 하나와 상기 제 3 벡터 사이의 각도에 대한 정보를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 1항에 있어서, 상기 레지듀얼 신호를 생성하는 단계는

상기 제 1 부가 정보를 이용하여 상기 다운 믹스된 오디오 신호 각각으로부터 2개의 업믹스된 출력 신호를 생성하고, 상기 업믹스된 출력 신호 각각을 다시 업믹스하는 과정을 반복함으로써 상기 멀티 채널 오디오 신호를 복원하는 단계; 및

상기 복원된 멀티 채널 오디오 신호와 상기 입력 멀티 채널 오디오 신호 사이의 차이값을 계산하여 채널별 레지듀얼 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 5항에 있어서, 상기 제 1 부가 정보는

상기 2개의 업믹스된 출력 신호들 중 제 1 신호의 세기에 대한 제 1 벡터 및 제 2 신호의 세기에 대한 제 2 벡터가 소정의 각도를 이루도록 벡터 공간을 생성하고, 상기 벡터 공간에서 상기 제 1 벡터와 상기 제 2 벡터를 가산하여 제 3 벡터를 생성하였을 때, 상기 다운 믹스된 오디오 신호의 세기에 대응되는 상기 제 3 벡터의 크기에 대한 정보 및 상기 벡터 공간에서 상기 제 1 벡터 또는 제 2 벡터 중 하나와 상기 제 3 벡터 사이의 각도에 대한 정보를 포함하며,

상기 복원하는 단계는

상기 다운 믹스된 오디오 신호의 세기에 대응되는 상기 제 3 벡터의 크기에 대한 정보 및 상기 각도에 대한 정보를 이용하여 상기 하나의 다운 믹스된 오디오 신호로부터 상기 제 1 벡터 및 상기 제 2 벡터에 대응되는 상기 2개의 업믹스된 출력 신호를 생성하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 1항에 있어서, 상기 제 2 부가 정보는

상기 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(Inter Channel Correlation parameter)를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 7항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), 상기 입력 멀티 채널 중 i번째(i=1 부터 N-1 까지의 정수) 채널과 i+1 번째 채널 사이의 채널간 상관도 파라메터를 Φ_i,i+1, k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, d는 소정의 정수값을 갖는 지연값, l은 샘플링 구간의 길이라고 할 때,

상기 i번째 채널과 i+1 번째 채널간 상관도 파라메터 Φ_i,i+ ₁는 다음의 수학식;

을 통해 계산되는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 1항에 있어서, 상기 제 2 부가 정보는

상기 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서 상기 입력 멀티 채널 오디오 신호와 상기 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터를 더 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 9항에 있어서,

k는 샘플 인덱스, x_c(k)는 임의의 k에서 샘플링된 센터 채널의 입력 오디오 신호값, x'_c(k)는 임의의 k에서 샘플링된 센터 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 중앙 채널 보정 파라메터(κ)는 다음의 수학식;

을 통해 계산되는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
제 9항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, x'_i(k)는 임의의 k에서 샘플링된 i 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 전 채널 보정 파라메터(δ)는 다음의 수학식;

을 통해 계산되는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 방법.
멀티 채널 오디오 신호의 부호화 장치에 있어서,

입력 멀티 채널 오디오 신호에 대한 부호화를 수행하여 다운 믹스된 오디오 신호 및 상기 다운 믹스된 오디오 신호를 상기 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보를 생성하는 멀티 채널 부호화부;

상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 복원된 멀티 채널 오디오 신호와 상기 입력 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호를 생성하는 레지듀얼 신호 생성부;

상기 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 생성하는 레지듀얼 신호 부호화부; 및

상기 다운 믹스된 오디오 신호, 상기 제 1 부가 정보 및 상기 제 2 부가 정보를 다중화하는 다중화부를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 12항에 있어서, 상기 멀티 채널 부호화부는

상기 입력 멀티 채널 오디오 신호들을 2개의 채널 단위로 가산하여 다운 믹스된 출력 신호를 생성하고, 상기 다운 믹스된 출력 신호를 2개씩 묶어서 다시 다운 믹스하는 과정을 반복함으로써 상기 다운 믹스된 오디오 신호를 출력하며,

상기 제 1 부가 정보는

상기 다운 믹스되는 신호들의 세기(intensity)를 결정하기 위한 정보 및 상기 다운 믹스되는 신호들 사이의 위상 차이에 대한 정보를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 13항에 있어서, 상기 세기를 결정하기 위한 정보는

상기 다운 믹스되는 2개의 신호들 중 제 1 신호의 세기에 대한 제 1 벡터 및 제 2 신호의 세기에 대한 제 2 벡터가 소정의 각도를 이루도록 벡터 공간을 생성하고, 상기 벡터 공간에서 상기 제 1 벡터와 상기 제 2 벡터를 가산하여 제 3 벡터를 생성하였을 때, 상기 제 3 벡터의 크기에 대한 정보 및 상기 벡터 공간에서 상기 제 1 벡터 또는 제 2 벡터 중 하나와 상기 제 3 벡터 사이의 각도에 대한 정보를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 12항에 있어서, 상기 제 2 부가 정보는

상기 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(Inter Channel Correlation parameter)를 포함하 는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 15항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), 상기 입력 멀티 채널 중 i번째(i=1 부터 N-1 까지의 정수) 채널과 i+1 번째 채널 사이의 채널간 상관도 파라메터를 Φ_i,i+1, k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호의 값, d는 소정의 정수값을 갖는 지연값, l은 샘플링 구간의 길이라고 할 때,

상기 i번째 채널과 i+1 번째 채널간 상관도 파라메터 Φ_i,i+ ₁는 다음의 수학식;

을 통해 계산되는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 12항에 있어서, 상기 제 2 부가 정보는

상기 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서의 상기 입력 멀티 채널 오디오 신호와 상기 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터를 더 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 17항에 있어서,

k는 샘플 인덱스, x_c(k)는 임의의 k에서 샘플링된 센터 채널의 입력 오디오 신호값, x'_c(k)는 임의의 k에서 샘플링된 센터 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 중앙 채널 보정 파라메터(κ)는 다음의 수학식;

을 통해 계산되는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
제 17항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, x'_i(k)는 임의의 k에서 샘플링된 복원된 i 채널의 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 전 채널 보정 파라메터(δ)는 다음의 수학식;

을 통해 계산되는 것을 특징으로 하는 멀티 채널 오디오 신호 부호화 장치.
멀티 채널 오디오 신호의 복호화 방법에 있어서,

부호화된 오디오 데이터로부터 다운 믹스된 오디오 신호, 상기 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 부호화시에 입력 멀티 채널 오디오 신호와 부호화된 후 복원된 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 추출하는 단계;

상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호를 복원하는 단계;

상기 복원된 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성하는 단계; 및

상기 제 2 부가 정보를 이용하여 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호를 결합하여 최종 복원 오디오 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호의 복호화 방법.
제 20항에 있어서, 상기 제 1 멀티 채널 오디오 신호를 복원하는 단계는

상기 제 1 부가 정보를 이용하여 상기 다운 믹스된 오디오 신호 각각으로부터 2개의 업믹스된 출력 신호를 생성하고, 상기 업믹스된 출력 신호 각각을 다시 업믹스하는 과정을 반복함으로써 상기 제 1 멀티 채널 오디오 신호를 복원하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
제 21항에 있어서, 상기 제 1 부가 정보는

상기 2개의 업믹스된 출력 신호들 중 제 1 신호의 세기에 대한 제 1 벡터 및 제 2 신호의 세기에 대한 제 2 벡터가 소정의 각도를 이루도록 벡터 공간을 생성하고, 상기 벡터 공간에서 상기 제 1 벡터와 상기 제 2 벡터를 가산하여 제 3 벡터를 생성하였을 때, 상기 다운 믹스된 오디오 신호의 세기에 대응되는 상기 제 3 벡터의 크기에 대한 정보 및 상기 벡터 공간에서 상기 제 1 벡터 또는 제 2 벡터 중 하나와 상기 제 3 벡터 사이의 각도에 대한 정보를 포함하며,

상기 복원하는 단계는

상기 다운 믹스된 오디오 신호의 세기에 대응되는 상기 제 3 벡터의 크기에 대한 정보 및 상기 각도에 대한 정보를 이용하여 상기 하나의 다운 믹스된 오디오 신호로부터 상기 제 1 벡터 및 상기 제 2 벡터에 대응되는 상기 2개의 업믹스된 출력 신호를 생성하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
제 20항에 있어서,

상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호는 90도의 위상차를 갖는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
제 20항에 있어서, 상기 제 2 부가 정보는

상기 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(Inter Channel Correlation parameter)를 포함하며,

상기 최종 복원 오디오 신호를 생성하는 단계는

각 채널별로 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호 각각에 소정의 가중치를 곱한 후 가산하여 각 채널별 결합 오디오 신호를 생성하는 단계;

상기 채널간 상관도 파라메터 및 2개의 서로 다른 채널 사이의 상기 결합 오디오 신호 사이의 상관도와의 관계를 이용하여 상기 가중치를 계산하는 단계; 및

상기 계산된 가중치를 이용하여 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호의 가중합을 계산하여 상기 최종 복원 오디오 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
제 24항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), 상기 입력 멀티 채널 중 i번째(i=1 부터 N-1 까지의 정수) 채널과 i+1 번째 채널 사이의 채널간 상관도 파라메터를 Φ_i,i+1, k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, d는 소정의 정수값을 갖는 지연값, l은 샘플링 구간의 길이, t_n은 n 채널에서의 상기 제 1 멀티 채널 오디오 신호, t_n'은 n 채널에서의 상기 제 2 멀티 채널 오디오 신호, α는 상기 제 1 멀티 채널 오디오 신호에 곱하여지는 가중치, β는 상기 제 2 멀티 채널 오디오 신호에 곱하여지는 가중치라고 할 때,

상기 n 채널에서의 상기 결합 오디오 신호(u_n)은 u_n= αt_n+βt_n' 이며, 상기 가중치 α및 β는 다음의 수학식들;

및

을 이용하여 결정되는 것을 특징으로 하는 멀티 채널 오디오 신호의 복호화 방법.
제 24항에 있어서, 상기 제 2 부가 정보는

상기 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서 상기 입력 멀티 채널 오디오 신호와 상기 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터를 더 포함하며,

상기 최종 복원 오디오 신호를 생성하는 단계는

상기 전채널 보정 파라메터를 이용하여 상기 최종 복원 오디오 신호의 전채널의 값을 보정하는 단계; 및

상기 중앙 채널 보정 파라메터를 이용하여 상기 전채널 보정된 최종 복원 오디오 신호 중 중앙 채널의 신호를 다시 보정하는 단계를 더 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
제 26항에 있어서,

k는 샘플 인덱스, x_c(k)는 임의의 k에서 샘플링된 센터 채널의 입력 오디오 신호값, x'_c(k)는 임의의 k에서 샘플링된 센터 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 중앙 채널 보정 파라메터(κ)는 다음의 수학식;

을 통해 정의되는 값을 갖는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
제 26항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, x'_i(k)는 임의의 k에서 샘플링된 i 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 전 채널 보정 파라메터(δ)는 다음의 수학식;

을 통해 계산된 값을 갖는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 방법.
멀티 채널 오디오 신호의 복호화 장치에 있어서,

부호화된 오디오 데이터로부터 다운 믹스된 오디오 신호, 상기 다운 믹스된 오디오 신호를 멀티 채널 오디오 신호로 복원하기 위한 제 1 부가 정보 및 부호화 시에 입력 멀티 채널 오디오 신호와 부호화된 후 복원된 멀티 채널 오디오 신호 사이의 차이값인 레지듀얼 신호의 특성을 나타내는 제 2 부가 정보를 추출하는 역다중화부;

상기 다운 믹스된 오디오 신호 및 상기 제 1 부가 정보를 이용하여 제 1 멀티 채널 오디오 신호를 복원하는 멀티 채널 복호화부;

상기 복원된 제 1 멀티 채널 오디오 신호와 소정의 위상차를 갖는 제 2 멀티 채널 오디오 신호를 생성하는 위상 변이부; 및

상기 제 2 부가 정보를 이용하여 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호를 결합하여 최종 복원 오디오 신호를 생성하는 결합부를 포함하는 것을 특징으로 하는 멀티 채널 오디오 신호의 복호화 장치.
제 29항에 있어서, 상기 멀티 채널 복호화부는

상기 제 1 부가 정보를 이용하여 상기 다운 믹스된 오디오 신호 각각으로부터 2개의 업믹스된 출력 신호를 생성하고, 상기 업믹스된 출력 신호 각각을 다시 업믹스하는 과정을 반복함으로써 상기 제 1 멀티 채널 오디오 신호를 복원하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.
제 30항에 있어서, 상기 제 1 부가 정보는

상기 2개의 업믹스된 출력 신호들 중 제 1 신호의 세기에 대한 제 1 벡터 및 제 2 신호의 세기에 대한 제 2 벡터가 소정의 각도를 이루도록 벡터 공간을 생성하 고, 상기 벡터 공간에서 상기 제 1 벡터와 상기 제 2 벡터를 가산하여 제 3 벡터를 생성하였을 때, 상기 다운 믹스된 오디오 신호의 세기에 대응되는 상기 제 3 벡터의 크기에 대한 정보 및 상기 벡터 공간에서 상기 제 1 벡터 또는 제 2 벡터 중 하나와 상기 제 3 벡터 사이의 각도에 대한 정보를 포함하며,

상기 멀티 채널 복호화부는

상기 다운 믹스된 오디오 신호의 세기에 대응되는 상기 제 3 벡터의 크기에 대한 정보 및 상기 각도에 대한 정보를 이용하여 상기 하나의 다운 믹스된 오디오 신호로부터 상기 제 1 벡터 및 상기 제 2 벡터에 대응되는 상기 2개의 업믹스된 출력 신호를 생성하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.
제 29항에 있어서,

상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호는 90도의 위상차를 갖는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.
제 29항에 있어서, 상기 제 2 부가 정보는

상기 입력 멀티 채널 오디오 신호의 2개의 서로 다른 채널 사이의 상관도를 나타내는 채널간 상관도 파라메터(Inter Channel Correlation parameter)를 포함하며,

상기 결합부는

각 채널별로 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디 오 신호 각각에 소정의 가중치를 곱한 후 가산하여 각 채널별 결합 오디오 신호를 생성하고, 상기 채널간 상관도 파라메터 및 2개의 서로 다른 채널 사이의 상기 결합 오디오 신호 사이의 상관도와의 관계를 이용하여 상기 가중치를 계산하며, 상기 계산된 가중치를 이용하여 상기 제 1 멀티 채널 오디오 신호와 상기 제 2 멀티 채널 오디오 신호의 가중합을 계산하여 상기 최종 복원 오디오 신호를 생성하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.
제 33항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), 상기 입력 멀티 채널 중 i번째(i=1 부터 N-1 까지의 정수) 채널과 i+1 번째 채널 사이의 채널간 상관도 파라메터를 Φ_i,i+1, k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, d는 소정의 정수값을 갖는 지연값, l은 샘플링 구간의 길이, t_n은 n 채널에서의 상기 제 1 멀티 채널 오디오 신호, t_n'은 n 채널에서의 상기 제 2 멀티 채널 오디오 신호, α는 상기 제 1 멀티 채널 오디오 신호에 곱하여지는 가중치, β는 상기 제 2 멀티 채널 오디오 신호에 곱하여지는 가중치라고 할 때,

상기 n 채널에서의 상기 결합 오디오 신호(u_n)은 u_n= αt_n+βt_n' 이며, 상기 가중치 α및 β는 다음의 수학식들;

및

을 이용하여 결정되는 것을 특징으로 하는 멀티 채널 오디오 신호의 복호화 장치.
제 33항에 있어서, 상기 제 2 부가 정보는

상기 입력 중앙 채널의 오디오 신호와 복원된 중앙 채널 오디오 신호 사이의 에너지 비율을 나타내는 중앙 채널 보정 파라메터 및 전채널에서 상기 입력 멀티 채널 오디오 신호와 상기 복원된 멀티 채널 오디오 신호 사이의 에너지 비율을 나타내는 전채널 보정 파라메터를 더 포함하며,

상기 결합부는

상기 전채널 보정 파라메터를 이용하여 상기 최종 복원 오디오 신호의 전채널의 값을 보정하고, 상기 중앙 채널 보정 파라메터를 이용하여 상기 전채널 보정된 최종 복원 오디오 신호 중 중앙 채널의 신호를 다시 보정하는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.
제 35항에 있어서,

k는 샘플 인덱스, x_c(k)는 임의의 k에서 샘플링된 센터 채널의 입력 오디오 신호값, x'_c(k)는 임의의 k에서 샘플링된 센터 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 중앙 채널 보정 파라메터(κ)는 다음의 수학식;

을 통해 정의되는 값을 갖는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.
제 35항에 있어서,

상기 입력 멀티 채널의 개수를 N개(N은 양의 정수), k는 샘플 인덱스, x_i(k)는 임의의 k에서 샘플링된 i 채널의 입력 오디오 신호값, x'_i(k)는 임의의 k에서 샘플링된 i 채널의 복원된 오디오 신호값, l(l은 정수)은 샘플링 구간의 길이라고 할 때,

상기 전 채널 보정 파라메터(δ)는 다음의 수학식;

을 통해 계산된 값을 갖는 것을 특징으로 하는 멀티 채널 오디오 신호 복호화 장치.